Livro-Texto Unidade II

Prévia do material em texto

89
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Unidade II
5 AVALIAÇÃO DE PROGRAMAS: DIFERENTES CONCEPÇÕES
As diversas visões sobre a avaliação nos levam a diferentes modalidades de estudos de avaliação. 
Antes de aprofundar essa discussão, Worthen et al. (2004, p. 36) propõem que se faça a distinção entre 
avaliação e pesquisa avaliatória, termo popularizado entre os anos de 1960 e 1970, além de enfatizarem 
que muitos cientistas sociais adotaram esse uso para diferenciar “[...] pesquisa de avaliação, que veem 
como qualquer avaliação que empregue uma metodologia rigorosa no campo das ciências sociais, de 
avaliação, que usam para descrever estimativas realizadas com outros métodos”.
Nota‑se que a definição de avaliação depende e/ou deriva do que se entende por seu propósito 
básico. Em defesa do conceito já apresentado, Scriven (apud Worthen et al., 2004, p. 19) relata que:
 
Em termos de metas, podemos dizer que a avaliação tenta responder certos 
tipos de pergunta sobre certas entidades. As entidades são os vários [...] 
instrumentos (processos, pessoal, procedimentos, programas etc.). Os tipos 
de pergunta incluem questões a respeito da forma como esse instrumento 
atua (com relação a tais e tais critérios) esse instrumento será melhor 
que outro. Que méritos ou problemas esse instrumento tem? O uso desse 
instrumento vale seu custo?
[...] Mas os papéis que a avaliação tem em determinado [...] contexto 
podem variar enormemente; ela pode fazer parte de uma [...] atividade de 
treinamento, do processo de definição de um currículo, de um experimento 
de campo [...] de [...] um programa de treinamento de executivos, de uma 
prisão, de uma sala de aula.
Nessa mesma linha de pensamento, Shadish (apud Worthen et al., 2004) afirma que a definição de 
avaliação deve abranger mais que “valoração científica”, ampliando‑a, para incluir outras atividades 
e práticas vitais do avaliador, como providenciá‑la para que seja usada com o objetivo de melhorar 
um programa.
90
Unidade II
Para ilustrar essa ideia, apresentamos o quadro a seguir, exemplificando o uso da avaliação em 
diversos setores.
Quadro 3
Exemplos do uso da avaliação em diversos setores
Julgar a qualidade dos currículos escolares em áreas específicas
Determinar o valor do programa antiviolência em uma escola de Ensino Fundamental
Decidir se um programa de desenvolvimento urbano vai ou não ser implementado 
Determinar o impacto de um programa de redução de penas prisionais sobre a reincidência
Julgar a eficiência de um programa de treinamento empresarial
Avaliar iniciativas administrativas
Identificar a contribuição de programas específicos para os lucros de uma empresa
Adaptado de: Worthen et al. (2004, p. 41‑42).
Por meio dos exemplos, observa‑se que a avaliação pode ser aplicada a diversos campos e setores 
(educação, saúde, desenvolvimento urbano, econômico, empresarial etc.).
Essa diversidade de aplicações, de entendimento de objetivos e de usos é pautada na existência de 
diferentes visões e/ou concepções da avaliação, como abordaremos a seguir.
 Lembrete
A avaliação é um instrumento de gestão social imprescindível. Desse 
instrumento depende, muitas vezes, a implementação ou manutenção das 
ações dos profissionais atuantes, aliada à transparência e à visibilidade 
exigidas de quem trabalha com recursos humanos e recursos públicos.
 
5.1 Avaliação de programas: diferentes abordagens
A diversidade das abordagens da avaliação é resultante da forma de ver, de entender e de definir a 
avaliação. Essas diferentes possibilidades provocam impacto direto sobre o tipo de atividade avaliatória 
realizado. Segundo Worthen et al. (2004, p.106), ela surgiu dos variados tipos de conhecimento e da 
visão de mundo de seus autores, que se desdobraram em diferentes orientações filosóficas, predileções 
metodológicas e preferências práticas.
Baker e Niemi (apud Worthen et al., 2004, p. 106) sugerem a existência de quatro fontes distintas 
(grande parte do pensamento sobre a avaliação se baseia nelas):
1. Experimentação: vista na avaliação como o uso da tradição de pesquisa experimental das 
ciências sociais.
91
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
2. Mensuração: descrita como o estilo de avaliação que pressupõe que o uso de um mecanismo 
de medida comportamental produz números que constituirão a evidência da efetividade de 
um programa.
3. Análise sistêmica: definida como o exame das inter‑relações de grandes séries de variáveis 
em organizações ou processos. Ela é feita para ajudar os administradores a tomar decisões 
mais defensáveis.
4. Abordagens interpretativas: representam o uso da filosofia hermenêutica e de teorias 
interpretativas do conhecimento para gerar interpretações descritivas e julgamentos holísticos de 
programas complexos.
Parafraseando Worthen et al. (2004), para este estudo acreditamos ser mais proveitoso compreender 
a origem das diferentes conceituações da avaliação ao examinar as distinções entre:
•	 crenças filosóficas e ideológicas;
•	 preferências metodológicas;
•	 opções práticas de seus autores.
No campo filosófico e ideológico, House (apud Worthen et al. 2004, p. 107) classifica as abordagens 
da avaliação em duas categorias: objetivismo e subjetivismo. No campo das preferências metodológicas 
e ações práticas, destacam‑se a avaliação quantitativa e a qualitativa.
 Observação
O objetivismo consiste na abordagem avaliatória que requer que as 
informações obtidas no estudo sejam cientificamente objetivas. Isso quer 
dizer que são usadas técnicas de coleta e análise de dados que possam 
ser reproduzidas e que levem a resultados verificáveis (Worthen et  al., 
2004, p. 699). Já o subjetivismo é a abordagem da avaliação que 
enfatiza mais a experiência do avaliador que o conhecimento científico 
(Worthen et al., 2004, p. 702).
Apesar da diversidade das abordagens da avaliação, verifica‑se que há pontos em comum entre 
elas. Worthen et al. (2004) afirmam que muitos estudiosos tentaram pôr ordem no caos refletido na 
literatura da avaliação criando formas de classificação. Como a avaliação é multifacetada e pode ser 
realizada em diferentes fases do desenvolvimento de um programa ou projeto, o mesmo modelo de 
avaliação pode ser classificado de diversas maneiras, dependendo da ênfase.
Ao se apresentar essa categorização, baseada nos estudos de Worthen et al. (2004), reforçamos que 
não existe a pretensão de esgotar a discussão e os modelos, pois consumiria centenas de páginas de 
qualquer produção textual.
92
Unidade II
5.2 Avaliações em função do momento de realização
Tendo como foco o momento de realização da avaliação, segundo Cohen e Franco (2013), ela pode 
apresentar os seguintes tipos:
•	 Avaliação ex‑ante: realizada no início da elaboração do programa ou projeto. Tem como finalidade 
proporcionar critérios racionais para decidir se o projeto deve ou não ser implementado.
•	 Avaliação ex‑post: realizada durante a realização do projeto (avaliação concomitante ou de 
processos) e após a conclusão do projeto (avaliação terminal). A avaliação de processos, ao ser 
realizada durante a implementação, procura detectar as dificuldades que ocorrem na programação, 
administração, controle etc., para serem corrigidas oportunamente. A avaliação terminal ou 
de impacto procura determinar em que medida o projeto alcança seus objetivos e quais seus 
efeitos secundários.
Em se tratando da dimensão temporal da avaliação, Aguilar e Ander‑Egg (1994, p. 41) asseveram 
que, de acordo com esse critério, pode‑se fazer uma tríplice distinção:
•	 Avaliação antes (ex‑ante): também chamada de inicial ou pré‑decisão, é realizada antes da 
decisão de empreender um programa ou projeto, ou de aprovar a sua realização. É feita na fase 
de planejar o programa.
•	 Avaliação durante a execução: também denominada de gestão, avaliação contínua, avaliação 
concorrente, monitoração ou avaliação concomitante. Levanta informações sobre o andamento do 
programa, ponderando resultados visando avaliar mudanças situacionais,Esses problemas 
estavam relacionados à carência de precisão dos planos dos projetos, à dificuldade para determinar as 
responsabilidades dos gestores no caso de insucesso e à pouca clareza sobre os resultados esperados 
dos projetos.
Armani (2006, p. 36) menciona que a maior contribuição do marco lógico está no fato de ele oferecer 
uma sucessão de passos lógicos e sequenciais, “ao final da qual se tem um projeto bem estruturado nas 
suas relações de causa e efeito”. Em função dessa característica, tornou‑se uma ferramenta que facilita 
o processo de concepção, de elaboração, de execução e de avaliação de programas e projetos.
Ao garantir que o marco lógico “baseia‑se no método científico de pesquisa social, estruturando 
os projetos sobre uma cadeia de hipóteses acerca de relações de causa e efeito”, Armani (2006, p. 36) 
destaca algumas de suas vantagens:
121
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
•	 A garantia de que as questões‑chave vão ser levantadas e respondidas.
•	 A promoção de uma análise lógica e sistemática dos elementos‑chave para a elaboração de um 
projeto, ao mesmo tempo que exige a formulação de parâmetros de avaliação e monitoramento.
•	 A qualificação do planejamento.
•	 A ampliação da comunicação entre os atores envolvidos, como os beneficiários, os técnicos e os 
financiadores dos programas ou projetos.
Metodologicamente, pode‑se dizer que ele é uma matriz que deve ser preenchida levando‑se 
em consideração a relação existente entre as diferentes dimensões do projeto. Essas dimensões são 
caracterizadas pelas atividades desenvolvidas, pelos componentes/resultados das atividades, pelos 
objetivos esperados do projeto e pelos impactos a médio e longo prazos.
Segundo Armani (2006, p. 64), o marco lógico está diretamente ligado ao estabelecimento e à 
operacionalização dos indicadores de um projeto. Nessa perspectiva, destaca que
 
[...] é importante [...] que os indicadores devem ser específicos e independentes 
a cada nível do Marco Lógico, já que, [...], o fato de cumprirem‑se os propósitos 
de um nível (realização das atividades, por exemplo), não significa que o 
nível seguinte tenha sido atingido (a produção de resultados, por exemplo).
Visando facilitar a compreensão dessa ferramenta, Armani (2006, p. 38) apresenta os passos e os 
elementos importantes para essa construção (vide quadro a seguir).
Quadro 11 – Passos e elementos importantes na utilização do marco lógico
Descrição sumária Indicadores verificáveis Meios de verificação Premissas (fatores de risco)
Objetivo geral: objetivo 
hierarquicamente superior 
para o qual o objetivo do 
projeto contribui
Indicadores de impacto: 
evidenciam até que ponto e 
como o projeto contribui para 
o alcance do objetivo geral
Fontes de dados e 
informações e meios de 
coleta/registro para o 
indicador de impacto
Objetivo do projeto: 
objetivo específico do projeto
Indicadores de efetividade: 
evidenciam o grau de 
realização do objeto 
específico do projeto
Fontes de dados e 
informações e meios de 
coleta/registro para o 
indicador de efetividade
Premissas sobre os fatores 
externos, que podem 
condicionar o alcance do 
objetivo geral
Resultados imediatos: 
situações, serviços, produtos 
a serem produzidos pelo 
projeto, como condição para 
realizar o objetivo do projeto
Indicadores de 
desempenho: evidenciam 
em que medida os resultados 
foram produzidos
Fontes de dados e 
informações e meios de 
coleta/registro para o 
indicador de desempenho
Premissas sobre fatores 
externos, fora do controle 
do projeto, mas que podem 
condicionar o alcance dos 
objetivos do projeto
Atividades: conjunto de 
ações‑chave necessárias para 
alcançar os resultados
Indicadores operacionais: 
evidenciam a realização 
das atividades/ações 
(cronograma) e a provisão de 
recursos (orçamento)
Fontes de informações e 
meios de verificação dos 
indicadores operacionais são 
o orçamento e o cronograma
Premissas sobre fatores 
externos que podem 
condicionar a produção 
dos resultados
Fonte: Armani (2006, p. 38).
122
Unidade II
Na matriz apresentada (composta por 16 células, sendo quatro linhas e quatro colunas), Armani (2006) 
sugere que se inicie pela definição da primeira coluna, de cima para baixo, ou seja, do objetivo geral ao 
estabelecimento das atividades. Posteriormente, deve‑se realizar a identificação dos fatores de risco, 
que precedem a formulação dos indicadores (impacto, efetividade, desempenho e operacionais). Por 
último, elabora‑se, com base nos indicadores e meios de verificação, o sistema de gerenciamento do 
projeto (ou seja, um sistema de monitoramento e avaliação).
Embora sejam atribuídas muitas vantagens ao marco lógico, Armani (2006) destaca uma limitação. 
Para o autor, essa limitação, já indicada nos limites da intervenção social, via projetos, é que ele enfatiza 
relativamente mais o controle de resultados, efeitos e impactos, e bem menos a compreensão do 
porquê das mudanças observadas. Armani (2006) argumenta que devido a essa limitação é importante 
complementar a gestão de um projeto via marco lógico com a sistematização da experiência, a qual 
enfatiza justamente os aprendizados do processo.
6.3.4 Avaliação e monitoramento de programas e projetos sociais: um encontro com o 
serviço social
6.3.4.1 Por que avaliar?
A avaliação de políticas, programas e projetos é, hoje, uma demanda e um desafio postos a todos 
os gestores.
No campo social não é diferente. Diante da complexidade que a questão social assume no mundo 
contemporâneo, Brant de Carvalho (2001, p. 62) menciona que
 
[...] particularmente, no Brasil, a avaliação de políticas e programas sociais 
torna‑se igualmente um imperativo ético. A avaliação sistemática e contínua 
pode ser estratégica na oferta de informações substantivas que possibilitem 
o exercício do controle social (mecanismo valioso de democratização da 
gestão pública) e referenciem avanços na efetividade das ações sociais.
A elaboração, a implementação e, em especial, a avaliação de programas e projetos sociais exigem 
dos atores envolvidos “maior racionalidade nas ações e resultados, bem como novos e modernos 
instrumentos que deem conta dessas novas exigências” (Cury, 2001, p. 40).
A otimização de recursos, a melhoria do controle de avaliação e a clareza de compromissos e 
responsabilidades para avançar na efetividade de resultados não têm, na visão da autora supracitada, 
um fim em si, mas é fruto das exigências trazidas pelo compromisso ético, pela dimensão técnica e pela 
dimensão ético‑política.
O compromisso ético nos remete à ideia de que existe um pacto, em tese, com toda e qualquer ação 
transformadora no campo social.
123
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
A dimensão técnica nos remete à busca de conteúdos que permitem aferir resultados eficientes e 
eficazes. A dimensão ético‑política, segundo Cury (2001), merece destaque por organizar e sustentar 
esse processo, delimitando‑o em seu sentido e em seus fins. A autora menciona, por fim, que é preciso 
compreender a importância da dimensão ética como responsabilidade de um Estado democrático e de uma 
sociedade civil organizada na busca conjunta de uma esfera pública cada vez mais fortalecida e ampliada.
Nesse sentido, os governos se veem pressionados pela comunidade a apresentarem maior eficiência 
na aplicação do recurso público, bem como maior efetividade nos resultados esperados dos programas 
e projetos sociais, da mesma forma que são pressionadas as organizações não governamentais 
subvencionadas com recursos estatais, sendo cobradas a apresentarem atuação profissionalizada e 
padrão de qualidade no campo da prestação de serviços.
Por esses e outros motivos, a prática da avaliação deve ser introduzida como procedimento no 
cotidiano dos que operam no campo social. Ao observar essa discussão, Brant de Carvalho (2001, p. 63) 
apresenta alguns motivos que tornam a avaliação necessária:
•	 A avaliação deve ser entendida como um dever ético: os altos índices de demandas trazidos 
pela situaçãode pobreza, desigualdade e exclusão social frente à insuficiente oferta de serviços 
sociais tornam a probidade e a racionalização de recursos uma exigência preponderante.
•	 A avaliação tem papel estratégico: ao acompanhar o comportamento das ações políticas e 
programáticas, ao permitir analisar e escolher prioridades de atendimento e alocação de recursos 
(quando baseada em dados), pode realmente ser estratégica para demandas relevantes e coletivas.
•	 A avaliação é uma ferramenta para a captação de recursos: agências financiadoras de ações, 
programas e projetos solicitam, cada vez mais, dados desses serviços como forma de análise de 
resultados e impactos.
Na lógica de funcionamento dos programas e projetos, as organizações/profissionais evidenciam 
maior importância ao planejamento em detrimento da avaliação. Essa posição secundarizada só se inverte 
quando o foco está na justificativa ou ratificação de um recurso recebido. Todavia, a avaliação deve ser 
reconhecida como um procedimento que permite o aprimoramento das ações e a manutenção de uma 
relação de transparência entre os diversos sujeitos envolvidos no processo.
6.3.4.2 Serviço social e avaliação de programas e projetos sociais: reflexões
São inúmeras as transformações pelas quais as sociedades contemporâneas passaram. Essas 
transformações (rápidas, universais e globais), ocorridas especialmente no pós‑guerra, vêm, segundo 
Albiero et al. (1997), interferindo na formação profissional do serviço social.
Nesse contexto, cabe ressaltar que o serviço social experimentou, no Brasil, um profundo processo de 
renovação. As experiências vivenciadas pela categoria profissional com as novas demandas suscitaram 
a necessidade de ressignificar sua prática, primando‑se pelo planejamento e pela avaliação das ações. 
Essa primazia pelo planejamento e avaliações é expressa no Código de Ética do Assistente Social.
124
Unidade II
[...] Valores e prática até então secundarizados adquiriram novos estatutos, 
adensando o elenco de reivindicações da cidadania. Particularmente 
para as categorias profissionais, esta experiência recitou as questões 
do seu compromisso ético e da avaliação da qualidade dos seus 
serviços (Código, 2003).
Observa‑se que o cenário atual exige que o profissional saiba decifrar a realidade em sua concretude, 
bem como construir novas propostas para a efetivação de direitos sociais, civis e políticos. Exige, também, 
que responda às demandas emergentes e tradicionais, por meio de propostas inovadoras.
Diante das novas demandas profissionais, o exercício do planejamento e da avaliação assume uma 
posição de profunda relevância como instrumento de transformação qualitativa das ações. A avaliação 
de programas e projetos sociais é fundamental para aferir o grau de eficiência, eficácia e efetividade que 
os serviços sociais apresentam (Barreira, 2000).
Como observamos anteriormente, a avaliação é apresentada de várias formas, de acordo com o prisma 
e a abordagem de inúmeros autores, caracterizando‑se por diversos tipos (em função de quem a realiza, 
do momento em que é realizada, da dimensão dos projetos etc.). Esse instrumento é, notadamente, 
primordial à prática de qualquer categoria profissional e, já sem perda de tempo, deve ser apropriada 
pelos profissionais de serviço social. A exemplo da sua relevância, a Lei n. 8.662, de 7 de junho de 1993 
(dispõe sobre a profissão de assistente social e dá outras providências), em seu art. 5º, estabelece como 
atribuição privativa do assistente social: “[...] I – coordenar, elaborar, executar, supervisionar e avaliar 
estudos, pesquisas, planos, programas e projetos na área de serviço social; II – planejar, organizar e 
administrar programas e projetos em Unidade de serviço social; [...]”.
À guisa de conclusão, em meio a um cenário tão rico de possibilidades de intervenção (e metodologias), 
convém destacar a necessidade de avaliação de programas e projetos sociais. Não cabe, aqui, indicar 
ou induzir a utilização de qualquer uma delas como ideal aos profissionais de serviço social. Todavia, 
encerraremos esta unidade apresentando informações sobre uma modalidade da avaliação que, segundo 
Barreira (2000), constitui‑se como referencial para a assistência social.
Para Barreira (2000), a avaliação de programas e projetos da política de assistência social deve investir 
na capacitação emancipatória de seus usuários. A avaliação participativa tende a ser a mais indicada 
para a área, pois persegue objetivos primordiais para o processo de inclusão social de seu público‑alvo. 
Nessa perspectiva, a avaliação participativa é definida como
 
[...] um processo participativo de construção de uma nova proposta  de 
trabalho em direção ao atendimento das necessidades individuais e coletivas 
expressas pelos seus participantes. Propiciam a seus integrantes partilhar 
suas preocupações, buscar soluções conjuntas, desenvolver sua autoestima, 
habilidades e capacidades para conquistar seus direitos de cidadania e 
de vida com dignidade (Barreira, 2000, p. 97‑98).
125
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Tem como pressupostos básicos:
•	 Constitui‑se como um processo de aprendizagem e de capacitação mútua.
•	 Requer a participação dos atores direta e indiretamente envolvidos.
•	 É útil para todos os participantes do programa e/ou projeto.
•	 É flexível e criativa, adaptando‑se aos diferentes contextos em que é executada e aos diferentes 
públicos a que é endereçada.
•	 O avaliador deve assumir o papel de coordenador e/ou facilitador e/ou consultor.
•	 Tem sentido político de transformação da realidade.
 
126
Unidade II
 Resumo
Nesta unidade, estudamos sobre os tipos de avaliação, sendo que para 
cada um é necessária uma metodologia diferenciada, a depender do que se 
pretende avaliar: eficácia, eficiência e/ou efetividade. A avaliação de eficácia 
limita‑se a averiguar os objetivos planejados e as metas alcançadas; a da 
eficiência detém‑se nos recursos utilizados e na extensão dos beneficiários 
alcançados; e a da efetividade prima por avaliar os impactos e os resultados 
concretos na vida da população‑alvo. Além dessas, há a avaliação 
participante/democrática, a qual envolve gestores, técnicos e usuários no 
processo de avaliar, sendo uma das mais complexas formas de avaliar, por 
exigir predisposição.
Conhecemos as diferentes concepções e abordagens da avaliação de 
programas e projetos. Vimos que a diversidade de abordagens é resultado 
dos tipos variados de conhecimento e visões de mundo de seus autores. 
Aprendemos que, apesar das distintas abordagens da avaliação, há pontos 
em comum entre elas.
Vimos duas maneiras de tipificar as avaliações: em função do momento 
de sua realização e em função de quem as realiza. Na primeira, as avaliações 
podem expressar‑se pelos seguintes tipos: avaliação ex‑ante, avaliação 
ex‑post, avaliação terminal etc. Na segunda forma, vimos: avaliação externa, 
interna mista, autoavaliação e participativa.
Estudamos as avaliações em função da escala ou dimensão dos projetos 
(avaliação de grandes e pequenos projetos), e avaliações em função dos 
destinatários. Conhecemos o critério do conteúdo ou objeto da avaliação e o 
critério do mérito, razões ou justificativas, os quais não são tão expressivos, 
porém não são menos importantes.
Na metodologia de avaliação proposta por Worthen et al. (2004), 
averiguamos os aspectos como a definição de limites e análise do contexto; 
a identificação de perguntas e critérios; o planejamento e a condução; os 
aspectos políticos, éticos e interpessoais; coleta, análise e interpretação 
de informações quantitativas e qualitativas; e a apresentação do 
relatório – instrumento utilizado nesse processo metodológico de avaliação.
Conhecemos outro olhar sobre os aspectos metodológicos da avaliação 
de programas e projetos apresentados por Silva e Silva (2001). Apreciamos 
alguns dos momentos importantes do processo de avaliação, como: 
atividades preliminares ou preparatórias; plano da pesquisa de avaliação;127
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
implementação da avaliação; processamento, análise e síntese dos dados 
e informações; elaboração e discussão do relatório; e aplicação de resultados.
Foram apresentados alguns elementos fundamentais para a elaboração, 
implementação e, principalmente, avaliação de programas e projetos. 
Analisamos as características básicas dos objetivos, das metas, das atividades 
e dos indicadores, percebendo sua inter‑relação.
Duas outras expressões da avaliação econômica foram estudadas. 
Consideramos que a análise custo‑eficácia é um procedimento que procura, 
junto à análise custo‑benefício, maximizar a eficiência na consecução dos 
objetivos de um programa ou projeto. Avaliamos que a análise custo‑utilidade 
é um procedimento útil para a tomada de decisões quando se tem em 
foco vários programas ou projetos alternativos, justamente por comparar 
o valor monetário dos insumos com o valor real dos efeitos nos indivíduos 
que o programa afetou ou afetará. Vimos que a análise custo‑benefício se 
baseia em um princípio muito simples, porém a sua aplicação no campo 
social é muito difícil. Ponderamos que, do ponto de vista metodológico, 
caracteriza‑se por três momentos distintos. Por fim, pudemos observar 
que a avaliação privada e a social representam diferentes óticas para a 
realização da avaliação econômica.
Sobre o marco lógico, vimos que ele é um recurso para o planejamento e 
para a gestão de projetos, por facilitar o processo de avaliação. Conhecemos 
sua estrutura, seus passos, bem como seus elementos importantes; por fim, 
vimos as suas vantagens e limitações.
Ao final desta unidade, refletimos sobre a importância da avaliação no 
campo de programas e projetos sociais. Observamos alguns motivos, que 
segundo Brant de Carvalho (2001), tornam‑na importante e necessária. 
Assim, foi possível acompanhar algumas considerações sobre a prática 
do assistente social e a inserção da ferramenta de avaliação em seu 
cotidiano profissional.
 
128
Unidade II
 Exercícios
Questão 1. Em relação a alguns tipos de avaliação que podem ser usados no serviço social, avalie 
as afirmativas.
I – Avaliação centrada nos objetivos combina avaliação de processos e os impactos dos programas, 
relacionando‑os com os objetivos previamente especificados.
II – Avaliação inferencial faz inferências sobre possíveis consequências de uma questão, sem buscar 
fatos esclarecedores de relação causa‑efeito.
III – A meta‑avaliação refere‑se à avaliação da própria avaliação.
É correto o que se afirma em:
A) I, apenas.
B) II, apenas.
C) III, apenas.
D) I e II, apenas.
E) I, II e III.
Resposta correta: alternativa C.
Análise das afirmativas
I – Afirmativa incorreta.
Justificativa: a descrição dada na afirmativa diz respeito à avaliação compreensiva.
II – Afirmativa incorreta.
Justificativa: a avaliação inferencial busca fatos esclarecedores de relação causa‑efeito.
III – Afirmativa correta.
Justificativa: a meta‑avaliação é a avaliação da própria avaliação. Esse tipo de avaliação objetiva 
o refinamento do processo utilizado e pode ser conduzida durante ou após a primeira avaliação. Ela 
pode avaliar o projeto da pesquisa, as técnicas e os procedimentos empregados e as conclusões obtidas. 
Também pode comparar avaliações similares e questionar resultados.
129
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Questão 2. Vimos, no livro‑texto, que a avaliação pode ser classificada de acordo com os critérios 
de mérito, razões ou justificativas. Nesse sentido, avalie as descrições a seguir.
Descrição 1 – Avaliação compartilhada entre avaliadores e pessoas de execução direta que irão 
definir questões e construirão o processo de avaliação.
Descrição 2 – Avaliação que envolve pessoas que assumem a responsabilidade de implementar os 
resultados obtidos.
Descrição 3 – Avaliação que, no campo do serviço social, determina se uma política está funcionando 
e identifica responsabilidades.
As descrições 1, 2 e 3 referem‑se, respectivamente:
A) À avaliação de aprendizagem; à avaliação interativa; e à avaliação centrada na utilização.
B) À avaliação interativa; à avaliação hermética; e à avaliação de aprendizagem.
C) À avaliação exploratória; à avaliação interativa; e à avaliação centrada na utilização.
D) À avaliação interativa; à avaliação centrada na utilização; e à avaliação exploratória.
E) À avaliação hermética; à avaliação centrada na utilização; e à avaliação de aprendizagem.
Resposta correta: alternativa D.
Análise da questão
Vejamos, a seguir, os tipos de avaliações correspondentes às descrições 1, 2 e 3.
Descrição 1: avaliação interativa – avaliação compartilhada entre avaliadores e pessoas de execução 
direta que definem questões e construirão o processo de avaliação.
Descrição 2: avaliação centrada na utilização – envolve pessoas que assumem a responsabilidade de 
implementar os resultados obtidos.
Descrição 3: avaliação exploratória – avaliação que, no campo do serviço social, determina se uma 
política está funcionando e identifica responsabilidades.verificar o cumprimento 
do programa conforme o que foi estabelecido e subsidiar possíveis alterações.
•	 Avaliação ex‑post: é realizada no final do projeto e distingue‑se da avaliação do fim do projeto. 
Enquanto a segunda acontece na fase de conclusão da execução, a primeira (ex‑post) é realizada 
quando o programa ou projeto alcançou seu pleno desenvolvimento (meses ou anos depois de 
finalizada a execução).
 Observação
Segundo Aguilar e Ander‑Egg (1994, p. 41), a avaliação antes 
(ou ex‑ante) comporta três aspectos principais:
• Pertinência do projeto com a realidade.
• Coerência e congruência interna.
• Rentabilidade econômica das diferentes ações para alcançar os 
objetivos propostos.
93
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Na interpretação de Browne e Wildavsky (apud Silva e Silva, 2001, p. 55), em se tratando do critério 
do tempo de realização, a avaliação pode ser:
•	 Retrospectiva (retrospective evaluation): expressa o desempenho de um programa 
implementado no passado.
•	 Prospectiva (prospective evaluation): indica como será, provavelmente, o desempenho de um 
programa no futuro.
•	 Formativa (formative evaluation): desenvolvida durante o processo de implementação 
do programa.
•	 Contínua (continuous evaluation): envolve a avaliação formativa e a retrospectiva.
•	 Integrativa (integrative evaluation): ocorre antes e depois da implementação do programa.
5.3 Avaliação em função de quem a realiza
A avaliação em função de quem a realiza é outra tipologia além da avaliação em função do momento 
de realização. Nessa perspectiva, Aguilar e Ander‑Egg (1994) apresentam as seguintes avaliações:
•	 Externa: realizada por pessoas (avaliadores) que não pertencem nem são vinculadas (direta ou 
indiretamente) à instituição executora do programa ou ao projeto em avaliação. Para realizá‑la, 
normalmente, são contratados especialistas.
•	 Interna: realizada por pessoas (avaliadores) que pertencem à instituição promotora ou gestora do 
programa ou projeto em avaliação, mas não são diretamente ligadas à sua execução.
•	 Mista: representa uma combinação entre a avaliação externa e a interna. É realizada por uma 
equipe de trabalho composta por avaliadores internos e externos.
•	 Autoavaliação: realizada pelas próprias pessoas responsáveis pela execução ou realização do 
programa ou projeto.
Aguilar e Ander‑Egg (1994) ainda destacam as vantagens e as desvantagens para cada tipo 
de avaliação.
Quando se opta por uma avaliação interna (com pessoas/profissionais da própria instituição), 
corre‑se o risco de os avaliadores minimizarem os aspectos negativos em detrimento dos positivos, 
ou procurarem, em função de questões pessoais, estabelecer um responsável por todo o fracasso da 
atividade. Por outro lado, ela apresenta como vantagem o conhecimento e a familiaridade que os 
envolvidos possuem com o que será avaliado.
94
Unidade II
Na avaliação externa, quando os avaliadores são alheios à instituição, também há vantagens 
e desvantagens. Enquanto, por um lado, existe a vantagem da objetividade, por outro, existe o risco de o 
avaliador não captar plenamente todos os fatores em jogo, de acordo com a natureza e o funcionamento 
do programa.
Cohen e Franco (2013) acrescentam a avaliação participativa, além das apresentadas anteriormente. 
Para eles, a avaliação participativa tem o objetivo principal de minimizar a distância existente entre o 
avaliador e os beneficiários do programa ou projeto. Ainda, ela é mais utilizada em pequenos projetos, que 
procuram fixar as mudanças propostas, criando condições para gerar uma resposta endógena do grupo.
Ao discutir e refletir sobre a avaliação participativa, Brant de Carvalho (2001) enfatiza que essa 
avaliação é muito importante devido ao seu uso frequente na avaliação institucional e em programas e 
projetos sociais. Segundo a autora, a avaliação participativa
 
[...] surgiu na esteira da chamada pesquisa‑ação. Guarda assim propósitos, 
princípios, procedimentos e estratégias muito próximos dos utilizados nesse 
tipo de pesquisa, possibilita não só a apropriação gradativa da realidade, 
mas alimenta, ao mesmo tempo, a construção de propostas e ações. 
Tem como eixo metodológico fundante o envolvimento e a participação 
dos formuladores, gestores, implementadores e beneficiários no próprio 
processo avaliativo de um dado programa ou organização prestadora de 
serviços sociais (Brant de Carvalho, 2001, p. 86).
Ainda segundo Brant de Carvalho (2001), ela é muito rica, pois é capaz de apreender o pluralismo 
social e perseguir dois objetivos centrais: incorporar os sujeitos implicados nas ações e desencadear um 
processo de aprendizagem social.
Essa avaliação não se limita a conhecer informações e opiniões da coletividade envolvida nas 
redes, mas, por meio do ato do debate, da diversidade de opiniões, de valores e de expectativas, os 
sujeitos tornam‑se partícipes da avaliação, bem como se comprometem com a ação. A participação 
dos envolvidos na ação garante à avaliação maior densidade, limita seu risco de permanecer periférica 
e permite detectar precocemente falhas ou estratégias inadequadas e alterá‑las, objetivando melhorar 
sua eficácia.
Por suas características peculiares, requer competências adicionais do avaliador, como a capacidade 
empática de envolver os implicados no programa ou projeto, além de habilidades de mediação e de 
irrigação do processo partilhado por informações, questionamentos e clarificações.
Apesar das vantagens, Brant de Carvalho (2001, p. 88) enfatiza limitações:
 
[...] é um tipo de avaliação nem sempre adequada e suficiente para 
avaliar programas, em alguns casos, deve ser complementada por outras 
estratégias avaliativas. [...] É preciso desmontar a ideia, ainda persistente, de 
que a avaliação tem serventia apenas para a demonstração do rendimento 
95
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
pretendido num programa. A avaliação no campo social deve estar atenta 
para apreender os impactos, isso requer, portanto, situar o programa em 
relação ao contexto em que se gesta, ao grau de legitimidade alcançado na 
instituição e na comunidade e ao grau de adesão ou resistência dos agentes 
que o movem, produzindo esta ou aquela dinâmica.
Para concluir, vale observar que nenhum dos tipos de avaliação aqui apresentados possui um valor 
absoluto. Isso quer dizer que a seleção de determinado tipo vai ser realizada em função do projeto ou 
programa avaliado e, principalmente, dos objetivos que se quer alcançar.
5.4 Avaliação em função da escala ou da dimensão dos projetos
Levando em consideração o número de pessoas beneficiadas/atingidas/alcançadas e a magnitude dos 
recursos que necessitam, Cohen e Franco (2013, p. 115) afirmam que é possível fazer a distinção entre a 
avaliação de grandes e de pequenos projetos. Essas distinções podem ser observadas no quadro a seguir.
Quadro 4 – Comparativo entre avaliação de grandes e pequenos projetos
Aspectos Avaliação de grandes projetos Avaliação de pequenos projetos
Estratégia de avaliação Estratégias analíticas objetivas com 
destaque para casos quantitativos
Estratégias predominantemente 
qualitativas
Lógica de avaliação Lógica dedutiva Lógica indutiva
Roteiro de avaliação
Modelos próprios das ciências 
naturais: experimental clássico ou 
quase experimental
Parte da realidade global
Técnica de avaliação
Quantitativas (às vezes 
complementadas por 
técnicas qualitativas)
Qualitativas
Resultados da avaliação São gerais e os indivíduos atingidos 
são tratados como grupos
Oferecem trato específico sobre 
os participantes do programa, 
analisando casos desviados
Avaliadores
Avaliação centralizada 
tende a ser desenvolvida por 
avaliadores externos
Geralmente avaliadores da 
instituição, havendo possibilidade 
de avaliação participativa
Adaptado de: Silva e Silva (2001, p. 58).
Observa‑se, no quadro anterior, que existem diferenças significativas entre os dois tipos de avaliação; 
sobre esses diferentes aspectos, destacam‑se:
•	 Estratégia da avaliação:em grandes projetos, a avaliação é decomposta nas dimensões do 
projeto. É possível realizá‑la parcialmente em suas diversas etapas para medir o sucesso alcançado 
em objetivos intermediários. Por outro lado, nos pequenos projetos, a ênfase é dada à compreensão 
do conjunto e dos casos individuais que a integram.
96
Unidade II
•	 Lógica da avaliação: em pequenos projetos, a partir da observação da realidade, o avaliador 
julga o projeto como um todo. Nos grandes, sua verificação exige a construção de variáveis, 
indicadores e índices que determinam em que grau o projeto modificou a realidade em relação 
aos seus objetivos.
•	 Roteiro da avaliação: em grandes projetos, retoma‑se os modelos próprios das ciências naturais. 
Eles supõem uma captação particular da realidade, dimensionada para determinar o grau de êxito 
ou fracasso. Nos pequenos, parte‑se da realidade, procurando entender o projeto por meio das 
articulações que os indivíduos geram na comunidade.
•	 Técnicas de análise: enquanto nos grandes projetos as técnicas usuais são as quantitativas, nos 
pequenos recorre‑se ao qualitativo, utilizando técnicas da antropologia cultural e da etnografia.
•	 Resultados da avaliação: em grandes projetos são gerais, e nos pequenos são em uma 
perspectiva individual.
•	 Avaliadores: enquanto nos grandes projetos há uma avaliação centralizada, a ser desenvolvida 
por avaliadores externos, nos pequenos, a localização do avaliador está no próprio projeto.
5.5 Avaliação em função dos destinatários
Cohen e Franco (2013, p. 117) indicam e elencam três destinatários que demandam informações 
diferenciadas:
•	 Dirigentes superiores: responsáveis pela definição das políticas e pelo estabelecimento das 
prioridades entre os projetos conforme os objetivos da instituição.
•	 Administradores: responsáveis pela distribuição/repasse dos recursos para a concretização dos 
objetivos estabelecidos.
•	 Técnicos: responsáveis pela execução do projeto, centram‑se em aspectos operativos.
Em relação à avaliação em função dos destinatários, Browne e Wildavsky (apud Silva e Silva, 2001) 
entendem que ela pode centrar‑se em um determinado foco ou apresentar‑se como de múltipla 
perspectiva. O foco altera‑se conforme o usuário dos resultados da avaliação, destacando os executores, 
os financiadores e outros.
5.6 Outros enfoques
Além das avaliações em função da escala ou dimensão dos projetos e das avaliações em função dos 
destinatários, existem outros enfoques possíveis de serem aplicados aos processos avaliativos. Esses 
enfoques, embora não sejam tão expressivos, não são menos importantes. É necessário, a título de 
conhecimento, apresentar alguns deles.
97
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
5.6.1 Critério do conteúdo ou objeto da avaliação
Browne e Wildavsky (apud Silva e Silva, 2001) defendem essa tipologia. Eles elaboraram várias 
classificações para essas avaliações, como:
•	 Pseudoavaliação: serve para designar certas formas de avaliação para estudar processos 
e resultados que, na verdade, não avaliam devido à falsidade, distorção ou uso seletivo de 
informações. São estudos inócuos que não levam em conta questões relevantes sobre a política 
ou o programa.
•	 Quase‑avaliação: tem foco limitado e tangencial. Direciona‑se a questões de mérito referentes 
ao processo ou aos resultados, ignorando as variáveis contextuais que afetam a implementação.
•	 Avaliação centrada nos objetivos: centra‑se nos objetivos formais previamente estabelecidos, 
focalizando nos resultados esperados.
•	 Avaliação compreensiva: combina avaliação de processos e impactos dos programas, 
relacionando‑os aos objetivos previamente especificados, identificando as variáveis do processo e 
sua relação com os resultados.
•	 Avaliação inferencial: busca fatos esclarecedores da relação causa‑efeito. Dá ênfase à causalidade 
e aos valores.
•	 Avaliação livre: o avaliador busca os efeitos que são possíveis de encontrar no lugar dos efeitos 
alegados pelos objetivos.
•	 Avaliação multiobjetiva: é mais estruturada que a avaliação livre e permite ao avaliador 
identificar variedades de resultados.
•	 Avaliação verdadeira: são avaliados os custos e os benefícios de alternativas para determinar, 
entre várias políticas competitivas, qual alcançará os resultados com um custo razoável.
•	 Avaliação por decisão teórica: combina estudos orientados pelos financiadores com estudos 
orientados pelos usuários.
•	 Meta‑avaliação: trata‑se da avaliação da avaliação. Visa ao refinamento do próprio processo da 
avaliação e pode ser conduzida durante ou após a primeira avaliação, podendo avaliar o desenho 
da pesquisa avaliativa, técnicas e procedimentos utilizados e conclusões da avaliação, bem como 
comparar as similares e questionar os resultados.
98
Unidade II
 Lembrete
A meta‑avaliação é a avaliação de outra avaliação determinando o 
mérito ou o valor da própria avaliação (Worthen et al., 2004, p. 699).
 
5.6.2 Critério do mérito, razões ou justificativas
A avaliação pode ser classificada de acordo com o critério do mérito, razões ou justificativas. Browne 
e Wildavsky (apud Silva e Silva, 2001) apresentam essa classificação, expressada pelos seguintes tipos:
•	 Avaliação centrada na utilização: envolve pessoas que assumem a responsabilidade de 
implementar os resultados da avaliação.
•	 Avaliação interativa: compartilhada entre avaliadores e pessoas de execução direta que vão 
definir questões e construir o processo de avaliação.
•	 Avaliação exploratória: determina quando uma política está funcionando, identificando 
responsabilidades.
•	 Avaliação de aprendizagem: envolve todas as avaliações anteriormente citadas com a teoria de 
que, com ela, pode‑se contribuir para a melhoria dos processos e programas.
Concluímos chamando atenção para o fato de que uma diferença observável nos diversos tipos de 
avaliação está nos resultados que cada uma pode oferecer e nas pessoas envolvidas em cada um dos 
processos avaliativos.
6 AVALIAÇÃO DE PROGRAMAS E PROJETOS
6.1 Metodologia de avaliação de programa e projetos
6.1.1 Definição de limites e análise do contexto da avaliação
Worthen et al. (2004) defendem a ideia de que uma avaliação só é adequada quando são coletadas 
informações e essas são transmitidas a todos os seus públicos.
O avaliador, ao se comunicar, deve descobrir pontos de vista e preocupações com o programa e com 
a próxima avaliação. A identificação do público é premissa para essa atividade, e a sua identificação 
deve ser considerada durante o estágio de planejamento do processo avaliativo.
Os pontos de vista dos públicos da avaliação ajudam a focar e direcionar o estudo. “Se os avaliadores 
não dirigem claramente a avaliação para seus públicos desde o início, é improvável que os resultados 
tenham muito impacto”, garantem Worthen et al. (2004, p. 305).
99
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Uma segunda questão a ser considerada é a descrição do objeto do estudo avaliatório. Essa descrição 
estabelece os limites do que vai ser avaliado.
Consoante Worthen et al. (2004), a demarcação do objeto da avaliação pode ser sistematizada com 
a resposta a algumas questões, como: que problema o programa se propôs a solucionar? Quem participa 
do programa? O programa já foi avaliado antes?
Worthen et al. (2004) garantem que as respostas às perguntas apresentadas podem ser obtidas 
de várias formas e por meio de diversas fontes. Eles sugerem três abordagens básicas de coleta de 
informações, a saber:
•	 Documentos descritivos: documentos de planejamento, propostas feitas a órgãos financiadores, 
relatórios, atas de reuniões etc.
•	 Entrevistas: sugere‑se o contato/diálogo com pessoas envolvidas com o planejamento, com a 
implementação do programa e com outras que o observaram em ação.
•	 Observações: muitas vezes, evidenciam distorções entre a forma que o programa está operando 
e aquela que deveria estar funcionando, por isso sua importância.
A definição daquilo que deve ser avaliado, segundo Worthen et al. (2004,p. 310), “reduz as chances 
de que mais tarde o avaliador venha a ser acusado de avaliar a coisa errada”.
O último ponto a ser considerado é a análise de recursos e capacidades de uma avaliação. 
O avaliador deve reconhecer que seu objetivo é aumentar a produtividade e a qualidade do produto. 
A avaliação não pode ser operacionalizada como uma despesa extra, e sim como uma forma de 
identificar “fatores de redução de custos e/ou aumento da eficiência do projeto” (Hodgkinson; Hurst; 
Levine apud Worthen et al., 2004, p. 316).
6.1.2 Identificação de perguntas e critérios de avaliação
As reflexões de Worthen et al. (2004) ajudam a compreender as perguntas avaliatórias, os critérios 
e os padrões de avaliação. Para eles, as perguntas avaliatórias dão direção e base de sustentação à 
avaliação, sem as quais essa não teria foco e o avaliador teria dificuldades para explicar o que, como 
e por que seria examinado, além dos critérios a serem utilizados para definir as características de um 
programa ou uma implementação bem‑sucedida.
O projeto ou avaliação não estará completo sem a especificação de padrões, dos quais designam o nível 
que o desempenho do programa deve atingir em relação a esses critérios para ser considerado um sucesso.
Worthen et al. (2004) enfatizam que, dessa forma, as perguntas avaliatórias articulam o foco do 
estudo, mas, sem os padrões, o avaliador não tem condições de julgar os resultados; e, sem os critérios, 
ele não terá condições de julgar o programa em si. Para eles, o processo de identificação/definição das 
perguntas e dos critérios a serem utilizados em uma avaliação exige reflexão e investigação cuidadosa.
100
Unidade II
 Saiba mais
Blaine R. Worthen é professor e diretor de Metodologia de Pesquisa  e 
Avaliação do Departamento de Psicologia da Utah State University e diretor 
do Western Institute for Reserarch and Evolution. Além disso, é autor 
e coautor de vários livros sobre o tema avaliação.
Sugerimos a leitura da obra:
WORTHEN, B. R. Avaliações de programas: concepções e práticas. São 
Paulo: Gente, 2004.
 
Segundo Cronbach (apud Worthen et al., 2004, p. 342), a operacionalização desse processo 
apresenta duas fases:
•	 Divergente: momento de criar um leque de perguntas relevantes.
•	 Convergente: momento em que os avaliadores selecionam, entre o leque de perguntas, as mais 
críticas a serem tratadas. Após a seleção, os critérios são estabelecidos.
6.1.3 Planejamento e condução da avaliação
Para Stuffebean (apud Worthen et al., 2004, p. 374), a compreensão do foco da avaliação (o que 
vai ser avaliado, por qual motivo a avaliação foi proposta, que grupos compõem o público da avaliação 
etc.) representa apenas uma etapa na criação de um plano de avaliação. O referido autor apresenta uma 
estrutura com seis atividades/funções integrantes desta operação:
•	 flexibilidade;
•	 agilidade;
•	 eficiência;
•	 eficácia;
•	 relevância;
•	 produtividade.
Essa estrutura permite refletir sobre a complexidade e a amplitude da construção de um 
plano  de avaliação, tendo início com o estabelecimento do foco da avaliação, seguida pelo estágio 
de coleta de  informações (deve‑se atentar à fonte de informações, que podem ser os destinatários 
do programa, implementadores, pessoas que conhecem os destinatários, administradores ou dados e 
documentos existentes).
101
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Um plano de gestão é essencial para ajudar a supervisionar o projeto. Segundo Worthen et al. (2004), 
para ser considerado bom, ele deve conter: as tarefas a serem realizadas e os prazos de cada uma; 
a equipe e outros recursos necessários para completar a tarefa; e o custo de todo o processo.
6.1.4 Aspectos políticos, éticos e interpessoais da avaliação
Não sendo a avaliação uma atividade meramente metodológica e técnica, ela costuma ser eclipsada 
por influências interpessoais, éticas e políticas que modelam o trabalho do avaliador. Sobre essas 
considerações, Worthen et al. (2004) propõem algumas recomendações que evidenciam a importância 
da comunicação no processo avaliatório:
•	 Prepare os participantes sobre a finalidade e os benefícios da avaliação.
•	 Procure estimular e/ou incentivar a participação de todos.
•	 Proponha prazos adequados para a realização da avaliação. Se possível, defina o prazo/atividades 
coletivamente.
•	 Incentive a participação externa.
•	 Alimente um espírito de negociação e concessões mútuas em lugar de ações unilaterais.
•	 Delegue responsabilidades.
•	 Organize grupos de discussão, bate‑papos e reuniões para a publicação das informações.
•	 Respeite os direitos dos indivíduos.
Para Worthen et al. (2004), seguir essas recomendações pode proporcionar muitos benefícios ao 
estudo, uma vez que elas tornam as informações avaliatórias mais precisas. Os autores ainda consideram 
que o sistema de valores e crenças de um avaliador pode exercer influência sobre a avaliação. Isto é, 
da mesma maneira que outros estudiosos, Worthen et al. (2004, p. 432) destacam que as crenças e os 
valores do avaliador podem tornar‑se problemáticas no processo de avaliação.
Toda avaliação é um reflexo das crenças pessoais do avaliador, bem como 
um complexo de inter‑relações pessoais, financeiras e organizacionais do 
avaliador com inúmeros outros sujeitos do contexto do estudo. [...] Os valores 
e as crenças do avaliador se misturam em todos os passos da avaliação, nas 
decisões sobre o tipo de informação a ser coletado, sobre a forma dessa 
coleta, sobre as melhores análises e sobre a forma de apresentá‑las.
Nessa perspectiva, Lincoln e Guba (apud Worthen et al., 2004, p. 433) sugerem algumas estratégias 
para a redução do etnocentrismo do avaliador, como:
102
Unidade II
•	 a manutenção de diários reflexivos;
•	 interrogatório dos colegas após o término de cada tarefa;
•	 uma espécie de auditoria.
Sob o ponto de vista ético, House (apud Worthen et al., 2004, p. 442) menciona que
 
Em primeiro lugar, eles exercem poderes sobre as pessoas que podem lesar a 
autoestima, manchar reputações e truncar carreiras [...] Em segundo lugar, os 
avaliadores estabelecem relações nas quais eles próprios ficam vulneráveis 
a pessoas que podem lhes garantir trabalho no futuro. [...] Além disso, 
os avaliadores vêm das mesmas classes sociais e dos mesmos ambientes 
educacionais que aqueles que financiam as avaliações e administram os 
programas. Esses fatores multiplicam os riscos éticos.
E, em uma última perspectiva, há a influência e/ou pressão política exercidas sobre os avaliadores 
e sobre as avaliações. Na verdade, Worthen et al. (2004) garantem que é responsabilidade do avaliador 
providenciar ações necessárias para que as forças políticas não consigam subverter um estudo 
de avaliação.
Para esse confronto, sem a pretensão de propor saídas ou resultados mágicos, Brickell (apud 
Worthen et al., 2004, p. 458) formula sugestões para este enfrentamento:
•	 Procure entender como o cliente pensa.
•	 Tranquilize o cliente dizendo‑lhe que apontará sugestões úteis frente a cada descoberta/problema.
•	 Descubra o que as pessoas que tomam decisões realmente vão utilizar como critérios para julgar 
o êxito do projeto.
•	 Introduza um mecanismo de supervisão no contrato de avaliação.
•	 Escreva o relatório com muito cuidado, revisando‑o antes de apresentá‑lo ao cliente.
Com essas medidas, Brickell (apud Worthen et al., 2004, p. 458) reforça que o avaliador não estará 
protegido das influências políticas, mas elas podem ajudá‑lo no enfrentamento das questões e tensões 
com o cliente.
103
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
6.1.5 Coleta, análise e interpretação de informações quantitativas e qualitativas
Consoante Worthen et al. (2004, p. 468), a coleta de dados é fundamental para a avaliação, bem 
como para os métodos que os avaliadores usam para coletar informações. Para eles, é algo que precisa 
ser definido considerando‑se custo, precisão, estabilidade, relevância, viabilidade, conveniência política 
e aceitabilidade por parte dos váriospúblicos.
Em linhas gerais, nenhum método, ou abordagem, isolado, é apropriado. Vamos analisar objetivamente 
os métodos quantitativos e qualitativos.
Para Worthen et al. (2004), os métodos quantitativos são muito utilizados na coleta de informações 
e podem ser necessários para a realização de uma avaliação. Vejamos:
•	 Testes – desdobra‑se em quatro abordagens:
— testes pautados por normas;
— testes pautados por objetivos;
— testes pautados por critérios;
— testes pautados pelo domínio.
•	 Questionários.
•	 Entrevistas individuais, em grupo e domiciliares.
No método qualitativo, Worthen et al. (2004) apresentam a seguinte relação de abordagens:
•	 Estudo de caso: proposta de coleta de dados, utiliza múltiplos métodos, muitas vezes qualitativos, 
para apresentar um entendimento completo do programa, caso ou unidade de interesse.
•	 Documentos: inclui as anotações pessoais ou profissionais que não foram preparadas 
especificamente para a pesquisa ou investigação.
•	 Arquivos: são documentos oficiais ou resumo de dados.
•	 Observação: depende menos de instrumentos e mais do avaliador ou observador.
•	 Visitas ao local: categoria especial de métodos de observação, muito utilizada em credenciamento 
e auditoria.
•	 Entrevistas: são úteis quando a finalidade da coleta de dados está pouco clara, requerendo mais 
tempo que os questionários.
•	 Grupos focais: método de entrevista em grupo destinado a obter informações que resultam da 
interatividade orientada dos membros do grupo.
104
Unidade II
•	 Análise de conteúdos: adota uma abordagem quantitativa ou qualitativa, é utilizada para 
analisar, descrever ou resumir tendências em documentos escritos.
6.1.6 Apresentação do relatório da avaliação
Para concluir este tema, oferecemos informações sobre a apresentação do relatório de avaliação que, 
segundo Worthen et al. (2004), tem muitas finalidades (prestação de contas, convencimento, educação, 
documentação etc.), mas um ponto comum a todos eles é transmitir a mensagem, ou seja, informar ao 
público‑alvo as descobertas e as conclusões resultantes das atividades.
Para eles, o primeiro aspecto que se projeta é a finalidade do relatório, que está diretamente ligada ao 
uso que se pretende fazer da avaliação. O segundo aspecto é a identificação de públicos dos relatórios e a 
adaptação dos relatórios a esse(s) público(s). A definição das datas de entrega dos relatórios considerada 
a variação de finalidades e os públicos dos relatórios é o terceiro aspecto.
6.1.7 Aspectos metodológicos da avaliação
Para Silva e Silva (2001, p. 64), algumas questões são relevantes na concepção de metodologia para 
a avaliação de políticas e programas sociais.
De acordo com a autora, a concepção de metodologia vai além de um conjunto de procedimentos 
e técnicas, “[...] constituindo um corpo teórico de explicação da própria avaliação e de seu projeto; da 
compreensão de método como todo raciocínio empregado para aceitar ou rechaçar um fato como 
verdadeiro e técnica como instrumento utilizado para coletar dados ou para analisá‑los” (Silva e Silva, 
2001, p. 64).
Silva e Silva (2001) argumenta que a partir dessa referência são considerados o processo, os sujeitos 
e os modelos utilizados na avaliação das políticas e programas sociais, bem como os métodos e as 
técnicas usuais.
Reconhecendo a avaliação como um momento do processo das políticas públicas (podendo ocorrer 
antes, durante ou após a sua implementação), Silva e Silva (2001) destaca seis momentos importantes 
para esse processo:
•	 atividades preliminares ou preparatórias;
•	 plano da pesquisa de avaliação;
•	 implementação da avaliação;
•	 processamento, análise e síntese dos dados e informações;
•	 elaboração e discussão do relatório;
•	 aplicação dos resultados.
105
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
As atividades preliminares compreendem a definição de questões essenciais à continuidade da 
avaliação. Nesse contexto, destaca‑se a negociação entre os que encomendam a avaliação e a equipe 
que a desenvolverá. Para Silva e Silva (2001, p. 65),
 
[...] esse momento preliminar se desenvolve a partir de um procedimento de 
aproximações sucessivas e negociações entre as partes envolvidas marcadas 
por interesses [...], devendo chegar a consenso [...]. Definidos esses aspectos, a 
equipe técnica deve encaminhar [...] o levantamento de respostas a questões 
consideradas essenciais para permitir o planejamento da pesquisa avaliativa.
A elaboração do plano da pesquisa avaliativa, segundo Silva e Silva (2001, p. 66), refere‑se à definição 
dos passos para orientar o estudo avaliativo.
Para a autora, a elaboração desse plano envolve as definições: de um marco referencial; do universo 
do programa a ser considerado na avaliação; de objetivos e metas; da amostragem; e do plano de 
análises das informações levantadas, além do levantamento de avaliações ou estudos anteriores 
sobre o programa; da delimitação do objeto da avaliação; da seleção da estratégia metodológica; e da 
determinação das formas e dos passos a serem seguidos no processamento das informações.
Silva e Silva (2001, p. 67) afirma que “o produto do planejamento da avaliação é o projeto que 
orientará todo o estudo”.
No entendimento da referida autora, a implementação da avaliação ou trabalho de campo consiste 
em adentrar na realidade para o levantamento de dados e informações. Para Silva e Silva (2001, p. 68), 
“trata‑se de um momento muito peculiar a cada experiência, dependendo, por exemplo, do porte do 
programa, do estudo avaliativo que se pretende desenvolver”.
Conforme a autora, o processamento, a análise e a síntese dos dados e informações expressam o 
momento de elaboração destes, que são ordenados, classificados e agrupados. Para ela, o processamento 
de dados e informações inclui atividades como categorização de respostas, tabulação de dados e 
informações e a elaboração de quadros e de gráficos. O processamento é seguido pela análise (que 
significa a decomposição de um todo em suas partes constitutivas) e pela síntese (que é a operação 
contrária, ou seja, explora‑se a relação entre as partes e reconstrói‑se a totalidade inicial).
Ainda nesse contexto, a elaboração e a discussão do relatório não devem ser entendidas como 
uma formalidade, mas como outro momento relevante do processo. Silva e Silva (2001, p. 69) nos 
lembra de que é importante que os resultados sejam apresentados de modo ordenado e claro, com 
uma estrutura que contemple, ao menos, uma introdução (com o referencial teórico, com o objeto da 
avaliação, com os objetivos, com a indicação do método e com os procedimentos), um desenvolvimento 
(com uma síntese dos resultados do estudo) e uma seção final conclusiva e com recomendações sobre 
a educabilidade dos resultados.
Por fim, segundo Silva e Silva (2001), a aplicação dos resultados da avaliação é destacada como o 
ponto central do processo.
106
Unidade II
6.1.8 Métodos e técnicas
Segundo Silva e Silva (2001, p. 72), a avaliação de políticas e programas utiliza‑se de métodos e 
técnicas da pesquisa social; nessa abordagem, destacam‑se:
•	 A identificação de problemas e controvérsias no campo da avaliação: a literatura sobre 
avaliação de políticas e programas sociais aponta vários problemas e controvérsias, como: o 
confronto entre os paradigmas qualitativo e quantitativo (quadro a seguir); a controvérsia 
metodológica, no que se refere à medição, diretamente relacionada à utilização do método 
quantitativo; a controvérsia no processo de implementação do programa; a posição subalterna 
ocupada pela pesquisa avaliativa; a falta de legitimidade da avaliação; a falta de classificação das 
funções dos sujeitos na avaliação; a resistência à avaliação; e a pouca utilização dos resultados.
Quadro 5 – Confronto entre paradigma quantitativo e qualitativo
Paradigma quantitativo Paradigma qualitativo
Desenvolvido do paradigma da ciência experimental 
(laboratório), tendo como pressuposto o entendimento 
de que é possível conhecer o mundo (pelomenos teoricamente)
As coisas do mundo são de natureza estável, podendo ser 
separadas em partes para estudo fora do contexto original
Desenvolvido do paradigma das ciências sociais, tendo como 
pressuposto o entendimento de que o mundo só pode ser 
entendido pela investigação racional, parcialmente, ou seja, 
o conhecimento é inconcluso, dinâmico e sempre relativo
A natureza intrínseca das partes é determinada pelo seu 
ambiente, não podendo dele ser isoladas
Admite que as características fundamentais do 
mundo possam ser reproduzidas pelo investigador e 
fatos de interesse podem ser introduzidos e retirados 
voluntariamente de modo que os efeitos possam 
ser observados
Mudança é uma condição constante, o que faz com que o 
paradigma qualitativo veja as mudanças importantes não no 
seu grau, mas no tipo, na natureza, ou seja, a preocupação é 
com a mudança no estado
Parte da construção prévia de hipóteses sobre 
resultados esperados
Não admite a construção prévia de hipóteses sobre 
relação de variáveis, observando os resultados no seu 
ambiente natural
Os resultados da investigação são expressos em números Trata de mudança qualitativa que não pode ser reduzida 
a números
Admite que as conclusões da investigação possam ser 
generalizadas para o mundo real
Não se preocupa com generalização nem com aplicações 
além do campo original da descoberta: se o contexto é 
diferente, processos e formas são diferentes
O laboratório ou quase laboratório reproduz as condições do 
mundo real, numa tentativa de restringi‑lo para produzir as 
condições de laboratório (intervenção)
Preocupação com a descrição e observação direta no 
contexto natural, produzindo interpretações múltiplas do 
sentido das ações e eventos
Capacidade para autocorreção: permite resultados 
contrários aos esperados se a hipótese estiver correta
Preocupação em descrever processo e não estabelecer 
relação causal, buscando padrões e tendências entre os 
relatos obtidos
Toda crença é sujeita à verificação (pelos dados) e, como a 
verificação não tem final, toda crença é sujeita à revisão O importante é descobrir singularidade e não generalidade
Admite controle sobre o fenômeno objeto de estudo A realidade não pode ser controlada
Preocupa‑se com a medição e resultados numéricos, com 
previsões antecipadas (hipóteses) e com contestação de 
resultados como medida de controle
Preocupa‑se com o todo mais do que com as partes
Trabalha com amostra probabilística aleatória para permitir 
generalização de resultados
Prefere amostras por categorias para assegurar 
informações importantes
Fonte: Silva e Silva (2001, p. 73).
107
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
•	 Os métodos e os modelos na avaliação: tem‑se dois grupos de políticas a serem avaliadas – com 
propósitos de produção de bens e serviços, cujos objetivos se limitam à distribuição desses; e com 
o propósito de mudança e avaliação de impactos (Figueiredo e Figueiredo apud Silva e Silva, 
2001, p. 77).
•	 Os métodos e as técnicas usuais na avaliação de políticas e programas sociais: a avaliação 
política da política, a avaliação de processo e a avaliação de impactos estão em mais evidência 
(quadro a seguir).
Quadro 6 – Métodos e técnicas usuais na avaliação de políticas e programas sociais
Dimensão Avaliação de processo Avaliação de impactos
Concepção É um procedimento de verificação e correção do 
funcionamento de um programa
É uma medida de desempenho da ação de um 
programa (desempenho físico, tangível, mensurável: 
alteração de índices; desempenho subjetivo: mudança 
de atitudes, comportamentos, opiniões)
Objeto
Aferição da adequação entre meios e fins, 
observando o contexto organizacional, institucional, 
social, econômico e político onde se desenvolve a 
implementação de um programa
Estudo do efeito ou resultado de um programa, 
determinando se houve mudança, magnitude da 
mudança, segmentos afetados pela mudança e em 
que medida cada um dos componentes atendidos 
pelo programa contribuiu para o alcance dos objetivos
Objetivos
Aferir eficiência e eficácia de um programa, 
oferecendo descrição adequada dos serviços e 
verificando se a população‑alvo está sendo atingida 
Corrigir o curso de ações durante a implementação, 
visando sua reorientação em função dos objetivos 
do programa
Permitir a escolha racional entre alternativas que 
aumentam a eficiência do programa
Oportunizar melhor alocação de recursos, permitindo 
aos administradores a otimização da relação insumo/
produto, e aos técnicos, o conhecimento dos aspectos 
operativos utilizados na implementação do programa
Medir o resultado dos efeitos de uma política 
Servir de medida de desempenho da ação pública
Estabelecer relação de causalidade entre a política e 
as alterações das condições sociais
Momento Realiza‑se durante a implementação do programa, 
olhando para frente, para correções ou adequações
Realiza‑se durante ou depois da implementação 
do programa, olhando para trás para verificar se se 
obteve ou não os resultados previstos, identificando 
as causas
Horizonte Efetua decisões cotidianas, operativas Dirige‑se para fora, para além do programa para 
tomar decisões sobre a política 
Usuário Administradores e executores do programa Tomadores públicos de decisão
Fonte: Silva e Silva (2001, p. 83).
Concluindo, é importante considerar que não são apenas os programas e os projetos que requerem 
procedimento metodológico presente desde o início das reflexões referentes à implantação de programas 
ou projetos, a avaliação também o exige em todas as suas etapas, pois, sem ele, corre‑se o risco de não 
se chegar a resultados satisfatórios.
108
Unidade II
6.2 Avaliação de programas e projetos: elementos fundamentais
6.2.1 Objetivos
Para estabelecer os objetivos de um projeto, é necessário responder à pergunta: para que se faz? 
Segundo Ander‑Egg e Idáñez (1997, p. 38), “trata‑se de indicar o destino do projeto ou os efeitos que 
se pretende alcançar com a sua realização”. Observa‑se, portanto, que essa operação se expressa como 
elemento fundamental.
Os objetivos de um projeto (quando da sua elaboração) podem ser divididos entre geral ou principal 
e específicos.
O objetivo geral representa o propósito central do projeto. Os objetivos específicos (complementares 
ou imediatos) são desdobramentos ou derivações do objetivo geral. A relação entre os objetivos pode 
ser observada na figura a seguir.
Objetivos específicosObjetivo geral
Adaptado de: Armani (2006, p. 52).
Figura 4 – Relação entre os objetivos de um projeto
Observa‑se que o objetivo geral mostra em qual perspectiva o projeto vai se desenvolver, expressando 
o impacto mais geral do referido projeto. Isto é, ele expressa o impacto que as mudanças produtivas vão 
ter. Já os objetivos específicos representam a referência central para o dimensionamento do êxito ou 
fracasso do projeto.
 Observação
Vejamos um exemplo de objetivo geral e de objetivo específico extraídos 
do livro Como elaborar projetos, de Domingos Armani (2006, p. 50):
Objetivo geral: o Projeto Travessia pretende contribuir para a melhoria 
das condições de vida da sociedade do município de Capela, fazendo parte 
do programa de desenvolvimento da cidadania.
Objetivo específico: o Projeto Travessia tem como objetivo criar 
condições para que crianças e adolescentes do município de Capela deixem 
de viver e trabalhar nas ruas, contribuindo para o desenvolvimento de um 
(novo) projeto de vida, baseado em seus direitos de cidadania estabelecidos 
no Estatuto da Criança e do Adolescente.
109
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
6.2.2 Metas
Enquanto os objetivos (geral e específico) expressam os propósitos que um projeto deseja alcançar, as 
metas operacionalizam os objetivos, estabelecendo quanto, quando e onde eles vão se realizar. Segundo 
Ander‑Egg e Idáñez (1997), esse procedimento permite que as atividades e as ações correspondentes 
sejam claramente estabelecidas, facilitando a determinação do nível e dos insumos (recursos) necessários, 
e afirmamque:
 
[...] não devemos esquecer nunca que é muito mais fácil formular objetivos 
ideais, abstratos e maravilhosos, e encontrar graças a isso seguidores 
entusiastas, do que estabelecer passos precisos para resolver problemas 
concretos. Para que os objetivos adquiram um caráter operativo, há que se 
traduzi‑los em ganhos específicos, quer dizer, há que indicar quanto se quer 
obter com a realização do projeto, num prazo determinado e num âmbito ou 
espaço também delimitado (Ander‑Egg; Idáñez, 1997, p. 40).
As metas, também chamadas de resultados, são formuladas a partir de cada objetivo específico. 
A relação entre os objetivos específicos e as metas de um projeto pode ser observada na figura a seguir.
MetasObjetivos específicos
Figura 5 – Relação entre objetivos específicos e metas de um projeto
Adaptada de: Armani (2006, p. 58).
6.2.3 Atividades
As atividades são mais um elemento importante no contexto de elaboração de projetos. Conforme 
Armani (2006, p. 51), elas são agrupamentos de ações concretas, de forma que um conjunto de ações 
deve ser realizado para viabilizar cada atividade. Para o autor, as atividades e as ações procedem o 
cálculo dos custos do projeto e a definição do cronograma (financeiro, atividades etc.).
Verificamos, desse modo, que as atividades estão diretamente ligadas às metas, sendo que cada uma 
permite o estabelecimento de várias atividades.
110
Unidade II
6.2.4 Indicadores
Segundo Armani (2006, p. 58), os indicadores são conceituados como
 
[...] um instrumento de medição usado para indicar mudanças na realidade 
social que nos interessa. Ele é uma “régua” ou um padrão que nos ajuda a 
medir, avaliar ou demonstrar variações em alguma dimensão da realidade 
relevante para os objetivos de um determinado projeto. Os indicadores 
fornecem evidências concretas do andamento das atividades, do alcance 
dos resultados e da realização dos objetivos de um projeto.
Em se tratando do campo de projetos sociais, a utilização de indicadores é complexa. Sendo, 
normalmente, as mudanças pretendidas de relações sociais, culturais ou políticas, tendendo a serem 
bastante subjetivas e de variadas interpretações, Armani (2006) argumenta que esse é o motivo de 
tal complexidade.
O autor ainda salienta que, para expressar as mudanças pretendidas por um projeto, são usados 
conceitos como participação, cidadania, autoestima, empoderamento etc., o que, em seu entendimento, 
dificulta a mensuração, já que os conceitos não podem ser medidos diretamente.
Armani (2006) afirma que os indicadores são parâmetros objetivos e mensuráveis utilizados para 
operacionalizar conceitos, pois, como não temos condições de dimensioná‑los diretamente, eles são 
uma forma de captar fenômenos sociais.
Para transformar conceitos em indicadores, Armani (2006, p. 59) sugere que devemos:
•	 Identificar as dimensões do fenômeno em questão (variáveis).
•	 Criar formas mais apropriadas para medir suas variações – indicadores (conforme o esquema do 
quadro a seguir).
Quadro 7 – Exemplo do uso de indicadores
Conceito Variável Indicadores
Participação 
comunitária
Envolvimento com a gestão dos serviços 
sociais básicos
Nível de associativismo
Número e tipo de organizações presentes 
na comunidade
Grau de autonomia das organizações (alto, 
médio e baixo)
Índice de sindicalização dos 
trabalhadores empregados 
Representação em conselhos municipais
Adaptado de: Armani (2006, p. 60).
111
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Pudemos verificar que, tendo como conceito do projeto a participação comunitária, algumas 
variáveis foram estabelecidas, desdobrando‑se em parâmetros objetivos mensuráveis (indicadores).
6.2.5 Elementos em ação
Como mencionado no início da nossa explanação, após apresentarmos separadamente os elementos, 
os objetivos, as metas, as atividades e os indicadores, iremos objetivamente apresentá‑los em ação, 
demonstrando sua operacionalização e interdependência.
Observando a figura a seguir, podemos verificar que o objetivo geral (OG) representa o objetivo 
superior que o projeto pretende atingir. Ele se desdobra e/ou desmembra em objetivos específicos (OE). 
Sobre isso, Ander‑Egg e Idáñez (1997, p. 39) afirmam que:
[...] a boa formulação do objetivo principal e dos objetivos específicos 
(se  isso for necessário), é garantia (não absoluta), para elaborar um bom 
projeto, visto que à volta do ou dos objetivos, se dá coerência ao conjunto 
das atividades que compõem o projeto, custos, estratégias, tempos etc.
OG
Objetivo geral Objetivos específicos Metas (derivações 
do OE1)
Indicadores 
(medem a M2)
OE 1
OE 2
M 1
M 2
M 3
I 1
I 2
I 3
Figura 6 – Relação entre elementos importantes para a avaliação
Fonte: Cohen e Franco (2013, p. 154).
Cada objetivo específico apresentado pode gerar uma meta (M), que, segundo Armani (2006, p. 50), 
diz respeito à proposição de produtos e/ou a situações concretas e tangíveis a serem produzidas pelo 
projeto, com base na realização das atividades (e ações). Com isso, as atividades emergem de cada 
meta proposta e dão margem para a criação das ações.
Paralelamente a esse movimento, são apresentados os indicadores – utilizados na mensuração de 
resultados. Os indicadores (I) são estabelecidos e pautados em cada meta proposta.
Finalizando essa contextualização, cabe mencionar a existência de dois tipos de indicadores:
•	 Quantitativos: expressam variação quantificável (número de pessoas, percentuais etc.).
•	 Qualitativos: expressam variáveis que não podem ser demonstradas apenas com números 
(autoestima, valores, atitudes etc.).
O uso desses indicadores é determinado em função dos objetivos propostos pelo projeto.
112
Unidade II
6.2.6 Análise custo‑eficácia (ACE)
A análise custo‑eficácia, também denominada como custo‑efetividade, é um procedimento que 
procura, junto à análise custo‑benefício, maximizar a eficiência na consecução dos objetivos de um 
programa ou projeto. A diferença básica entre elas é que, no caso da análise custo‑eficácia, os resultados 
não são expressos em unidades monetárias. Cohen e Franco (2004, p.186) definem a análise custo‑eficácia 
como “uma técnica analítica que compara os custos de um projeto com os benefícios resultantes, não 
estando expressos na mesma unidade de medida”.
A eficácia de um produto está relacionada ao alcance de seus objetivos. “A eficácia deve ser medida 
na relação estabelecida entre os meios e os fins, isto é, o quanto o projeto – em sua execução – foi 
capaz de alcançar os objetivos e as metas propostas e o quanto ele foi capaz de cumprir os resultados 
previstos” (Brant de Carvalho, 2001, p. 72).
A efetividade tem relação com o atendimento das reais demandas sociais. “A efetividade é, 
portanto, medida pela quantidade de mudanças significativas e duradouras na qualidade de vida ou 
desenvolvimento do público beneficiário da ação que o projeto ou política é capaz de produzir” (Brant de 
Carvalho, 2001, p. 72).
Aguilar e Ander‑Egg (1994) classificam a análise custo‑eficácia como a mais indicada ou aplicável 
em programas sociais. Os referidos autores destacam que, como na análise custo‑eficácia os custos são 
expressos em dinheiro, mas os efeitos são expressos em unidades de resultados ou objetivo quantificáveis, 
seu emprego costuma ser mais frequente e útil.
Para ilustrar essa diferença, apresentamos a figura a seguir.
Insumos
Custos
Produtos
Resultados
Benefícios
Análise custo‑benefícioAnálise custo‑efetividade
Figura 7 – Diferenças entre custo‑efetividade e custo‑benefício
Fonte: Aguilar e Ander‑Egg (1994, p. 187).
113
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
A definição de custo‑eficácia apresentada por Cohen e Franco (2013) permite outra consideração: 
os custos do projeto devem incluir todos os recursos demandados ao longo de sua duração, ou seja, 
deve‑se incluir os custos de investimento (construções, por exemplo) e os custos de operação (gastos 
operacionais e de manutenção).
Uma das dimensões centrais da análise custo‑eficiência é a identificação dealternativas, nas versões 
ex‑ante ou ex‑post. No contexto dos projetos sociais, nota‑se um destaque da avaliação ex‑post em 
detrimento da avaliação ex‑ante. Thompson e Fortess (apud Cohen; Franco, 2013, p. 154) confirmam que:
 
[...] a ênfase tradicional na avaliação retrospectiva, em que o desempenho 
do programa é analisado depois de realizado, foi sutilmente deslocada em 
direção à avaliação prospectiva – avaliar as capacidades do programa antes 
de sua implementação. As ferramentas da avaliação prospectiva incluem a 
análise da decisão, a análise benefício‑custo e a análise custo‑efetividade.
O quadro a seguir mostra uma comparação entre a análise custo‑eficiência ex‑post e a análise 
custo‑eficiência ex‑ante, com os passos/etapas para sua operacionalização.
Quadro 8 – Comparação entre análise custo‑eficiência 
ex‑ante e análise custo‑eficiência ex‑post
Fase/etapa Ex‑ante Ex‑post
1 Definição do problema Identificação com precisão dos objetivos 
do projeto
2 Diagnóstico da situação Traduzir os objetivos em dimensões operacionais 
e indicadores
3 Alternativas de solução Especificar as alternativas que serão avaliadas e 
medir os recursos afetados em valor monetário
4 Seleção da melhor alternativa Valorizar comparativamente as alternativas
5 Elaboração do projeto definitivo
6 Incertezas e análise de sensibilidades
Adaptado de: Cohen e Franco (2013).
O princípio que deve reger a análise custo‑efetividade é o mesmo da análise custo‑benefício. Aguilar 
e Ander‑Egg (1994, p. 188) afirmam que “é preferível o programa que produz maior influência nas 
populações‑objetivo pelo mesmo gasto”.
Por outro lado, finalizando essa reflexão, é pertinente mencionar uma limitação e/ou restrição da 
análise custo‑eficiência, que é a dificuldade ou impossibilidade de comparar projetos com objetivos 
diferentes. Reynolds e Gaspar (apud Cohen; Franco, 2013, p. 156) reiteram que “[...] uma das restrições 
da ACE é que não podem ser feitas generalizações mecânicas de seus resultados, deve‑se ter sempre 
presente o problema das economias e deseconomias de escala que são o resultado da expansão 
dos projetos”.
114
Unidade II
Cohen e Franco (2013) enriquecem nossa análise citando duas situações. Ao tentar comparar dois 
programas, um com o objetivo de reduzir a desnutrição e outro com o objetivo de reduzir a malária, é 
possível “compará‑los tomando a probabilidade de invalidez e mortes que eles possam evitar”.
Contudo, para os autores, é mais difícil e complicado comparar um programa nutricional com um 
programa de autoconstrução para grupos de baixa renda, com objetivos claramente distintos. Nessa 
situação, a prioridade deve existir em função da ordem de satisfação das necessidades.
6.2.7 Análise custo‑utilidade (ACU)
A análise custo‑utilidade compara e avalia a relação existente entre custos (expressos em unidades 
monetárias) e resultados (Aguilar; Ander‑Egg, 1994, p. 172).
Para Pineault e Daveluy (apud Aguilar; Ander‑Egg, 1994, p. 189), a análise custo‑utilidade é um 
procedimento útil para tomar decisões quando se tem em foco vários programas ou projetos alternativos, 
justamente por comparar o valor monetário dos insumos “com o valor real dos efeitos nos indivíduos 
aos quais o programa afetou ou afetará, expresso por meio de medidas subjetivas”.
Para realizar a análise custo‑utilidade, Aguilar e Ander‑Egg (1994, p. 190) propõem o cumprimento 
de alguns passos:
•	 Definir o objetivo da análise.
•	 Identificar as pessoas que têm interesse na avaliação.
•	 Determinar as dimensões de valor para as utilidades.
•	 Ponderar os atributos e os valores.
•	 Estabelecer medidas objetivas.
•	 Calcular as utilidades.
•	 Analisar as sensibilidades (conforme podemos verificar no quadro a seguir).
115
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Quadro 9 – Passos para a realização da análise custo‑utilidade
Passo Categoria Observação
1 Definir o objetivo da análise Comparar várias alternativas de intervenção a 
custos e resultados parecidos ou semelhantes
2 Identificar as pessoas que têm um interesse 
legítimo na avaliação
Podem ser: os afetados diretos, o pessoal do 
programa, a comunidade etc. 
3 Determinar as dimensões de valor para as 
utilidades (atributos)
A determinação ocorrerá entre as pessoas ou 
representantes das partes identificadas no 
passo dois 
4 Ponderar os atributos e valores Com a comparação de razões que deverão ser 
traduzidas em uma escala
5 Estabelecer medidas objetivas Em relação a cada uma das dimensões, unificando 
as escalas
6 Calcular as utilidades Deve‑se multiplicar e somar os resultados para 
cada uma das alternativas a escolher
7 Analisar a sensibilidade Indicada para resolver o problema 
da subjetividade
Fonte: Aguilar e Ander‑Egg (1994, p. 190‑191).
Finalizando, Aguilar e Ander‑Egg (1994) advertem sobre a análise custo‑utilidade. Para eles, 
é fundamental estar atento à limitação dessa abordagem. Isto é, ela só é viável quando existirem 
várias alternativas de programas ou projetos a serem escolhidas, e só é útil quando realizada antes 
(ex‑ante) do projeto.
6.3 Avaliação econômica de programas e de projetos
6.3.1 Análise custo‑benefício (ACB)
A análise custo‑benefício baseia‑se em um princípio muito simples: consiste na comparação entre 
os benefícios e os custos de um programa ou projeto. Todavia, no campo social, a sua aplicação é 
muito difícil.
Segundo Aguilar e Ander‑Egg (1994), o procedimento de análise custo‑benefício é utilizado para 
saber se o custo para oferecer determinado bem e/ou serviço é ou não rentável. Os autores ressaltam que:
 
Com ele se mede basicamente a eficiência de um programa ou projeto, 
mediante a comparação dos recursos utilizados na implementação do mesmo 
e os benefícios obtidos. Trata‑se de uma análise destinada a encontrar a 
solução menos cara para alcançar um objetivo dado, ou para tirar o máximo 
de proveito de um dado gasto (Aguilar; Ander‑Egg, 1994, p. 173‑174).
A utilização e/ou aplicabilidade da análise custo‑benefício pode acontecer nos três setores (primeiro, 
segundo e terceiro), e em qualquer um deles a função é a mesma: ter o maior grau de eficiência e 
rentabilidade. No entanto, os autores advertem que nem sempre um projeto pode ser avaliado em 
termos de eficiência ou rentabilidade.
116
Unidade II
Em suas reflexões sobre o assunto, mencionam, ainda, que esse procedimento de avaliação pode 
ser aplicado:
•	 antes de o projeto ser realizado;
•	 durante o desenvolvimento do projeto;
•	 após a realização do projeto.
 Observação
A eficiência de um projeto “verifica e analisa a relação entre a 
aplicação  de recursos e os benefícios derivados de seus resultados. Ou 
seja, a obtenção de ‘custo’ mínimo para o maior número e qualidade de 
benefícios” (Brant de Carvalho, 2001, p. 73).
 
A realização desse procedimento de avaliação, conforme mencionado, pode ser aplicada em três 
momentos distintos: de forma prospectiva, isto é, antes de se realizar o projeto, denominada ex‑ante; 
utilização, enquanto o projeto e/ou programa está se desenvolvendo, determinando a viabilidade de 
continuar; e de forma retrospectiva, a realização da análise custo‑benefício, uma vez concluído o 
projeto, representa a avaliação ex‑post (Aguilar; Ander‑Egg,1994).
Em qualquer uma das perspectivas, os autores afirmam que para tornar o procedimento factível 
é necessário considerar alguns fatores. Nesse sentido, Rossi e Freeman (apud Aguilar; Ander‑Egg, 
1994,  p.  175) assinalam os requisitos para realizar uma análise custo‑benefício ex‑post com 
ótimos resultados:
 
• o programa deve ter fundos independentes ou separados;
• o programa deve ter ultrapassado seu estágio de desenvolvimento, a fim 
de se ter certeza sobre a significação de seus efeitos líquidos;
• deve‑se conhecer e poder estimar de forma válida a repercussão do 
programa e sua magnitude;
• os benefícios poderão ser reduzidos a unidades monetárias;
• os responsáveis pela tomada de decisões consideram a aplicação  de 
programas alternativos, e não simplificama questão só no sentido 
de continuar ou não um programa.
117
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
 Observação
Benefícios são os resultados líquidos tangíveis e intangíveis; custos 
são os recursos necessários para implementação do programa e/ou projeto 
(Aguilar; Ander‑Egg, 1994, p. 176).
 
Para a análise custo‑benefício, do ponto de vista metodológico, Aguilar e Ander‑Egg (1994) propõem 
uma construção pautada nos seguintes momentos:
•	 Explicitação do marco referencial: na análise custo‑benefício, não se discute a questão referente 
aos valores, simplesmente pretende‑se verificar o custo do que foi, do que será ou do que está 
sendo feito. Todavia, sendo o parâmetro dessa análise axiológica, depende‑se do marco ideológico 
e político dos que realizam a avaliação.
•	 Identificação das metas e objetivos do projeto: é condicionante à valoração dos benefícios 
em relação aos custos. Aguilar e Ander‑Egg (1994, p. 178) afirmam que é um esforço pouco útil 
“aplicar a análise de custo‑benefício, [...] se não forem estabelecidos claramente quais são os 
objetivos e como eles foram traduzidos em metas ou dimensões operacionais”.
•	 Realização da análise custo‑benefício: propõe‑se a realização da comparação dos fluxos de 
benefícios e custos de implementação. Rossi e Freeman (apud Aguilar; Ander‑Egg, 1994, p. 179) 
descrevem que, concretamente, os passos desta fase são:
— decidir a perspectiva a ser adotada para calcular os custos e os benefícios;
— especificar, medir e valorar os custos e os benefícios;
— ajustar os custos e os benefícios a valores presentes (conforme o quadro a seguir).
Quadro 10 – Passos para a análise custo‑benefício
Passo Categoria Observação
1 Decidir a perspectiva que se adotará para calcular 
custos e benefícios
Resposta à pergunta: custos e benefícios 
para quem?
2 Especificar, medir e valorar os custos e benefícios
Realização de três tarefas:
a) Identificar e medir custos e benefícios
b) Trasladar os custos e benefícios para 
unidades monetárias
c) Valorar custos e benefícios
3 Ajustar os custos e benefícios a valores presentes Resposta à pergunta: os benefícios futuros valerão 
quanto menos que aqueles derivados do presente?
Fonte: Aguilar e Ander‑Egg (1994, p. 179‑183).
118
Unidade II
 Saiba mais
Cohen e Franco (2013) afirmam que para comparar custos e benefícios 
é necessário considerar todas as entradas e saídas de recursos do projeto: o 
valor relativo do dinheiro no tempo e a taxa de juros equivalente quando as 
magnitudes monetárias são correlacionadas em momentos diferentes.
Para saber mais sobre essa operação, que pode ser traduzida em diversas 
formas de cálculo, sugerimos a leitura da obra:
COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis: 
Vozes, 2013.
 
A aplicação da análise custo‑benefício, utilizada desde a sua criação no campo privado e de 
negócios, propôs‑se a avaliar os custos e os benefícios a preços de mercado, sendo chamada, por 
Aguilar e Ander‑Egg (1994), de “avaliação privada”. Todavia, no campo social, utilizando “preços sociais 
ou preços‑sombra”, com os quais se expressa o valor real que a sociedade atribui a um projeto, existe o 
que se chama de “avaliação social”.
6.3.1.1 Avaliação privada e avaliação social
A avaliação privada e a avaliação social são classificadas como premissas da análise custo‑benefício, 
e podem ser representadas por diferentes óticas (Cohen; Franco, 2013).
Na perspectiva dos autores, a avaliação privada é considerada uma unidade econômica concreta 
onde os custos e os benefícios são valorizados como fenômenos de mercado. Para eles, ela possui 
dois enfoques:
 
[...] a avaliação econômica (sem financiamento), que assume que todo 
o projeto, é realizada com capital próprio e, portanto, não leva em 
conta o  problema financeiro; e a avaliação financeira, que diferencia o 
capital próprio do de terceiros e permite determinar a rentabilidade do 
primeiro (Cohen; Franco, 2013, p. 177).
Sobre a avaliação social, Cohen e Franco (2013, p. 178‑179) explanam que ela “pretende medir 
o impacto do projeto sobre o nível de bem‑estar socioeconômico do país”. Em essência, a análise de 
projetos valoriza os benefícios e os custos de um projeto e os reduz a um padrão de medida comum.
119
SUPERVISÃO DE FORMAÇÃO PROFISSIONAL
Squire e Van Der Tak (apud Cohen; Franco, 2013, p. 179) afirmam que:
 
[...] se os benefícios excedem aos custos, todos medidos com um padrão 
comum, o projeto é aceitável; caso contrário, o projeto deve ser rejeitado. 
[...], os custos e benefícios do projeto devem ser medidos por comparação 
com o quanto diminuem a possibilidade ou contribuem para o alcance dos 
objetivos dessa sociedade.
Segundo Cohen e Franco (2013, p. 179‑180), há dois elementos básicos da avaliação social de 
projetos que devem ser considerados devido à sua importância:
 
Por um lado, seu objetivo é maximizar a rentabilidade, incrementando 
assim o potencial do investimento futuro. Isso é imperativo quando as 
restrições para aumentar o investimento são insuperáveis. Por outro lado, 
dado que pretende o máximo de benefícios para a comunidade em seu 
conjunto e levando em conta também a elevada participação do governo 
no investimento, é de vital importância que este avalie sistematicamente os 
projetos, valorize os bens e serviços produzidos e os fatores ou insumos de 
um modo diferente do realizado pelo mercado.
A avaliação social, na visão de Aguilar e Ander‑Egg (1994, p. 184), “revela a disposição da sociedade a 
pagar bens e serviços que devem ser cobertos pelo projeto e cuja realização supõe um benefício para 
a comunidade em seu conjunto”.
Para concluir, Weisbrod e Helming (apud Aguilar; Ander‑Egg, 1994, p. 185) mencionam que “não 
devemos esquecer que qualquer análise econômica custo‑benefício, não importa quão bem feita esteja, 
tem suas limitações, particularmente quando está envolvido em serviço humano complexo”.
6.3.2 Premissas importantes
Nos últimos anos, a avaliação de programas e projetos tem se tornado importante, crescendo cada 
vez mais. Segundo Buvinich (1999), esse fato vem ocorrendo principalmente a partir da exigência de 
algumas agências que financiam iniciativas. Ainda segundo o autor, essa demanda, que é um dos campos 
mais polêmicos na gestão social, é resultado de pelo menos três movimentos principais:
•	 redução do volume de recursos destinados à área social;
•	 crescente concorrência entre organizações do terceiro setor;
•	 aumento da participação, decorrente do processo de democratização, que possibilitou melhores 
condições de controle social.
120
Unidade II
Apesar de tantas exigências, nota‑se que um número significativo de entidades não utiliza os 
processos de avaliação como meio estratégico para aperfeiçoamento de atuação social, deixando‑se de 
se beneficiar de todas as contribuições que essa prática traz à organização, entre as quais destacamos:
•	 A compreensão, a verificação ou o aumento do impacto das ações e dos serviços desenvolvidos 
pela organização.
•	 O aperfeiçoamento de métodos empregados para aumentar a eficiência de ações e reduzir 
seus custos.
•	 A facilitação da gestão do projeto ou programa.
•	 A produção de informações que possam ser utilizadas junto à comunidade, aos financiadores e 
aos organismos públicos.
Estudos revelam que em qualquer tipo de avaliação utilizado, ou que se faça a opção de utilizar, 
é fundamental que ela tenha sido objeto de um adequado planejamento. Nesse cenário, configura‑se o 
marco lógico, o qual abordaremos a seguir.
6.3.3 Marco lógico
O marco lógico é um recurso para planejamento e gestão de projetos que facilita o processo de 
avaliação. No Brasil, seu uso ainda é incipiente, porém, é muito usado por agências internacionais 
de financiamento, como o Banco Mundial, o Banco Interamericano de Desenvolvimento etc.
Ele foi desenvolvido na década de 1970, pela Agência dos Estados Unidos para o Desenvolvimento 
Internacional (Usaid), com o intuito de dar respostas aos problemas em projetos sociais.