Avaliação de Impacto de Programas e Políticas Sociais_PROVAS_1-a-10 ENAP

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais_PROVAS_1-a-10
B.1. Verdadeiro ou falso: a avaliação de impacto é um tipo de avaliação de programas
Verdadeiro 
Verdadeiro. Como se explica no vídeo, há cinco tipos de avaliações de programas: de necessidades, teórica, de processos, de impacto e de eficiência
B.2. Qual das seguintes perguntas pode ser respondida por meio de uma avaliação de necessidade?
A. Qual a duração que o programa deve ter? 
B. Quais os recursos (financeiros, humanos e outros) que são necessários para a implementação do programa? 
C. O programa está baseado na conceituação do problema que ele busca solucionar? 
D. Quais são os problemas de implementação que o programa enfrenta e como eles podem ser resolvidos? 
Uma avaliação de necessidade estuda aquilo que o programa busca solucionar. Não se trata de uma ponderação sobre desafios de implementação do programa (em termos de duração, orçamento, coordenação, etc.).
B.3. Quais das seguintes perguntas se responderiam em uma avaliação teórica de um programa de construção de novas escolas para aumentar a frequência escolar? Marque todas as respostas que julgar corretas.
A. Em um grupo grande de crianças que não vão à escola, é razoável supor que elas iriam se o tempo e o custo de locomoção diminuíssem? 
B. A frequência escolar aumentou nas vilas onde se construíram novas escolas como parte desse programa? 
C. Existem estudos que mostram que a construção de novas escolas pode aumentar a frequência escolar? 
A alternativa B não é uma pergunta sobre a teoria por trás do programa, e sim se ele funcionou na prática (embora, como veremos mais a frente, também é importante determinar o quanto do impacto na participação escolar se deve ao programa e o quanto se deve a outros fatores).
C.1. Para um programa de construção de novas escolas, quais das seguintes perguntas poderiam ser respondidas por uma avaliação de processos? Marque todas as respostas que julgar corretas.
A. Os materiais e a mão de obra necessários para a construção foram providenciados? 
B. O programa conseguiu aumentar a frequência escolar nos locais onde foram construídas as escolas? 
C. A que se devem os baixos níveis de participação escolar nas regiões onde se implementa o programa? 
D. A qualidade das escolas construídas é adequada? 
As alternativas A e D se referem à implementação do programa. A alternativa B se relaciona a seu impacto, e a C, às necessidades.
C.2. No caso do programa de construção de novas escolas, qual seria o contrafactual?
A. A taxa de frequência escolar nos locais onde foram construídas novas escolas, após a construção. 
B. A taxa de frequência escolar nos locais onde foram construídas as escolas, antes da construção. 
C. A taxa de frequência escolar que os locais onde foram construídas novas escolas teriam se não tivessem sido construídas novas escolas. 
D. A taxa de frequência escolar onde não foi construída nenhuma escola, após construção das novas escolas em outros locais. 
O contrafactual é o resultado que os participantes de um programa teriam obtido no caso hipotético de não terem participado do programa. Como se explicará mais detalhadamente na próxima aula do curso, é uma situação que não se pode observar, mas existem diferentes maneiras para se chegar mais próximo possível a ele.
C.3. Complete quais são as características da avaliação de impacto? Escolha uma opção para cada item.
1. Mede...
A) o progresso em relação aos objetivos. 
B) se esse progresso foi provocado pelo programa. 
2. Sua temporalidade é...
A) pontual e limitada no tempo. 
B) contínuo e frequente. 
3. Ela é desenhada...
A) antes da implementação, e os resultados finais aparecem depois. 
B) durante a implementação do programa. 
4. Ela é conduzida...
A) pelas equipes implementadoras. 
B) preferencialmente por equipes externas com o apoio das internas. 
5. Ela produz evidência...
A) descritiva. 
B) causal. 
As avaliações de impacto têm como características: medir se o progresso percebido foi provocado pelo programa, apresentar uma temporalidade pontual e limitada no tempo, ser desenhada antes da implementação e apresentar resultados finais depois dela, ser preferencialmente conduzida por atores externos com o apoio dos implementadores, além de gerar evidências causais.
C.4. Quais são as características da análise custo-benefício? Marque todas as respostas que julgar corretas.
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, retornará às alternativas para uma nova tentativa.
A. É realizada geralmente após o programa ser implementado (ex-post) 
B. Implica monetizar os custos de um programa e os benefícios esperados. 
C. É realizada geralmente antes de o programa ser implementado (ex-ante). 
D. Permite comparar o impacto na variável principal com os custos do programa. 
As alternativas B e C apresentam as características da análise custo-benefício. Ela é realizada geralmente ex-ante, para saber se o programa deve ser realizado ou não. Para isso, os benefícios esperados pelo programa são monetizados e comparados com seus custos. Dessa maneira, entre as alternativas disponíveis, pode-se escolher qual programa apresenta melhor relação custo-benefício. As alternativas A e D apresentam características da análise custo-efetividade.
C.5.a. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de uniformes escolares? Escreva sua resposta em meses por real.
Não use ponto (.); 
Se necessário, detalhe até duas casas decimais com vírgula (,);
Se o valor for negativo, indique com um sinal de menos (-);
Não insira espaço na resposta;
Não inclua unidade de medida da resposta (R$, %, horas etc.);
Não arredonde o resultado;
Não use frações.
A sua resposta
0,1
C.5.b. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de bolsas por mérito? Escreva sua resposta em meses por real.
Não use ponto (.);
Se necessário, detalhe até duas casas decimais com vírgula (,);
Se o valor for negativo, indique com um sinal de menos (-);
Não insira espaço na resposta;
Não inclua unidade de medida da resposta (R$, %, horas etc.);
Não arredonde o resultado;
Não use frações.
A sua resposta
0,05
C.6. Considerando somente o impacto na frequência escolar, qual dos dois é o programa mais custo-efetivo?
A. O programa de uniformes escolares. 
B. O programa de bolsas por mérito. 
C. Os dois programas têm o mesmo custo-efetividade. 
Se compararmos os programas, o de uniformes escolares tem um custo-efetividade de 0,1, e o de bolsas, custo-efetividade de 0,05. Se nos basearmos unicamente nesta análise, o melhor programa é o de uniformes escolares, dado que ele tem uma relação maior de efetividade em relação ao custo.
D.1. De acordo com o vídeo, quais são as razões pelas quais devemos avaliar o impacto de programas? Marque todas as alternativas que julgar corretas.
A. Melhorar o programa. 
B. Tornar o gasto público mais eficiente. 
C. Responder a perguntas de relevância geral. 
Todas as alternativas são argumentos válidos para se avaliar o impacto dos programas.
D.2. De acordo com o vídeo, há uma série de motivos pelos quais o programa de transferência de renda no México é um bom exemplo da importância de se avaliarimpacto. Abaixo estão listados estes motivos e um extra, que não corresponde ao discutido em aula. Assim, qual das seguintes alternativas NÃO corresponde aos motivos listados?
A. A avaliação de impacto contribuiu para dar sustentação política ao programa. 
B. O programa foi modificado por diferentes governos ao longo do tempo devido à avaliação de impacto. 
C. A evidência ajudou a melhorar o desenho do programa ao longo do tempo. 
D. A avaliação de impacto do programa entregou informação relevante sobre a efetividade de programas de transferência de renda condicionada. 
Excetuando-se a alternativa B, todas são razões mencionadas pelo professor pelas quais o programa no México é um bom exemplo de avaliação de impacto. Embora avaliações de impacto possam servir para melhorar e ajustar programas, o que se menciona no vídeo é que a evidência permitiu que o programa se mantivesse durante as mudanças de governo.
E.1. Como decidimos se implementamos ou não um programa? Marque todas as alternativas que julgar corretas.
A. Se há orçamento, vontade política e capacidade suficiente para o implementar. 
B. Se há total certeza de que os resultados do programa serão positivos. 
C. Se há ideologia própria ou externa coerente com o programa. 
D. Se há conhecimento suficiente baseado em evidências ou experiências. 
As respostas A, C e D, são fatores mencionados no vídeo que, de maneira geral, determinam se um programa é ou não implementado. A alternativa B não é correta porque não se pode conhecer com certeza os resultados de um programa antes de sua implementação.
E.2. De acordo com o vídeo, por que ainda existe pouca evidência? Marque todas as alternativas que julgar corretas.
A. Por causa da dificuldade para isolar o efeito do programa de outros fatores relevantes. 
B. Por causa da facilidade para se avaliar um programa já implementado. 
C. Por causa das diferenças nos tempos de mandatos e tempos da avaliação de impacto. 
D. Porque o bem público da evidência é menor que seu bem privado. 
E.3. Suponha o seguinte caso: o presidente do Brasil deseja aumentar a frequência escolar. Você, como parte do governo, participa de um curso de avaliação de impacto e descobre que dar remédios antiparasitas para crianças foi uma política bem-sucedida em outros países como forma de aumentar a frequência escolar, considerando seu baixo custo e o alto impacto que teve. Segundo essa única evidência, você recomendaria ao presidente que adotasse a mesma política no Brasil?
A. Não 
E.4. Dos seguintes casos, selecione quando se deve avaliar o impacto de um programa.
A. Quando o desenho do programa está sujeito a modificações. 
B. Quando existe incerteza sobre a melhor estratégia de intervenção para atacar um problema. 
C. Quando não é possível identificar um grupo de comparação válido entre os beneficiários do programa. 
D. Quando já existe evidência suficiente sobre a efetividade de uma intervenção. 
E.5. Dos seguintes casos, selecione quando NÃO se deve avaliar o impacto de um programa.
A. Quando está prevista a expansão de um programa. 
B. Quando há perguntas sem resposta sobre a relação de causa e efeito dos programas. 
C. Quando o programa incorpora novos serviços ou beneficiários. 
D. Quando toda a população-alvo já recebeu o programa. 
EC.1. Segundo o entrevistado, por que o microcrédito é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O microcrédito permite que pessoas de baixa renda tenham acesso a novas tecnologias. 
B. A política estimula o empreendedorismo entre indivíduos de baixa renda. 
C. Com o empréstimo recebido, os beneficiários investem mais na educação de seus filhos. 
EC.2. Como o entrevistado embasa sua defesa ao microcrédito?
A. Usando dados obtidos de entrevistas com beneficiários da política e sua opinião sobre o microcrédito. 
B. Comparando países em que o microcrédito foi empregado com outros em que a política não foi adotada. 
C. Narrando um exemplo de como a política gerou benefícios para uma determinada área ou parcela de beneficiários. 
EC.3. Segundo o entrevistado, por que o microcrédito não é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O entrevistado acredita que o microcrédito romantiza a pobreza e que o mundo empreendedor é para poucos. 
B. O entrevistado acredita que o microcrédito seja incapaz de impactar a vida dos microempreendedores porque sua renda média familiar não se altera. 
C. O entrevistado acredita que o microcrédito não funciona porque geralmente é revertido para o consumo de bens. 
As alternativas corretas são A e C. Essas são as principais razões citadas pelo entrevistado no artigo apresentado. A variação da renda familiar dos tomadores de empréstimo não é citada no artigo (alternativa B).
EC.4. Como o entrevistado embasa sua crítica ao microcrédito? Marque todas as alternativas que julgar corretas.
A. Narrando um exemplo de como a política gerou aumento da pobreza em determinado grupo de indivíduos. 
B. Mostrando dados estatísticos sobre como o dinheiro oriundo da política é empregado. 
C. Citando países em que a política foi adotada e que não deixaram de ser pobres. 
As alternativas corretas são B e C. O entrevistado utiliza esses dois argumentos para embasar a sua crítica ao microcrédito. O entrevistado não cita exemplos de grupos específicos e cita dois países que continuaram pobres mesmo com o emprego de políticas de microcrédito.Parte superior do formulário
EC.5. De acordo com o texto, quais evidências embasam a percepção sobre a efetividade do microcrédito?
A. O texto se embasa na percepção de que o empreendedorismo é uma atividade que poucos perfis de pessoas têm a habilidade de desempenhar. 
B. O texto se embasa na noção de que, a partir do momento que houver um acesso a meios formais de empréstimos, a pobreza poderá ser superada. 
C. O texto se embasa em estudos que avaliaram iniciativas de microcrédito em diferentes contextos, permitindo uma análise ampla sobre seu funcionamento e méritos. 
EC.6. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na renda dos beneficiários?
A. O microcrédito aumenta significativamente a renda dos beneficiários. 
B. O microcrédito reduz significativamente a renda dos beneficiários. 
C. O microcrédito não tem efeito significativo na renda dos beneficiários. 
EC.7. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na liberdade da gestão financeira das famílias?
A. Negativo. 
B. Positivo. 
C. Não tem efeito significativo. 
EC.8. Dados os resultados das avaliações aleatorizadas feitas da política do microcrédito, qual é a principal recomendação dos autores a formuladores de políticas públicas?
A. Adotar a política do microcrédito de forma maciça em países em desenvolvimento. 
B. Abandonar a política, uma vez que ela não tira pessoas de baixa renda da pobreza. 
C. Criar modelos inovadores de crédito em pequena escala e testá-los entre grupos de beneficiários para se encontrar um modelo que gere maior impacto. 
EC.9. Levando em consideração os três textos lidos, seus argumentos e as evidências que cada um apresenta, qual é o mais convincente?
1. Texto 1: "Economista americano defende microcrédito contra a pobreza". 
2. Texto 2: "O microcrédito não acaba com a pobreza, afirma Aneel Karnani". 
3. Texto 3: " Lições sobre políticas públicas: Microcrédito". 
Não há uma única resposta correta para esta pergunta. Aqui é importante que você analise a qualidade dos argumentos, os dados e a evidência apresentados nos artigos para escolher sua resposta.
A.1. O que é impacto?
A. É o valor da variável relevante ao se finalizar o programa. 
B. São as mudanças da população alvo antes e depois do programa. 
C. São as mudanças atribuídas ao programa e a outros fatores relevantes. 
D. São as mudanças atribuídas ao programa e não a outros fatores. 
A.2. O que é o contrafactual?
A. É o estado dos participantes antes de se implementar o programa. 
B. É o estado que os participantes experimentariam na ausência do programa,e que não é observável. 
C. É o estado dos participantes depois do programa, e que é observável. 
D. É a diferença entre o antes e o depois da implementação do programa. 
A.3. Selecione em qual destes casos o programa teve um impacto positivo:
A. Imagem 1. 
B. Imagem 2. 
C. Imagem 3. 
D. Não se pode determinar. 
B.1. Qual é a principal diferença entre os diferentes métodos de avaliação de impacto?
A. Como se estima o contrafactual: a diferença entre os que participam e os que não participam do programa. 
B. Como se estima o contrafactual: como definimos quem forma o grupo de controle. 
C. Como se estima o contrafactual: o antes e depois dos participantes do programa. 
D. Como se estima o contrafactual: o tamanho da amostra varia dependendo do tipo de intervenção. 
C.1. Qual é o grupo de controle no método Antes e depois?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
C. Os não participantes, dos quais se recoletam dados depois do programa. 
D. Os não participantes, dos quais se coletam dados antes e depois do programa. 
C.2. Por que o método Antes e depois poderia oferecer uma má estimativa do contrafactual?
A. Porque o grupo de controle tem acesso ao programa. 
B. Porque o grupo de tratamento e o grupo de controle são distintos antes do início do programa. 
C. Porque muitos fatores não relacionados ao programa mudam com o tempo, podendo afetar o resultado que queremos medir. 
C.3. Qual é o principal problema do método de Diferença simples?
A. É difícil recoletar informações sobre pessoas que não participaram do programa. 
B. É possível que as pessoas não elegíveis ou que escolhem não participar do programa sejam sistematicamente diferentes do grupo de participantes. 
C. O grupo de pessoas não elegíveis ou que escolhem não participar do programa é muito mais numeroso que o grupo de participantes. 
D.1. Qual é a premissa básica do método de Diferenças em diferenças?
A. Não existem choques, como recessões ou booms econômicos, que afetem o equilíbrio macroeconômico. 
B. Os participantes e não participantes do programa são, em média, idênticos nas variáveis observáveis e não observáveis. 
C. Na ausência do programa, a tendência no tempo da variável de resultado seria igual no grupo de participantes e no grupo de não participantes. 
D.2. Qual é a vantagem do método Diferenças em diferenças?
A. Gerar dois grupos similares que são comparáveis depois da implementação da política. 
B. Combinar o método de Antes e depois com a aleatorização do grupo de controle. 
C. Permitir que, com o tempo, as tendências entre os grupos sejam paralelas. 
D. Corrigir por diferenças pré-existentes entre os dois grupos (observáveis e não observáveis). 
D.3. Com base na tabela, calcule o impacto do programa segundo os três métodos já vistos:
A. Antes e depois = 7 
B. Diferença simples = 3 
C. Diferenças em diferenças = 1 
D.4. Qual é o grupo de controle do método da Regressão multivariada?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
C. Os não participantes, dos quais se coletam dados detalhados sobre variáveis observáveis. 
D. Os não participantes dos quais se recoletam dados depois do programa. 
E.1. Qual é a principal diferença entre os métodos do Pareamento e de Diferença simples?
A. O método do Pareamento tenta estimar o contrafactual; o da Diferença simples, não. 
B. O método do Pareamento tenta estimar o contrafactual com base nas variáveis não observáveis, enquanto a Diferença simples se baseia somente nas variáveis observáveis. 
C. O método do Pareamento gera um grupo de controle similar ao grupo tratado em variáveis observáveis, enquanto na Diferença simples os grupos não são necessariamente similares em variáveis observáveis. 
E.2. Qual é o grupo de controle do método de Pareamento?
A. Os mesmos participantes, antes de entrarem no programa. 
B. Para cada participante, busca-se ao menos um não participante que é idêntico nas características observáveis. 
C. Os não participantes, dos quais se recoletam dados depois do programa. 
D. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
E.3. Na seleção de participantes, que característica um programa deve ter para permitir a aplicação do método da Regressão descontínua?
A. Os participantes entrarem no programa por ordem de chegada. 
B. A linha de corte ser um limite estrito de entrada ou não do programa. 
C. Os participantes entrarem no programa por meio de um sorteio. 
D. Os participantes entrarem no programa por meio da decisão política do gestor. 
F.1. Por que a avaliação aleatorizada permite eliminar o viés de seleção?
A. Porque a aleatorização garante que os grupos de tratamento e de controle sejam similares antes de se implementar o programa. 
B. Porque requer menos tempo e simplifica a implementação do programa. 
C. Porque garante que o programa terá um impacto maior. 
D. Porque nos permite poupar recursos, dado que não temos que entregar o programa a toda a população elegível. 
F.2. Qual é o grupo de controle na avaliação aleatorizada?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória (por meio de um sorteio), é alocada no grupo de controle. 
C. Os não participantes, dos quais se recoletam os dados depois do programa. 
D. Os não participantes, dos quais se recoletam os dados antes e depois do programa. 
F3. Para cada etapa da avaliação aleatorizada, selecione qual aspecto que devemos tomar em consideração.
A. Verificar se os grupos de tratamento e controle são similares. 
B. Identificar oportunidades de aleatorizar os grupos de tratamento e controle. 
C. Avaliar se o impacto do programa é estatística e empiricamente significativo. 
D. Recoletar dados dos grupos de tratamento e de controle após a implementação do programa. 
Passo a passo da avaliação aleatorizada:
1. Ao desenhar o estudo cuidadosamente, que ação devemos levar em conta? Alocar aleatoriamente os grupos de tratamento e de controle. 
2. Ao coletar os dados dos grupos de tratamento e de controle para a linha de base, que ação devemos levar em conta? Verificar que os dois grupos são similares. 
3. Ao monitorar o processo para ter certeza de que a integridade da avaliação esteja garantida, que ação devemos levar em conta? Recoletar dados dos grupos de tratamento e de controle depois que o programa tiver sido implementado.
4. Para estimar o impacto, considerando os resultados médios dos grupos de tratamento e de controle, que ação devemos levar em conta? Avaliar se o impacto do programa é estatistica e empiricamente significativo. 
F.7. Existe alguma diferença entre os conceitos de "grupo de controle" e "contrafactual"?
A. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da intervenção, enquanto o contrafactual representa o que aconteceu com aqueles que participaram. 
B. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da intervenção porque não eram elegíveis, enquanto o contrafactual representa o que aconteceu com aqueles que eram elegíveis mas, por alguma razão, não participaram. 
C. Sim: o grupo de controle é o grupo de indivíduos usado como comparação na avaliação, enquanto o contrafactual é o cenário hipotético que queremos imitar mediante o grupo de controle. 
D. Não. Referem-se à mesma coisa: o grupo de comparação com qual contrastamos os resultado do grupo de participantes. 
G.1. Considere a seguinte ideia: as avaliações aleatorizadas não são éticas porque restringem o benefício do programa a um grupo de pessoas. Quais foram os argumentos apresentados na aula que se opõem a essa afirmação? Marque todas as respostas que julgar corretas.
A. As avaliações aleatorizadas não selecionam os beneficiados do programa, elas unicamente determinam o critério de seleção. 
B. Em muitas ocasiões, o programaacabaria sendo expandido a toda a população, só não teria capacidade operacional ou orçamentária de fazê-lo de imediato, restringindo o acesso dos indivíduos durante um período de tempo. 
C. As vantagens estatísticas da avaliação aleatorizada são mais importantes do que os indivíduos que não recebem o programa 
D. Destinar recursos públicos em programas dos quais não se conhece seu impacto também é um dilema ético 
G.2. Quais argumentos o professor usa para contrariar as críticas às avaliações aleatorizadas pela sua viabilidade (tempo e custos)? Marque todas as respostas que julgar corretas.
A. As lições das avaliações aleatorizadas são um bem público. 
B. Qualquer método de avaliação requer tempo para observar o impacto do programa. 
C. É caro destinar recursos a programas que não oferecem resultados. 
G.3. As avaliações aleatorizadas têm vantagens sobre outros métodos de avaliação quanto à validade externa?
B- Não 
A resposta correta é a B
H.1. Assinale quais das alternativas são vantagens das avaliações aleatorizadas. Marque todas as respostas que julgar corretas.
A. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis, mas não nas variáveis não observáveis. 
B. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis e não observáveis. 
C. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa. 
D. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa e às características não observáveis. 
E. São fáceis de interpretar. 
F. Os resultados são confiáveis, mas complicados de interpretar. 
H.2. Verdadeiro ou falso: Depois do método de avaliação aleatorizada, o método de diferenças em diferenças é o que melhor estima o impacto do programa.
B- Falso 
EC.1. Como este comunicado de imprensa estima o contrafactual?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação em relação aos que atenderam antes do programa 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) dos que atenderam 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa
EC.2. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariada 
E. Pareamento (Matching) 
F. Antes e depois 
EC.3. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os eleitores que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, haja uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam, encontram-se muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.) 
EC.4. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
Resposta correta: A
EC.5. Como se estima o contrafactual neste artigo de opinião?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam. 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação com relação aos que atenderam antes do programa. 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) que os que atenderam. 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa. 
EC.6. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariada 
E. Pareamento (Matching) 
F. Antes e depois 
EC.7. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, há uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam se encontram muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.)
EC.8. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
Explicação: A resposta correta é a A.
EC.9. Como se estima o contrafactual neste editorial?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação em relação aos que atenderam antes do programa 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) que os que atenderam 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa 
EC.10. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariadaE. Pareamento (Matching) 
F. Antes e depois 
EC.11. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, haja uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam, pode-se encontrar muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva  nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.) 
EC.12. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
As 60.000 pessoas que receberam o telefonema foram selecionadas de maneira aleatória, por meio de um sorteio, de uma população maior de aproximadamente 2 milhões de potenciais eleitores. Nesta pergunta, está incluída uma tabela que mostra algumas características das pessoas que receberam o telefonema (incluindo tanto os eleitores que atenderam o telefonema como os que não atenderam) e as pessoas que não receberam telefonema (nos distritos competitivos de Michigan).
EC.13. Sem conhecer ainda os resultados da aleatorização, você espera que as características dos dois grupos sejam estatisticamente similares ou estatisticamente distintas?
A. As características dos grupos são estatisticamente similares 
B. As características dos grupos são estatisticamente distintas 
EC.14. Associe cada descrição com o respectivo método de avaliação.
1. Mede como os participantes do programa mudam ao longo do tempo. Antes e Depois 
2. Mede a diferença entre os participantes e os não participantes depois do programa. Diferença Simples 
3. Compara a variação dos resultados dos participantes ao longo do tempo à variação dos resultados dos que não participaram do programa. Diferenças em Diferenças 
4. Compara participantes e não participantes quando a participação foi determinada por sorteio.Avaliação Aleatorizada 
EC.15. Associe cada grupo de comparação com o respectivo método de avaliação.
1. Os mesmos participantes, antes de entrarem no programa. Antes e Depois 
2. Os não participantes. Diferença Simples 
3. Os não participantes, levando em consideração a sua diferença em relação aos participantes antes do programa. Diferenças em Diferenças 
4. Grupos de potenciais participantes elegíveis que, por sorteio, foram alocados no grupo de controle e não recebem o programa. Avaliação Aleatorizada 
EC.16. Associe cada premissa com o respectivo método de avaliação.
1. Não há, no tempo, fatores relevantes que afetem o resultado além do próprio programa. Antes e Depois 
2. A única diferença entre participantes e não participantes que influencia nos resultados é o programa. Diferença Simples 
3. Na ausência do programa, as tendências de participantes e não participantes se manteriam paralelas. Diferenças em Diferenças 
4. A aleatorização foi bem-feita e gera dois grupos estatisticamente idênticos. Avaliação Aleatorizada 
A.1. Verdadeiro ou falso: "Teoria da Mudança" e "Avaliação Teórica" são sinônimos.
A. Falso 
B. Verdadeiro 
A.2. Quais são os três objetivos da Teoria da Mudança mencionados no video? Marque todas as respostas que julgar corretas.
A. Controle orçamentário. 
B. Monitoramento e avaliação. 
C. Comunicação e descrição da intervenção. 
D. Evitar rotatividade de pessoal. 
E. Desenho da intervenção e planejamento estratégico. 
A.3. Qual é a definição de Teoria da Mudança discutida nesta aula?
A. Uma descrição compreensiva e ilustrada de como e por que uma intervenção gera determinados impactos; um meio de sabermos até onde vamos e como chegamos. 
B. Uma ferramenta analítica para o planejamento de projetos dirigidos por objetivos. 
C. Uma ferramenta para facilitar o processo de conceituação, desenho, execução e avaliação de projetos. 
A.4. Quais das seguintes afirmações são corretas? Marque todas as respostas que julgar corretas.
A. Tanto a Teoria da Mudança como o Marco Lógico são ferramentas que podem ser usadas para fazer uma Avaliação Teórica. 
B. A Teoria da Mudança demonstra a complexidade dos fenômenos e busca ilustrar relações de causalidade, enquanto o Marco Lógico se concentra mais em estruturar os passos e sintetizar objetivos, indicadores, fontes de verificação e premissas. 
C. Tanto a Teoria da Mudança como o Marco Lógico são ferramentas que podem ser usadas para fazer avaliações de programas: a Teoria da Mudança para Avaliações Teóricas, o Marco Lógico para Avaliações de Impacto. 
D. Tanto a Teoria da Mudança como o Marco Lógico descrevem a lógica por trás de um programa. 
B.1. Complete os passos para fazer uma Teoria da Mudança na ordem correta.
A. 1° Passo: Definir o propósito 
B. 2° Passo: Completar a cadeia causal 
C. 3° Passo: Identificar premissas e riscos 
D. 4° Passo: Resumir a hipótese causal 
E. 5° Passo: Definir indicadores 
B.2. Qual é a diferença entre os resultados intermediários e os resultados finais?
A. Os resultados intermediários são mudanças em atitudes, conhecimentos, capacidades e comportamento. Os resultados finais são mudanças no estado de desenvolvimento da população-alvo. 
B. Os resultados intermediários são mudanças de mais longo prazo do que os resultados finais. 
C. Os resultados intermediários resultam diretamente da implementação do programa e, portanto, estão dentro do controle do programa. Existem outros fatores que influenciam os resultados finais, que, por isso, não estão totalmente sob o controle do programa. 
B.3. Quais dos seguintes exemplos são resultados intermediários? Marque todas as respostas que julgar corretas.
A. Estudantes melhoram suas habilidades de buscar emprego. 
B. Mentores recrutados e treinados. 
C. Estudantes recebem tutorias. 
D. Estudantes têm mais conhecimento sobre o mercado de trabalho. 
E. Mais estudantes recém-formados encontram emprego. 
B.4. Por que é recomendado completar a cadeia causal do final para o início quando se desenha um programa?
A. Como já é conhecida a intervenção que deve ser implementada, é recomendável deixar a definição das atividades e insumos como a última etapa. 
B. Não é possível definir os resultados intermediários sem conhecer os resultados finais. 
C. Obriga os formuladores do programa a focar nos resultados que se deseja alcançar, permitindo que surjam novas ideias e formas de se resolver o problema. 
C.1.b. Verdadeiro ou falso: produtos são frequentemente reformulações das atividades do ponto de vista de quem implementa o programa.
A. Verdadeiro. 
B. Falso. 
C.2. Qual premissa deve ser cumprida para passar de "A comunidade é sensibilizada em relação à importância de se lavar as mãos" para "Aumenta a frequência da higienização das mãos"? Marque todas as respostas que julgar corretas.
A. Existe água disponível para a comunidade. 
B. Agentes ajudam comunidade nas capacitações de higiene. 
C. As capacitações de higiene foram realizadas em lugares próximos às comunidades (a população tem condições de participar das capacitações). 
D. As doenças que atingem a comunidade podem ser atenuadas se mais pessoas lavarem as mãos com sabão. 
E. Asfamílias têm meios suficientes para a compra de sabão. 
C.3. Verdadeiro ou falso: a frase "Os agentes apoiam as capacitações de higiene" trata-se de uma premissa entre os insumos/atividades e os produtos da cadeia causal deste programa.
A. Falso 
B. Verdadeiro 
C.4. Selecione o item que poderia ser um risco gerado pelo Programa de Promoção da Lavagem de Mãos no Peru.
A. Responsáveis pelas capacitações na comunidade não comparecem.
B. O aprendizado da comunidade, após a capacitação de higiene, não é suficiente para promover mudanças de comportamento nos hábitos da comunidade.
C. Após a capacitação, algumas pessoas começam a lavar as mãos em excesso e desenvolvem erupções na pele. 
D. Uma grande parte da comunidade não recebe informação sobre a ocorrência de capacitações de higiene.
E. O recurso destinado ao programa não foi bem orçado e termina em meio ao processo de implementação.
C.5. Complete a hipótese causal do programa peruano de promoção de lavagem de mãos. Complete as lacunas com as opções corretas.
Se (atividade 1) e (atividade 2) produzem (produto), isso deveria levar a (resultado intermediário), que, ao final, vai resultar na (resultado final), contribuindo para (propósito).
A. Atividade 1: a organização de capacitação sobre higiene 
B. Atividade 2: comparecimento da comunidade à capacitação 
C. Produto: conscientização da comunidade quanto à importância da higienização das mãos
D. Resultado intermediário: aumento da frequência de higienização das mãos
E. Resultado final: diminuição de infecções e contaminações 
F. Propósito: a melhora da saúde nas zonas rurais no Peru 
C.6. Para quais passos da cadeia causal é necessário definir indicadores? Marque todas as respostas que julgar corretas.
A. Problemas e necessidades. 
B. Insumos e atividades. 
C. Produtos. 
D. Resultados intermediários. 
E. Resultados finais. 
D.1. Quais são os modos pelos quais a Teoria da Mudança pode nos ajudar no desenho de uma Avaliação de Impacto? Marque todas as respostas que julgar corretas.
A. Permite identificar perguntas de avaliação. 
B. Ajuda a selecionar as variáveis corretas para entender se um programa de fato atinge o impacto desejado. 
C. Ajuda a calcular o tamanho amostral necessário para a avaliação de impacto. 
D. Ajuda a determinar a melhor forma de coleta de dados para as variáveis de interesse. 
D.2 Em quais dos seguintes cenários identificamos falhas de implementação?
A. Cenário 01 
B. Cenário 02 
C. Cenário 03 
D. Cenário 04 
D.3. Em relação ao programa "Um Laptop por Aluno", cuja Teoria da Mudança foi desenvolvida nesta aula, escolha a solução mais adequada para os seguintes contextos:
1. Muitos professores não usam os laptops nas suas aulas porque não absorveram o treinamento dado para uso dos laptops. Adaptar a metodologia e/ou o conteúdo dos treinamentos direcionados aos professores. 
2. O programa foi exitoso em fazer com que os laptops fossem usados em casa e na escola, mas não gerou melhoria no aprendizado das crianças. Revisar o conteúdo contido nos laptops para o aprendizado. 
3. Muitas crianças não levam os laptops para suas casas por razões de segurança. Desenvolver o uso de laptops para as crianças na própria escola, fora do horário de aula. 
Estudo de caso - Módulo 3
EC.1. Suponha que você é parte de uma equipe encarregada de avaliar a efetividade da intervenção. Qual é a hipótese central que se pretende testar com a avaliação? Use o espaço abaixo para escrever a hipótese em termos de relação causal entre a intervenção e os resultados finais esperados. Seja o mais explícito e concreto possível ao se referir à intervenção e aos resultados finais.
Depois de escrever sua resposta, você deverá compará-la com o que se espera, para avaliar seu trabalho. Você deverá avaliar se sua resposta condiz com a pergunta e engloba os temas principais, mas não pela organização e estilo de texto. Sua resposta deve ser breve e concisa. Faça seu melhor e avalie seu trabalho de forma honesta e precisa.
Observar a organização e tirar conclusões satisfatórias.
EC.1. Abaixo você deverá assinalar, de maneira acumulativa, quais são os aspectos que constam na sua resposta. Assim, as alternativas não são excludentes: todas aquelas às quais sua resposta tiver correspondido devem ser sinalizadas. 
Se nenhum dos aspectos abaixo foi citado na sua resposta, clique em enviar sem marcar qualquer alternativa. 
 É mencionada uma hipótese que inclui as auditorias.
 É mencionada uma hipótese que inclui a redução da corrupção.
 É mencionada uma hipótese que inclui a difusão das auditorias para o público.
 É mencionada, ainda, uma hipótese que inclui que a divulgação da informação sobre as auditorias ao público, por meio de rádios locais, causará uma diminuição nos níveis de corrupção de líderes municipais.
EC.2. Em sua versão mais simples, uma Avaliação de Impacto testa se uma intervenção teve impacto ou não na relação com os objetivos finais, medindo a magnitude desse impacto. No entanto, avaliações de impacto podem dar um passo além, identificando os mecanismos, ou seja, os processos que conectam a intervenção ao impacto obtido (resultados finais).
Quais dos seguintes mecanismos podem fazer com que a intervenção criada pela CGU possa ter o impacto desejado de reduzir a corrupção? Marque todas as respostas que julgar corretas./p>
A. Devido à divulgação dos resultados das auditorias, os partidos políticos decidem punir internamente os políticos implicados em fraudes. 
B. Devido à divulgação dos resultados das auditorias, os cidadãos se tornam mais informados e, nas eleições, punem os candidatos corruptos e recompensam os políticos honestos. 
C. Devido à divulgação dos resultados das auditorias, políticos corruptos mudam sua forma de atuar, envolvendo-se em formas de corrupção mais sofisticadas e difíceis de serem detectadas pelos auditores. 
D. A difusão dos resultados das auditorias leva a uma maior credibilidade das instituições públicas, atraindo eleitores que estavam desiludidos ou, até então, votavam de maneira desinformada. 
EC3.b. Verdadeiro ou falso: uma premissa do programa é que a mídia local divulgue informações corretas sobre os resultados das auditorias.
A. Verdadeiro. 
B. Falso 
EC.3. Associe as respostas adequadas para completar a cadeia causal de acordo com o programa de divulgação de auditorias.
1. Alta incidência de corrupção em governos locais. Problemas / Necessidades 
2. Auditores realizam fiscalizações nas cidades. Insumos / Atividades 
3. Mídia local divulga informações sobre as auditorias. Insumos / Atividades 
4. Relatórios das auditorias. Produtos 
5. Informações disponibilizadas para a população. Produtos 
6. Eleitores, órgãos de controle e Judiciário obtêm informações. Resultados Intermediários 
7. Prefeitos são vistos como políticos corruptos ou inábeis. Resultados Intermediários 
8. Penalização de prefeitos corruptos nas urnas. Resultados Intermediários 
9. Aumentam processos contra políticos. Resultados Intermediários 
10. Redução de índices de corrupção. Resultados Finais 
EC.4. Suponha que a avaliação encontrou que, em municípios onde os relatórios das auditorias foram divulgados antes das eleições municipais de 2004 nas rádios locais, os políticos corruptos tiveram significativamente menos probabilidade de serem reeleitos em comparação com municípios onde os relatórios foram difundidos depois das eleições. Em cidades sem estação de rádio local, o desempenho dos políticos corruptos no processo eleitoral também foi pior (receberam menos votos), mas não tanto como nas localidades com estação de rádio.
Os resultados da avaliação poderiam ser significativamente diferentes, se os pesquisadores não tivessem considerado o alcance dos diferentes meios de comunicação.
Por que é importante interpretar os resultados de um programa dentro do contexto da Teoria da Mudança?
A. A Teoria da Mudança permite identificar os mecanismos que estão por trás dos resultados. 
B. A Teoria da Mudança permite comparar os resultados de uma intervenção com os de outras intervenções.  
C. A Teoria da Mudançanos diz o tamanho do impacto do programa. 
A.1. O que significa dizer que a avaliação é aleatorizada? Marque todas as respostas que julgar corretas.
A. O tamanho da amostra aumenta se a avaliação é aleatorizada. 
B. A forma como se escolhe o grupo de controle e de tratamento não tem padrões reconhecíveis ou regularidades. 
C. Cada unidade (que pode ser um indivíduo, família, escola, casa etc) tem a mesma probabilidade de ser alocada no grupo de tratamento. 
D. Os indivíduos (ou famílias, escolas, casas etc) são alocados no grupo de tratamento dependendo de suas características. 
A.2. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Sim 
B. Não 
A.3. Por que fazemos alocação aleatória entre os grupos de tratamento e controle?
A. Para obter maior poder estatístico. 
B. Para que os grupos de controle e tratamento sejam estatisticamente similares. 
C. Para que os indivíduos que mais desejam o programa recebam o programa. 
D. Para que existam diferenças entre o grupo de controle e de tratamento. 
B.1. Suponha que temos uma amostra de cem indivíduos. Nosso método de aleatorização é de probabilidade fixa, com uma probabilidade de 60% de ser alocado no grupo de tratamento. De acordo com a informação dada, de qual tamanho serão os grupos de controle e de tratamento?
A. 50 no grupo de controle e 50 no de tratamento. 
B. 60 no grupo de controle e 40 no de tratamento. 
C. 40 no grupo de controle e 60 no de tratamento. 
D. Não é possível determinar o tamanho dos grupos. 
B.2. Verdadeiro ou falso: Diferentemente do método de probabilidade fixa, o método de proporção fixa permite saber com antecedência o tamanho dos grupos de controle e de tratamento.
A. Verdadeiro 
B. Falso 
B.3. Por que pode ser recomendável usar a aleatorização estratificada? Marque todas as respostas que julgar corretas.
A. Para assegurar equilíbrio amostral nas variáveis de interesse. 
B. Para aumentar o poder estatístico. 
C. Para estudar subgrupos dentro da amostra de beneficiários. 
D. Por razões políticas ou logísticas. 
B.4. Considere a seguinte situação: você é encarregado de realizar a aleatorização por agrupamento de uma avaliação em escolas. A seguir se apresentam quatro escolas, cada uma com duas turmas. Em qual dos seguintes casos a aleatorização é por agrupamento? (Clique nos ícones para visualizá-los)
A. Imagem 1 
B. Imagem 2 
C. Imagem 3 
D. Imagem 4 
A resposta é a alternativa A. A aleatorização por agrupamento implica a seleção de grupos, não de indivíduos.
C.1. Complete corretamente o seguinte trecho:   No caso em que os recursos são _______ para cobrir todo o universo de beneficiários, podemos fazer uma loteria. No entanto, em alguns casos, as pessoas que não receberam o programa podem escolher _________ com a avaliação.
A. insuficientes; cooperar 
B. suficientes; cooperar 
C. insuficientes; não cooperar 
D. suficientes; não cooperar 
C.2. Verdadeiro ou falso: Em um desenho por etapas, ao final da avaliação, o grupo de controle nunca terá recebido o programa.
A. Verdadeiro 
B. Falso 
C.3. Complete corretamente o seguinte trecho: Com um desenho de aleatorização por etapas, no curto prazo posso ___________, enquanto no longo prazo posso ____________.
A. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto do tempo de exposição ao tratamento 
B. comparar o impacto do tempo de exposição ao tratamento; comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu 
C. medir o impacto daqueles que estão sendo tratados nessa etapa; medir o impacto do tratamento em toda a população 
D. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto dos que são elegíveis para o programa com os que não são elegíveis 
D.1. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Já existe uma intervenção (a intervenção A), mas deseja-se testar se outras intervenções poderiam ter maior impacto Desenho 2 
B. Já existe uma intervenção (a intervenção A), mas deseja-se agregar um complemento e se deseja testar qual intervenção complementar teria maior impacto Desenho 3 
C. Já existe uma intervenção com múltiplos tratamentos, mas deseja-se testar se é possível eliminar um dos componentes sem afetar o nível de impacto obtido pelo conjunto de componentes da intervenção Desenho 4 
D. Deseja-se desenhar uma nova intervenção para enfrentar uma necessidade, existem três diferentes alternativas e se deseja testar qual teria maior impacto sobre a necessidade Desenho 1 
D.2. Quais são as possíveis restrições dos múltiplos tratamentos? Marque todas as respostas que julgar corretas.
A. As pessoas podem decidir em quais dos diferentes tratamentos elas vão participar. 
B. Se não existe grupo de controle, só se mede o impacto relativo de uma intervenção com relação a outra. 
C. O tamanho da amostra necessária aumenta de maneira significativa. 
D. Os diferentes grupos não serão estatísticamente similares e, portanto, não serão comparáveis. 
E.1. No desenho por meio de estímulos, por que devemos medir o impacto por meio dos que recebem e dos que não recebem o estímulo, em vez dos que participam e que não participam do programa?
A. O estímulo é o único fator que determina se os indivíduos participam do programa. 
B. Os indivíduos que, no final, participam do programa podem ser diferentes dos que não participam. 
C. Os indivíduos que recebem o estímulo são diferentes dos que não recebem o estímulo. 
D. Queremos ver o impacto de receber o estímulo e de receber o programa separadamente. 
F.1. Escolha o método de aleatorização, considerando as condições que recomendariam o seu uso.
A. O programa está em fase de expansão e, eventualmente, todos devem receber o tratamento. Desenho por etapas 
B. O programa tem a intenção de atingir toda a população, mas por diversas razões, isso ainda não ocorre. Desenho por estímulos 
C. Há mais candidatos do que vagas no programa. Loteria simples 
D. A organização implementadora deseja avaliar o impacto de duas diferentes intervenções para entender qual tem maior impacto. Múltiplos tratamentos 
EC.1. Se quisermos fazer uma avaliação para descobrir qual dos dois mecanismos explicados está por trás dos resultados positivos das intervenções que compartilham informações com os pais, qual desenho de aleatorização você usaria?
A. Loteria básica. 
B. Desenho por etapas. 
C. Desenho por múltiplos tratamentos. 
D. Desenho de incentivos. 
EC.2. Foi pedido aos professores que colocassem informações relativas a todos os alunos, não só àqueles para os quais a informação realmente seria usada nas mensagens. Como você definiria o risco existente caso eles tivessem como orientação inserir informações relativas apenas aos alunos cujos pais receberiam mensagens de informação?
A. Pais de alunos podem trocar mais informações sobre o desempenho dos seus filhos. 
B. Os professores podem mudar o seu comportamento com alguns alunos. 
C. Isso pode aumentar os custos para a escola e tornar os professores menos propensos a participar do programa. 
EC.3. Quais são as características do primeiro passo da aleatorização? Marque todas as respostas que julgar corretas.
A. Simples. 
B. Completa. 
C. Agrupada (em clusters). 
D. Estratificada. 
EC.4. Quais são as características do segundo passo da aleatorização?
A. Simples. 
B. Completa. 
C. Agrupada (em clusters). 
D. Estratificada.EC.5. Usando somente as escolas designadas ao grupo D, como podemos calcular o impacto das mensagens de preocupação nos níveis de frequência escolar? Selecione a subtração que considerar mais adequada.
A. Preocupação (–) Controle 
B. Controle (–) Preocupação 
C. Informação Individual (–) Preocupação 
D. Preocupação (–) Informação Individual 
EC.6. O que isso sugere? Marque todas as respostas que julgar corretas.
A. Os três tipos de mensagens tiveram impactos positivos nas notas de matemática. 
B. Enviar informação relativa é mais efetivo do que enviar informação individual. 
C. Não podemos dizer, porque não sabemos as notas em matemática dos diferentes grupos antes do programa. 
EC.7. Suponha que o grupo de controle foi afetado por externalidades positivas. Por exemplo, os pais que receberam mensagens de preocupação conversam com os pais dos colegas de seus filhos que não receberam nenhuma mensagem, aumentando a preocupação deles também. Isso levaria a uma subestimação ou uma superestimação do impacto do programa?
A. Subestimação. 
B. Superestimação. 
EC.8. Fazer a aleatorização em um nível maior – por exemplo, escolas em vez de alunos – pode ser a solução para este problema de transbordamento ou externalidades, porque isso cria uma distância maior entre o grupo de tratamento e o grupo de controle. Considerando agora não só o grupo D, mas todos os grupos, como se calcula o impacto das mensagens de informação relativa, se estamos preocupados de haver externalidades em todos os tratamentos?
A. Informação relativa (–) Controle A 
B. Informação relativa (–) Controle B 
C. Informação relativa (–) Controle C 
D. Informação relativa (–) Controle D 
EC.9. A forma como a avaliação foi feita não só reduz os riscos de externalidades, mas também torna possível a sua mensuração, algo que vai ser discutido com mais detalhes no módulo 8 deste curso. Se esperamos que todos os tratamentos tenham externalidades, quais grupos você acha que precisam ser comparados para calcular a magnitude das externalidades do envio de mensagens de preocupação?
A. Preocupação B (–) Controle B 
B. Preocupação B (–) Preocupação C 
C. Preocupação B (–) Preocupação D 
D. Controle B (–) Controle A 
Tamanho da amostra e poder estatístico
A.1. O que é poder estatístico?
A. É a probabilidade de que o programa tenha um impacto real na população. 
B. É a probabilidade de um participante pertencer ao grupo de controle ou ao grupo de tratamento. 
C. É a probabilidade de se detectar o impacto de um programa, quando ele existe. 
D. É a magnitude do impacto do programa. 
A.2. Em uma avaliação de impacto, nunca podemos conhecer a verdade com certeza absoluta. Por quê?
A. Porque a realidade é mais complexa do que o esperado no momento de se desenhar o programa. 
B. Porque é sempre possível argumentar contra ou a favor de um programa .
C. Porque os gestores públicos se guiam pela experiência, não pela evidência. 
D. Porque trabalhando-se com dados amostrais sempre existe certo grau de incerteza. 
A.2. Em uma avaliação de impacto, nunca podemos conhecer a verdade com certeza absoluta. Por quê?
A. Porque a realidade é mais complexa do que o esperado no momento de se desenhar o programa. 
B. Porque é sempre possível argumentar contra ou a favor de um programa .
C. Porque os gestores públicos se guiam pela experiência, não pela evidência. 
D. Porque trabalhando-se com dados amostrais sempre existe certo grau de incerteza. 
A.4.a. Suponha o seguinte caso: deseja-se avaliar uma política de capacitação profissional que tem como objetivo aumentar o salário dos trabalhadores (medido em dólares). A seguir, são descritos os grupos de controle e de tratamento deste programa.
a) Qual é a média do grupo de tratamento?
11
A.4.b. Suponha o seguinte caso: deseja-se avaliar uma política de capacitação profissional que tem como objetivo aumentar o salário dos trabalhadores (medido em dólares). A seguir, são descritos os grupos de controle e de tratamento deste programa.
b) Qual é a média do grupo de controle?
10
A.5a. Agora, suponha que só temos acesso a uma amostra de cinco pessoas de cada grupo.
a) Qual é a média da amostra do grupo de tratamento?
13
A.5b. Agora, suponha que só temos acesso a uma amostra de cinco pessoas de cada grupo.
b) E a média da amostra do grupo de controle?
7,8
A.6.a. Finalmente, devido a um problema com a base de dados, perdemos a amostra anterior e agora vamos extrair outra amostra. 
a) Qual é a média da segunda amostra do grupo de tratamento?
9
A.6.b Finalmente, devido a um problema com a base de dados, perdemos a amostra anterior e agora vamos extrair outra amostra. 
b) E a média da segunda amostra do grupo de controle?
12,2
A.7a. Considerando os dados do problema anterior:
a) Qual seria o impacto do programa em R$/h se tivéssemos acesso a todos os dados da população (figura da esquerda)?
1
A.7b. Considerando os dados do problema anterior:
b) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à primeira amostra (figura do meio)?
5,2
A.7c. Considerando os dados do problema anterior:
c) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à segunda amostra (figura da direita)?
3,2
A.8. Determine quais das seguintes conclusões é falsa, marcando todas as respostas que julgar incorretas:
A. Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um impacto POSITIVO. 
B. Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um impacto NEGATIVO. 
C. Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um impacto POSITIVO. 
D. Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um impacto NEGATIVO. 
B.1. Dentre as seguintes situações, determine qual(is) corresponde(m) a um erro tipo I. Marque todas as respostas que julgar corretas.
A. Conclui-se que o programa NÃO teve um impacto, mas, na realidade, esse impacto existiu. 
B. Conclui-se que o programa teve impacto, mas, na realidade, esse impacto NÃO existiu. 
C. Falso positivo. 
D. Falso negativo. 
De acordo com o vídeo, que fatores contribuíram para que se diminuísse o poder estatístico no estudo em Gana? Marque todas as respostas que julgar corretas.
A. Baixa participação no programa. (Correta)
B. Limite orçamentário. 
C. Amostra pequena. (Correta)
D. Amostra enviesada. 
C.1. Quais são os benefícios de se aumentar o tamanho amostral? Marque todas as respostas que julgar corretas.
A. Aumentar o poder estatístico. (Correta)
B. Diminuir os custos do programa. 
C. Aumentar a representatividade da população. (Correta)
D. Minimizar o erro tipo II (falso negativo). (Correta)
C.2. Considere a seguinte situação: se você vai participar de um jogo de azar em que você ganha se escolher a amostra cujos resultados estão mais próximos aos valores reais (você não conhece os dados de cada amostra), em qual amostra você apostaria: em uma de 3 observações ou em uma de 6 observações?
A. Amostra 1, com 3 observações. 
B. Amostra 2, com 6 observações. (Correta)
D.1. Verdadeiro ou falso: quanto maior o tamanho do efeito esperado do programa, maior deve ser o tamanho amostral; quanto menor o tamanho do efeito esperado do programa, menor deve ser o tamanho amostral.
A. Verdadeiro 
B. Falso (Correta)
D.2. Seus parceiros de pesquisa compartilharam dados de um novo programa de capacitação profissional. Você tem a informação do programa anterior (1) e do novo programa (2).
Qual é o impacto do programa novo (2)?
8
D.3. A Secretaria de Educação do seu estado gostaria de melhorar o desempenho de alunos do ensino médio, que apresentam notas em provas nacionais cada vez mais baixas. Para isso, elaborou duas intervenções em paralelo com os professores do estado: uma de capacitação de professores e outra de pagamento de bônus por performance de professores. Os gestores solicitaram apoio para a avaliação dessas intervenções a pesquisadores, que precisam definir qual o tamanho da amostra de cada intervenção. Suponha que, de acordo com a literatura do tema,capacitar professores pode ter um efeito aproximadamente duas vezes maior do que atribuir bônus a professores. Assim, nesta pesquisa, podemos esperar que qual dos dois programas precisará de maior amostra para que os pesquisadores possam perceber seu efeito?
A. Capacitação de professores 
B. Pagamento de bônus por performance de professores (Correta)
E.1. Qual é a relação entre a taxa de participação e o tamanho amostral? Marque todas as respostas que julgar corretas.
A. Para uma taxa de participação pequena, precisamos de um tamanho amostral grande. 
B. Para uma taxa de participação grande, precisamos de um tamanho amostral grande. 
C. Para uma taxa de participação pequena, é suficiente um tamanho amostral pequeno. 
D. Para uma taxa de participação grande, é suficiente um tamanho amostral pequeno. 
E.2. Considere o programa de capacitação profissional com o qual temos trabalhado. A seguir, apresentamos o que teria acontecido se 5 pessoas do grupo de tratamento nunca tivessem comparecido à capacitação. Os números em vermelho representam os indivíduos que não receberam o tratamento (portanto, não tiveram aumento salarial por hora trabalhada).
Qual é a taxa de participação (take-up) no caso de taxa de participação imperfeita? (Em outras palavras, qual é a porcentagem do grupo alocado para o tratamento, que de fato participou dele?)
5 das 10 pessoas do grupo de tratamento receberam efetivamente o tratamento, o que equivale a 50%.
E.3a Considere os mesmos dados do exercício anterior
5,5
E.3b. Considere os mesmos dados do exercício anterior.
0,5
F.1. Que implicações a variância tem na avaliação de impacto? Marque todas as respostas que julgar corretas.
A. Quanto maior a heterogeneidade (ou variância) dos grupos, menor é a amostra necessária para observar os efeitos do programa. 
B. Quanto maior a heterogeneidade (ou variância) dos grupos, maior é a amostra necessária para observar os efeitos do programa. 
C. Em uma população com variância alta, é mais difícil observar os efeitos do programa. 
D. Em uma população com variância alta, é mais fácil observar os efeitos do programa. 
F.2. Verdadeiro ou falso: a regra de ouro número 4 assinala que, para um dado nível de poder estatístico, quanto maior a variância amostral, maior o tamanho amostral necessário.
A. Verdadeiro 
F.3. Felizmente, o seu programa está tendo êxito e será replicado em outra localidade. A seguir, são apresentados os resultados da primeira (1) e da segunda (2) localidades:
Qual é o tamanho do impacto na localidade 2?
O tamanho do impacto na localidade 2 é 1. Média do grupo de tratamento na localidade 2 (-) Média do grupo de controle na localidade 2 = (10+12+11+ 10+12+11+10+11+11+12)/10 - (9+10+11+10+11+10+9+11+10+9)/10 = 11-10 = 1. Portanto, o programa teve o mesmo impacto nas duas localidades.
F.4a. Considere os mesmos dados do exercício anterior.
a) Em qual das duas localidades a amostra apresenta maior variância?
A. Localidade 1  (Correta)
F.4b. Considere os mesmos dados do exercício anterior.
b) Em qual das duas localidades você escolheria fazer uma avaliação, levando em conta a variância das amostras?
A. Localidade 2  (Correta)
G.1. Dado um tamanho amostral, de que maneira devem ser distribuídos os indivíduos entre os grupos de tratamento e de controle, de maneira a maximizar o poder estatístico?
A. Devem ser distribuídos igualmente entre o grupo de tratamento e de controle. 
B. A maioria dos indivíduos deve estar no grupo de controle. 
C. A maioria dos indivíduos deve estar no grupo de tratamento. 
G.2. Por que nem sempre se distribui igualmente uma amostra nos grupos de controle e de tratamento? Marque todas as respostas que julgar corretas.
A. Devido à escassez de recursos, o programa não pode tratar um número suficiente de indivíduos. 
B. Se o custo do tratamento é muito alto, pode ser que se ganhe mais poder aumentando o grupo de controle do que balanceando igualmente os grupos. 
C. Se o custo do controle é muito alto, pode ser que se ganhe mais poder aumentando o grupo de tratamento do que balanceando igualmente os grupos. 
H.1. Quais das seguintes alternativas estão corretas? 
A. Se a Correlação Intra-Clusters é igual a 0, os indivíduos do mesmo conglomerado são muito similares. 
B. Se a Correlação Intra-Clusters é igual a 1, os indivíduos do mesmo conglomerado são muito similares. 
C. Entrevistar mais pessoas por cluster aumenta o poder estatístico, mas cada vez em menor magnitude (rendimentos decrescentes de se ter mais observações). 
D. Quando uma Correlação Intra-Clusters é muito baixa, precisamos de uma amostra maior. 
H.2. Verdadeiro ou falso: quanto maior a Correlação Intra-Clusters, maior o poder estatístico.
A. Falso 
H.3. Verdadeiro ou falso: se faço uma sondagem eleitoral no Brasil, selecionar aletoriamente 100 pessoas de toda a população me trará mais poder que escolher 20 famílias e entrevistar os 5 membros (100 pessoas no total).
A. Verdadeiro 
I.1. Das seguintes afirmações, marque todas as respostas que julgar corretas.
A. Quanto maior a amostra, maior o poder estatístico. 
B. Quanto maior o tamanho do efeito, menor a amostra necessária. 
C. Quanto maior a taxa de participação, menor a amostra necessária. 
D. Quanto maior a variância na população, maior a amostra necessária. 
E. Para uma dada amostra, o número igual de indivíduos no grupo de tratamento e no grupo de controle maximiza o poder estatístico. 
F. Para uma dada amostra, agrupar observações tem como resultado obter menor poder estatístico. 
G. Para uma maior correlação intra-cluster (CIC), é necessário um tamanho amostral maior. 
Todas as alternativas estão corretas (são os enunciados das sete regras de ouro).
Estudo de Caso - Módulo 5
EC.1a. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
a) De acordo com o enunciado, qual é o salário médio dos microempreendedores antes da intervenção? Escreva a sua resposta em reais.
Como dito no enunciado do exercício, o salário médio dos microempreendedores antes do programa é de R$ 2.000,00
EC.1b. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
b) Qual é o desvio padrão do salário dos microempresários? Escreva a sua resposta em reais.
Como dito no enunciado do exercício, o desvio padrão é de R$ 140,00
EC.1c. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
c) Em quantos reais se espera um aumento no salário dos microempreendedores que participaram do programa de capacitação? (Lembre-se de que é esperado um aumento de 5%.). Escreva a sua resposta em reais.
Para calcular o valor do aumento no salário dos empreendedores após o programa, estimado em um aumento de 5%, é preciso calcular 5% de R$ 2.000,00, ou seja, R$ 100,00.
EC.2. Você estáencarregado de analisar se uma amostra de 50 empreendedores basta para ter um poder estatístico de ao menos 80%. Para saber disso, você deve colocar os seguintes dados na tabela, que são os dados que a equipe de pesquisa está considerando:
Se inserirmos os dados da tabela, verificamos que o poder estatístico é de 71,41%.
EC.3. Qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%.
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 62 unidades.
EC.4. Devido a mudanças não esperadas no planejamento, os microempreendedores não vão ter tempo suficiente para cumprir com todas as horas de capacitação. Devido à redução de horas, estima-se que o efeito do programa vá ser reduzido, e o aumento médio no salário dos empreendedores ao final não será de 5%, mas de 4,5%.
Qual é o poder estatístico quando o tamanho do efeito é menor? Utilize os dados da pergunta anterior, com tamanho amostral de 62 unidades. Primeiro, calcule qual será o novo aumento no salário dos participantes. Depois, você deve modificar somente a célula de Tamanho do Efeito, incluindo o novo valor.
O efeito esperado no salário dos microempreendores que participem do programa é de R$ 90,00 (4,5% de R$ 2.000,00). Inserindo o valor na célula Tamanho do Efeito, temos que o poder estatístico cai para 71,60%.
EC.5. Dado o novo tamanho do efeito calculado no exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 76 unidades. Neste caso, o poder estatístico sobe para 80,01%.
EC.6. A equipe implementadora das capacitações informa que 15% das pessoas nunca comparecem às capacitações, mesmo sendo gratuitas. Isso significa uma mudança na taxa de participação, dado que nem todas as pessoas alocadas no grupo de tratamento vão receber a capacitação. É sua responsabilidade ponderar isso na análise.
Considerando a expectativa de que 15% dos participantes não comparecerão, qual é o poder estatístico resultante? Utilize os dados anteriores. Você deve modificar somente a célula de Participação, que originalmente era de 100%.
Considerando uma nova taxa de participação de 85%, o poder estatístico resultante é de 66,34%.
EC.7. Dada a nova taxa de participação do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 106 unidades. Neste caso, o poder estatístico sobe para 80,31%
EC.8. Você descobre que surgiu um erro na análise dos dados administrativos sobre o salário médio dos microempreendedores antes do programa. O erro foi no relatório de renda. Felizmente, a renda média dos microempreendedores continua sendo de R$ 2.000,00. No entanto, o desvio padrão é de R$ 200,00.
Qual é a mudança no poder estatístico com este aumento no desvio padrão? Utilize os dados anteriores. Você deve modificar somente a célula de Desvio Padrão. 
O poder estatístico cai para 50,36% quando a célula do Desvio Padrão é modificada de 140 para 200.
EC.9. Dado o novo desvio padrão do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 	
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 215 unidades. Neste caso, o poder estatístico sobe para 80,07%.
EC.10. O aumento do tamanho amostral devido às mudanças nos parâmetros aumentou os custos da avaliação. O custo das capacitações é muito alto para ser oferecido para metade da nova amostra da avaliação. Por isso, a decisão é oferecer a capacitação para 3 em cada 10 participantes. Na folha de cálculo, na célula de Proporções, você pode indicar a porcentagem da amostra que será destinada ao grupo de tratamento (dado que 3 em cada 10 participantes receberão o tratamento, a porcentagem indicada deve ser, portanto, 30%).
Qual é o poder estatístico resultante após a mudança na proporção entre os grupos de tratamento e controle da amostra? Utilize os dados anteriores. Você deve modificar somente a célula de Proporções. 
O poder estatístico cai para 72,91% quando a célula de Proporções é modificada de 50 para 30.
EC.11. Dada a nova proporção entre os grupos de controle e tratamento do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 256 unidades. Neste caso, o poder estatístico sobe para 80,08%.
EC.12. O próximo passo é selecionar as localidades que comporão os grupos de tratamento e de controle. Em média, espera-se ter 30 microempreendedores por localidade. Assim, o nível de aleatorização não será mais individual, e sim ao nível de aglomerados (ou clusters). Na tabela, a célula de Agrupamentos representa o tamanho médio dos grupos. Até agora, o valor dessa célula era 1. Agora, a amostra será dividida em agrupamentos, de 30 unidades cada um. Coloque 30 na célula de Agrupamentos. A Correlação Intra-Clusters (CIC) é de 0,02. 
Quanto é o poder estatístico resultante, se os grupos são de 30 unidades e a CIC é de 0,02? Utilize os dados anteriores. Você deve modificar somente as células de Agrupamentos e CIC. 
O poder estatístico cai para 60,69% quando incluímos grupos de 30 unidades na célula "Agrupamentos" e alteramos a Correlação Intra Clusters (CIC) para 0,02.
EC.13. Dada a decisão de fazer a aleatorização por agrupamentos e as novas informações sobre Agrupamentos e Correlação Intra-Clusters (CIC) do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 404 unidades. Neste caso, o poder estatístico sobe para 80,04%.
Medição
A.1. Quais dos seguintes elementos da Teoria da Mudança poderiam ser medidos por meio de um indicador? Marque todas as respostas que julgar corretas.
A. Necessidades 
B. Atividades / Insumos 
C. Produtos 
D. Resultados Intermediários 
E. Resultados Finais 
Todas as respostas estão corretas. Ao longo da implementação de um programa, os indicadores permitem quantificar todas as etapas da cadeia causal (sejam elas necessidades, atividades/insumos, produtos ou resultados), convertendo-as em variáveis e permitindo estabelecer relações causais entre elas.
A2.b. Verdadeiro ou falso: cada elemento da cadeia causal da Teoria da Mudança pode ter apenas um indicador para medição do progresso.
A. Falso 
B.1. Quais dos seguintes enunciados são verdadeiros? Marque todas as respostas que julgar corretas.
A. Um indicador é exato se não tem desvios sistemáticos do valor verdadeiro. 
B. Um indicador é preciso se não tem desvios sistemáticos do valor verdadeiro. 
C. Um indicador é exato se repetidas medições do mesmo objeto sempre geram o mesmo valor. 
D. Um indicador é preciso se repetidas medições do mesmo objeto sempregeram o mesmo valor. 
B.2. Verdadeiro ou falso: o indicador é considerado confiável quando ele mede os valores do construto com maior exatidão.
A. Falso 
Falso. A confiabilidade do indicador está relacionada à precisão com a qual o ele realiza a medição. Por outro lado, se o indicador é exato na medição das variáveis, considera-se que este é válido ou rigoroso.
B.3. Selecione os indicadores abaixo para os seus respectivos construtos, de acordo com o que buscam medir.
A. Porcentagem de pessoas sem qualquer nível educacional População em situação vulnerável 
B. Taxa de respostas a pesquisas cidadãs Participação cidadã 
C. Pessoas sequestradas anualmente Níveis de delinquência 
D. Frequência a comícios políticos Participação cidadã 
E. Porcentagem de pessoas sem casa População em situação vulnerável 
F. Taxa de pobreza População em situação vulnerável 
G. Taxa de abstenção em eleições Participação cidadã 
H. Número de roubos por mês Níveis de delinquência 
I. Taxa de homicídio Níveis de delinquência 
B.4. Relacione as medições das empresas com a classificação abaixo.
1. Empresa 01:  Exato e Impreciso 
2. Empresa 02:  Exato e Preciso 
3. Empresa 03:  Inexato e Impreciso 
4. Empresa 04:  Inexato e Preciso 
B.5. Qual das quatro empresas o governo deve contratar?
A. Empresa 1 
B. Empresa 2 
C. Empresa 3 
D. Empresa 4 
C.1. Os enunciados abaixo descrevem um processo para responder à pergunta "Quantos litros de água você bebe por dia (em média)?". Para cada enunciado, relacione a etapa de formulação de uma resposta.
· A pessoa estima que os copos que utiliza têm aproximadamente 250 ml, e que pratica atividade física em média duas vezes por semana. Estimar / Julgar 
· A pessoa revisa sua memória e conclui que, no geral, bebe 3 copos de água por dia, e 4 copos nos dias em que pratica atividade física. Recuperar informação 
· A pessoa assume que os litros de água tomados por dia são aqueles constituídos somente por água, não considerando outros líquidos como café, chá, bebidas, etc. Compreender a pergunta 
· A pessoa responde que bebe cerca de 800 ml de água por dia. Responder 
C.2. Você agora vai, na prática, passar pelo processo de responder a uma pergunta. Por favor, responda à seguinte pergunta sobre este curso online: Quantas horas por semana você dedica ao curso? (É importante para nós que você selecione alguma das opções a seguir antes de continuar).
A. Menos de 2 horas 
B. 2 ou mais horas, mas menos de 4 
C. 4 ou mais horas, mas menos de 6 
D. 6 ou mais horas, mas menos de 8 
E. 8 horas ou mais 
F. Não sei/Não quero responder 
Não há uma resposta correta para esta pergunta. Mas, para respondê-la, você passou pelas etapas de interpretar a pergunta, recuperar a informação necessária para responder à pergunta, usar a informação para fazer uma estimativa e sintetizar a resposta.
C.3. Aos responder à questão anterior, qual dos passos no processo de responder a uma pergunta foi mais difícil/complicado para você?
A. Entender / Compreender a pergunta 
B. Recuperar Informação 
C. Estimativa / Julgamento 
D. Responder 
Não há uma resposta correta para esta questão. O objetivo dela é que você perceba na prática o processo de se responder à uma pergunta e reflita sobre ele.
D.1. Quais dos seguintes enunciados são verdadeiros? Marque todas as respostas que julgar corretas.
A. As perguntas negativas são confusas porque suas respostas são sempre de caráter positivo. 
B. O erro por imprecisão é aquele que se dá porque a pergunta está aberta a múltiplas interpretações. 
C. O erro por imprecisão se dá porque as perguntas estão vinculadas a um período de tempo muito amplo, e por isso as respostas são ambíguas. 
D. Para evitar o erro por alternativas incompletas, é recomendável revisar a questão e as alternativas para se ter certeza de que constam ali todas as respostas possíveis e que estas são excludentes entre si. 
E. As categorias sobrepostas são aquelas que não são excludentes entre si. 
As respostas corretas são as alternativas B, D, e E. A opção A é incorreta porque as perguntas negativas não têm necessariamente respostas positivas (apesar de serem confusas e passíveis de  má interpretação). A opção C, por sua vez, é incorreta porque os erros por imprecisão acontecem porque há muitas interpretações possíveis para uma só pergunta, mas não necessariamente vinculadas à variável do tempo.
D.2. Qual é o erro de medição presente na seguinte pergunta:
Qual é a cor de cabelo do seu irmão?
       a. Preto
       b. Castanho
       c. Loiro
       d. Ruivo
       e. Outro
A. Negativas 
B. Imprecisão 
C. Premissa 
D. Categorias sobrepostas 
E. Alternativas incompletas 
A resposta correta é a C. A pergunta assume que a pessoa pesquisada tem um irmão (e que tem apenas um), o que pode produzir um erro de medição por premissa.
E.1. Verdadeiro ou falso: a pergunta "Quantos dias o certificado demorou para chegar à sua casa no ano passado?" comete um erro de medição denominado "Viés de ancoragem".
A. Falso 
E.2. Selecione o erro de medição correspondente a cada caso.
1. Você participou de algum processo ou procedimento municipal (processos participativos, de atendimento a serviços, etc) nos últimos vinte meses? Efeito telescópio 
2. Quanto você obteve de restituição do imposto de renda no exercício retrasado? Viés de memória 
3. Quando você enfrenta filas para acessar serviços municipais, dá lugar às pessoas mais velhas ou portadoras de deficiência? Viés de desejabilidade social 
4. Se você tivesse que escolher entre duas políticas públicas voltadas para educação financeira, sendo A a mais barata (R$ 100.000 ao ano) e B a mais cara (R$ 250.000 ao ano), qual escolheria? Efeito de enquadramento 
5. Foi comprovado que 80% das pessoas que buscaram acessar serviços de zeladoria na cidade repetiram procedimentos municipais mais de duas vezes por não terem obtido respostas nas vezes anteriores. E você, quantas vezes teve que repetir procedimentos análogos? Viés de ancoragem 
F.1. Quais dos seguintes exemplos correspondem a dados de fontes primárias? Marque todas as respostas que julgar corretas.
A. Uma chamada telefônica realizada pela equipe de pesquisa para perguntar sobre a situação da economia e do emprego em uma família. 
B. Os índices da percepção da corrupção na Colômbia, obtidos entre 2005 e 2012 pela ONG Transparência Internacional. 
C. A variação das taxas de desemprego mundiais nos últimos quatro anos, segundo o Banco Mundial. 
D. Uma pesquisa online sobre o consumo do tabaco pelos jovens, realizada pela equipe de pesquisa. 
E. Os dados do censo sobre o envelhecimento da população brasileira nos últimos dez anos. 
G1. Quais dos aspectos abaixo foram citados pela professora como melhores práticas para evitar erros de medição? Marque todas as alternativas que julgar corretas.
A. Perguntas gerais são preferíveis a perguntas específicas porque são mais fáceis de serem entendidas pelo entrevistado. 
B. Vocabulário das perguntas deve ser específico para o público-alvo da pesquisa. 
C. Para tornar questionários mais curtos, questões devem incluir mais de uma pergunta por vez. 
D. É preciso assegurar que as alternativas incluem todas as possibilidades possíveis, sem sobreposição. 
Estudo de Caso - Módulo 6
EC.1. Vimos que indicadores devem ser usados para medir cada passo da cadeia causal. A seguir, temos uma lista de perguntas para gerar indicadores que podem ser úteis para o programa PAME. Selecione o passo da cadeia causal correspondente a cada pergunta.
1. Qual foi o montante de vendas do seu negócio ou empreendimento no mês passado e neste mês? O negócio cresce 
2. A quantas aulas de capacitação você assistiu no total? (Potenciais) microempreendedores capacitados 
3. No mês passado, qual foi o salário líquido proveniente de seu empreendimento? Aumentam as rendas dos microempreendedores 
4. Aproximadamente quanto do dinheiro recebido foi gasto em máquinas, inventário, outros ativos e insumos para o negócio? Investimento para começar ou expandir um negócio 
5. Quantas horas na semana, em média, você dedicaao seu empreendimento? Aumenta o emprego independente dos microempreendedores 
6. Nos últimos três meses você fez ofertas especiais para atrair clientes? Microempreendedores usam boas práticas empresariais 
7. Você recebeu ajuda monetária (capital) para comprar ferramentas, produtos para venda ou maquinário para seu negócio? Transferência monetária 
EC.2. Considere a pergunta: "em média, quantas horas por semana você trabalhou no seu empreendimento em setembro de 2010?" A seguir são apresentados erros que podem fazer com que a resposta do entrevistado ou entrevistada não seja a verdadeira: em que passo do processo de responder uma pergunta cada erro foi cometido?
A. Normalmente, o entrevistado trabalha 15 horas por semana em seu empreendimento, mas, no período citado na pergunta, houve vários pedidos importantes que o fizeram trabalhar mais horas. O entrevistado, ao não se lembrar da diferença, responde 15 horas. Recuperar informação 
B. O entrevistado trabalha 20 horas por semana, mas considera isso muito pouco. Para fazer uma imagem melhor de si, ele responde 30 horas. Responder 
C. O entrevistado responde 40 horas em vez de 20 horas, porque pensa que a pergunta é sobre as horas trabalhadas no total (e não apenas no seu empreendimento). Entender a pergunta 
D. De segunda a sexta, o entrevistado trabalha 4 horas por dia em seu empreendimento, e não trabalha aos finais de semana. No entanto, para calcular o número de horas por semana, ele multiplica essas 4 horas pelos 7 dias da semana, respondendo 28 em vez de 20 (cinco dias úteis). Estimar 
EC.3. Um exemplo seria se os empresários, embora conscientes de não usarem certas práticas, optam por responder que as praticam porque nas capacitações foram informados de que essas práticas são importantes.
Em qual dos diferentes passos necessários para se responder a uma pergunta se comete o erro descrito acima?
A. Entender/compreender a pergunta 
B. Recuperar a informação 
C. Estimar/julgar 
D. Responder 
EC.4. Que efeito isso teria nos resultados encontrados?
A. O impacto das capacitações na adoção das boas práticas empresariais seria superestimado. 
A alternativa correta é a A. O erro superestimaria o impacto do programa, pois leva a parecer que este tenha promovido uma melhora nas práticas, quando na verdade não houve essa mudança.
EC.5. Relacione às situações descritas abaixo com as consequências possíveis para a qualidade da medição.
A. Muitos microempresários respondem que seus rendimentos são mais baixos do que realmente são por medo de que essa informação seja usada pelas autoridades fiscais.
Reduz a exatidão 
Esta situação reduz a exatidão, já que representa um desvio sistemático do valor verdadeiro. Neste caso, a média de rendimento encontrada será mais baixa que a média verdadeira.
B. Muitos microempresários não têm registros de seus rendimentos porque se baseiam na própria memória para estimá-los. Alguns superestimam os rendimentos do negócio, enquanto outros subestimam.
Reduz a precisão 
Esta situação reduz a precisão. Neste caso, as respostas dos entrevistados não refletem bem os seus rendimentos em um mês médio, mas não há desvios sistemáticos: alguns superestimam, outros subestimam. Se esses desvios positivos e negativos representam valores iguais, a média encontrada será igual à média verdadeira.
C. A pesquisa é realizada no começo de julho e pergunta o montante dos rendimentos do negócio no mês anterior. Em junho, alguns microempreendedores venderam muitos produtos cujos insumos já haviam sido pagos nos meses anteriores. Outros, por sua vez, compraram muitos insumos utilizados em produtos que serão vendidos nos meses posteriores.
Reduz a precisão 
Esta situação reduz a precisão. Neste caso, as respostas dos entrevistados não refletem bem os seus rendimentos em um mês médio, mas não há desvios sistemáticos: alguns superestimam, outros subestimam. Se esses desvios positivos e negativos representam valores iguais, a média encontrada será igual à média verdadeira.
D. A pesquisa é realizada no começo de março e pergunta o montante dos rendimentos do negócio no mês anterior. Dado que muitas pessoas no Chile têm férias (e saem da cidade) em fevereiro, os rendimentos nesse mês são consideravelmente mais baixos que no resto do ano para a maioria dos empreendedores.
Reduz a exatidão
Esta situação reduz a exatidão, já que representa um desvio sistemático do valor verdadeiro. Neste caso, a média de rendimento encontrada será mais baixa que a média verdadeira.
EC.6. Que tipo de erro se pode cometer ao formular a resposta à pergunta ao lado?
A. Imprecisão 
B. Efeito macro 
C. Categorias sobrepostas 
D. Premissa 
E. Viés de ancoragem 
EC.7. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Efeito macro 
B. Efeito telescópio 
C. Perguntas negativas 
D. Premissa 
E. Viés de ancoragem 
EC.8. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Viés de conveniência socia 
B. Efeito macro 
C. Imprecisão 
D. Alternativas incompletas 
E. Categorias sobrepostas 
EC.9. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Alternativas incompletas 
B. Efeito telescópio 
C. Imprecisão 
D. Viés de conveniência social 
E. Viés de recordação 
EC.10. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Efeito telescópio 
B. Efeito macro 
C. Viés de ancoragem 
D. Viés de conveniência social 
E. Perguntas negativas 
EC.11. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Efeito telescópio 
B. Efeito macro 
C. Viés de ancoragem 
D. Viés de conveniência social 
E. Perguntas negativas 
EC.1. Neste exercício, você aprenderá a estabelecer parâmetros de tamanho amostral a partir das premissas passadas. Assim, na aba Premissas:
· Insira o número de grupos de microcrédito (célula C7) 
· Insira o número de microempreendedores (célula C8)
A partir dos valores alocados segundo a instrução acima, qual o número total de empreendedores que fazem a prova (célula C9)?
A resposta correta é 2688. Considerando-se que todos os empreendedores deverão fazer a prova, e que eles constituem 48 grupos de microcrédito com uma média de 56 integrantes por grupo, a resposta (automática na planilha) é 2688.
EC.2. Agora, considerando o tamanho amostral, vamos converter os instrumentos (questionários) em unidades de tempo.
· Insira a duração das provas por microempreendedor na célula C15 (em minutos) e anote a duração da entrevista na célula C16 (em minutos).
Agora, você poderá notar preenchido o tempo total necessário ao levantamento de dados por grupo de microcrédito, composto pelo tempo de “Obtenção de Consentimento” (15 minutos estimados para organizar os microempreendedores e obter sua permissão para participação na pesquisa, C14), "Aplicação de provas" em grupo (C15) e "Aplicação de entrevistas" individuais (C16).
Qual o número total de minutos requeridos para se cumprir a aplicação das entrevistas aos empreendedores de um grupo de microcrédito (célula D16)?
A resposta correta é 1120 minutos. Considerando-se que o tempo requerido é composto pela aplicação de pesquisa (20 minutos) a cada um dos 56 integrantes do grupo, multiplicados, eles totalizam 1120 minutos.
EC.3. Considerando o número de profissionais necessários à pesquisa (entre supervisores, verificadores, entrevistadores e digitadores), calcule as horas de trabalho da equipe.
· A quantidade de horas dedicadas dependerá do número de entrevistadores (C39), supervisores (C40), verificadores (C43) e digitadores (C46). Preencha essas células.
Esse montante também dependerá da quantidade de horas de verificação (ou checagem). A célula “Taxas de chamadas” (C61) mostra uma taxa de 15% (microempreendedores que serão novamente contatados após a aplicação da prova e da entrevista). Essa taxa e o tempo das chamadas (que deve permanecer em uma hora) determinarão o número de horas totais de verificação (C63). A duração do trabalho de campo (em dias) para cada etapa (3c) se encontra nas células C80a C82.
Qual o número de horas requeridas para a aplicação de todos os instrumentos (célula C34)?
A resposta correta é 343,20 horas. O tempo total exigido para a aplicação dos instrumentos deve ser o resultado da soma do tempo de traslado (2 horas) ao tempo de aplicação dos instrumentos e ao de consentimento de cada grupo (5,15 horas), multiplicado pelo número de grupos (48). Isso totaliza 343,2 horas.
EC.4. Qual o total de dias que dura o trabalho de campo, considerando os dias de levantamento de dados, verificação e digitação (célula C84)?
A resposta correta é 73 dias. Este tempo é calculado somando os dias de levantamento de dados (48), os dias de verificação ou checagem (23) e os dias de dupla digitação (2).
EC.5. Agora vamos fazer ajustes finais ao custo de levantamento de dados. 
· Coloque o número de páginas por prova na célula C90 e o número de páginas por pesquisa na célula C91. Multiplicados pelo custo da cópia por página (o que já consta na célula C89), resultam no custo de impressões, que aparece na célula C95.  ​
Qual o custo total de impressões (célula C95)?
A resposta correta é R$ 5574,00. Considerando-se que são 22 páginas por prova e 5 páginas por pesquisa (ambas aplicadas a cada um dos 56 microempreendedores dos 48 grupos), e que a cópia custa R$ 0,064 por página, o custo total das impressões deve ser de R$ 5574,00.
EC.6. Finalmente, você poderá calcular o custo total de levantamento de dados da linha de base.
· O valor do custo de transporte (R$9,60) se encontra na célula C98, o de alimentação (R$11,84) na célula C99, o de comunicação (R$12,16), na C100, e o de impressão, na C95. 
· O custo de levantamento de dados da linha de base é composto pelo produto do salário e horas de trabalho da equipe de avaliação, somado aos custos de transporte, deslocamento e impressões. O valor final pode ser observado na célula C118.
Qual o custo total do levantamento de dados da linha de base (célula C118)?
A resposta correta é R$ 64351,60. O valor total de gastos corresponde à somatória de custos com pessoal (supervisores, pesquisadores, verificadores, digitadores), traslado, alimentação, comunicação e impressões. Custo total do levantamento de dados é, portanto, R$: 64.351,60.
EC.7. Segundo o Orçamento detalhado, quantos levantamentos de dados estão programados no orçamento?
A resposta correta são 3 levantamentos. Como tratado ao longo do exercício relativo à etapa orçamentária e explicitado na aba Orçamento Detalhado, existem três etapas de coleta de dados: linha de base, linha de acompanhamento e pesquisa final. Além desses gastos com levantamento de dados, as demais categorias orçamentárias se caracterizam pelo pagamento do pessoal do projeto (pesquisador principal, gerente de pesquisa etc.), traslados, monitoramento da intervenção (não da pesquisa), além de outros custos diretos, indiretos e relativos a imprevistos.
EC.8. Qual é o valor total do orçamento que aparece na célula I88?
A resposta correta é R$ 571035,84. A informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais.
EC.9. O pesquisador principal avisa que está interessado em medir novas variáveis de impacto, pois deseja saber se o programa afeta as taxas de trabalho infantil e de frequência escolar. Pede, portanto, para estender a entrevista.
· Ao incluir as perguntas relativas a esses indicadores, duplicam-se o número de páginas e o tempo de aplicação da entrevista. Na aba Premissas, mude os parâmetros da duração e o número de páginas da entrevista (células C16 e C91).
Como essas mudanças de custo de levantamento de dados afetam o custo total da linha de base (C118)?
A resposta correta é R$ 118568,60. A informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados pela extensão da entrevista).
EC.10. O pesquisador principal volta a escrever para você. Desta vez, ele está preocupado com o fato de o tamanho da amostra da avaliação não ser suficiente para detectar de forma confiável o impacto do programa.
· Por isso, determina que será necessário duplicar o número de grupos de microcrédito no estudo. Na aba Premissas, mude o parâmetro de número de grupos de microcrédito (C7).
Partindo dos parâmetros da questão anterior, qual seria o custo do levantamento de dados da linha de base com esse novo desenho?
A resposta correta é R$ 237123,40. A informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados também pela duplicação do número de grupos).
EC.11. Ao aumentar o número de grupos de microcrédito no estudo, é necessário ampliar a extensão territorial que os pesquisadores devem cobrir.
· Depois de fazer os cálculos, o gerente de pesquisa informa que isso implicaria na duplicação do tempo médio de transporte da equipe de campo (células C25 e C26). 
· Ele também informa que essa ampliação da cobertura territorial levaria à inclusão de grupos de microcrédito em zonas rurais mais isoladas, para as quais o custo de transporte é maior. Portanto, sugere também duplicar o custo de transporte por dia para toda a equipe de campo (célula C98).
Mantendo-se as premissas estabelecidas nas perguntas EC.9. e EC.10., qual seria o custo do levantamento de dados da linha de base (C118), levando-se em conta a nova dispersão da amostra?
A resposta correta é R$ 248182,60. Essa informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados também pela duplicação do tempo médio e do custo de transporte)
EC.12. Após essa expansão orçamentária advinda do aumento da extensão da entrevista e da dispersão amostral, como se compara o novo valor, em termos percentuais, ao orçamento calculado na questão EC.6. (R$64.351,60)?
A resposta correta é 285,66%. Seguindo o cálculo de percentual de mudança, a diferença entre o novo valor (R$248.162,60) e o original (R$64.351,60), R$183.831,00, quando dividida pelo orçamento original (R$64.351,60) e multiplicada por 100, totaliza 285,66% de aumento.
EC.13. Após revisar o novo orçamento, o Ministério de Produção tem dúvidas sobre a viabilidade logística e financeira da proposta. Como alternativa propõe, em vez de duplicar o número de grupos de microcrédito, duplicar o número de empreendedores no estudo (a partir da duplicação de seu número dentro dos grupos).
Para determinar o valor total do orçamento a partir dessa premissa, será necessário:
· Voltar a inserir o número original de grupos de microcrédito (48 grupos, na célula C7);
· Voltar a inserir o tempo médio de transporte (60 minutos para ida, 60 minutos para volta, células C25 e C26);
· Voltar a inserir o custo original de transporte por dia (R$ 9,60 na célula C98);
· Finalmente, duplicar o número de empreendedores por grupo (célula C8).
Qual seria o custo do levantamento de dados da linha de base?
A resposta correta é R$ 185206,60. Essa informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados também pela duplicação do número de empreendedores por grupo, em vez da duplicação dos grupos – o que impacta o custo de transporte).
EC.14. Qual seria um possível problema da proposta de redução dos custos a partir do aumento do número de microempreendedores, e não do número de grupos de microcrédito?
A. Haver maior risco de perder indivíduos da amostra. 
B. Aumentar o número de empreendedores por grupo e possivelmente causar um viés na avaliação.  
C. Aumentar o custo da avaliação, pois, na realidade, é igualmente dispendioso aumentar o número de empreendedores por grupo ou aumentar o número de grupos de microcrédito.  
D. Reduzir o poder estatístico, pois o poder estatístico é menor quando aumentamoso número de microempreendedores por grupo, em comparação a aumentarmos o número de grupos de microcrédito. 
Aspectos Operacionais
A.1. De acordo com o vídeo, por que os aspectos operacionais de uma avaliação de impacto são importantes? Marque todas as respostas que julgar corretas.
A. Porque são essenciais para o funcionamento da avaliação. 
B. Porque garantem um impacto positivo do programa. 
C. Porque as coisas nem sempre ocorrem como o planejado. 
D. Porque são um dos determinantes da qualidade da avaliação de impacto. 
A.2. Qual seria uma maneira de antever o desafio de implementação do programa de educação por computadores, mencionado pelo professor no vídeo, evitando-se a baixa participação das escolas e gastos pouco eficazes? Marque todas as respostas que julgar corretas.
A. Consultar o Ministério da Educação sobre as condições de funcionamento das escolas. 
B. Consultar as escolas por telefone, verificando se elas têm acesso à internet. 
C. Considerar apenas qual o grau de acesso à internet na região à qual a escola pertence (rural ou urbana). 
D. Considerar que o governo ou o implementador da política instalaria internet onde fosse necessário para dar andamento à pesquisa. 
A.3. Quais são as possíveis falhas no gerenciamento dos aspectos operacionais que podem comprometer a qualidade da avaliação de impacto? Marque todas as respostas que julgar corretas.
A. Má comunicação entre equipe de pesquisa e implementador. 
B. Má abordagem da Teoria da Mudança. 
C. Mau planejamento do período de pesquisa. 
D. Gastos maiores que o orçamento. 
E. Monitoramento inadequado da coleta de dados. 
B.1. Verdadeiro ou falso: um bom planejamento deve ser capaz de antecipar todos os cenários possíveis.
A. Falso 
C.1. Qual é a característica desejada para uma organização implementadora de uma avaliação para cada uma das descrições abaixo?
1. Ser característico de uma região. Representatividade 
2. Apresentar estabilidade nos membros da organização. Rotação de pessoal 
3. Capacidade de obter uma amostra suficientemente grande para uma avaliação de impacto. Escala 
4. Apresentar alto grau de confiabilidade. Conhecimento e reputação local 
5. Capacidade para adaptar processos segundo os requerimentos de uma avaliação de impacto. Flexibilidade 
6. Apresentar interesse em conhecer a efetividade do seu programa. Desejo de conhecer a verdade 
7. Capacidade de implementar de maneira adequada ao planejado. Experiência 
C.2. Segundo o vídeo, quais são os princípios básicos do trabalho em colaboração com uma organização implementadora? Marque todas as respostas que julgar corretas.
A. Estabelecer com clareza as regras e responsabilidades. 
B. Colocar os objetivos da pesquisa à frente dos objetivos do implementador. 
C. Manter uma comunicação constante. 
D. Alinhar interesses e expectativas. 
D.1. A que etapa do levantamento de dados correspondem as seguintes atividades:
1. Avaliar os impactos finais do programa, atividade que deve ser realizada no tempo estimado do impacto do programa. Linha final 
2. Verificar se há equilíbrio entre o grupo de controle e o grupo de tratamento, bem como poder estatístico suficiente. Linha de base 
3. Fazer monitoramento por meio da avaliação de processos, ou medir se há impacto antes do fim do programa. Linha de acompanhamento 
D.2. De acordo com o vídeo, quando devemos realizar o levantamento de dados? Marque todas as respostas que julgar corretas.
A. Quando os impactos já estiverem refletidos na população. 
B. Quando os pesquisados se encontrarem disponíveis. 
C. Quando as condições logísticas forem apropriadas. 
D. Quando não houver distorções (como comemorações ou férias) que afetem as pessoas no momento da pesquisa. 
D.3. Considere as seguintes características positivas de entrevistadores: 
· Habilidades interpessoais 
· Flexibilidade 
· Empatia 
· Paciência 
· Experiência em levantamento de dados 
· Afinidade com o estudo e o contexto 
· Domínio de tecnologias de comunicação 
· Capacidade de reação 
 Verdadeiro ou falso: é necessário que um candidato tenha todas essas características para que seja um bom entrevistador.
Falso 
D.4. A capacitação das equipes de campo deve abordar conceitos teóricos e práticos. Das seguintes atividades, assinale quais são elementos teóricos:
A. Passos a seguir 
B. Jogo de papéis 
C. Aspectos éticos 
D. Simulação 
E. Plano de reação 
F. Protocolos 
As respostas corretas são A, C, E e F. De acordo com o vídeo, os elementos teóricos são Protocolos, Aspectos éticos, Passos a seguir e Plano de reação. Já os elementos práticos são Jogo de papéis e Simulação.
E.1. Identifique qual das seguintes alternativas corresponde a um custo direto de uma avaliação de impacto.
A. Serviços de terceiros 
B. Trabalho técnico e de campo 
C. Aluguel e gastos de escritório 
D. Serviços básicos (luz, água etc.) 
E.2. Agora identifique qual das seguintes alternativas corresponde a um custo indireto de uma avaliação de impacto.
A. Salários da equipe de pesquisa 
B. Seguros para as equipes de campo 
C. Custo de aluguel e manutenção de escritório 
D. Capacitação para a equipe de campo 
E. Transporte e alimentação para a equipe de campo 
F.1. Quais das vantagens listadas são relacionadas a um sistema de monitoramento? Marque todas as respostas que julgar corretas.
A. Entrega de informações a respeito dos dados para sua posterior interpretação. 
B. Em geral, diminuição direta dos custos do projeto. 
C. Detecção de falhas na implementação ou de ameaça à qualidade dos dados. 
F.2. Faça a correspondência entre os componentes do monitoramento e suas respectivas definições.
1. Revisão minuciosa do material recebido, para detectar erros de aplicação (como perguntas inteiras em branco, por exemplo). Análise 
2. Digitalização dupla de uma porcentagem das pesquisas, para certificar a ausência de erro. Digitalização 
3. Supervisão da pesquisa em campo, gravação de chamadas telefônicas para detectar erros, observação da aplicação de instrumentos de pesquisa. Monitoramento geral 
4. Ligação para confirmar dados com um entrevistado, o que permite detectar possíveis falsificações. Checagem (backchecking) 
G.1. Quais são os princípios do relatório de Belmont? Marque todas as respostas que julgar corretas.
A. Princípio do risco-benefício 
B. Princípio da eficiência 
C. Princípio do respeito às pessoas 
D. Princípio da justiça 
G.2. Quais das seguintes alternativas são boas práticas para a proteção dos dados? Marque todas as respostas que julgar corretas.
A. Eliminar as informações pessoais dos entrevistados, ou seja, tudo o que possa identificá-los após a consolidação dos dados. 
B. Criptografar os dados. 
C. Combinar a informação pessoal dos entrevistados às respostas à pesquisa. 
G.3. Verdadeiro ou falso: para reunir toda a informação necessária para a pesquisa, não se pode permitir que o entrevistado omita alguma resposta ou não responda parte de um questionário.
A. Falso 
G.4. Dentre as opções a seguir, assinale quais são informações que, se reveladas, podem identificar indivíduos com um alto nível de confiança (não considere combinações entre as opções).
A. Nome completo 
B. Gênero 
C. Telefone 
D. E-mail 
E. Nível de educação 
F. Ano de nascimento 
G.5. Por que pode ser desejável trabalhar com uma parceira externa para a implementação de uma avaliação? Marque todas as alternativas que julgar corretas.
A. Porque ela pode ter equipes de trabalho estáveis e preparadas. 
B. Porque ela pode ter cobertura e escala maiores. 
C. Porque ela pode ter experiência no tema. 
D. Porque ela pode ter uma ampla rede de contatos. 
Todas as alternativas podem ser razões para se trabalhar com uma parceira externa. No geral, empresas externas de boa qualidade podem ter maior experiência e capacidade de expandir o projeto do que a equipe de pesquisa poderia ter individualmente. Além disso, boas parceiras de implementação contam com equipes de trabalho estáveis e dedicadas ao tema de pesquisa. Finalmente, as redes de contato da boa parceira de implementação podem facilitarprocessos e/ou relações necessárias para a efetivação do projeto de pesquisa.
G.6. Verdadeiro ou falso: é recomendável acordar e assinar um documento entre o grupo de pesquisa e a empresa parceira externa para garantir a qualidade dos processos e que a avaliação seja desenvolvida conforme o planejado.
A. Verdadeiro 
Verdadeiro. Como discutido no vídeo, os documentos acordados e assinados entre o grupo de pesquisa e a parceira externa determinam os protocolos a serem seguidos pela parceira para garantir a qualidade dos processos e da implementação da avaliação.
Desafios Pós-Desenho de uma Avaliação Experimental
A.1. Os elementos de atrito amostral, externalidade, viés de seleção e respostas comportamentais a uma avaliação são:
A. Ameaças à validade interna e externa de uma avaliação. 
B. Ameaças à viabilidade da aleatorização em uma avaliação. 
C. Ameaças ao desenho da avaliação.  
D. Ameaças à proteção dos dados da avaliação. 
B.1. A que se refere o termo atrito?
A. Os indivíduos não respondem ao tratamento de maneira adequada. 
B. Os grupos de controle e tratamento não estão balanceados após a aleatorização. 
C. Não é possível conseguir dados de interesse dos indivíduos do grupo de controle. 
D. Não é possível conseguir dados de interesse dos indivíduos da amostra. 
E. Não é possível conseguir dados de interesse dos indivíduos do grupo de tratamento. 
B.2. Considerando as situações apresentadas antes e depois da intervenção, responda à pergunta. 
Verdadeiro ou falso: apesar da desistência de um dos alunos, o efeito do programa é positivo, e o atrito não foi um problema para fazer essa avaliação.
A. Falso 
C.1. Quais das alternativas abaixo são verdadeiras em relação ao atrito? Marque todas as alternativas que julgar corretas.
A. O atrito pode causar perda do poder estatístico da avaliação. 
B. As complicações são menores quando o atrito nos grupos de tratamento e controle acontece de maneira aleatória. 
C. As complicações são maiores quando os indivíduos que deixam o grupo de controle são diferentes dos indivíduos que deixam o grupo de tratamento. 
D. As complicações são menores quando os indivíduos que deixam o grupo de controle são diferentes dos indivíduos que deixam o grupo de tratamento. 
C.2. Complete corretamente o seguinte trecho:
"Se o atrito é ____________, só causa problemas de ____________, não de ____________".
A. desbalanceado / viés / poder estatístico 
B. balanceado / poder estatístico / viés 
C. balanceado / viés / poder estatístico 
C.3. Quais são as recomendações mencionadas no vídeo para tratar o problema do atrito na etapa de análise dos dados? Marque todas as alternativas que julgar corretas.
A. Eliminar indivíduos até que os grupos estejam equilibrados. 
B. Relatar os níveis de atrito em ambos os grupos. 
C. Ver se existem diferenças entre as características dos dois grupos. 
D. Buscar as pessoas que não haviam sido entrevistadas 
C.4. Determine se as estratégias a seguir são para prevenir ou para insistir após a ocorrência de atrito.
1. Oferecer incentivos para indivíduos participarem da avaliação: Prevenir 
2. Realizar piloto dos instrumentos de pesquisa da avaliação: Prevenir 
3. Tentar buscar todos os indivíduos envolvidos na avaliação: Insistir 
4. Usar várias estratégias de levantamento de dados: Prevenir 
5. Ser estratégico ao decidir o momento de levantar dados dos indivíduos envolvidos na avaliação: Prevenir 
6. Buscar uma amostra representativa dos indivíduos que evadiram: Insistir 
7. Fazer entrevistas mais curtas com os indivíduos da avaliação: Prevenir 
D.1. A que se refere o termo "externalidade"?
A. Não é possível encontrar todos os indivíduos que participam da avaliação. 
B. O grupo de tratamento não recebe o programa. 
C. O grupo de tratamento acaba influenciando o grupo de controle. 
D. O efeito do programa é muito pequeno para ser observado. 
D.2. Verdadeiro ou falso: apenas as externalidades negativas são um desafio à avaliação; as externalidades positivas não contaminam o grupo de controle.
A. Falso 
D.3. De acordo com as informações do vídeo, qual foi a externalidade no caso do programa de transferência de renda na Colômbia?
A. A renda recebida para as crianças selecionadas foi utilizada com as crianças não selecionadas. 
B. Os pais distribuíram equitativamente a transferência para as crianças selecionadas e não selecionadas. 
C. As meninas tinham maior probabilidade de não serem selecionadas para a transferência de renda. 
D. Os recursos das crianças não selecionadas foram realocados para as crianças selecionadas. 
D.4. De acordo com o vídeo, qual das seguintes alternativas é uma recomendação para minimizar as externalidades?
A. Impedir o contato entre os beneficiários. 
B. Aumentar o tamanho da amostra. 
C. Aleatorizar em um nível maior (por exemplo, em vez de famílias, aleatorizar bairros). 
D.5. Considere o seguinte caso: você realizou uma avaliação aleatorizada de uma intervenção cujo objetivo era diminuir a taxa de desemprego em determinada região. Para avaliar as externalidades do seu programa, você distribuiu os grupos de tratamento e de controle da seguinte maneira:
De quanto é a externalidade do programa (%)?
A externalidade do grupo de tratamento sobre o grupo de controle é a diferença entre a taxa de desemprego do grupo de controle puro e a taxa desse mesmo grupo a 50%. Dado que o grupo de controle tem uma taxa de desemprego de 9% e, a 50%, tem uma taxa de 8,5%, a externalidade do programa é de 8,5% - 9% = -0,5%.
D.6. Considere o programa do exercício anterior sobre a taxa de desemprego do grupo de controle. A externalidade é positiva ou negativa?
A. Positiva 
E.1. Aponte as soluções mencionadas no vídeo para tratar o problema de cumprimento imperfeito. Marque todas as alternativas que julgar corretas.
A. Monitorar se há cumprimento imperfeito durante a implementação. 
B. Eliminar os indivíduos que não cumprem o protocolo de aleatorização. 
C. Levar em conta o cumprimento imperfeito na fase de análise de dados, usando ITT e LATE. 
D. Comparar unicamente os indivíduos que cumprem o protocolo de aleatorização. 
E. Prevenir o cumprimento imperfeito no desenho ou na implementação da aleatorização. 
E.2. Considere o seguinte caso: um programa educativo em escolas urbanas possibilita o uso de uma plataforma online. As crianças selecionadas foram convidadas a se registrar na plataforma, mas uma em cada três crianças não se inscreveram.
Se o implementador da política avalia todas as crianças que que foram convidadas a se registrar na plataforma, estamos buscando:
A. ITT (Intenção de Tratar). 
B. Efeito Médio de Tratamento (EMT/LATE). 
E.3. Considere o seguinte caso: um programa educativo em escolas urbanas possibilita o uso de uma plataforma online. As crianças selecionadas foram convidadas a se registrar na plataforma, mas uma em cada três crianças não se inscreveram.
Se o implementador da política avalia todas as crianças que foram convidadas e se inscreveram na plataforma, estamos buscando:
A. ITT (Intenção de Tratar) 
B. Efeito Médio de Tratamento (EMT/LATE) 
F.1. Determine quais dos seguintes efeitos podem ocorrer sobre o grupo de tratamento. Marque todas as alternativas que julgar corretas.
A. Efeito antecipação. 
B. Efeito demanda. 
C. Efeito de entrevista. 
D. Efeito John Henry. 
E. Ressentimento e baixa de moral. 
F. Efeito Hawthorne. 
F.2. Quais são as ameaças relacionadas às mudanças de comportamento provocadas pela avaliação? Marque todas as alternativas que julgar corretas.
A. Dificuldade em generalizar os resultados encontrados (ameaça à validade externa). 
B. Aumento do atrito da amostra. 
C. Viés na estimativa do impacto. 
D. Aumento do cumprimento imperfeito. 
Estudo de Caso - Módulo 8
EC.1. O que significa dizer que os grupos de tratamento e controle são equivalentes ao começar o programa?
A. Que cada indivíduo de um grupo tem um par idêntico no outro grupo. 
B. Que, ainda que possam ser diferentes em outras variáveis, os dois grupos são comparáveis em características que podemos observar. 
C.Que os grupos são compostos por indivíduos que, em média, têm características similares (tanto observáveis como não observáveis). 
EC.2. Como podemos comprovar que os grupos de controle e tratamento são em média equivalentes antes do programa?
A. Comparando a média das variáveis observáveis nos dois grupos durante a implementação do programa. 
B. Comparando a média das variáveis observáveis nos dois grupos durante a linha de base. 
C. Por meio de um grupo focal com indivíduos pré-selecionados dos grupos de tratamento e controle. 
EC.3. O que poderia acontecer durante uma avaliação que poderia tornar a análise de dados mais difícil?
A. As pessoas decidirem que não querem mais participar da avaliação. 
B. As pessoas do grupo de controle obterem o tratamento estudado. 
C. Os participantes da avaliação se mudarem de região ou morrerem
EC.4. Após as cisternas serem construídas, os pesquisadores conduziram duas rodadas de entrevistas com os participantes da avaliação. A primeira aconteceu em outubro de 2012, logo após as eleições municipais, e a segunda aconteceu um ano depois. 
Suponha que, durante as rodadas de entrevistas com os participantes da avaliação, os pesquisadores tenham notado que parte das famílias se mudou das localidades e, portanto, desistiu de participar da avaliação. Como esse problema é denominado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
EC.5. Por que o abandono, por parte de parcela da amostra, é uma ameaça à avaliação e pode dificultar a medição do impacto do programa?
A. Porque a redução da amostra pode diminuir o poder estatístico da avaliação. 
B. Porque as unidades que “desaparecem” do grupo de controle podem ser diferentes das que “desaparecem” do grupo de tratamento, fazendo com que os grupos deixem de ser similares. 
C. Porque a avaliação pode ser cancelada devido ao baixo número de famílias que aderem ao programa. 
EC.6. Como é denominado o desafio de implementação em que o protocolo de aleatorização não ocorre como inicialmente planejado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
EC.7. Como devemos proceder caso haja desrespeito à aleatorização durante a implementação da avaliação?
A. Trocar os indivíduos de grupo, usando o critério de recebimento ou não das cisternas (todos os que receberam cisternas ficam no grupo de tratamento, enquanto todos os que não receberam ficam no grupo de controle). 
B. Excluir da amostra os indivíduos que não cumpriram o protocolo de aleatorização determinado antes da avaliação. 
C. Prosseguir a análise como originalmente planejada. 
D. Empregar na análise de dados métodos que levam em conta o cumprimento imperfeito. 
EC.8. Na avaliação, os pesquisadores levaram em conta o cumprimento imperfeito e analisaram os resultados levando em conta a Intenção de Tratar (ITT). A análise comparou aqueles que foram originalmente sorteados para o grupo de tratamento aos indivíduos que eram originalmente parte do grupo de controle.
Um outro potencial desafio de implementação de uma avaliação aleatorizada é a contaminação (positiva ou negativa) do grupo de controle pelo grupo de tratamento. No caso do programa Cisternas, uma possível contaminação seria que famílias do grupo de tratamento permitissem que famílias do grupo de controle também usassem a cisterna construída em suas casas para obter água potável.
Como é denominado o desafio de implementação em que o grupo de controle é contaminado pelo grupo de tratamento?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
EC.9. Como os pesquisadores poderiam evitar ou mitigar os efeitos da contaminação entre grupo de controle e grupo de tratamento? Marque todas as alternativas que julgar corretas.
A. Em áreas onde há contato próximo entre unidades dos grupos de controle e tratamento, fazer a aleatorização em um nível maior (em vez de aleatorizar famílias, aleatorizar, por exemplo,  bairros ou cidades). 
B. Impedir que indivíduos dos dois grupos tenham qualquer contato durante todo o período da avaliação. 
C. Medir o efeito da externalidade e levá-lo em conta no momento da análise dos dados. 
EC.10. Como vimos nas perguntas anteriores, a avaliação teve cumprimento imperfeito. Em outras palavras, o protocolo de aleatorização não foi totalmente respeitado, o que levou lares do grupo de controle a receberem cisternas, e famílias do grupo de tratamento a não receberem o recurso.  Nesse caso, é possível que o resultado dos efeitos do programa Cisternas sobre o clientelismo tenha sido:
A. Subestimado, pois o efeito da oferta de cisternas na redução do clientelismo seria ainda maior se a aleatorização tivesse sido respeitada. 
B. Superestimado, pois o efeito da construção de cisternas na redução do clientelismo seria menor se a aleatorização tivesse sido respeitada. 
C. O cumprimento imperfeito não afeta os resultados da avaliação. 
Uso de Evidências para Informar Políticas
Semana 5
A.1. De acordo com o vídeo, que tipos de decisões podem ser tomadas com base em evidência? Marque todas as respostas que julgar corretas.
A. Expandir ou não um programa. 
B. Interromper ou não um programa. 
C. Escolher entre diferentes desenhos do programa. 
D. Redesenhar um programa. 
A.2. Qual é a diferença entre o uso direto e o uso indireto de evidências?
A. Se a evidência a partir da qual se tomou decisões provém do mesmo programa, o uso é direto. Por outro lado, se a informação provém de outro programa ou contexto, o uso da evidência é indireto. 
B. Se a evidência é usada diretamente depois do estudo é uso direto. Por outro lado, se mais de um ano se passa entre a finalização do estudo e seu uso, o uso da evidência é indireto. 
C. Se a evidência é usada pelo próprio avaliador do programa, o uso é direto. Se outras pessoas, por outro lado, a utilizam, o uso é indireto. 
A.3.a Para as diferentes etapas do ciclo de aprendizado, selecione o tipo de avaliação correspondente.
1. Diagnóstico: Avaliação de necessidades 
Como vimos no módulo 1 do curso, programas e políticas são criados para atacar problemas específicos. A avaliação de necessidades identifica a natureza e o escopo de um problema social, definindo a abordagem necessária para atacar este problema.
2. Desenho e Avaliação: Avaliação de impacto 
Com base no diagnóstico e na revisão de literatura, desenhamos um piloto do programa. Como se explica no vídeo, se não estamos convencidos da efetividade que o programa terá (porque não existe muita evidência em contextos similares ao nosso, por exemplo), é aconselhável fazer uma avaliação de impacto.
3. Implementação: Avaliação de processos 
É sempre aconselhável fazer uma avaliação de processos, ou seja, uma avaliação da implementação do programa. Isso nos permite identificar (e depois resolver) possíveis problemas de implementação. Além do mais, se fizermos uma avaliação de impacto e a conclusão for a de que o programa não atingiu os resultados esperados, uma avaliação de processos pode nos dizer se isso se deveu a uma falha na implementação ou na teoria.
A.3.b. No ciclo de aprendizagem, são contemplados os usos direto e indireto da evidência. Selecione o tipo de evidência correspondente às diferentes etapas do ciclo de aprendizagem.
1. Revisão de Literatura: Uso Indireto 
A revisão de literatura consiste em revisar o que tem funcionado (ou não) em outros contextos: revisamos avaliações de outros programas e aprendemos as condições que se aplicam ao nosso contexto para desenhar a intervenção.
2. Expansão, Redesenho ou Encerramento de um Programa: Uso Direto 
Essas decisões são tomadas com base na análise de resultados da avaliação de impacto e de processos do próprio programa. São, portanto, exemplos de uso direto da evidência.
B.1. A que se refere o termo "transferência de renda condicionada", exposto no vídeo?
A. A conceder transferência de renda a famílias de baixa renda que não têm renda mensal. 
B. A conceder crédito a famílias de baixa renda a uma baixa taxa de juros. 
C. A conceder bens de consumo e alimentosa famílias de baixa renda. 
D. A conceder transferência monetária sob a condição de que famílias cumpram com requisitos estabelecidos. 
B.2. Verdadeiro ou falso: a avaliação do programa de transferência de renda condicionada na Colômbia mostrou que é preciso aumentar o orçamento das transferências condicionadas para aumentar a participação escolar.
A. Falso 
C.1. Verdadeiro ou falso: não importa quanta evidência exista, sempre haverá incerteza sobre o sucesso de uma política quando aplicada em outro contexto.
A. Verdadeiro 
C.2. Que perguntas devemos fazer a partir da Teoria da Mudança para saber se a evidência de um determinado programa pode ser útil para o desenho do nosso programa, que será implementado em um contexto diferente? Marque todas as alternativas que julgar corretas.
A. Os mecanismos por meio dos quais os programas funcionam são os mesmos? 
B. Quão similares são os programas? 
C. Os dois programas tentam solucionar o mesmo problema? 
D. As populações alvo e as condições locais dos dois programas são comparáveis? 
D.1. Quais foram as duas políticas implementadas para reduzir a pesca ilegal de merluza no Chile? Marque todas as alternativas que julgar corretas.
A. Fiscalização dos vendedores durante o período de proibição. 
B. Aumento do imposto à venda de merluza. 
C. Delimitação de áreas de proteção para a merluza. 
D. Advertência aos consumidores sobre a necessidade de redução da demanda por merluza capturada ilegalmente. 
D.2. Quais foram os resultados das duas intervenções? Marque todas as alternativas que julgar corretas.
A. A fiscalização diminuiu MAIS a venda ilegal de merluza que a campanha informativa. 
B. A fiscalização diminuiu MENOS a venda ilegal de merluza que a campanha informativa. 
C. Salvar uma merluza com a fiscalização foi MAIS caro que com a campanha informativa. 
D. Salvar uma merluza com a fiscalização foi MENOS caro que com a campanha informativa. 
D.3. Segundo o vídeo, quais são as condições necessárias para replicar a campanha de informação para outras espécies? Marque todas as alternativas que julgar corretas.
A. Que a proibição da venda da espécie que se deseja proteger seja limitada a um período do ano. 
B. Que os consumidores sejam capazes de reconhecer a espécie que se deseja proteger. 
C. Que as zonas pesqueiras da espécie que se deseja proteger sejam as mesmas zonas pesqueiras de merluza. 
E.1. De acordo com o vídeo, quais são os problemas que motivaram o desenho da política educativa no Peru? Marque todas as alternativas que julgar corretas.
A. Os estudantes das escolas rurais do Peru têm pior desempenho escolar em relação aos demais. 
B. A educação no Peru se encontra atrasada em relação a outros países. 
C. As escolas nas zonas rurais costumam ter classes heterogêneas, com alunos de diversos níveis de conhecimento e aprendizagem na mesma sala de aula. 
D. As escolas nas zonas rurais costumam ter classes com alunos de diversas idades na mesma sala de aula. 
E.2. Dados os desafios, qual foi a nova política implantada no Peru? Marque todas as alternativas que julgar corretas.
A. Os alunos foram reagrupados de acordo com seu nível de aprendizagem. 
B. As crianças que viviam longe da escola tiveram uma mudança no horário escolar. 
C. O programa reservou um tempo para aulas de desenvolvimento de habilidades básicas entre as crianças com menor desempenho. 
D. Professores com baixo desempenho tiveram uma capacitação extra. 
F.1. Considere o programa de vacinação na Índia. Segundo o vídeo, que característica a intervenção 2 teria de diferente da intervenção 1?
A. Na intervenção 2, havia sempre uma enfermeira nos acampamentos de vacinação. 
B. Na intervenção 2, os pais eram pagos para vacinar seus filhos. 
C. Na intervenção 2, o preço das vacinas era menor. 
D. Na intervenção 2, os pais recebiam um quilo de lentilhas por vacinação. 
F.2. Suponha que o governo de Serra Leoa queira replicar o programa indiano de vacinação. Neste contexto, por que é relevante o dado de que, em Serra Leoa, 84% das crianças recebem pelo menos a primeira vacina (DPT1)?
A. O dado sugere que uma maioria considerável da população se opõe à vacinação por razões culturais. 
B. O dado garante que o programa implantado na Índia também será efetivo em Serra Leoa. 
C. O dado sugere que o programa não é necessário, dado que a porcentagem no país supera o mínimo recomendado pela OMS. 
D. O dado sugere que as baixas taxas de vacinação completa em Serra Leoa não se devem à oposição dos pais à vacinação por razões culturais. 
F.3. De acordo com o vídeo, quais são alguns dos componentes teóricos do programa de incentivo à vacinação?
A. A procrastinação é ligada ao maior valor atribuído às ações presentes. 
B. A única diferença entre o grupo de controle e o de tratamento é o programa. 
C. Pequenos incentivos podem ter grandes impactos no comportamento. 
D. Aumentos na demanda estão acompanhados por aumentos no preço de bens e serviços. 
G.1. De acordo com o conteúdo deste módulo, que tipos de decisões podem ser tomadas com base em evidências? Marque todas as alternativas que julgar corretas.
A. Determinar a expansão ou não de um programa.  (Correto)
B. Continuar ou terminar um programa. (Correto)
C. Escolher entre diferentes alternativas de programa. (Correto)
D. Criar modificações do programa. (Correto)
EC1.b. Verdadeiro ou falso: em geral, resultados intermediários não são o foco de interesse de avaliações de impacto.
Falso 
A alternativa correta é a B. Como exposto nos vídeos do módulo 3, resultados intermediários medem mudanças em atitudes, comportamentos, conhecimentos e capacidades. Essas mudanças são em geral focos de interesse das avaliações de impacto.
EC.2. Quais são as semelhanças e diferenças entre esse estudo e o programa Sucesso na Escola? Quais elementos desse estudo são relevantes e podem ser aplicados ao programa francês?
Depois de escrever sua resposta, você deverá compará-la com o que se espera, para avaliar seu trabalho. Você deverá avaliar se sua resposta condiz com a pergunta e engloba os temas principais, mas não pela organização e estilo de texto. Sua resposta deve ser breve e concisa. Faça seu melhor e avalie seu trabalho de forma honesta e precisa.
Implementação da Crítica
Abaixo você deverá assinalar, de maneira acumulativa, quais são os aspectos que constam na sua resposta. Assim, as alternativas não são excludentes: todas aquelas às quais sua resposta tiver correspondido devem ser sinalizadas. 
Se nenhum dos aspectos abaixo foi citado na sua resposta, clique em enviar sem marcar qualquer alternativa. 
 É mencionado que os dois programas são de mentoria
 É mencionado que os programas têm públicos alvos distintos para oferecer a mentoria: o programa Sucesso na Escola tem adolescentes do primeiro ano do liceu como mentorados; o programa Big Brothers, Big Sisters tem crianças de 6 a 8 anos como alvo
 É mencionado que as reuniões entre mentores e mentorados têm objetivos diferentes: no programa Sucesso na Escola, o objetivo é orientação vocacional; no programa Big Brothers, Big Sisters, são desenvolvidas atividades lúdicas e tutoria escolar
EC.3. Que tipo de falha do programa os resultados mostram?
A. Falha de teoria. 
B. Falha de implementação. 
C. Falha de delimitação do problema. 
D. Falha de custo-efetividade. 
EC.4. Quais resultados do estudo 3 são relevantes para o programa Sucesso na Escola? Marque todas as respostas que julgar corretas.
A. A avaliação expõe os mecanismos por meio dos quais a mentoria tem efeitos positivos. 
B. Os resultados questionam a capacidade dos mentores de transmitirem a informação adequada aos mentorados. 
C. Com base nos índices de rejeição ao programa, é importante considerar o grau de aceitação que a mentoria tem entre os jovens. 
D. Os resultados indicam o número de reuniões semanais necessárias para que o aluno construa um projeto para sua vida profissional. 
EC.5. Quais são as semelhanças e diferenças entre este estudo e o programa Sucesso na Escola? Quais elementos deste estudo são relevantes e podem ser aplicadosao programa Sucesso na Escola?
Depois de escrever sua resposta, você deverá compará-la com o que se espera, para avaliar seu trabalho. Você deverá avaliar se sua resposta condiz com a pergunta e engloba os temas principais, mas não pela organização e estilo de texto. Sua resposta deve ser breve e concisa. Faça seu melhor e avalie seu trabalho de forma honesta e precisa.EC.5. Quais são as semelhanças e diferenças entre este estudo e o programa Sucesso na Escola? Quais elementos deste estudo são relevantes e podem ser aplicados ao programa Sucesso na Escola?
Depois de escrever sua resposta, você deverá compará-la com o que se espera, para avaliar seu trabalho. Você deverá avaliar se sua resposta condiz com a pergunta e engloba os temas principais, mas não pela organização e estilo de texto. Sua resposta deve ser breve e concisa. Faça seu melhor e avalie seu trabalho de forma honesta e precisa.EC.5. Quais são as semelhanças e diferenças entre este estudo e o programa Sucesso na Escola? Quais elementos deste estudo são relevantes e podem ser aplicados ao programa Sucesso na Escola?
Depois de escrever sua resposta, você deverá compará-la com o que se espera, para avaliar seu trabalho. Você deverá avaliar se sua resposta condiz com a pergunta e engloba os temas principais, mas não pela organização e estilo de texto. Sua resposta deve ser breve e concisa. Faça seu melhor e avalie seu trabalho de forma honesta e precisa.EC.5. Quais são as semelhanças e diferenças entre este estudo e o programa Sucesso na Escola? Quais elementos deste estudo são relevantes e podem ser aplicados ao programa Sucesso na Escola?
Depois de escrever sua resposta, você deverá compará-la com o que se espera, para avaliar seu trabalho. Você deverá avaliar se sua resposta condiz com a pergunta e engloba os temas principais, mas não pela organização e estilo de texto. Sua resposta deve ser breve e concisa. Faça seu melhor e avalie seu trabalho de forma honesta e precisa.Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
EC.6. Verdadeiro ou falso: este estudo mostrou que a terapia e o reforço escolar intensivo e personalizado do programa têm efeitos significativos no rendimento escolar dos jovens. Portanto, o mais provável é que esses resultados se repitam no programa Sucesso na Escola.
A. Falso 
EC.7. Quais são algumas das diferenças entre os programas Portfólio dos Pais e Sucesso na Escola? Marque todas as respostas que julgar corretas.
A. A população alvo dos dois programas é distinta. 
B. Os dois programas oferecem reuniões de orientação acadêmica, mas não são as mesmas pessoas que vão a essas reuniões. 
C. O número de reuniões é muito diferente. Sucesso na Escola tem mais reuniões que Portfólio dos Pais. 
D. O objetivo dos programas é diferente. Em Portfólio dos Pais, a meta é ajudar a tomar decisões ótimas sobre o futuro escolar, enquanto Sucesso na Escola pretende criar laços de amizade entre mentores e mentorados. 
A.1. De acordo com o vídeo, por que é importante avaliar políticas de combate à corrupção em governos locais? Marque todas as respostas que julgar corretas.
A. Porque parte dos recursos arrecadados pelo governo federal é repassada às gestões locais. 
B. Porque uma proporção significativa dos recursos desaparece por conta da corrupção. 
C. Porque a corrupção afeta a qualidade dos serviços públicos. 
D. Porque a corrupção afeta o processo de desenvolvimento local. 
Todas as alternativas estão corretas e expressam razões da importância de se avaliarem políticas de combate à corrupção em governos locais.
A.2. Qual é a alternativa correta sobre as três formas de se combater a corrupção apresentadas no vídeo?
A. A forma "de cima para baixo" envolve atores com maior poder de decisão, como Tribunais de Contas e CGU. 
B. A forma "de baixo para cima" envolve a sociedade civil, seja organizada em conselhos, seja disseminando informação para o restante da sociedade. 
C. A política alternativa combina importantes características das duas formas acima para otimizá-las e obter melhores resultados. 
Todas as alternativas estão corretas. Como é mostrado no vídeo, a política alternativa é uma combinação entre a política de cima para baixo, promovida por órgãos de governo ligados à ação de Controle, e a de baixo para cima, promovida pela sociedade civil (de maneira organizada ou não). A política alternativa abrange aspectos de ambas com o objetivo de maximizar os seus efeitos na redução das taxas de corrupção.
A.3. Quais das perguntas abaixo poderiam ser uma questão de avaliação de impacto? Marque todas as respostas que julgar corretas.
A. Os beneficiários consideraram a intervenção importante para o aumento de sua renda? 
B. A intervenção gerou aumento da renda dos beneficiários? 
C. A intervenção planejada é de fato necessária? 
D. O governo implementou a política que havia prometido? 
E. O programa implementado pelo governo provocou as mudanças esperadas? 
F. Poderíamos esperar que a intervenção pensada funcionará para o que se deseja transformar? 
As alternativas corretas são B e E, que correspondem a perguntas que procuram saber se a intervenção causou determinados efeitos. A alternativa A se refere a uma avaliação de percepção dos beneficiários sobre a política. A alternativa C se refere a uma avaliação de necessidades. A alternativa D se refere a uma avaliação de processos. Por fim, a alternativa F se refere a uma avaliação teórica
B1.b. Verdadeiro ou falso: a única maneira correta de se construir a cadeira causal é do final para o início (começando por resultados finais e terminando com atividades).
Falso 
B.2. Segundo a Teoria da Mudança apresentada no vídeo, quais das opções a seguir são consideradas resultados intermediários da avaliação? Marque todas as respostas que julgar corretas.
A. Menores taxas de corrupção. 
B. Eleitores obtêm informação de auditorias sobre corrupção. 
C. Aumentam processos contra políticos. 
D. Informações de auditorias disponibilizadas para a população. 
E. Prefeitos são vistos como políticos corruptos. 
F. Penalização de corruptos nas urnas. 
As respostas corretas são as alternativas B, C, E e F. Segundo o esquema apresentado no vídeo demonstrando a Teoria da Mudança para esta avaliação, apenas essas opções são consideradas resultados intermediários. A alternativa A é um resultado final e a alternativa D é um produto.
B.3. Quais das alternativas abaixo são premissas da pesquisa? Marque todas as respostas que julgar corretas.
1. O estímulo à divulgação das auditorias poderia levar à falta de discernimento acerca de quais irregularidades resultam de inabilidade e quais de corrupção. 
2. Eleições servem como um momento de premiação e são efetivas; votos produzem mudanças. 
3. Eleitores acreditam nas auditorias, entendem a informação, e mudam suas atitudes. 
4. Mídia local se dedica a difundir informação sobre auditorias, e eleitores têm acesso a ela. 
5. A expectativa do sorteio condiciona os gestores locais a dedicarem muito tempo a prestações de contas e menos à execução das políticas. 
As alternativas corretas são B, C e D. Premissas são condições externas necessárias que devem ser cumpridas para que a cadeia causal estabelecida na Teoria da Mudança seja válida, e as alternativas B, C e D correspondem a essas condições. Já as alternativas A e E são potenciais riscos, isto é, efeitos negativos não esperados que poderiam ser gerados pelo programa.
C.1. Durante o processo de seleção amostral da avaliação, havia relatórios para 669 municípios selecionados aleatoriamente nos primeiros 13 sorteios, mas somente 373 municípios foram selecionados para a avaliação. Qual é a explicação apresentada pelo professor para a exclusão desses outros municípios da amostra?
A. Não havia orçamento suficiente para monitorar 669 municípios, então foi feita uma segunda loteria para selecionar os municípios que caberiamno orçamento. 
B. A equipe de pesquisa decidiu que, com 373 municípios, já se teria um poder estatístico suficientemente alto. 
C. Havia uma restrição na premissa para essa avaliação: seriam elegíveis apenas os municípios em que poderia acontecer uma reeleição. Caso contrário, eles seriam excluídos. 
D. Municípios alegaram que não foram notificados do risco-benefício da pesquisa e foram, a pedido, excluídos da amostra em respeito aos princípios éticos do relatório de Belmont. 
A resposta correta é a alternativa C. A explicação apresentada pelo professor é que havia na premissa da avaliação a condição de que seriam selecionados apenas os municípios nos quais poderia haver uma reeleição. Caso os prefeitos não pudessem ser candidatos à reeleição, seus respectivos municípios seriam excluídos da análise.
C.2. Quais das afirmações sobre desenhos de aleatorização estão corretas? Marque todas as respostas que julgar corretas.
A. O desenho de loteria básica pode ser adequado quando o programa não pode ser oferecido ao mesmo tempo a toda a população de potenciais beneficiários. 
B. O desenho por etapas permite que o grupo de controle, escolhido devido a suas características, seja contemplado em um momento posterior do programa. 
C. Os diferentes desenhos de aleatorização não são excludentes. 
D. O desenho de múltiplos tratamentos permite aferir o modelo de intervenção mais efetivo para se resolver um determinado problema/necessidade . 
As alternativas corretas são A, C e D. A alternativa B não está correta porque afirma que o grupo de controle é definido por meio de critérios específicos, e não de maneira aleatória.
C.3. Qual foi o grupo de controle na avaliação do programa de auditorias da CGU?
A. Municípios que tiveram auditoria divulgada antes das eleições. 
B. Municípios que tiveram auditoria divulgada depois das eleições. 
C. Municípios elegíveis que não tiveram prefeitos candidatos à reeleição. 
D. Municípios grandes que não participaram do programa de auditorias da CGU. 
A alternativa correta é a B. Como tratou o professor no vídeo, o grupo de controle foi formado por municípios que fizeram parte do programa da CGU e tiveram as auditorias divulgadas depois das eleições. A alternativa A descreve o grupo de tratamento, formado por municípios que tiveram auditoria divulgada antes das eleições. Os municípios elegíveis que não tinham prefeitos candidatos à reeleição (alternativa C) foram excluídos da avaliação. Já os municípios grandes (alternativa D) não fizeram parte do programa da CGU e, portanto, da avaliação.
D.1. Assinale a alternativa correta no que diz respeito a coleta de dados e medição.
A. É importante conhecer as bases de dados existentes a respeito do tema que se estuda antes de iniciar uma avaliação de impacto. 
B. Avaliações que usam dados administrativos (que sempre são integralmente disponibilizados na internet) tendem a ser mais baratas do que as que envolvem coleta de dados. 
C. No Brasil, é sempre melhor coletar dados primários para uma avaliação, pois o país não possui boa disponibilidade de dados administrativos. 
A alternativa correta é a A. A alternativa B está incorreta porque, apesar de avaliações que usam dados administrativos tenderem a ser mais baratas, esses dados nem sempre são disponibilizados pelos órgãos responsáveis (seja porque há dados que são confidenciais porque permitem a identificação dos cidadãos beneficiários, seja por falta de transparência de órgãos públicos). A alternativa C está incorreta porque o Brasil possui boa disponibilidade de dados administrativos, como apontado pelo professor no vídeo.
D.2. Verdadeiro ou falso: a avaliação do programa da CGU usou dados primários coletados em todos os municípios que fizeram parte do programa.
Falso 
D.3. De acordo com o vídeo, quais indicadores os pesquisadores desenvolveram para a avaliação? Marque todas as respostas que julgar corretas.
A. Grau de corrupção identificado. 
B. Performance eleitoral. 
C. Índice municipal de transparência. 
D. Perfil dos candidatos. 
As alternativas corretas são A, B e D. Segundo mencionado no vídeo, os pesquisadores desenvolveram indicadores relativos a grau de corrupção identificado, performance eleitoral e perfil dos candidatos. O professor não menciona indicador relativo a transparência (alternativa C).
E.1. Qual das alternativas a seguir expressa conclusões da avaliação de impacto do programa de auditorias?
A. A divulgação das auditorias não afetou a reeleição de prefeitos acusados de corrupção. 
B. Eleitores perdoaram os políticos que assumiram publicamente seus erros nas rádios locais. 
C. A existência de estação de rádio local potencializou os efeitos das auditorias. 
A alternativa correta é a C. Em cidades com rádios locais os prefeitos acusados de corrupção foram menos reeleitos, e políticos identificados como honestos foram premiados. A alternativa A está incorreta porque a divulgação de auditorias reduziu a probabilidade de reeleição de candidatos. A alternativa B não é correta porque a avaliação não analisou respostas dos prefeitos às auditorias.
E.2. Verdadeiro ou falso: os resultados da avaliação mostram que eleitores não mudam seu voto mesmo quando têm maior acesso à informação.
A. Falso 
E.3. Quais das alternativas mostram como a avaliação de impacto do programa de auditorias pode contribuir para uma melhora da governança? Marque todas as respostas que julgar corretas.
A. Os resultados apontam para diretrizes daquilo que funciona, podendo influenciar o governo e a sociedade civil. 
B. Os resultados contribuem para descrever o comportamento do eleitor diante do recebimento de informações sobre candidatos. 
C. Os resultados alteram automaticamente políticas públicas de combate à corrupção. 
D. Os resultados contribuem para a literatura do tema de estratégias de combate à corrupção. 
As alternativas corretas são A, B e D. As evidências geradas pela avaliação podem ser usadas para analisar a efetividade da política pública de divulgação de auditorias (alternativa A) e para entender como o eleitor se comporta quando recebe informações sobre os candidatos (alternativa B). Também contribuem para a literatura sobre estratégias de combate à corrupção (alternativa D). As evidências, contudo, não conseguem alterar automaticamente políticas públicas, mas dependem da iniciativa de gestores públicos em conhecê-las e usá-las para formular e implementar políticas públicas mais efetivas (portanto, a alternativa C está incorreta).
Avaliação do Princípio ao Fim B (Bônus)
A.1. Segundo o professor, quais são os motivos para se realizar uma avaliação de impacto sobre o comportamento de estudantes na adolescência? Marque todas as respostas que julgar corretas.
A. As decisões tomadas na adolescência podem ter significativa influência no futuro profissional e acadêmico de alunos. 
B. A adolescência é um período de especial vulnerabilidade, em que alunos podem ser sensíveis a diversos fatores que precisam ser melhor conhecidos no processo de tomada de decisão. 
C. Conhecer os mecanismos decisórios de jovens de maior vulnerabilidade é especialmente interessante. 
D. Já existe evidência rigorosa que aponta qual o comportamento dos estudantes na adolescência, e esta evidência deve ser confirmada ou rejeitada nesta avaliação. 
A.2. Verdadeiro ou falso: o experimento em campo foi feito para corrigir as falhas de desenho da avaliação de ranqueamento de notas dos cursos de reforço, com o objetivo de isolar o teste de pressão dos pares e aprofundar o conhecimento sobre quão generalizáveis são os seus resultados.
A. Verdadeiro 
O experimento ________ permitiu conhecer o impacto da divulgação entre os _______ do ranking de nota dos alunos. Já o experimento _______ permitiu calcular o impacto de os alunos terem seu interesse no exame de vestibular revelado entre os _______.
A. natural; pais; em campo; pais 
B. em campo; pais; natural; pais 
C. natural; professores; em campo; professores 
D. em campo; professores; natural; professores 
E. natural; pares; em campo; pares 
F. em campo;pares; natural; pares 
B.1. Complete a frase:
No experimento natural, foi feita a avaliação do impacto da divulgação do ranking do programa de reforço escolar. Verificou-se que os alunos com performance inicial ______ tiveram o impacto _______ mais perceptível.
A. pior; positivo 
B. melhor; negativo 
C. média; negativo 
D. melhor, positivo 
B.2. No experimento em campo, foi explorado em que medida variou o comportamento dos alunos em relação à oportunidade de estudar para o SAT, conforme sua escolha fosse ou não revelada aos colegas. Por que os pesquisadores optaram por pesquisar alunos que frequentavam, concomitantemente, aulas de nível padrão e avançado?
A. Estes foram os alunos que se prontificaram a participar da pesquisa, respondendo a questões relativas à importância que atribuem à popularidade 
B. Era preciso isolar o efeito da pressão social, permitindo conhecer como essa decisão é tomada em ambientes em que a pressão dos pares pode operar em sentidos distintos 
C. Quando o ranking aparecia no site de reforço de matemática, haveria diferenças no comportamento dos alunos, conforme o desempenho médio de sua sala 
C.1. Que fatores contribuem para o bom andamento da implementação de uma pesquisa? Marque todas as respostas que julgar corretas.
A. Ter uma relação distante e formal com o órgão implementador. 
B. Usar questionários que levem os participantes a pensar em respostas socialmente desejáveis, de acordo com aquilo que se pergunte. 
C. Aproveitar a oportunidade de experimentos naturais para desenhar a avaliação, quando viável. 
D. Conhecer dados administrativos que possam ser usados para a avaliação, o que pode reduzir custos. 
C.2. Complete as seguintes afirmações:
A validade ________ indica o grau de generalização dos resultados da pesquisa. No caso do experimento em campo, embora o recorte seja específico (escolas mais pobres de Los Angeles), os resultados da avaliação podem interessar a formuladores de políticas públicas de regiões de baixa renda em outros contextos.
A validade _______ indica a capacidade da avaliação de provar a relação de causalidade entre a intervenção e o impacto medido na variável de interesse. No caso do experimento em campo, ela é assegurada quando a pesquisa segue adequadamente os procedimentos de aleatorização.
A. interna; externa 
B. externa; interna 
C. da intervenção; da pesquisa 
D. da intervenção; da política 
D.1. De maneira geral, o que a conclusão dos experimentos natural e em campo apresentados pelo professor indica? Marque todas as alternativas que julgar corretas.
A. A pressão dos pares tem efeitos sobre alunos de desempenho padrão quando estes temem que seus pares conheçam seu interesse por um curso pré-vestibular, o que faz com que adiram menos ao curso. 
B. A pressão dos pares tem efeitos sobre alunos de melhor desempenho quando estes temem que seus pares conheçam sua posição num ranking geral, o que faz com que busquem ter discrição junto aos colegas. 
C. A pressão por pares não afeta a decisão de adolescentes com desempenho mais alto, possivelmente porque estes saibam que sua decisão será a melhor para seu futuro e não estejam dispostos a abrir mão dela. 
Avaliação do Princípio ao Fim C (Bônus)
A.1. Complete a frase:
A inserção financeira da população brasileira de 2006 a 2011 foi _______ , mas os mecanismos por trás da tomada de decisões sobre finanças ainda são ________.
A. decrescente; pouco conhecidos 
B. estável; muito conhecidos 
C. crescente; pouco conhecidos 
D. estável; muito conhecidos 
A.2. Complete a frase:
A teoria econômica apresenta dois conceitos para determinar escolhas financeiras: _______ , que advém da observação de pessoas no seu ciclo social em uma busca por orientação, e ________ , que se refere à compreensão de ser benéfico compartilhar os mesmos ativos que outros membros do círculo social.
A. aprendizado financeiro; utilidade financeira 
B. utilidade financeira; aprendizado financeiro 
C. utilidade social; aprendizado social 
D. aprendizado social; utilidade social 
A.3. Avaliações de impacto de programas e políticas sociais têm como motivações a geração de conhecimento e a orientação na tomada de decisão de formuladores de políticas públicas. Como o conhecimento de uma avaliação de impacto pode ser útil para políticas públicas? Marque todas as respostas que julgar corretas.
A. A avaliação de impacto pode mostrar os efeitos causais de uma intervenção. 
B. A avaliação de impacto pode produzir conhecimento sobre mecanismos por trás de escolhas dos beneficiários de um programa. 
C. A avaliação de impacto pode apontar falhas de implementação do programa. 
D. A avaliação de impacto pode servir de base para inovações e novos enfoques na resolução de um problema. 
B.1. Sobre a amostra da avaliação, de que forma a corretora implementadora assegurou que havia conexões sociais entre os clientes selecionados?
A. A pesquisa aplicou um questionário aos clientes existentes para identificar essas conexões sociais. 
B. As conexões sociais entre novos clientes da corretora foram analisadas alguns meses antes do início da avaliação. 
C. A corretora já tinha informações sobre conexões sociais entre os clientes, em razão de campanhas de recomendação de clientes (recomende um amigo). 
B.2. A pesquisa descrita passou por três rodadas de aleatorização. Por que isso aconteceu?
A. Porque os pesquisadores tiveram que corrigir rotas de decisões tomadas no início da pesquisa e, para isso, redesenharam a aleatorização. 
B. Porque os pesquisadores quiseram conhecer, de maneira isolada, os efeitos da decisão de um agente condicionada à decisão de outro agente, testando os efeitos de aprendizado e de utilidade sociais. 
C. É praxe, nas avaliações de impacto, sobrepor rodadas de aleatorização. No caso dessa pequisa, não há motivo especial para isso ocorrer. 
C.1. Qual das seguintes alternativas aponta um desafio à validade externa da pesquisa discutida pelo professor?
A. Problemas encontrados no processo de aleatorização do tratamento ameaçam a validade externa. 
B. A representatividade da relação entre os investidores 1 e 2 limita a generalização de "influência de conhecidos" para "influência de familiares e amigos próximos". 
C. O fato de a pesquisa ter exigido três rodadas de aleatorização inviabiliza a generalização dos resultados para tipos de investidor 1 e tipos de investidor 2. 
D.1. Verdadeiro ou falso: segundo o professor, a importância de se medir a sofisticação do conhecimento dos investidores sobre finanças é justificada pela influência (positiva ou negativa) que esse conhecimento financeiro pode ter na decisão de seus pares.
A. Verdadeiro 
D.2. Após a intervenção, a avaliação contou com um questionário chamado "Questões para entender o processo de tomada de decisão de Investidores 2", que incluiu um telefonema do corretor ao Investidor 2. O corretor pedia ao investidor que atribuísse uma nota de 1 a 7 ao seu próprio entendimento em finanças. Qual é um problema de medição provável de ocorrer neste contexto?
A. É provável que haja erro por alternativas incompletas. 
B. É provável que as perguntas sejam redigidas usando negativas, o que pode trazer confusão com respostas de caráter positivo. 
C. É provável que haja erros por viés de desejabilidade social, em que o entrevistado pode se sentir compelido a simular que entende mais do que de fato conhece sobre finanças. 
E.1. Levando em consideração os resultados observados no desejo de compra do investidor 2, assinale quais foram os efeitos do aprendizado social encontrados nesta avaliação. Marque todas as alternativas que julgar corretas.
A. A divulgação da informação referente ao interesse ou compra do investidor 1 para o investidor 2 não fez com que os investidores mudassem sua opinião sobre o ativo em questão. 
B. Observou-se que a influência do aprendizado social é maior entre o grupo de investidores 1 que tem maior conhecimento financeiro; e entre o grupo de investidores 2 que tem menor conhecimento financeiro. 
C. A divulgação da informação sobre o investidor1 causou mudanças consideráveis na escolha do investidor 2. 
D. Apesar do que se esperava, a evidência mostrou que a informação sobre o conhecimento financeiro dos investidores 1 não causou influência significativa no investidor 2. 
E.2. Quando falamos sobre o uso da evidência obtida por meio dessa pesquisa, ou sobre como se dá a influência de pares em outras áreas como saúde e habitação, estamos nos referindo a:
A. Validade interna. 
B. Poder estatístico. 
C. Validade externa. 
D. Contextualização da avaliação. 
Exame Final
EF.1. Por que é importante avaliar o impacto de um programa social? Marque as alternativas que julgar corretas.
A. Porque a avaliação de impacto identifica a natureza e o alcance das necessidades. 
B. Porque a avaliação de impacto permite melhorar o programa. 
C. Porque a avaliação de impacto nos diz se o programa foi implementado segundo o planejado. 
D. Porque a avaliação de impacto é útil para tomar decisões acerca de alocação de recursos. 
E. Porque a avaliação de impacto gera conhecimento público. 
EF.2. Baseando-se nas recomendações mostradas no primeiro módulo deste curso, indique, em cada uma das cinco situações a seguir, se devemos ou não avaliar o impacto:
1. Será implementado um programa piloto Avaliar impacto 
2. O programa não está maduro e ainda pode ter seu desenho modificado Não avaliar impacto 
3. Já existe evidência suficiente sobre a efetividade da intervenção Não avaliar impacto 
4. Existe incerteza sobre a melhor estratégia de intervenção para atacar um problema Avaliar impacto 
5. O programa já existe, mas novos serviços ou beneficiários vão ser incorporados a ele Avaliar impacto 
EF.3. O que representa o contrafactual?
A. Representa a diferença nos participantes antes e depois da implementação do programa. 
B. Representa o estado do mundo experimentado depois da implementação do programa. 
C. Representa o estado do mundo que se haveria experimentado se o programa não tivesse sido implementado. 
D. Representa o estado do mundo antes da implementação do programa. 
EF.4a. Utilizando os dados apresentados a seguir, calcule o impacto de um programa de alimentação escolar no desempenho acadêmico das crianças, segundo os diferentes métodos de avaliação de impacto.
Antes e depois
Por este método, qual é o impacto do programa?
O impacto do programa é 2. O método Antes e depois é calculado pela diferença de pontuação das crianças participantes depois (7) e antes do programa (5).
EF.4b. Utilizando os dados apresentados a seguir, calcule o impacto de um programa de alimentação escolar no desempenho acadêmico das crianças, segundo os diferentes métodos de avaliação de impacto.
Diferença simples
Por este método, qual é o impacto do programa?
O impacto do programa é -1. O método de Diferença Simples é calculado pela diferença entre as pontuações dos participantes (7) e dos não participantes (8) após o programa.
EF.4c. Utilizando os dados apresentados a seguir, calcule o impacto de um programa de alimentação escolar no desempenho acadêmico das crianças, segundo os diferentes métodos de avaliação de impacto.
Diferenças em diferenças
Por este método, qual é o impacto do programa?
O impacto do programa é 1. O método da Diferenças em Diferenças é calculado em alguns passos: (i) primeiro calcula-se a diferença entre participantes e não participantes antes do programa (5-7 = -2); (ii) depois, calcula-se a diferença entre participantes e não participantes depois do programa (7-8 = -1); (iii) por fim, calcula-se a diferença entre os dois efeitos (passo 2 – passo 1: (-1- (- 2) = -1+2 = 1).
EF.5. Por que a alocação aleatória é o método mais confiável para se estimar o contrafactual?
A. Porque assegura que, na avaliação do impacto do programa, encontraremos um número estatisticamente diferente de zero. 
B. Porque ajuda a garantir que os grupos de tratamento e de controle sejam sistematicamente similares antes do início do programa. 
C. Porque permite construir um grupo sistematicamente diferente do grupo ao qual se direcionará o programa. 
D. Porque sabemos que os únicos fatores que podem afetar o grupo de tratamento são os efeitos do programa. 
EF.6. Por que a Teoria da Mudança é uma ferramenta útil para avaliações de impacto? Marque todas as alternativas que julgar corretas.
A. A Teoria da Mudança nos ajuda a definir os indicadores para medir os impactos do programa. 
B. A Teoria da Mudança nos ajuda a determinar se a amostra da avaliação tem poder estatístico suficiente. 
C. A Teoria da Mudança nos ajuda a identificar os mecanismos que levam aos impactos do programa. 
D. A Teoria da Mudança nos ajuda a mitigar atrito e cumprimento imperfeito da avaliação. 
EF.7. Para cada desenho de aleatorização, escolha uma possível dificuldade quanto à sua adoção.
1. Pode dificultar a medição de efeitos a longo prazo. Por Etapas 
2. Mede o impacto daqueles que responderam ao estímulo. Estímulos 
3. Pode exigir amostras muito grandes para comparar variações de tratamento. Múltiplos Tratamentos 
4. O grupo que não recebe o programa pode não cooperar com a avaliação. Loteria Básica 
EF.8. Qual seria o procedimento adequado de aleatorização quando há risco de que o grupo de controle, que não deveria receber o programa, seja indiretamente afetado por ele?
A. Aleatorização estratificada 
B. Aleatorização em nível de grupos ou clusters 
C. Desenhar a avaliação por estímulos 
D. Usar um desenho de tratamentos múltiplos 
EF.9. Qual seria o procedimento adequado de aleatorização quando não se pode negar o acesso ao programa a nenhum beneficiário? Por exemplo, quando o programa é um direito garantido por lei.
A. Aleatorização estratificada. 
B. Aleatorizar em nível de grupos ou clusters. 
C. Desenhar a avaliação por estímulos. 
D. Usar um desenho de tratamentos múltiplos. 
EF.10. Para fazer uma avaliação de impacto, precisamos definir uma amostra. Qual das alternativas a seguir expressa uma implicação de se calcular o impacto de um programa por meio de uma amostra?
A. O impacto real do programa é maior conforme o tamanho amostral aumenta. 
B. O impacto calculado a partir de amostras varia de uma amostra a outra. 
C. Só precisamos de uma amostra para conhecer o impacto real do programa. 
D. Se a aleatorização é realizada por agrupamento (ou cluster), o poder estatístico aumenta.
EF.11. Indique se as circunstâncias abaixo aumentam ou reduzem o poder estatístico em uma avaliação aleatorizada.
1. Graças a um acréscimo no orçamento, podemos aumentar o tamanho amostral de nossa avaliação. Aumenta 
2. A taxa de participação (porcentagem de pessoas do grupo de tratamento que efetivamente o recebem) será menor do que se havia estimado. Reduz 
3. A variável de resultado apresenta maior variância do que se calculou inicialmente. Reduz 
4. Como a intervenção é muito cara, para um mesmo tamanho amostral teremos mais pessoas no grupo de controle que no grupo de tratamento. Reduz 
5. Para evitar externalidades, a aleatorização será realizada por agrupamento, e não em nível individual. Reduz 
6. O tamanho do impacto esperado pela avaliação é menor que o calculado inicialmente. Reduz 
EF.12. A balança de uma cooperativa de sementes está danificada. O gerente busca uma nova balança e encontra 4 alternativas. Para determinar qual a melhor, ele se pesa 5 vezes em cada balança e anota os resultados. Seu peso verdadeiro é de 75,0 kg. Escolha a descrição mais adequada para os resultados de cada balança:
A. Precisa e exata 
B. Imprecisa e exata 
C. Precisa e inexata 
D. Imprecisa e inexata 
EF.13. Indique como se podem evitar as seguintes fontes de erro de medição em questionários:
A. Categorias sobrepostas. Sempre fazer pilotos da aplicação para assegurar que as características são excludentes. 
B. Efeito telescópio. Usar eventos importantes para marcar o período de referência. 
C. Imprecisão. Sempre definir conceitos. 
D. Viés de desejabilidade social. Perguntar indiretamente e assegurar a privacidade. 
E. Viés de lembrança. Pedir aos entrevistados que registrem informação em um diário ou guardem recibos.F. Premissas. Usar filtros e saltos. 
EF.14. Por que é importante dar atenção aos aspectos operacionais da implementação da avaliação? Marque todas as alternativas que julgar corretas.
A. Os aspectos operacionais são essenciais para a boa implementação da avaliação 
B. Os aspectos operacionais são necessários para assegurar que o programa terá impacto positivo. 
C. Considerar os aspectos operacionais permite adaptar a avaliação quando as coisas não acontecem como o planejado. 
D. Os aspectos operacionais ajudam a determinar a qualidade da avaliação de impacto. 
As alternativas corretas são A, C e D. 
EF.15. Selecione os objetivos relacionados a cada uma das etapas do levantamento de dados.
A. Linha Base. Verificar se há equilíbrio entre o grupo de controle e de tratamento, e poder estatístico suficiente. 
B. Linha de Acompanhamento. Monitorar com a avaliação de processos ou medir se há impacto antes do término do programa. 
C. Linha de Saída. Avaliar os impactos finais do programa. 
EF.16. Qual das seguintes alternativas descreve uma situação de cumprimento imperfeito?
A. Alguns dos indivíduos alocados no grupo de tratamento optam por não participar da intervenção. 
B. Alguns dos indivíduos do grupo de tratamento mudam de residência depois de terem recebido o programa, não podem ser localizados e, assim, não podem ser entrevistados. 
C. Alguns indivíduos do grupo de controle se beneficiam indiretamente da intervenção, apesar de não recebê-la diretamente. 
D. Em média, os grupos de tratamento e de controle são iguais em quase todas as características, mas são ligeiramente diferentes em outras.. 
EF.17. Em relação ao atrito amostral, responda se as seguintes afirmativas são verdadeiras ou falsas.
1) Existe atrito amostral quando algumas das pessoas alocadas no grupo de tratamento procrastinam e não recolhem o benefício de um programa.
A. Falso 
EF.17. Em relação ao atrito amostral, responda se as seguintes afirmativas são verdadeiras ou falsas.
2) O atrito amostral tem como consequência a perda de poder estatístico.
A. Verdadeiro 
EF.18. Quais das seguintes estratégias ajudam a combater o atrito amostral? Marque todas as alternativas que julgar corretas.
A. Fazer entrevistas mais longas e detalhadas. 
B. Aplicar piloto dos questionários em uma amostra menor, antes de usá-los entre os participantes da avaliação. 
C. Utilizar somente um método de levantamento de dados. 
D. Escolher um momento estratégico para realizar as entrevistas com os beneficiários. 
EF.19. Para cada exemplo, selecione se o uso da evidência é direto ou indireto.
A. A avaliação mostrou resultados positivos e incita a decisão de expansão do programa. Uso Direto 
B. O programa foi avaliado com resultados mistos que estimulam a mudança de seus componentes. Uso Direto 
C. Não sabemos se o nosso programa terá os impactos esperados, assim consultamos avaliações de programas similares em outros contextos. Uso Indireto 
EF.20. Segundo o modelo apresentado neste curso, se queremos usar evidência de outro contexto para informar o desenho de um novo programa, quais são algumas das perguntas que devemos nos fazer? Marque todas as alternativas que julgar corretas.
A. Os dois programas partem do mesmo problema? 
B. Quão similares são os programas? 
C. A população alvo e as condições locais de ambos programas são comparáveis? 
D. Os dois programas funcionam por meio dos mesmos mecanismos? 
Todas as alternativas estão corretas e são perguntas que devemos fazer quando desejamos usar os resultados de uma avaliação de impacto como subsídio para o desenho de um outro programa. Isso é discutido no módulo 9 (Uso da evidência).
EF.21. Suponha que você trabalhe em uma ONG que quer iniciar um programa de distribuição de cloro para famílias de baixa renda, visando melhorar o acesso a água potável.
Qual é o tipo de avaliação mais adequado a cada objetivo?
A. Medir os efeitos da distribuição de cloro em indicadores importantes de saúde das famílias. Avaliação de Impacto 
B. Averiguar se o cloro está sendo distribuído ou não aos beneficiários. Avaliação de Processos 
C. Elaborar um modelo para descrever como a distribuição de cloro pode levar a resultados de interesse (por exemplo, reduzir a incidência de diarreia nas crianças). Avaliação Teórica 
D. Comparar as melhoras em saúde por dólar investido no programa de distribuição de cloro às melhorias em saúde por dólar investido em outros programas de saneamento. Avaliação de Eficiência 
E. Identificar a prevalência de diarreia na subpopulação que atualmente não tem acesso à água potável. Avaliação de Necessidades 
EF.22. O que podemos dizer do impacto do programa?
O gráfico a seguir mostra os resultados do programa de distribuição de cloro. A linha amarela representa os valores da variável de interesse para os participantes do programa ao longo do tempo. Um aumento nessa variável significa uma melhora no estado de saúde dos participantes.
A. O impacto é positivo. 
B. O impacto é negativo. 
C. O impacto é desconhecido. 
EF.23. Sua ONG deseja produzir uma Teoria da Mudança de como o seu programa de distribuição de cloro melhorará a saúde das famílias beneficiárias. Complete a cadeia causal, associando cada item em seu lugar adequado. Por exemplo: "As casas não têm acesso à água potável." (Problema / Necessidade)
1. Resultado Intermediário 
2. Insumo / Atividade 
3. Resultado Final 
4. Problema / Necessidade 
5. Produto 
6. Problema / Necessidade 
7. Resultado Intermediário 
8. Insumo / Atividade 
9. Resultado Final 
10. Produto 
O passo a passo de como elaborar uma Teoria da Mudança é descrito no módulo 3 (Teoria da Mudança).
Suponha que vamos fazer uma avaliação de impacto do programa de distribuição de cloro e, paralelamente, realizamos uma avaliação de processos. Encontramos que, por problemas de planejamento, quase um terço das casas beneficiadas pelo programa não recebe cloro, e um grupo ainda maior de famílias não recebeu capacitação para o uso de cloro.
EF.24. Verdadeiro ou falso: a situação descrita acima é um exemplo de falha de teoria do programa.
A. Falso. 
Falso. A situação descrita não é uma falha de teoria, e sim de implementação. Os problemas estão relacionados aos insumos/atividades e produtos do programa. Como se explica nos vídeos do módulo 3 (Teoria da Mudança), estes aspectos são parte da implementação do programa
EF.25. Indique qual é o desenho de aleatorização mais apropriado para cada uma das seguintes situações:
A. O programa de distribuição de cloro é expandido e, com o tempo, eventualmente atingirá toda a população de beneficiários. Por Etapas 
B. O programa de distribuição de cloro deve estar disponível a todos os que desejam recebê-lo, mas o uso do cloro pode ser facilmente aumentado se for proporcionado algum incentivo. De Estímulos 
C. O programa de distribuição de cloro tem excesso de solicitações e não há recursos suficientes para cobrir todas as casas. Loteria Básica 
D. A ONG tem dois modelos de distribuição de cloro e quer saber qual é o mais efetivo. Tratamentos Múltiplos 
EF.26. Temos que tomar decisões sobre o desenho da avaliação de impacto do programa de distribuição de cloro. Para cada decisão, escolha a alternativa que maximiza o poder estatístico.
1) Tamanho amostral (soma dos grupos controle e tratamento)
A. Usar uma amostra total de 100. 
B. Usar uma amostra total de 200. 
C. Usar uma amostra total de 300. 
A alternativa correta é a C. Uma amostra maior permite maior poder estatístico.
EF.26. Temos que tomar decisões sobre o desenho da avaliação de impacto do programa de distribuição de cloro. Para cada decisão, escolha a alternativa que maximiza o poder estatístico.
2) Proporções de alocação.
A. 60% no grupo de controle e 40% no de tratamento. 
B. 50% no grupo de controle e 50% no de tratamento. 
C. 40% no grupo de controle e 60% no de tratamento. 
A alternativa correta é a B. O poder estatístico é maximizado quando a amostra é dividida equitativamente entre tratamento e controle.
EF.26. Temos que tomar decisões sobre o desenho da avaliaçãode impacto do programa de distribuição de cloro. Para cada decisão, escolha a alternativa que maximiza o poder estatístico.
3) Nível de aleatorização
A. Aleatorizar em nível individual. 
B. Aleatorizar por comunidade (nível intermediário entre individual e municipal). 
C. Aleatorizar por município. 
A alternativa correta é a A. Para uma dada amostra, há menos poder estatístico ao se aleatorizar em um nível mais alto (ou maior), gerando agrupamentos.
F.27. Na avaliação do programa de distribuição de cloro, suponha as seguintes perguntas e identifique os problemas descritos como ameaças à exatidão ou à precisão da avaliação:
1. No último mês, quantas vezes algum dos seus filhos teve diarreia?
2. Com que frequência você consome água purificada? (Sempre/Muitas vezes/De vez em quando/Nunca)
1) Para a primeira pergunta, nem todas as pessoas lembram bem quando e/ou quantas vezes seus filhos tiveram diarreia. Por isso, 20% dos entrevistados superestimam a sua resposta e outros 20% subestimam sua resposta. 
A. Precisão 
EF.27. Na avaliação do programa de distribuição de cloro, suponha as seguintes perguntas e identifique os problemas descritos como ameaças à exatidão ou à precisão da avaliação:
1. No último mês, quantas vezes algum dos seus filhos teve diarreia?
2. Com que frequência você consome água purificada? (Sempre/Muitas vezes/De vez em quando/Nunca)
2) Para a segunda pergunta, 30% das pessoas respondem que sempre consomem água purificada, não porque efetivamente o fazem, mas porque sentem vergonha de admitir que nunca o fazem.
A. Exatidão 
EF.28. Suponhamos que o programa de distribuição de cloro tem um impacto positivo sobre a saúde das famílias. Indique se as seguintes situações podem fazer com que o impacto do programa seja superestimado, seja subestimado, tenha efeitos ambíguos ou não enviese a estimativa do impacto.
A. Antes do levantamento final de dados, os indivíduos menos saudáveis dentro do grupo de tratamento tendem a migrar para as cidades para buscar trabalho, saindo da amostra. Superestima a estimativa de impacto. 
B. 20% dos indivíduos do grupo de tratamento e 20% dos indivíduos do grupo de controle abandonam o estudo. Tem efeitos ambíguos sobre a estimativa de impacto. 
C. Durante a intervenção, alguns indivíduos no grupo de controle acessam a água com cloro das casas do grupo de tratamento. Subestima a estimativa de impacto. 
EF.29. Durante a avaliação de impacto do programa de distribuição de cloro, você descobre que algumas famílias no grupo de tratamento não receberam a intervenção e que algumas famílias do grupo de controle a estão recebendo. Qual das seguintes opções é a mais apropriada para garantir a integridade de uma avaliação de impacto?
A. Eliminar as famílias que não cumprem com os protocolos de aleatorização do estudo. 
B. Mudá-las de grupo: mover os indivíduos do grupo de controle tratados ao grupo de tratamento e vice-versa. 
C. Deixar os indivíduos em seus respectivos grupos e fazer a análise de dados levando em conta este desafio. 
A resposta correta é a alternativa C. De acordo com o explicado no módulo 8 (Desafios após o desenho), eliminar (alternativa A) ou trocar (alternativa B) membros do cumprimento imperfeito provoca viés de seleção sobre o estudo. A alternativa é, portanto, manter o estudo e as alocações inicialmente previstas, levando em conta o cumprimento imperfeito na etapa de análise de dados.
F.30. A equipe do programa está estudando se é factível trocar a entrega de cloro às famílias pela instalação de dispensadores de cloro comunitários, para diminuir os custos de entrega. Ao fazer uma revisão da evidência existente sobre esse tema, são encontrados dados sobre o seguinte programa:
· Em um país distinto ao do programa que foi pesquisado, mas com uma população de características similares, avaliou-se a instalação de poços comunitários de água potável em lugares cuja população utilizava água contaminada de um rio,
· Inicialmente, as pessoas utilizaram os poços de água potável com regularidade, mas esse uso diminuiu com o tempo. Ao investigarem a razão dessa diminuição, os pesquisadores se deram conta de que os poços estavam localizados em zonas inseguras, e as pessoas deixaram de usá-los por medo ou intimidação.
É possível usar essa evidência para o desenho do programa de entrega de cloro?
A. Não, porque o contexto é diferente. 
B. Não, porque o programa é diferente. 
C. Não, porque o programa não foi bem implementado. 
D. Sim, porque nos indica um possível problema que devemos evitar no desenho do nosso programa. 
Considere os mesmos dados do exercício anterioE.2. E.3a. Considere os mesmos dados do exercício anteriorE.3a. Considere os mesmos dados do exercício anterior.E.3a. Considere os mesmos dados do exercício anterior.E.3a. Considere os mesmos dados do exercício anterior.E.3a. Considere os mesmos dados do exercício anterior.As respostas corretas são as alternativas B e C.As respostas corretas são as alternativas B e C.As respostas corretas são as alternativas B e C.Parte superior do formulário
Parte inferior do formulário
Parte inferior do formulário