dime workshop -...
TRANSCRIPT
![Page 1: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/1.jpg)
OCTOBER 13-17, 2014 | LISBON, PORTUGAL
DIME WORKSHOP
![Page 2: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/2.jpg)
Métodos Experimentais
Arianna Legovini
October 13, 2014
DIME/Banco Mundial
![Page 3: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/3.jpg)
Provocações!
1. Você acha que o seu projeto é um sucesso ou vai se tornar quando sair do papel? Sim!
2. Se o governo quiser universalizar um programa que não possou por uma avaliação rigorosa, qual será o seu conselho?
3
![Page 4: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/4.jpg)
Provocações
• O quê avaliar?
• Por que avaliar?
• Quando avaliar?
4
![Page 5: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/5.jpg)
A realidade é um pouco mais complexa do que…
5
![Page 6: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/6.jpg)
Objetivos de uma Avaliação de Impacto
• Identificar o efeito causal da programa
– O programa funciona? Para quem?
– Há alternativas?
– Implementar o que funciona melhor a um custo mais baixo
• Não somos auditores! Queremos ajudá-lo a melhorar o seu programa!
6
![Page 7: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/7.jpg)
Erros comuns… mas evitáveis!
7
![Page 8: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/8.jpg)
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o impacto do programa;
• Qualquer grupo de controle é um bom/válido grupo de controle;
8
![Page 9: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/9.jpg)
9
Correlação vs. causalidade
![Page 10: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/10.jpg)
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o impacto do programa;
• Qualquer grupo de controle é um bom/válido grupo de controle;
10
![Page 11: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/11.jpg)
11
Antes e depois
11
![Page 12: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/12.jpg)
12
Antes e depois
Como chegamos nesse resultado?!!
12
![Page 13: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/13.jpg)
• Correlação implica causalidade;
• Análise do tipo ‘antes e depois’ informa o impacto do programa;
• Qualquer grupo de controle é um bom grupo de controle;
13
![Page 14: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/14.jpg)
14
VS.
Eike Batista Anônima – beneficiária do Bolsa Família
Qualquer grupo de controle é um bom grupo de controle?!
Como numa famosa música brasileira: “As aparências enganam…” (Elis Regina)
![Page 15: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/15.jpg)
Intuição
• Preciso ter claro qual o público-alvo: elegíveis • Preciso ter informações antes e depois da
intervenção (nem sempre…) desse grupo
• Parte dos elegíveis estará no grupo de controle para me permitir identificar o impacto (contrafactual)
• Como proceder na prática?
15
![Page 16: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/16.jpg)
Métodos de Avaliação de Impacto
• Ideal: método/desenho experimental – randomized controlled trial
• Plano B: método não-experimental (as vezes aparece como quasi-experimental)
16
![Page 17: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/17.jpg)
Métodos de Avaliação de Impacto
• Ideal: método/desenho experimental – randomized controlled trial
• Plano B: método não-experimental (as vezes aparece como quasi-experimental)
17
![Page 18: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/18.jpg)
Formas Alternativas de Aleatorização
Sorteio • Alguns desempregados (elegíveis) são sorteados para
participar de um programa de treinamento
Entrada gradual • Alguns municípios/vilas/escolas/hospitais são selecionados
para receber um programa que será universalizado num intervalo de 3 anos
Encorajamento/Incentivo • Um grupo de pequenos agricultores recebe crédito com taxa
de juros um pouco inferior a de mercado
18
![Page 19: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/19.jpg)
1. Sorteio entre os elegíveis
Deve receber o programa
Inelegível para o programa
Aleatorizar quem recebe o programa
(programa de treinamento para desempregados)
19
![Page 20: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/20.jpg)
2. Entrada Gradual
• As limitações orçamentárias impedem a cobertura integral
• O sorteio é feito para decidir quem entra no programa primeiro
– O sorteio é imparcial e transparente
• Capacidade limitada de implementação
– A introdução gradual oferece a todos a mesma chance de serem os primeiros
20
![Page 21: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/21.jpg)
Quem deveria sentar na cadeira primeiro?
21
![Page 22: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/22.jpg)
3. Encorajamento
• Adesão ao programa existente não é completa
– Fornecer informações ou incentivos para a adesão de alguns
• Um novo programa piloto
– Boa oportunidade para testar o desenho antes de expandi-lo
• Mudanças operacionais em programas em andamento
– Boa oportunidade de testar as mudanças antes de expandi-las
– Introduzir inovações de maneira aleatória
• O encorajamento tem como objetivo aumentar a adesão por meio de um incentivo aleatório
22
![Page 23: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/23.jpg)
Aleatorização individual ou em grupo?
23
![Page 24: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/24.jpg)
Aleatorização individual ou em grupo (cluster)?
• A aleatorização é feita no mesmo nível de intervenção
• Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados
Aleaorização individual Aleaorização de grupos (clusters)
Amostra = 20 indivíduos
Amostra = 12 grupos
24
![Page 25: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/25.jpg)
Aleatorização em diferentes níveis
– Individual: agricultores, desempregados, estudantes etc.
– Aglomerados: organizações de agricultores, escolas, hospital, centros esportivos etc.
– Vilas, distritos, bairros, comunidades
– Estados/Municípios
25
![Page 26: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/26.jpg)
Unidade de Aleatorização
• A aleatorização em nível mais alto às vezes é necessária: – Limitações políticas a tratamentos diferenciados na comunidade
– Limitações práticas – confusão para implementar diferentes versões
– Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto (Ex. populaçoes na mesma organização ou vila)
• Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade
• Cluster randomized trials
26
![Page 27: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/27.jpg)
Aleatorização individual e representativa
Randomização
Randomização
População Nacional
Amostras da População Nacional
27
![Page 28: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/28.jpg)
Aleatorização com estratificação
Estratificação
Randomização
População
Estrato do População Amostras do Estrato
da População
28
![Page 29: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/29.jpg)
Representativo porém enviesado: inútil
População Nacional
Distribuição Enviesada INÚTIL!
Randomização
29
![Page 30: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/30.jpg)
Representativo porém enviesado: inútil
População Nacional
Distribuição Enviesada INÚTIL!
Randomização
Muita gente confunde amostra aleatória com experimento aleatório
30
![Page 31: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/31.jpg)
Exemplo: programa de crédito, validade interna
Distribuição aleatória
Amostra de mulheres empresárias
31
![Page 32: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/32.jpg)
E se houver restrições sobre a aleatorização?
32
![Page 33: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/33.jpg)
E se houver restrições…?
• Limitações orçamentárias: randomizar entre os mais necessitados
• Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado)
• Promover o programa aleatoriamente para alguns, não para outros... (participantes fazem suas próprias escolhas sobre adoção)
33
![Page 34: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/34.jpg)
Aleatorização: indivíduo ou clusters
Alocado para tratamento
Alocado para controle
Diferença Impacto: efeito médio do tratamento sobre os tratados
Não-tratados
Tratados
Proporção tratada
100% 0% 100% Impacto da alocação
100%
Resultado médio
103 80 23 Estimativa da intenção de tratar
23/100%=23 Tratamento médio sobre os tratados 34
![Page 35: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/35.jpg)
Encorajamento aleatório: adesão baixa
Incentivados Não incentivados
Diferença Impacto: efeito médio do tratamento sobre os que aderiram
Não tratados (não aderiram)
Tratados (aderiram)
Proporção tratada
70% 30% 40% Impacto do incentivo
100%
Resultado 100 92 8 Estimativa da intenção de tratar (efeito do encorajamento)
8/40%=20 Tratamento médio sobre os que aderiram 35
![Page 36: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/36.jpg)
Cuidado com…
• Cálculo incorreto da amostra – Randomizar um distrito para tratamento e outro
para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas
• Coleta de dados diferentes no tratamento e no controle
• Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!!
36
![Page 37: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/37.jpg)
Vantagens dos “experimentos”
• Impacto causal claro e confiável
• Em relação a outros métodos
– Muito mais fácil de analisar
– Mais barato (tamanhos menores de amostra)
– Mais fácil de explicar
– Mais convincente para os formuladores de política
– Metodologicamente incontroverso
37
![Page 38: DIME WORKSHOP - siteresources.worldbank.orgsiteresources.worldbank.org/INTDEVIMPEVAINI/Resources/Portuguese... · DIME WORKSHOP . Métodos ... Objetivos de uma Avaliação de Impacto](https://reader030.vdocuments.net/reader030/viewer/2022020415/5c16130409d3f226138bb126/html5/thumbnails/38.jpg)
Quando é que é realmente impossível?
O tratamento já foi alocado e anunciado e não há possibilidade de expansão do tratamento O programa já acabou (retrospectiva) Já há adesão universal O programa é nacional e não exclui ninguém A amostra é muito pequena para ser válida
38