povertyactionlab.org avaliação das políticas públicas de desenvolvimento e de combate à pobreza...
Post on 17-Apr-2015
109 Views
Preview:
TRANSCRIPT
povertyactionlab.org
Avaliação das políticas públicas de desenvolvimento e de
combate à pobreza
William Parienté- JPAL/PSE
ENA – Paris 18 de junho de 2009
Sumário
• Introdução : diferentes tipos de avaliação• Problema da avaliação de impacto• Por que o método é importante?• Interesse das avaliações para as políticas
de desenvolvimento e decombate à pobreza
• Exemplos:– Educação e Saúde : Progresa no México– Efeito do microcrédito na Índia– Políticas pró-emprego na França
Objetivo de uma avaliação
• Prestar contas- Foi efetuado o que devia ser feito?- Houve um efeito positivo sobre os beneficiários do programa ou
da política?
• Aprendizagem – Alguns programas funcionam ou não funcionam– Qual o meio mais eficaz de atingir certos resultados? – Há possibilidade de generalização? Diferenças/similitudes de
algumas estratégias em diferentes lugares
• Melhora do impacto no combate à pobreza graças a programas mais eficazes
Exemplo : fornecimento de livros escolares
Livros fornecidos
Livros utilizados
As notas são melhores
Nível fraco Poucos livros
As crianças os acham úteis
Não podem ser levados para a casa
ONG compra livros
Outros impactos
Crianças pobres do Quenia
Diferentes tipos de avaliação
Avaliação dasAvaliação das necessidadesnecessidades
AvaliaçãoAvaliaçãododo
impactoimpacto
Avaliação doprocedimento
Avaliação das necessidades• Qual a natureza do problema a ser resolvido?
– Ex: saúde, grau de instrução, etc..– Como o programa vai resolvê-lo?
• Qual a população-alvo?– Quem está inserido no programa? Aqueles que mais
necessitam dele?– Ex : as crianças mais pobres e menos saudáveis, as turmas em
que as notas são as mais baixas? Absenteísmo elevado?
• Em que contexto se insere o programa?- Há uma necessidade? Necessidades não satisfeitas por outros
meios.
Avaliação de Procedimento
• O programa é bem gerenciado?– Quais são os serviços/programas desenvolvidos para
responder às necessidades?– Há efetivo fornecimento?
• Ex : material escolar
• Alvo– Fornecimento às populações alvo?
• Ex : fornecimento àqueles que efetivamente são mais necessitados
• O programa é utilisado ?– Ex : livros utilisados
Avaliação de Impacto
• Questão primordial : Houve um impacto?
• Questões auxiliares:– Qual a natureza do benefício ?
• exemplo: houve melhora nas notas ?• Os alunos estão faltando menos?
– Alguns são mais beneficiados do que outros?
Análise Custo-Benefício
AnáliseAnáliseCusto-BenefícioCusto-Benefício
Avaliação doAvaliação doprocedimentoprocedimento
AvaliaçãoAvaliaçãode impactode impacto
AvaliaçãoAvaliação dada
necessidadenecessidade
Análise Custo-Benefício
• Por que os 3 elementos são necessários para a análise custo-benefício?
• A avaliação de impacto trata dos benefícios
• A avaliação do procedimento permite uma quantificação dos custos
• A avaliação da necessidade encontra o objetivo almejado
Nesta apresentação• Centrar-se-á na avaliação de impacto: Por quê?• Sabe-se supreendentemente pouco sobre o que
realmente funciona: – Multiplicação das intervenções públicas em diversos
campos– Escassez dos recursos disponíveis– Ampliação ou abandono de programas com base em
critérios subjetivos– Muitos programas dispendiosos e ineficazes
• Frequentemente, apreciação conflituosa sobre a eficácia do programa– É necessãrio trazer elementos de evidência
tempot = 0
2
3
t = 1
PROGRAMA
O programa trouxe uma mudança?
(Observado)
(Observado)
Sucesso escolar
= Impacto?3 - 2 = 1
tempot = 0 t = 1
X
O que aconteceria na ausência do programa?
(Observado)
Sucesso escolar
Impacto: 3 – X
3
2
(Não observável)
A dificuldade da avaliação de impacto
• Deve-se saber o que teria acontecido na ausência do programa (X, o “counterfactual”)
• Mas como saber o que teria ocorrido se o programa não tivesse acontecido?– Ou o programa é realizado, ou ele não é– Não se pode observar as duas situações ao mesmo
tempoO problema fundamental da avaliação de impacto é,
assim, um problema de ausência de dados• Uma avaliação de impacto só é correta se a
estimativa de X for correta• Toda a dificuldade da avaliação de impacto
consiste em reconstruir X corretamente
Como reconstruir X?
• Estratégia principal:– Utilisar os dados em um grupo de não
beneficiários (um grupo de controle)
• Questão central:– Como escolher um bom grupo de controle?
tempot = 0 t = 1
(beneficiários)
(não beneficiários)
Impacto: 3 – 2.4
Reconstruir X com a ajuda de um grupo de controle
Sucesso escolar
“Grupo tratado”
“Grupo de controle”
3
2
2.4
Como escolher o grupo de controle?
• É possível que os não beneficiários sejam bem diferentes dos beneficiários. Por que?
– Os programas visam frequentemente uma população de acordo com um ou vários critérios bem definidos (pobreza, escolarização, etc.)
– As pessoas decidem participar ou não (Aquelas que decidem participar são no geral mais motivadas?)
• Diferença sutil, difícil de ser observada (a motivação, o acesso à informação)
• Se os não beneficiários são diferentes, então eles não representam um bom counterfactual
• A comparação sofrerá um desvio em função da seleção dos beneficiários.
– “Desvio de seleção”
tempot = 0 t = 1
Graficamente: O desvio de seleção
Grupo de controle
Grupo tratado
Sucesso escolar
Como corrigir o desvio de seleção?
• Reconhecer que o grupo de controle era diferente (neste caso: melhor) no início
• Observar a trajetório do grupo de controle ao longo do tempo para prever a trajetória do grupo tratado
– Não comparar níveis absolutos, mas níveis relativos (relativos à performance inicial de cada grupo)
– É o que se denomina “difference-in-differences”
tempot = 0 t = 1
Difference-in-differences
Impacto
Sucesso escolar
Grupo de controle
Grupo tratado
X
3
2
Difference-in-differencesMétodo a seguir:1. Coletar dados iniciais relativos a cada grupo antes do
início do programa. 2. Coletar dados relativos a cada grupo depois da
realização do programa. 3. Calcular a diferença depois-antes para cada grupo4. Subtrair a diferença observada no grupo de controle
daquela observada no grupo tratado.
Grupo Antes Depois Diferença Depois-Antes
1. Grupo Tratado 2.0 3.0
2. Grupo de Controle 2.2 2.3
3. Impacto 1.0 - 0.1 = 0.9
1.0
0.1
Isso é suficiente?
• Este método se baseia em uma forte hipótese:
– Ele supõe que a trajetória do grupo tratado teria sido paralela à trajetória do grupo de controle na ausência do programa
tempot = 0 t = 1
Difference-in-Differences
Impacto
Sucesso escolar
Como ter certeza de que o grupo de controle é um bom counterfactual?
• Situação ideal: Escolha aleatória= Dividir aleatoriamente os indivíduos em dois grupos
• Identificar um conjunto de pessoas que satisfaçam todos os requisitos de seleção exigidos pelo novo programa
• Escolher aleatoriamente a metade das pessoas que participarão do programa («grupo tratado»);
• A outra metade («grupo de controle») participará do programa mais tarde e, enquanto isso, servirá de referencial para a comparação
• A escolha aleatória possibilita a obtenção de um grupo de controle realmente similar ao grupo tratado– Elimina todos os desvios de seleção– Por quê?
Método aleatório (“randomizado”)• Fundamenta-se na lei dos grandes números
– Pegue 1000 pessoas na rua, e as divida em dois grupos aleatoriamente
– Em média• Os indivíduos do grupo 1 terão a mesma altura que os indivíduos
do grupo• Eles terão o mesmo peso médio• Haverá o mesmo número de crianças em cada grupo, etc…
– Nota: isso seria verdadeiro se dividíssemos 20 pessoas em dois grupos?
• Certamente não• Mas é possível « ajudar » a sorte: estratificação
Representativa?
Comparáveis (Validade interna)
(Validade externa)
População Total
População Alvo
Amostra examinada
Escolha Aleatória
Grupo Tratado
Grupo deControle
Participantes Ausentes
Amostra aleatória
Avaliação randomizada controlada
Vantagens
• Em relação aos resultados não-experimentais, os resultados de uma avaliação randomizada são :– Transparentes
• Comparam-se médias: sem problemas metodológios, sem hipóteses duvidosas…
– Fáceis de explicar, de compartilhar com quem não domina as regras da estatística
– Têm mais chance de convencer os financiadores e os responsáveis pelas decisões políticas
Limites
• Validade interna:– Apesar da randomização, a comparação dos
grupos pode ser comprometida• Efeitos “Hawthorne”• Recusa em participar• Perda de contato com os indivíduos
• Validade externa: – Os problemas orçamentários limitam o tamanho
da amostra disponível para o estudo• Todavia, alguns desses problemas também
encontram-se presentes em estudos não-experimentais.
Em resumo• Toda a arte da avaliação de impacto consiste
em encontrar um bom grupo de controle– A seleção aleatória dos beneficiários do
programa entre indivíduos ou grupos elegíveis permite obter o melhor grupo de controle possível
– As avaliações controladas randomizadas são assim as mais confiáveis / válidas…
• Com a condição de haverem sido concebidas e efetuadas corretamente!
Em resumo
• Para decidir as políticas sociais a serem implementadas, é necessário compreender as relações de causa e efeito
• As relações de causa e efeito (e.g. o impacto de um programa) só podem ser corretamente avaliadas se o counterfactual for definido corretamente
• Caso contrário, haverá desvio de seleção• É muito importante verificar como o
counterfactual é calculado
Em resumo
• A outra vantagem das avaliações randomizadas reside em sua clareza– Fácil de explicar, de compreender
• Mas como toda análise, a análise randomizada também deve ser considerada em seu contexto– A validade externa é um desafio
– Por isso, é importante proceder a análises randomizadas em vários países e ao mesmo tempo
Exemplo 1 : Progresa (México)
• Programa : Benefício representando 1/3 do total dos rendimentos da unidade familiar.
• A concessão desse benefício é condicionada a:- A assiduidade das crianças na escola- A participação da família em palestras sobre
prevenção de doenças. • Dispositivo de avaliação :
– Amostra de 506 municípios rurais (186 controle e 320 tratados)
– Pesquisas junto a aproximadamente 24000 famílias antes e depois da intervenção
Exemplo 1 : Progresa (México)• Resultados :
– Efeito positivo sobre a frequentação escolar das crianças– Melhora do nível escolar– Aumento do número de atendimentos médicos– Diminuição de 12% na ocorrência de doenças em crianças
menores de 5 anos– Efeito positivo sobre o crescimento (peso e altura) das
crianças– Aumento do nível de consumo dos núcleos famíliares
• Implicações : – Programa mantido – Extensão do programa ao restante da população rural e
urbana– Reaplicação (com avaliação) em um número considerável
de países
Exemplo 2 : Microcrédito (Índia)
• Pouquíssimas provas empíricas rigorosas sobre o microcrédito, apesar de sua popularidade (Prêmio Nobel da Paz 2006 ao fundador da Grameen Bank)
• Útil avaliar o microcrédito pois missão social das Instituições de Microfinaciamento (IMF) e importantes subvenções
• Spandana na Índia• Avaliação aleatória em 104 bairros de Hyderabad • Outros estudos em curso
• Crianção de empresas
• Consumo
Exemplo 3 : Desempregados com risco de desemprego de longa duração (França)
• Dois programas – Cap Vers l’Entreprise (CVE) ANPE (órgão estatal) 40.000 postos– Operadores Privados de Postos (OPP) Unedic 40.000 postos
• 250.000 beneficiários potenciais• Seleção aleatória de três populações
– População 1 : percurso clássico ANPE– População 2 : proposta CVE : índice de inserção 45%– População 3 : proposta OPP : índice de inserção 50%
• Desenvolvimento de uma ferramente de afetação aleatória dos desempregados aos três grupos no momento da entrevista de inscrição (OCC)
• Medida do impacto sobre o índice de retorno ao trabalho• Résultats :
– Efeito positivo CVE (órgão estatal)– Sem efeito OPP (operadores privados)
top related