dime impact evaluation workshop innovations for...
TRANSCRIPT
Impact Evaluation Workshop
Innovations for Agriculture
16 – 20 June 2014 Kigali, Rwanda
National Agriculture Innovation System Support Project
PERU
Intervention Summary
• Main Components:
1. Strengthening capacity of National Institute of Agricultural Innovation
2. Consolidating markets for innovation services through competitive funds on:
• Adaptive research
• Extension and technical assistance provision
• Community Seed Enterprises
Levels of Evaluation
Competitive funds can be evaluated at 3 levels:
1. What is the impact of having the competitive fund for the sector?*
2. How should the competitive funds be structured?
We focus on:
3. Conditional on how the fund is structured, what is the impact on an applicant of winning the fund?
* NOTE: possibly depending on regional and products eligibility using Difference in Difference, in collaboration with OIA and INEI
Evaluation Design
• All applications are evaluated by an independent panel and receive a score between [0-20].
• Funds are given to applicants above a certain score X
• Impact of funds can be evaluated for applicants around X
• NOTE: – Marginal applicants are the policy relevant group (e.g., if the
program was marginally expanded) – Impact of funds on applicants with low X not relevant – However, difficult to extrapolate to applicants with high X
Evaluation Design
• Choice between two alternative strategies: 1. Regression discontinuity design around X
2. Randomization just below X
• NOTE: – Both strategies identify the same impact
– If feasible, randomization is preferred for: • Statistical reasons,
• Practical reasons: fairness and avoid manipulation
Sample and data
• Key issues: – Take-up: not all selected applicants might receive funds
(negotiation process)
– Sample size: target is 240 projects funded over 4 years
– Potential Outcomes: Yield, Revenues, Adoption of technology/practices, access to finance and marketing, … • Baseline information can be easily collected as part of the
application form
– Both those receiving funds and those not receiving
funds must be tracked
Timeline
• It is a multi-year program (4 years)
• To reach sample size, must be multi-year evaluation
• To be defined (!): Tentatively – September 2014: set-up admin. data collection
– March 2015: 1st call
– July 2015: 1st batch of funds disbursed
– June 2016: 1st follow-up
– … (process repeat for 4 times)
Impact Evaluation Workshop
Innovations for Agriculture
16 – 20 June 2014 Kigali, Rwanda
Mozambique: Sustainable Irrigation Development Project
Antonio Samuel - MINAG
Alexandre Noe - MINAG
Pedro Arlindo - WB
Astrid Zwager - WB
Objectivo do projecto
“Aumentar a produção agrícola comercializada e elevar a produtividade“
1. Irrigação:
– Investimento em sistemas de irrigação e infra-estrutura de apoio
– Desenvolvimento da Capacidade Institucional e da Gestão Participativa na Irrigação
2. Donativo comparticipado para produção orientada para o mercado e desenvolvimento de cadeias de valor.
Objectivo do projecto
“Aumentar a produção agrícola comercializada e elevar a produtividade“
1. Irrigação:
– Investimento em sistemas de irrigação e infra-estrutura de apoio
– Desenvolvimento de Capacidade Institucional e da Gestão Participativa na Irrigação
2. Donativo comparticipado para produção virada para o mercado e desenvolvimento de cadeias de valor.
Contribuição da irrigação
Reduzir a sazonalidade da produção, aumentar a disponibilidade de alimentos e aumentar a produtividade ao longo do ano
Época Chuvosa/quente Época Seca/fria
Março Outubro Abril Setembro
1. Culturas alimentares: Cereais
2. Horticolas
Horticolas
Contribuição da irrigação
Reduzir a sasonalidade da produção, aumentar a disponibilidade de alimentos e aumentar a produtividade ao longo do ano
Época Chuvosa/quente Época Seca/fria
Março Outubro Abril Setembro
1. Culturas alimentares: Cereais
2. Horticolas
Horticolas
Sistemas de irrigação no projecto
Area total Tamanho medio
No. sistemas
Arroz 3,000 ha 120 ha 25
Horticolas 1,300 ha 37 ha 35
Outgrowers 1,200 ha 40 ha 30
Gestão do sistema
Será responsabilidade do grupo de gestão de água:
1. Coleta da taxa de uso
2. Manutenção do sistema
3. Regulação do uso da água
Questões de pesquisa
• A irrigação reduz a sazonalidade e aumenta a produtividade?
– Metodologia não-experimental: pareamento + diferença em diferença
• A monitoria e a assistencia tecnica sobre a gestão e uso de água melhoram o impacto da irrigação?
– Metodologia experimental
Questões de pesquisa
• A irrigação reduz a sazonalidade e aumenta a produtividade?
– Metodologia não-experimental: pareamento + diferença em diferença
• A monitoria e a assistencia tecnica sobre a gestão e uso de água melhoram o impacto da irrigação?
– Metodologia experimental
Intervenções piloto
Default = Capacitação do grupo em gestão
1. Monitoria individual do uso de água – Colocação de sensores de uso de água em cada
machamba
– Estabelecimento e comparação com uso optimo
2. Tecnico residente – Assistir na gestão do sistema, incluindo uso
individual
Desenho da avaliação
90 sistemas
Gestão de grupo
Gestão de grupo
Técnico residente assiste gestão de grupo
Medidor ao nivel da comunidade
Monitoria individual de uso de água
Monitoria individual de uso de água
Aleatorização com estratificação por linha de negócio
Gestão Monitoria
30
30
30
+
+
Cronograma
Implementação • Inicio da construção de sistemas: Jan 2014 • Inicio da capacitação dos grupos: Junho 2014 • Alocação de tecnicos residentes: 2015 Coleta de dados • Baseline: em curso agora • Monitoria continua do uso de água • Planear segundo inquerito com os agregados
familiares
Projeto de Irrigação (Sustainable Land & Water Resources Management)
Piloto em 4 distritos de Norte de Gaza, província ao sul de
Moçambique (PPCR)
Eduardo Cuamba
Caio Piza – DIME
Background (1/2)
Objetivo: Aumentar a capacidade de comunidades para enfrentar os
desafios dos impactos adversos das mudanças de clima, pobreza
rural, insegurança alimentar e degradação do ambiente através do:
Melhoramento e desenvolvimento de novas infraestruturas de
água para agricultura e pecuária;
Restauração de Habitats Naturais & Paisagens e ;
Criação da capacidade institucional na gestão dos efeitos das
mudanças Climáticas.
Background (2/2)
• Problemas:
1. Baixa produção e produtividade agrícola e alto risco de perda das culturas devido as condições extremas do clima (cheias e secas);
2. Sobre-exploração do recursos florestais como meio alternavivo para a renda das familias.
• Solução:
1. instalação de infraestrutura de água para agricultura
• O projeto prevê a construção de 360 ha de pequenos sistemas de irrigação – 7 de 10 ha cada a serem construídos este ano + 15 furos de agua
Background (3/3)
• Cada sistema atenderá uma associação de pequenos produtores (cluster)
• Os membros terão de criar um grupo que ficará responsável pela manutenção básica do sistema
• Cada membro terá de contribuir para um fundo – um valor mínimo tem de ser atingido para garantir a manutenção
2. Diversificação dos meios de vida (avicultura e apicultura)
Questões para avaliação
• Analisar o impacto da construção de pequenos sistemas de rega na redução da vulnerabilidade das populações aos efeitos adversos das mudanças do clima;
• Avaliar a sustentabilidade do modelo de gestão dos sistemas de irrigação baseado em incentivo/pré-compromentimento
• Analisar o impacto da diversificação dos meios de vida na redução da pressão sobre os recursos florestais e faunísticos
Tratamentos
• Tratamento 1: Infra-estruturas de agua para agricultura
• Tratamento 2: doação de sementes + poupança (pré-comprometimento) para os que contribuíram caso a meta de arrecadação seja atingida.
• Tratamento 3: doação de sementes para todos os membros que contribuiram caso a meta de arrecadação seja atingida.
Métodos (1/3) • Método não-experimental
– Para estimar o impacto da infraestrutura de água (sistemas de irrigação) sobre os membros será utilizado o método de diferença-em-diferenças com pareamento
• Variáveis de resultado:
1. Primeira ordem: receita e produtividade da terra
2. Segunda ordem: horas trabalhadas dos membros da família; e renda familiar per capita
Métodos (2/3)
• Método experimental: block randomization
– 22 Grupos de produtores (15 furos+ 7 pequenos sistemas de irrigacao) serão estratificado por tipo de sistema e aleatorizadas dentro de cada estrato para receber o tratamento 2 ou 3
• Tratamento 2: – Definição de uma meta de arrecadação que o grupo tem de atingir para
garantir a manutenção do sistema.
– Se o grupo atingir a meta, todos os membros que contribuíram poderão receber sementes para usarem na próxima safra
– Se aceitarem a proposta terão de destinar 50% do valor nominal das sementes doadas a uma conta de poupança que poderá ser utilizada apenas na próxima safra
Métodos (3/3)
• Tratamento 3:
– Se o grupo atingir a meta, todos os membros que contribuiram poderão receber sementes para usarem na próxima safra
• Variáveis de resultado:
• Atingimento da meta • Adesão (take-up) • Uso das sementes • Manutencao do sistema
• Investimento • Demanda por crédito • Produção
Desenho nao-experimental
Tratamento 2: sementes
+ poupança (c=11) Tratamento 3:
sementes (c=11) Tratamento 1: Sistema de irrigação + furos (22 clusters)
Famílias em áreas irrigadas
Famílias em áreas irrigadas
Comparação
Famílias em áreas não irrigadas
Experimental (block randomization): Tratamento 2 vs. Tratamento 3 = efeito da poupanca obrigatoria.
Não-experimental Famílias em áreas irrigadas vs.famílias em áreas não-irrigadas=> efeito do sistema de irrigação
Desenho experimental
Tratamento 2: sementes
+ poupança (c=11) Tratamento 3:
sementes (c=11) Tratamento 1: Sistema de irrigação + furos (22 clusters)
Famílias em áreas irrigadas
Famílias em áreas irrigadas
Comparação
Famílias em áreas não irrigadas
Experimental (block randomization): Tratamento 2 vs. Tratamento 3 = efeito da poupanca obrigatoria.
Não-experimental Famílias em áreas irrigadas vs.famílias em áreas não-irrigadas=> efeito do sistema de irrigação
Impact Evaluation Workshop
Innovations for Agriculture
16 – 20 June 2014 Kigali, Rwanda
Baixo Limpopo Irrigation and Climate Resilience Project
Mozambique
Intervention Summary
• Objective: reduce poverty through increases in climate resilient agricultural productivity
• Components
– Improved infrastructure (all-weather roads, irrigation & drainage) for a block of farms covering 2,000 ha
– Market Service Providers (with competition)
– Other (R&D, training, …)
Evaluation Questions
• RQ1: Will farmers’ living standards improve due to the introduction of MSP?
• RQ2: What will be the additional effect of all weather roads?
• RQ3: Do behavioral preferences (risk and ambiguity aversion, locus of control, trust) matter for this impact? And can we change them?
Evaluation Design
• Impact of MSP: Dif-in-Dif using Administrative data (from before) and baseline data (current) to match beneficiaries and other farmers (within irrigation scheme) on their level and growth in production
• Impact of all weather roads: as above, using delay in the implementation of roads
• Behavioral heterogeneity: – Examine correlation between behavioral measures and
benefits (in first year) – If justified, define intervention to change behavioral
measures (during rest of project) – RCT at individual level
Sample and data
• Data
– Administrative data: by farm, data on yields, size, crops cultivated
– Baseline data: all of the above (for matching), behavioral measures, and outcomes (yields, consumption, sales, nutrition, etc.)
– First follow up after one year: as above, plus program participation
– Second follow up after two more years: as above
Timeline
Activity When
MSP Ag 14 – Ag 16
Baseline ASAP
First follow up survey Aug 15
Finish road Nov 15
Implement behavioral
change campaign
End of 15
Second follow up survey Dec 16
Analysis, dissemination May 17