la méthode expérimentale au service des politiques publiques
Post on 13-Feb-2016
33 Views
Preview:
DESCRIPTION
TRANSCRIPT
DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4
La méthode expérimentale au service des politiques publiques
Reena BadianiEconomic Growth Center, Yale University.DIME WorkshopJune 1st
Qu’est-ce que c’est l’évaluation d’impact?L’impact est la différence entre les
résultats avec un programme et sans ce même programme
Objectif : mesurer cette différence de manière fine afin de pouvoir attribuer la différence au programme lui-même (et pas à d’autres facteurs!)
3
Objectif: Trouver un Bon Contrefactuel Il nous faut établir ce qui se serait passé en
l’absence du programme>> Il nous faut trouver un bon contrefactuel
Contrefactuel: quel auraient été les résultats sans le programme? Ex: stabilité et sécurité dans l’absence de DDR.
>> Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme.
Idéal: Le programme est la seule différence entre les participants et le contrefactuel.
2)
Pourquoi cette obsession avec le contrefactuel?!
Utilisation des semences amélioréesOR
1) Production et profits plus élevés
Informations sur les nouvelles technologies agricoles
Utilisation des semences améliorées
• Sans contrefactuel, que apprenons nous?
• Corrélation ne permet pas d’attribuer un effet causal!
Production et profits plus élevés
Avant Après02468
101214
Groupe de TraitementGroupe Traitement
5
(-4) Mesure biaisée de l’impact du programme
Ex: Programme d’accès aux semences (Avant-Après)
Avant Après0
2
4
6
8
10
12
14Groupe de ContrôleGroupe de Trai-tement
6
(-6) Impact d’autres facteurs externes
(+2) Impact du programme
Ex: Programme d’accès aux semences (contrefactuel convenable)
7
Motivation pour la méthode d’évaluation expérimentale
Il est difficile de distinguer l’effet causal de la corrélation à partir de l’analyse statistique: Nous n’observons que X se déplace avec
Y Les caractéristiques que l’on n’observe
pas sont parfois plus importantes que celles que l’on observe! ▪ Ex: la motivation, la situation politique etc.
Motivation (suite)
Le biais de sélection est un problème important pour la mesure d’impact Un projet débute dans un certain endroit pour des
raisons particulières Les participants sont choisis sur la base de critères,
ou se présentent eux-mêmes!
Ex: Les agriculteurs qui utilisent des semences améliorées se distinguent de l’agriculteur moyen!
Utiliser les agriculteurs qui utilisent les semences pour établir l’effet des semences améliorées sur les profits risque de nous induire en erreur!
9
Propriétés de la méthode d’évaluation expérimentale Au sein de l’étude, tous les individus ont la même
probabilité d’être assignés au traitement
Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées). La seule différence est le traitement Avec un grand échantillon, les caractéristiques
s’équilibrent
Cette méthode permet d’obtenir une mesure d’impact non-biaisée
10
Menu d’options pour l’assignation randomisée Loterie (couverture partielle)
Loterie pour l’accès aux semences améliorées Phasage aléatoire (couverture totale, entrée
retardée) Quelques villages peuvent acheter des semences
améliorées Assignation aléatoire à divers traitements
Certains villages reçoivent une démonstration des semences, d’autres villages reçoivent des brochures d’information.
Assignation aléatoire à une stratégie d’encouragementCertains cultivateurs reçoivent une invitation qui leur
encouragent de participer à la démonstration.
11
Menu d’options pour l’assignation randomisée Loterie (couverture partielle)
Loterie pour l’accès aux semences améliorées Phasage aléatoire (couverture totale, entrée retardée)
Quelques villages peuvent acheter des semences améliorées
Assignation aléatoire à divers traitements Certains villages reçoivent une démonstration des
semences, d’autres villages reçoivent des brochures d’information.
Assignation aléatoire à une stratégie d’encouragement Certains cultivateurs reçoivent une invitation qui leur
encouragent de participer à la démonstration.
Loterie parmi les individus/groupes éligibles
Doivent recevoir le programme
Pas éligibles
Randomiser l’assignation au programme
13
Opportunités Des contraintes budgétaires limitent la
couverture Une assignation aléatoire (loterie) est juste et
transparente
Les capacités de mise en œuvre sont limitées La même chance d’être sélectionné en
premier
Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles
14
Opportunités pour la Randomisation L’adoption d’un programme en cours n’est pas totale
(participation faible) Randomiser une stratégie d’encouragement nous informe sur les
types d’incitations qui fonctionnent
Pilote pour un nouveau programme Une bonne opportunité de tester avant le passage à grande
échelle
Changement dans la mise en œuvre d’un programme en cours Une opportunité de tester le nouvel arrangement institutionnel
avant le passage à grande échelle
15
Différents niveaux auxquels randomiser
Cela dépend du niveau auquel on intervient:
Individu/Ménage Communauté/Village
Ex: Reconstruction Communautaire
Association de femmes
Entité Juridique/District administratif
Randomisation individuelle ou par groupes? Si un programme affecte un groupe
entier, alors on randomise l’assignation au traitement au groupe entier
Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle
Randomisation individuelle ou par groupes? Si un programme affecte un groupe
entier, alors on randomise l’assignation au traitement au groupe entier
Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelleRandomisation individuelle Randomisation par groupes
18
Niveau de randomisation Randomiser à un niveau plus élevé est parfois
nécessaire: Contraintes d’ordre politique/éthique à assigner le
traitement uniquement à certains individus au sein d’une même communauté
Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions
Les effets de contamination sont parfois trop importants
Randomiser au niveau du groupe demande de nombreux groupes
19
Niveau de randomisation Randomiser à un niveau plus élevé est parfois
nécessaire: Contraintes d’ordre politique/éthique à assigner le
traitement uniquement à certains individus au sein d’une même communauté
Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions
Les effets de contamination sont parfois trop importants
Randomiser au niveau du groupe demande de nombreux groupes!
20
Validité Externe et Interne (1)
Validité externe L’échantillon est représentatif de toute la
population. Les résultats obtenus sont représentatifs de la
population. Les leçons du programme sont applicables à
tout le pays.
Validité interne L’effet mesuré d’une intervention sur la
population qui est évaluée reflète le véritable impact sur cette population
C.-à-d. les groupes de traitement et de contrôle sont comparables
21
Validité Interne et Externe (2)
Une évaluation peut avoir de validité interne sans avoir de validité externe Ex: Une évaluation d’une programme de
consultations prénatales dans des zones urbaines ne nous informe pas sur l’effet de cette même intervention sur les zones rurales
Et vice-versa Une mesure d’impact biaisée souffrira du même
biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population !
Validité interne & externe
22
Randomisation
Randomisation
Population Nationale
Echantillons de la
Population Nationale
Traitement
Validité interne
23
Stratification
Randomisation
Population Nationale
Sous-populationEchantillons de la sous-
population
Traitement
24
Validité externe uniquement
Population Nationale
Randomisation
Traitement
25
Validité externe uniquement
Population Nationale
Assignation biaiséeRésultat INUTILE!Randomisation
Traitement
26
Avantages de la méthode expérimentale Mesure de l’impact causal fiable et précise
Comparée a d’autres approches: Facile à analyser (comparaison de moyennes) Moins chère (plus petits échantillons) Facile à communiquer Plus convaincante pour les décideurs Evite les controverses d’ordre méthodologique
Que faire en présence de …?
1) Certaines interventions ne peuvent pas être assignées de façon aléatoire
2) Adoption partielle ou interventions basées sur la demande
Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitementPromouvoir le programme de façon aléatoire
Les participants choisissent de participer
27
Que faire en présence de …?
1) Certaines interventions ne peuvent pas être assignées de façon aléatoire
2) Adoption partielle ou interventions basées sur la demande
3) Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitementPromouvoir le programme de façon aléatoire
4) Les participants choisissent de participer
28
Stratégie par l’incitation - Promotion Aléatoire
Ex: Reformes qui renforcent le système légal Les individus qui reçoivent l’incitation sont plus
susceptibles de participer L’incitation est distribuée de façon aléatoire,
alors elle n’est pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu
l’incitation / n’ayant pas reçu l’incitationL’effet dû à l’incitation (Intention-de-Traiter, ITT)Effet de l’intervention sur la population qui adopte le
traitement (Effet moyen local du traitement, LATE)LATE= ITT/proportion d’individus qui ont participé
Stratégie par l’incitation - Promotion Aléatoire
Ex: Reformes qui renforcent le système légal Les individus qui reçoivent l’incitation sont plus
susceptibles de participer L’incitation est distribuée de façon aléatoire,
alors elle n’est pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu
l’incitation / n’ayant pas reçu l’incitation L’effet dû à l’incitation (Intention-de-Traiter, ITT) Effet de l’intervention sur la population qui adopte le
traitement (Effet moyen local du traitement, LATE)▪ LATE= ITT/proportion d’individus qui ont participé
Erreurs communes à éviter Calculer la taille de l’échantillon de manière incorrecte
Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées▪ Échantillonnage par grappes nous donne une taille d’échantillon de
1 !
Mener une collecte de données différente au sein de groupes de contrôle et de traitement
Inclure les individus qui se sont désistés au groupe de contrôle Cela annule la randomisation!
31
32
Quand cette stratégie n’est-elle vraiment pas possible?
Le traitement est déjà assigné et annoncéet il n’y a pas de possibilité d’expansion
Le programme est achevé (rétrospective) présence d’une expérience naturelle ?
Eligibilité et accès universels Ex.: campagne d’information universelle, éducation
gratuite pour tous, régime du taux de change Parfois on peut randomiser certaines composantes…
La taille de l’échantillon est trop limitée pour permettre une analyse crédible
33
Merci!
top related