Module 6- Méthodes et techniques de l'évaluation

et critèresQuestions

Qualité

Comment sera faite l'évaluation

Méthodes et techniques

22

Méthodes et techniques de l'évaluationContenu:

1- Méthodes, techniques et outils

2- Méthodes d'évaluation de l'impact

3- Les techniques couramment utilisées en évaluation

33

• Descriptives Données disponibles Etude de cas Enquête statistique

Données disponibles Etude de cas Enquête statistique Analyse coûts-bénéfices Analyse coût-efficacité

Recherche de relations causales Analyses statistiques Analyses prévisionnelles

Questions et techniques

• Normatives

• D'impact

Chaque question d'évaluation est reliée à des techniques particulières

44

Chaque question d'évaluation suppose

une démarche particulière au terme de laquelle l'évaluateur aura rassemblé les éléments nécessaires à la construction

d'un raisonnement (argumentaire) lui permettant d'exprimer

un jugement valide (ou convaincant).

55

1) Je vais identifier ce qui était prévu dans les documents de départ,

2) Je vais reconstituer ce qui s'est passé réellement

Analyse documentaireEntretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension

Comment répondre à cette question ?

Analyse documentaire, lecture des dossiers

d'archive

Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité

Exemple de question :

La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?

66

La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?

3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions

4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais

Etablissement d'un chronogramme

rétrospectif

Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions

Construction de l'argumentaire

C'est la démarche que je me propose de suivre pour répondre à cette

question

Exemple suite :

77

Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes

supposent l'usage d'outils ou d'instruments

Techniques

- Analyse documentaire- Revue de dossiers- Entretiens individuels- Groupes de discussion

Outils/instruments

- Guides d'entretien- Chronogrammes

La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?

Exemple suite :

88

Seconde question à choisir avec le groupe, si possible sur l'efficience

Dérouler ensemble le raisonnement :

- Comment répondre à la question (avec éventuel retour à la formulation même de la question) ?

- Quelle démarche dérouler ?

- En utilisant quelles techniques et quels outils ?

Comparer avec la démarche précédente

Deuxième exemple :

99

Questions et critères

démarche pour répondre à la question 1

démarche pour répondre à la question 2

démarche pour répondre à la question 3

Ensemble de la démarche

pour une évaluation

1010

L'ensemble de la démarche de

l'évaluation est composé d'outils, de techniques et d'une

méthode

Le terme "méthode" est en général utilisé pour désigner la démarche qui

concerne l'évaluation de l'impact

1111

Comment mesurer l'impact (les effets) d'un

programme ? C'est la principale questions méthodologique de

l'évaluation

La raison d'être d'un programme

est de produire un effet ou un impact

Impact

Effets

Résultatsdirects

Activités

Moyens

Finalité

Objectif

Au coeur de l'évaluation, la mesure des effets

1212

Deux problèmes sont à résoudre :

1) Dans quelle mesure peut-on identifier un effet (le revenu augmente, la prévalence d'une maladie diminue, ...)2) Dans quelle mesure cet effet est-il attribuable au programme (et non pas à une autre cause).

Pour tenter de responder, du mieux possible, à ces deux questions, des méthodes qui sont spécifiques à l'évaluation sont utilisées

Méthodes d'évaluation de l'impact

1313

Question clé de l'évaluateur :

Que ce serait-il passé pour les bénéficiaires si le programme n'avait

pas eu lieu ?

Comment refaire l'histoire ? Comment construire une base de comparaison ?

L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles

Méthodes d'évaluation de l'impact

1414

Causes possibles

Groupes observés

Résultats de l'observation (effets)

Toutes les autres

influences

Le projet ou la politique

Groupe de

contrôle

Groupe expérimental

Résultats au niveau du groupe de contrôle Résultats au

niveau du groupe expérimental

Résultats nets (attribuables

au projet ou à la politique)

La seule solution indiscutable : l'expérimentation idéale

1515

Théoriquement, une seule observation

finale est suffisante. Mais le groupe de contrôle doit être construit avec de

grandes précautions pour garantir la comparabilité.

Temps

ProgrammeBénéficiaires

30

Groupe de contrôle équivalent

10

17

Effet ou impact = 13

Niv

eau d

e r

evenu

L'expérimentation idéale avec groupe de contrôle équivalent

1616

Dans la pratique, il est extrêmement difficile de construire un groupe de contrôle strictement comparable :- problème éthique (condamner un groupe à ne pas être bénéficiaires)- difficultés de trouver un groupe équivalent hors projet- coût

Cette solution n'est donc pratiquement jamais utilisée

L'expérimentation idéale avec groupe de contrôle équivalent

1717

TempsProgrammeBénéficiaires

30

Groupe de contrôle non équivalent

10

17

Effet ou impact = 13

Niv

eau d

e r

evenu

14

21

Construction d'une situation de référence.

Une grande quantité d'observations sur les situations avant

et après est nécessaire.

Comparaison avec un groupe de contrôle non équivalent

1818

TempsProgramme

Bénéficiaires

30

10

17

Effet ou impact = 13

Niv

eau d

e r

evenu

14

21 Construction d'une situation de référence par choix, dans une large enquête sur la situation de départ, des unités hors projet ayant les caractéristiques des bénéficiaires.Large enquête descriptive

Comparaison avec un groupe de contrôle reconstitué a posteriori

1919

TempsProgramme

Bénéficiaires

30

10

17

Niv

eau d

e r

evenu

14

21

La conclusion sur l'impact manque de

précision et de solidité. L'existence de

séries temporelles permet d'améliorer la

conclusion.Large enquête descriptive

Effet ou impact ?

Base Line

Study

Séries temporelles

?

Evaluation sans groupe témoin, par comparaison avant / après

2020

Temps

ProgrammeBénéficiaires

30

Niv

eau

de

reven

u

La conclusion sur l'impact est

impossible; Il est possible d'indiquer que l'objectif a été atteint (l'effet s'est produit), mais sans pouvoir attribuer ce

résultat au programme

Effet ou impact ?

Evaluation par simple observation après mise en oeuvre

2121

Groupe témoin équivalent (véritable expérimentation)

Groupe témoin non

équivalent

Evaluation sans groupe témoin

Evaluation par comparaison avec un groupe témoin

Observation apres

Observation avant et après mise en oeuvre

après mise en oeuvre -

+++

++

+

Qualité

4 grandes familles de méthodes d'évaluation

2222

-Evaluation par simple observation après mise en oeuvrePossibilités: Très simple à mettre en œuvre. Est appropriée pour

des évaluations de moyens et de réalisation. Permet de : (i) constater de quelle manière la politique a été mise en œuvre ; (ii) mesurer ses résultats immédiats (outputs) (iii) améliorer la compréhension des comportements des groupes concernés et des instruments ou mécanismes.

Limites: Difficulté d'isoler les effets de la politique des autres facteurs possibles d'évolution Grand risques de subjectivité. Peut difficilement être utilisée pour évaluer l'impact ou pour fournir un schéma explicatif des phénomènes observés. Des liens de causalité peuvent être suggérés, mais les conclusions tirées à ce niveau demeurent fragiles et leurs possibilités d'extension à d'autres situations sont limitées.

Techniques utilisées : Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, calculs de ratios, comparaison avec des normes, ...

2323

+Evaluation par comparaisonavant / après

Possibilités: Très répandue. Correspond à la démarche naturelle d'évaluation : chercher à vérifier que la période de mise en œuvre de la politique a coïncidé avec une modification de certains indicateurs. Mêmes possibilités que ci-dessus. Permet de plus une description plus fine et quantifiée des effets.

Limitations: Mêmes limitations que la méthode précédente. Mais possibilité d'utiliser des indicateurs plus précis, de faire de nombreux recoupements pour éprouver la robustesse des résultats.

Techniques utilisées: Suppose de pouvoir utiliser une bonne description de la situation de départ (base line) pour tous les indicateurs de résultat du projet. Examen de dossiers, observation directe, opinion d'experts, étude de cas, enquêtes statistiques, analyses de données, analyse de séries temporelles, calculs de ratios, comparaison avec des normes, ...

2424

++Evaluation par comparaison avec un groupe témoin non équivalentPossibilités: Comparaison du groupe cible concerné par la politique avec un groupe témoin dont les caractéristiques ne sont pas complètement semblables. Permet de (i) mieux cerner l'impact ou les effets externes d'une politique (sans garantir la relation causale) et (ii) révéler des mécanismes et des comportements face à des politiques incitatives.

Limitations: Pertinence limitée pour pouvoir déduire sans ambiguïté des relations causales. Une multiplication des groupes témoins permet de consolider les conclusions. Lorsqu'un groupe est spécialement constitué pour l'évaluation sans être toutefois "équivalent" l'utilisation de techniques statistiques complexes permet parfois d'isoler les biais résultant de la non-équivalence (cas d'une"quasi-expérimentation").

Techniques utilisées : Étude de cas, enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

2525

+++

Evaluation par comparaison avec un groupe témoin équivalent (véritable expérimentation)

Possibilités: La seule procédure totalement rigoureuse d'évaluation, utilisée notamment dans le domaine des thérapeutiques (évaluation des effets d'un traitement médical). Elle permet d'identifier sans équivoque des relations de causalité et donc les effets propres d'une politique ou d'un projet.

Limitations: La constitution d'un groupe témoin équivalent, qui doit avoir lieu avant le démarrage du projet ou de la politique et obéit à des règles particulièrement strictes, se heurte à de nombreux problèmes de faisabilité dans le domaine des politiques socio-économiques. Peut-être contraire à l'éthique.

Techniques utilisées : Enquête statistique, analyse de données, analyse de séries temporelles, analyse multivariée, modélisation

2626

Techniques, outils, instruments ...Pratiquement toutes les techniques des sciences

économiques et sociales, en particulier les statistiques, sont utilisables en évaluation:

• Entretiens• Groupes de discussion• Recherche documentaire• Revue des dossiers d'archive• Enquête par questionnaire• Etude de cas• Tests de connaissances ou d'aptitudes• Enquête d'opinion• Analyse de contenu• ...

2727

Techniques, outils, instruments ...

Une des qualités de l'équipe d'évaluation est d'être capable d'identifier/imaginer les démarches techniques qui permettront d'aboutir à des conclusions d'évaluation convaincantes, pour chacune des questions.

2828

Techniques, outils, instruments ...

Il n'est pas possible, dans le cadre de cet atelier, d'entrer dans le détail de chacune de ces techniques ou des outils et instruments utilisables. D'ailleurs un évaluateur ne maîtrise pas forcèment toutes les techniques et doit souvent faire appel à des spécialistes

Nous verrons quelques-unes des techniques les plus courantes dans le cours des exercices

2929

Techniques, outils, instruments ...

Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes suivants :

- Collecte des données- Entrevues, groupes de discussion- Observations directes, études de cas- Analyse des données- ...