Évaluation - upns.fr · exemple d’intervention : programme de maternité à moindre risque...
TRANSCRIPT
ÉVALUATION
Marion Ravit, Ingénieur biostatisticienne, UVSQ.
Economiste de la santé
DU médecine humanitaire en gynécologie et obstétrique 8 décembre 2015
Définition
Définitions
Pas de définitions unique de l’évaluation (diffère selon les
organisations)
L'évaluation est un processus qui vise à déterminer aussi
systématiquement et objectivement que possible la pertinence,
l'efficacité, l'efficience et l'impact des activités à la lumière des
objectifs fixés.
C’est un processus organisationnel et un outil de gestion orientée vers
l'action pour améliorer à la fois des activités courantes et la planification
future, la programmation et la prise de décision.
Unicef, guide pour le monitoring et l’évaluation
Évaluer:
• Comprendre ce qui se passe
• Porter un jugement sur tout ou partie d’une intervention
• Développer les connaissances
Pourquoi évaluer ?
2 grands objectifs :
• Permet aux responsables d’un programme de rendre des comptes
dans une perspective d’imputabilité = évaluation sommative (ex post)
• Produire des informations utiles pour corriger la manières dont les
activités d’un programme sont mises en œuvre = évaluation formative
(pendant la mise en œuvre)
+
• Améliorer l’état des connaissances à propos de l’efficacité d’une
intervention (construction d’une théorie et publications d’article)
• Moyen de renforcer la capacité d’agir des participants
Pour qui évaluer ?
- Pour les financeurs
- Pour les participants
- Pour les citoyens (utilisateurs, non utilisateurs…)
- Pour vous-même
Souvent évaluation = sanction.
Mais c’est une étape qui permet interrogation et remise en cause de ses
propres pratiques.
Évaluer un partenariat dans un souci de qualité et une aide extérieure peut être
utile pour réorienter ou redynamiser les projets en cours.
L’objectif de l’évaluation n’est pas de remettre en cause un partenariat
dans son ensemble mais bien de redéfinir et réorienter les priorités.
Quand évaluer?
• Avant
• Pendant
• Après
La mise en œuvre de l’intervention
Planifier une évaluation
Phases de l’évaluation
1/ Phase préévaluative
2/ Phase évaluative
+
3/ Utilisation des résultats de l’évaluation pour la prise de décision
(responsabilité de l’évaluateur?)
Phase préévaluative
Objectifs :
- Est-il possible de réaliser une évaluation?
- Toutes les informations nécessaires à l’évaluation sont-elles
disponibles?
Modèle logique de l’intervention à évaluer : quelles sont les
activités prévues et les effets attendus?
=> Définitions de questions d’évaluation.
Figure : Représentation générique de la logique d’une intervention
Participants
Exemple d’intervention : programme de maternité à moindre risque
Mortalité, morbidité des femmes en âge de procréer
Réduire la mortalité maternelle
Participants
Région de l’Afrique
Ressources financières et humaines nécessaires à la mise en place des activités
Livres, bâtiment de la maternité
Processus : formation, chantier de construction
Patientes et sages-femmes Qualité des soins
Réduction du taux de mortalité maternelle
Autres programmes (éducation des filles), changements contextuels
Questions d’évaluations :
Les commanditaires veulent tout savoir sur tout, en peu de
temps et dans un budget restreint.
Contraintes de l’évaluation :
- Ressources
- Temps
- Accès aux données
+
- Critères politiques ou stratégiques
Contraintes de ressources
• Limitation de la portée de l’évaluation
- Information: mesures de résultats, réalisations intermédiaires
mesures tardives
- Sources d’information primaires (vs secondaires)
- Comparateurs: situations de référence (prétests/témoins)
• Restriction de la démarche d’évaluation
- Préparation: capacite à préparer, organiser l’évaluation
- Equipe: constitution d’une équipe pluridisciplinaire/appropriée
- Méthodes: choix du devis, validation méthodes et instruments
- Travail de terrain, analyses, revue des résultats, restitutions.
• Dépendance à l’égard des commanditaires du programme
- Risques d’interférence, propriéte des résultats
- Contraintes à la diffusion des résultats de l’évaluation.
Bamberger, 2006
Contraintes de temps
• Restriction des fenetres d’observation
- Faisabilité d’un pré-test
- Capacité à mesurer des résultats de moyen-long terme
- Capacité à mesurer des impacts (vs extrants–effets).
• Pressions sur la conduite de l’évaluation
- Pression sur leprocessus de planification de l’évaluation, le
travail de terrain, la revue des résultats, les restitutions.
• Pressions pour la présentation des résultats
- Limitent le travail de recoupements, de confrontation des
sources et des indicateurs,
- conditionnent l’ampleur ,la rigueur des analyses, les efforts de
validation avec les acteurs de terrain
Bamberger, 2006
Contraintes de données
• Restriction des comparateurs possibles
- Devis réflexif: situation prévalant avant le programme
- Devis comparatif: témoins non exposés (avant ou apres)
• Capacité à générer des données primaires?
- Des données populationnelles (utilisateurs vs populations)
• Indicateurs de succes
- Effets de long terme, impacts populationnels
- Réalisations intermédiaires
• Mise en contexte des réalisations
- Contexte
- Histoire de l’intervention
• Recours à des sources secondaires:
- Pertinence, qualité des données (i.e.: administratives); stabilité des
méthodes/ instruments. Bamberger, 2006
La mise en œuvre d’une
évaluation : types et
approches
Types d’évaluation
Type d’évaluation : objet sur lequel porte le jugement de
l’évaluateur.
Composant du programme ou relation entre ses composantes.
Figure : Les types d’évaluation et leurs relations avec les composantes d’un programme
Participants
BESOINS
PERTINENCE
BESOINS
BESOINSPROCESSUS EFFICIENCE
EFFICACITE IMPACT
• Peu importe le type d’évaluation : toujours analyser le
contexte. Selon sa nature, un programme n’aura pas les
memes effets et ne sera pas mise en œuvre de la meme
façon.
• Prendre en compte les effets imprévus (favorables ou non).
• Dans l’évaluation d’efficience ou « évaluation économique »
: minimisation des coûts, coût-efficacité, coût-utilité et coût-
bénéfices.
• Possibilité de réaliser une évaluation de l’équité (rarement
fait).
Les approches évaluatives
= Manière dont les experts interagissent avec les individus
concernés par l’évaluation.
Façon dont l’évaluateur assume son rôle.
L’approche utilisée varie en fonction :
- Des situations
- De l’organisation dans laquelle l’évaluateur évolue
- De ses caractéristiques personnelles
- Des besoins précisés par les personnes concernées
Pas d’approche meilleure qu’une autre, il faut prendre la plus
pertinente.
Approche directive
Evaluateur = rôle d’expert :
- Neutre et distant par rapport à l’objet évalué
- Dirige l’ensemble des opérations et prend les décisions
- Différents acteurs ne sont que des sources d’information
à un moment donné
- Seul juge de la valeur et du mérite d’un programme
Approche axée sur le développement d’n programme
Les résultats et le processus de l’évaluation sont utilisés
pour faire évoluer le programme au cours de sa mise en
œuvre.
Evaluateur =
- membre de l’équipe du projet
- Participe aux décisions
- Guide les parties prenantes pour que le projet
s’améliore, s’adapte et réponde aux besoins des
participants
Approche moins connue.
Approche participative
Processus évolutif selon une démarche de coopération
entre des évaluateurs et des personnes concernées par
l’évaluation mais qui ne sont pas des évaluateurs
professionnels.
3 raisons :
- pragmatique (augmente les chance de réussite et
maximise l’utilisation des résultats)
- Politique (souci démocratique de participation citoyenne
et d’émancipation)
- Épistémologique (pluralité des points de vue essentielle).
2 tendances dans l’approche participative :
Evaluation pratique
Pour résoudre des problèmes, à améliorer un programme
et prendre des décisions.
Partenariat égalitaire entre l’évaluateur et les parties
prenantes.
Evaluation émancipatrice
Processus évaluatif doit favoriser l’accroissement du
pouvoir d’agir (empowerment) des parties prenantes, dans
une perspective de justice sociale.
Décisions prises par les parties prenantes et non
l’évaluateur.
Normes de pratique
• OICÉ : Organisation internationale de coopération en
évaluation (2003).
• En Afrique de l’ouest francophone : en 1999, Réseau nigérien
de suivi et d’évaluation (ReNSE). Quelques associations
professionnelles d’évaluateurs dans cette région mais rares.
• But des associations : normes de pratiques, codes d’éthique,
liste de compétences essentielles.
Exemple d’évaluation : Évaluation d’impact du forfait
obstétrical mis en place en
Mauritanie
Présentation du forfait obstétrical
Problématique : Réduction de la mortalité maternelle et infantile en
Mauritanie dans le cadre des Objectifs du Millénaire (OMD 4 et 5)
Initiative: Le forfait obstétrical ou « forfait grossesse »
But : Améliorer l’accès aux soins et diminuer la mortalité maternelle,
péri- et néonatale :
- Un système de recouvrement des coûts (assurance de partage de
risque)
- Prise en charge la surveillance de la grossesse et de
l’accouchement
Il vise particulièrement l’amélioration de l’accessibilité des femmes les
plus démunies aux soins préventifs et curatifs de qualité lors de la
grossesse, de l’accouchement et du post-partum.
Forfait obsétrical : en quoi consiste-t-il?
Historique
À partir de 2002 déploiement du Forfait obstétrical (FO)
soutenu par les autorités sanitaires Mauritaniennes et
l’Agence Française de Développement (AFD).
Déploiement du Forfait obstétrical (FO)En 2011, 15 Moughataa avaient adhéré au FO
Appui pour réduction de la mortalité
maternelle et infantile en Mauritanie :
• Renforcement de l'accessibilité et de la qualité de la prise
en charge obstétricale (forfait obstétrical). Mise à disposition
des centres de santé d’un fonds de roulement et
d’équipements, formation du personnel de santé et des
gestionnaires du forfait, sensibilisation des populations.
• Renforcement des capacités du ministère de la Santé
pour la coordination et le suivi de la stratégie nationale de
santé de la reproduction (Assistance technique auprès du
Programme National de Santé de la Reproduction - PNSR)
• Amélioration de la prise en charge des problèmes
néonataux
Objectif primaire de l’évaluation
Évaluer l’effet de la disponibilité du FO sur l’amélioration de
la disponibilité, de l’accès et de la qualité des soins
maternels et périnataux en Mauritanie depuis sa création
Objectifs secondaires• Accès au soins de santé maternels :
- Contraception
- CPN qualifiée, CPN 4
- Accouchements assistés, césariennes
- CPON
• Santé néonatale :
- Mortalité à 7j et 28j
• Disponibilité et qualité des soins :
- Actes ou soins disponibles
- Qualification du personnel
- Taux de létalité et autres
- Matériel, médicaments et strucutres
• Pérennité
• Equité
Méthodes• Utilisation de données secondaires : bases de données issues
d’enquêtes ménages et d’enquêtes de routine institutionnelle entre
2001 et 2011
• Entrevue avec les partenaires : mission à Nouakchott
3 étapes :
1/ Création d’une plateforme de données
2 bases : données ménages (individuelles) et base SONU
2/ Design quasi-expérimental
Hiérarchisé (grappe niveau 1)
Contrôle/ Intervention (FO)
Avant/ Après
3/ Analyses statistiques
Différence des différences (DID)
Rapport de côtes (OR)
Séries chronologiques interrompues (ITS)
Analyses statistiques : variable d’ajustement
-Zone (Ouest, Sud ou Nord)
-Moughataa de Nouakchott (oui/non)
-% d’adhésion au FO
-Formation sanitaire la plus élevée dans la moughataa de résidence (poste,
centre, hôpital)
-Formation sanitaire la plus élevée dans la commune de résidence (poste,
centre, hôpital)
-Résidence en milieu rural/urbain
-Taille du ménage
-Catégorie du score de richesse du ménage
-Éducation, statut marital (oui/non)
-Catégorie d’âge (<18. 18-35 et 35+)
-Parité, grossesse multiple (oui/non)
Résultats :
Sur les différents objectifs :
• Accès au soins de santé maternels
• Santé néonatale
• Disponibilité et qualité des soins
• Pérennité
• Equité
Discussion
- Biais (niveau d’étude: la moughataa, migration des femmes
d’autres Moughataa)
- Manque d’information sur l’existence du FO parmi les
femmes? Accès à l’information
- Interventions en parallèle indépendamment du FO (écoles
médicales rurale , formation de gynécologues obstétriciens,
ONG, ….)
=> Nécessité d’études qualitatives et complémentaires
Exemple d’évaluation : Etat des lieux de la mise en œuvre
de la PTME dans les districts de
Dakar, points forts, points faibles et
recommandations.
Contexte
Estimation VIH 2014 (ONUSIDA) au SénégalTaux de prévalence chez les adultes de 15 à 49 ans :
0.5% [0.4% - 0.6%]
(en 2005 : 0.7%)
PTME au SénégalJuillet 2000 : le Sénégal a mis en place dans 3 sites à Dakar un projet
pilote de PTME.
Objectif: rendre plus accessible le dépistage du VIH chez femmes
enceintes lors des consultations prénatales, de diminuer
significativement les nouvelles infections à VIH chez les nouveau-nés
nés de meres séropositives par la prophylaxie ARV et l’alimentation
artificielle.
Au vu des résultats encourageants de la phase pilote, la
décentralisation a été initiée en 2004.
Source : Site de la DLSI
Évolution du nombre de femmes enceintes dépistées
Fin 2006: une faible proportion (53%) de femmes enceintes a bénéficié du conseil dépistage lors des CPN. 46% de femmes enceintes séropositives ont bénéficié d’une ARV prophylaxie complète ; ce qui est très loin de l’engagement d’offrir la prophylaxie ARV à 80% de femmes enceintes séropositives en fin 2005 pris par les pays signataires de la déclaration de l’assemblée extraordinaire des Nations Unies en 2001.
Objectif :
Réaliser un état des lieux de la PTME dans les districts de Dakar
: points forts, points faibles et recommandations.
Pourquoi pas une évaluation d’impact? Analyse de l’efficacité :
peu de données et ne permet pas forcément de comprendre le
succès ou l’échec dans la mise en oeuvre
Pourquoi pas sur tout le Sénégal? : peu de moyens
=> Enquête auprès des femmes enceintes et du personnel
qui dispense la PTME
Méthodes
• Méthode d’échantillonnage sur place pour les femmes enceintes
(méthode empirique) car nous ne pouvions savoir en arrivant dans
le centre de santé le nombre exact de femmes enceintes qui serait
reçu en consultation dans la journée. L'échantillon étudié est défini
par un lieu, ici le service maternité du centre de santé de chaque
district. La population à enquêter est caractérisée par les femmes
enceintes venant d’être reçues en consultation prénatale.
• Personnel de santé : enquête auprès de tous les prestataires
impliqués dans la PTME et plus précisément le personnel en contact
avec les femmes enceintes présent au moment de notre passage :
gynécologues, sages-femmes, assistants sociaux et médiateurs.
Les différents points abordés dans notre enquête ont été,
entre autres : les connaissances qu’ont les femmes sur la
PTME, l’information du personnel de santé sur le protocole
mis en place, le déroulement des CPN, l’organisation de la
structure de santé, ou encore les tests de dépistage.
PrésentationNous sommes actuellement en stage au sein du ministère de la santé, dans la division de lutte contre le Sida et les IST. Ce questionnaire a pour but de recueillir vos impressions sur le déroulement des CPN et de ce qui vous est proposé par ce centre. Nous vous remercions de nous accorder quelques minutes pour le remplir avec nous.Ce questionnaire est anonyme.
Compréhension du français : …………
1) Quel âge avez-vous?………………………
2) Quel est votre statut matrimonial ?a. Mariéeb. Célibatairec. Veuve
3) Quel est le revenu mensuel de votre foyer ? (Métier du mari)a. Moins de 30 000 FCFAb. Entre 30 000 et 100 000 FCFAc. Plus de 100 000 FCFA
4) Est-ce votre première CPN dans ce centre pour cette grossesse? a. Ouib. Non
5) Si non, combien de CPN avez-vous déjà réalisé dans ce centre ? ……………………………
6) Avez-vous déjà suivi une CPN en dehors de ce centre ? a. Ouib. Non
7) Si oui, pourquoi avez-vous changé ? a. Déménagementb. Famille, connaissance travaillant dans le centrec. Qualité du centred. Autre
8) Avez-vous déjà entendu parler de la PTME ?a. Ouib. Non
Si non, allez à 12)
Extrait : Questionnaire pour les femmes enceintes
Résumés des résultatsLa quasi-totalité du personnel concerné a été formé en PTME,
ce qui représente une grande réussite, puisque le programme
PTME ne peut être efficace sans personnel qualifié.
Beaucoup de points restent à améliorer tels que :
- la connaissance que les femmes ont de la PTME
- le temps d’attente des femmes dans le centre
- le fait que toute les femmes enceintes ne se voient pas
proposer le test de dépistage du VIH/Sida lors de leur 1ère
CPN.
Les principaux problèmes rencontrés par le personnel de santé
dans la mise en œuvre de la PTME semblent etre le manque de
moyens et de disponibilité de produits, particulièrement de lait
artificiel, la confidentialité des consultations, le manque de
personnel, le manque de motivation de certains prestataires. Le
manque de moyens de communications est aussi à souligner.
Exemples de recommandations :
Les centres de santé disposent presque tous de télévisions
et sachant que les femmes attendent généralement
plusieurs heures avant de passer en CPN, il serait sans
doute possible de diffuser des K7 de sensibilisation sur la
PTME sur les télévisions disposées dans les salles
d'attente.
Cela permettrait d'informer les femmes sur la PTME, de
corriger les inexactitudes propagées par les médias de
masse et de sensibiliser les femmes pour qu'elles
acceptent ensuite le test qui sera proposé durant la
consultation prénatale.
Exemples de recommandations :
Seul 1/3 des femmes interrogées, et ayant déjà réalisé le test de
dépistage du VIH/Sida, ont bénéficié du test rapide et ont obtenu leur
résultat en moins d’une heure.
Les centres de santé équipés de tests rapides sont les plus
efficaces et ont les meilleurs taux d'acceptation et de réalisation du
test de dépistage du VIH/Sida. Cela peut s'expliquer par la forte
réduction du temps d'attente pour la femme enceinte.
Si la femme doit revenir le lendemain ou le surlendemain, il peut arriver
qu'elle refuse finalement d'avoir le résultat du test, après avoir parlé à
des membres de sa famille ou à des amies. La mise en place
généralisée du test rapide permettrait de contourner ce problème.
Le test rapide est fait directement par les sages-femmes. Il faut donc
que celles-ci aient été formées pour faire le test. Cela implique une
augmentation de la charge de travail pour les sages-femmes.
Il faudra associer les sages-femmes à la généralisation du procédé.
CONCLUSION
Evaluer pour évoluer!
• Evaluation ne doit pas être une sanction.
• Evaluation doit permettre d’améliorer une intervention, des
pratiques.
• Evaluation peut (et doit) se faire à tous les niveaux.
• Evaluer, c’est se remettre en question!
MERCI!
Références
• A UNICEF Guide for Monitoring and Evaluation.Making a Difference? : http://preval.org/documentos/00473.pdf
• Ridde V, Dagenais C (sous la direction de), (2009), Approches et pratiques en évaluation de programme, PUM, 358p
• Bamberger M, J. Rugh, et L. Mabry (2006), RealWord Evaluation : working under budget , time, data and political constraints, Sage publication
• http://www.centraider.org/les-outils/conseils-methodologiques/291-fiche-technique-n10---evaluer-son-projet-de-cooperation-et-de-solidarite-internationale.html
• http://www.centraider.org/les-outils/conseils-methodologiques/219-fiche-technique-n5--elaborer-la-strategie-de-votre-projet-cadre-logique.html
• http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/2006/03/29/000090341_20060329094344/Rendered/PDF/207450FRENCH0iehandbook1fr.pdf