PierreLOMBRAILLaboratoireEducationsetPratiquesdeSanté

EA3412– UniversitéParis13– SorbonneParisCitéDépartementdesantépublique,HôpitauxUniversitairesParis–

SeineSt-Denis,AP-HP

Qu’est-cequel’évaluation ?

JournéedupôleressourcesenETPd’ÎledeFrance10octobre2017

Pierre.lombrail@univ-paris13.fr

www.univ-paris13.fr/leps/

Pourcommencer

• Desmodèlesentensiondanstouteslesactivités:– ensanté,enpédagogie,dansl’expérimentationsociale…– sommative/formative;normative/compréhensive

• Desméthodesplurielles(quantitatives,qualitativesoumixtes)

• Auservicedefinalitésmultiples• Partonsd’uneintroductionquébécoise…(D’après

« L’évaluationdansledomainedelasanté:conceptsetméthode ».A-PContandriopoulos,F.Champagne,J-LDenis,M-CAvargues.Revued’EpidémiologieetSantéPublique2000,48,517-539)

3

L’évaluationdansledomainedelasanté:unedéfinition(Contandriopoulos etal,2000)• « Évaluerconsistefondamentalementàporterunjugementdevaleursuruneinterventionenmettantenœuvreundispositifpermettantdefournirdesinformationsscientifiquementvalidesetsocialementlégitimessuruneinterventionousurn’importelaquelledesescomposantes,defaçonàcequelesdifférentsacteursconcernésquipeuventavoirdeschampsdevisiondifférents,soientenmesuredeprendrepositionsurl’interventionetdeconstruireunjugementquipuissesetraduireenactions. »

• « Uneinterventionpeutseconcevoircommeunsystèmeorganiséd’actionsvisant,dansunenvironnementdonné,durantunepériodedetempsdonnée,àmodifierlecoursprévisibled’unphénomènepourcorrigerunesituationproblématique. »

4

Lesfinalitésdel’évaluation(Contandriopoulos etal,2000)

L’évaluationaplusieursdimensions:- unedimensioncognitive:elleviseàproduiredesinformationsscientifiquementvalidesetsocialementlégitimessuruneactivitéhumaine

- unedimensionnormative:elleviseàporterunjugement

- unedimensioninstrumentaleouutilitaire:elleviseàaméliorerunesituation

- Unedimensiondémocratique:ellevise,enpermettantderendredescomptessuruneintervention,àprovoquerdesdébats.

5

L’évaluationdansledomainedelasanté:deuxdémarches(Contandriopoulos etal,2000)• Évaluation normative

« Elle cherche à apprécier chacune des composantes del’intervention en fonction de critères et de normes ; elle s’inscritdans un procédé de vérification de la conformité descomposantes de l’intervention par rapport à des références »(PL : cf la triade structures, processus, résultats dans l’évaluation de la qualitédes soins)

• Recherche évaluative (PL : évaluation « compréhensive »)« Elle s’intéresse aux relations qui existent entre lesdifférentes composantes d’une intervention. Elle repose surune démarche scientifique permettant d’analyser et decomprendre les relations de causalité existantes entre lesdifférentes composantes de l’intervention. Elle vise nonseulement à mesurer ce qui a été produit par l’interventionmais aussi à comprendre comment et pourquoi. »

6

Ladémarcheévaluative (Contandriopoulos etal,2000)

L’évaluation normative porte une appréciation sur leséléments suivants :– l’intervention a-t-elle été implantée telle que prévue(fidélité) ?

– l’intervention atteint-elle la population cible (couverture) ?– les ressources (« structure ») sont-elles adéquates(adéquation des ressources) ?

– le produit (service, activité) rejoint-il des normes de qualité(qualité de l’intervention)?

– les coûts réalisés correspondent-ils aux coûts prévus (coût)– l’intervention a-t-elle eu les effets escomptés (atteinte desobjectifs : efficacité) ?

7

Ladémarcheévaluative(Contandriopoulos etal,2000)

L’évaluation« compréhensive »(« rechercheévaluative »)s’intéresseauxquestionssuivantes(1):– L’interventionest-ellejustifiéeparrapportauxproblèmesdelapopulation(pertinence)?

– L’interventionpermet-ellelogiquementd’atteindrelesobjectifsprévus,lesobjectifssont-ilscohérentsentreeux(cohérence;voirle« modèlelogique »)?

– Lesressourcessont-ellesutiliséesdefaçonàmaximiserlavaleurdesservicesproduits(efficiencetechniqueouproductivité;voirle« modèleopérationnel »)?

8

Ladémarcheévaluative(Contandriopoulos etal,2000)

L’évaluation« compréhensive » (« rechercheévaluative »)s’intéresseauxquestionssuivantes(2):– Lesactivitésdel’interventiondonnent-ellesdesrésultats(efficacité,impact)?

– Àquelcoûtleseffetsdel’interventionsont-ilsobtenus(efficienceglobale,rendement)?

– Ladynamiqued’implantationdel’interventiondansuncontexteparticulierinfluence-t-elleleseffetsobservés(variabilitédeseffetsenfonctionducontexteà évaluation« réaliste »)?

9

Ladémarcheévaluative(Contandriopoulos etal,2000).Laquestiondeseffets• L’analysedeseffets s’attacheàévaluerl’influencedesservices(ouactivités)surlesétatsdesanté.Elleconsisteàmesurerl’efficacitédel’intervention,c’estàdirelerapportentrelesservices(activités)produitsetleseffets:

– efficacitéthéorique (modèleslogiqueetopérationnel),– efficacitéclinique oud’essai(dansdesconditions« idéales »,pourl’échantillontest)– efficacitéd’utilisationoupragmatique(enroutine,dansla« vraievie »,pourles« bénéficiaires »)– efficacitépopulationnelle(pourtoutlemonde,encomptantles« bénéficiaires »etlesautres)

10

Ladémarcheévaluative.Laquestiondeseffets(2)

• Quels effets ?– Attendus (objectifs : efficacité) ou au-delà (impact)– Positifs ou négatifs– Processus (« file active », % parcours complets, …) et

(ou) résultats ?– Résultats « biomédicaux » (critères biologiques et (ou)

cliniques) et (ou) « psycho-sociaux » (qualité de vie,bien-être, autonomie / pouvoir d’agir…)

• « Dans tout travail d’évaluation, il convient de séparerclairement deux questions distinctes : 1) Quels sont les objets devaleur ? 2) Quelle est la valeur de chacun de ces objets ? »*

• « L’approche de la capabilité s’intéresse d’abord et avant tout àl’identification des objets de valeur, et voit l’espace d’évaluationen termes de fonctionnements et de capabilités de fonctionner. »*

• * Amartya Sen. Repenser l’inégalité, Points économie, Seuil, 2000, 318p

L’évaluationpourlespédagogues

ExtraitdescommentairesdeM.FrançoisVasseurlorsdesaparticipationàun5à7pédagogiqueauCégep

deSherbrookeennovembre2005.www.cegepsherbrooke.qc.ca/~srd/Jped070109/evalfor

msommFV.pdf

L’évaluationpourlespédagoguesVasseur,2005

• « Toutletempsquedurelaformation(…),l’évaluationaunedoublefonction:

• •formative parcequ’elleviseàfavoriserledéveloppementdel’élèveenl’informantsursesapprentissagesetenleguidantdanslaconduitedesonapprentissage;

• •sommative encequ’ellecontribueàlacertificationfinaledel’intégrationdesapprentissagesoudela(des)compétence(s)grâceàl’informationqu’ellefournitsurledéveloppementdusavoir-penser,dusavoir-agiretdusavoir-devenirdel’élève,surleurcombinaisonetsurleurmobilisation;cetteinformationseramiseenrelationaveccellequerévélerontlesactivitésettâchesterminalesd’évaluation. »

12

L’évaluationpourlespédagogues(Vasseur,2005)• L'évaluationsommativeaunefonctioncertificative,ellemesurelasommedesconnaissancesacquisesàlafind'uneséquencepédagogique,leserreurssontalorssanctionnéescommedesmanquesoudesfaiblesses.Uneévaluationsommativeestgénéralementsanctionnéeparunenotequicompterapourlamoyenneoularéussited'unexamen.

• Dansl'évaluationformative,lebutétantderenseignerl'élèvesursesdifficultésafind'yremédier,l'erreuracquiertunstatutdifférent,elledevientunmomentderésolutiondeproblème.

13

L’évaluationdanslechampdel’expérimentationsocialeL’expérimentationsocialeàl’épreuveduterrain.Unbiland’unedécennied’expérimentationssocialesenFrance.AgenceNouvelledesSolidaritésActives,mars2014

Questionsdeméthodes:évaluationquantitative(« idéalement »

randomisée)oupas?

Méthodesd’évaluationassociéesàl’expérimentationsociale.ANSA,2014

• « Danslecontextedespolitiquessociales,l’évaluationd’impact viseàapprécierlesconséquencessocialesetpsychologiquesd’unprojet.Desméthodesquantitativessontleplussouventdéployéesdanscecadre (voirlesdéfinitionsci-dessous).Or,lesméthodesd’évaluationqualitatives – entretiens,focusgroup,observationsparticipantes– ensontcomplémentaires,permettantdecomprendrecommentledispositifaétévécuparlesbénéficiairesetprofessionnels.L’évaluationdeprocessus– focaliséesurlamiseenœuvredudispositif– estégalementunoutilessentiel.Lesévaluationsqualitativescommelesévaluationsdeprocessusfacilitentgénéralementl’interprétationdesrésultatsobtenuspardesméthodesquantitatives. »

16

Retouràl’évaluationdansledomainedelasanté:analysedel’implémentation(Contandriopoulos etal,2000)

• L’analysedel’implantations’intéresseauxrelationsentrel’intervention,sescomposantesetlecontexteauregarddelaproductiondeseffets.L’évaluationnormativemesurel’écart;l’analysedel’implantationchercheàidentifierlesraisonsdel’écart. L’analysedel’implantationestparticulièrementimportantelorsquel’interventionanalyséeestcomplexeetcomposéed’élémentsséquentielssurlesquelslecontextepeutinteragirdedifférentesfaçons.Une méthode apparentée : l’évaluation « réaliste »(Pierre Blaise, d’après Pawson et Tilley : Potvin et Hawe).Une méthode alternative : évaluation des « interventionscomplexes » (UK MRC, Moore et al, 2016)

Processevaluationofcomplexinterventions.Mooreetal,UKMRC2016.

DesfinalitésàclarifierenETP?

Desfinalitésàclarifier(1)• Plusieursordresdequestionnement:• Commentlespersonnesapprennent-elles?Comment

évoluentlesrôlesdespersonnesmaladesetdesprofessionnels?...

• Ensait-onassezsur« cequimarche »?– sait-ontoujourscommentfaire(quelsrenforcementsavec

médiation,accompagnementàl’autonomieensanté,…)– pourqui(parexemple,encasdepolypathologie,detroubles

psychiatriques…maisaussiselonleniveaudelittéracie)– quand(quelsapprentissagestoutaulongdelavieaveclamaladie)– etoù(« échelonnementraisonnédespratiqueséducatives »entre

villeethôpital)?• Ensait-onassezsurcequimarcheetpourquienfonctiondu

contexte?– detravaildesprofessionnels– deviedespersonnesmalades19

Desfinalitésàclarifier(2)• Plusieurstypesderéponses:• Ilfautapprofondirnotreconnaissancedesbesoinsd’apprentissage,évaluerl’apportdunumérique...

• Ilfautprobablementcontinueràfairedesessaiscomparatifs

• Ilfauts’assurerquelesprogrèsdesconnaissancessontconnus,appliqués(pardespersonnescompétentes)etbénéficientàtous(notammentauxplusvulnérables)

• Ilfautsurtoutcomprendrelesconditionsquipermettraientd’améliorerefficacité,efficienceetéquité

• …20

Mercidevotreattention

Desquestions?

Pourensavoirplus…

Pourallerplusloin…• FontaineD,Beyragued L,Miachon C,rédacteurs.L'évaluationen9

étapes,fichespratiquespourl'évaluationdesactionsetprogrammessanté-social.Lyon:ERSP;2008.

• GuideEVALIN:Evaluationdesinterventionsennutrition– Evalin :www.evaluation-nutrition.fr

• L’évaluation:conceptsetméthodes.SousladirectiondeAstridBrousselle,FrançoisChampagne,André-PierreContandriopoulosetZulmira Hartz.LesPressesdel’UniversitédeMontréal,2ème édition,2011.

• Approchesetpratiquesenévaluationdeprogramme.SousladirectiondeValéryRidde etChristianDagenais.LesPressesdel’UniversitédeMontréal,2009.

• Rechercheinterventionnelleensantépublique:quandchercheursetacteursdeterraintravaillentensemble.Dossier.Lasantéenaction,n°425,septembre2013.

• Processevaluationofcomplexinterventions.UKMedicalResearchCouncil(MRC)guidance.PreparedonbehalfoftheMRCPopulationHealthScienceResearchNetworkby:GrahamMooreetal.2016.

23

L’évaluationpourlespédagogues(Vasseur,2005)

• L'évaluationformativeestdoncuninstrumentderégulation– quiintervientaprèschaquetâche;– apourbutd'informermaîtreetélèvedudegrédemaîtriseatteint;

– permetdecernerlesdifficultésindividuellesd'apprentissage;

– permetd'identifierlesélèvesquiontbesoind'uncomplémentd'enseignementetdedéterminerlesmodalitéslesplusadaptéesàchacund'entreeux;

– permetd'adapterl'enseignementauxrythmesetcapacitésdesélèves.

24

L’ÉVALUATION dans le domaine de la santé :concepts et méthode

A-P Contandriopoulos, F. Champagne, J-L Denis, M-C Avargues.Revue d’Epidémiologie et Santé Publique 2000, 48, 517-539.

Introduction québécoise

25

26

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthode

• QUESTIONSPRÉALABLESAUDÉMARRAGED’UNEÉVALUATION– laproblématique:dequois’agit-il?– lesfinalités:pourquoiévalue-t-onetpourquoifaire?– laperspective :pourquiévalue-t-on?– l’intervention:qu’est-cequ’onévalue?– lecontexte :oùévalue-t-on?– lemoment :quandchoisit-ond’évaluer?– lafaisabilitéopérationnelledel’intervention :decombienderessourceshumainesetfinancièresdispose-t-on?

27

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthode

• LARECHERCHEÉVALUATIVEElle vise à analyser, par des méthodes scientifiquesvalides et reconnues, les relations qui existent entreles différentes composantes d’une intervention. Plusspécifiquement, elle vise à analyser la pertinence, lalogique, la productivité, les effets et le rendementd’une intervention explicite, ainsi que les relationsentre l’intervention et le contexte dans lequel elle sesitue.

28

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthode

• L’ANALYSESTRATÉGIQUE :

Elle vise à déterminer la pertinence del’intervention ou sa raison d’être, c’est-à-direla justesse du lien (adéquation stratégique)entre les objectifs explicites de l’interventionet la nature du problème qu’elle est censéerésoudre ou prendre en charge.

29

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthode

• L’ANALYSELOGIQUEElle consiste à déterminer l’adéquation, d’unepart entre les différents objectifs del’intervention, d’autre part entre les objectifs etles moyens (ressources, services ou activités)mis en œuvre pour les atteindre, c’est-à-direporter un jugement sur la cohérence del’intervention.Elle produit un « modèle logique » et un« modèle opérationnel »

30

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthode

• L’ANALYSEDELAPRODUCTIVITÉElle vise à étudier la façon dont les ressources sontemployées pour produire des services (activités). Lesressources sont-elles mises en œuvre de façon à optimiserles services produits ? Est-il possible de produire

plus de services avec les mêmes ressources ? Est-ilpossible de produire la même quantité de services avecmoins de ressources ?

31

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthode

• L’ANALYSEDESEFFETS:Elle s’attache à évaluer l’influence des services (ouactivités) sur les états de santé. Elle consiste à mesurerl’efficacité de l’intervention, c’est à dire le rapport entreles services (activités) produits et les effets :

– efficacitéthéorique(modèleslogiqueetopérationnel),– efficacitécliniqueoud’essai(dansdesconditions« idéales »,pourl’échantillontest)

– efficacitéd’utilisationoupragmatique(enroutine,dansla« vraievie »,pourles« bénéficiaires »)

– efficacitépopulationnelle(pourtoutlemonde,encomptantles« bénéficiaires »etlesautres)

32

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthode

• L’ANALYSE DU RENDEMENT :L’analyse du rendement

s’intéresse aux relations entre lesressources et les effets observés.Elle combine de fait l’analyse de laproductivité et l’analyse des effets.

33

L’ÉVALUATIONdansledomainedelasanté:conceptsetméthodes

• L’ANALYSEDEl’IMPLANTATIONElle s’intéresse aux relations entre l’intervention, sescomposantes et le contexte au regard de la production deseffets. L’évaluation normative mesure l’écart ; l’analyse del’implantation cherche à identifier les raisons de l’écart.L’analyse de l’implantation est particulièrementimportante lorsque l’intervention analysée est complexeet composée d’éléments séquentiels sur lesquels lecontexte peut interagir de différentes façons.Une méthode apparentée : l’évaluation « réaliste »(Pierre Blaise, d’après Pawson et Tilley : Potvin et Hawe).Une méthode alternative : évaluation des « interventionscomplexes » (UK MRC, Moore et al, 2016)

Processevaluationofcomplexinterventions.Mooreetal,UKMRC2016.

Méthodesd’évaluationassociéesàl’expérimentationsociale;ANSA,2014

• « L’évaluation avec tirage au sort d’un groupe témoin(évaluation randomisée) : L’évaluation avec assignationaléatoire des bénéficiaires à un des groupes test ou témoin(randomisation) vise à isoler l’impact pur du dispositif encomparant les résultats de l’expérimentation avec un «contrefact » (ce qui se passe dans le groupe témoin). Laméthode consiste généralement à tirer au sort lespersonnes qui vont rentrer dans le dispositif et à constituerun groupe témoin avec les personnes non retenues lors dutirage, ou alors à utiliser le tirage aléatoire pour définir à lafois le groupe test et le groupe témoin. Cette méthode al’avantage d’être simple à comprendre et donc de fairefacilement force de preuve. Or, l’évaluation avec tiragealéatoire induit naturellement des problèmes éthiques etdes questions d’inégalités d’accès à un service. »

Méthodesd’évaluationassociéesàl’expérimentationsociale;ANSA,2014• « L’évaluation ex ante/ex post : Cette méthode consiste à

comparer la situation des participants d’un dispositif avantleur entrée dans le dispositif ( ex ante ) et après ( ex post ). Ils’agit de réaliser une enquête auprès des futurs bénéficiairesdu dispositif avant son déploiement. En objectivant lasituation des personnes au point zéro, l’étape ex anteapporte les bases nécessaires pour suivre les évolutions despersonnes à travers de futures évaluations. L’étape ex postintervient après l’achèvement du dispositif afin de mesurerl’évolution des personnes pendant leur participation auprojet. L’intérêt de la méthode est qu’elle est relativementmoins complexe à déployer que les autres, notamment carelle ne nécessite pas la création d’un groupe de contrôle.Toutefois, elle ne permet pas de vérifier si les évolutionsobservées (exemple : un taux de retours à l’emploi de 20 %)sont le résultat du dispositif, ou d’autres facteurs (exemple :un marché d’emploi particulièrement favorable). »

Evaluer les actions / programmes

Évaluer la capacité à conduire des actions / programmes de qualité

Comment améliorer la qualité de vos actions en promotion de la santé ?

Guide d’autoévaluation construit par et pour des associations

INPES (ANSP) Septembre 200937