povertyactionlab.org poverty action lab traduire la recherche en action

povertyactionlab.org

Poverty Action Lab Traduire la Recherche en Action

povertyactionlab.org

Qu’est ce que l’évaluation?

Bruno Crépon

CREST and Poverty Action Lab

Qu’est ce que l’évaluation

Un exemple réel

Programme d’accompagnement des demandeurs d’emploi

Programme• Quels étaient les Programmes?

– Accompagnement des chômeurs dans leur recherche d’emploi• Programme Cap Vers l’Entreprise• Programme Opérateurs Privés

• Où ont-ils été développés? – Dans plusieurs régions de France

• Quand est-ce qu’ils ont été réalisés ? – Débuté en janvier 2007 et pris fin en mars 2008

• Qui a fourni l’accompagnement? – L’Agence Nationale Pour l’Emploi pour CVE– L’Unédic pour les OPP

• A qui étaient-ils destinés ?– Chômeurs présentant un risque de chômage de longue durée.

Pourquoi les programmes ont-ils été développés?

Programme

Accompagnement des demandeurs d’emploi

• Pour répondre à un besoin– Compenser le manque de connaissance du

marché du travail de certains demandeurs d’emploi

– Concentrer l’encadrement humain sur ces demandeurs d’emploi (portefeuilles des accompagnateurs passant de 120 à 60 DE)

Programme

Accompagnement des demandeurs d’emploi • Pour réaliser des économies

– Aider rapidement ceux dont on sent qu’ils auront du mal plutôt que de les indemniser longtemps

– Eviter qu’ils restent longtemps en chômage et perdent du capital humain

• Programmes concurrents– Même public mais prestataires privés (OPP) ou public

(CVE)– Contexte d’ouverture du marché de l’accompagnment

Quelles sont les questions auxquelles une évaluation doit

répondre?

Questions…

• Les programmes d’accompagnement sont-ils un outil de recherche efficace ?– Quels sont les moyens quantitatifs mis à la disposition des DE

• Quels sont les objectifs quantitatifs• Les programmes sont-ils bien conçus?

– Quelles sont les phases du programmes– Combien de temps dure l’accompagnement, que se passe-t-il après– Où les services sont-ils délivrés?

• Les DE ont-ils besoin de l’accompagnement ? • Les DE sont-ils intéressés?• L’organisation du porgramme est–elle efficace?

– Comment se passe l’orientation et la réception chez les prestataires publics/privés

Questions…• Quels DE cible-t-on?• Les DE acceptent-ils l’accompagnement?

– Quels sont ceux qui l’acceptent– Pourquoi certains refusent-ils l’accompagnement ?

• Les DE recherchent-t-ils mieux un emploi?– Pendant l’accompagnement– Aprés

• Les DE s’intègrent-ils mieux dans l’emploi? Selon quels critères/mesure? • Quels sont les coûts du programme CVE• Quelles sont les types de prestations distribuées- quel est leur coût?• Quel programme est le plus efficace? Selon quels critères/mesure• Ces bénéfices sont ils à la mesure des coûts ? Quel est le rendement

social?– Est-ce une bonne affaire– Comment sont rémunérés les opérateurs– Serait-il possible de concevoir une meilleure utilisation des fonds?

Organisation des questions

Evaluation Evaluation des besoinsdes besoins

EvaluationEvaluationdede

L’impactL’impact

Evaluation du

processus

Evaluation des besoins

• Quelle est la population ciblée ? – Tous les DE ? Ceux qui ont les risques les plus

importants ? Ceux qui ont les indemnités les plus longues? Comment identifie-t-on ces demandeurs?

– Pourquoi répondre à cette question ?

• Quelle est la nature du problème à résoudre ?– Comment les programmes vont-ils le résoudre ?– Pourquoi répondre à cette question ?

Evaluation des besoins

• Dans quel cadre s’insère le programme?– Y a t-il un manque? – Ce besoin est-il déjà satisfait par d’autres moyens ?

• Quels sont les autres besoins?– Quels seraient les bénéfices qu’il y aurait à satisfaire ces

besoins ?– Quel est le bénéfice que devrait avoir le programme pour

égaliser le bénéfice de satisfaire d’autres besoins ?

Que doit fournir l’évaluation des besoins

• Population ciblée doit être bien définie– DE ayant des difficultés dans la recherche qui ne soit pas

réglées par d’autres programmes– DE ayant un risque de chômage de longue durée

• Conception du programme doit être claire– Quelle est la gamme de service qui manque?– Comment la fournir ? Combien en fournir ? Quels sont les

obstacles potentiels ?

• Bonne idée de la nature des bénéfices du programme– Une carence a été comblée ? Un avantage a été étendu ?

• Les alternatives doivent être connues– Cet accompagnement est-il le plus efficace et le plus rentable

pour subvenir aux besoins de la recherche ?

Evaluation de Processus

• Les services sont-ils délivrés ?– Quelles sont les prestations fournies par les prestataires– Quelle est leur qualité

• Peut-on améliorer l’efficacité ?• Comment se passe l’interface entre l’ANPE et les OPP

– Les DE sont ils correctement acheminés vers les prestataires

• Les services atteignent-ils la population ciblée ?– Les DE entrant chez le prestataire sont ils ceux pour lesquels le

programme est ciblé – le prestataires sélectionne-t-il les DE?

• Les clients sont-ils satisfaits du service ?– Pourquoi certains DE n’entrent-ils pas chez les prestataires?

• Comment est effectuée la facturation pour les OPP?

Evaluation d’Impact

Sur quelles mesures on attend un impact ?

Sur quelles populations on attend un impact?

Quand est-ce que l’on aurait du répondre à ces questions ?

Evaluation d’Impact

• Question clé : Y-a-t-il eu un impact ?• Questions Auxiliaires:

– Quel est la nature du bénéfice ?• exemple: l’accompagnement conduit-il à une

amélioration uniformes du retour à l’emploi ?• Conduit-il à une amélioration des techniques de

recherche

– Certains DE bénéficient plus que d’autres?• Ceux qui avaient les plus grands risques de

chômage de longue durée, les moins bien rémunérés, les moins qualifiés, etc.

Analyse Coût-Bénéfice

AnalyseAnalyseCoût-BénéficeCoût-Bénéfice

EvaluationEvaluationdudu

processusprocessus

EvaluationEvaluationd’impactd’impact

Evaluation Evaluation des besoinsdes besoins

Analyse Coût-Bénéfice

• Pourquoi les 3 éléments sont-ils nécessaires pour l’analyse coût-bénéfice?

• L’évaluation d’impact donne des bénéfices• L’évaluation du processus permet une

quantification minutieuse des coûts. – Peut aider à baisser les couts ou augmenter

l’efficacité.

• A besoin comme cadre le coût d’opportunité de la dépense.

Cette Semaine

• On se focalisera sur l’évaluation d’impact : Pourquoi?• C’est ce que l’on sait bien faire.• On connait étonnamment peu sur ce qui marche vraiment:

– Multiplication des interventions dans de nombreux domaines– Rareté des fonds disponibles– Extension ou arrêt des programmes sur la base de critères

subjectifs– Certainement de nombreux programmes coûteux et inefficaces

• Souvent appréciation conflictuelle sur l’efficacité du programme– Besoin d’apporter des éléments d’évidence

Pourquoi faire une évaluation d’impact ?

• Problématique centrale dans le débat sur l’aide :– Sait-on si cela marche ?– Comment identifier ce qui fonctionne ?

• Grenelle de l’insertion

– Sélectionner les programmes qui réussissent.

Pourquoi faire une évaluation d’impact ?

• Le diable est dans les détails– Difficile de faire des grandes généralités

• L’avantage de cette approche est de pouvoir se focaliser sur les détails

• Cela nous donne la possibilité de raffiner le programme mais aussi de le reconcevoir.

• Une semaine très intéressante s’offre à vous.