vermeulen frank, cadrage de l'evaluation des politiques publiques 2013
TRANSCRIPT
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 1
Cadrage de l’évaluation des politiques publiques locales
Frank VERMEULEN Hôtel de la Collectivité Territoriale de Corse
Ajaccio, 11 Avril 2013
Ce support pédagogique est la propriété exclusive de FVA Management. Il ne saurait refléter tous les éléments exposés sans les explications verbales appropriées Toute reproduction à usage commercial est strictement interdite.
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Cadrage de l’évaluation des politiques publiques
Quoi ? Pourquoi ? Quelles attentes? Quels bénéfices?
Quelques repères historiques de l’évaluation des politiques publiques
Les critères d’évaluation de la performance de l’action publique (efficacité, pertinence, efficience, cohérence, ...)
Comment concevoir, suivre et valoriser les retombées de l’évaluation des politiques publiques ?
L’arbre des objectifs… ou la « forêt des performances » ?
L’avenir de l’évaluation en France : bilan et perspectives
2
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 2
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Qu’est-ce qu’une politique publique ?
Un système complexe ensemble de mesures concrètes, d’actions coordonnées,
mises en œuvre par des administrations, institutions publiques / privées
poursuivant des objectifs, buts,… finalités (enjeux de société) Formation Sécurité Transport Solidarité et cohésion sociale …
Un public (des ressortissants) territorial / sectoriel
décisions de nature plus ou moins autoritaire, explicite (justice, police) ou latente, incitative (aides, subventions,…) pour modifier une situation
des ressources / moyens : Impôts, Dotations budgétaires, Taxes dédiées, ETP
un cadre général (référentiel), ou théorie d’action (approches cognitives)
3
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Le cheminement linéaire d’une politique publique
C 1 : Identification du problème de société (politisation)
C 2 : Développement de la politique du programme, des actions et/ou des dispositifs de l’action publique, décision correspondante
C 3 : Mise en œuvre (test, expérimentation, déploiement)
C 4 : Suivi, Pilotage, Evaluation
C 5 : Terminaison (situation souhaitée, problème de société résolu)
C 1 Situation insatisfaisante Problème à résoudre
C 2 Idées/Solutions Conception Développement Décision
C 3 Test Expérimentation Mise en œuvre
C 4 Suivi Pilotage Evaluation
C 5 Situation souhaitée Problème résolu
Figure 1 : Représentation du cheminement séquentiel ou linéaire d’une politique publique (d’après Jones, 1975)
4
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 3
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 5
Evaluer l’action publique : quelques définitions
« Reconnaître et mesurer les effets propres d’une action publique » (rapport Deleau, Plan 1985)
« Former un jugement sur sa valeur » (Patrick Viveret, 1989; 1991)
« Évaluer une politique publique consiste dans le fait d'apprécier les effets attribuables à une intervention gouvernementale dans un domaine spécifique de la vie sociale et de l'environnement physique. » (Meny & Thoenig, 1989)
« Evaluer les politiques publiques consiste à mesurer les effets qu’elles engendrent et à rechercher si les moyens juridiques, administratifs ou financiers produisent les effets attendus de cette politique et d'atteindre les objectifs qui lui sont fixés (décret n°90-82 du 22 janvier 1990)
L’évaluation doit se préoccuper de « l’utilité, de la mise en œuvre, de l’efficacité et de l’efficience des mesures qui ont pour but d’améliorer le sort des membres de la société » (Freeman et Rossi)
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 6
L’évaluation : LA solution à tous les défis ?
Mieux rendre compte (transparence)
Juger la valeur, l’utilité de l’action publique
Eclairer les choix (ajustement et aide à la prise de décision)
Elever le niveau de connaissances sur l’action publique (cognitif)
Objectiver le processus de mise en œuvre de l’action publique
Créer et entretenir l’esprit d’équipe
Renforcer les partenariats
Améliorer la compréhension réciproque par le dialogue
Accroître la visibilité de l’action (faire connaître au public)
Innover par de nouvelles pratiques de management
Développer la culture du résultat (efficacité, efficience,…)
Intelligence politique et démocratie participative
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 4
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
4 attentes majeures vis-à-vis de l’évaluation (1/2)
1 - Mesurer « objectivement » …les résultats par rapport aux objectifs prédéfinis, le degré d’efficacité des pratiques, la pertinence d’un dispositif décidé par plusieurs partenaires, l’impact des actions sur les territoires en fonction des moyens humains et financiers alloués, la satisfaction des bénéficiaires, la performance, etc.
2 - Améliorer les performances de l’action publique …apprécier les mesures correctives nécessaires, les processus ou les actions nouvelles à créer, permettre d’ajuster certaines actions à partir d’une photographie de ce qui fonctionne ou non, pour orienter la décision, adapter l’action en permanence, obliger les financeurs à mieux définir les objectifs (souvent trop vagues, trop floues) et permettre ainsi de mieux mobiliser les ressources, améliorer l’économie des moyens d’une politique / action publique, mettre en œuvre, en cas d’écart, des actions correctives, voire anticiper le changement, etc.
7
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 8
4 attentes majeures vis-à-vis de l’évaluation (2/2)
3 - Comprendre, fédérer, utiliser un langage commun …utiliser les mêmes mots, au service des acteurs et partenaires de l’action publique, mettre en commun nos réflexions sur la manière de conduire les actions, utiliser un vocabulaire commun avec les termes usuels en matière d’évaluation et de pilotage de l’action publique, connaître la réalité du terrain, mettre en parallèle les actions avec la politique (nationale, régionale, départementale, communale,…) dans une démarche partenariale et de concertation avec les différents acteurs, connaissance opérationnelle de la politique publique, porter un regard différent sur les actions de la collectivité, etc.
4 - Sens, déontologie, éthique de l’action publique …répondre de façon « juste » au public final, savoir…à quoi sert l’action, à quoi je sers? apporter des éléments de preuve, savoir quelle solidarité il s’agit de développer, prendre en compte la dimension « humaine », rendre compte, assurer la conformité entre l’action publique et le(s) discours politique
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 5
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
L’espace évaluatif selon les pratiques
Information incomplète, connaissances limitées,
prise en compte des stratégies d’acteurs
tout au long du cycle de vie des politiques publiques
PLURALISTE
MANAGERIALE GESTIONNAIRE
ÉCONOMÉTRIQUE
Usage Externe
Usage Interne
Information complète totalement maîtrisée Capacité de calcul illimitée au service
d’un décideur unique
Figure 2 : L’espace de l’évaluation d’une politique publique selon les types de méthodes 9
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Cadrage de l’évaluation des politiques publiques
Quoi ? Pourquoi ? Quelles attentes? Quels bénéfices?
Quelques repères historiques de l’évaluation des politiques publiques
Les critères d’évaluation de la performance de l’action publique (efficacité, pertinence, efficience, cohérence, ...)
Comment concevoir, suivre et valoriser les retombées de l’évaluation des politiques publiques ?
L’arbre des objectifs… ou la « forêt des performances » ?
L’avenir de l’évaluation en France : bilan et perspectives
10
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 6
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 11
Les origines scientifiques de l’évaluation
Naissance des méthodes de gestion scientifiques (OST) dans l’industrie au début du XXème siècle
Rationalisation du travail et production de masse (Fayol, Taylor) Standardisation en réponse aux exigences d’un mode de production universel Application méthodique d’un savoir scientifique et technique en pleine expansion
Mesure (statistique) des variations (défauts) dans le temps et leur classement selon leur profil de distribution (diagramme de Pareto)
Dans cette perspective positiviste, évaluer c’est mesurer scientifiquement l’effet d’une politique en observant l’évolution des variables d’impact pour deux échantillons statistiquement comparables : bénéficiaires / non bénéficiaires (expérimentation)
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 12
La filiation anglo-saxonne des pratiques évaluatives
La première vague démocrate des années d’après-guerre (1960 – 1970) Trente Glorieuses : lutte contre la pauvreté, aide sociale, etc….et l’évaluation comme moyen d’y remédier en attribuant les ressources aux programmes jugés les plus pertinents
La seconde vague conservatrice (à partir des années 1980) L’arrivée au pouvoir de R. REAGAN et M. TATCHER : Crise fiscale, budgétaire, révolution libérale conservatrice qui inversent l’usage de l’évaluation pratiquée sous L. JOHNSON Accountability (imputabilité, redevabilité,…rendu de compte), Value for money (New Public Management au Royaume-Uni)
Les facteurs culturels favorables à l’évaluation aux USA Concurrence entre le pouvoir législatif et exécutif => Congrès / Président Rivalité permanente entre pouvoirs => espace pour un marché de l’évaluation Faible légitimité de l’action publique exigeant d’apporter => la preuve de l’efficacité Orientation behaviouriste des sciences sociales => modélisation Recherche systématique d’avantages tangibles => techniques quantitatives ++
PPBS (Planning Programing Budgeting System) Outil de contrôle et d’optimisation des dépenses publiques (Guerre du Vietnam) adopté en France (années 1970) sous l’acronyme de Rationalisation des Choix Budgétaires (RCB)
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 7
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Rationalisation des choix budgétaires (1970 – 1984)
Objectifs Plans stratégiques
Budgets Programmes
Plans opérationnels
Spécifications opérationnelles
Actions
P l a
n i
f i c
a t
i o n
C o
n t
r ô l
e
13
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 14
L’évaluation : avatar de la planification ? *
La RCB ou la rationalisation des choix budgétaires (1970-1984)
Développer la planification budgétaire et l’évaluation ex-ante
Fonder les décisions sur une prévision des impacts socio-économiques
Déclin de la planification après le 7ème plan (Rapport du groupe Delau)
Rapport Viveret : « Evaluation des politiques et des actions publiques »
Le « Renouveau du service public » lancé par le gouvernement Rocard
Décret du 22 janvier 1990, instaurant l’évaluation interministérielle des politiques dans le but de « Faire de l’évaluation un élément central de la prise de décision gouvernementale et du débat démocratique »
Trépied de l’institutionnalisation du dispositif
Comité interministériel de l’évaluation (CIME)
Commissariat général du Plan (CGP)
Conseil scientifique de l’évaluation (CSE)
Fonds national de développement de l’évaluation (FNDE)
* cf. « L’évaluation des politiques publiques, avatar de la planification » Thèse de Vincent SPENLEHAUER, 8 décembre 1998
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 8
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 15
Les initiatives institutionnelles successives
Nouveau décret en 1998 (n°98-1048) relatif à l'évaluation des politiques publiques suite aux difficultés du CIME soulignées par le CNE et le Sénat
La difficulté pour les ministres de passer d’une simple intention d’évaluer à une véritable projet d’évaluation (…) soulevant la question du niveau de «culture de l’évaluation des administrations» La réticence des administrations de se rendre transparentes
Un petit nombre d’évaluations, des travaux sans enjeux ? Sans publics ? Sans moyens? Sans sanctions ?
La LOLF (votée en 2001, entrée en application depuis 2006) Rendre l’analyse du PLF plus facile pour l’AN : Mission, Programme(s), Action(s), Indicateur(s) Mais des indicateurs souvent «hors sol» par manque de réflexion stratégique en amont du PLF
Décret du 6 juillet 2008, abrogeant le décret de 1998 Article 1 - L'évaluation d'une politique publique, au sens du présent décret, a pour objet d'apprécier, dans un cadre interministériel, l'efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre.
Secrétariat d’État à l’évaluation, à la prospective et à l’économie numérique (Eric Besson, 2007)
Décret du 30 octobre 2012 donnant naissance au SGMAP (MAP, CIMAP), une nouvelle tentative d’institutionnalisation de l’évaluation ?
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 16
L’influence des institutions internationales
La Commission européenne Évaluation des programmes de recherche dès 1960
Création en 1983 d’une unité spécialisée dans l’évaluation à la DG 12
Politiques de développement régional et fonds structurels (FEDER, FEOGA, FSE)
Directive de juillet 1993 prévoyant l’obligation de l’évaluation (ex-ante; ex-post)
La Banque mondiale et l’aide au pays en développement Mc Namara (facteur ∏) : mise en place de la fonction évaluation en 1970 - OED (Opérations Evaluation Department) sous l’autorité d’un directeur général
Evaluation de projets, programmes-pays, politiques au niveau mondial ou régional
Les évolutions des modes et critères d’évaluation Vers l’association des bénéficiaires d’une politique, programme, dispositif à son évaluation
Place croissante de nouvelles dimensions à prendre en compte : sociales
environnementales institutionnelles culturelles…(capital social, situation hommes/ femmes, diversité,…)
Les indicateurs alternatifs au PIB (PNUD, WWF, HPI, IDH,…)
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 9
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 17
Freins et résistances à l’évaluation en France
Les pouvoirs publics constitutionnels Le rôle du Parlement, malgré la dernière réforme constitutionnelle
Les politiques contractuelles et les fonds structurels européens
Le rôle de la Cour des Comptes et du ministère du Budget
La LOLF, culture du résultat ou culte des indicateurs ?
Les défaillances de l’organisation administrative et du marché Une activité spécifique ou généraliste ?
Un champ professionnel éclaté
Une qualité méthodologique inégale
Des rapports ambiguës entre évaluateurs et évaluation (évalués ?)
Une activité à la recherche d’une identité
Le poids de la «science étatique» et les facteurs culturels Les grands corps incompatibles avec l’esprit d’évaluation?
Un regard citoyen insuffisamment critique à l’égard du « bien commun »
Un manque d’intérêt des français pour la gestion des dépenses publiques
La polémique sur les indicateurs d’activité des parlementaires au moment de la loi Hadopi
Une faible confiance interpersonnelle et dans les institutions
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 18
Confiance interpersonnelle et dans les institutions
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 10
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 19
Tolérance à l’égard des comportements de fraude
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Cadrage de l’évaluation des politiques publiques
Quoi ? Pourquoi ? Quelles attentes? Quels bénéfices?
Quelques repères historiques de l’évaluation des politiques publiques
Les critères d’évaluation de la performance de l’action publique (efficacité, pertinence, efficience, cohérence, ...)
Comment concevoir, suivre et valoriser les retombées de l’évaluation des politiques publiques ?
L’arbre des objectifs… ou la « forêt des performances » ?
L’avenir de l’évaluation en France : bilan et perspectives
20
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 11
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 21
Les critères d’évaluation d’une politique publique
l’efficacité les résultats sont-ils conformes aux objectifs fixés ?
la pertinence les objectifs sont-ils adaptés aux enjeux (problèmes) de société identifiés, aux buts poursuivis, aux orientations et à la finalité de l’action publique?
l’efficience les ressources sont-elles bien utilisées? les résultats sont-ils à la hauteur des moyens prévus / effectifs ?
la cohérence les moyens sont-ils adaptés aux objectifs fixés? Les différents objectifs sont-ils cohérents entre eux ? les différentes actions sont-elles cohérentes entre-elles ?
l’impact les conséquences (médiates) de l’action publique sont-elles bénéfiques au point d’avoir modifié la situation (insatisfaisante) initiale?
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 22
Le modèle de base de l’efficacité
OBJECTIF(S)
Figure 3 : Le modèle de base de la mesure de l’efficacité ou « goal model »
Evaluation
RÉSULTAT(S)
Impacts Effets
Réalisations Politique / Projet / Programme / Action
EFFICACITÉ
Enjeux de société
PROBLÈMES IDENTIFIÉS,….FINALITÉ(S) ?
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 12
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 23
Qu’est-ce qu’un objectif ?
Un objectif = résultat à atteindre, traduit en termes SMART (spécifique, mesurable, acceptable/accepté, réaliste, temporalisé), par exemple:
Enjeu : retour à l’emploi difficile pour les bénéficiaires du RMI/RSA
Objectif(s) : assurer 550 retours à l’emploi personnes / an
Actions: - mettre en place une équipe d’aide au retour à l’emploi
- ateliers de redynamisation des personnes les plus éloignées de l’emploi
- etc.
Résultat(s) : nb de personnes placées (objectif 550/an / taux de placement
RMIstes/Jeunes, taux de maintien en emploi, etc.) = permet de « mesurer » si
l’objectif est atteint
Indicateur : un abrégé de la réalité (par convention = accepté) Quantitatif (indicateurs de réalisations, résultats, coûts/délais, effets/impacts )
Qualitatif (critères et registres de jugement)
Horizon temporel (immédiat / médiat)
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Problématique des travailleurs pauvres
Retour à l’emploi difficile pour les bénéficiaires du RMI/RSA
Un accompagnement inopérant car non adapté
Prendre en compte les besoins des employeurs
Remobiliser les bénéficiaires les plus éloignés de l’emploi
Mise en place d’une équipe emploi
Accompagnement personnalisée ent.
Ateliers de redynamisation
Clauses d’insertion
Définition de trois parcours d’insertion
Evaluation
Mettre en œuvre le RSA
Organiser les parcours d’insertion
Former les bénéficiaires du RMI
Redéfinir les pratiques
professionnelles
Exemple d’une politique d’aide à l’insertion
Figure 4 : Extrait de la carte des objectifs d’une politique d’aide à l’insertion
Enjeux politiques Objectif(s) Action(s) Evaluation
24
nb de personnes placées (objectif 550/an / taux de placement
Assurer 550 retours à l’emploi parmi les
bénéficiaires les plus proches de l’emploi
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 13
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 25
La direction par objectif (D.P.O. et D.P.P.O.)
Les objectifs : une réalité objective (fixées par un acteur unique) ou un construit collectif, où convergent pressions internes et externes ?
« Objectifs officiels », « objectifs stratégiques », « objectifs spécifiques », « objectifs effectivement poursuivis , « objectifs opérationnels » (Perrow, 1961)
Les objectifs évoluent avec le temps : interactions avec l’environnement, changements internes, pressions indirectes (conjoncture, technologies, législation…crises et mutations)
Comparer les résultats à des objectifs : un « objectif très difficile » Relativité sociale des objectifs <=> diversité et caractère contradictoire des objectifs / critères
A quel horizon temporel ? Court terme <=> Long terme ?
Effets propres <=> effets externes (événements, acteurs, autres politiques)
Quels usages / utilités de la Direction (participative) par objectifs ? Inciter les membres de l’organisation à préciser les objectifs, buts, enjeux, …finalités Guider les membres de l’organisation dans l’aide à la décision et le pilotage
Fournir des critères d’évaluation / réajuster l’action
Qui juge en dernier ressort de l’efficacité par rapport à quels objectifs ?
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Le système de prospective, pilotage et évaluation
Figure 5 : Les interactions entre prospective, pilotage et évaluation des politiques publiques
26
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 14
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Cadrage de l’évaluation des politiques publiques
Quoi ? Pourquoi ? Quelles attentes? Quels bénéfices?
Quelques repères historiques de l’évaluation des politiques publiques
Les critères d’évaluation de la performance de l’action publique (efficacité, pertinence, efficience, cohérence, ...)
Comment concevoir, suivre et valoriser les retombées de l’évaluation des politiques publiques ?
L’arbre des objectifs… ou la « forêt des performances » ?
L’avenir de l’évaluation en France : bilan et perspectives
27
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Objectifs
Diagnostic"Scénarios
Impact"
Figure 6 : Description fonctionnelle du cycle de vie des politiques publiques
Baromètre"
28
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 15
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Exemples de pratiques voisines de l’évaluation
Audit / Diagnostic Consiste à vérifier objectivement et de manière indépendante le degré de maîtrise des risques des opérations ; le plus souvent ponctuel dans les CT, sur un service, un aspect de la politique, un projet, sur un partenaire, comme une société d’économie mixte; les CRC sont les auditeurs externes de l’audit des comptes
Prospective Démarche qui vise à anticiper l’avenir en élaborant des scénarios sur la base de l'analyse des données disponibles : états des lieux, tendances lourdes, phénomènes émergents, analyses rétrospectives et observatoires qui tendent à se multiplier dans les domaines les plus variés (économiques, sociaux, environnementaux, humains,…).
Contrôle interne A la différence de l’audit, le contrôle interne n’est pas un service mais un ensemble de dispositifs permanents pour assurer la conformité, la régularité,…et plus généralement la qualité des services au meilleur coût
Contrôle de gestion Peut être défini comme un système de pilotage mis en œuvre par un responsable de service (programme,…) en vue d’atteindre les objectifs préalablement fixés. Il permet de mesurer la performance des services internes comme ceux rendus dans le cadre de partenariats, par exemple dans le cas du suivi d’une délégation de service public.
29
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Distinctions entre l’évaluation et ses figures voisines
Fonctionnement d'une Organisation
Action de changement
Système d'information périodique
Investigations ponctuelles
Etudes ad hoc
(I) Système formel
de contrôle de gestion
(II) Contrôle de projet,
monitorage de programme
(III) Audit managerial
ou organisationnel ou évaluation
d'une structure
(IV) Evaluation
de politique ou de programme
Figure 7 : L’évaluation et ses figures voisines (Patrick Gibert, 2005)
30
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 16
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 31
Distinctions entre le suivi et l’évaluation
SUIVI PHYSIQUE ET FINANCIER
Périodique, régulier
Implique justesse des programmes, projets, actions…et indicateurs
Suit les progrès réalisés par rapport à
un nombre limité d’objectifs ou
d’indicateurs (réalisation, résultat,..)
Généralement quantitatif
Alimenté par des données régulièrement et/ou facilement collectées
N’indique pas les causes
Difficile à utiliser pour évaluer l’impact
Généralement interne
EVALUATION
Episodique (diachronique)
Peut aborder une large gamme de problèmes/ questions posés par une politique, un programme un projet, une action
Identifie ce qui s’est passé à la suite d’une intervention et fournit des conseils pour les actions futures
S’intéresse aux questions du type « pourquoi » et « comment »
Grande variété de méthodes de recherches quantitatives et qualitatives
Peut utiliser des données provenant de différentes sources
Cherche à identifier les impacts et les effets prévus / imprévus
Généralement externe (tiers évaluateur)
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Cycle de vie et moments d’évaluation d’une politique
Ex-ante Feasibility Evaluation
Programme Design
Policy Formulation
Ongoing / Mid term Evaluation
Programme Implementation
Policy Delivery
Figure 8 : Policy, programme and evaluation cycles (The Guide, Tavistock Institute, 2003)
Ex-post /Results Evaluations
Programme Conclusions
Policy Review
32
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 17
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 33
Conception, suivi et évaluation d’une politique
CONCEPTION ET DEMARRAGE
DU PROGRA M M E
SUIVI PHYSIQUE ET FINANCIER
EVALUATION
Temps de la
conception
Temps de l’action Etape 1 Etape 2 Etape 3 Etape 4
Référentiel
Mise en place des
indicateurs
Réalisation Résultat Effets
intermédiaires
Impact final
Arbr e des
Objectifs
Théorie d’action
Définit ion des
indicateurs
Nature des
interventions
Actions mises en
œuvre sous le
contrôle direct du
gestionnaire
Effets directs
immédiatement
perceptibles par le
gestionnaire
Effets sectoriels ou
spécifiques
visibles à moyen
terme
Impacts globaux à
long terme,
justifient le
programme
Renseignement des indicateurs
Tableau 1 : Conception, suivi et évaluation d’une politique publique (IGAS, D. Rigaud, 2006)
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 34
Choisir entre l’évaluation formative ou sommative ?
Au cœur de l’évaluation de l’efficacité ( R. Hall) Evaluer l’efficacité organisationnelle implique de reconnaître la pluralité des acteurs, des points de vue, des contraintes, des contradictions.
Aspects centraux de l’évaluation de l’action publique (E. Monnier) Quel(s) usage(s) de l’évaluation ?
Conditions d’appropriation par les acteurs ?
Dimension « cognitive » ou « formative », non pas tant entre l’expert « évaluateur » et les différents acteurs, qu’entre les acteurs eux-mêmes (rôle de « maïeutique » et « médiateur » animant un jeu politique), visant à :
Produire des compromis acceptables en matière de jugements
Assurer la légitimité des conclusions
Antagonisme entre ces deux approches d’évaluation (Scriven) Évaluation formative (obligation de résultat) : une évaluation « démocratique » dont les acteurs et la décision seraient aussi informés et formés que possible
Évaluation sommative : voisine de la « sociologie critique », pouvant induire qu’aucun compromis n’est possible entre certains critères et certaines valeurs concurrentes
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 18
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 35
Les méthodes d’évaluation
Discerner et agir de manière éclairée Quelles sont les questions posées (par le commanditaire, sponsor, situation, changement,…?)
Quelles sont les informations crédibles, disponibles et compréhensibles
Comment nourrir des jugements fondés sur des arguments (légitimes)
Deux niveaux de méthodes Les principes méthodologiques et déontologiques de la démarche relatifs
au « management politique et organisationnel »
à l'élaboration et la conduite du projet d'évaluation, cadre conceptuel dans lequel devra s'inscrire le travail de rassemblement des données, leur analyse et leur interprétation
Les méthodes de recherche en sciences humaines applicables à l'étude et l’évaluation des politiques publiques à l’aide de l'ensemble de la « boite à outils »
du statisticien
de l'économiste
du juriste
du sociologue
du géographe
du politologue
voire du psychologue, psychosociologue, de l'anthropologue, l'historien…
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 36
Exemples de questions préalables à l’évaluation
A quoi servira l’évaluation ? Avant même la mise en place d’une démarche d’évaluation ou de choisir des indicateurs, il
convient de réaliser un travail de clarification de l’objet et des finalités de l’évaluation.
A qui est-elle destinée ? Les acteurs concernés, selon leur rôle, leurs responsabilités n’ont pas nécessairement tous
les mêmes attentes à l’égard de l’évaluation. Quels sont les objectifs ? Lesquels retenir ?
Que souhaite-t-on évaluer, selon quels critères ? Efficacité Efficience Cohérence Pertinence Impact …
Quelle démarche d’évaluation ? l’évaluation formative : aider les acteurs à analyser les changements intervenus ou
souhaités pour améliorer le processus de pilotage stratégique
l’évaluation sommative : mesurer dans quelle mesure les résultats atteints sont conformes aux résultats escomptés, sans gommer les divergences / conflits éventuels
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 19
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 37
Projet, mandat, cahier des charges
Le projet d'évaluation L'ensemble des réflexions (émergence du besoin, demande, acteurs,…) qui précèdent la phase de collecte et de traitement des informations pour l’évaluation proprement dite.
Le mandat d'évaluation Document par lequel le commanditaire confie officiellement (lettre de mission) la responsabilité de l'évaluation à un évaluateur (individu ou organisme), ou à une instance d'évaluation (en la personne de son président).
Le cahier des charges (aussi nommé CCTP) Parfois employée pour désigner le projet ou le mandat. Il vaudrait mieux lui conserver son sens précis de document servant de base à une relation contractuelle entre le commanditaire d'une étude spécifique et un opérateur (conseil, formation, expertise en accompagnement de la démarche d’évaluation).
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 38
Phase 1 : projet d’évaluation
Identifier les acteurs de l’évaluation Qui demande l’évaluation ? Qui décide de l’évaluation ? Qui finance l’évaluation ? Qui effectue l’évaluation ? Qui valide les étapes et les conclusions ?
Sociogramme des parties prenantes de la politique
Formaliser le référentiel Définir la finalité et les contours de la politique (programme, action, dispositif) Préciser la finalité de l’évaluation Déterminer les hypothèses de départ (arbre des objectifs, théorie d’action) Choisir les normes/critères de référence de l’évaluation Choisir les modes de communication autour de l’évaluation
Rédiger les questions évaluatives
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 20
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 39
Exemple : aide régionale à l’apprentissage (THR)
Quelle est l’efficacité du dispositif THR?
Quelles sont les inégalités dans l’attribution de l’aide à la mobilité des apprentis, leurs causes et les manières d’y remédier ?
Quelle est la lisibilité dans l’utilisation de l’aide apportée par la Région ?
Quelle est la visibilité de la Région dans l’attribution de l’aide apportée auprès des apprentis et du grand public?
Quels sont les trois scénarii d’évolution envisageables pour remédier aux problèmes identifiées? Selon quelle démarche et avec quel plan d’action ?
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 40
Exemple : Développement durable et Agenda 21*
Le projet territorial permet-il d’approfondir la connaissance en matière de cohésion sociale et de solidarités sur le territoire ?
Le projet territorial favorise-t-il la cohérence des politiques publiques au service de la cohésion sociale et territoriale ?
Le projet territorial vise-t-il à renforcer le lien social entre les habitants ?
Le projet territorial intègre-t-il une stratégie volontariste en terme de lutte contre les précarités ?
La stratégie territoriale intègre-t-elle une ambition en termes de coopération entre territoires au service de la cohésion sociale et des solidarités ?
* D’après le référentiel national d’évaluation des projets territoriaux de développement durable et Agenda 21 locaux
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 21
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 41
Exemple : APA à domicile
Quelle est l’efficacité du dispositif?
Quelle est sa pertinence pour la politique de maintien à domicile?
Quelle est la contribution de ce dispositif à l’emploi dans ce secteur?
Quelle est la cohérence entre les différentes politiques publiques concomitantes (habitat, transport, emploi,…)?
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 42
Phase 2 : collecte et traitement des données
Approches quantitatives Indicateurs de contexte (pertinence de l’action) Indicateurs de moyens physiques et financiers (cohérence et efficience) Indicateurs de résultats (efficacité) Indicateurs d’impacts (effets)
Approches qualitatives Études de cas Monographies Entretiens ouverts et semi-directifs Enquêtes de satisfaction Méthode Delphi
Approches participatives Focus group Conférence citoyens Jury citoyens Ateliers / Workshop Sondages Groupes de discussion, Groupes de parole, d’expression
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 22
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 43
La phase 3 : synthèse et recommandations
Elaborer un jugement de valeur Sur la base des données recueillies
Au regard des questions évaluatives posées au démarrage (efficacité, pertinence, cohérence, efficience,…)
Formuler des recommandations Que faut-il changer, remettre en cause ?
Quel(s) scénarii ?
Comment conduire les changements proposés ?
Diffuser et exploiter les résultats de l’évaluation Validation par les élus et les services
Rôle du comité de pilotage
Public ?
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Cadrage de l’évaluation des politiques publiques
Quoi ? Pourquoi ? Quelles attentes? Quels bénéfices?
Eléments historiques de l’évaluation des politiques publiques
Les critères d’évaluation de la performance de l’action publique (efficacité, pertinence, efficience, cohérence, ...)
Comment concevoir, suivre et valoriser les retombées de l’évaluation des politiques publiques ?
L’arbre des objectifs… ou la « forêt des performances » ?
L’avenir de l’évaluation en France : bilan et perspectives
44
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 23
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 45
La performance désigne la réalisation, le résultat
Substantif féminin apparu à la fin du XVe siècle dérivée du terme anglais to perform « réaliser, accomplir », issu de l'ancien français parformer, verbe d’action dérivé de former
empruntée à l’ancien français parformance, dont l’usage est attesté en 1571 dans une lettre de Marie Stuart
Depuis le début du XVIIIe siècle, la performance est synonyme de « accomplissement, réalisation, résultats » « l’exécution d'une œuvre littéraire ou artistique », par extension « exécution en public, représentation, spectacle »
« Résultats, actions accomplies par un athlète ou une équipe » (La Revue des Sports, 23 déc. 1876) ; employé également pour un cheval de course » (J. des Haras, XXIII, 191 ds BONN., 1839, p. 105); 1872 sing. (PEARSON, Dict. du sport fr. ds PETIOT); [Terme de Turf.]
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 46
Evaluation et critères de jugement de la valeur
Evaluer c’est « mesurer » et « juger la valeur » donc en référence implicite (ou explicite) à des « registres de valeurs », dans lesquels on peut distinguer différentes « familles de critères » et « indicateurs » (Boltanski, Thévenot, 1995, Chiapello, 1999)
industriel et technique : volumes, opérations techniques élémentaires
économique et financier : monétaires et financières, concurrence marchande
domestique : relations interpersonnelles, l’empathie, liens de confiance
civique : relations sociales fondées sur la légalité, l’égalité, l’équité et la justice
communication : croyances, opinion publique, notoriété
Innovation : conception, création, nouveauté et l’introduction de projets innovants
projet : la flexibilité, l’adaptation, le travail en réseau
A chacun de ces « mondes » ou « registres de valeur » on peut associer des « produits » (résultats) génériques différents, et donc des critères à prendre en compte pour évaluer (l’efficacité, l’efficience,…) la politique publique selon des conceptions différentes de la valeur
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 24
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 47
Exemple d’évaluation d’une aide à l’apprentissage
OBJECTIF(S)
Figure 9 : Application du modèle de base de la mesure de l’efficacité ou « goal model
Evaluation
RÉSULTAT(S)
Impacts Effets
Réalisations
Politique d’aide aux apprentis (THR)
EFFICACITÉ
Faciliter la mobilité des apprentis Assurer une égalité (équité) de traitement Valoriser l’action menée par la Région (visibilité)
Enjeux de société
ENJEUX DE L’APPRENTISSAGE,….FINALITÉ(S) ?
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 48
Exemple d’évaluation d’une aide à l’apprentissage
Registres de valeurs
Acteurs
Industriel et technique
Economique et financier
Domestique et relationnel
Règles légales et civiques
Opinion publique
Conseil Régional
Lisibilité ; Facilité et coût de gestion (standardisation et (automatisation)
Maîtrise budgétaire Equilibre financier des CFA
Egalité de traitement
Visibilité de l’aide régionale
Apprentis Caractéristiques des services Accessibilité au service (existence)
Coût de la mobilité vs type prestation Fréquence de paiement de l’indemnité
Liberté de choix de l’usage de l’aide à la mobilité Autonomie
Egalité des droits Visibilité de l’apprentissage Aide à la réussite (insertion professionnelle)
CFA Facilité de gestion (déléguée ou non) Marges de manœuvre en fonction de la taille du CFA
Budget global Financement de la prestation
Adéquation de l’usage de l’aide à la situation locale Vocation CFA, rôle socio-éducatif
Application des règles Sens de l’équité
Visibilité de la promotion des centres d’apprentissage (CFA vs. Lycées ou Niveaux 2 et 1)
Comptabilité Publique
Respect des règles (traçabilité)
Critères d’efficacité
Productivité (coût / résultat)
Compétitivité (qualité / prix)
Proximité (individualisation)
Conformité (égalité / équité?)
Notoriété (renommée)
Tableau 2 : Critères d’efficacité selon les registres de valeur et le point de vue des différents acteurs (F. Vermeulen, 2003)
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 25
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 49
Exemple d’évaluation de (in)satisfaction (EHPAD)
Critères
Acteurs
Techniques L’objet de soins
Marchands L’agent
économique
Domestiques Le sujet
Bénéficiaire - / + Patient (Soins de suite, CS)
- - /+ +
Corrélé aux moyens et en fonction du degré de participation aux dépenses
+ + Résident sensible aux relations
Famille + + Technique Cadre de vie Suivi médical
- -/+ Sentiment de culpabilité
Tutelle ++ Très sensible au registre légal (normes, accréditation, obligations légales, …)
Prescripteurs -/+ Moyens
-/+ Rapports sociaux
Prestataire + + Soignants
+ + Management
- - / + + Selon sensibilité
Tableau 3 : Critères de satisfaction dans un EPHAD selon les différents acteurs et valeurs ( Vermeulen, 2004)
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 50
Les conflits dans les objectifs de performances ?
Performance technique
Performance civique
Performance d’innovation
Performance économique
Performance relationnelle
Figure 10 : La foret des performances (Gallouj, F., 2002)
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 26
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques
Cadrage de l’évaluation des politiques publiques
Quoi ? Pourquoi ? Quelles attentes? Quels bénéfices?
Quelques repères historiques de l’évaluation des politiques publiques
Les critères d’évaluation de la performance de l’action publique (efficacité, pertinence, efficience, cohérence, ...)
Comment concevoir, suivre et valoriser les retombées de l’évaluation des politiques publiques ?
L’arbre des objectifs… ou la « forêt des performances » ?
L’avenir de l’évaluation en France : bilan et perspectives
51
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 52
Bilan de l’évaluation en France
Développement quantitatif (700 évaluations recensées en 2008 ; 1500 en 2012) et qualitatif des pratiques évaluatives en France au niveau national, régional (CPER) et local (Agenda 21)
Professionnalisation de la commande publique et des évaluateurs
Des pratiques voisines, susceptibles de fournir des informations utiles; mais aussi sources de confusion:
l’audit interne / externe
l’inspection générale
le contrôle de gestion
l’audit qualité
le benchmarking, notations
Un thème récurrent dans le discours politique sur l’(in)soutenabilité des finances publiques, créant plus que jamais un climat porteur pour l'évaluation des politiques publiques ?
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 27
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 53
Développer une culture de l’évaluation
Stade 1 Respect des normes et obligations réglementaires / légales
Stade 2 Initiation, apprentissage (concepts, guides méthodologiques, outils) Mise en place d’un chargé d’évaluation et/ou d’une équipe en appui aux services
Stade 3 Décentralisation de l’évaluation dans les unités de collectivité Elévation du niveau de contribution des évaluations à la conception, au pilotage et au réajustement des actions publiques de l’unité
Stade 4 Processus stratégique / programmation pluriannuelle Pilotage stratégique (de la conception au suivi et à l’évaluation)
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 54
Quels freins / leviers à la réussite d’une évaluation ?
Mettre en place un dispositif / recourir à une démarche d’évaluation implique que les acteurs et utilisateurs cibles soient sensibilisés à son intérêt, car l’action est a priori plus valorisante que l’évaluation de l’action.
Les utilisateurs potentiels pourraient également être rebutés par une démarche avec laquelle ils ne sont pas familiers.
Enfin, toute évaluation peut être comprise, même si ce n’est pas le but, comme une évaluation des personnes et dès lors susciter des résistances.
Afin de surmonter ces freins - particulièrement prégnants dans le cadre de la mise en place d’un système de pilotage de l’action publique, il est important que les indicateurs soient simples, faciles à utiliser et développés en étroite collaboration avec les personnes concernées par les actions qu’il s’agit d’évaluer
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 28
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 55
Des problématiques persistantes
Le débat sur ce qu'est l'évaluation, et ce qu'elle n'est pas est récurrent car le terme peut être employé de manière très extensive.
Tendance à confondre l'évaluation et la culture du résultat, voire le culte de l’indicateur
Il existe des malentendus : on parle d'évaluation, mais on met en place des mesures qui relèvent du contrôle de l'administration, de la gestion de projet, du monitoring de programmes, de dispositifs de dialogue de gestion
Faire de l'évaluation un outil d'éclairage du débat public (décret 1990) : les bénéficiaires sont-ils en fait les grands exclus des politiques publiques?
Le défi de la zone d'autonomie de l'évaluation ou la nécessité de trouver des points de consensus. Pour les 35 H par exemple, il n'y a jamais eu aucune évaluation même s'il existe beaucoup de données socio-économiques.
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 56
Quel avenir pour l’évaluation ?
Une activité en quête d’identité qui hésite entre différents modèles le modèle de la discipline scientifique le modèle de la profession d’évaluateur le modèle institutionnel le modèle de support interne (technostructure, planification et contrôle)
Une grande diversité de disciplines et de statuts une démarche qui favorise la pluridisciplinarité la diversité des parcours des évaluateurs le développement des activités / rôle d’évaluateur – médiateur
Une complexité qui fait aussi l’intérêt de l’évaluation la multiplicité, diversité des thèmes abordés une identité hybride mais attractive
« L’évaluation représente plus qu’un instrument au service d’une gestion publique plus performante. C’est une démarche politique qui permettra de renouveler le mode de gouvernance de notre pays si elle est réellement indépendante, pluraliste, transparente et efficace. » (Rapport Sénat, 2004)
© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t
Page 29
© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 57
Questions?
http://www.fva-management.com
http://www.ecole.org