rapport évaluation ministère économie finances france

Ian C Davies Conseil Inc.

1

Rapport Final

Revue du dispositif d’évaluation après achèvement des projets d’aide liée Réserve Pays Emergents (RPE) et Fonds d’Etudes et d’Aide au

Secteur Privé (FASEP) 2004-2012

19 mars 2015


2

Remerciements Nous tenons à remercier tous les collègues qui ont contribué leur temps, leurs connaissances et leurs perspectives afin de permettre à l’équipe de revue de mener à bien ses travaux. Le professionnalisme et l’ouverture d’esprit qui nous ont été manifestés sans exception méritent d’être soulignés. Merci. Ian C Davies, Jean Mathis et Albine Guitard 27 novembre 2014


3

Précisions liminaires L’UEAD Depuis la création de l’Unité d’évaluation des activités de développement (UEAD) à la Direction générale Trésor en 2004, celle-‐ci est chargée de piloter l’évaluation des activités de développement de la Direction ; l’UEAD s’attache notamment à évaluer les projets RPE et FASEP. La revue La revue a porté sur les évaluations réalisées entre 2004 et 2012, de façon telle que prévue par les termes de référence. Les recommandations sont donc basées sur le travail de l’UEAD réalisé durant cette période. L’UEAD a signalé des changements de pratiques intervenus après 2012 ; il est important de noter que ceux-‐ci se situent hors du cadre de la revue.


4

Table des matières 1. Introduction ................................................................................................................ 6 2. Contexte........................................................................................................................ 7 2.1 Aide liée ....................................................................................................................................... 7 2.2 Aide liée à la DG Trésor ....................................................................................................... 9 2.3 Unité d’Evaluation des Activités d’Aide au Développement............................. 9 2.4 Constats à l’origine de la revue ...................................................................................... 9 3. Objectif........................................................................................................................10 4. Méthodologie ............................................................................................................10 5. Évaluation de l’aide au développement à la DG Trésor.............................13 5.1 Cadre de politique de l’évaluation ..............................................................................13 5.2 Programmation ....................................................................................................................13 5.3 Gestion de la relation avec les consultants externes.........................................14 5.4 Assurance qualité ................................................................................................................14 5.5 Pilotage .....................................................................................................................................15 5.6 Communication, utilisation et capitalisation .......................................................16 6. Évaluation de l’aide liée ........................................................................................17 6.1 Précisions sur le concept d’effets .................................................................................17

6.1.1 Effet de levier .....................................................................................................................................17 6.1.2 Effet support.......................................................................................................................................19

6.2 Traitement des effets dans les évaluations...........................................................20 6.2.1 Effet de levier et effet support, remarque préliminaire ..................................................20 6.2.2 Effet de levier .....................................................................................................................................21 6.2.3 Effet support.......................................................................................................................................23

6.3 Les rapports d’évaluation de l’aide liée 2004-2012 ..........................................25 6.3.1 Protocole d’appréciation des rapports ...................................................................................25 6.3.2 Constatations......................................................................................................................................26 6.3.3 Évolution des rapports de 2004 à 2012 .................................................................................27 6.3.4 Termes de référence sur la période 2004-‐2012 .................................................................27

6.4 Appels à manifestation d’intérêt et termes de référence récents ................28 7. Études de cas ...............................................................................................................31 7.1 RPE : Evaluation de la fourniture d’équipements, de machines-outils et d’assistance technique au Vietnam ..................................................................................31

7.1.1 Sommaire..................................................................................................................................................31 7.1.2 Observations ...........................................................................................................................................32

7.2 L’évaluation RPE-FASEP : Reconstruction post crise.........................................34 7.2.1 Sommaire..................................................................................................................................................34 7.2.2 Observations ...........................................................................................................................................35

7.3 Évaluation d’une grappe de projets à volet MDP/MOC financés sur le FASEP-Études ...............................................................................................................................39

7.3.1 Sommaire..................................................................................................................................................39 7.3.2 Observations ...........................................................................................................................................40

8. Conclusions...................................................................................................................42 8.1 Approche évaluative...........................................................................................................42 8.2 Spécificité .................................................................................................................................43 8.3 Qualité........................................................................................................................................44


5

8.4 Encadrement ..........................................................................................................................44 8.5 Utilisation.................................................................................................................................45 9. Cadre de référence .....................................................................................................46 9.1 Fonction d’évaluation ........................................................................................................46

9.1.1 Organisation .......................................................................................................................................46 9.1.2 Systèmes...............................................................................................................................................48

9.2 Évaluation ................................................................................................................................49 9.2.1 Méthodologie ......................................................................................................................................49 9.2.2 Gouvernance .......................................................................................................................................49 9.2.3 Gestion...................................................................................................................................................50

10. Recommandations ...................................................................................................51 10.1 Recommandations pour la fonction d’évaluation ..............................................51

10.1.1 Politique de l’évaluation .............................................................................................................51 10.1.2 Programmation...............................................................................................................................52 10.1.3 Niveau de compétence.................................................................................................................52 10.1.4 Assurance qualité ..........................................................................................................................52 10.1.5 Participation ....................................................................................................................................53 10.1.6 Communication externe .............................................................................................................53 10.1.7 Approche focalisée sur l’utilisation .......................................................................................53 10.1.8 Comité consultatif externe.........................................................................................................54

10.2 Recommandations pour l’évaluation ........................................................................54 10.2.1 Évaluabilité.......................................................................................................................................54 10.2.2 Termes de référence.....................................................................................................................55 10.2.3 Comité de pilotage.........................................................................................................................56 10.2.4 Grille d’appréciation.....................................................................................................................56

Annexe 1 - Grille d'appréciation des rapports d'évaluation.............................57 Annexe 2 – Liste des entretiens..................................................................................58 Liste des tableaux et encadrés Tableau 1 : Montants d’aide liée par pays membres de l’OCDE, moyenne sur la période 2008-2012……………………………………………………………………………………………p. 9 Tableau 2 : Pourcentages d’aide liée par pays membres de l’OCDE, moyenne sur la période 2008-2012……………………………………………………………………………………………p. 9 Encadré 1 : Les fonctions de « groupe de référence » et de « comité de pilotage » ………………………………………………………………………………………………………………………..p.16 Encadré 2 : Précisions sur la notion d’utilisation relative à l’évaluation…………..p.17 Encadré 3 : Effet de levier direct = part française……………………………………………p.18 Encadré 4 : La chaîne d’évaluation des politiques…………………………………………..p.20 Encadré 5 : Précisions sur l’évaluation…………………………………………………………..p.43


6

1. Introduction

Réalisé à l’intention de la direction générale du Trésor (DG Trésor) et plus spécifiquement de l’Unité d’Evaluation des Activités d’Aide au Développement (UEAD), ce rapport présente les résultats de la revue des évaluations de projets d’aide liée Réserve Pays Emergents (RPE) et Fonds d’Etudes et d’Aides au Secteur Privé (FASEP) et réalisées sur la période 2004-‐2012. Le rapport commence par décrire brièvement le contexte, l’objectif ainsi que la méthodologie de la revue, au cours des chapitres 1 à 4. Le chapitre 5, présente et analyse l’organisation et les systèmes d’évaluation, notamment les systèmes de programmation, de pilotage, d’assurance qualité de l’UEAD, c’est-‐à-‐dire la fonction d’évaluation au sens organisationnel du terme. Le chapitre 6 s’intéresse à la façon dont sont conceptualisés et appréhendés les effets de l’aide liée, et examine la qualité des rapports d’évaluation concernant l’aide liée produits sur la période 2004-‐2012. Le chapitre 7 du rapport présente les études de cas détaillées de trois évaluations de projets RPE et FASEP. Le chapitre 8 expose les conclusions de la revue et le chapitre 9 le cadre de référence pour les recommandations. Les recommandations présentées dans le chapitre 10 feront l’objet d’une séance de travail réunissant l’équipe de revue, l’UEAD ainsi que d’autres unités de la DG Trésor en vue de leur opérationnalisation. Un rapport de synthèse à l’intention de publics externes à la DG Trésor sera préparé sur base du présent document. Une rencontre de restitution à la DG Trésor est aussi prévue.


7

2. Contexte

2.1 Aide liée

Selon la définition de l’OCDE, l’aide liée désigne les dons ou prêts du secteur public pour lesquels les marchés sont limités à des entreprises du pays donneur ou d’un petit groupe de pays. L’OCDE considère que l’aide liée empêche souvent les pays bénéficiaires d’utiliser de façon optimale les fonds alloués pour l’achat de services, de biens ou de travaux. Depuis sa création en 1961, le Comité d’aide au développement de l’OCDE (CAD) s’emploie à améliorer l’efficacité des efforts déployés par ses membres en matière d’aide. Sur la question de l’aide liée, les travaux du CAD ont, entre autre, abouti à la publication en 2008 du rapport « Recommandation du CAD sur le déliement de l’aide » 1. Les objectifs de cette recommandation sont les suivants : -‐ délier dans la mesure du possible toute l’Aide Publique au Développement (APD) aux pays les moins avancés, -‐ promouvoir et maintenir des apports d’APD suffisants, en particulier aux pays les moins avancés, -‐ faire en sorte que l’effort de déliement de l’aide soit équilibré entre les membres du CAD. Les graphiques suivants, élaborés à partir des statistiques de l’OCDE, permettent de noter que parmi les dix pays qui conservent les plus gros volumes d’aide liée sur la période 2008-‐2012, la France possède un volume d’aide liée de près de 485 millions d’euros, ce qui est en dessous de la moyenne des pays membres de l’OCDE.

1 http://www.oecd.org/fr/cad/41708406.pdf


8

Tableau 1 : Montants d’aide liée par pays membres de l’OCDE, moyenne sur la période 2008-2012

Les montants d’aide liée en pourcentage du volume total d’aide publique au développement par pays, sur la période 2008-‐2012, montrent que la France est en deçà de la moyenne des pays membres de l’OCDE quant à la part liée de son aide. Tableau 2 : Pourcentages d’aide liée par pays membres de l’OCDE, moyenne sur la période 2008-2012

8213.77

810.352

729.604

571.67

484.888

441.354

423.14

391.228

215.164

189.594

162.826

0

0 1000 2000 3000 4000 5000 6000 7000 8000 9000

Etats-Unis Japon Corée

Moyenne OCDE France

Pays-Bas Espagne

Italie Allemagne

Portugal Autriche

Royaume Uni

En millions USD

Montants d'aide liée par pays, en millions USD Moyenne sur la période 2008-2012

77%

54% 46%

38,6% 30%

17% 16% 10% 7,1% 06% 3,9%

0% 0%

10% 20% 30% 40% 50% 60% 70% 80% 90%

Pourcentage d'aide liée dans le volume d'aide global par pays Moyenne sur la période 2008-2012


9

2.2 Aide liée à la DG Trésor

L’ensemble de l’aide liée française est administrée par le biais de deux instruments. La Réserve Pays Émergents (RPE) est un instrument de prêt intergouvernemental avec garantie souveraine, qui permet de financer des projets répondant au double objectif d’appui au développement du pays bénéficiaire et de promotion des entreprises françaises. Conformément à la définition de la statistique de l’APD de l’OCDE, les financements sur la RPE sont des prêts qui comportent un élément don minimum de 35 %. Sur la période considérée, une dizaine de projets financés sur la RPE d’un montant moyen de 12 millions d’euros ont été approuvés chaque année. Le Fonds d’Études et d’Aide au Secteur Privé (FASEP) est un instrument de don qui finance des études préparatoires en amont de projets d’investissement à finalité économique ou financière dans les pays en développement ou en transition. Le FASEP vise également la promotion des entreprises françaises en les favorisant lors des appels d’offres qui découlent des études. Une trentaine de projets financés par le FASEP ont été approuvés annuellement sur la période pour un montant moyen de 500 000 euros. 2.3 Unité d’Evaluation des Activités d’Aide au Développement

L’UEAD, dans sa forme actuelle, a été constituée en 2004. Son mandat est, tel que stipulé dans l’arrêté du 21 avril 2009 portant organisation de la DG Trésor, d’évaluer « les activités de développement pilotées ou mises en œuvre par la direction générale. Elle contribue à l'évaluation de l'ensemble de l'aide publique française au développement aux côtés des autres unités administratives d'évaluation (en particulier du ministère des affaires étrangères et européennes et de l'Agence française de développement) ainsi qu'à l'harmonisation et à la mise au point de bonnes pratiques (…) ». 2.4 Constats à l’origine de la revue

En 2013, l’UEAD a pris acte qu’outre le faible nombre d’évaluations de projets RPE-‐FASEP réalisées, un certain nombre d’insuffisances caractérisent ces travaux non seulement en termes de programmation et de qualité, mais aussi d’utilité et d’utilisation. L’UEAD a de ce fait décidé de passer en revue les évaluations des projets RPE et FASEP réalisées depuis la création de l’UEAD jusqu’en 2012 afin d’en tirer des enseignements utiles pour l’amélioration de la pratique et de la mise en œuvre des évaluations.


10

3. Objectif

L’objectif de la revue est la proposition d’actions concrètes et réalisables, pour améliorer l’évaluation par l’UEAD des projets RPE et FASEP. Ces recommandations devraient aussi permettre un renforcement de l’évaluation dans son ensemble à l’UEAD. La revue a comme objectifs spécifiques la formulation de recommandations pour pallier aux insuffisances relevées par l’UEAD particulièrement en matière de programmation, de qualité et d’utilité ainsi que d’utilisation des évaluations des projets RPE et FASEP. Il s’agit également, tout en restant dans le cadre de la revue, d’apporter un retour d’information à FININTER 2, le service en charge de la mise en œuvre des instruments RPE et FASEP, afin que ses agents puissent optimiser leur usage de l’évaluation. De façon générale la revue vise à apporter une valeur ajoutée en identifiant et en intégrant dans ses recommandations, dans la mesure du possible et de leur pertinence, des développements récents en matière d’évaluation. 4. Méthodologie

La revue répond d’abord à trois questions clés : Dans quelle mesure l’organisation et les systèmes d’évaluation de l’UEAD

sont-‐ils adéquats pour l’évaluation des projets d’aide liée ? Dans quelle mesure les processus 2 d’évaluation de l’aide liée sont-‐ils

appropriés pour l’évaluation des projets d’aide liée ? Quelle est la qualité des rapports d’évaluation des projets d’aide liée ?

2 Les processus incluent les méthodologies d’évaluation.


11

Une des questions clés de départ de la revue était la suivante « Comment s’organise et se fait l’évaluation de l’aide liée dans d’autres pays ? ». Après différentes démarches3, il est apparu non seulement difficile d’entrer en contact avec les personnes responsables de l’aide liée dans les pays qui en font le plus, mais de surcroit, il était presque impossible de savoir si l’évaluation de ce type d’aide était faite. L’équipe de la revue a donc formé l’idée qu’il ne se fait probablement pas ou peu d’évaluation des projets financés au moyen d’instruments d’aide liée dans les pays auxquels elle s’est intéressée -‐ mentionnés en partie 2.1. Voulant utiliser de façon optimale les ressources de la revue, et après discussion avec l’UEAD et le comité de pilotage, la décision a été prise de réaffecter les ressources dédiées à cette composante, ainsi remplacée par : la revue de pratiques d’évaluation par l’UEAD plus récentes, et la conduite d’un atelier de travail pour accompagner l’UEAD dans l’opérationnalisation des recommandations de la revue. Pour formuler l’analyse qui répond aux questions clés de la revue, un ensemble de données qualitatives et quantitatives ont été recueillies principalement au moyen :

• d’interviews semi-‐structurées, entre autre avec le personnel de l’UEAD, de FININTER 2, de la DG Trésor, de l’Agence Française de Développement (AFD) et de diverses parties prenantes aux évaluations RPE-‐FASEP ;

• d’interviews structurées des équipes d’évaluation pour les trois évaluations qui ont fait l’objet d’études de cas ;

• de revues documentaires de documents se rapportant à l’évaluation à la DG Trésor, à l’AFD, à l’aide liée de façon générale, à l’approche du CAD en matière d’évaluation du développement ;

• d’analyses documentaires des rapports, des termes de référence et des notes de structuration des évaluations FASEP et RPE menées entre 2004 et 2012 ;

• pour les trois évaluations qui ont fait l’objet d’études de cas, revue d’éléments des dossiers d’évaluation des consultants et revue d’éléments additionnels fournis par l’UEAD à partir de ses « dossiers de pilotage ».

La revue porte une attention particulière au traitement par les évaluations des questions relatives à l’appui au développement des pays récipiendaires soit « l’effet support », et celles relatives à l’appui au développement des entreprises françaises soit « l’effet de levier ». 3 Lettre du secrétariat du Réseau sur l’évaluation du développement du CAD à l’intention des unités d’évaluation du développement de chaque pays membre du CAD. Lettres, échanges de correspondance, entretiens : membres de l’Association Africaine d’Évaluation ; réseau d’évaluation interculturel de l’Association Américaine de l’Évaluation ; unités d’évaluation du développement de la Corée, de l’Autriche, de l’Espagne, du Canada, des Pays-‐Bas ; Banque Européenne d’Investissement, Banque mondiale, Banque Européenne pour la Reconstruction et le Développement, Banque Asiatique de Développement, Banque Africaine de Développement ; « State Department », Etats-‐Unis.


12

De plus, la revue tient compte des « insuffisances »4 relevées par l’UEAD en ce qui concerne les évaluations FASEP et RPE, mais a abordé son examen, son analyse et son appréciation sans préjugés et a suivi une méthodologie qui incorpore la prise en compte des contextes dans lesquels ces évaluations ont eu lieu. La revue cherche à apprécier autant les aspects positifs qui soutiennent les évaluations que les contraintes auxquelles elles font face. Les aspects de programmation, de la qualité et de l’utilité ainsi que de l’utilisation des évaluations sont au cœur des questions qu’aborde la revue dans ses études plus approfondies de trois évaluations choisies comme études de cas.

4 Voir sur ce point les termes de référence de la revue.


13

5. Évaluation de l’aide au développement à la DG Trésor

5.1 Cadre de politique de l’évaluation

Le document intitulé « Politique de l’évaluation des actions d’aide au développement : Guide Méthodologique », de la Direction Générale du Trésor, fait office de politique et de guide méthodologique pour l’UEAD. L’aspect de politique proprement dit, c’est-‐à-‐dire relatif à la raison d’être de la fonction de l’évaluation, son orientation fondamentale et ses priorités, n’est que peu développé et se résume essentiellement à un bref historique de son évolution et une description sommaire de ses activités. Le Guide consiste en grande partie en une description des procédures générales pour l’évaluation menée par l’UEAD, et principalement de celles relatives à l’organisation de l’évaluation. Le volet méthodologique proprement dit est limité et consiste en un résumé des principes et des critères d’évaluation du Comité d’Aide au Développement (CAD) de l’OCDE, assez peu mis en relation avec le contexte propre de l’UEAD. Dans sa forme actuelle le document ne traite pas adéquatement ni du contenu de politique de l’évaluation ni du contenu relatif aux approches méthodologiques privilégiés par l’UEAD dans le cadre de son mandat et de son rôle au sein de la DG Trésor. 5.2 Programmation

L’UEAD procède de façon systématique et consultative au développement de la programmation de ses évaluations sur une base triennale glissante. Le document de référence est la note interne portant sur le programme détaillé d’évaluation des activités de développement de la DG Trésor. La note interne la plus récente, portant sur les activités 2012-‐2014, dresse le bilan des évaluations réalisées en 2011-‐2012 et propose la programmation pour 2013-‐2014. Contrairement aux notes du même type qui précèdent cette dernière et qui s’inscrivent dans la période 2004-‐2012 que couvre cette revue, la note la plus récente rend plus explicites les critères qui ont servi à structurer et à justifier le choix des évaluations proposées.


14

Ce type d’approche programmatique est un facteur de renforcement de la performance de l’UEAD et ainsi de la valeur des évaluations. Le cadre de référence pour la programmation est une composante fondamentale d’une politique de l’évaluation. Toutefois la revue note que dans son état actuel, le document de politique de la DG Trésor ne traite pas spécifiquement de la programmation et qu’il n’existe pas non plus de document explicatif relatif aux procédures ou processus programmatiques des évaluations de la DG Trésor. Il s’en suit que la revue n’a pas trouvé de critères de sélection des projets évalués. De plus, la question de l’évaluabilité généralement prise en compte à l’étape de la programmation est aussi absente du document de politique de l’évaluation de la DG Trésor ; spécifiquement, l’UEAD n’a pas défini de façon explicite ce qui est attendu de l’appréciation de l’évaluabilité. 5.3 Gestion de la relation avec les consultants externes

La gestion de la relation avec les consultants externes qui ont mené les évaluations examinées par la revue, apparaît correcte et sans difficulté majeure tant sur les plans contractuel, que financier et relationnel. Ceci dit, le rôle de l’UEAD semble avoir été en grande partie administratif plutôt que focalisé sur la qualité et la valeur ajoutée de l’évaluation. L’aspect de qualité semble avoir été traité à travers le comité de pilotage, quant à la valeur ajoutée de l’évaluation celle-‐ci reste difficile à cerner vu le peu de suivi et de capitalisation systématique apparente. Certains aspects clés de la gestion contractuelle qui est de la responsabilité de l’UEAD semblent être pris en charge par le comité de pilotage comme par exemple l’appréciation du travail des consultants ou la validation des « livrables » contractuels tels que les rapports. 5.4 Assurance qualité

L’encadrement de l’évaluation doit reposer entre autre sur le contrôle de qualité par l’évaluateur et par l’assurance de la qualité par le commanditaire, ces deux processus devant à leur tour reposer sur des standards communs et des systèmes explicites et complémentaires. Dans un cas comme dans l’autre les deux composantes de contrôle et d’assurance qualité doivent faire appel à des niveaux élevés de connaissances et d’expertise de la théorie et de la pratique de l’évaluation.


15

À la lumière de ses travaux la revue estime que ces processus ainsi que les conditions nécessaires à leur mise en œuvre n’existent pas de manière effective et adéquate à l’heure actuelle dans l’organisation et les systèmes d’évaluation de la DG Trésor. 5.5 Pilotage

Le pilotage de l’évaluation est censé revenir au Comité de pilotage toutefois le rôle et les responsabilités de ce dernier sont confus du fait qu’en pratique il semble cumuler de manière indistincte des fonctions de gestion : supervision, termes de référence, choix des consultants, suivi et qualité de l’évaluation, validation des livrables contractuels ; des fonctions d’assurance qualité au regard de la méthodologie ; des fonctions de participation de parties prenantes ; ainsi que des fonctions de groupe de référence, et des fonctions de pilotage : orientation de l’évaluation. Encadré 1 : Les fonctions de « groupe de référence » et de « comité de pilotage » Généralement, un groupe de référence, ou groupe technique, sert à assurer que le traitement par l’évaluation de contenu spécialisé, soit technique ou sectoriel, est en cohérence avec l’état des connaissances et des pratiques de la discipline ou du secteur en question. Un groupe de référence peut par exemple proposer ou valider le choix de spécialistes à intégrer à l’équipe d’évaluation, à proposer des sources de données spécialisées, à proposer des questions spécifiques au contenu spécialisé, etc. Le groupe de référence s’apparente plus à un comité aviseur technique. Un comité de pilotage exerce un mandat de gouvernance de l’ensemble de l’évaluation et porte normalement son attention sur deux aspects : l’orientation de l’évaluation afin d’en assurer son utilisation et son indépendance, et la protection de l’autonomie de l’évaluateur dans l’exercice de son jugement évaluatif. De ce fait la qualité du pilotage apparaît variable et ces fonctions qui devraient être assumées pleinement par l’UEAD ne le sont pas. En particulier la responsabilité spécifique et primordiale d’un pilotage efficace, notamment la protection de l’indépendance de l’évaluation et de l’autonomie du jugement évaluatif ne semble pas primer dans les activités du comité de pilotage. Cette réalité crée un disfonctionnement qui se manifeste parfois lorsque des évaluations conduites de façon discutable ne sont pas redressées en temps opportun et que des livrables de qualité douteuse sont entérinés. De façon générale elle met à risque la crédibilité de l’évaluation, sa qualité et sa valeur ajoutée.


16

5.6 Communication, utilisation et capitalisation

La communication des résultats de l’évaluation des projets RPE et FASEP se fait par la publication des rapports de synthèse sur le site web de la DG Trésor. Les rapports finaux pour les évaluations des projets d’aide liée ne sont pas publiés dans leur intégralité compte-‐tenu d’un objectif de protection d’éventuels intérêts commerciaux. Sur la période concernée par la revue, la question de l’utilisation des évaluations ne fait pas l’objet de considérations systématiques ex-‐ante, ce qui présente le risque que leur utilité soit aléatoire. Encadré 2 :Précisions sur la notion d’utilisation relative à l’évaluation Il ne faut pas confondre : -‐ utilisation dans le sens d’une approche évaluative focalisée sur l’utilisation, du type « Utilisation Focused Evaluation » de M.Q. Patton5, -‐ et la mise en place d’un système de suivi des recommandations. La revue note que la DG Trésor annonce, en 2014, la formalisation d’un système de suivi des recommandations des évaluations. La revue n’a pas trouvé de système établi afin de soutenir la capitalisation systématique des enseignements tirés des évaluations. Sur ce dernier point, il est important de noter que certains prérequis fondamentaux d’un système de gestion des connaissances permettant de capitaliser sur les travaux produits ne semblent pas tout à fait en place ; en effet, l’effort de recherche nécessaire dont l’UEAD fait état pour transmettre les rapports et documents relatifs aux consultants sur la période concernée par la revue indique que le système d’archivage des rapports d’évaluation et de la documentation pourrait être renforcé.

5 http://www.sagepub.com/books/Book229324


17

6. Évaluation de l’aide liée

6.1 Précisions sur le concept d’effets

6.1.1 Effet de levier L’effet de levier mesure l’ensemble des effets d’un projet d’aide internationale sur l’économie française (production, emploi, exportation,…), que ces effets soient directs, c’est-‐à-‐dire liés au contrat d’aide et bénéficiant aux entreprises contractantes et à leurs sous-‐traitants, ou indirects, c’est-‐à-‐dire induits par les effets directs au bénéfice d’entreprises françaises en dehors du contrat. Effet de levier direct : part française du contrat ou directement liée au contrat L’effet direct (à ce stade aucun levier n’a encore joué) est celui lié à la réalisation du projet par l’entreprise bénéficiaire du contrat. Il est défini comme la part française de l’opération, c’est à dire la part non importée. Si la définition paraît simple, sa mesure est complexe, car, à la part française de la production de l’entreprise bénéficiaire, il convient en toute rigueur d’ajouter la part française d’un ensemble de consommations intermédiaires. La part française de la production de l’entreprise bénéficiaire est égale à sa production dont sont retirées les consommations intermédiaires importées, c’est-‐à-‐dire, comptablement à la valeur ajoutée (VA) de l’entreprise additionnées de ses consommations intermédiaires (CI) non importées. La difficulté vient de ce que les CI non importées, c’est-‐à-‐dire la production des sous-‐traitants, recèlent à leur tour une part française et des CI importées, et ainsi de suite. Le graphique suivant illustre cet enchaînement. Encadré 3 : Effet de levier direct = part française


18

Il convient de noter que la nationalité de l’entreprise n’intervient pas. La production est française si elle est produite en France. Effet de levier indirect : contrats ultérieurs La réalisation du contrat FASEP ou RPE peut donner lieu à d’autres contrats entre une entité du pays bénéficiaire et des entreprises françaises, en particulier celles ayant bénéficié du contrat initial. Il peut s’agir de contrats directement liés au contrat initial (maintenance, formation, etc.) ou de contrats obtenus à la suite de la réputation acquise grâce au premier contrat. Dans ce dernier cas, on peut faire la distinction entre un effet de levier indirect et un effet vitrine. L’effet de levier indirect est mesuré par des contrats ultérieurs effectivement obtenus ou probables tandis que l’effet vitrine consiste en une réputation dont on espère des retombées sous la forme de contrats futurs. Effet de levier indirect : effets macro-économiques La production française (c’est-‐à-‐dire sur le territoire français) entraîne, au-‐delà des effets précédents, des effets globaux sur le PIB par les revenus qu’elle distribue et qui sont ensuite dépensés. Cet effet est difficile à mesurer (bien que certaines agences de coopération le fassent d’autant qu’il s’applique tant au contrat initial qu’aux contrats ultérieurs.) Effet de levier mesurable : définition retenue Il convient de retenir une définition opérationnelle, c’est-‐à-‐dire susceptible d’être mise en œuvre compte tenu des moyens disponibles. L’effet de levier mesurable est constitué de : -‐ l’effet de levier direct arrêté au niveau 1 de sous-‐traitance ; -‐ les contrats ultérieurs acquis ou probables. Sont donc exclus de l’effet de levier mesurable : -‐ l’effet de levier direct au-‐delà du niveau 1 de sous-‐traitance ; -‐ les contrats ultérieurs incertains ; -‐ les effets macro-‐économiques.


19

6.1.2 Effet support L’effet support d’un projet est constitué des résultats pour le pays bénéficiaire. Ces résultats, par opposition au processus qui les produit, sont généralement catégorisés selon une « chaine de résultats » en :

• biens et services produits (« outputs » ou extrants) par le projet ; • effets (« outcomes »), sur la population visée directement par le projet ; • impacts qui, selon la définition de l’OCDE-‐CAD sont des effets à long terme, positifs et négatifs, primaires et secondaires, directs ou indirects, attendus ou non.

L’objectif principal d’une intervention est généralement défini en termes de résultats pour la population ciblée par l’intervention. Selon la politique de l’évaluation de l’UEAD l’efficacité d’une intervention est une mesure selon laquelle les objectifs de l’intervention ont été atteints ou sont en mesure de l’être. Le terme efficacité peut aussi connoter l’appréciation d’ensemble du mérite ou de la valeur d’une intervention. Encadré 4 : La chaîne d’évaluation des politiques6

6 Source : Politique de l’évaluation des actions d’aide au développement. Guide méthodologique. DG Trésor -‐ 2010.


20

6.2 Traitement des effets dans les évaluations

6.2.1 Effet de levier et effet support, remarque préliminaire Les effets de levier et support sont différents selon qu’il s’agit des FASEP ou des RPE. Le FASEP Etudes est engagé avec l’espoir qu’il soit suivi par un projet industriel « en dur », concret. Les effets du FASEP sont beaucoup plus limités si ce projet n’est pas réalisé que s’il l’est. En première approximation, on pourrait considérer que les effets de levier et support significatifs du FASEP Etudes sont ceux du projet sous-‐jacent. En fait, les choses sont un peu plus compliquées dans la mesure où le FASEP Etudes, même lorsqu’il n’est pas suivi d’un projet industriel, recèle, en tant que projet d’ingénierie des effets de levier et support, certes limités, mais bien réels :

• effet de levier : le FASEP Etudes fait connaître les bureaux français d’ingénierie auprès des partenaires, et peut donc produire un effet vitrine susceptible d’engendrer des commandes ultérieures pour ce type de prestation ;

• effet support : le FASEP Etude, s’il associe des partenaires au développement, peut accroître les capacités de ceux-‐ci dans le domaine de l’ingénierie.

Il n’en reste pas moins que ces effets sont très limités relativement à ceux que permettent d’obtenir la réalisation du projet sous-‐jacent. Les autres types de FASEP, en particulier le FASEP Formation professionnelle et le FASEP Innovation verte ne sont pas liés directement à des projets sous-‐jacents identifiés. Ils sont cependant mis en œuvre dans la perspective de faire connaître le savoir-‐faire des entreprises françaises et de faciliter l’obtention de contrats de projets industriels dans l’avenir. Enfin, le FASEP a été parfois réorienté pour financer l’assistance technique à la mise en œuvre d’un projet industriel.


21

6.2.2 Effet de levier L’effet de levier dans les termes de référence Il est possible de confronter ce qui est demandé aux évaluateurs dans les termes de référence à ce qu’ils ont pu produire. La présentation la plus complète de l’effet de levier se trouve dans l’annexe des termes de référence intitulée « Structure indicative du rapport d’évaluation » (cette « structure indicative », strictement identique pour toutes les évaluations sauf trois sur la période 2004-‐2012, a été supprimée à partir de 2011) -‐ dans la section « 5.2 Impact du projet pour l’économie française » qui se décompose en 3 paragraphes demandant aux consultants retenus d’apprécier :

• Les effets directs et à moyen terme sur le commerce extérieur. La demande concerne l’effet de levier du financement afférent au projet (non défini), la stratégie d’implantation des entreprises, l’acquisition ou le maintien de positions commerciales, l’évaluation chiffrée (au moins estimative) des exportations françaises générées par le projet ainsi que des potentialités, etc. • L’effet vitrine du projet. Il s’agit d’apprécier notamment l’image de marque des entreprises françaises et de la France créée par le projet, la publicité donnée au projet, la valorisation de l’action d’aide française au développement. • La réplicabilité du projet. Il est demandé d’apprécier les conditions de réussite d’un projet analogue en général et dans la zone géographique concernée, et l’insertion du projet dans une stratégie française plus globale d’intervention en termes de secteur, de pays ou de zone.

L’effet de levier dans les évaluations Ce qui suit vaut essentiellement pour les RPE ; un commentaire spécifique aux FASEP est proposé en fin de paragraphe. L’effet de levier n’est pratiquement jamais défini par les évaluateurs. En pratique, il correspond à ce qui a été défini comme « l’effet de levier mesurable » -‐ section 6.1.1 du présent rapport -‐ c’est-‐à-‐dire au chiffre d’affaires des entreprises parties prenantes au contrat et de leurs sous-‐traitants auxquels viennent s’adjoindre d’autres entreprises françaises parties prenantes à des contrats ultérieurs en cours, ou à des contrats ultérieurs acquis ou probables. Sauf dans un cas, l’effet de levier n’est jamais chiffré. Si la « part française » du contrat initial est connue à la signature du contrat, elle n’est jamais évoquée en ce qui concerne la suite de l’effet de levier, c’est-‐à-‐dire les contrats susceptibles d’être signés à la suite de contrat FASEP ou RPE initial.


22

La vérification ex-‐post de la part française telle qu'établie ex-‐ante n'est pas effectuée par les évaluateurs, mais par le Contrôle général économique et financier (CEGEFI), en général après l'achèvement de l'évaluation. Les données utilisées pour apprécier l’effet de levier sont globalement générales et recueillies à la suite d’entretiens avec les entreprises bénéficiaires du contrat initial et avec les services économiques ainsi que par une connaissance du milieu entrepreneurial, tant français que local, dans le pays. Les effets sur l’emploi en France et les exportations françaises ne sont mentionnés que dans une minorité d’évaluations généralement à la suite d’entretiens avec les bénéficiaires du contrat initial, et ne font pas appel à des données quantitatives. Il n’y pas d’estimation de l’emploi et des exportations liés au reste de l’effet de levier. Les effets de levier des FASEP Etudes ont été évalués en termes de retombées à la fois en ingénierie, principalement pour l’entreprise ayant réalisée l’étude, et en projets sous-‐jacents. De ce dernier point de vue, les évaluations se sont, bien sûr, limitées à constater la réalisation ou la non-‐réalisation du projet sous-‐jacent, ou à évaluer ses perspectives de réalisation, sans aller jusqu’à estimer les effets de levier du projet sous-‐jacent, les perspectives de projets induits par le projet sous-‐jacent étant beaucoup trop incertaines. Les effets de levier des FASEP Formation professionnelle ont été évalués du point de vue de leur retombées en termes d’objectifs sous-‐jacents (il est préférable de parler d’objectifs plutôt que de projets puisque, dans ce cas, il n’existe généralement pas de projets sous-‐jacents bien spécifiés). Il en est de même des FASEP « Assistance technique ». Malgré ces déficiences de l’estimation de l’effet de levier des FASEP et des RPE, il serait possible d’apprécier cet effet en adoptant une vision agrégée de l’ensemble des projets plutôt que de se limiter à l’évaluation projet par projet. Celle-‐ci aurait également pour avantage de permettre de poursuivre vers une estimation macro-‐économique, telle que celle de la Coopération suisse, dont les estimations montrent que son absence omet une part importante de l’effet pour l’ensemble de l’économie7.

7 La méthodologie de la Coopération suisse a pour objet d’estimer les effets sur le PIB de la Suisse de l’ensemble des dépenses d’aide publique au développement (APD). La première étape de l’estimation consiste à calculer l’effet primaire sur la demande globale, qui inclut l’ensemble des effets directs de l’APD sur la demande de biens et services suisses, c’est-‐à-‐dire hors effets macro-‐économiques induits. Ces effets directs sont estimés de façon relativement large puisqu’ils incluent, par exemple, les achats de biens et services suisses consécutifs à l’aide multilatérale suisse. L’effet primaire sur la demande globale est de 0,73 franc suisse pour 1 franc suisse d’APD. Les effets sur le PIB et sur l’emploi sont ensuite calculés par un modèle macro-‐économique qui vient ajouter à l’effet primaire des effets induits. Compte tenu des incertitudes qui pèsent sur les hypothèses nécessaires aux calculs, il est proposé une valeur minimale et une valeur maximale des estimations, qui, sont respectivement 1,29 et 1,51 francs suisses de PIB pour 1 franc suisse d’APD. La comparaison entre l’effet primaire sur la demande globale et l’effet sur le PIB, tous effets induits pris en compte, met bien en évidence les défauts d’une approche non macro-‐économique, quels que soient les effets indirects qui aient pu être pris en compte au préalable.


23

Cette vision globale permettrait également de mettre à profit les travaux de l’Observatoire du fabriqué en France8 qui, au seul niveau agrégé de secteurs, permet un calcul de la part française, au-‐delà du calcul de la DGE qui, quelle que soit sa qualité, ne vaut que pour la composante initiale des contrats FASEP et RPE.

6.2.3 Effet support L’effet support dans les termes de référence Il est possible, comme pour l’effet de levier, de confronter ce qui est demandé aux évaluateurs dans les termes de référence à ce qu’ils ont pu produire. La présentation la plus complète de l’effet support était jusqu’en 2011 obtenue dans l’annexe « Structure indicative des rapports d’évaluation » des termes de référence – qui était identique et présente pour toutes les évaluations sous revue sauf trois -‐ et se trouve à la section « 5.1 Impact du projet pour le pays récipiendaire » qui se décompose en 4 paragraphes :

-‐ Les impacts économiques : la demande est encore plus ambitieuse que ce qui est attendu des évaluateurs concernant l’effet de levier puisqu’il leur est demandé de mesurer le taux interne de rentabilité économique, l’impact sur le budget de l’Etat ou des collectivités locales, et les mesures d’accompagnement prises par l’Etat. -‐ Les impacts techniques : c.à.d. l’adéquation du projet aux besoins technologiques du bénéficiaire, les échelles de comparaison avec des équipements ou interventions similaires, les transferts de technologie, etc. -‐ Les impacts institutionnels : c.à.d. notamment l’insertion du projet dans la programmation des investissements du pays et dans le développement du secteur concerné, l’aptitude du pays d’accueil à la gestion du projet et éventuelles propositions d’amélioration. -‐ Les impacts sociaux et environnementaux : c.à.d. les effets du projet sur le développement social du pays et sa contribution à la lutte contre la pauvreté et les inégalités sociales, les effets sur l’environnement.

8 La méthodologie de l’Observatoire du fabriqué en France cherche à estimer, dans la production d’un bien ou service, la part qui revient aux entreprises françaises après épuisement de tous les effets de sous-‐traitance. A cette fin, un tableau des entrées intermédiaires est utilisé qui permet de calculer (théoriquement à l’infini) la totalité des productions de consommations intermédiaires qui ont contribué à la production concernée. Ainsi, pour une voiture fabriquée en France valant 10 000 euros, 6 900 correspondent à des composants et à de la R & D français et 3 100 euros à des composants importés.


24

L’utilisation du terme impact ne correspond pas exactement à la définition rappelée plus haut. Il convient de considérer que l’impact tel que mentionné par les termes de référence est un effet ; on s’en tiendra cependant dans ce rapport au vocabulaire des termes de référence. Ces impacts présentent vraisemblablement des difficultés d’évaluation. Les trois premiers types d’impacts sont essentiellement des impacts directs tandis que le dernier, intitulé « impacts sociaux et environnementaux », est essentiellement composé d’impacts indirects, difficiles à mesurer. Les impacts économiques ont été limités à des impacts plus micro-‐économiques ou de finances publiques qu’étendus à des impacts macro-‐économiques, dont les caractéristiques de long terme et de résultat d’effet multiplicateur rendent la mesure impossible dans le cadre des évaluations de projet. L’effet support dans les évaluations Les évaluations ont, dans la plupart des cas, cherché l’alignement sur les termes de référence. La non différenciation des termes de référence pour les FASEP et RPE a posé un problème aux évaluateurs des FASEP, en particulier jusqu’en 2011 quand un plan indicatif du rapport d’évaluation était fourni en annexe, (voir Effet de levier et effet support, remarque préliminaire) Si dans le cas des projets RPE, il s’agit de réalisations dont l’évaluation peut être fondée sur la recherche de faits probants, a contrario l’évaluation de prévisions d’impact dans le cas des FASEP, est beaucoup plus difficile car il s’agit non pas d’observer des résultats, mais d’apprécier une méthode de prévision. Les évaluations des effets support des FASEP-‐Etudes sont très limitées. Ceux-‐ci sont en général identifiés au constat d’un éventuel bénéfice pour la population du projet sous-‐jacent à venir. Parfois la composante accroissement des capacités de l’ingénierie est mentionnée. Les évaluations des effets support des FASEP-‐Formation professionnelle se limitent au constat d’un accroissement des capacités directement lié à la formation. Quelques évaluations, peu nombreuses, ont cherché à se départir du plan indicatif donné dans les termes de référence pour adopter une autre approche, en particulier en séparant les constats selon le niveau des impacts : projet, secteur, pays. Le respect du plan indicatif par les évaluateurs qui ont choisi de se tenir à la structure fournie par les termes de référence conduit souvent à des développements « forcés » sur des thèmes non pertinents pour le projet concerné. Le caractère « indicatif » aurait dû être davantage souligné dans les termes de référence. Les évaluations de l’effet support sont de qualité très variable selon les projets évalués. Comme dans le cas de l’effet de levier, il y a peu de données quantitatives à l’appui.


25

6.3 Les rapports d’évaluation de l’aide liée 2004-2012

L’équipe disposait, dès le commencement de la revue, de la liste des 11 évaluations réalisées sur la période 2004–2012, les rapports lui sont ensuite parvenus au fur et à mesure.

6.3.1 Protocole d’appréciation des rapports Elaboration d’une grille d’appréciation Afin d’apprécier les rapports d’évaluation, la revue a procédé à l’analyse de ces rapports sur base d’une grille simplifiée élaborée à partir de différents standards en matière d’évaluation9. > CAD10 : les Normes de Qualité pour l’Evaluation du Développement rédigées en février 2010 et actualisées depuis, comprennent des standards concernant spécifiquement la qualité des rapports d’évaluation – cf. pp.26-‐27 du document ci référencé. (http://www.oecd.org/fr/cad/evaluation/49898837.pdf) > UNEG11 : le réseau des unités d’évaluation des agences des Nations Unies s’est doté de standards permettant d’apprécier la qualité des rapports d’évaluation – c’est de loin le document le plus exhaustif. (http://www.uneval.org/document/detail/607) > UEAD : la Politique d’Evaluation des Actions d’Aide au Développement de l’UEAD, datant d’avril 2010, contient une « grille d’appréciation des travaux des consultants » pp. 21-‐22 du document ci-‐référencé. (http://www.tresor.economie.gouv.fr/File/394820) Protocole d’utilisation de la grille A partir de cette grille, des appréciations ont été faites pour chaque rapport. Dans une première phase la revue a réparti les 11 rapports d’évaluation de sorte que chaque membre de l’équipe a apprécié individuellement un ou plusieurs des rapports d’évaluation à l’aide de la grille. Une fois l’ensemble des rapports examinés par un des membres de l’équipe, la revue a, dans une deuxième phase, procédé à un deuxième examen : les 11 rapports d’évaluation et les 11 grilles d’appréciation remplies ont été revues par au moins un autre membre de l’équipe. Pour les études de cas sélectionnées, l’ensemble de l’équipe a participé à l’examen approfondi de chaque évaluation retenue.

9 Cette grille figure en annexe 1 du présent rapport. 10 Comité d’Aide au Développement de l’OCDE 11 United Nations Evaluation Group


26

6.3.2 Constatations Les analyses des rapports d’évaluation effectuées sur la base de la grille d’appréciation simplifiée permettent de confirmer que ceux-‐ci présentent un certain nombre d’insuffisances qui sont résumées ci-‐dessous. Les finalités et objectifs de l’évaluation • La raison de l’évaluation et son utilisation préconisée sont des éléments assez peu décrits dans les rapports : la majeure partie d’entre eux ne donne que quelques éléments succincts à ce propos, et 5 rapports sur les 11 ne contiennent aucune information à ce sujet. • La description de l’objet de l’évaluation se trouve, de façon générale, dans les rapports de façon plus ou moins exhaustive. Néanmoins si l’ensemble des rapports décrit de façon plus ou moins claire l’objet (ce qu’il s’agit d’évaluer), l’étendue de l’évaluation (ce que couvre l’évaluation et ce qui n’a pas été évalué) ne fait pas partie des éléments présentés. • Les objectifs ou les questions spécifiques de l’évaluation sont essentiellement absents de la majeure partie des rapports : 7 rapports sur les 11 ne précisent pas quelles ont été les questions d’évaluation. Par ailleurs, l’énoncé des objectifs de l’évaluation ne figure dans aucun des rapports, qui ne comportent ni éléments sur le type d’information recherché, pour qui et pour quoi. Méthodologie de l’évaluation • Les critères sont, d’une manière générale, très peu documentés. Les rapports n’expliquent pas la façon dont ceux-‐ci ont été opérationnalisés dans le cadre des évaluations (8 évaluations sur les 11). Les rapports ne comportent pas non plus d’information sur la pertinence des critères sélectionnés -‐ dans la mesure où l’ensemble des critères du CAD suggérés dans les termes de référence n’est pas systématiquement utilisé -‐ sur leur adéquation à la situation d’évaluation ou de considérations sur leurs limites. • Les méthodes de collecte des données et les types de sources font, de façon générale, l’objet d’assez peu de précisions : la plupart des rapports ne comporte que la liste des personnes interrogées, et 2 rapports sur les 11 ne contiennent pas du tout ce type d’information. • Pour l’ensemble des 11 rapports, le cadre analytique est par ailleurs, lorsqu’il n’est pas ambigu, relativement inapproprié relevant d’avantage du contrôle de conformité que d’un mode d’analyse à proprement parler. Résultats • Sur un plan formel, les constats principaux des évaluations ressortent assez clairement parmi les 11 rapports. Néanmoins, pour au moins 5 des rapports les constats sont peu substantiels et désorganisés, mêlant des éléments de jugements aux faits. Par ailleurs, les faits mentionnés ne sont pas appuyés par des preuves suffisantes (faits non probants). • L’analyse évaluative s’apparente généralement plutôt à une description, notamment dans 6 des rapports.


27

• Il est difficile d'identifier par rapport à quoi les conclusions (le jugement évaluatif) ont été formulées étant donné les éléments manquants mentionnés précédemment (questions d'évaluations, méthodologie et méthodes etc.) pour a minima 6 des rapports. • Les recommandations ne sont pas systématiquement pratiques, hiérarchisées, adressées et s’avèrent donc fréquemment peu actionnables.

Autres éléments du rapport • Les rapports contiennent très peu d’informations sur la mise en œuvre de l’évaluation : ils ne comportent pas d’éléments sur les parties prenantes de l’évaluation, sur le comité de pilotage, sur les difficultés rencontrées ou sur d’autres aspects du processus évaluatif. • Les rapports depuis 2008 ont fait l’objet d’une synthèse publiée (en version papier et/ou électronique), c.-‐à-‐d. 9 rapports sur les 11. Ces synthèses sont en revanche relativement peu accessibles au public puisque seulement 4 des 9 synthèses publiées ont été mises en ligne.

6.3.3 Évolution des rapports de 2004 à 2012 La qualité des rapports a peu progressé sur la période. Pour chacun des aspects examinés, qu’il s’agisse de la finalité et des objectifs de l’évaluation, des méthodologies employées, des résultats ou des autres éléments du rapport, il n’apparaît pas d’amélioration significative entre les premières évaluations examinées (réalisées en 2006) et les dernières (datant de 2011). Ceci dit, la qualité des rapports d’évaluation dépend en partie de la qualité des termes de référence.

6.3.4 Termes de référence sur la période 2004-‐2012 L’analyse des termes de référence des évaluations fait ressortir que ceux-‐ci sont presque identiquement volumineux, détaillés et prescriptifs pour chacune des évaluations de projets RPE-‐FASEP sur la période 2004-‐2012. Pour autant certains éléments fondamentaux pour une commande d’évaluation n’y sont pas précisés.

En effet, l’objectif des évaluations n’est pas perceptible à la lecture des termes de référence examinés. Si les objectifs font l’objet d’une section distincte et que celle-‐ci fournit des éléments sur le type d’information recherchée, aucun des termes de référence ne précise à quelle fin ni à qui ces informations sont destinées. Les projets RPE et FASEP sont traités de façon identique : la commande d’évaluation est la même pour l’évaluation des « projets » que contribuent à financer ces deux instruments.


28

Les critères centraux d’évaluation sont systématiquement les mêmes pour chacune des évaluations soit : pertinence, efficacité, efficience, économie, viabilité, impact, ce qui suggère une application « standardisée » des principes et des critères de l’OCDE-‐CAD pour apprécier des projets dont la nature et les enjeux sont différents et diversifiés. En particulier, les termes de référence confondent les objectifs avec les critères de l’évaluation dans la mesure où ceux-‐ci stipulent par exemple « L’objectif de l’évaluation est de porter un jugement indépendant et argumenté sur l’utilisation de l’instrument FASEP-Études dans le secteur MDP/MOC à partir des 8 projets FASEP exécutés à ce jour dans ce secteur, selon les cinq critères d’évaluation convenus dans le cadre du CAD-OCDE, à savoir la pertinence, l'efficacité, l'efficience, l’impact et la durabilité.» Aussi, la formulation « standardisée » des termes de référence ainsi que leur niveau de détail tendent dans une certaine mesure à uniformiser tant la réalisation de l’évaluation que la façon dont sont rendues les conclusions et les recommandations. Certaines demandes systématiques des termes de référence apparaissent problématiques dans la mesure où elles adressent à l’évaluation une commande dont les produits relèvent de la responsabilité d’autres fonctions – notamment les fonctions de gestion et de contrôle -‐ par exemple : la formulation de la logique d'intervention, la vérification de l’éligibilité des projets (au FASEP et à la RPE) et la vérification de l’exécution technique et financière des projets. Aussi les demandes d’appréciation des effets support et de levier présentent des difficultés dans la mesure où d’une part l’objectif support des projets n’est souvent pas prioritaire et d’autre part ces effets, particulièrement de levier, ne sont pas précisés de façon claire dans l’instruction des projets FASEP et RPE. 6.4 Appels à manifestation d’intérêt et termes de référence récents

La revue a également examiné une sélection d’appels à manifestation d’intérêt (AMI) et de termes de référence pour des évaluations RPE et FASEP récentes (réalisées après 2012) afin de tenir compte dans ses recommandations de la situation telle qu’elle se présente actuellement. En effet, si la revue du dispositif d’évaluation faisant l’objet du présent rapport porte sur une période qui s’achève en 2012, depuis, quelques modifications du dispositif d’évaluation par la DG Trésor ont été mises en place. Notamment l’établissement des termes de référence a été revu en supprimant à la fois la structure imposée du rapport d’évaluation et son corollaire la grille d’appréciation des projets.


29

Appels à manifestation d’intérêt Les documents examinés concernent : -‐ La réalisation d’une évaluation rétrospective relative à un projet d’amélioration d e la prise en charge des urgences dans les régions touchées par le tsunami de décembre 2004 (décembre 2013). -‐ La réalisation d’une évaluation rétrospective de deux lignes de crédit en faveur des PME PMI en Tunisie (RPE) et dans les territoires palestiniens (FASEP). Les appels à manifestation d’intérêt sont très cadrés, et mentionnent p. ex. des éléments méthodologiques tels que les critères du CAD, l’effet support et l’effet de levier, etc. Ils apportent l’essentiel des informations contenues dans les TdR, qui ne diffèrent de ce fait pas grandement de l’appel à manifestation d’intérêt dans la mesure où ils n’apportent ensuite que des informations complémentaires sur les projets, le contexte, les résultats attendus, le calendrier, le comité de pilotage. Selon l’UEAD, « depuis 2011 les termes de référence essaient de se démarquer des AMI en introduisant des questions évaluatives et plus de détail sur l’objet à évaluer, par exemple pour les grappes FASEP, la liste des projets qui la constitue et quelques variables sur ces projets. La difficulté vient de : (1) l’absence /faiblesse des données/documents publics sur ces projets (confidentialité) ; (2) la difficulté d’accès de l’UEAD à ces données/documents ; et (3) leur indisponibilité tout simplement. » Termes de référence Les termes de référence examinés concernent: • L’évaluation rétrospective d’un projet sur la RPE dans le domaine de la santé, • L’évaluation rétrospective d’une grappe de projets financés sur le FASEP-‐Innovation verte,

• L’évaluation rétrospective de deux lignes de crédit en faveur des PME PMI en Tunisie (RPE) et dans les territoires palestiniens (FASEP).

Ces TdR examinés sur la période post 2012 sont relativement similaires à ceux des évaluations qui font l’objet de cette revue. En effet les TdR récents demandent d’une part de reconstruire « la logique d’intervention » ce qui, tel que mentionné dans ce qui précède présente un certains nombre de risques. Ceux-‐ci posent d’autre part les critères CAD comme base d’évaluation tant dans les appels à manifestation d’intérêt que dans les termes de référence, et n’évoquent pas systématiquement la possibilité pour l’évaluateur de proposer des approches et des méthodologies différentes. On note cependant que certains des TdR permettent une plus grande flexibilité dans l’utilisation des critères et que l’évaluateur est également enjoint à en proposer d’autres ; ils offrent également la possibilité de proposer des questions supplémentaires.


30

Aussi, les TdR récents focalisent toujours l’évaluation sur les effets dits support et de levier dans une perspective de « résultats ». De plus les méthodes de collecte de données sont également toujours prescrites, et le comité de pilotage est toujours appelé à jouer entre autre un rôle de gestion. Cependant, il est à noter que les termes de référence récents peuvent être considérés comme moins contraignants dans la mesure où ils n’incluent plus une structure détaillée du rapport.


31

7. Études de cas

Trois évaluations menées durant la période 2004-‐2012 ont été sélectionnées pour un examen plus approfondi. Leurs rapports ont fait l’objet d’une appréciation systématique, ainsi que leurs termes de référence, notes de structuration et d’autres documents y relatifs. La revue a fait son choix basé sur les critères suivants:

• le type de projet, soit RPE, FASEP et RPE-‐FASEP, • des secteurs différents, • au moins un multi pays, • des consultants différents pour chaque évaluation retenue y inclus un consultant ayant effectué plusieurs évaluations pour le compte de l’UEAD,

• des projets aussi récents que possible. La présentation des études de cas est structurée en fonction de l’évaluation spécifique qui a été examinée. Pour cette sélection d’évaluations la revue formule des observations sur la collecte de données y inclus les visites terrain, l’analyse des données et l’établissement des constats, la formulation des conclusions et des recommandations, et porte un regard sur la mise en œuvre de l’évaluation aux étapes clés notamment la structuration de l’évaluation. 7.1 RPE : Evaluation de la fourniture d’équipements, de machines-outils et

d’assistance technique au Vietnam

7.1.1 Sommaire L’évaluation rétrospective du projet RPE de fournitures d’équipements, de machines-‐outils et d’assistance technique au Vietnam, a été réalisée par le cabinet Ernst & Young en 2008 et le rapport finalisé en janvier 2009. Approuvé en 2001, le projet a été exécuté par la société Alstom, prestataire principal, qui a fait appel à plusieurs entreprises sous-‐traitantes pour la fourniture des machines-‐outils et la réalisation de formations (Systra). Il consistait en la fourniture de 16 machines-‐outils en maintenance ferroviaire et 9 petits équipements ; l’organisation de formations des ateliers des chemins de fer vietnamiens à l'utilisation de ces machines-‐outils et équipements ; l’organisation de formations du management des chemins de fer vietnamiens à l'organisation de la maintenance) réparti sur trois sites (Hanoi, Ho chi Minh Ville et Vinh). Le montant du projet s’est élevé à 6,7 M€, dont 85% ont financé la livraison des équipements et machines. Le projet a été clôturé à la fin de l’année 2005.


32

L’évaluation avait pour objet d'exprimer une opinion indépendante et motivée sur la pertinence, l'efficacité et l'efficience du projet, son adéquation avec les critères d'éligibilité à la réserve pays émergents (RPE) et son impact. En ce sens, l’évaluation devait identifier dans quelle mesure le projet a permis un transfert de technologies en faveur du Vietnam dans le domaine des transports, notamment du transport ferroviaire, et quels gains respectifs les deux parties en ont retirés. L’évaluation conclut que le projet a été exécuté conformément au contrat et qu’il a été pertinent au regard du double objectif de la coopération économique française : répondre aux besoins du secteur ferroviaire vietnamien et promouvoir les entreprises et la technologie françaises. La préface du chef de l’UEAD au rapport synthèse dit : « Le projet a apporté des résultats localisés positifs de façon directe ou indirecte. Par exemple, une baisse des temps de révision a été constatée (une locomotive est révisée en 30 jours en 2008 contre 50 jours en 2000) ou la mise en place d’un système de suivi informatisé dans un atelier a permis d’augmenter le nombre de locomotives en fonctionnement de 8 à 14. A ces éléments directement imputables au projet, une contribution indirecte du projet sur les impacts attendus a été identifiée. Au niveau des ateliers, l'évaluation a constaté une augmentation globale de leur activité, de l'ordre de 13% pour les réparations légères, et 68% pour les réparations lourdes, et portant principalement sur les wagons et voitures. On note également une réduction du temps de trajet entre Hanoi et Ho Chi Minh Ville, passé de 32 heures en 2000, à 30 heures en 2003 à 29h30 en 2004 à laquelle une amélioration de la qualité du matériel roulant peut contribuer. Enfin, la sécurité est en légère progression puisqu’il a été constaté une baisse du nombre d’accidentés. »

7.1.2 Observations Processus et rapport d’évaluation Les deux tiers environ du rapport d’évaluation sont consacrés à un contenu essentiellement descriptif et se rapportant à la pertinence, la cohérence, la complémentarité, les modalités de mise en œuvre ainsi que l’exécution technique et financière du projet. Un tiers du contenu traite des questions de résultats et d’impact pour le pays et pour les entreprises françaises.


33

L’examen de la documentation relative à l’évaluation du projet, en particulier les termes de référence, la note de structuration et l’évaluation du travail des consultants par le comité de pilotage, ainsi que des entretiens avec l’équipe d’évaluation, indique une cohérence générale entre les attentes de la DG Trésor, le travail fait et le rapport d’évaluation. Aussi l’allocation de l’effort de l’équipe d’évaluation apparaît reflétée de manière proportionnelle dans la répartition du contenu du rapport final d’évaluation. L’évaluation a été en grande partie un exercice de prise de connaissance du déroulement du projet et une vérification de son exécution technique et financière. Une partie importante de l’effort d’évaluation a aussi porté sur la prise de connaissance des contextes dans lesquels s’est réalisé le projet. Ainsi l’évaluation, son processus et ses résultats, s’apparentent plutôt à un contrôle de fin de projet et dans une certaine mesure à un audit de performance, qu’à une évaluation. Cette observation ne reflète pas uniquement comment l’évaluation a été menée par les consultants, mais aussi et de façon prépondérante la conception particulière de l’UEAD, de la DG Trésor et du Comité de pilotage de ce en quoi consiste l’évaluation et son exercice, et à plus forte raison dans les cas des projets RPE et FASEP. Ceci dit, l’évaluation, telle que présentée dans le rapport final, ne traite pas de façon claire et explicite des questions relatives aux résultats et aux effets du projet. Les appréciations de l’efficacité et de l’efficience du projet sont générales et la formulation des conclusions reste vague. En matière d’impact, l’évaluation évoque la possibilité d’effets mais ne donne que peu d’éléments probants qui permettraient de comprendre de façon claire la portée réelle du projet, particulièrement en matière d’effets de support, de vitrine et de levier. Ceci ne veut pas dire qu’un certain travail d’analyse n’ait pas été fait. Le rapport contient ici et là des constatations assorties d’éléments d’analyse qui apparaissent pertinents au regard de la problématique de l’efficience et de l’efficacité de l’aide ainsi que des résultats inattendus. Mais ceux-‐ci restent noyés dans le contenu plutôt descriptif du rapport et ne donnent pas lieu à un développement en vue d’une appréciation plus informée et soutenue de la valeur du projet pour le Vietnam et pour la France. Mais ce qui frappe surtout c’est la contradiction apparente entre le ton généralement assez positif de l’appréciation générale de l’évaluation, telle que résumée dans la préface au rapport, et les jugements évaluatifs somme toute assez négatifs sur presque tous les aspects du projet comme : « Le projet affiche des résultats décevants et très localisés » et « Ce constat remet en question la viabilité technique du projet à plus long terme. »


34

Finalement, et en dépit du fait que les difficultés méthodologiques d’attribution d’effets aient été soulignées tant dans la note de structuration que dans le rapport, la validité des inférences présentées par l’évaluation est fortement discutable, particulièrement lorsqu’il s’agit de considérations relatives à la densité des chemins de fer Vietnamiens, la réduction du temps de trajet et le niveau de sécurité. Aussi les déclarations portant à croire que l’augmentation globale des activités des ateliers soit due à l’ajout du matériel et des services français n’est pas soutenue par une analyse valide et appuyée de faits probants d’autant plus que les résultats sont décevants. Le fait que l’évaluation ait été considérée comme ayant été bonne et les prestations des consultants aient été notées comme satisfaisantes, et ce en dépit des observations qui précèdent, soulève des questions quant au contrôle et à l’assurance qualité de l’évaluation. 7.2 L’évaluation RPE-FASEP : Reconstruction post crise

7.2.1 Sommaire L’évaluation rétrospective de projets RPE et FASEP de reconstruction post crise a été réalisée en 2011 par le cabinet SCE Aménagement et environnement.

L’évaluation porte sur un ensemble de cinq projets de reconstruction suite à des catastrophes naturelles, dont deux financés sur la Réserve Pays Émergents (RPE) et réalisés au Sri Lanka, et trois sur le Fonds d’Etudes et d’Aide au Secteur Privé (FASEP) réalisés en Indonésie et en Chine. L’ensemble de ces projet s’est déroulé sur une période allant de 2005 à mai 2010 et représentent un montant global de 24,3M€ d’aide française. RPE Sri Lanka : Ce premier projet RPE de réhabilitation d’un système d’alimentation en eau potable sur l’agglomération de Kinniya, initié en 2005, vise 350 000 personnes bénéficiaires (projet de 12,5M€). La réalisation de ce projet a été attribuée aux groupes français Sté Canal de Provence (étude et contrôle) et Vinci Construction Grands projets. Suite au tsunami du 26 décembre 2004, un deuxième projet RPE mis en œuvre de 2007 à 2009 a eu pour objectif d’aider à la reconstruction par la mise en place d’un système d’informations géoréférencées (projet de 6,52 M€). Les prestations ont été réalisées par le groupe FIT Conseil associé à IGN-‐FI.


35

FASEP Indonésie : Ce projet a fait l’objet de deux financements FASEP de 3,2 M€ au total, dans le cadre d’un programme de reconstruction suite au tsunami de 2004. Ce projet d’assistance technique en 2 volets exécutés de mai 2005 à juin 2007 visait à accompagner la mise en œuvre de sous projets démonstratifs de bonnes pratiques de construction face aux risques naturels. Ces prestations ont été réalisées sous la responsabilité de SOGREAH en association avec EGIS BCEOM et SAFEGE. FASEP Chine : Suite au séisme de 2008 dans la province du Sichuan, ce FASEP a financé une assistance à maîtrise d’ouvrage dans le cadre de la reconstruction de logements et d’infrastructures, afin d’assurer un contrôle qualité par rapport à l’adoption de standards internationaux de reconstruction et de vérifier l’application des directives de la Banque Mondiale concernant les volets sociaux et environnementaux (projet de 2M€), sur la période 2009-‐ 2010. Cette prestation a été réalisée par le Bureau VERITAS, chef de file, associé à SOGREAH et AREP Ville. L’évaluation avait pour objet d’exprimer un jugement professionnel indépendant pour éclairer à la fois « la pertinence, la cohérence, l’efficacité, l’efficience, la durabilité et l’impact des projets concernés, en prenant en compte le double objectif des projets financés sur les instruments RPE et FASEP de promouvoir l’expertise des entreprises françaises à l’international (effet de levier) et de contribuer au développement des pays bénéficiaires (effet support). » En ce sens, l’évaluation devait identifier dans quelle mesure les projets, en tenant compte de leurs spécificités respectives, ont permis un transfert de technologie vers les pays concernés en matière de reconstruction, et quels ont été les bénéfices à la fois pour la France et les entreprises françaises, et pour les pays bénéficiaires.

7.2.2 Observations Processus et rapport d’évaluation Les termes de référence rappellent que, classiquement, « la méthodologie mise en œuvre devra permettre de porter un jugement argumenté selon les six critères de l’évaluation : pertinence, cohérence, efficacité, efficience, impacts et viabilité. » Ils assignent à l’évaluation trois buts :

1. connaître la valeur ajoutée des actions de la DG Trésor dans un contexte de reconstruction post crise, au regard des objectifs des instruments RPE et FASEP ; 2. concevoir des dispositifs d’interventions à partir des instruments RPE et FASEP adaptés aux situations rencontrées en tirant les leçons des expériences précédentes dans les pays d’intervention en phase post crise ; 3. améliorer, rationaliser et mieux coordonner les actions de la DG Trésor au sein de l’intervention française dans des pays en développement fragilisés.


36

Les deux derniers buts ont été, dans l’ensemble, atteints, le premier beaucoup moins, comme le confirme la non réalisation de la plupart des objectifs assignés par les termes de référence à l’évaluation. Les termes de référence précisent qu’à partir des éléments issus de l’évaluation, il s’agit de : « mettre en exergue les avantages comparatifs et les inconvénients de la RPE et du FASEP en post crise ; élaborer une typologie de l’intervention post crise avec le FASEP et/ou la RPE ; de dégager des recommandations visant à améliorer la capacité de réponse de la DG Trésor. » Ces questions ont été traitées, mais sans rapport direct avec les évaluations de projets FASEP ou RPE évalués (voir plus loin). Des appréciations projet par projet, il est possible de tirer une appréciation globale de l’évaluation : Contexte : le contexte est généralement bien exposé par contre la réponse du gouvernement et celle de l’aide internationale sont parfois insuffisamment traitées. La prestation sous financement RPE : la prestation sous financement RPE est une description sommaire du projet sans analyse du choix de l’instrument. Pertinence : la pertinence est trop peu analysée, soit qu’elle ne traite pas de son adéquation avec l’objectif fixé, soit que les objectifs du projet soient trop généraux. Efficacité : l’efficacité est généralement confondue avec l’effectivité, c’est-‐à-‐dire la constatation du service fait. Encore, dans cet exercice, les faits probants sont rares. Efficience : les développements de la rubrique ne traitent pas vraiment de l’efficience, qui est un critère d’évaluation de la minimisation des coûts des produits du projet. Ils traitent plutôt de sujets connexes liés au déroulement du projet, tels que les délais, etc. Cohérence interne et externe : elle est dans l’ensemble non traitée quoiqu’évoquée sommairement. Viabilité : la viabilité est traitée de façon argumentée pour deux projets seulement. Effet de levier : celui-‐ci est identifié pour trois des quatre projets mais les conclusions sont à court terme et insuffisamment justifiées. Dans un autre cas, l’absence d’effet de levier est clairement présentée. Effet support au développement : l’effet support au développement n’est pas bien traité, soit qu’il soit confondu avec le critère d’efficacité, soit qu’il invoque des principes généraux (la fourniture d’eau potable est toujours bénéfique), soit qu’il repose sur des suppositions en l’absence de faits probants. Adaptation de l’outil au contexte : cette dimension des rapports traite plus du projet que de l’outil FASEP. Les développements à ce titre analysent le projet plus du point de vue de la pertinence ou de l’efficacité que de l’adaptation du FASEP au contexte. Une évaluation analyse bien la combinaison des financements RPE et AFD compte tenu du contexte de crise.


37

Appréciation des analyses d’ensemble Les analyses d’ensemble s’ordonnent autour de quatre chapitres : lignes directrices de mise en œuvre d’une intervention post crise ; assistance à la sortie de crise : première analyse des secteurs d’intervention et prestations à privilégier par l’aide–projet de la DG Trésor ; préparation des interventions en contexte post crise ; propositions opérationnelles de mise en œuvre d’une aide projet en contexte post crise. Ces chapitres répondent aux buts 2 et 3 assignés à l’évaluation. Ils donnent lieu à des développements très détaillés qui sont autant de propositions sans doute pertinentes mais qui sont sans lien avec les évaluations des projets, du moins sans lien direct. Les constats des évaluations individuelles ne sont pas mis à contribution à l’appui de ces propositions, qui apparaissent résulter plus d’une connaissance générale chez les évaluateurs des questions de post crise que des évaluations des projets. Ceci ne signifie pas que ces évaluations individuelles n’aient pas contribué à former l’opinion des évaluateurs, mais le lien entre les évaluations individuelles et les propositions n’apparaît pas. En dehors de leur déconnexion avec les évaluations des projets, ces analyses et recommandations présentent des qualités et des défauts. Leur qualité est une recherche approfondie de solutions susceptibles de répondre aux questions posées par les termes de référence. De nombreuses options sont proposées et, pour la plupart, argumentées mais pas de façon valide. Leurs défauts sont :

• de s’appuyer plus sur des considérations logiques que sur des constats qui auraient permis de valider les choix d’options proposés, constats qui ne peuvent être trouvés compte tenu de la faiblesse des évaluations individuelles des projets ;

• certaines propositions demeurent sans véritables argumentations, en particulier les propositions relatives aux domaines possibles d’intervention des entreprises françaises ;

• le réalisme des propositions n’a pas toujours été vérifié ; certaines propositions, en particulier, malgré leur pertinence, représenteraient, si elles étaient mises en œuvre, une charge très lourde pour la DG Trésor, sans doute hors de portée des moyens disponibles ou, qu’il faudrait, au minimum, évaluer en termes de coûts / avantages.

Comparaison entre les termes de références et la note de structuration La note de structuration de cette évaluation s’est s’éloignée sensiblement des TdR indiquant une volonté de s’affranchir de la structure relativement standardisée du rapport qui y est préconisée.


38

Si les TdR requièrent une analyse détaillée projet par projet -‐ une annexe aux TdR mentionne d’ailleurs la structure indicative d’évaluation de chaque projet -‐ la note de structuration précise le parti pris de renoncer à réaliser une évaluation projet par projet dans le format de la structure standard : « … nous suggérons d’adapter (alléger) la structure des rapports d’évaluation des projets individuels indiquée en annexe 2 des Termes de Référence en fonction des spécificités de l’étude menée. » La note de structuration précise que les évaluateurs ont renoncé à répondre à toutes les questions évaluatives (une quinzaine) mentionnées dans les TdR, et propose de se limiter aux principales questions structurantes. Ces trois questions reprennent partiellement les principaux objectifs relatifs à l’adaptation des outils FASEP et RPE au contexte post crise. La note de structuration propose de reconstituer la genèse et la logique initiale des projets et de les évaluer selon les six critères classiques et non selon la structure indicative standard donnée dans les TdR.


39

7.3 Évaluation d’une grappe de projets à volet MDP/MOC financés sur le

FASEP-Études

7.3.1 Sommaire Cette évaluation rétrospective, réalisée par les firmes Frontier Economics et Ecofys, portait sur une grappe de huit projets financés entre 2005 et 2010 sur le fonds d’études et d’aide au secteur privé (FASEP-‐Études) en amont de mécanismes de projets pour un Développement Propre (MDP) et Mise en Œuvre Conjointe (MOC) issus du Protocole de Kyoto. Les montants de l’aide FASEP, variant entre 175.000 € et 700.000 €, ont été attribués dans sept pays – Chine, Brésil, Maroc, Colombie, Uruguay, Ukraine et Bénin – et 5 secteurs d’intervention FASEP – déchets, eau, énergie, énergies renouvelables et environnement. Les financements du FASEP-‐Études portaient à la fois sur l’étude de faisabilité technique et financière du projet sous-‐jacent, et sur une étude visant à déterminer la possibilité pour ce projet d’obtenir des crédits carbone, et à valoriser les revenus potentiels provenant de la revente de ces crédits dans le cadre du protocole de Kyoto – à travers les mécanismes MDP et MOC. L’évaluation visait à fournir des recommandations opérationnelles et des orientations stratégiques pour l’outil FASEP-‐Études dans le futur, à travers : · L’évaluation rétrospective des huit études de faisabilité financées sur l’outil FASEP-‐MDP/MOC, au regard des deux objectifs du FASEP : l’effet de support au développement du pays d’accueil du financement, et l’effet de levier pour les exportations de matériel et de services français. · L’analyse de l’évolution de la « finance climat » et de la mise en place de nouveaux outils de valorisation financière des réductions d’émissions, qu’ils soient nationaux ou multilatéraux. Sur le plan opérationnel l’évaluation repose sur l’analyse détaillée et comparative des huit financements FASEP-‐MDP/MOC, à travers le prisme des critères d’évaluation du CAD : pertinence, efficacité, efficience, impact, durabilité. Sur le plan stratégique l’évaluation repose sur une analyse de l’évolution de la « finance climat » et de la mise en place de nouveaux outils de valorisation financière des réductions d’émissions, basée sur les connaissances et l’expertise dans ce domaine des cabinets conduisant l’évaluation. L’évaluation note que le taux de réussite des huit FASEP étudiés est similaire au taux de réussite général des FASEP en date de 2012 et indique que les raisons principales de non réalisation des projets sous-‐jacents aux études FASEP-‐MDP/MOC, et les difficultés majeures rencontrées par ces projets, sont identiques aux contraintes rencontrées lors des financements par le FASEP-‐Études d’une manière générale.


40

L’évaluation considère qu’en matière d’effet support, l’impact du volet MDP/MOC a été relativement important. En matière d’effet de levier, l’évaluation constate que le volet MDP/MOC n’a pas contribué au développement d’exportations françaises. Précisément pour les trois études ayant donné lieu à un projet (Chine, Brésil, Maroc), des entreprises françaises étaient positionnées dans deux cas : la fourniture de matériel et d’équipement pour les projets chinois et marocain. Dans aucun de ces cas la réalisation de l’enregistrement MDP des projets par des consultants français n’a permis aux entreprises françaises de remporter les contrats. L’évaluation constate de plus que le financement par le FASEP-‐Études du volet MDP/MOC a surtout contribué au développement des compétences de consultants français – un impact relativement commun à l’ensemble des FASEP. Finalement, il apparait fréquemment que l’étude de faisabilité a eu un effet vitrine pour les acteurs français localement En matière de recommandation principale, l’évaluation conseille de ne pas poursuivre, sauf demande ou besoin spécifique du bénéficiaire local, le financement du volet MDP/MOC d’études de faisabilité financées sur le FASEP.

7.3.2 Observations Processus et rapport d’évaluation L’évaluation est focalisée surtout sur le volet MDP/MOC conformément à sa finalité principale telle qu’énoncée dans les termes de référence. L’analyse et les recommandations portent donc en grande partie sur cet aspect, et la question qui est de savoir si l’instrument FASEP est approprié au financement du volet MDP/MOC. Celles-‐ci par ailleurs reposent surtout sur la connaissance et l’expertise des firmes consultantes qui ont mené l’évaluation et apparaissent crédibles et en accord avec les constats faits sur les projets FASEP qui ont été examinés. En revanche, l’utilisation des critères du CAD, qui est demandée par les termes de référence, et donc de l’approche méthodologique qui en découle, ainsi que la « reconstitution du cadre logique », apparaissent comme des éléments de méthodologie inadaptés pour bien saisir les réalités de ces projets. La reconstitution du cadre logique d’intervention reflète davantage un ciblage souhaitable en matière d’effets de support et de levier présenté de façon générale et abstraite et assorti d’effets attendus difficilement appréhendables par l’évaluation, plutôt qu’une description fidèle de la réalité de ce qui était prévu par les FASEP au départ.


41

Les éléments clés de contexte propres à chaque projet ne font l’objet d’aucune considération dans le cadre logique, alors que, comme le démontre finalement l’évaluation, ceux-‐ci sont déterminants. On note aussi un manque de maitrise de l’outil « cadre logique », dans la mesure où par exemple des produits de « l’intervention » comme l’étude de faisabilité y sont décrits comme des effets immédiats. Il en va de même aussi pour l’utilisation d’une soi-‐disant « analyse contrefactuelle » sur laquelle reposerait l’essentiel de la méthodologie « comparative » qu’aurait employée l’évaluation. Tout en appréciant la valeur des comparaisons qui auraient été faites entre projets du même type ainsi que l’effort d’interview portant sur les alternatives, il n’est pas valide sur le plan méthodologique de décrire l’exercice comme étant basé sur un design employant un « contrefactuel ». La discussion sur les conclusions et les recommandations ne présente pas clairement, et de façon systématiquement référée au « cadre logique d’intervention » et aux constats qui s’y appliqueraient, les conclusions relatives aux questions formulées sur base des critères du CAD. En particulier les éléments d’analyse et d’appréciation des effets de levier, de vitrine et de support sont peu développés sur base de données et de constats probants, et apparaissent généraux et vagues. En revanche la discussion, et particulièrement celle portant sur les « Lignes directrices de mise en œuvre d’une intervention post-‐crise » , qui repose davantage sur l’expertise des consultants, mène de façon raisonnée, crédible et basée sur les constats, à des recommandations relativement précises et pertinentes au regard de la problématique identifiée au départ dans la commande de l’évaluation. Au final, l’évaluation apparaît de bonne qualité malgré la contrainte d’une approche CAD inadaptée à l’objet et à la question de l’évaluation mais qui, ayant été demandée au départ par les termes de référence, a néanmoins été utilisée par le consultant. Comparaison entre les TdR et la note de structuration La note de structuration est en relative cohérence avec TdR. Il convient cependant de noter que les TdR sont moins contraignants que ceux des deux évaluations précédentes qui ont fait l’objet d’études de cas, notamment car ceux-‐ci ne précisent ni n’imposent une structure prédéfinie du rapport. La note de structuration reconstitue le cadre logique des effets de levier et support. Elle propose un ensemble de questions évaluatives autour des critères du CAD appliqués à l’évaluation des deux effets levier et support dans une optique de recherche d’une comparaison avec un contrefactuel (cf. les observations à ce propos dans la section précédente).


42

8. Conclusions

8.1 Approche évaluative

Basés principalement et de façon restreinte sur les principes et les critères d’évaluation de l’OCDE-‐CAD, les termes de référence12 pour l’évaluation des FASEP et des RPE réfèrent à un cadre méthodologique d’évaluation approprié à l’aide au développement13. Or la mise en œuvre des instruments FASEP et RPE vise souvent principalement le soutien aux entreprises françaises en favorisant l’exploitation par celles-‐ci d’opportunités dans des économies en développement et en transition. Dans la plupart des cas une contribution positive au développement du pays bénéficiaire est visée de façon implicite et secondaire en assurant le respect des critères de sélection des pays14. La revue constate que la façon dont les évaluations des FASEP et des RPE sont commanditées par l’UEAD et réalisées par les consultants externes correspond peu à la réalité des priorités commerciales et politiques des FASEP et des RPE. En d’autres mots l’approche évaluative focalisée sur le développement et utilisée pour les évaluations FASEP et RPE n’est pas toujours en adéquation avec les réalités des objectifs et des processus de mise en œuvre de ces derniers. De ce fait, la reconstitution de la « logique d’intervention », demandée par les termes de référence et faite par l’évaluation, apparaît souvent davantage comme une tentative de recadrage des objectifs et de la mise en œuvre des FASEP et des RPE pour pouvoir appliquer une approche et un cadre méthodologique préétablis – notamment par l’OCDE-‐CAD -‐ que pour cerner et capter leur réalité. Le risque, donc, est que ce qui est évalué à travers le prisme d’une reconstitution dont la fidélité n’est pas connue soit au mieux une partie seulement de l’intervention et de ses effets et au pire une réalité virtuelle. C’est donc le cadre de référence conceptuel et méthodologique pour les évaluations FASEP et RPE qui est à revoir et à développer en fonction de leurs réalités.

12 Ainsi que le document de la DG Trésor « Politique de l’évaluation des actions d’aide au développement – Guide méthodologique ». 13 Dans le sens traditionnel de l’aide projet au développement délié et d’une conception de la valeur de l ‘aide définie par une représentation linéaire et causale de la performance de l’intervention (logique d’intervention) souvent réductrice et simpliste. 14 Ad minima non nocere


43

8.2 Spécificité

La revue constate que dans le cas des évaluations de projets RPE, qui constituent 9 des 11 évaluations examinées par la revue, les termes de référence demandent, et les évaluations réalisent, des vérifications qui appartiennent au domaine du contrôle plutôt qu’à celui de l’évaluation. Spécifiquement sont demandées et réalisées une vérification de la conformité des projets RPE avec les critères d’éligibilité à cette dernière ainsi qu’une « évaluation » de l’exécution technique et financière qui s’apparente à un contrôle de service fait. Dans certains cas cette vérification incorpore des éléments d’efficience de sorte que « l’évaluation » se rapproche dans ces cas du contrôle de gestion ou de l’audit de performance. En tout état de cause une part importante de l’effort d’évaluation, qui est reflété de façon proportionnelle dans les rapports, est consacrée à des activités qui sont une responsabilité de gestion appartenant aux services qui assurent la mise en œuvre des projets RPE et n’appartiennent pas en tant que telles au domaine de l’évaluation. La spécificité de l’évaluation, sur laquelle est basée entre autres sa valeur ajoutée, mérite d’être clarifiée et rendue explicite, non seulement par rapport au contrôle mais aussi en cohérence et dans le respect des rôles et responsabilités respectifs des acteurs organisationnels de la DG Trésor. Encadré 5 : Précisions sur l’évaluation À la différence d’une part du contrôle qui s’intéresse aux coûts, aux procédures et aux produits de l’intervention, et d’autre part du contrôle de performance qui s’intéresse à l’atteinte des effets escomptés, l’évaluation dépasse ces considérations pour s’intéresser aussi aux effets non escomptés sur la population ciblée ainsi que d’autres groupes affectés par l’intervention, autant positifs que négatifs. Sur le plan méthodologique l’évaluation dépasse la constatation de ce qui a été fait et atteint -‐ le « quoi », qui est le propre et le périmètre du contrôle -‐ pour traiter du « pourquoi » et de la valeur ajoutée ainsi que du « pour qui » dans « quel contexte ».


44

8.3 Qualité

De façon générale les évaluations peinent à rendre un jugement évaluatif valide sur les résultats, c’est-‐à-‐dire les « effets » et particulièrement sur les « impacts ». Ceci s’explique en partie par le manque d’adéquation entre l’approche méthodologique et le projet évalué, ainsi que par une demande ambitieuse et parfois irréaliste quant à l’évaluation des résultats – dans la mesure où ceux-‐ci ne sont pas escomptés de façon explicite et mesurable en début de projet. Dans ces circonstances l’évaluation a parfois recours à des argumentations qui, malgré leur éloquence, sont faibles en termes de validité scientifique. Alors que l’évaluation dit utiliser des techniques que l’on retrouve couramment dans la pratique de l’évaluation, telles que la « chaine de résultats » ou l’analyse « contrefactuelle » pour en citer quelques-‐unes, celles-‐ci ne sont souvent pas maitrisées. De surcroît, des questions fondamentales de validité interne ou de fiabilité des données par exemple ne sont pas évoquées. 8.4 Encadrement

De façon générale le déroulement des évaluations, à partir de l’attribution du marché au consultant externe jusqu’à la remise du rapport final de l’évaluation, s’effectue correctement et sans problèmes significatifs. Ceci dit les évaluations se heurtent souvent à des difficultés de disponibilité ou d’accès à la documentation requise pour mener à bien la collecte de données. Le rôle spécifique du comité de pilotage, quoique ce dernier soit apprécié généralement pour son regard d’ensemble et sa réflexion, n’apparaît pas clair. En effet celui-‐ci semble jouer de façon indistincte des rôles de pilotage, de parties prenantes, de groupe de référence, de contrôle de qualité et de validation tant sur le plan de la méthodologie et du contenu de l’évaluation que sur le plan contractuel, ainsi que de suivi. Cet état de choses porte à confusion et peut nuire à la gestion contractuelle de l’UEAD ainsi qu’à la qualité de l’évaluation. En effet, le comité de pilotage n’a pas a priori les compétences requises pour juger de la qualité des termes de référence accompagnant l’appel d’offres, de l’offre et donc de la qualité attendue de l’évaluation – ceci nécessitant des qualifications en matière d’évaluation. De plus, font partie du comité de pilotage des instances de gestion opérationnelle qui ne devraient pas avoir de responsabilités de gestion et de pouvoir vis-‐à-‐vis l’évaluation dans la mesure où cette position présente un risque d’influence sur l’évaluation qui pourrait compromettre son indépendance. En particulier la fonction d’assurance qualité doit faire l’objet d’une organisation et d’un processus propres, basés sur un apport d’expertise en évaluation de haut niveau.


45

8.5 Utilisation

Le pourquoi de l’évaluation, sa raison d’être, ne sont pas clairs voire même explicites du moins si l’on se fie aux termes de référence. Ceux-‐ci confondent l’objectif de l’évaluation avec le jugement propre à celle-‐ci et l’utilisation des critères de l’OCDE-‐CAD. Sur la période couverte par la revue, il ne semble pas y avoir eu de processus systématique pour prendre en considération l’utilisation effective de l’évaluation, tant au niveau de son processus que de ses résultats15.

15 Voir encadré 2 sur la différence entre utilisation et mise en place d’un système de suivi.


46

9. Cadre de référence

À la demande de l’UEAD, ce chapitre décrit les principes fondamentaux d’une gestion publique saine et moderne sur lesquels se base la revue pour formuler ses recommandations. Sont donc expliqués dans une premier temps les principes qui sous-‐tendent, et s’appliquent à, la fonction d’évaluation, son organisation et ses systèmes, et dans un deuxième temps quelques éléments concernant l’évaluation proprement dite, sa méthodologie et sa gestion. 9.1 Fonction d’évaluation

9.1.1 Organisation La fonction d’évaluation dans les organisations publiques est généralement tributaire d’une mission de soutien à la redevabilité et l’appui au développement des connaissances. Ceci dit, dans la plupart des cas, l’objectif de redevabilité, c’est-‐à-‐dire de reddition des comptes, prime fortement sur celui de l’apprentissage. Et ce malgré le fait que la reddition de comptes soit une obligation de gestion et que la valeur ajoutée de l’évaluation par rapport à d’autres processus évaluatifs réside avant tout dans sa capacité à générer des connaissances, particulièrement en matière de politique publique. Cet état des choses s’explique en partie par l’implantation relativement récente de l’évaluation dans les gouvernements et dans les organisations publiques, par l’utilisation pour l’évaluation de professionnels qui n’ont pas toujours les connaissances appropriées ainsi que par un manque de clarté conceptuelle et donc organisationnelle quant à la valeur ajoutée de l’évaluation et sa spécificité. Au départ, l’administration publique établit une distinction claire entre les fonctions de gouvernance et de gestion et entre les rôles et responsabilités qui incombent à chacune relativement à l’élaboration des politiques publiques d’une part et à leur mise en œuvre d’autre part. Ainsi, le niveau de gouvernance remet au gestionnaire la responsabilité de la mise en œuvre de la politique publique par le biais d’un programme assorti d’une enveloppe budgétaire et, dans une administration publique moderne et une gestion dite « axée sur les résultats », sur base d’objectifs agréés et de résultats attendus explicites.


47

Le gestionnaire est donc tenu de gérer le programme -‐ ou l’instrument comme c’est le cas du FASEP et la RPE -‐ de façon aussi performante que possible et de rendre compte de sa gestion et de la performance du programme sur base des objectifs fixés et des résultats agréés16. Ce cadre de responsabilisation loge clairement à l’enseigne de la gestion l’établissement d’objectifs et de résultats visés ainsi que les processus évaluatifs de contrôle et de suivi nécessaires à toute gestion et particulièrement à une gestion dite « axée sur les résultats ». Ce sont des responsabilités et des fonctions propres à la gestion, qui ont pour raison d’être l’amélioration en continu de la performance du programme. La responsabilité de « reddition de comptes » quant à la performance du programme, ou concernant la mise en œuvre de l’instrument, font aussi partie des obligations de gestion. C’est dire que l’établissement de la « logique d’intervention », des objectifs et des résultats attendus, des cibles de performance opérationnelle, de processus de suivi et de rapport de performance sont des obligations du gestionnaire qui a la responsabilité de la mise en œuvre de la politique publique et du budget accordé à cette fin. Aussi les processus de contrôle, que celui-‐ci soit financier, physique, technique ou de gestion, ainsi que d’audit interne, qu’il soit financier, de conformité et de régularité ou de performance, sont des processus de type évaluatif qui font partie de la fonction de gestion et se cadrent sur son cycle. L’indépendance qui caractérise l’évaluation, qui lui confère une valeur intrinsèque et qui contribue à sa crédibilité, exige de la fonction d’évaluation qu’elle soit, entre autre, indépendante de la fonction de gestion qu’elle peut être appelée à évaluer.17 Si le gestionnaire peut recourir à l’auto-‐évaluation – qui est un type spécifique d’évaluation -‐ il ne peut en revanche pas « évaluer » son propre programme de manière indépendante tout comme l’évaluateur ne devrait pas se substituer au gestionnaire pour déterminer les résultats attendus, suivre, contrôler et rendre compte de la performance opérationnelle. C’est en cohérence avec ce cadre de référence que la fonction d’évaluation de la DG Trésor doit être conçue et organisée ainsi que présentée et expliquée de façon claire dans un document de politique de l’évaluation.

16 Ce « contrat » est sous-‐tendu par deux principes fondamentaux qui sont : à l’impossible nul n’est tenu et nul ne peut être tenu responsable pour des choses qui sont hors de son contrôle. 17 Evaluation Independence in Organizations – Robert Picciotto – Journal of MultiDisciplinary Evaluation – Volume 9 – Issue 20, 2013


48

9.1.2 Systèmes L’opérationnalisation de la fonction d’évaluation et sa gestion, du ressort de l’UEAD, reposent sur sa mission telle qu’établie par la politique d’évaluation de la DG Trésor et sur les mêmes principes de base d’une gestion publique moderne et «axée sur les résultats » décrits précédemment. Toute composante de l’organisation qui a une mission spécifique et un budget doit pouvoir utiliser un système de planification et de gestion stratégiques pour permettre l’alignement des décisions, des activités et de leurs résultats avec le mandat, l’orientation et les priorités de l’organisation, et ce en tenant compte des contextes internes et externes à l’organisation. Ce sont les systèmes de planification et de gestion stratégiques qui fournissent un cadre de référence dynamique pour que la programmation des évaluations soit en cohérence avec les priorités de l’organisation et les ressources disponibles. Découle aussi des systèmes stratégiques, le système de planification opérationnelle calé sur le cycle budgétaire qui permet d’établir de façon ciblée les résultats opérationnels attendus par rapport auxquels l’unité peut suivre, mesurer et rendre compte. Au vu de tout ce qui précède et particulièrement de la valeur que peut ajouter une fonction d’évaluation performante aux connaissances des politiques publiques et de leur mise en œuvre, un système de gestion et de communication de la connaissance est une composante critique et indispensable de la fonction d’évaluation. Finalement, le système de gestion des ressources humaines intègre les caractéristiques propres à la fonction d’évaluation et traduit celles-‐ci en compétences d’évaluation et de sa gestion. En particulier, compte tenu des développements rapides en théorie et pratique de l’évaluation ainsi que des avancées de la profession d’évaluation, le système de formation professionnelle continue est central à une gestion des ressources humaines adaptée.


49

9.2 Évaluation

La gestion de l’évaluation dans un modèle comme celui de l’UEAD où la conduite de l’évaluation est contractée à un agent externe, revient en grande partie à développer les termes de référence et l’appel d’offre, sélectionner un prestataire, organiser et coordonner le comité de pilotage, gérer la relation avec ce dernier en matière de méthodologie, de mise en œuvre, de communications et de paiement, et voir à s’occuper de la diffusion et de la capitalisation des résultats de l’évaluation.

9.2.1 Méthodologie Dans la mesure où l’expertise d’un évaluateur externe est recherchée, le développement de la méthodologie de l’évaluation devrait revenir à celui-‐ci. Il incombe au commanditaire d’établir clairement le but de l’évaluation, ses objectifs et questions principales, ainsi que ses choix en matière d’approche ou de toute tâche spécifique voulue s’il y a lieu. La méthodologie de l’évaluation comprend son design, le cadre de référence évaluatif, les questions spécifiques, le cadre d’analyse, les types et sources de données, les méthodes de collecte, les tests de fiabilité et de validité. Fait partie intégrante de l’aspect méthodologique de l’évaluation le contrôle de sa qualité par l’évaluateur. Il est du ressort de ce dernier d’établir, de présenter et de mettre en œuvre un système de contrôle de la qualité de l’évaluation sur base de standards et procédures clairs et explicites. Une méthodologie peut être appelée à être modifiée durant sa mise en œuvre afin de pouvoir mieux répondre aux questions posées et/ou s’adapter à des réalités contextuelles et de ressources.

9.2.2 Gouvernance La gouvernance de l’évaluation sert généralement à soutenir son orientation, c’est-‐à-‐dire voir à ce qu’elle garde le cap sur son objectif principal, et à assurer l’indépendance de l’évaluation en protégeant l’autonomie de l’évaluateur dans son jugement évaluatif.18 La fonction de gouvernance dans le secteur public représente et défend l’intérêt public, c’est-‐à-‐dire le droit du citoyen à une information valide et claire quant à la valeur des interventions payées par ses taxes.

18 Evaluation Independence in Organizations – Robert Picciotto – Journal of MultiDisciplinary Evaluation – Volume 9 – Issue 20, 2013


50

Afin de respecter la distinction utile entre la fonction de gouvernance et celle de gestion, il est recommandé de former un groupe restreint constitué de personnes avec une bonne connaissance de l’évaluation et qui n’ont pas d’intérêts dans, ou de liens avec, les responsables de l’intervention qui est évaluée ni les instances politiques qui décident de sa réalisation et de son financement. Dans certaines juridictions le citoyen fait partie du groupe de gouvernance de l’évaluation. Le groupe constitué pour exercer un rôle de gouvernance est communément appelé comité de pilotage. Il reçoit du commanditaire de l’évaluation toutes les informations requises pour qu’il puisse remplir ses fonctions de supervision de l’orientation de l’évaluation et de protection de son indépendance, et ce dans l’intérêt public. Un comité de pilotage peut s’adjoindre une expertise en évaluation pour l’aider à remplir correctement son mandat.

9.2.3 Gestion La gestion par le commanditaire de la relation contractuelle avec l’évaluateur externe inclut les responsabilités d’approbation du plan de l’évaluation, ou de la note de structuration, des rapports intermédiaires et finaux, du plan de communication ainsi que de tout changement significatif à la démarche envisagée et agréée pour l’évaluation. Fait aussi partie des responsabilités de gestion la mise en place d’un système approprié d’assurance qualité sur base d’une expertise de haut niveau en évaluation et idéalement externe. Cette gestion constitue de facto la « maitrise d’ouvrage ». Il ne faut donc pas confondre la gestion du contrat, avec la gestion par l’évaluateur prestataire du processus de l’évaluation. En accord avec les principes de base énoncés plus avant il convient d’établir et de respecter une distinction claire entre les rôles et les responsabilités du gestionnaire de la relation avec l’évaluateur, soit l’UEAD, et les autres contributeurs potentiels à l’évaluation comme par exemple les bénéficiaires, les parties prenantes, les experts techniques, les comités de pilotage, les groupes de référence, etc. En particulier les dispositions prises pour gérer d’une part et pour gouverner d’autre part l’évaluation, devraient être en cohérence avec les rôles et responsabilités propres à chaque fonction. Ce point est particulièrement important pour bien distinguer le rôle du comité de pilotage de celui du gestionnaire et ainsi éviter que le premier s’immisce dans les prérogatives et responsabilités du deuxième.


51

10. Recommandations

Les recommandations présentées ci-‐après sont basées non seulement sur les constats et les conclusions de la revue, qui ont été validés par le comité de pilotage, mais aussi sur l’expertise de l’équipe de revue en matière de gestion publique moderne et particulièrement de la fonction d’évaluation dans l’organisation publique. Les recommandations portent d’une part sur la fonction d’évaluation de la DG Trésor et l’organisation et les systèmes d’évaluation de l’UEAD, et d’autre part sur le processus d’évaluation de l’UEAD en tant que tel. Dans les deux cas les recommandations sont formulées à un niveau qui requiert leur opérationnalisation par la DG Trésor et par l’UEAD afin que leur mise en œuvre soit réalisable compte tenu du contexte qui leur est propre et des ressources disponibles. À cette fin un atelier réunissant l’UEAD ainsi que les acteurs clé de la DG Trésor sera organisé et animé par l’équipe de revue. 10.1 Recommandations pour la fonction d’évaluation

10.1.1 Politique de l’évaluation La DG Trésor et l’UEAD devraient revoir la politique de l’évaluation et la mettre à jour, en concertation avec les parties prenantes internes comme Fininter 2. Cette révision pourrait se faire en deux étapes : premièrement la politique d’évaluation des interventions gérées par la DG Trésor et deuxièmement la contribution de la DG Trésor à l’évaluation de l’APD française. Cette dernière peut se faire par le truchement de concertations régulières avec le MAE et l’AFD sur ces questions en plus de la participation de la DG Trésor au comité des évaluations de l’AFD. La politique devrait expliquer la raison d’être de l’évaluation à la DG Trésor et son orientation, sa définition et sa distinction des autres processus évaluatifs de la DG Trésor, les principes et standards sur lesquels elle se base, les responsabilités de l’UEAD, le processus de programmation, les approches méthodologiques et les types d’évaluation, la gestion de l’évaluation, les mécanismes d’assurance qualité, la communication et la capitalisation des résultats, le pilotage et la participation des parties prenantes. En particulier, et dépendamment de l’orientation que voudrait donner la DG Trésor à la fonction d’évaluation, le renouveau de la politique pourrait offrir l’occasion de revoir le positionnement de l’unité d’évaluation dans l’organigramme de la DG Trésor afin de maximiser son indépendance des services opérationnels et sa contribution à l’apprentissage et à la redevabilité.


52

10.1.2 Programmation La programmation des évaluations devrait résulter de l’intersection de la politique d’évaluation et du processus de planification et de gestion stratégiques de l’UEAD. La programmation devrait être ancrée dans des critères de choix explicites et agréés au niveau de la DG Trésor. La programmation devrait être glissante et permettre l’intégration de divers types d’évaluations à l’intérieur d’un même programme. Par exemple évaluation ex-‐ante, intermédiaire, ex-‐post, thématique, sectorielle, de projets, de programme ou d’instrument, de politique, conjointe, méta évaluation, synthèse d’évaluations, évaluation brève, etc.

10.1.3 Niveau de compétence L’UEAD devrait se doter d’un niveau de compétence professionnelle en évaluation suffisant pour pouvoir dresser, maintenir à jour et utiliser l’éventail sans cesse croissant des approches, méthodologies et pratiques de la discipline de l’évaluation. Font aussi partie des compétences requises celles qui concernent la commande et la gestion de l’évaluation. Le niveau de compétence devrait être alimenté et soutenu par un programme de formation professionnelle continue pour l’UEAD. L’UEAD devrait pouvoir s’adjoindre au besoin une expertise externe de haut calibre en évaluation afin d’assurer le niveau de compétence requis pour des activités spécialisées.

10.1.4 Assurance qualité L’UEAD devrait mettre en place un système d’assurance qualité de ses évaluations en accord avec les principes et standards qu’elle aura définis et rendus explicites dans la politique de l’évaluation de la DG Trésor. L’exercice de l’assurance qualité se fait habituellement par le recours à une expertise externe de haut niveau et accréditée en évaluation, c’est-‐à-‐dire maitrisant la théorie de la discipline de l’évaluation et sa pratique professionnelle. L’engagement et la rémunération d’un expert externe pour réaliser l’assurance qualité des évaluations contractées par l’UEAD permet non seulement d’obtenir l’assurance que le processus de l’évaluation et de ses produits sont conformes aux normes de qualité établies et aux attentes de l’UEAD mais aussi de contribuer à la formation professionnelle des membres de l’UEAD.


53

L’assurance qualité se distingue du contrôle de la qualité dans la mesure ou le second est une composante essentielle de la gestion de l’évaluation par l’évaluateur. Le contrôle de la qualité est un processus qui consiste à vérifier à chaque étape de la conduite de l’évaluation que les standards de qualité agréés avec l’UEAD, comme par exemple ceux de l’OCDE-‐CAD19, sont respectés et que les objectifs opérationnels sont atteints afin d’apporter au fur et à mesure les correctifs et ajustements nécessaire s’il y a lieu.

10.1.5 Participation Les modalités de participation des parties prenantes méritent d’être clairement définies et leurs procédures établies. En particulier les buts, rôles et responsabilités devraient être bien différenciés s’il y a lieu, par exemple pour le pilotage, la référence, l’expertise et l’implication des parties prenantes. En particulier ces distinctions devraient prendre en compte la nécessité d’encadrer les processus de participation pour sauvegarder l’autonomie du jugement évaluatif et minimiser l’interférence des parties prenantes dans celui-‐ci.

10.1.6 Communication externe L’UEAD devrait se munir d’une stratégie de communication externe de ses activités et de ses évaluations. Il s’agit, entre autre, de distinguer entre la communication, ses divers contenus et processus, et la publication du rapport d’évaluation qui elle n’en constitue qu’un élément. Élément par ailleurs limité à la seule publication du rapport de synthèse afin de protéger la confidentialité de renseignement commerciaux dans le cas des évaluations RPE et FASEP. Divers moyens de communication peuvent être employés y inclus en temps réel par le truchement par exemple des médias électroniques et des réseaux sociaux. La communication autour de l’évaluation pourrait annoncer par exemple la programmation, le démarrage d’une évaluation, son progrès et ses résultats, l’attribution d’un marché, la composition d’un comité de pilotage, etc.

10.1.7 Approche focalisée sur l’utilisation L’UEAD devrait formellement adopter une approche focalisée sur l’utilisation de l’évaluation et se doter d’outils d’analyse20, ou du moins d’outils de planification21 qui soutiennent cette démarche.

19 http://www.oecd.org/dac/evaluation/dcdndep/44920384.pdf 20 Voir p.ex. « Utilisation focused evaluation » (UFE) de M.Q. Patton : UFE checklist, stakeholder analysis, communication planning, etc. 21 Par exemple l’analyse des parties prenantes (stakeholder analysis), la grille d’utilisation de l’évaluation (utilisation focused checklist)


54

Une approche basée sur l’utilisation consiste essentiellement à se poser la question de qui précisément va utiliser les résultats de l’évaluation, pourquoi, comment et quand, et ce avant d’entreprendre une évaluation. Ce type d’approche peut aussi bien informer l’appréciation de l’évaluabilité d’une évaluation au stade par exemple de la programmation (voir ci-‐après) qu’au stade de la planification d’une évaluation.

10.1.8 Comité consultatif externe La DG Trésor devait considérer la possibilité de créer un comité externe d’experts en évaluation22 qui aurait pour but de la conseiller ainsi que son unité d’évaluation sur l’orientation stratégique de la fonction, sa politique ainsi que sa programmation. Un tel comité pourrait se réunir une fois par an. Un tel comité peut aussi contribuer à la crédibilité et au profil professionnel de l’UEAD tant à l’intérieur de la DG Trésor qu’à l’extérieur y inclus dans les milieux professionnels de l’évaluation. 10.2 Recommandations pour l’évaluation

10.2.1 Évaluabilité L’évaluabilité des interventions qui pourraient faire l’objet d’une évaluation devrait être prise en compte à l’étape de la programmation. Les buts d’une appréciation systématique de l’évaluabilité d’un projet sont :

• « d’examiner à l’avance l’activité projetée afin de vérifier si ses objectifs sont définis de façon adéquate et si les résultats sont vérifiables » (définition OCDE-‐CAD) ;

• de façon pratique d’apprécier la disponibilité de données pour pouvoir faire une évaluation ainsi que les systèmes qui les produisent ;

• d’apprécier l’utilité de l’évaluation préconisée.

« Les résultats d’une appréciation de l’évaluabilité devraient avoir des conséquences pour le design d’une évaluation, pour le design d’un cadre de suivi de la performance du projet ou pour le design du projet lui-‐même. Il ne faut pas confondre l’appréciation de l’évaluabilité avec l’évaluation elle-‐même qui devrait fournir des jugements évaluatifs sur les résultats du projet.

22 Il est à noter que les personnes ressources et compétentes en la matière ne se trouvent pas nécessairement en France et qu’il est possible d’avoir recours à des experts internationaux.


55

Beaucoup de problèmes d’évaluabilité ont leur origine dans la faiblesse du design du projet. Quelques-‐uns de ceux-‐ci peuvent être adressés par l’engagement de la fonction d’évaluation au stade du design du projet, par des contrôles d’évaluabilité ou par d’autres moyens. Toutefois des problèmes liés au design du projet émergent aussi, souvent, lors de sa mise en œuvre. Une appréciation de l’évaluabilité durant la mise en œuvre d’un projet devrait porter attention au design du projet et il faut reconnaître que ceci peut conduire à retravailler nécessairement la logique de l’intervention. ».23

10.2.2 Termes de référence Les termes de référence devraient être adaptés au cas par cas selon l’objet qui est évalué et les objectifs spécifiques de l’évaluation. En particulier les termes de référence devraient tenir compte des priorités relatives des projets FASEP et RPE, soient des priorités politique, diplomatique, économique et de développement. Dans tous les cas, et vu les différences fondamentales entre projets RPE et études FASEP, ainsi qu’entre les projets eux-‐mêmes, y inclus la variabilité des objectifs principaux de ces projets, les termes de référence doivent être uniques et spécifiques à chaque évaluation. Les termes de référence peuvent proposer une approche méthodologique mais devraient donner suffisamment de flexibilité à l’évaluateur pour développer et proposer une méthodologie qui soit la mieux en mesure de répondre aux objectifs et aux questions évaluatives tout en tenant compte des ressources et du temps disponibles ainsi que des contextes. L’approche évaluative et la méthodologie sont en effet deux choses distinctes mais liées ; le choix de l’approche ayant une incidence sur le choix de méthodologie. Il faut donc être conscient des implications de ces choix et il n’est pas clair que cela soit le cas lorsque l’on applique une seule approche évaluative qui est celle de l’OCDE-‐CAD. Les termes de référence devraient indiquer clairement ce en quoi constitue une méthodologie24, et faire une distinction claire entre les attentes en matière de méthodologie et celles en matière de conduite de l’évaluation par l’évaluateur. Peuvent être inclus dans les attentes méthodologiques l’analyse des parties prenantes, l’utilisation d’une grille d’utilisation ainsi que les processus participatifs.

23 Planning evaluability assessments. R. Davies. DFID working paper 40. October 2013. 24 Voir 9.3.1 : La méthodologie de l’évaluation comprend son design, le cadre de référence évaluatif, les questions spécifiques, le cadre d’analyse, les types et sources de données, les méthodes de collecte, les tests de fiabilité et de validité.


56

La conduite de l’évaluation par l’évaluateur comprend, entre autre, le système de contrôle de qualité, la tenue des dossiers et l’archivage, le budget, l’utilisation des ressources humaines et le plan de communication durant l’évaluation.

10.2.3 Comité de pilotage Dans la mesure du possible le comité de pilotage ne devrait pas remplir des fonctions de gestion telles que l’approbation de la sélection du consultant externe, de la note de structuration et du rapport final ainsi que l’appréciation d’ensemble des travaux du consultant.25 En particulier le comité de pilotage ne devrait pas chercher à remplir une fonction d’assurance qualité, celle-‐ci étant remplie préférablement par un expert de haut niveau en évaluation sélectionné par l’UEAD. 26

10.2.4 Grille d’appréciation La grille d’appréciation des travaux des consultants devrait être revue afin que soient distinguées les appréciations qui relèvent de la « maitrise d’ouvrage » de l’évaluation qui devrait être assurée par l’UEAD (la responsabilité de gestion) et celles qui pourraient être rendues par le comité de pilotage sur base de sa connaissance de l’évaluation, de deux ou trois rencontres et rapports, et de son rôle de pilotage.

25 Pour une distinction entre comité de pilotage et groupe de référence voir page 16 Encadré 1 : Les fonctions de « groupe de référence » et de « comité de pilotage » 26 Voir 10.1.4


57

Annexe 1 - Grille d'appréciation des rapports d'évaluation

Titre: Secteur: Zone d'étude: Instrument: Prestataire: Auteur(s) du rapport: Pagination:

Le rapport d'évaluation décrit: Observations (A)

1. Finalité et objectifs et de l'évaluation: 1.1 La raison de l'évaluation et son utilisation préconisée

1.2 Description du projet évalué: contexte, objectif, justification (ou logique), budget, déroulement et période (étapes), résultats

1.3 Les objectifs ou les questions spécifiques de l'évaluation

2. Méthodologie de l'évaluation: 2.1 Les critères de cette évaluation (par exemple efficacité, efficience, cohérence, etc. -‐ voir termes de référence)

2.2 Les méthodes de collecte des données, types et sources

2.3 Le cadre analytique (comment sont analysées les données recueillies)

3. Résultats: 3.1 Les constats principaux de l'évaluation (les faits probants -‐ "findings")

3.2 La discussion des constats de l'évaluation (l'analyse)

3.3 Les conclusions de l'évaluation 3.4 Les recommandations 4. Le rapport d'évaluation: 4.1 Donne des informations sur la mise en œuvre de l'évaluation (exemple comité technique, imprévus, etc.)

4.2 Est clair, lisible et accessible 4.3 Est rendu publique APPRÉCIATION D'ENSEMBLE

Elément(s) absent(s) des rapports Présence très succincte d'informations, très insuffisante pour éclairer le lecteur du rapport.

Présence partielle d'éléments de réponse, donnant certaines informations cependant incomplètes.

Elément(s) clairement et suffisamment développé(s)


58

Annexe 2 – Liste des entretiens

Organisation Nom Fonction, Service 1 DG Trésor GAUDIN Pierre Responsable, Pôle Commerce

Extérieur

2 DG Trésor LEROY-‐THEMZE Claude

Responsable de la Revue des évaluations de projets d’aide liée RPE et FASEP 2004-‐2012 – Directrice, Unité des Activités d’Aide au Développement 2011-‐2014

3 DG Trésor LEBASTARD Dominique

Ex-‐responsable du SER à Pretoria

4 NATIXIS LEMPERIERE Bernard

Directeur Adjoint des Activités Institutionnelles

5 Cour des Comptes

HAYEZ Philippe Conseiller maître / Coordonnateur du rapport de la Cour des Comptes sur l'APD Française

6 Bureau des Opérations Internationales (BOI)

NECH Didier Responsable, Bureau des Opérations Internationales (BOI) / Prestataire pour 2 évaluations RPE-‐FASEP sur la période 2004-‐2012.

7 Ernst & Young BERTRAND Arnauld Responsable, Secteur public France, Luxembourg, Maghreb – Prestataire pour 3 évaluations RPE-‐FASEP sur la période 2004-‐2012.

8 Ernst & Young BRUNAGEL Marie CASTELLA Christina

Consultantes – Evaluation RPE Fournitures d'équipements, de machines-‐outils et d'assistance technique au Vietnam (2009)

9 Frontier Economics

CHARON Anne-‐Christine

Consultante – Évaluation d’une grappe de projets à volet MDP/MOC financés sur le FASEP-‐Études (2011)

10 DG Trésor REQUIN Anthony Directeur, Service des Activités Multilatérales et du Développement

11 DG Trésor BOBIN Shanti Chef du bureau Aide au Développement (Multifin5)

12 DG Trésor GADY-‐LAUMONIER Mauricette

Directrice, Unité des Activités d’Aide au Développement -‐ depuis 2014.

13 DG Trésor MAURY Jean-‐Emmanuel

Inspection Générale de la DG Trésor

14 DG Trésor BACONIN Jérôme Conseiller du DG, Affaires Internationales

15 CGEFI BELET Gérard Contrôle Général Economique et Financier

16 IGF COPPINGER Nathalie

IGF -‐ Questions multilatérales et développement

17 Frontier Economics

L’HOSTIS Catherine Consultante – Évaluation d’une grappe de projets à volet MDP/MOC financés sur le FASEP-‐Études (2011)


59

18 DG Trésor GOSSET Thomas Ex. Chef du bureau Aide-‐Projet (Fininter2)

19 DG Trésor MAILLARD Frédéric Chef du bureau Aide-‐Projet (Fininter2)

20 DG Trésor CHERVALIER Benoît Directeur, Unité des Activités d’Aide au Développement – 2004-‐ 2007.

21 Cabinet SCE COSTANZO Jérôme Consultant -‐ Evaluation rétrospective de projets de reconstruction post crise dans le cadre des instruments RPE et FASEP -‐ Sri Lanka, Indonésie, Chine (2011)

22 AFD BOUZIGES-‐ESCHMANN Stéphanie

Adjointe, Service des relations extérieures (entreprises, collectivités)

rapport évaluation ministère économie finances france

Documents