evaluation of the european commission's …...evaluation of the european commission's...

Written by ICF Consulting Services Ltd, and independent Humanitarian Aid experts: Karl Blanchet, James Brown and Danielle Deboutte

September 2017

Evaluation of the European

Commission's interventions

in the Humanitarian Health

sector, 2014-2016 Résumé exécutif (FR)

EUROPEAN COMMISSION

Directorate-General for Civil Protection and Humanitarian Aid Operations (DG ECHO)

Directorate A — A - Strategy, Policy and International Co-operation

Unit A.3 — Disaster Risk Reduction, European Voluntary Humanitarian Corps

European Commission

B-1049 Brussels

EUROPEAN COMMISSION


September, 2017

Europe Direct is a service to help you find answers

to your questions about the European Union.

Freephone number (*):

00 800 6 7 8 9 10 11

(*) The information given is free, as are most calls (though some operators, phone boxes or hotels

may charge you).

LEGAL NOTICE

This document has been prepared for the European Commission however it reflects the views only of the

authors, and the Commission cannot be held responsible for any use which may be made of the information

contained therein.

More information on the European Union is available on the Internet (http://www.europa.eu).

Luxembourg: Publications Office of the European Union, 2017

ISBN 978-92-79-74451-8

DOI 10.2795/916129

© European Union, 2017

Reproduction is authorised provided the source is acknowledged.

Evaluation of the European Commission's interventions in the humanitarian Health sector, 2014-2016

Résumé exécutif

Cette évaluation fournit une évaluation indépendante des interventions de la Direction générale pour la protection civile et les opérations d'aide humanitaire européennes

(DG ECHO) de la Commission européenne dans le secteur de la santé humanitaire au cours de la période allant de 2014 à 2016. L'évaluation, lancée par la DG ECHO en

novembre 2016, a été menée par ICF Consulting Services Ltd, avec la contribution d'experts de l'humanitaire et de la santé.

L'objectif de l'évaluation était d'analyser les interventions de la DG ECHO en matière de santé entre 2014 et 2016, en rendant compte des résultats en fonction de sept

critères principaux d'évaluation tels que spécifiés dans les Termes de référence

(pertinence, cohérence, coordination, efficacité, efficience, Valeur ajoutée pour l'UE et durabilité), afin d'offrir des conclusions et des recommandations pour informer les

futures interventions de la DG ECHO dans ce domaine et contribuer à l'évaluation globale de l'Aide humanitaire en cours.

1.1 Sources et méthodes d'évaluation des données

Les conclusions présentées dans ce rapport sont basées sur l'analyse et la triangulation des sources de données suivantes :

Archives de la base de données HOPE1 pour l'ensemble des 553 actions de santé humanitaire financées par la DG ECHO dans des Pays tiers, reportées

entre 2014 et 2016 ;

Rapports de projet et FichOps2 provenant d'un échantillon de 100 projets ;

Un échantillon de 52 Plans de mise en œuvre humanitaire (HIP pour

Humanitarian Implementation Plan) ;

Documentation provenant de 55 références ;

44 entretiens semi-dirigés de parties prenantes avec des cadres et partenaires

de la DG ECHO, des bailleurs internationaux et des acteurs du développement ;

Une enquête en ligne collectant les impressions de 32 partenaires de la DG

ECHO (106 sondés) ;

Trois visites sur le terrain (exploration du programme Revenus externes

affectés – ExAR – pour External Assigned Revenues en Côte d'Ivoire, interventions de santé de la DG ECHO en Jordanie en réponse au conflit syrien ;

et la réponse humanitaire en matière de santé de la DG ECHO au Sud-Soudan);

et

Un cas d'étude basé sur la recherche concernant la réponse humanitaire globale

au tremblement de terre au Népal en 2015.

1.2 Validité des résultats de l'évaluation

Comme pour toute évaluation, des données limitées et dans certains cas, des

incohérences dans les données, de même que les intérêts des différents groupes de parties prenantes peuvent affecter la qualité et la pertinence des conclusions.

Il n'était pas possible de mener un examen du dossier complet des actions centrées sur la santé, en raison de contraintes budgétaires, et étant donné le nombre de

projets financés identifiés. Un échantillon raisonné de 100 a donc été sélectionné pour saisir la diversité des actions centrées sur la santé financées par la DG ECHO et la

diversité des contextes.

1 Base de données de projet humanitaire de la DG ECHO. 2 La FichOp est un fichier interne d'ECHO comprenant l'ensemble des observations, commentaires,

premières appréciations, le rapport de surveillance et la décision finale du personnel de Terrain et de

Bureau.


La base de données HOPE a été la principale source d'extraction des actions financées par la santé. Un certain nombre d'inexactitudes liées à la définition des sous-

catégories d'actions relatives à la santé ont été trouvées lors d'une analyse plus approfondie des données. Les conclusions de ce rapport d'évaluation reflètent les

données extraites de la base de données, toutefois des précautions ont été prises quant aux avis fournis sur le montant du financement fourni par la DG ECHO à

chacune des sous-catégories prédéfinies, en raison de cette inexactitude.

Pour des raisons pratiques telles que le temps et le budget disponibles pour

l'évaluation, ainsi que pour des questions de sécurité, il n'a pas été possible de sélectionner aléatoirement les sites pour les missions de terrain. L'approche de la

sélection des sites pour les missions de terrain a donc été à la fois raisonnée et

pratique, impliquant les experts régionaux en matière de santé de la DG ECHO ainsi que du Quartier général (QG).

Dans la mesure du possible, les limitations méthodologiques ont été surmontées en utilisant des méthodes de recherche complémentaires pour améliorer la fiabilité et la

validité des données collectées, et pour fournir la base d'une vérification croisée et d'une triangulation des résultats de l'évaluation. Il a été fait preuve de prudence lors

de l'interprétation des données et le compte-rendu des conclusions, et les intérêts des différents groupes de parties prenantes ont été pris en compte pour faire face au biais

potentiel et assurer l'objectivité. La contribution, l'examen et la validation d'experts

externes thématiques ont contribué à justifier la validité des résultats de l'évaluation. Cependant, dans certains cas, il n'a pas été possible de dresser des conclusions

irrévocables sur la base des preuves existantes : lorsque cela a été le cas, cela a été clairement souligné dans le rapport.

1.3 Principales conclusions

Cette section fournit un résumé des conclusions de l'analyse descriptive des actions, suivi par une analyse en profondeur par thème d'évaluation.

1.3.1 Aperçu de la réponse de la DG ECHO entre 2014 et 2016

Entre 2014 et 2016, la DG ECHO a financé 553 actions dans le secteur de la santé

humanitaire dans des pays tiers (ce qui équivaut à 616,9 millions d'euros de financement).

La plupart des actions financées étaient plurisectorielles – bien qu'elles étaient axées

sur la santé ou avaient un composant sanitaire – associant des activités sanitaires avec des activités de nutrition, sécurité alimentaire et moyens de subsistance et/ou

Eau, Assainissement et Hygiène (WASH pour Water, Sanitation and Hygiene). En décomposant les activités en sous-secteurs de santé, les sous-secteurs de santé les

plus communs couverts par les projets étaient la santé primaire (67 % des projets) suivie par les fournitures médicales (51 %), la santé de la reproduction (48 %), la

sensibilisation communautaire (47 %), et la prévention et la réponse aux épidémies (42,5 %). Un peu plus d'un quart des projets (27 %) incluaient le soutien mental et

psychosocial.

En observant la répartition du financement par pays, partenaire et groupe cible, le Sud-Soudan a reçu le montant le plus important de financement humanitaire de santé

sur cette période (73 millions € soit 11,4 % du budget total) alors qu'au niveau mondial, le Mouvement international de la Croix-Rouge et du Croissant-Rouge était

l'organisation partenaire recevant le montant le plus important de financement (121 millions €, 18,9 %). S'agissant des groupes cibles pour le financement, la

majorité du financement (73 %) a été fournie pour soutenir les personnes déplacées et les réfugiés. Les populations affectées par des catastrophes naturelles ont reçu le

montant de financement le plus faible. Près des trois-quarts (72 %) du financement de

la DG ECHO ont été fournis à des projets qui ont incorporé des activités de prévention et de réponse aux épidémies (équivalant à 42,5 % des projets).


1.3.2 Pertinence

Les actions de santé humanitaire de la DG ECHO ont été pertinentes dans une mesure

modérée. Cependant, de meilleures appréciations des besoins amélioreraient la pertinence des actions financées.

Le réseau sur le terrain d'Experts régionaux de la santé (RHE pour Regional Health Expert) de la DG ECHO a été essentiel pour fournir des données primaires, à jour et

des informations spécifiques au contexte afin d'informer les stratégies de réponse de la DG ECHO dans le secteur de la santé. Les RHE se sont également engagés avec les

partenaires de mise en œuvre de la DG ECHO au stade de la conception, par exemple, en informant les partenaires des priorités thématiques et en définissant les stratégies

spécifiques de crise. Cependant, il est démontré que les RHE n'ont pas été

systématiquement consultés au stade d'élaboration des HIP ou par les assistants techniques (TA pour Technical Assistant) et partenaires de la DG ECHO sur des projets

délivrant des activités sanitaires.

Les actions de santé humanitaire de la DG ECHO ont fait face à d'importants besoins

mais il n'est pas évident qu'elles aient systématiquement ciblé les populations les plus affectées et vulnérables et qu'elles aient soutenu les interventions les plus pertinentes.

S'agissant de l'appréciation des besoins, l’étude a révélé que les RHE n'ont pas mené des appréciations régulières des besoins spécifiques à la santé afin d'informer

l'élaboration du HIP au niveau de chaque domaine de crise des interventions de la DG

ECHO ou, s'ils l'ont fait, cela n'a pas été documenté... La qualité des appréciations des besoins en matière de santé a été limitée par des problèmes inhérents aux

interventions humanitaires qui compliquent l'établissement de facteurs, souvent interdépendants, qui peuvent conduire à un excès de morbidité, mortalité et

d'invalidité. La capacité des partenaires de mise en œuvre de la DG ECHO à mener les appréciations de leurs propres besoins afin d'informer les activités médicales a

également été un facteur déterminant. Certains possèdent une capacité solide, mais ce n'est pas le cas de tous. La qualité de ces appréciations des besoins a influencé la

compréhension des bailleurs et des partenaires de l'ensemble essentiel de services

sanitaires à adopter lors d'une crise donnée et de l'aptitude de la DG ECHO à assurer que les projets financés ont aidé les plus vulnérables et ceux qui en ont le plus besoin.

Il apparaît que la DG ECHO a personnalisé son approche afin de faire face à des épidémies en fonction de défis reconnus et des obstacles d'accessibilité, cependant en

exploitant l'expertise disponible, également en dehors de la DG ECHO, cela aurait pu être mieux.

1.3.2.1 Cohérence

Les actions de santé humanitaire de la DG ECHO ont respecté les normes

internationales et ont été cohérentes, dans une certaine mesure, avec les Lignes

directrices consolidées en matière de santé humanitaire de la DG ECHO.

La cohérence des actions sanitaires financées par la DG ECHO avec les principes, les

politiques et les lignes directrices consolidées en matière de santé humanitaire de la DG ECHO a été évaluée, de même que la mesure selon laquelle ces actions financées

étaient cohérentes avec les politiques et les normes mondiales relatives à la santé humanitaire. Les partenaires de la DG ECHO ont utilisé diverses directives

internationales, nationales et internes en fonction du contexte de l'intervention de crise, et le personnel de la DG ECHO a joué un rôle dans la diffusion desdites normes

sur le terrain.

L'évaluation a conclu qu'il y a eu un manque de cohérence dans l'utilisation des Lignes directrices consolidées en matière de santé humanitaire de la DG ECHO par le

personnel et les partenaires de la DG ECHO : lorsqu'elles ont été utilisées, l'Annexe Arbre de décision a été désignée comme utile pour documenter les décisions de

financement. De plus, en pratique, toutes les actions financées par la DG ECHO


n'étaient pas en harmonie avec ses Lignes directrices consolidées en matière de santé humanitaire. Dans certains cas, seuls certains principes des Directives ont été

couverts, alors que d'autres ne l'étaient pas.

1.3.2.2 Connexité et coordination

Les actions de santé humanitaire de la DG ECHO ont été conçues et mises en œuvre en coordination avec d'autres acteurs pertinents nationaux et internationaux, à des

degrés variables.

Dans l'ensemble, la DG ECHO a réussi à coordonner ses interventions avec d'autres

acteurs dans le secteur de la santé humanitaire. Une bonne collaboration et coordination entre les acteurs ont été identifiées comme essentielles au succès des

actions, en particulier lors du stade initial de planification des projets. Cependant, le

contexte dans lequel les crises ont eu lieu a affecté l'aptitude de la DG ECHO à articuler et à coordonner sa réponse avec d'autres interventions et acteurs au travers

de groupes nationaux de santé, et avec d'autres bailleurs dans certaines régions. La DG ECHO a collaboré avec la Direction générale du développement et de la

coopération internationale (DG DEVCO) de la Commission européenne et le Centre européen de prévention et de contrôle des maladies (ECDC) dans une mesure variable

au cours de la période d'évaluation. La collaboration avec les autorités nationales a été cependant limitée et des différences dans les approches et les attentes ont conduit à

une collaboration infructueuse comme l'expérience ExAR l'a révélé en Côte d’Ivoire.

Au stade initial actuel de déploiement du Corps médical européen (EMC pour European Medical Corps)3, il est difficile d'évaluer la mesure dans laquelle l'EMC peut interagir et

coordonner avec d'autres actions de la DG ECHO.

1.3.2.3 Efficacité

Des résultats (c.à.d. rendement) ont été atteints entièrement ou partiellement dans la plupart des actions financées par la DG ECHO analysées, montrant des résultats

positifs en vue d'atteindre l'efficacité. Cependant, les données disponibles dans les rapports des partenaires et dans les bases de données de la DG ECHO n'ont pas

permis d'évaluer la pleine mesure dans laquelle les actions de santé humanitaire de la

DG ECHO ont été efficaces.

Il convient de prendre en compte le fais que les réalisations ont fortement dépendu du

contexte et de la région et que les résultats atteints n'ont pas nécessairement impliqué la qualité des services étant donné que la qualité du rendement et des

résultats a varié entre les partenaires de la DG ECHO. Les partenaires ont confondu les indicateurs de rendement et de résultats dans leur compte-rendu (la plupart des

données ont été reportées au niveau du rendement), et des indicateurs non-obligatoires qui ne saisissaient que partiellement les résultats visés ont été utilisés.

Un certain nombre de facteurs de facilitation ont été identifiés comme favorisant

l'efficacité des actions de la DG ECHO : L'expertise des RHE et la surveillance étroite des projets, la qualité des médicaments, les systèmes de santé existants en place,

l'expertise sanitaire des partenaires de la DG ECHO, la communication et la collaboration avec des parties prenantes en matière de santé (en particulier avec le

Ministère de la santé), et une connaissance solide des communautés locales, avec une attention particulière portée aux sensibilités culturelles et liées au genre.

Un certain nombre d'obstacles ont également été identifiés comme entravant l'efficacité des actions financées par la DG ECHO. Au niveau de la DG ECHO, les

principaux obstacles ont compris la disponibilité des partenaires, leur capacité et leur

expertise médicale, le choix des indicateurs par les partenaires et la disponibilité des

3 L'EMC a été mis en place en 2016 sous l'égide du Mécanisme de protection civile de l'UE afin de fournir

une réponse européenne rapide aux urgences ayant des conséquences en matière de santé tant au sein

qu'en dehors de l'Europe.


données affectant la surveillance des actions, ainsi que l'offre de financement en temps opportun. Au niveau des partenaires, les obstacles majeurs ont été liés à

l'approvisionnement en médicaments, au manque de capacité à offrir des services de soins de santé de qualité, à une faible qualité du niveau de référence, au faible niveau

d'implication et de participation de la communauté dans les activités de soins de santé, ainsi qu'à une insécurité et une criminalité croissantes. Une consultation

approfondie des RHE par les TA et les partenaires de la DG ECHO pour des commentaires techniques et un examen des projets relatifs à la santé et des

propositions n'a pas été suffisamment systématisée.

1.4 Efficience

Les mécanismes et systèmes administratifs de la DG ECHO ont généralement été

considérés comme efficients. La DG ECHO s'est concentrée sur les types d'actions de financement qui étaient déjà connus pour leur bon Rapport qualité/prix (RQP). Dans la

plupart des cas, le budget a été suffisant pour atteindre les résultats escomptés, cependant, les données disponibles et le nombre, la variété et la complexité des

interventions n'ont pas permis d'évaluer la mesure dans laquelle les actions de santé humanitaire de la DG ECHO ont été efficientes.

En pratique, en raison de limitations méthodologiques, la DG ECHO n'a pas largement utilisé la rentabilité comme une mesure d'efficience. L'efficience a été évaluée plus

largement en tant que Rapport qualité-prix (RQP) et caractère suffisant des budgets

pour mener les activités requises selon une norme raisonnable de qualité.

Au moment de sélectionner des propositions, la DG ECHO a rarement mené des

analyses détaillées d'efficience sur les projets relatifs à la santé nouveaux ou innovants. Au contraire, elle a préféré financer des types d'action dont elle savait déjà

qu'ils signifiaient un bon RQP ou pour lesquels le pourcentage le plus important de financement était attribué aux bénéficiaires plutôt qu'aux frais généraux.

La surveillance des projets et la fourniture d'une répartition claire des coûts par les partenaires ont été essentielles pour assurer l'efficience des projets et devraient être

incorporées systématiquement dans tous les projets. La coordination, la rationalisation

et la normalisation des ressources (en particulier l'approvisionnement en médicaments), la formation et le renforcement des capacités du personnel local

existant ont également été des facteurs importants améliorant l'efficience.

Les mécanismes et systèmes administratifs de la DG ECHO ont généralement été

considérés comme efficients. Cependant, l'efficience des mécanismes de financement a varié en fonction du type de crise et de mécanisme : le financement au travers de

HIP géographiques pour des actions de suivi et au travers de l'Instrument Épidémies a été considéré largement comme efficient (avec certaines exceptions), mais un autre

financement offert au travers de HIP géographiques a souvent été trop lent. De plus,

l'efficience aurait pu être améliorée dans le cas de l'ExAR en Côte d’Ivoire étant donné que les cycles et systèmes de la DG ECHO n'étaient pas adaptés à une fourniture

pluriannuelle. D'autres mécanismes de la DG ECHO existent pour soutenir l'efficience, par ex. le financement par la DG ECHO du Global Health Cluster (GHC), et la

coordination avec d'autres acteurs mondiaux. Cependant, le soutien du GHC pourrait être amélioré de même que les mécanismes de déploiement de la DG ECHO pour les

agences de santé publique européennes (par ex. l'ECDC) pendant les crises.

Le retour concernant le caractère suffisant des budgets a été très mitigé, en particulier

s'agissant de la réponse à Ebola en Afrique occidentale. Les impacts des insuffisances

de budget sur les projets ont compris le retrait d'interventions, des activités réduites et un raccourcissement de la durée des actions.

Le personnel de la DG ECHO a une vision mitigée s'agissant des doutes sur l'introduction de mécanismes de financement à plus long terme, cependant tous les

partenaires ont signalé une préférence pour une période de financement de deux à


trois ans, qui pourrait permettre une meilleure planification de l'avenir afin d'améliorer l'efficacité de l'action et son efficience.

1.4.1.1 Valeur ajoutée de l'UE

La DG ECHO s'est appuyée sur son rôle et mandat spécifiques afin de créer une valeur

ajoutée dans le secteur de la santé humanitaire.

Il apparaît que la DG ECHO a soutenu la fourniture d'activités nécessaires de santé

dans le monde entier, en particulier lors de crises oubliées. En outre, le réseau de RHE de la DG ECHO sur le terrain a été un élément important de la valeur ajoutée de l'UE,

en amenant l'expertise en matière de santé et d'aide humanitaire aux réponses de la DG ECHO. Le travail d'équipe entre le responsable de l'Équipe santé (politique) et le

Coordinateur thématique mondial (politique) de la DG ECHO, avec le soutien des RHE

et des TA, a également contribué à d'importantes évolutions au cœur de la discussion mondiale sur l'aide humanitaire en matière de santé.

La diversité des données d'entrée et des outils disponibles au niveau de l'UE afin de contribuer à une réponse humanitaire de l'UE/ de la DG ECHO (experts du système de

santé/du développement de la santé publique de la DG DEVCO, actifs soumis à l'EMC, financement de la recherche au titre de la Direction Générale de la Recherche et de

l'Innovation (DG RTD) de la Commission européenne) a également été considérée comme un actif pour la DG ECHO en tant que bailleurs. Cependant, il semble que la

structuration des différents composants pourrait être davantage institutionnalisée et

renforcée, afin d'accroître la valeur ajoutée.

Les Lignes directrices consolidées en matière de santé humanitaire de la DG ECHO

(CHH pour Consolidated Humanitarian Health) ont ajouté de la valeur principalement au personnel de la DG ECHO dans la documentation des décisions de financement. Les

partenaires ont reporté les utiliser dans une certaine mesure, mais il apparaît que cette utilisation a été quelque peu superficielle. Leur valeur ajoutée serait améliorée si

elles étaient liées à un cadre de performance stratégique (afin de satisfaire les objectifs de la DG ECHO) par rapport auquel les RHE et les bureaux du pays pourraient

mesurer les progrès obtenus grâce à leur financement.

La valeur ajoutée de l'UE pourrait plus facilement être suivie si la DG ECHO améliorait la mesure des résultats des projets qu'elle finance et les écarts qu'elle réduit.

L'absence d'un cadre de performance stratégique, lié à ses objectifs stratégiques dans le secteur de la santé (comme spécifié dans les Lignes directrices consolidées en

matière de santé humanitaire de la DG ECHO), est un défaut. Cette idée est explorée plus en détail dans la section de recommandations ci-dessous.

1.4.1.2 Durabilité et LRRD

Un manque de définition cohérente de la durabilité a pour conséquence que la mesure

dans laquelle les actions humanitaires de santé de la DG ECHO ont été durables est

peu concluante.

Il n'y avait pas de consensus parmi les parties prenantes concernant les définitions de

la durabilité ou la mesure dans laquelle la durabilité peut et doit être un axe de l'assistance humanitaire. Cependant, les parties prenantes ont eu la sensation que le

financement fourni sur une période de temps plus longue, plutôt que de financer à nouveau des actions plusieurs fois favoriserait la durabilité, et permettrait de mieux

planifier l'avenir afin d'améliorer l'efficacité et l'efficience. Un financement pluriannuel, tel qu'ExAR, a également été identifié comme ayant un potentiel significatif pour

renforcer le lien entre l'aide humanitaire et le développement (c.à.d. LRRD) dans un

environnement postérieur à un conflit. Cependant, afin de réussir sa mise en œuvre, ECHO devrait revoir son mode opératoire afin de l'adapter à ce mécanisme de

financement.

La durabilité des résultats n'a pas été habituellement reportée ou mesurée.

Cependant, à titre de résultat général, presque tous les projets contenaient un aspect


de renforcement des capacités qui peut être un résultat durable (même si la durabilité n'était pas un objectif initial). De plus, des impacts durables plus larges ne sont pas

clairement prouvés : bien qu'un tiers des partenaires aient indiqué que les actions financées par la DG ECHO ont mené à des changements des politiques

gouvernementales, aucun exemple spécifique n'a été identifié.

La majorité des actions financées par la DG ECHO sont apparues avoir été intégrées

dans des programmes ou systèmes nationaux et plusieurs exemples de la facilitation par la DG ECHO de la passation d'actions aux autorités nationales ont été identifiés.

Cependant, la mesure dans laquelle le financement et/ou les actions ont été repris par les acteurs du développement n'est pas claire : de nombreuses difficultés de passation

ont été identifiées.

Le travail de plaidoyer de la DG ECHO a été identifié comme un « évènement changeant la donne », puisqu'il apparaît qu'il a influencé d'autres acteurs à réduire les

écarts dans leur réponse, appliquer les meilleures pratiques et mener des actions de suivi.

Principales conclusions du programme ExAR en Côte d'Ivoire

Le tableau ci-dessous résume les principales conclusions observées lors de la visite sur

le terrain du programme ExAR en Côte d'Ivoire. Cette étude de cas revêt une importance et un intérêt particuliers, en raison de l'approche novatrice adoptée par la

DG ECHO en matière de financement du LRRD, attirant l'attention de la DG ECHO et

de l'extérieur. L'étude de cas complète, en français, est disponible à l'Annexe 8 qui décrit le contexte de cette intervention, les principales conclusions par thème

d'évaluation, et fournit un certain nombre de conclusions et de recommandations. En outre, le cas échéant, ces conclusions ont été incluses dans le cadre de l'évaluation

principale de ce rapport.

Tableau 1 Principales conclusions du programme ExAR en Côte d’Ivoire

Pertinence

Les actions et activités répondent aux besoins de santé majeurs des populations en

matière de santé primaire et les barrières qui les empêchent d’accéder aux services ont été adressées par les activités des quatre partenaires.

Les femmes en âge de procréer et les enfants de moins de cinq ans étaient la cible

des interventions des quatre partenaires et sont considérés comme les groupes les plus vulnérables.

Les interventions répondent aux priorités définies par ECHO dans ses décisions de

financement (HIPs)4.

L’implication des parties prenantes (DD/DR, ECD, personnel soignant, COGES, ASC)

dans la conception et la mise en œuvre des activités varient selon les partenaires. Les bénéficiaires (femmes et enfants) n’ont pas été directement impliqués dans la

conception.

Efficacité

On constate une amélioration générale sur tous les aspects des interventions,

même si les cibles fixées des indicateurs n’ont pas toutes été atteintes. Le système demeure fragile et les besoins conséquents.

Rentabilité

Le budget disponible était jugé approprié pour atteindre ou s’approcher de la

4 Les HIPs (plans de mise en œuvre humanitaire) sont des décisions de financement c’est-à-dire des actes juridiques adoptés par la

Commission européenne dans le but d’autoriser ECHO à dépenser le budget de l’UE pour atteindre certains objectifs. l s’agit d’une

condition juridique obligatoire pour la signature d’accords avec les organisations humanitaires. Les HIPs identifient, entre autres, la

région de mise en œuvre, la crise humanitaire, les objectifs, les fonds disponibles et les partenaires potentiels pour aider ECHO à

acheminer l’aide humanitaire. Les décisions sont fondées sur une évaluation des besoins.

http://ec.europa.eu/echo/fr/node/1817

http://ec.europa.eu/echo/what/humanitarian-aid/needs-assessments_fr


majorité des indicateurs fixés. Cependant, des besoins importants persistent.

Les mécanismes d’ECHO sont jugés efficaces à l’exception de la gestion

contractuelle jugée complexe et non adaptée à des interventions de plus de deux

ans.

Connectivité et coordination

La coopération entre ECHO et les quatre partenaires était active et fréquente (bien que les réunions mensuelles aient commencées en 2015, un an après le début du

PRSS). L’AFD et le MSHP étaient également conviés à ces réunions.

Les partenaires ont étroitement collaboré avec les programmes de santé nationaux dans le suivi des normes et la formation du personnel de santé.

La coopération entre ECHO et le niveau central (UCP, Secrétariat Technique du C2D

et MSHP) se limitait à des échanges sporadiques et des informations tardives.

Les partenaires ont coordonné leurs activités avec les autres acteurs humanitaires

afin d’éviter tout chevauchement ; aucun doublon n’a été reporté par les

partenaires.

Le groupe sectoriel santé5 représente un mécanisme formel d’échanges

d’expériences entre bailleurs humanitaires (ECHO) et de développement.

La coopération entre les partenaires ECHO et les autorités régionales et locales était

régulière et active. Leur implication dans la conception, et parfois dans la mise en

œuvre, était toutefois limitée.

Durabilité

Des aspects de promotion et de prévention ont été inclus par les quatre partenaires ce qui a permis d’augmenter certaines bonnes pratiques ainsi que la fréquentation

des centres.

Différentes activités vont être poursuivies après la fin du projet, surtout dans le domaine de la gestion, tandis que d’autres activités, notamment celles requérant

des ressources financières (telles que les stratégies avancées6) devront être revues et adaptées afin de perdurer sans l’appui des partenaires.

L’approche utilisée par les partenaires permet de promouvoir la pérennisation par

l’appropriation des différents outils et méthodologies par les acteurs ainsi que par l’implication et la formation des différentes parties prenantes (renforcement des

capacités du personnel soignant, des COGES et des DD).

Il subsiste un nombre de risques associés à la durabilité des actions : rotation du

personnel, manque de financement, perte des acquis, durée de vie du matériel.

Il existe une très forte motivation des parties impliquées au niveau des districts,

notamment au sein des communautés, des COGES, du personnel soignant et des DD.

Au niveau central du ministère de la santé, toutes les parties prenantes ont confirmé une insuffisance d’appropriation des actions par l’UCP.

Valeur ajoutée

Les éléments qui distinguent ECHO des autres bailleurs sont principalement liés à sa

position d’acteur humanitaire transposée dans un contexte de développement :

rapidité dans le décaissement des fonds, procédures allégées, capacité de réaction et flexibilité, expérience et positionnement sur le terrain, reconnaissance

internationale.

Architecture ExAR

Une approche pluriannuelle est nécessaire et apporte des avantages certains, y

5 Ce groupe sectoriel a été créé suite à la dissolution du Cluster santé. Il regroupe tous les partenaires actifs

dans le secteur de la santé. Il est coordonné par l’OMS). 6 Ensemble d’approches fournissant des services médicaux en dehors de la structure sanitaire (ex.

vacination, consultation ambulatoire, consultation prénatale)


compris pour le renforcement du lien entre le secteur humanitaire et celui du développement (LRRD).

ECHO a conservé son mode opératoire habituel. Les procédures sont restées les

mêmes avec quelques exigences de rapports supplémentaires (rapport semestriel).

Les mécanismes et approches ECHO en tant que bailleur humanitaire ne sont pas

pleinement adaptés au contexte de développement à long terme.

Le cadre commun ainsi que les réunions régulières ont permis des réflexions communes et des échanges réguliers sur ce qui fonctionne bien ou moins bien.

Même si les indicateurs sont jugés bons dans l’ensemble, ils mesurent surtout

l’aspect quantitatif des résultats et ils ne sont pas représentatifs de l’ensemble des activités.

Il y a eu une faible appropriation et implication de l’UCP dans la mise en œuvre et le

suivi du projet.

Les approches, visions et attentes divergentes des deux parties signataires de la

convention cadre du PRSS (ECHO et le gouvernement de Côte d’Ivoire) ont créé une

certaine tension dans les relations.

1.5 Conclusions et recommandations

Le tableau 2 ci-dessous présente les cinq recommandations stratégiques clés reportées dans la section 4 du rapport principal. Chaque recommandation au niveau

stratégique est soutenue par un certain nombre de recommandations au niveau opérationnel, et les recommandations ont été alignées avec leurs conclusions

correspondantes. Une liste plus étendue de conclusions et de recommandations,

reportées par stade de projet (conception, mise en œuvre et suivi) pour soutenir la mise en œuvre pratique, est disponible à la section 4 du rapport principal.

Evaluation of the European Commission's interventions in the humanitarian Health

sector, 2014-2016

Figure 1. Tableau 2 : Conclusions et recommandations

Conclusions Recommandations

La capacité variable du partenaire à mener des appréciations des besoins et le manque d'un

processus standardisé d'appréciation des besoins ont affecté la mesure dans laquelle la

DG ECHO a fourni un soutien pertinent au cours des crises.

Il y avait un manque général de connaissance

des Lignes directrices consolidées en matière de santé humanitaire (CHH) de la DG ECHO, qui

n'ont pas été utilisées de manière cohérente parmi les partenaires et autres acteurs.

Cependant, lorsque les lignes directrices ont été utilisées, l'Annexe Arbre de décision a été

identifié comme particulièrement utile pour appuyer les décisions de financement.

En pratique, toutes les actions n'étaient pas

alignées avec les lignes directrices CHH de la DG ECHO : lorsque des actions n'étaient pas

alignées, aucune explication transparente n'était fournie quant à cet écart.

La surveillance des actions par le personnel et les partenaires de la DG ECHO n'a pas été

systématiquement réalisée :

a) Il y avait un manque de données (y compris

des données de base) collectées et

reportées ;

b) Les partenaires ont confondu les indicateurs

de rendement et de résultats dans leur

2. Développer un Cadre de performance stratégique/modèle logique pour appuyer un processus plus formel, systématisé pour les appréciations

des besoins, la prise de décision en matière de financement et la surveillance et l'évaluation des actions. Les priorités stratégiques devraient

être clarifiées et reflétées dans les modèles d'appréciation des besoins, les propositions des partenaires, les Lignes directrices consolidées en matière de

santé humanitaire (CHH) de la DG ECHO et la surveillance et les rapports finaux

pour soutenir l'alignement clair des objectifs stratégiques avec les activités financées et les résultats des actions. Plus spécifiquement :

La DG ECHO devrait fournir un modèle d'appréciation des besoins spécifiques aux partenaires, en ligne avec les priorités stratégiques, qui comprend des

critères de vulnérabilité spécifiques et une orientation appropriée pour sa réalisation ;

La DG ECHO devra promouvoir les indicateurs existants (KRI d'ECHO en Annexe B des lignes directrices CHH), en particulier ceux qui saisissent la

qualité et le respect des délais de l'offre de soins de santé. Les indicateurs

doivent également couvrir les plans stratégiques de sortie/de durabilité, les résultats attendus en matière de santé (non uniquement le rendement mais les

résultats officiels en matière de santé) et l'efficience (claire cldes coûts). Les partenaires devraient également recevoir le soutien de la DG ECHO et du GHC

pour développer des indicateurs supplémentaires de résultats spécifiques au projet adaptés aux besoins du projet et aux systèmes de compte-rendu interne

du partenaire ;

Les indicateurs obligatoires alignés sur le cadre de performance stratégique

doivent être davantage promus. De même, l'utilisation de ces lignes directrices

(CHH) devrait être largement promue auprès du personnel et des partenaires de la DG ECHO afin d'assurer que les indicateurs sont inclus dans les propositions

des partenaires et que les décisions de financement sont prises sur la base de ces indicateurs. Dans les cas où la DG ECHO finance des projets qui ne sont pas


sector, 2014-2016

compte-rendu (la plupart des données ont

été reportées au niveau du rendement), et des indicateurs non-obligatoires qui ne

saisissaient que partiellement les résultats

visés ont été utilisés ;

c) Le compte-rendu des budgets et des

dépenses n'était pas clair dans les FicheOps et les rapports finaux ;

d) Il y avait un manque de consensus clair concernant l'accent mis sur l'atteinte de la

durabilité dans les actions de la DG ECHO.

e) Cela a limité la mesure dans laquelle les

projets pourraient être évalués valablement.

clairement alignés avec les lignes directrices CHH et les indicateurs, il est

essentiel que les raisons du financement soient rapportées de manière transparente ;

La DG ECHO devrait soutenir et promouvoir, au travers du GHC, de l'évaluation

des actions en fonction des indicateurs obligatoires de la DG ECHO et des indicateurs spécifiques au projet, y compris en promouvant la collecte

systématique des données de base par les partenaires, la collecte de données quantitatives et qualitatives et un compte-rendu clair des données. Cela

comprend la promotion d'un compte-rendu clair en fonction des indicateurs dans les FicheOps internes et dans la base de données HOPE.

Une bonne collaboration et coordination entre la DG ECHO, les partenaires et autres acteurs, en

particulier lors du stade initial de planification

des projets, ont été identifiées comme essentielles au succès des actions.

En général, la collaboration entre la DG ECHO et les autres actions était bonne bien que cela

dépendait du contexte. Dans certains cas, la DG ECHO n'a pas été capable de s'engager

significativement avec les acteurs pertinents des groupes nationaux de santé en raison de

problèmes de capacité ou de différences dans

l'approche privilégiée. De plus, la collaboration avec les parties prenantes internes (DEVCO,

SANTE, EMC et l'ECDC) pourrait être améliorée.

3. Afin de soutenir une communication et un engagement précoce et complet des parties prenantes, ECHO devrait créer, au stade

d'élaboration du HIP, une matrice d'engagement pour chaque pays sur

la base de ses principes d'engagement, afin de clarifier quelles parties prenantes elle peut et devrait impliquer, et de quelle manière. Une telle

matrice soutiendrait une meilleure compréhension du contexte dans lequel la DG ECHO opère, y compris des acteurs du développement (le cas échéant)

présents sur le terrain et les acteurs spécifiques impliqués dans le groupe national de santé. Cela aiderait à faciliter :

Un meilleur processus de planification entre la DG ECHO, les gouvernements nationaux et les acteurs du développement (lorsqu'ils existent) afin de partager

l'expertise et les ressources et mieux soutenir la durabilité ;

Une meilleure collaboration avec le Global Health Cluster (GHC) pour assurer une capacité de mobilisation coordonnée qui est intégrée aux systèmes locaux

et hiérarchies du personnel ; et

Un déploiement plus coordonné et rationalisé de l'EMC. Une localisation des

parties prenantes peut soutenir une appréciation précoce du besoin potentiel du déploiement de l'Équipe médicale européenne (European Medical Team ou EMT)

pour permettre une planification précoce, et assurer que les services et les


sector, 2014-2016

compétences de l'EMT complètent la capacité et les besoins locaux et

permettent la rentabilité et un déploiement dans les délais.

La présence sur le terrain de la DG ECHO au travers de son réseau de TA et de RHE était

essentielle pour améliorer la qualité des appréciations des besoins ; faciliter et maintenir

une bonne coordination avec les parties

prenantes ; diffuser les normes internationales auprès du réseau de la DG ECHO sur le terrain ;

et soutenir le travail de plaidoyer. L'expertise technique des RHE, les relations de confiance

qu'ils établissent avec les partenaires et leur surveillance de projets ont été considérées

comme des facteurs importants contribuant au succès des actions et les RHE ont été identifiés

comme un domaine clé de la valeur ajoutée de

la DG ECHO.

Cependant, les RHE n'ont pas été

systématiquement consultés et utilisés : au niveau de crise, bien que les RHE de la DG

ECHO ont régulièrement collecté des données sur les besoins en soins de santé et en réponse

aux urgences et fourni des données au stade d'élaboration du HIP, ils n'ont pas mené (ou s'ils

l'ont fait, cela n'a pas été documenté) formalisé,

bien documenté les appréciations des besoins spécifiques à la santé afin de justifier

l'élaboration du HIP et la consultation des RHE par les TA et les partenaires de la DG ECHO

pour les commentaires techniques et l'examen des projets de santé et propositions n'a pas été

suffisamment systématisée.

4. L'expertise technique des RHE devrait être mieux mise à profit (cela peut impliquer d'augmenter la capacité des RHE) : Les RHE et les TA

devraient être davantage soutenus pour jouer un rôle plus important dans la coordination des parties prenantes. Cela comprend :

Assurer un lien plus étroit entre le personnel de terrain et le QG de la DG ECHO.

Les commentaires des RHE devraient systématiquement alimenter la DG ECHO et les appréciations globales des besoins du CCR, et la programmation par le

QG de la DG ECHO HQ, y compris le processus d'élaboration du HIP. Les TA devraient également être encouragés à rechercher le conseil technique des RHE

plus systématiquement au moment de prendre les décisions de financement ;

Plus systématiquement, soutenir la conception des projets de partenaire pour

les projets de santé, par exemple, en promouvant et en faisant appliquer l'utilisation des lignes directrices CHH de la DG ECHO afin d'appuyer la

conception de proposition du partenaire, en promouvant l'échange des

meilleures pratiques et en encourageant la coopération entre les partenaires et d'autres acteurs au niveau local et plus largement au travers de la promotion de

groupes de santé nationaux et mondiaux ;

Promouvoir parmi les partenaires une meilleure implication des communautés et

des utilisateurs de service dans la planification, la conception et la surveillance des actions afin d'améliorer l'efficacité, au moyen de méthodes participatives ;

et

Soutenir un meilleur engagement avec les services internes. Les RHE et les TA

devraient jouer un rôle encore plus actif dans l'identification des opportunités

lorsque la DG ECHO peut utiliser l'expertise d'ONG, des EM et de différentes branches des IBOA de l'UE avec l'expertise santé, en particulier une implication

plus régulière de l'ECDC dans les appréciations des besoins au niveau du terrain et l'utilisation de conclusions de recherche RTD ; et encourager un engagement

plus précoce et soutenu des services gouvernementaux et des autorités de santé nationales et locales en exploitant les réseaux/contacts existants

développés par la DEVCO et d'autres acteurs de l'UE, lorsqu'ils existent.


sector, 2014-2016

L'efficience des mécanismes de financement a

varié selon le type de crise et de mécanisme de financement : le financement au travers de HIP

géographiques pour les actions de suivi et au

travers de l'Instrument Épidémies a été, dans la plupart des cas, considéré comme efficient,

mais d'autres financements (pour de nouveaux projets et libération de fonds supplémentaires à

mi-chemin au travers d'une action) offerts au travers des HIP géographiques ont été

considérés comme trop lents.

Les opinions du personnel de la DG ECHO, des

partenaires et d'autres parties prenantes sur les

bénéfices de périodes de financement à plus long terme étaient mitigées : cependant tous les

partenaires préféreraient une période de financement de deux à trois ans, qui permettrait

selon eux une meilleure planification de l'avenir afin d'améliorer l'efficacité et l'efficience ainsi

que de faciliter la durabilité.

5. Prendre en considération l'augmentation de la variété des mécanismes

de financement disponibles pour les actions. Bien qu'elle soit pertinente pour le secteur de la santé, cette recommandation devrait être prise en

considération à un niveau stratégique plus large par la DG ECHO. Plus

spécifiquement :

Le processus de financement des premières actions et la libération de fonds

supplémentaires à mi-chemin au travers d'une action (au travers des HIP géographiques) doit être révisé pour améliorer la rapidité de la libération du

financement. L'Instrument Épidémies devrait être promu en tant qu'outil efficace à utiliser pour une libération de financement rapide ;

Une période de financement plus longue de deux ans ou plus serait utile dans certains contextes (par ex. des crises prolongées, mises en place de camp de

réfugiés) puisqu'elle aide à une meilleure planification et affectation des

ressources pour améliorer l'efficacité et l'efficience de l'action. Un financement à plus long terme tel que le programme ExAR en Côte d'Ivoire aiderait également

le LRRD et la durabilité mais une meilleure transparence des dépenses est nécessaire ; et

La DG ECHO devrait envisager d'introduire une structure de financement à deux niveaux : le financement initial devrait être utilisé pour financer des actions

dont on sait qu'elles sont efficaces, cependant un financement suffisant devrait être disponible pour financer des projets innovants sur des échelles de

financement à plus long terme ; et

La DG ECHO pourrait élaborer davantage en collaboration avec les Fonds fiduciaires de l'UE pour soutenir la durabilité des actions réussies.

Le travail de plaidoyer de la DG ECHO a été

identifié comme un « évènement changeant la donne », encourageant d'autres acteurs à

réduire les écarts dans leur réponse, appliquer les meilleures pratiques et mener des actions de

suivi. Le travail d'équipe entre le responsable de l'Équipe santé (politique) et le Coordinateur

thématique mondial (politique) de la DG ECHO, avec le soutien des RHE et du GHC, a été

6. Continuer à élargir et à améliorer le travail de plaidoyer de la DG ECHO.

La DG ECHO devrait maximiser davantage son pouvoir d'influence en identifiant les problèmes clés à recommander, et promouvoir plus

largement son opinion parmi les groupes de parties prenantes (par exemple en organisant des forums thématiques pour débattre) pour

inciter à l'engagement.

La DG ECHO devrait également se concentrer sur une meilleure documentation

et promotion des bonnes pratiques existantes parmi les autres acteurs. Cela


sector, 2014-2016

identifié comme un domaine clé de valeur

ajoutée car il a contribué à d'importantes évolutions au cœur de la discussion mondiale

sur l'aide humanitaire de santé.

comprend promouvoir son financement de projets et d'approches innovants, par

exemple, le travail collaboratif actuel avec la DG DEVCO pour examiner la qualité des médicaments.

EUROPEAN COMMISSION


September, 2017

HOW TO OBTAIN EU PUBLICATIONS

Free publications:

one copy:

via EU Bookshop (http://bookshop.europa.eu);

more than one copy or posters/maps:

from the European Union’s representations (http://ec.europa.eu/represent_en.htm);

from the delegations in non-EU countries (http://eeas.europa.eu/delegations/index_en.htm);

by contacting the Europe Direct service

(http://europa.eu/europedirect/index_en.htm) or calling 00 800 6 7 8 9 10 11 (freephone number from anywhere in the EU) (*).

(*) The information given is free, as are most calls (though some operators, phone boxes or hotels

may charge you).

Priced publications:

via EU Bookshop (http://bookshop.europa.eu).

Priced subscriptions:

via one of the sales agents of the Publications Office of the European Union (http://publications.europa.eu/others/agents/index_en.htm).

doi:10.2795/916129

evaluation of the european commission's …...evaluation of the european commission's...

Documents