evaluation et qualitÉ
DESCRIPTION
Journée d’étude FEBISP 7 octobre2010. EVALUATION ET QUALITÉ. Réflexions sur les enjeux et outils à partir du débat du monde de la coopération au développement. Marc Totté [email protected]. LES ENJEUX. Constats de départ - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/1.jpg)
EVALUATION ET QUALITÉRéflexions sur les enjeux et outils à partir du débat du monde de la coopération au développement
Journée d’étude FEBISP 7 octobre2010
Marc Totté [email protected]
![Page 2: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/2.jpg)
LES ENJEUX Constats de départ
La ‘culture’ de l’évaluation : plus une obligation qu’une demande Et un besoin partiel
La ‘culture’ de la qualité : autant un souci interne qu’une réponse à des pressions diverses de plus en plus manifestes de « résultats » et « d’économies » budgétaires
Mais des représentations très différentes de la qualité
Enjeux – Questions -Risques Enjeu : La reconnaissance de la qualité (à travers charte, labels, ou
autre) pourrait limiter l’inflation de contrôle et d’évaluation Question : A quelles conditions ? Risques : Comment éviter les risques de renforcement de la
concurrence entre associations ?
![Page 3: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/3.jpg)
L’EVALUATION
![Page 4: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/4.jpg)
UN ESPACE PARTICULIER
Une articulation entre
Un système de pouvoir
Un objet à évaluer
Un dispositif d’analyse
2. Commandite
1. S’interroge
3. Apprécie
4. Rend compte
5. Décide
![Page 5: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/5.jpg)
LES DIFFÉRENTES FORMES D’ÉVALUATION (SUITE)
Selon les époques (4 générations)
Tendance vers plus de croisement entre des appréciations différentes
GENERATIONS
Mesurer
Décrire les forces et faiblesses
Juger et recommander
Apprendre
FONCTIONS / PRIORITES
LOGIQUES/MODELES de Développement
Technicistes, déterministes
Systémiques, Interactionnelles ?
Négocier, discuter
G1
G2
G3
G4
![Page 6: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/6.jpg)
LES LIMITES DE L’ÉVALUATION (DANS LA COOPÉRATION)
Processus limité dans le temps et avec peu de moyens Avec une attention particulière sur les « résultats » et
donc sur l’efficacité et l’efficience (au détriment d’enjeux de pertinence et d’impacts)
Reste perçu comme un contrôle Centré sur la figure du projet !!! N’intervient que peu sur l’organisation, son système de
gouvernance Or, la capacité interne de tirer parti d’une évaluation
n’est pas évidente et dépend de l’organisation
![Page 7: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/7.jpg)
LA QUALITÉ : DÉFINITIONS, ENJEUX, OUTILS
![Page 8: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/8.jpg)
LA QUALITÉ CLASSIQUE : CONCERNE L’ACTION ET L’ORGANISATION ISO 9000 : « L’aptitude d’un ensemble de caractéristiques à satisfaire des exigences ».
![Page 9: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/9.jpg)
LA QUALITE EN SOLIDARITÉ INTERNATIONALE
Problèmes, défis, enjeux,
situations
De l’action
Qualité = Aptitudes à faire ces liens
De l’organisation
Normes Ethiques
EXIGENCES
CARACTERISTIQUES
De l’action
De l’organisation
NormesEthiques
CARACTERISTIQUES
![Page 10: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/10.jpg)
LE MODÈLE EFQM
![Page 11: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/11.jpg)
LES LIMITES ET ENJEUX Centrée sur l’organisation plus que son environnement Autour de trois champs plus particuliers :
Gouvernance Gestion financière Gestion des processus
Une notion de « satisfaction » ambigüe mais importante et extensible
Enjeux La sortir de ces ancrages (monde de l’entreprise) Lui permettre d’être réellement en prise avec la société
![Page 12: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/12.jpg)
DEUX REPRÉSENTATIONS OPPOSÉES
La qualité « finalisante », axée sur les performances, technique
La qualité « propensive », ouverte, politique
Centrée sur elle-même
Articulée et articulante
![Page 13: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/13.jpg)
ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE
Dans la logique projet
MOYENS
OBJECTIFSRESULTATS
![Page 14: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/14.jpg)
ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE Dans la démarche qualité « classique » (l’organisation)
![Page 15: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/15.jpg)
COMMENT ? RELIER AUX DYNAMIQUES SOCIÉTALES, QUI PRODUISENT DES EFFETS ET FONT SENS (BLAIRON 2008)
Ou impact
![Page 16: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/16.jpg)
QUELQUES OUTILS ET LEUR ADAPTATION
La boucle de la qualité La roue de Deming
![Page 17: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/17.jpg)
Système des « producteurs »
LA BOUCLE DE LA QUALITÉ DES SERVICES PUBLICS
DécisionChoix
stratégi-que
Mesure de satisfaction
Qual. attendue
Qual. perçue
I. de satisfaction
Usagers
Mesure des
résultats
Mesure du
fonction-nement
Qual. voulue
Règles du fonction-nement
Qual. fournie
I. de conformité I. de processus
Service
Ecarts de délivrance ?Ecarts de satisfaction
Décalages de conception ?
Décalages de perception ?
système des « utilisateurs »
Fournit 3 types d’Indicateurs
internes◦ Satisfaction◦ Processus◦ Conformité
![Page 18: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/18.jpg)
ADAPTATIONS POSSIBLES
QUALITE ATTENDUE
Q1
Q2
Qn
Q3
CONTEXTES
CONFRONTATION
I.de confrontation ?
« Bénéficiaires »
![Page 19: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/19.jpg)
LA ROUE DE L’AMÉLIORATION CONTINUE (DEMING)
PDCA Planifier/Plan Développer/Do Contrôler/Check Améliorer, Ré-Agir /Act
Mais : Tendance de l’homme à faire toujours plus la même chose (la roue ne permet pas en soi de sortir de nos systèmes de valeurs pour changer)
![Page 20: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/20.jpg)
• L’accent sur le processus d’apprentissage au moins autant que le résultat
• La nécessité de coller aux réalités
• Quatre types de questions clefs :– Quels processus de changement – internes, externes - avons-nous déclenchés ?– Quels apprentissages en avons-nous capitalisés ? – Comment arrive-t-on à faire mieux avec plus de parties prenantes? – Quelles sont les opérations sur ce processus de transformation qui posent le plus
de problèmes ? ...
IMPORTANCE DE CES OUTILS
![Page 21: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/21.jpg)
ARTICULATIONS AVEC LES AUTRES EXIGENCES (IMPACT, GESTION AXEE
RÉSULTATS)
![Page 22: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/22.jpg)
LIENS AVEC L’IMPACT
Deux modèles de l’impact « tir à l’arc » (déterministe, linéaire, contexte peu « actif ») « ronds dans l’eau » (aléatoire, interactionnel-systémique,
contexte important) La qualité sera :
Soit, la capacité à tendre, viser, atteindre (force, vision, capacité à modéliser la courbe balistique ? Donc à planifier, programmer rigoureusement et à gérer les risques, etc.)
Soit, la capacité à anticiper, s’adapter, accentuer, faire résonner, amplifier, accompagner, suivre… l’existant (Donc à en connaitre suffisamment sur les personnes, les organisations, leurs relations, les motivations à changer, etc.)
![Page 23: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/23.jpg)
OUTIL-BOUSSOLE pour penser le suivi, l’évaluation, la qualité
Mieux Apprendrecollectivement(renforcement compétences)
Mieux Gérer
Mieux rendre compte
(redevabilité)
« Technique »
« Administratif »« Conceptuel »
« Politique »Mettre en processus du changement social, économique et politique
Logique de l’IMPACT
Démarche axée sur les RESULTATS
Démarche de la QUALITE
Evaluation des « produits » agit sur les « autres » (cibles uniques du chgt)?
Evaluation des « processus »
Interpelle «son» organisation, soi
avec les « autres » ?
AméliorationGlobale du
système sociétal
![Page 24: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/24.jpg)
EN RÉSUMÉ La qualité peut améliorer les conditions d’évaluation :
Diminuer la fréquenceSimplifier les critères et indicateurs
A conditions de la concevoir comme :Diverse et spécifique : La "qualité clef sur porte" n'existe
pas. Une source d'interpellation dirigée sur soi et son contexteUne « Préoccupation » plutôt qu’une obligationUn « processus » d’apprentissage au moins autant que la
recherche de « résultats »Un horizon toujours perfectible plutôt que la perfection
performative
![Page 25: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/25.jpg)
POUR ÉVITER LES FAUSSES ALTERNATIVES…
![Page 26: EVALUATION ET QUALITÉ](https://reader036.vdocuments.net/reader036/viewer/2022062409/56814ad4550346895db7eeca/html5/thumbnails/26.jpg)
MERCI DE VOTRE ATTENTION