lévaluation en stage clinique xvi° journées universitaires francophones de pédagogie médicale....

L’évaluation en stage clinique

XVI° Journées universitaires francophones de pédagogie médicale. Cotonou, 6 avril 2005

Session organisée sous l’égide de la

Jean JOUQUAN

Bureau de Pédagogie Médicale Faculté de Médecine de Brest, Université de Bretagne Occidentale

Evaluation

Institutions

(Politiques)

Programmes

(Curriculum)

Cours et/ou stages

(Interventions)

Connaissances(Ce que l’on sait)

Compétences(Ce que l’on sait

faire)

Performances(Ce que l’on fait)

Evaluation de l’enseignement (formations)

Evaluation des apprentissages (étudiants)

•Quels sont les enjeux et quel est l’objet de l’évaluation des apprentissages en stage?

•Y a-t-il des bons et des mauvais outils pour l’évaluation des apprentissages en stage?

•De quels outils d’évaluation des apprentissages en stage dispose t-on?

•Quelles recommandations peut-on formuler pour l’évaluation des apprentissages en stage?

•Quelques questions de recherche concernant l’évaluation des apprentissages en stage

•Le contexte des stages cliniques est potentiellement le contexte le plus motivant et le plus puissant pour l’enseignement et l’apprentissage des compétences cliniques intégrées.

D. Prideaux et al.

Clinical teaching: maintaining an educational role for doctors

in the new health care environment

Med Educ 2000; 34 : 820-826

•Les stages cliniques (externat) sont loin de fournir régulièrement un environnement d’apprentissage idéal pour les étudiants.

R. Remmen et al.

An evaluation study of the didactic quality of clerkships

Med Educ 2000; 34 : 820-826

•The clinical teaching context: a cause for concern.J.Spencer

Med Educ 2003; 37 : 182-183

« Evaluation drives curriculum »G. Miller, 1961

« Si vous voulez savoir ce que font les professeurs, regardez le programme … »

« …si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation !»

G. Norman, 1991

Performances cliniques

Connaissances

hautement organisées

Processus de contrôle

de haut niveau

Compétence clinique

Attitudes

HabiletésConnaissances

Raisonnement clinique

Action médicale

Investigation

Décisions thérapeutiqu

es

Education du patient

• Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants ?

•Maladies/soins aigus

•Soins secondaires/tertiaires

•Santé des individus

•Soins intermittents/

traitement des épisodes

•Soins en institution

•Modèle bio-clinique

•Prévention/maintien de la santé

•Soins primaires

•Santé des populations

•Continuité des soins

•Soins communautaires

•Modèle bio-psycho-social

Performances cliniques

Connaissances

hautement organisées

Processus de contrôle

de haut niveau


Attitudes

HabiletésConnaissances

Raisonnement clinique(Résolution de

problèmes)

Pratiques médicales réelles

Modifié d ’après Newble, Norman et Van der Vleuten, 2000


Action médicale

Altruisme

Intégrité

Responsabilité

Sens du devoir

Respect

EmpathieExcellence

Consentement Bienfaisance

AutonomieExigence

d’information

Respect de la dignité

• Tâches académiques• Questions à réponse ouverte et courte (QROC)

• Questions à choix multiples (QCM)

• Cartes conceptuelles (Concept mapping)

Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité, …) organisés hiérarchiquement, à l’égard desquelles un jugement qualitatif ou semi-quantitatif peut être porté.).

• Tâches professionnelles simulées ou modélisées (1)

• Analyse de cas cliniques [Patients Management Problem (PMP)] ; Sequential Managment Problem (SMP) ; Modified Essay Question (MEQ)]

Dossier clinique (sous forme papier ou sous forme numérique) dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de l’étudiant, après chacune de ses réponses (ouvertes ou fermées).

La démarche employée par l’étudiant est comparée à celle d’un expert ou d’un groupe de référence et l’appréciation est formulée à l’aide de scores plus ou moins combinés.


• Test de concordance de script (TCS)

Un problème clinique est soumis à l’étudiant qui doit interpréter des données et prendre des décisions.

Des hypothèses d’interprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées.

L’étudiant doit indiquer à l’aide d’une échelle l’importance du crédit ou du discrédit que l’information nouvelle apporte à l’hypothèse. Un score est attribué en prenant en compte des prévalences respectives de plusieurs opinions d’experts.


• Examen Clinique Objectif Structuré (ECOS)

Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé d’un patient. Les activités d’interrogatoire, d’examen physique, d’éducation et de conseil de l’étudiant sont appréciées à l’aide de « check-lists », d’échelles de cotation, élémentaires ou globales.

Des tâches procédurales complémentaires exploitant divers matériels (mannequins, imagerie, résultats de laboratoire, ECG,…) sont prescrites et côtées. L’ensemble fait l’objet de « stations » d’évaluation (indépendantes ou complémentaires) codifiées.

• Observation directe de l’étudiant dans une tâche professionnelle non standardisée (1)

•Formulaire d’observations longitudinales

Des échelles de notation sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l’interrogatoire, l’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l’humanisme, le professionnalisme, la compétence générale.

Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3), satisfaisantes (4-6), supérieures (7-9).

• Observation directe de l’étudiant dans une tâche professionnelle non standardisée (2)

•Clinical Evaluation Exercise (CEX)

L’étudiant est observé pendant qu’il interroge et examine un patient puis il présente le cas et en discute la gestion. La

cotation est faite à l’aide d’une échelle d’évaluation à 9 points

•Objective Structured Long Examination Record (OSLER)

L’étudiant est observé par 2 examinateurs pendant qu’il interroge et examine un patient puis il argumente sa prise en

charge. Les examinateurs fondent leur jugement en appréciant 10 items. Chaque item fait l’objet d’une cotation

(en 3 grades) et d’un score (en 9 paliers de 35 à 80), étayée par des descripteurs critèriés.

• Outils visant à documenter des apprentissages effectués à partir de pratiques réelles

•Audit de dossiers médicaux

Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants. Les informations

« objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et

appréciées

.

• Outils visant à documenter des apprentissages effectués à partir de pratiques réelles

•PortfolioCollections organisées de matériel apportant des

informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une

période :-récits de problèmes complets ou de certains

évènements (échecs, incidents,...), notes d'analyse bibliographique, résumés d'entretiens avec des personnes ressources, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, vidéo-clips d'entretiens

avec des patients ou de tâches procédurales, .... ; -une analyse réflexive développée à partir de cette

base d’information.

La démarche évaluative

• 1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à l’issue d’une période de stage

• 2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages

• 3. Dans le but de prendre une décision

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (1)

• L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure)

9, 5 /20 (mesure)

mauvais (jugement)

ajourné (décision)

10, 5 /20 (mesure)

bon (jugement)

reçu (décision)


• L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites)

« très bon stage »

« étudiant intelligent très motivé »

« travail insuffisant »


•La mesure est confondue avec la note

Le résultat d’une mesure est un score(résultat ou somme des résultats à des tests)

La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le

rendre public- valeur numérique [8/20, 80/100] - ou cote littérale : A, B, …

• Les informations relatives aux apprentissages doivent résulter d’une mesure

• La qualité métrologique des instruments de mesure est le garant de la rigueur de l’évaluation

•Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés

• Clivage entre les situations d ’apprentissage et les situations d ’évaluation

La perspective DOCIMOLOGIQUE de l ’évaluation

La perspective de l ’évaluation

« AUTHENTIQUE »(in-training assessment)• Les informations relatives aux

apprentissages résultent de procédures éclectiques

• Les critères de rigueur sont ceux de l’approche qualitative

•Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants

•Enchâssement de l’évaluation dans les situations d’apprentissage

Problème à résoudreProblème simple

(well structured problem)

•tous les indices sont disponibles d ’emblée

•la solution requiert des tâches familières

•peuvent être résolus avec un haut degré de certitude

•les experts s’accordent sur la nature de la solution correcte

Problème complexe(ill structured problem)

•les indices nécessaires à la solution ne sont pas (tous) disponibles d ’emblée

•le problème évolue au cours de son investigation

•la solution n ’est pas standardisée mais unique

•ne peuvent pas être résolus avec un haut degré de certitude

•Les experts sont souvent en désaccord quant à la meilleure solution à mettre en œuvre, même quand le problème peut être considéré comme ayant été résolu

•But visé : appliquer la « bonne » solution

•But visé : élaborer et argumenter l’une des solutions raisonnables possibles

RAISONNEMENT CLINIQUE

Un processus général

qui s ’opère sur et grâce à

des connaissances spécifiques

Acquisition initiale d ’informations

Genèse d ’hypothèses

Evaluation des hypothèses

Sélection Confirmation du diagnosticPlanification du traitement

Cueillette orientée de

données

Raisonnement cliniqueStratégies générales

Processus souhaité Processus déficientGénération précoce de plusieurs hypothèses

Ancrage persistant

Ouverture adéquate des hypothèses

Fermeture précoce des hypothèses

Hypothèses concurrentielles, flexibilité

Une seule hypothèse à la fois, rigidité

Ensemble complet d’hypothèses Ensemble incomplet d’hypothèses

Collecte de données orientée par les hypothèses

Collecte de données « désengagée »

Collecte stratégique de données discriminantes

Collecte routinière de données peu discriminantes

Réévaluation pertinente des hypothèses

Mauvaise interprétation des données




•Quelles recommandations peut-on formuler pour l’évaluation des apprentissages en stage?

L ’introuvable « étalon or » (1)Le problème des outils pour évaluer la compétence

• Aucun outil d ’évaluation utilisé isolément n’est capable d ’évaluer adéquatement les connaissances, habiletés et attitudes d ’un résident.

–Holmboe ES, Hawkins RE. 1998

• Il est peu encourageant mais probablement véridique de dire que nous n ’avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique.

–Newble D, Norman G, Van der Vleuten. 2000

• Il n ’y a aucune méthode idéale pour évaluer la compétence médicale

-Donabedian A. 2000

L ’introuvable « étalon or » (2)Le problème de la définition des « standards »

• Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quels devraient être les standards ; de ce fait, nous n ’avons aucune méthode probante pour décider si un standard est trop haut ou trop bas.

–Kane MT, Crooks TJ et Cohen AS., 1999

• La plupart des procédures d ’établissement des standards pour l ’évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité.

–Friedman BenDavid M. 2000

8 recommandations pragmatiques1. Utiliser plusieurs outils d’évaluation des

apprentissages en stage• Tâches standardisées et tâches authentiques

• Tâches explorant à la fois le processus et le résultat

2. Utiliser chaque outil plusieurs fois au cours d’un stage

• Echantillon varié et représentatif de « cas cliniques »

• Nombre suffisant d’interactions avec des patients ou des patients « standardisés »

3. Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants.

• Cotation selon jugement global vs cotation avec check-list

8 recommandations pragmatiques4. Utiliser des procédures d ’évaluation cohérentes avec

les options pédagogiques conceptuelles du programme, compte tenu des conséquences attendues chez les étudiants.

• Raisonnement clinique vs recueil protocolaire de l’observation

• Problèmes complexes vs problèmes simples

5. Lorsque des entrevues avec des patients sont exploitées pour l’évaluation des apprentissages en stage

• Observer directement l’étudiant pendant son interaction avec le patient

• Faire verbaliser à haute voix l’étudiant sur le processus qu’il a développé

8 recommandations pragmatiques

8. Développer des procédures d ’évaluation cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) et avec les valeurs culturelles et sociales

6. Si l’auto-évaluation des étudiants est sollicitée dans le cadre de la démarche évaluative, l’accompagner systématiquement d’un dispositif de rétro-action (supervisions cliniques récurrentes, tutorat, …

7. Rendre explicite aux étudiants, dès le début du stage, la nature des tâches d’évaluation et les critères qui seront pris en compte pour la correction et/ou pour la détermination de la réussite.

Conclusions• Dispose t-on d ’un outil « idéal » d ’évaluation des apprentissages en stage?

• Peut-on se dispenser d ’évaluer les compétences cliniques et professionnelles?.

• Quels sont les « moins mauvais » outils d ’évaluation des compétences cliniques et professionnelles ?

• Faut-il «uniformiser» les procédures d ’évaluation des compétences dans toutes les facultés?

• Comment répondre à « l ’exigence sociale de qualité »

• Comment peut-on améliorer le dispositif?

Combien d’observateurs et combien d’évaluations sont-elles nécessaires pour fournir des renseignements valides et fidèles sur la compétence clinique ?

Quels attributs comportementaux faut-il évaluer pour prédire avec sécurité un niveau acceptable de compétence clinique ?

D’autres modèles théoriques de la compétence clinique permettraient –ils de développer des procédures plus acceptables en termes de faisabilité ?

Quelques questions de recherche actuellesconcernant l’évaluation en stage

•Questions d’ordre ontologique : quelle est la nature des apprentissages à évaluer ?

•Questions d’ordre méthodologique :

quels sont les outils qui offrent le meilleur compromis entre qualités psychométriques et qualités éducationnelle ?

•Questions d’ordre épistémologique :

quelle relation l’évaluateur doit-il entretenir avec l’apprenant à évaluer ?

•Processus de nature éthique :

au nom de quoi avons-nous pris nos décisions ?

lévaluation en stage clinique xvi° journées universitaires francophones de pédagogie médicale....

Documents