faculté de médecine bureau d’évaluation l’évaluation des apprentissages en sciences de la...

Faculté de médecineBureau d’évaluation

L’évaluation des apprentissagesen sciences de la santé

Bilan et perspective

Serge Normand, M.A.

20 mars 2006

Édition: [email protected]

Évaluation des apprentissagesen sciences de la santé

Bilan et perspective

Docimologue « praticien »


Programmes

Enseignement

Enseignants

Apprentissages

Étudiants

AgrémentÉvaluationinterne etexterne

Domaines de l’évaluationen éducation


Mon album photo …

Contexte

Objets

Finalités

Processus

Édition : [email protected]

Chers professeurs ! Chers pédagogues !

Contexte Évaluation des apprentissages

Édition : [email protected]

Assessment« s’asseoir avec »

« accompagner »

ÉvaluationContexte


Professeur

enseigne

à

l’étudiant

Étudiant

apprend

avec l’aide

du professeur

« Renouveau pédagogique »


Objet Évaluation des apprentissages


Quelle sorte de docteurle programmeva-t-il produire ?

Faculté de médecineObjet


http://crmcc.medical.org/canmeds/bestpractices/index.php


Prédoctorale

ProgrammeMD

Postdoctorale

Programmesde résidence

Continue

ProgrammesFMC

Formation, certification, maintien

COMPÉTENCES

Formation médicale

axée surl’acquisition de compétences

Faculté de médecine


Post-doctorale et Formation professionnelle continuePré-doctorale

AnamnèseExamen

Communication

Contexte

Intégrationconnaissances

Éthique

IMC-IDC

InterrogatoireExamen physiqueGestes techniquesPrise en chargeInvestigationTraitement

Communiquer

Travailler en équipe

Intégrationconnaissances

Jugement critiqueMaintien compétence

ÉducateurPromotion santé

Notions éthiquesProfessionnalisme

Externat - MD

Cliniciencompétentet efficace

Relationmédecin-patient

Communautaire

Ressource pourpopulationdéfiniede patients

CMFC - 2000

Expertisemédicale

Communication

Collaboration

Érudition

Gestion

Promotionde la santé

Professionnalisme

CanMEDS-2005

Clinicienscientifiqueet efficace

CommunicateurEnseignant

CollaborateurTravailler équipe

ApprenantChercheur

Gestionnaire

Leader pour sacommunauté

Professionnelhumaniste

CMQ - 2000

Convergence des rôles


Finalités d’un systèmed’évaluation des apprentissages

Faculté

Certifiercompétences

Mesurerles progrès

Responsable

Évaluationcertificativ

e


e

Évaluation

formative

Évaluation

formative


L’évaluation questionnée …


e


e

Évaluation

formative

Évaluation

formative

Formative par nature …

… et certificative seulement

par déformation

CARDINET, J. et D. LAVEAULT, L’activité évaluative en éducation: évolution des préoccupations des deux côtés de l’Atlantique, in L’activité évaluative réinterrogée (Figari, G. et al. ), Éditions De Boeck Université, 2001.


L’évaluation questionnée …

Renseigner l’enseignant sur les

résultats de l’apprentissage.

L’évaluation appartient à l’enseignant.

VESLIN, Odile et Jean VESLIN, Évaluation formatrice et critères de réalisation, in L’activité évaluative réinterrogée (Figari, G. et al. ), Éditions De Boeck Université, 2001.

Le rôle de l’enseignant est d’aider l’élève à

maîtriser l’évaluation pour réguler son apprentissage.

ContrôleMesure

RégulationAide


How convincing is alternative assessmentfor use in higher education ?

Référence :Maclellan, Effie, How convincing is alternative assessment for use in higher education ?, Assessment & Evaluation in Higher Education, June 2004.

Within the higher education sector, the preparation of our graduates to take their professional place in society necessitates benchmarks through which student entry, progress, qualification and graduation is recorded.

So however much we might want to be primarily concerned with the diagnosis and support of student learning, the reality is that assessment in higher education is not confined to instructional improvement


Le processus de l’évaluation

Décider

Juger

Interpréter

Mesurer

Évaluer

ExamensTravauxObservationsetc.

Approche :- relative- absolue

Qualifier la réussiteSeuil de passage

Certification



Décider

Juger

Interpréter

Mesurer

Évaluer

ExamensTravauxObservationsetc.


Évaluer la compétence professionnellePyramide de Miller

FaitDoes

DémontreShows How

Sait commentKnows How

SaitKnows

Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

SavoirCognition

ComportementBehaviour


Évaluation

Sait comment

Sait

Fait

Démontre

Évaluer les apprentissages


Évaluation

Sait comment

Sait

Fait

Démontre

Évaluer les apprentissagesCe que nous

faisonsle plus !


Évaluation

Sait comment

Sait Fait

Démontre

Évaluer les apprentissages Ce que nous devrions

fairele plus !


Fait

Démontre

Sait comment

Sait

Portfolio

Faculté de médecineInstruments d’évaluation

ECOS

Q4

QROC

QCM



Décider

Juger

Interpréter

Mesurer

Évaluer

Approche :- relative- absolue


Comment interpréter les résultats ?


Interpréter les résultats

Approche

Relative Absolue

Compareravec d’autres

sujets

Compareravec descritères

Évaluationnormative

Évaluationcritériée



Décider

Juger

Interpréter

Mesurer

Évaluer

Qualifier la réussiteSeuil de passage


Établir des normes de réussite Setting Performance Standards

C o m p é t e n c e s

Niveauacceptable


Déterminer la note de passage

Sources d’information

Données recueillies Jugement d’experts

Distributiondes

résultats

Caractéristiquesdes

questions

“Examinee centered” “Test centered”


Déterminer la note de passage( selon la méthode de Ebel )

Diffi culté

Pertinence Facile Moyenne Diffi cile

+ + + +(80%)

14(70%)

4(60%)

2

+ + +(70%)

9(60%)

12(50%)

7

+ +(60%)

4(50%)

13(40%)

5

+(50%)

1(40%)

1(30%)

0

Nombre de questions : 72

SAP : 61 %


Déterminer la note de passage( selon la méthode Hofstee )

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

55%

60%

65%

70%

75%

80%

85%

90%

95%

100%

30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80

Scores

Ta

ux

d'é

ch

ec

Kmax Note de passage maximum 60Kmin Note de passage minimum 50Fmax % maximum d'échecs 30%Fmin % minimum d'échecs 10%


Perspectives

• Choisir de nouvelles unités d’évaluation


Occasions d’apprentissagesau programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

Faculté de médecine


Objets d’évaluation ( actuels )au programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

ÉVALUATION

ÉVALUATION

Unités cours et stages

Faculté de médecineRecommandations du GTEA - 2004


Objets d’évaluation ( proposés )au programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

É V A L U A T I O N

COMPÉTENCES



Perspectives

• Choisir de nouvelles unités d’évaluation• Évaluer sur un continuum


Système d’évaluation des apprentissagesau programme MD

CONNAISSANCES CERTIFICATIONdes COMPÉTENCES

Évaluation formative

Évaluation sommative et sanctionnelle

HABILETÉS + ATTITUDES

C o m p é t e n c e m é d i c a l e



Test de rendement périodique(Progress Test)


Perspectives

• Choisir de nouvelles unités d’évaluation• Évaluer sur un continuum• Varier les instruments


Compétences

Choisir les instruments d’évaluation appropriés


Perspectives

• Choisir de nouvelles unités d’évaluation• Évaluer sur un continuum• Varier les instruments• Responsabiliser les étudiants


Source des indicateurspour évaluer la compétence

au niveau de la pratique

· Self assessment exercises

· Peer assessment ratings

· Assessment by co-workers

· Direct evaluation of skills

· Log books or reflective diaries

· Prescribing profiles or other practice based data

· Portfolio assessment

Source : Dauphinee, W.D. Assessment of Specialty Competence in Credentialing Physician Specialists: A World Perpective RCPSC and ABMS Proceedings, Chicago, 2000.

Fait

Démontre


Perspectives

• Choisir de nouvelles unités d’évaluation• Évaluer sur un continuum• Varier les instruments• Responsabiliser les étudiants• Évaluer l’évaluation


Validité

Fidélité Faisabilité

Efficacité Acceptabilité

Repèrespour apprécierles instruments

d’évaluation

van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.


Perspectives

• Choisir de nouvelles unités d’évaluation• Évaluer sur un continuum• Varier les instruments• Responsabiliser les étudiants• Évaluer l’évaluation• Travailler en équipe

Pour en savoir plus …

Diaporama

Bibliographie

www.medbev.umontreal.ca/docimo

Rubrique: Dossier compétences

[email protected]

Mercide votre attention

mailto:[email protected]


www.medbev.umontreal.ca/docimo/medulb.htm

faculté de médecine bureau d’évaluation l’évaluation des apprentissages en sciences de la...

Documents