Les ECNi

Pr Claire LE JEUNNE

Chef du service de meacutedecine interne Cochin Ex Membre du Conseil Scientifique de lrsquointernat

DIU de peacutedagogie meacutedicale 25 janvier 2019

POURQUOI CETTE REFORME

Pourquoi la reacuteforme

bull Un classement non discriminant aux ECN 2012 7658 eacutetudiants ont eacuteteacute classeacutes dans 350 points entiers (3500 au deacutebut des ECN)

bull Une logistique de plus en plus lourde et couteuse 400 correcteurs sur 3 semaines ( 400 000 euros)

bull Une docimologie limiteacutee et contrainte 110 items abordeacutes sur les 360 du programme

rarr il eacutetait indispensable de se libeacuterer de la correction manuelle et de diversifier les eacutepreuves

Meacutedecine Odonto Maieutique Pharmacie

IdF 1779 =20

Les attentes de la reacuteforme

bull ameacuteliorer la pertinence du classement

bull simplifier la logistique actuelle

bull diversifier les eacutepreuves

bull harmoniser les chances de reacuteussite

Qursquoa-t-on proposeacute

ECN i simplifier la logistique et diversifier les eacutepreuves

bull Les ECN informatiseacutees ou ECN i

eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique

bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles

Les moyens

Les eacutetudiants ndash dans leur universiteacute respective

ndash composent les eacutepreuves nationales communes simultaneacutement

ndash sur un support informatique standardiseacute

bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)

bull Epreuves geacutereacutees par le Centre National de Gestion CNG

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

POURQUOI CETTE REFORME

Pourquoi la reacuteforme

bull Un classement non discriminant aux ECN 2012 7658 eacutetudiants ont eacuteteacute classeacutes dans 350 points entiers (3500 au deacutebut des ECN)

bull Une logistique de plus en plus lourde et couteuse 400 correcteurs sur 3 semaines ( 400 000 euros)

bull Une docimologie limiteacutee et contrainte 110 items abordeacutes sur les 360 du programme

rarr il eacutetait indispensable de se libeacuterer de la correction manuelle et de diversifier les eacutepreuves

Meacutedecine Odonto Maieutique Pharmacie

IdF 1779 =20

Les attentes de la reacuteforme

bull ameacuteliorer la pertinence du classement

bull simplifier la logistique actuelle

bull diversifier les eacutepreuves

bull harmoniser les chances de reacuteussite

Qursquoa-t-on proposeacute

ECN i simplifier la logistique et diversifier les eacutepreuves

bull Les ECN informatiseacutees ou ECN i

eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique

bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles

Les moyens

Les eacutetudiants ndash dans leur universiteacute respective

ndash composent les eacutepreuves nationales communes simultaneacutement

ndash sur un support informatique standardiseacute

bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)

bull Epreuves geacutereacutees par le Centre National de Gestion CNG

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Pourquoi la reacuteforme

bull Un classement non discriminant aux ECN 2012 7658 eacutetudiants ont eacuteteacute classeacutes dans 350 points entiers (3500 au deacutebut des ECN)

bull Une logistique de plus en plus lourde et couteuse 400 correcteurs sur 3 semaines ( 400 000 euros)

bull Une docimologie limiteacutee et contrainte 110 items abordeacutes sur les 360 du programme

rarr il eacutetait indispensable de se libeacuterer de la correction manuelle et de diversifier les eacutepreuves

Meacutedecine Odonto Maieutique Pharmacie

IdF 1779 =20

Les attentes de la reacuteforme

bull ameacuteliorer la pertinence du classement

bull simplifier la logistique actuelle

bull diversifier les eacutepreuves

bull harmoniser les chances de reacuteussite

Qursquoa-t-on proposeacute

ECN i simplifier la logistique et diversifier les eacutepreuves

bull Les ECN informatiseacutees ou ECN i

eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique

bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles

Les moyens

Les eacutetudiants ndash dans leur universiteacute respective

ndash composent les eacutepreuves nationales communes simultaneacutement

ndash sur un support informatique standardiseacute

bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)

bull Epreuves geacutereacutees par le Centre National de Gestion CNG

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Meacutedecine Odonto Maieutique Pharmacie

IdF 1779 =20

Les attentes de la reacuteforme

bull ameacuteliorer la pertinence du classement

bull simplifier la logistique actuelle

bull diversifier les eacutepreuves

bull harmoniser les chances de reacuteussite

Qursquoa-t-on proposeacute

ECN i simplifier la logistique et diversifier les eacutepreuves

bull Les ECN informatiseacutees ou ECN i

eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique

bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles

Les moyens

Les eacutetudiants ndash dans leur universiteacute respective

ndash composent les eacutepreuves nationales communes simultaneacutement

ndash sur un support informatique standardiseacute

bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)

bull Epreuves geacutereacutees par le Centre National de Gestion CNG

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Les attentes de la reacuteforme

bull ameacuteliorer la pertinence du classement

bull simplifier la logistique actuelle

bull diversifier les eacutepreuves

bull harmoniser les chances de reacuteussite

Qursquoa-t-on proposeacute

ECN i simplifier la logistique et diversifier les eacutepreuves

bull Les ECN informatiseacutees ou ECN i

eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique

bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles

Les moyens

Les eacutetudiants ndash dans leur universiteacute respective

ndash composent les eacutepreuves nationales communes simultaneacutement

ndash sur un support informatique standardiseacute

bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)

bull Epreuves geacutereacutees par le Centre National de Gestion CNG

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

ECN i simplifier la logistique et diversifier les eacutepreuves

bull Les ECN informatiseacutees ou ECN i

eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique

bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles

Les moyens

Les eacutetudiants ndash dans leur universiteacute respective

ndash composent les eacutepreuves nationales communes simultaneacutement

ndash sur un support informatique standardiseacute

bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)

bull Epreuves geacutereacutees par le Centre National de Gestion CNG

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Les moyens

Les eacutetudiants ndash dans leur universiteacute respective

ndash composent les eacutepreuves nationales communes simultaneacutement

ndash sur un support informatique standardiseacute

bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)

bull Epreuves geacutereacutees par le Centre National de Gestion CNG

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes

bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne

bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013

bull il sagit dun outil facultaire destineacute agrave 1 Lrsquoentrainement des eacutetudiants 2 la reacutealisation dexamens validant informatiseacutes dans

les UFR 3 La preacuteparation des eacutetudiants aux ECNi

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Objectifs peacutedagogiques de la base

Tester

1 des connaissances factuelles

2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples

3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude

nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Points forts attendus

bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous

bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations

bull Correction automatique des eacutepreuves

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Diversification des eacutepreuves

1 des dossiers cliniques progressifs (DCP)

2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)

ndash QRM (Questions agrave Reacuteponses Multiples)

3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017

bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Comment preacuteparer les eacutetudiants de DFASM

bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN

bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)

bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Lien entre Banque locale et nationale

bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement ( passeacute en tant qursquoexamen agrave la faculteacute)

bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement couvrant rapidement tous les champs du programme

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Adaptation de la docimologie

bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)

bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions

Rocircle des experts

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet

bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)

bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Liens entre SIDES et ECNI

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves

bull 70 de la note sur les DP

bull 20 de la note sur les QI

bull 10 de la note sur la LCA

Les ECNi sont organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves

Le baregraveme total est sur 10 400 points

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP

bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI

bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2019 les sujets sont preacuteleveacutes dans la banque drsquoentrainement SIDES

bull Par ailleurs les faculteacutes drsquoIle de France organisent 3 concours blanc

toutes les faculteacutes fournissent plusieurs DP

Tous les futurs candidats sont appeleacutes agrave fournir des DP et QI et agrave ecirctre certifieacute SIDES

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Comment construire un dossier

bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales

bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales

bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Contraintes docimologiques

bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5

bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre

construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier

ndash Contraintes sur les dossiers LCA (DLCA)

les mecircmes que pour les DCP

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Les Questionnaires

agrave Choix Multiples

Pr Claire LE JEUNNE

Ex Membre du conseil scientifique de lrsquointernat

Faculteacute de meacutedecine Paris Descartes

DIU Peacutedagogie meacutedicale 25012019

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Deacutefinition

une question agrave laquelle lrsquoeacutetudiant reacutepond en

opeacuterant une seacutelection (au moins une)

parmi plusieurs solutions proposeacutees (au

moins deux) chacune eacutetant jugeacutee (par le

constructeur de lrsquoeacutepreuve) correcte ou

incorrecte en soi et indeacutependamment de

lrsquoeacutetudiant interrogeacute

Dieudonneacute LECLERC (Bruxelles ndash 1986)

mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

AVANTAGES ndash

INCONVENIENTS

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Avantages et limites de ce type drsquoeacutevaluation

Avantages

bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique

bull La correction est objective et fidegravele

bull Le champs drsquoeacutevaluation est vaste

bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires

Limites

bull La conception drsquoun bon questionnaire demande du temps

bull Une reacuteponse exacte peut ecirctre due au hasard

bull Ce questionnement ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Inconveacutenients des QCM

bull les questions sont difficiles agrave reacutediger

bull les leurres sont complexes agrave concevoir

bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse

bull la complexiteacute des questions laquo tirant dans les coins raquo

bull lrsquoambiguiumlteacute de certaines propositions

bull ou le caractegravere discutable de certaines reacuteponses

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Recommandations pour la

reacutealisation des QCM

bull Travailler en eacutequipe La reacutedaction drsquoun

questionnaire satisfaisant demande

beaucoup de temps et drsquoimagination le

texte doit ecirctre parfaitement

compreacutehensible et deacutenueacute de toute

ambiguiumlteacute

bull il est donc plus efficace de travailler en

eacutequipe

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Identifier les items de

questionnement

bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter

bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et

bull enfin sur la formulation et la preacutesentation

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Les sujets des questions

Les questions doivent

- porter sur les sujets importants de la matiegravere traiteacutee

- traiter drsquoun seul sujet par question

-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la

matiegravere

il convient de veiller particuliegraverement agrave

- lunivociteacute le mot garde le mecircme sens dans des

emplois diffeacuterents

- la preacutecision le terme ne laisse place agrave aucune indeacutecision

- la simpliciteacute le niveau de langage correspond agrave celui des

eacutetudiants

- lhonnecircteteacute on eacutevitera dintroduire des notions non

connues des eacutetudiants

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

La formulation des questions

Les questions doivent

- Etre structureacutees en faisant une nette seacuteparation entre tronc

et alternatives

- ecirctre preacutecises en eacutevitant le vague et les sous-entendus

- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier

lrsquoalternative correcte

- ecirctre intelligentes en eacutevitant de fournir des moyens

techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou

les alternatives fausses

Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes

de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne

Ce pH est

basique

acide

neutre

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Un item doit cibler une seule notion

bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet

bull Eacuteviter les propositions sous la forme neacutegative

bull Alterner des questions visant diffeacuterents types de compeacutetences

(restitution de connaissances compreacutehension analyse logique

observation etc)

bull Les propositions doivent avoir le mecircme degreacute de vraisemblance

bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs

comparables

bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type

aucune reacuteponse nrsquoest correcte ou

Lrsquoeacutenonceacute est incomplethelliphellip

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Ce qursquoil ne faut pas faire

Il faut eacuteviter les formulations ambigueumls telles que les formes

neacutegatives ou a fortiori les doubles neacutegations

1048766 Dans quel cas la fiegravevre est absente

1048766 Dans quel cas il nrsquoy pas drsquoapyrexie

On preacutefegraverera

1048766 Dans quel cas la tempeacuterature est normale

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Si la vignette est

A propos de la peacuteritonite appendiculaire quelles sont les

propositions exactes

On notera que la theacutematique est tregraves geacuteneacuterale voire vague de

sorte que les propositions seront disparates

En revanche

Quels sont les arguments cliniques en faveur drsquoune steacutenose

hypertrophique du pylore

Cette formulation est beaucoup plus fermeacutee et permettra de

focaliser les propositions de reacuteponse sur la mecircme theacutematique

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Syntaxe

Structure de la phrase

bull Les phrases doivent ecirctre aussi courtes que

possible dans la vignette mais aussi dans les

propositions de reacuteponses

bull Il faut veiller agrave ce que la structuration de chaque

proposition de reacuteponse soit identique pour une

QCM donneacutee Toute variation dans la forme ou

dans lrsquousage de neacutegation constituera des piegraveges

ou des indicateurs pour lrsquoeacutetudiant Il identifiera

une proposition donneacutee non pas pour son

contenu mais pour sa forme

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Vocabulaire

Champ lexical

bull Les mots utiliseacutes ne doivent pas ecirctre

ambigus ni appartenir agrave un champ lexical

autre que celui qui est requis pour nos

candidats

bull Ne pas chercher agrave pieacuteger le candidat sur

lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa

connaissance

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Adverbes et formes adverbiales

bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas

ndash 1048766 Typiquement Habituellement gt60 des cas

ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas

ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Choix des leurres

Nombre de leurres

bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule

bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance

bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues

doivent ecirctre utiliseacutes avec parcimonie

bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip

bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante

bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

CHOIX DES LEURRES

bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM

ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances

ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

CHOIX DES LEURRES

bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)

bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes

bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Les alternatives doivent ecirctre

- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme

degreacute de complexiteacute

- eacutegalement plausibles pour un eacutelegraveve non averti

- en nombre restreint

- sans artifices logiques

- disjointes cagraved il faut qursquoelles ne se recoupent pas

- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas

toujours occuper la mecircme place

Dans la reacutealisation de la structure tertiaire des proteacuteines

nrsquointerviennent pas les acides amineacutes

il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle

quelques acides amineacutes ne peuvent pas participer

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

augmenter le nombre de distracteurs afin de reacuteduire les

chances de trouver la bonne reacuteponse au hasard

- retirer des points en cas de reacuteponse incorrecte de maniegravere

agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de

mauvaise reacuteponse) etou valoriser lrsquoomission

- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses

reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son

choix et en tenir compte dans la notation

Comment diffeacuterentier les choix dus au

hasard

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

bullEacuteviter de donner dans un item la reacuteponse agrave un autre item

du questionnaire

bull Varier la position de la(des) bonne(s) reacuteponse(s)

bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen

remettre au hasard

bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le

degreacute drsquoacquisition drsquoune notion

bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des

mauvaises reacuteponses les plus freacutequemment observeacutees chez

les eacutetudiants

bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur

une infime nuance

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Tester le questionnaire

Le questionnaire doit ecirctre testeacute par des collegravegues ou par des

eacutetudiants pour affiner

la reacutedaction

la notation et

estimer le temps neacutecessaire pour y reacutepondre

en geacuteneacuteral 15 minutes par QCM

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Dureacutee drsquoexposition agrave la QCM

bull Il faut preacutevoir un temps de composition pour chaque

bull En moyenne on retient le principe drsquoune QCM par minute

bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Un oeil presbyte

a voit mal de loin

b voit mal de pregraves

c doit toujours ecirctre corrigeacute

d ne doit ecirctre corrigeacute que pour la

vision proche

e Aucune reacuteponse nrsquoest exacte

Lrsquoeacutenonceacute sera formuleacute sous une forme

positive et interrogative

Aucun de ces gaz nrsquoest un gaz organique

sauf un Lequel

a dioxyde de chlore (ClO2)

b acide sulfhydrique (H2S)

c amoniac (NH3)

d aceacutetone (CH3COCH3)

e Meacutethane (CH4)

Jean-Baptiste Lully

a eacutetait chargeacute de la direction laquo des petits

violons raquo

b est mort de la gangregravene

c eacutetait lrsquoennemi de Moliegravere

d eacutetait le compositeur de Louis XIV

e menait ses musiciens agrave la baguette

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Check List de veacuterification lors de la reacutedaction drsquoun QCM

R1 la question mesure un objectif important drsquoapprentissage et se

rapporte au reacutefeacuterentiel

R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique

drsquoune iconographie

R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre

R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement

de valeur

R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative

R6 les propositions sont au nombre de 5

R7 la bonne reacuteponse ressemble aux autres

R8 propositions homogegravenes dans leur forme leur contenu leur structure

grammaticale

R9 les propositions ne sont pas synonymes ne se chevauchent pas

R10 tous les distracteurs sont plausibles

R11 les propositions indispensables sont preacuteciseacutees

R 12 suivent les conseils typographiques A agrave E pas de majuscule

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Conclusion

La technique de reacutedaction des QCM est cruciale parce

qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve

a atteint les objectifs fixeacutes

Des QCM mal faits ou mal coteacutes ne peuvent faire cette

eacutevaluation

- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de

la patience de la compeacutetence de la meacutefiance de la faculteacute

drsquoanticiper et de se mettre au niveau de celui qui apprend En

outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de

cotation difficiles agrave eacutetablir et agrave faire accepter

-Les QCM sont de plus en plus souvent reacutealiseacutes sur

ordinateur Il faudra probablement creuser ces pistes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero

Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Exemple de discordance

Quelles sont les pathologies osseuses qui peuvent ecirctre

des complications de la corticotheacuterapie

bull Propositions et

reacuteponses attendues

A Osteacuteoporose times

B Coxarthrose

CNeacutecrose de la tecircte

feacutemorale times

DOsteacuteosarcome

E Osteacuteomalacie

Reacuteponse de lrsquoeacutetudiant

times

1 discordance

times 2 discordances

Reacutesultat 02 point

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Quelques reacutefeacuterences

bibliographiques

bull Lrsquoeacutelaboration des questions agrave choix

multiples avec Questy

httpwwwquestyfr

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Qualiteacutes attendues drsquoune eacutevaluation

Ajustement des questions en cours de route

Retour immeacutediat sur la compreacutehension de la question

Diagnostic fin quant agrave la profondeur des connaissances

Standardisation des consignes

Standardisation des corrections

Capaciteacute agrave couvrir toute la matiegravere

Temps de passation

Temps de correction

Simpliciteacute de la correction

Valorisation drsquoune reacuteaction rapide

Capaciteacute agrave appreacutehender les processus mentaux de

-connaissance

- compreacutehension

- application

- analyse

- synthegravese

- eacutevaluation

Capaciteacute agrave appreacutehender la creacuteativiteacute

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles

Capaciteacute agrave appreacutehender les compeacutetences orales

Capaciteacute agrave appreacutehender un raisonnement

Possibiliteacute de feed-back rapide et preacutecis

Risque de meacutemorisation drsquoinformations erroneacutees

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM

Ajustement des questions en cours de route -

Retour immeacutediat sur la compreacutehension de la question -

Diagnostic fin quant agrave la profondeur des connaissances +-

Standardisation des consignes +

Standardisation des corrections +

Capaciteacute agrave couvrir toute la matiegravere +

Temps de passation +-

Temps de correction +

Simpliciteacute de la correction +

Valorisation drsquoune reacuteaction rapide +

Capaciteacute agrave appreacutehender les processus mentaux de

- connaissance +

- compreacutehension +

- application +

- analyse +-

- synthegravese -

- eacutevaluation -

Capaciteacute agrave appreacutehender la creacuteativiteacute -

Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -

Capaciteacute agrave appreacutehender les compeacutetences orales -

Capaciteacute agrave appreacutehender un raisonnement -

Possibiliteacute de feed-back rapide et preacutecis +-

Risque de meacutemorisation drsquoinformations erroneacutees +

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Deacutefinir un systegraveme de notation

bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles

qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire

- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de

choix multiples)

-Comment valorise-t-on les reacuteponses exactes

-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee

- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave

se prononcer)

bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique

ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des

eacuteleacutements eacutevalueacutes

bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre

ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables

selon les questions

Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations

sommatives ecirctre eacuteliminatoires

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Modes de pondeacuteration

bull Mode binaire le plus couramment utiliseacute

ndash 1048766 Bonne reacuteponse =1 point

ndash 1048766 Toute autre reacuteponse = 0 point

bull Au prorata drsquoautant plus de points que de bonnes reacuteponses

ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point

ndash 1048766 Une bonne reacuteponse = frac12 point

ndash 1048766 Aucune bonne reacuteponse = 0 point

ndash Problegraveme des points neacutegatifs

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne

comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points

ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Reacuteutilisation des eacutepreuves

bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent

aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises

ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute

ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

bull chaque anneacutee les eacutepreuves de QCM

doivent comporter au moins 60 de

questions nouvelles

bull le renouvellement peut porter sur

ndash un leurre

ndash une bonne proposition

ndash la formulation de la vignettehellip

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes

Questions drsquoancrage

bull A contrario il est neacutecessaire de faire usage chaque

anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue

bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a

reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes

ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes