intervention du smart au conseil des études des 1er et 2ème doctorat en faculté de médecine -...
TRANSCRIPT
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Intervention du SMARTau Conseil des études
des 1er et 2ème doctorat Faculté de Médecine
Jean-Luc GILLES, Pascal DETROZ & Myriam DUPONTCHU - 30/05/2005
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Réponses à des questions ponctuelles :
Avantages / inconvénients vrai-faux vs QCM ?
Quels systèmes de cotation appliquer lors de vrai-faux ?
Faut-il utiliser la consigne « Choisissez la meilleure solution » ?
Comment améliorer la qualité des tests standardisés interdisciplinaires ?
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Leclercq (1986)
Avantages et inconvénients respectifs
Avantages / inconvénients vrai-faux vs QCM
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
1. Du point de vue des possibilités de feedbacks
Les propositions incorrectes apparaissent plus comme des « masques à la réponse correcte » que comme des propositions qui pourraient fournir des informations sur le type d’erreur commise par l’étudiant.
Vrai-faux QCM
« The distractor a student chooses may give you diagnostic insight into difficulties the student is experiencing »
Nitko (2001)
Avantages / inconvénients vrai-faux vs QCM
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
2. Du point de vue des réponses dues au hasard
Vrai-faux QCM
Dans le cas d’une question vrai-faux, les évalués ont dès le départ 50 % de chances de donner la réponse correcte...
Les vrai-faux surestiment les performances des étudiants.
Avantages / inconvénients vrai-faux vs QCM
« There is less of a chance for a student to guess the correct answer to a multiple-choice item than to a true-false item or to a poorly constructed matching exercise »
Nitko (2001)
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
3. Du point de vue de la fidélité
Il faudrait prévoir 135 Vrai-faux Il faudrait prévoir 56 QCM
Avantages / inconvénients vrai-faux vs QCM
Ebel (1969)
0,5 0,6 0,7 0,8 0,9
2 54 67 90 135 270
3 36 45 60 90 180
4 30 37 50 75 150
5 27 34 45 67 135
6 25 31 42 63 126
7 24 30 40 60 120
8 23 29 39 58 115
9 22 28 37 56 112Nom
bre
de s
olut
ions
pro
posé
es
Nombre de questions nécessaires pour obtenir une fidélité donnée quand toutes les QCM ont le même nombre de solutions proposées
Pour atteindre une fidélité théorique de 0,8
Niveaux de fidélité
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Imaginons que l’on vise une fidélité théorique de 0,8…
Dans le cas de vrai-faux,
il en faudrait environ 135
4. Du point de vue du temps de réponse nécessaire
Avantages / inconvénients vrai-faux vs QCM
Vrai-faux
Dans le cas de QCM avec 9 solutions,
il en faudrait environ 56
QCM
Estimons le temps de réponse moyen pour chaque vrai-faux à 2 minutes :
135 x 2 = 270 min.
soit 4h30 d’examen
Estimons le temps de réponse moyen pour chaque QCM à 4 minutes :
56 x 4 = 224 min.
soit environ 3h45 d’examen
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
De part leur nature dichotomique, en général, les questions vrai-faux ne se prêtent pas bien à l’évaluation de compétences mises en jeu dans des situations complexes « authentiques », comme celles qu’on peut rencontrer dans un contexte professionnel.
En fait, ils sont souvent utilisés pour évaluer des connaissances factuelles.
5. Du point de vue de l’authenticité des questions
Avantages / inconvénients vrai-faux vs QCM
Vrai-faux QCM
« The multiple-choice format can be used to assess a greater variety of learning targets than other formats of response-choice items »
Nitko (2001)
Exemple : les QCM « cas à analyser »
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
6. Du point de vue des niveaux taxonomiques
Avantages / inconvénients vrai-faux vs QCM
Vrai-faux
Bloom (1956, 1984)
QCM
Avec degrés de certitude
*
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Avantages / inconvénients vrai-faux vs QCM
Besoins identifiés dans le cadre des évaluations des
acquis en 1er et 2ème doctoraten février 2003
Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai)
…répartir les QCM sur 2 x 2h et sur 2 demi journées
… formation des enseignants à la rédaction des QCM
(28/10/02)
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Systèmes de cotations possibles dans le cas de vrai-faux généralisés(d’après Leclercq, 1986)
Indiquez, pour chacune des couleurs suivantes, si elle appartient (vrai ou faux) à la catégorie des couleurs spectrales primaires.1. l’infra-rouge 2. le rouge …………...… (V)3. l’orange4. le jaune5. le vert ………………. (V)6. le bleu ………………. (V)7. l’indigo8. le violet9. l’ultra-violet
Systèmes de cotation appliqué lors de vrai-faux
2 systèmes de cotations possibles
Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées
… sévérité
Type 1
Chaque proposition est considérée comme une question indépendante et corrigée comme telle. On peut omettre à une ou plusieurs solutions.
… sévérité
Type 2
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Si on annonce le nombre de solutions vraies et le nombre de solutions fausses => plus facile !
Tâche de discrimination d’un pattern de réponses (une fois les X solutions correctes repérées, les autres peuvent être considérées comme incorrectes).
53 % de patterns de réponses exacts
Si le nombre de solutions vraies et de solutions fausses n’est pas annoncé => plus difficile !
Tâche de jugement multiple.
27 % de patterns de réponses exacts
Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées
Noizet et Caverni (1978)Expérience menée avec des étudiants en médecine (N = 556)
Systèmes de cotation appliqué lors de vrai-faux
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Dans le cas d’un vrai-faux généralisé,
c’est le tarif de la « correction for guessing » qui est le plus souvent utilisé pour contrer les effets des réponses correctes dues au hasard :
Systèmes de cotation appliqué lors de vrai-faux
En cas de réponse correcte : + 1
En cas de réponse incorrecte : 112
1
1
1
NSP
En cas d’omission : 0
avec NSP = Nombre de Solutions Proposées, dans le cas d’un vrai-faux « type 1 » = le nombre de combinaisons possibles
dans le cas d’un vrai-faux « type 2 » = 2
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
La consigne « Choisissez la meilleure solution »
« Il est en principe plus difficile de répondre à une QCM de la forme ci-dessus qu’à une QCM classique … En effet… plusieurs solutions peuvent être considérées comme correctes (4 et 5), et il faut les classer entre elles pour, finalement, choisir la meilleure. »
Leclercq (1986)
Critiques :
« … rather difficult to craft…You need to create distractors that are partially correct… unlike typical multiple choice items for which one option is the only correct one »
« … What is legitimately a best answer in one teacher’s class (given what students have been taught) is not the best answer in another teacher’s class. »
« …Best implies a set of criteria that may not have been taught or understood by students. »
« …A teacher may easily write a “tricky” item in which an option’s correctness depends on a trivial fact, …or an easily overlooked word in a phrase. »
Nitko (2001)
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Comment améliorer la qualité des tests standardisés interdisciplinaires ?
Une approche qualité
Besoins des évaluateurs
& desévalués
Ressourcesen personnel et
en matériel
Objectifsde qualité
Modèles & procédures
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Besoins identifiés dans le cadre des
évaluations des acquis en 1er et 2ème doctorat
en février 2003
Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire
Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai)
…répartir les QCM sur 2 x 2h et sur 2 demi journées
… formation des enseignants à la rédaction
des QCM (28/10/02)
… entraînement des étudiants
durant l'année. Utilisation des
boîtiers de votes électroniques.
… préparer les étudiants depuis
les candis et affiner le système progressivement.
… régulation des cotes en fonction de questions se révélant
problématiques a posteriori (simulation le 28/10/02)
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
cycle de gestion qualité des tests standardisés 4. Entraînement
1. Analyse desobjectifs de
l’enseignement
- Points Enseignés- Catégories de
Performances- Priorités
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Equilibrage del’épreuve
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
5. Examen- préparation du
matériel, deslocaux,consignes
- vérification dutiming
- procéduresanti-fraude
6. Correction etdiscussion
- performances- analyse des
propositions,contrôle qualité aposteriori : rpbis,rectifications
7. Feed-backaux examinés
- FB « matières »,« processusmentaux » et« métacognitifs »
- infos surl’analyse desquestions
8. Macrorégulation (recueil
avis étudiants)
Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire
Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai)
…répartir les QCM sur 2 x 2h et sur 2 demi journées
… formation des enseignants à la rédaction des QCM
(28/10/02)
… entraînement des étudiants durant
l'année. Utilisation des
boîtiers de votes électroniques.
… préparer les étudiants depuis les candis et affiner le système progressi-
vement.… régulation des cotes en fonction de questions se révélant problématiques a
posteriori (simulation le 28/10/02)
une analyse des avis des étudiants à propos des différentes modalités d'évaluation proposées dans le cadre des tests interdisciplinaires ?
un feedback individualisé pour chaque étudiant accessible via le web après chaque test interdisciplinaire ?
Suggestions
Les besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doc.
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
L’équipe du SMART peut vous aider à :
1. Construire vos tables de spécification
2. Choisir vos méthodes de questionnement
3. Analyser la qualité docimologique de vos questions (d’un point de vue formel) relecture selon les règles de rédaction des QC et proposition d’améliorations
Gérer vos banques de questions
4. Concevoir et mettre en œuvre des examens « à blanc »avec les moyens logistiques du SMART (BVE, TIMI, …)
6. Accompagner dans l’analyse a posteriori des questions (r.bis, …)
7. Concevoir des feedbacks plus diagnostiques et plus précis
8. Utiliser les informations liées aux EVALENS pour améliorer vos examens
Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05
Site web du SMART :
http://www.smart.ulg.ac.be