application du cycle gestion qualité s.m.a.r.t. des tests pédagogiques dans le cours dobstétrique...

Application du cycle gestion qualit S.M.A.R.T. des tests pdagogiques dans le cours dObsttrique et de Pathologie de la Reproduction des ruminants, quids et porcins Jean-Loup Castaigne 1 & Jean-Luc Gilles 2 1 Service d Obsttrique et Pathologie de la Reproduction des ruminants, quids et porcs et pathologie de la mamelle de la vache laitire, FMV, ULg Prof. C. Hanzen 2 Service de Technologie de lducation & S.M.A.R.T., FAPSE, ULg Prof. D. Leclercq FAPSE

1. Analyse de l enseignement Points Enseigns, Catgories de Performances 2.Mise en forme de l preuve Modalits de Questionnement, assemblage et quilibrage (binmes & trinmes) 3.Construction des Questions Indices de Qualit 4. Entranement des tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux tudiants On-line ou en amphi Cycle gestion qualit S.M.A.R.T. des tests pdagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 8. Rgulation du processus Recueil et analyse des avis des tudiants, propositions d amliorations

1. Analyse de l enseignement Points Enseigns, Catgories de Performances 2.Mise en forme de l preuve Modalits de Questionnement, assemblage et quilibrage (binmes & trinmes) 3.Construction des Questions Indices de Qualit 4. Entranement des tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux tudiants On-line ou en amphi 8. Rgulation du processus Recueil et analyse des avis des tudiants, propositions d amliorations Cycle gestion qualit S.M.A.R.T. des tests pdagogiques Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1.1 Dfinir les Points Enseigns [PE] Isoler chaque module assez important pour justifier d une valuation et en quantifier l importance 1.2 Dfinir les Catgories de Performance [CP] Quelles sont les mesures que l enseignant va prendre lors de l valuation de l apprenant ? 1.3 Relier les Points Enseigns et les Catgories de Performance [PE x CP] Pour chaque PE dfini, quelle CP permettra d en apprcier la bonne transmission vers l apprenant 1. Analyse de l enseignement Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Isoler chaque module assez important pour justifier d une valuation et en quantifier l importance 1.1 Dfinir les Points Enseigns [PE] 1. Analyse de l enseignement Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Quelles sont les mesures que l enseignant va prendre lors de l valuation de l apprenant ? 1. Analyse de l enseignement 1.2 Dfinir les Catgories de Performance [CP] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Exemples Cp en OGA

Relier les Points Enseigns et les Catgories de Performance Pour chaque PE dfini, quelle CP permettra d en apprcier la bonne transmission vers l apprenant ? C est le premier binme. Les 6 catgories de performances choisies par l enseignant sont affiches Pour ce PE (4.8), lenseignant choisit ces 2 catgories de performances. Donc il devra envisager des questions sur la connaissance et la comprhension. 1. Analyse de l enseignement 1.3 [PE x CP] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Catgories de Conditions : ...avec degrs de certitude , ... livre ouvert ,... Catgories de Questionnement : VF , QCM , QROC ,... Il existe des Qui vont permettre de dfinir des Modalits de Questionnement (MQ) exemple : QCM avec degrs de certitude Les MQ peuvent tre relis aux Catgories de Performances et former des binmes : [CP x MQ] exemple : mesurer la comprhension laide de QCM avec degrs de certitude Les binmes [PE x CP] de lanalyse de lenseignement sont croiss avec les binmes [CP x MQ] 2.Mise en forme de l preuve Cration des trinmes Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 ce qui donne une liste de trinmes : [PE x CP x MQ]

Quelles modalits de questionnement utiliser ou ne jamais utiliser ? Relier la Catgorie de Performance [CP] recherche chez l tudiant avec la/les Modalit(s) de Questionnement [MQ] choisie(s). [MQ] [CP] Exemple de binme [CP x MQ] : 2.Mise en forme de l preuve 2.1 [CP x MQ] Cration des Modalits de Questionnement [MQ] & assemblage des binmes [CP x MQ] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Exemples SGI en OGA

2.Mise en forme de l preuve Rpartition des CP par MQ Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

2.Mise en forme de l preuve Importance des PE Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1) conseils mthodologiques 2) choix parmi les rfrences des Questions PE : 1.6.3. CP : analyse MQ : QCM SGI DC 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette chographie de l ovaire gauche d une vache pie noire de 6 ans, a t ralise une semaine aprs l oestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 3.Construction des Questions Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 SMART a cr une liste de trinmes retrouver dans les questions qui composeront cette valuation. l enseignant de rdiger ou choisir les questions qui correspondent ces trinmes. RC : 6

1. Analyse de l enseignement Points Enseigns, Catgories de Performances 2.Mise en forme de l preuve Modalits de Questionnement, assemblage et quilibrage (binmes & trinmes) 3.Construction des Questions Indices de Qualit 4. Entranement des tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux tudiants On-line ou en amphi 8. Rgulation du processus Recueil et analyse des avis des tudiants, propositions d amliorations Cycle gestion qualit S.M.A.R.T. des tests pdagogiques Gilles & Leclercq,1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

4. Entranement des tudiants Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 on line : TIMI (correction) en amphi : Formuloms (exemple), BVE,... (correction) (exemple)

Matriel & Timing & procdure anti-fraude 5. Mise en uvre de l preuve Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

On-line : DC, svrit (en savoir +), r.bis (en savoir +), r.bis spectral (en savoir +), r.bis spectral turbo (en savoir +), ralisme (en savoir +),... (en savoir +) 6. Correction de l preuve Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Prsentation et analyse sommaire des rsultats 1. Svrit de 20 (svrit) (svrit) 2. Retrait d une QCM cause de son r.bis (r.bis) (r.bis) 3. Correction en amphithtre des questions ayant pos un problme (3 sur 15) 7. Feedback aux tudiants Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1. Analyse de l enseignement Points Enseigns, Catgories de Performances 2.Mise en forme de l preuve Modalits de Questionnement, assemblage et quilibrage (binmes & trinmes) 3.Construction des Questions Indices de Qualit 4. Entranement des tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux tudiants On-line ou en amphi Recueil et analyse des avis des tudiants, propositions d amliorations Cycle gestion qualit S.M.A.R.T. des tests pdagogiques 8. Rgulation du processus Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Boucle de rgulation 1 (revoir boucles de rgulation) (revoir boucles de rgulation) Courte : R5 : Mesure ajuste par retrait d une QCM Longue : R3 : mise jour de la banque de QCM R2 : Nouveaux projets d valuation 8. Rgulation du processus Rgulation en OGA Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 EvalEns 2 : d aprs les tudiants : 1. Le mode d valuation le plus adquat : examen crit rdig > examen oral > QCM (sans SGI ni DC) 2. Un seul test global est insuffisant 3. Il faut des tests pendant l anne dont le rle serait : modrer un problme l oral > auto-valuation > 25 % de la cote finale Pour l an prochain et les annes suivantes... : 1 BEV sur les prrequis avec mise niveau immdiate 5 LQRT dont les 3 best sont sanctionnant (20% du cours) PARM sur base de volontariat (maximum 10% du cours) autres solutions pour tudiants n ayant pas accs au PARM 1 Leclercq, 1999, Chap 1, p 4 2 Leclercq, 1999, Chap 1, p 9

1. Analyse de l enseignement Points Enseigns, Catgories de Performances 2.Mise en forme de l preuve Modalits de Questionnement, assemblage et quilibrage (binmes & trinmes) 3.Construction des Questions Indices de Qualit 4. Entranement des tudiants on line : TIMI en amphi : BVE ou Formuloms 5. Mise en uvre de l preuve Matriel, Timing, procdures anti-fraude 6. Correction de l preuve On-line : DC, svrit, ralisme, r.bis,... 7. Feedback aux tudiants On-line ou en amphi 8. Rgulation du processus Recueil et analyse des avis des tudiants, propositions d amliorations Cycle gestion qualit S.M.A.R.T. des tests pdagogiques FAPSE Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Adresses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Jean-Luc Gilles 2 Tl : 04 / 366 20 78 eMail : [email protected] http://139.165.55.45/smart/ Jean-Loup Castaigne 1 Tl : 04 / 366 41 72 http://www.fmv.ulg.ac.be/oga/index.html 1 Service d Obsttrique et Pathologie de la Reproduction des ruminants, quids et porcs et pathologie de la mamelle de la vache laitire, FMV, Ulg Prof. C. Hanzen ([email protected]) 2 Service de Technologie de lducation & S.M.A.R.T., FAPSE, Ulg Prof. D. Leclercq ([email protected]) FAPSE

Boucle de rgulation Cohrence Correction dans TIMI CP en QCM pour OGA Formuloms r.bis r.bis spectral r.bis spectral turbo Ralisme Svrit SGI en OGA Taux d exactitude et ralisme Plan des annexes Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple QCM recognition Le diamtre normal des cornes utrines d une vache ou d une gnisse non gestante est 1. De 2,5 4 cm 2. De 1 2 cm 3. De 4 7 cm Rponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM comprhension Au cours du pro strus, l utrus de la bte bovine s dmatie ce le qui rend la palpation transrectale : 1. Plus ferme 2. Plus tonique 3. Plus flasque Rponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM : application une structure anchogne d une taille suprieure 3 cm, paroi mince (infrieure 5 mm). Rponse correcte : 2 4,3 cm 3mm Votre diagnostic le plus probable sera : 1. Un corps jaune cavitaire 2. Un kyste folliculaire ou lutal 3. Un follicule 4. Une tumeur Lors de l examen chographique d une vache pie noire de 3 ans, vous mettez en vidence sur l ovaire droit : Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 1

Exemple de QCM SGI Par rapport au testicule gauche, le testicule droit d une gnisse est 1. Plus grand 2. Plus petit 3. De mme taille Une absurdit ou une contre-vrit (une gnisse possde des ovaires, non des testicules) dans l nonc rend toute la question sans objet : rponse 9 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM SGI De combien d ovaire(s) est quipe une gnisse BBB normalement constitue 1. Zro 2. Quatre 3. Six Aucune des solutions proposes n est correcte puisque comme toutes les femelles mammifres, elle a 2 ovaires : rponse 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM SGI L utrus d une vache normalement constitue comprend : 1. Le col 2. Le corps 3. Les cornes Toutes les solutions proposes sont correctes simultanment : rponse 7 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM SGI Le taux d strognes en pg/mL d une vache est : 1. infrieur 100 2. 150 3. suprieur 200 Il est impossible de rpondre parce que l information (au moins une donne : le moment dans le cycle) ncessaire manque dans l nonc de la question : rponse 8 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 2

Taux dexactitude : 9 bonnes rponses sur 14 questions, soit 64 % Score DC : 140 / 280 soit 50 % Analyses des rponses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 4

Boucle de Rgulation Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Analyses des besoins Dfinition du projet Planification Excution Mesure Rtroaction ConceptionConception ActionAction Boucles courtes Boucles longues 8 Leclercq, 1999, Chap 1, p 4

Les feuilles rponses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

En cas d erreur Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 4

Graphe de ralisme Boxus, 1991 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 SOUS SUR 6

Taux d exactitude & Ralisme Ralisme = 0,759Ralisme = 0,961 Taux d exactitude de 50% 4 Q dont 2 RC20 Q dont 10 RC Ralisme Boxus, 1991 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 6

Cohrence Boxus, 1991 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 6

r.bis d r pcq coefficient de corrlation Bis rial pcq 1 variable rparti la population en 2 sries. pcq dichotomie vraie (RC ou RI) Indice de cohrence entre la question et le test Quantitatif : pq Qualitatif : Mx-Ma / r.bis = (Mx-Ma / ) ( pq) En ordonnes rduites (y = p distribu normalement) r.bis = (Mx-Ma / ) (pq / y) Leclercq, 1999, chap 10, p 44-53 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

r.bis en pratique 15 questions : r.bis repre = 0,33 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grce la valeur du r.bis de la SGI 8 14 questions : r.bis repre = 0,27 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 6

Svrit Score rajust = score 20 * 20 svrit 7 10 13 Leclercq, 1993 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 7 Svrit = 20 Max = 15 Svrit = 18 10 Max = 20 Svrit = 16 13 Max = 25 6 7

r.bis spectral Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 6 Adapt de Leclercq, 1999, chap 10, p 44-53

r.bis spectral turbo Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 6 Taux d Exactitude (revoir dia TE) (revoir dia TE) cart entre TE et VC Adapt de Leclercq, 1999, et Boxus, 1991 chelle des DC Valeur Centrale

La validit : les scores des tudiants doivent reprsenter ce que lenseignant veut mesurer, permettre des infrences solides (validit de construct ou thorique), et couvrir les aspects importants de lenseignement (validit de contenu) ; Objectifs qualit du SMART La fidlit : la note (dune preuve corrige) classe dans une catgorie donne doit ltre de la mme faon si elle est traite par dautres correcteurs (concordance interjuges) ou/et un autre moment (consistance intrajuge) ; La sensibilit : la mesure doit tre prcise, reflter des phnomnes subtils ; La diagnosticit : les rsultats doivent permettre le diagnostic prcis des difficults dapprentissage (et idalement de leurs causes), des processus matriss, de ceux qui ne le sont pas ; Lquit : tous les tudiants doivent tre traits de faon juste, en principe de la mme faon (standardisation) ; La praticabilit : la ralisation des valuations doit tre faisable endans des dlais raisonnables et l aide des ressources en personnel et en matriel disponibles et proportionnes limportance relative des enjeux ; La communicabilit : les informations non confidentielles relatives au droulement du processus doivent tre communiques et comprises par les partenaires (enseignants, tudiants, quipe SMART) engags dans la ralisation des preuves. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

application du cycle gestion qualité s.m.a.r.t. des tests pédagogiques dans le cours dobstétrique...

Documents

pe x cp castaigne gilles

performances et

pe x cp x mq page

mise en forme

binmes pe x cp

points enseigns et

performance pe x cp

cp x mq exemple