activité cds #7 construire et gérer des examens standardisés de qualité :

ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 1

Activité CDS #7

Construire et gérer des examens standardisés de qualité : témoignages et réflexions

Mardi 30 janvier 2007

Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus

sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés

(CGQTS)

Jean-Luc GILLES

Université de LiègeSystème Méthodologique d’Aide à la Réalisation de Tests (SMART)

Service de Didactique générale et intervention éducativeSpin off Assess-Group S.A.


« Il est frappant de constater que dans la plupart des universités, les enseignants parlent volontiers de leurs recherches, peu de leurs enseignements et quasiment jamais de leurs examens… »

Jean-Louis Ricci (2006)


Blais & al. (1997)

Debry & al. (1999)

Rege Colet et Romainville, Eds. (2006)


Vrai o

u fa

uxQCM

Phras

e ou

table

au à

com

pléte

r

Répon

se co

urte

Dévelo

ppem

ent c

ourt

(moin

s d'un

e 1/

2 pa

ge)

Solutio

n de

pro

blèm

e

Démon

strat

ion

Dévelo

ppem

ent lo

ng (p

lus d

'une

1/2

page

)

Autre

s

Tâches d'examen au 1er et aux 2e & 3e cycles à l'Université de Montréal (d'après BLAIS & al., 1997, pp. 48-49)

25%

34%

16%

32%

66%

49%

14%

57%

7%4% 5%

1% 3%

33%36%

17%

30%

7%

0%

10%

20%

30%

40%

50%

60%

70%

1er cycle (n=270)

2e & 3e cycle (n=76)

VF / QCM QROC QROM

QROL

Le besoin : des examens universitaires de qualitéFréquences des modalités de questionnement utilisées dans les examens universitaires (enquête du GRIPU à l’Univ. de Montréal)

1er cycle = 36%2e & 3e cycle = 12%

1er cycle = 64%2e & 3e cycle = 88%

(Blais & al. 1997)


Répartition des modalités de questionnement dans le 1er cycle FAPSE (année académique 1997-1998)

14

86

11

10

4

30

5

10

15

20

25

30

QCM QROL écrites QROL orales MIXTE (QROL &QCM)

Nom

bre

d'ex

amen

s

2ème Candi

1ère Candi

Enquête à la FAPSE-ULg (DEBRY & al, 1999) :

32 examens avec questions à réponses ouvertes (53%)

25 examens avec questions à

réponses fermées (42%)

1er cycle FAPSE-ULg (1997-1998)

Fréquences des modalités de questionnement utilisées dans les examens universitaires

Le besoin : des examens universitaires de qualité


Principaux avantages potentiels et inconvénients des questions fermées

- Automatisation questions validité

- problèmes de concor-dances intra et inter-correcteurs fidélité

- Automatisation praticabilité

- …

- Piège des questions

portant sur des détails

- Conception binaire des réponses (sauf si utilisation DC)

- Impuissance à mesurer certaines catégories de performances



Principaux avantages potentiels et inconvénients des questions ouvertes

- Permettent l’évaluation de performances complexes

- Permettent d’évaluer les objectifs d’expression

- Sollicitations plus proches de celles de la vie quotidienne

- En général peu de

questions pour éviter d’augmenter le temps de correction

- Biais concordance intra et inter-correcteurs

- Ne sont pas socialement neutres



Culture d’évaluation

Taille du groupe Règlement

pédagogique

La lutte contre une « dissonance pédagogico-docimologique »

La contraintedes disciplines

Quelles contingences orientent les examinateurs vers le choix de questions

fermées ou ouvertes ?

(BLAIS & al., 1997)

Fréquences des modalités de questionnement utilisées dans les examens universitaires



Besoins des acteursdes évalu-

ations

Critèresde qualité

validité fidélité sensibilité diagnosticité praticabilité équité communicabilité

authenticité

Modèles & procéduresd’évaluation

Ressourcesen personnel et en maté-

riel

(Gilles, 2002 ; Gilles, Piette, Detroz, Tinnirello, Pirson, Dabo et Lê, 2005)

Quatre facteurs clés pour une approche qualité en docimologie :


Examens oraux ou écritsExamens standardisés

classiquesExamens standardisés de qualité

Validité de contenuliée à la matièrecouverte

En général peu de questionspour éviter d’augmenter le temps decorrection.

L’automatisation de lacorrection permet d’envisagerun grand nombre dequestions, donc unecouverture large de la matière. Garanties ?

Des procédures d’analyse del’enseignement permettent d’offrir desgaranties en ce qui concerne la couverture de lamatière.

Validité liée auxprocessus mentauxenvisagés

Les questions à réponses ouvertespermettent d’évaluer des certainstypes de performances complexes :créativité, capacité à synthétiser, àdévelopper des raisonnementscomplexes, …

L’examinateur peut tomberdans le piège d’unefocalisation sur des questionsde détails ou sur des questionsn’évaluant que laconnaissance(reconnaissance) de mémoire.

Le recours aux questions à choix multipleavec Solutions Générales Implicites (SGI)« aucune », « toutes », « manque dedonnées dans l’énoncé » et « absurdité dansl’énoncé » permet d’évaluer systématiquementdes processus mentaux plus élevés que lasimple connaissance (LECLERCQ, 1986). Le recours aux pourcentages de certitudepermet d’envisager une évaluation systématiquede la capacité à s’autoévaluer chez les étudiants(LECLERCQ, 1983, 1993).

Fidélité de lacorrection /concordance intra etinter-correcteur

Nombreux biais liés à « l’attitudetypologique de l’examinateur »(PIERON, 1963). Possibilité d’améliorer lasituation à l’aide de techniques tellesque les échelles descriptivesd’évaluation (DE BAL, DELANDSHEERE, BECKERS, 1977),mais augmentation du temps decorrection.

Problèmes de concordanceintra ou/et inter-correcteursrésolus par l’automatisationde la correction.

L’utilisation de feuilles de justificationspermet aux étudiants de justifier certainesréponses. La prise en compte des remarquespertinentes formulées sur ces feuilles dejust ification permet à l’examinateurd’augmenter la fidélité de la correction. Augmentation du temps de correction mêmequand l’examinateur ne lit que les justificationsdes réponses incorrectes.

Quels avantages des examens standardisés de qualité peuvent-ils offrir ?


Examens standardisésde qualité

Des procédures d’analyse del’enseignement permettent d’offrir desgaranties en ce qui concerne la couverture de lamatière.

Le recours aux questions à choix mult ipleavec Solutions Générales Implicites (SGI)« aucune », « toutes », « manque dedonnées dans l’énoncé » et « absurdité dansl’énoncé » permet d’évaluer systématiquementdes processus mentaux plus élevés que lasimple connaissance (LECLERCQ, 1986). Le recours aux pourcentages de certitudepermet d’envisager une évaluation systématiquede la capacité à s’autoévaluer chez les étudiants(LECLERCQ, 1983, 1993).

L’utilisation de feuilles de justificationspermet aux étudiants de justifier certainesréponses. La prise en compte des remarquespertinentes formulées sur ces feuilles dejustification permet à l’examinateurd’augmenter la fidélité de la correction. Augmentation du temps de correction mêmequand l’examinateur ne lit que les justificationsdes réponses incorrectes.


Sensibilité desmesures

Généralement une conceptionbinaire de la connaissance prévaut« soit on sait, soit on ne sait pas ».Les pourcentages de certituderarement utilisés.

Conception binaire desréponses : « 1 » = correct et« 0 » = incorrect. Des réponses correctes duesau hasard sont possibles.

Lorsque les pourcentages de certitude sontutilisés on passe d’une conception manichéennede la connaissance à une conception spectraledes performances. De plus, ce système amène l’examiné àavouer son doute (il est moins pénalisé) plutôtque de répondre au hasard.

Diagnosticité En général peu de questions, doncdes difficultés à fournir desfeedbacks pour l’ensemble de lamat ière. De plus le temps decorrection est long d’où délais pourobtenir les feedbacks.

Des feedbacks dans desdélais courts sont possiblesgrâce à l’automatisation desprocédures de correction.

Des feedbacks détaillés sont aussienvisageables si la procédure de construction del’épreuve permet de faire les liens entre lesquestions et les points enseignés ainsi que lesprocessus mentaux envisagés.

Equité Les épreuves traditionnelles(surtout les oraux avec l’effet dehalo) ne sont pas socialementneutres (PASSERON, 1970)

La standardisation de lapassation et l’automatisationde la correction devraientpermettre de garantir untraitement identique pour tous. Les possibilités de fraudessont réelles.

Idem.

Des procédures anti-fraudes doiventpermettre d’empêcher efficacement la tricherie.

Examens oraux ou écritsExamens standardisés

classiquesExamens standardisés de qualité

...

Lorsque les pourcentages de certitude sontutilisés on passe d’une conception manichéennede la connaissance à une conception spectraledes performances. De plus, ce système amène l’examiné àavouer son doute (il est moins pénalisé) plutôtque de répondre au hasard.

Examens standardisésde qualité

Des feedbacks détaillés sont aussienvisageables si la procédure de construction del’épreuve permet de faire les liens entre lesquestions et les points enseignés ainsi que lesprocessus mentaux envisagés.

Idem.

Des procédures anti-fraudes doiventpermettre d’empêcher efficacement la tricherie.

Le besoin : des examens universitaires de qualitéQuels avantages des examens standardisés de qualité peuvent-ils offrir ?


Système Méthodologique d’Aide à la Réalisation de Tests (ULg)

Assess- Group

S.A.

R&D en ingénierie docimologique :

electronic Construction & Quality Control in Standardized Testing

2. DesignModalities of the Questions (MQ),

importance of each MQ

(CP x MQ) (PE x CP x MQ)

selection

1. AnalysisPoints to evaluate (PE), Priorities (P), Categories

of Performances (CP)

Specification table (PE x CP)

3. QuestionsSelection or writing of the questions which

are linked to the trinomials selected

Item bank

4. Training…on the modalities of the

questions defined

Blank tests (paper or web based)

5. TestingThe standardized test is proposed

Online exams, paper tests linked

with OMR

7. FeedbackPersonalized and tailored feedbacks

are proposed on the basis of final version

of the results

online access FB

6. CorrectionSet up of the

correction of the test

Quality check and discussion of the results before the final version

8.Regulationanalysis of the opi-

nions of the people who intervened in the test

Advices for the next test




selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










(Gilles, 2002 ; Gilles & al., 2005)


1. Analyse préalable de l’épreuve

- Lister les points à évaluer (PE)

- Associer des priorités liées aux PE

- Définir les catégories de performances (CP)

Produit de cette 1ère étape : une table de spécifications où les PE sont croisés avec les CP : (PE x CP)




selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)


2. Design de l’examen standardisé2. DesignModalities of the Questions (MQ),



selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










- Définir les modalités de questionnement (MQ)

en rapport avec les cat. de performances (CP)

- Créer le test et déterminer la portion de la table

de spécification qu’il est sensé couvrir

Produit de cette 2ème étape : une table de spécifications où les trinômes (PE x CP x MQ) du test sont identifiés



CP x MQ

PE x CP x MQ


3. Création des questions2. DesignModalities of the Questions (MQ),



selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










- Alimenter la banque de question

- Valider les questions qui pourraient être

utilisées pour l’examen

Produit de cette 3ème étape : une banque de questions caractérisées par leurs trinômes (PE x CP x MQ)



4. Information des évalués2. DesignModalities of the Questions (MQ),



selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










- Expliquer les procédures d’évaluation et les

conditions de l’examen

- Proposer des entraînements

Produit de cette 4ème étape : des informations en ligne ainsi que des tests d’entraînement



5. Questionnaire de l’examen2. DesignModalities of the Questions (MQ),



selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










- Sélectionner les questions validées qui seront

proposées lors de l’épreuve

- Créer le questionnaire d’examen

Produit de cette 5ème étape : un questionnaire d’examen « papier crayon » ou électronique



6. Acquisition, correction et contrôle qualité des résultats




selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










- Importer et traiter les résultats de l’épreuve

- Contrôler la qualité des questions

- Etablir une version finale

Produit de cette 6ème étape : une version fiable des résultats des évalués



(Gilles, 2002)


Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7

(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)


Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves

Changements de réponse correcte 10

Suppressions d’une question 22

Valorisation d’un distracteur 39

TOTAL 71

Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions :

Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité)

(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)


7. Feedbacks aux étudiants2. DesignModalities of the Questions (MQ),



selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










- Sélectionner les caractéristiques des feedbacks

aux étudiants

- Autoriser la mise en ligne des feedbacks

Produit de cette 7ème étape : des feedbacks individualisés, précis et diagnostiquespour chaque évalué



Nombre de consultations des feedbacks par les étudiants en fonction de l'heure

0

100

200

300

400

500

600

700

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

No

mb

re d

e co

nsu

ltat

ion

s d

es f

eed

bac

ks v

ia in

tern

et

Nombre de consultations des feedbacks par les étudiants en fonction de l'heure

0

100

200

300

400

500

600

700

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

No

mb

re d

e co

nsu

ltat

ion

s d

es f

eed

bac

ks v

ia in

tern

et

pics de consultations

à l'ULg

pics de consultations

hors l'ULgULg

hors ULg

(Gilles, 2004)


8. Macro-régulation2. DesignModalities of the Questions (MQ),



selection






Item bank


questions defined




with OMR



of the results

online access FB










selection




selection









Item bank


questions defined




with OMR



of the results

online access FB










- Sélectionner des critères de qualité et les

croiser avec les produits finaux des différentes

étapes

- Proposer des améliorations

Produit de cette 8ème étape : Une série de pistes d’amélioration de la qualité pour le prochain examen



Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)

1

2

3

4

5

6

[1.1]

Le m

ode d

'évalu

ation

était

adéq

uat

[1.2]

L'en

traîne

ment a

vant

l'exa

men ét

ait su

ffisa

nt

[1.3]

Les

ques

tions

étaie

nt cla

ires

[1.4]

Que

stion

s bien

adap

tées à

la m

atière

[1.5]

Le m

ode d

'évalu

ation

perm

et au

prof

. d'av

oir un

e bon

ne re

prés

entat

ion de

s...

[1.6]

L'év

aluati

on es

t équ

itable

et im

parti

ale

[2.1]

Les

exige

nces

de l'e

nseig

nant

sont

claire

ment p

résen

tées

[2.2]

Les

exige

nces

de l'e

nseig

nant

sont

prés

entée

s en t

emps

utile

s

[2.3]

L'en

seign

ant m

et l'é

tudian

t à l'a

ise à

l'exa

men or

al

[2.4]

L'ho

raire

fixé p

our l

'exam

en es

t res

pecté

[3.1]

Les

répo

nses

corre

ctes s

ont c

ommun

iquée

s aux

étud

iants

après

l'exa

men

[3.2]

L'an

alyse

stati

stiqu

e de l

a qua

lité d

es qu

estio

ns (r

.bis)

est c

ommun

iquée

[3.3]

Apr

ès l'e

xamen

, l'étu

diant

peut

obten

ir de

s exp

licati

ons s

ur la

quali

té de

ses r

épon

ses a

u...

Moy

enne

s de

s av

is

1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)

(Gilles, 2002)


(Approche qualité en évaluation - Gilles, 2002)



Solutions matérielles :

Une chaîne complète de lecture optique de marques

Un système de boîtiers de votes électroniques qui permettent d’animer des séances de cours interactives et de fournir des feedbacks en direct aux étudiants

Assess- Group

S.A.



Assess- Group

S.A.

Solutions logicielles :

Testing Interactif Multimédias via Internet (TIMI)

electronic Network for Global Evaluation of Learners’ Satisfaction (e-NGELS)


« L’évaluation des examens n’est que très rarement à l’ordre du jour. D’ordinaire, tout examen et sa qualité reste exclusivement du ressort du professeur concerné… » Ricci (2006)

Blais & al. (1997)Consortium de recherche en ingénierie docimologique et didactique (CRIDD)

En 2007 : réplication interuniversitaire coordonnée par le SMART et le Service de didactique générale et

intervention éducative


Liens utiles : Sites web : Système Méthodologique d’Aide à la Réalisation de Tests (SMART – ULg)

www.smart.ulg.ac.be

Spin off Assess-Group S.A. : testing standardisé et soutien logistique aux enseignantswww.assess-group.be

Plateforme e-C&QCST : hosting pour les enseignants

http://e-cqcst.assess-group.be/

Did@campus du Service de didactique générale et intervention éducative (ULg)www.sdg-ulg.net/didacampus/

Articles en ligne :

Electronic Construction and Quality Control in Standardized Testing: the e-C&QCST project (Gilles, J.-L., Piette, S.-A., Detroz, P., Tinnirello, S., Pirson, M., Dabo, M., Lê, H., 2005)

http://www.jlgilles.net/articles/e-cqcst-earli-2005.pdf

Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en terme de validité, fidélité, sensibilité des mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité (Gilles, J.-L. et Lovinfosse, V., 2004)

http://www.jlgilles.net/articles/Gilles_Lovinfosse_amse_2004.pdf

De la recherche à la consultance : le choix stratégique d’un transfert d’activité opéré par l’équipe du Système Métho-dologique d’Aide à la Réalisation de Tests (SMART) de l’Université de Liège. (Gilles, J.-L., Detroz, P., Tinnirello, S., 2006)

http://www.hec.ulg.ac.be/FR/lentic/pdf/Com_Gilles_Detroz_Tinnirello.pdf

Observations sur les études universitaires à la FAPSE-ULg. (Debry, M. & al., 1999)

http://www.jlgilles.net/articles/oeuf_1999.pdf

http://www.smart.ulg.ac.be/


Merci pour votre attention,

N ’hésitez pas à prendre contact si vous souhaitez de plus amples informations

[email protected]

activité cds #7 construire et gérer des examens standardisés de qualité :

Documents