anne soussi, edith guilley, ninon guignard, christian nidegger

Séminaire de midi du 23 avril 2009

Evaluation des acquis des élèves àl'école obligatoire

Anne SoussiEdith Guilley

Ninon GuignardChristian Nidegger

DépartementOffice


Plan de la présentation

1. Objectifs de l'étude et déroulement

2. L'évaluation externe en Europe et en Suisse romande

3. Le dispositif d'évaluation cantonale/commune à Gen ève

4. Les points forts et les points faibles de cette év aluation selon les acteurs interrogés

5. La qualité technique des épreuves

6. Analyse comparative d'une épreuve de mathématiques en 6e et en 7e

7. "Prédictivité" des EC de 6 e sur la réussite au CO

8. Synthèse et discussion


Les objectifs du mandat

� Etablir un inventaire des dispositifs d'évaluation existants s'adressant aux élèves, aux établissements et au système scolaire:– Objectifs et contenus des différentes évaluations

– Modalités de conception, réalisation, traitement et analyse

– Utilisation de ces évaluations

� Analyser les points forts et faibles ainsi que les opportunités d'amélioration de ces dispositifs

� Les mettre en perspective avec les nouveaux dispositifs (tests de référence HarmoS) et épreuves de référence romandes

� Proposer une organisation transversale d'évaluation des acquis des élèves à l'école obligatoire

� Etablir un plan de mise en œuvre


Les méthodes (I)

� Ie phase (fin-mai - fin septembre)

• Entretiens avec différents acteurs : SG, directrices de l'enseignement, coordinateur ou responsable des épreuves cantonales / communes, concepteurs ou commissaires d'épreuves cantonales /communes

• Grille pour identifier points forts et points faibles : 3 critères (qualitétechnique, utilité, efficience/efficacité)

• Analyses docimologiques de quelques épreuves:

fiabilité /fidélité

validité de contenu et prédictive


Les méthodes (II)

� IIe phase (novembre - mi février)

• Entretiens avec des enseignants de l'école obligatoire en tant que principaux utilisateurs:

- Au primaire, par école

- Au CO, par discipline

• Analyses docimologiques: stabilité des épreuves (difficulté), comparaison de classes (dans un établissement)

• Analyse comparative d'épreuves de français et de mathématiques 6e-7e

• Parcours d'élèves de la 7e à la 9e en fonction des résultats aux EC de 6P










8. Synthèse et discussion


L'évaluation externe en Europe

Deux groupes de pays:� Un premier groupe assez conséquent (Belgique francophone, Danemark,

Finlande, France, Hongrie, Islande, Italie, Lettonie, Malte, Norvège, Pays-Bas, Pologne, Portugal, Royaume-Uni et Suède):

- évaluation externe le plus souvent portant sur des compétences scolaires (langue d'enseignement et mathématiques, éventuellement les sciences et la langue 2)ou des compétences transversales

- peut être obligatoire et être passée à tous les élèves, diagnostique ou bilan

- majorité a une évaluation externe certificative à la fin de l'année, d'un cycle ou de la scolarité obligatoire

� Un deuxième groupe (Allemagne, Espagne, Roumanie, Chypre, Suisse, etc.):

- ne font pas appel à des évaluations externes nationales mais ont des curricula définis en terme de compétences avec des descripteurs de niveaux à atteindre


La situation en Suisse romande

Epreuves de référence certificatives en Suisse romande en 2006-2007

●●●●Vaud

●●●●Valais

●Neuchâtel

●Jura

●●●●●●Genève

●●●Fribourg

Berne

987654321Degrés

Cantons

Source: Wirthner et Ntamakiliro, 2008










8. Eléments de réflexion en vue d'une nouvelle organi sation de l'évaluation cantonale / commune


Organisation du dispositif EC à l'école primaire et au CO

Ecole primaireQui- Coordinateur EC (expert en docimologie- Concepteurs (formateurs du CEFOP: didacticiens des différentes disciplines + experts en évaluationComment1) en mai-juin: avant-projet réalisé par les concepteurs /didacticiens des disciplines soumis à la directrice de l'enseignement et au coordinateur pour validation2) Elaboration de l'épreuve par les concepteurs /didacticiens, validation par le coordinateur3) Début d'année scolaire: prétest dans 3 classes; analyse du prétest présentée à la directrice - Modifications en fonction du prétestet des remarques de la directrice4) Novembre-décembre: épreuve soumise pour lecture et validation institutionnelle finale

Cycle d'orientationQui - Responsable évaluation commune

- Commissaires d'épreuves (enseignants : degrèvement) par discipline et degré sous resp. PG

Comment1) Champ de l'épreuve déterminé par commissions d'enseignants et soumis pour validation au PG2) Validation par le coordinateur, responsable du SEC en fonction du champ attendu selon le plan d'études.3) Elaboration des épreuves par les commissaires et relecture par le PG puis conseil de direction et autre personne spécialiste en évaluation ou de la discipline concernée.4 ) Relecture par le responsable du SEC qui essaie les exercices et teste les critères de correction5) Dernière relecture par la directrice de l'enseignement ; délai final : mars










8. Eléments de réflexion en vue d'une nouvelle organi sation de l'évaluation cantonale / commune


Points forts – Qualité technique

●●●●Expérience des concepteurs

●●Bon reflet de ce qui est attendu

●●●●Bonnes conditions de passation et critères de correction

●Stabilité de contenu

●●●Objectifs identifiables grâce aux tables de spécification

●●●Existence de prétests

●●Bonne validité interne

●Evaluation moins subjective que celle enseignant

●●●Qualité

●Evaluation fonctionne bien, bp d'épreuves

Ensei-

gnants

DG, Coord.,

Concepteurs

Ensei-

gnants

DG, Coord.,

Concepteurs

SGCOEP


Points faibles – Qualité technique (1)

●●●●●Différences d'approches et d'EC selon les disciplines

●Plus grande cohérence EP-CO: contenu, objectifs,

conditions

●●Prétests variables

●●●●●●●●●Conditions de correction peu fiables

●●●●Conditions de passation peu fiables

●●Equipes de commissaires changent; formation des

commissaires

●●●●Absence d'enseignants dans le processus de conception

●Associer personnes avec compétences complémentaires

(connaissance programme, docimologie)

●●Jouer un rôle si standardisées (table de spécification,

stabilité contenu, moyen d'analyse, etc.)

Ensei-

gnants

DG, Coord.,

Concepteurs

Ensei-

gnants

DG, Coord.,

Concepteurs

SGCOEP


●Manière de construire les barèmes (a posteriori)

●Manière d'évaluer (notamment les compétences complexes)

●Niveau des EC parfois peu adapté

●●Tout n'est pas mesuré

●●Contenu et organisation de l'épreuve (p.ex. partir d'un squelette

ou d'une table de spécification)

●Epreuves différentes d'une année à l'autre

●●●●●Problèmes liés à la prise en compte des élèves des différents

niveaux (A et B)

EnseignantsDG, Coord.,

Concepteurs

EnseignantsDG, Coord.,

Concepteurs

SGCOEP

Points faibles – Qualité technique (2)


●●Motivent les élèves (ex. pour les révisons) et/ou enseignants

concepteurs

●Habituent les élèves à être autonomes et à être évalués sur un champ

large

●●Important pour élèves et parents

●●Comparer sa classe aux résultats du canton, se situer

●Effet de cohésion entre les degrés

●●●●●●●Attentes communes pour tous, harmonisation, unification des pratiques

●Attester des savoirs fondamentaux que les élèves doivent avoir acquis

à la fin d'une année

●●●●Permet de montrer les attentes institutionnelles, effet rassurant pour

enseignants

●●●●●●●Répond à trop de besoins

Ensei-

gnants

DG, Coord.,

Concepteurs

Ensei-

gnants

DG, Coord.,

Concepteurs

SGCOEP

Points forts – Utilité (1)


●●Crédibilité par rapport aux autres ordres d'enseignement

●●●●Aident à modifier les pratiques

●●●Réflexion sur pratiques

●Effets sur évaluations internes

Ensei-

gnants

DG, Coord.,

Concepteurs

Ensei-

gnants

DG, Coord.,

Concepteurs

SGCOEP

Points forts – Utilité (2)


Points faibles – Utilité

●Réduction du programme au contenu des EC

●●Effet de bachotage

●●●Manque une évaluation-système

●Répond à trop de besoins (vérifier les acquis, réguler

l'enseignement mais aussi aider au pilotage)

●Liens avec résultats aux autres évaluations

●●Trop lourd, trop stressant (ex.2P ou pour enseignants et élèves)

●●●●Trop d'importance pour parents et élèves

●●●●●●●●●Ce qu'on en fait après, exploitation et analyse des résultats

Ensei-

gnants

DG, Coord.,

Concepteurs

Ensei-

gnants

DG, Coord.,

Concepteurs

SGCOEP


Points forts et points faibles –Efficacité /efficience

Surcharge de travail (correction et saisie des résultats)

●Prise en compte : trop de poids attribué; EC comptent de la même

manière que les autres évaluation mais angoissent les élèves

●Place des EC dans le carnet

Points faibles

●●EVACOM permet une gestion efficace de la saisie des données et des

résultats

●●Bonne prédictivité des EC et liens avec évaluation des enseignants

Points forts

Ensei-

gnants

DG, Coord.,

Concepteurs

Ensei-

gnants

DG, Coord.,

Concepteurs

SGCOEP










8. Eléments de réflexion en vue d'une nouvelle organi sation de l'évaluation cantonale/commune


Critères de qualité technique des épreuves

Objectif prioritaire: la certification des élèves :

• Validité :Mesure d'une compétence et d'une seule; sans biais; équité

• Fiabilité :Confiance, précision de l'évaluation des compétences


Pour la certification des élèves

Fiabilité des épreuves

� Situer les compétences / connaissances des élèves:

- 1) par rapport à un seuil de réussite

- 2) sur échelle du test (note)



Certification des élèves: situer les élèves par rapport à un seuil de réussite

Pro

babi

lité

de r

épon

dre

just

e

Compétences / connaissances (standardisées)


Certification des élèves: situer les élèves sur l'échelle du test


Pro

babi

lité

de r

épon

dre

just

e

Compétences / connaissances (standardisées)


Epreuves analysées

MATHMATH2008

FRMATHFR + MATHFR + MATHFR + MATH2007

FRFR2006

9ème7ème6ème4ème2ème

CYCLEPRIMAIRE


• Certification:Situer les compétences / connaissances des élèves:

par rapport au seuil de réussite

sur l'échelle du test

Fiable : primaire, cycle

Fiable : primaire, cycle Mais ATTENTION aux compétences détaillées(ex. espace / nombre; compréhension orale en 2P (2006), production écrite, langue et moyens langagiers)

Fiabilité des épreuves: résultats(mathématiques, français)


Concevoir une épreuve: un exercice difficile

• Difficile compromis entre fiabilité / nb de questions• Généralisation des pré-tests• Recueil et analyse des résultats par questions (items)


Traitement

• Barème a posteriori• Barème a priori

• Différenciation selon regroupement

• Concepteurs• Table de spécification aux enseignants:

- attribution de questions aux domaines

- types de questions

• Evacom: nombre de points par questions relevé

• Note globale

7e CO6P


Forme

95 min.95 min.2 x 120 min.temps

677238points

545546items

181813questions

7e CO B-C7e CO A-H6P


Contenu(répartition du nombre de points selon les domaines )

18%21%18%43%7e CO B-C

22%21%17%40%7e CO A-H

16%21%26%37%6P

géométriemesureproportions(application)

nombre / opérations


Questions à l’évaluation et … à l’enseignement

� Pourquoi en une seule année, perd-on 60% de temps pour faire une épreuve plus conséquente en nombre d’activités ?

� Pourquoi y a-t-il rupture dans la continuité en ce qui concerne certains contenus ?

� Spécificités genevoises: quel avenir?










8. Eléments de réflexion en vue d'une nouvelle organi sation de l'évaluation cantonal/commune


Liens entre orientation et résultats aux EC de 6P –Situation en 9 e

10

32

69

40

33

9

12

16

14

0

3

3

2

0

4

7

3

18

5

1

18

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

0 ou 1 domaine réussi

2 domaines réussis

3 domaines réussis

9eA et ass 9eB 9eniv-options 9e privé 9eatelier 8eA

8eB 8eprivé 7edivers Secondaire 2 Autres

N=573

N=666

N=2626

Résultats aux EC de 6P


Eléments de réflexion (1)

• Objectifs et attentes des évaluations externes– Vérifier l'atteinte des objectifs et participer à la certification

– Epreuves du CO: également un rôle d'orientation

– Place des épreuves cantonales et communes dans la perspective du développement d'autres évaluations externes (Harmos, épreuves romandes)

• Contenu des épreuves et manières d'évaluer– Format des questions et choix des objectifs

– Représentativité des objectifs du plan d'études

– Mesurer les compétences complexes


Eléments de réflexion (2)

• Procédures pour atteindre des objectifs– Généralisation des prétests– Prise en compte des différents niveaux de compétences des élèves

• Administration, utilisation et exploitation de l'évaluation externe– Conditions de passation et de correction

– Analyse des résultats

• Compétences et ressources nécessaires– Des compétences multiples

– Mise en place d'équipes pluridisciplinaires– Mise à disposition de ressources suffisantes


Perspectives et développement

• Nécessité d'une clarification des finalités des évaluations cantonales et communes par le Département

• Consensus de la part de l'ensemble des acteurs sur le dispositif de l'évaluation externe (objectifs, organisation, etc.)

• La place et le rôle de l'évaluation externe doivent être définis en rapport avec les évaluations conduites par le maître et la part consacrée à l'évaluation dans l'enseignement.

• L'évaluation externe cantonale doit s'articuler avec les instruments en développement au niveau régional et national.


Merci de votre attention!


Stabilité des épreuves : difficulté(mathématiques 2007-2008, 7ème)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

-3.5 -3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0

Connaissances / compétences

Pro

babi

lité

de r

éuss

ir l'i

tem

item2

item14

item16

item1

item18

item8

item15

item17

item9


Stabilité des épreuves : difficulté(mathématiques 2007-2008, 7ème)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

-3.5 -3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0

Connaissances / compétences

Pro

babi

lité

de r

éuss

ir l'é

preu

ve

2008

2007

anne soussi, edith guilley, ninon guignard, christian nidegger

Documents