1 les projets pépite et lingot m2-ifl, du-tice, 12-10-2011 [email protected] Équipe...
TRANSCRIPT
1
Les projets Pépite et Lingot
M2-IFL, DU-TICE, [email protected]
Équipe Mocah du LIP6
Diagnostic cognitif et EIAHDe la recherche aux usages
EIAH ? UE coordonnée par Mme Amel Yessad Domaine de recherche sur les
Environnements Informatiques d’Apprentissage Humain
Références francophones incontournables Livre du même nom
http://lutes.upmc.fr/delozanne/DocEiah/Livre%20EIAH2006/livreEIAH2006.htm
Revue en ligne gratuite : Sticefwww.sticef.org
2
Objectifs du cours aujourd’hui Donner un exemple
de coopération chercheurs en EIAH/professionnels de diagnostic cognitif de modèle d’apprenant
Faire manipuler des prototypes de diagnostic cognitif plusieurs types de modèle et de représentation
• didactique : tableau• conceptuel : tableau, diagramme• données : structure d’un fichier xml
Suivre sur l’évolution des prototypes, les étapes d’une recherche itérative et pluridisciplinaire en EIAH
3
Pépites ? Lingot ? Dans la boue des productions des
élèves… x + 8 = 8x Il ne faut pas additionner les
puissants
… trouver les granules de connaissances pour forger
… des connaissances conformes au référentiel des programmes
4
Plan
Les projets Pépite et Lingot Contexte, objectifs Questions de recherche Une recherche collaborative et itérative
Diagnostic cognitif Parcours d’apprentissage différencié Résultats et perspectives
5
6
Le projet Lingot Objectifs
Instrumenter la gestion de la diversité cognitive des élèves dans une classe en algèbre élémentaire
3 axes de recherche Diagnostic (projet Pépite)
1. Analyser les réponses à des exercices2. Détecter des cohérences
- Obstacles/Leviers pour l’apprentissage3. Situer un élève (un groupe d’élèves) par rapport
à la compétence de référence Apprentissage
• Parcours d’apprentissage adaptées au bilan Instrumentation de l’activité des enseignants
• Organiser un enseignement différencié
Démarche en EIAH Partir
De l’expertise de chercheures en didactique• du laboratoire André Revuz (ex-Didirem)
De l’expertise d’une communauté de pratique• association Sésamath
Des l’état des recherches en EIAH Créer des modèles informatiques et des logiciels Tester les prototypes dans les classes En retour
Enrichir l’expertise didactique Enrichir l’expertise et la plateforme de Sésamath Enrichir l’expertise en conception d’EIAH Être utile aux élèves et aux professeurs ?
7
8
Projet pluridisciplinaire
IA
Didactique des Mathématiques
Environnements Informatiques
d’Apprentissage Humain
Psychologie et Ergonomie Cognitive
IHM
GL IA
EnseignantsFormateursAssociation
ACA
Informatique
Didactique des maths
L’ équipe (une partie) Informatique
Sésamath
9
Enseignants
…
Ergonomie
Sésamath Une association (2001) de bénévoles + 6 salariés Un site : http://www.sesamath.net/ Des manuels
Papier• Bons et moitié moins chers• 18% du marché français• Financent les frais de fonctionnement
En ligne : gratuits et source accessibles Une plateforme d’outils libres et gratuits
Pour les profs de maths • 14 643 inscrits
Pour les élèves • 450 000 inscrits• 1,3 million connections /mois
10
11
Conception participativeLa participation des enseignants aux projets de
recherche Difficile à mettre en œuvre
Nécessite du temps• Temps de la recherche• Temps de l’action
Une réflexion pour faire leur place Des prototypes pour expérimenter
Collaboration avec l’association Sésamath "Transformer
• une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances " [Muller 03]
12
Cadres conceptuels Informatique
Conception centrée utilisateur-participative (Schuller 93, Mackay 04)
Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)
Ingénierie dirigée par les modèles (Favre et al. 06)
Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)
EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et
al 00, Caroll 00)
Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04)
Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)
Didactique des mathématiques Dialectique outils/objets, jeu de cadres et registres,
ingénierie didactique , approche anthropologique• (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07)
Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)
Questions de recherche1. Comment modéliser les connaissances d’un élève ?
Modèle de référence : didactique/enseignants/informatique2. Quelles situations mettre en place pour recueillir des
observables ? Modélisation des tâches diagnostiques, Banque de tests
3. Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer l’élève par rapport à une référence :
stéréotypes/groupes4. Comment exploiter le diagnostic en prenant des décisions à
partir des observables ? Prise de décisions didactiques (enseignants ou machine)
• Aide à la décision pour organiser des parcours Réflexion métacognitive avec l’élève
5. Comment évaluer les outils produits ?13
Cycles de recherche1. Une analyse didactique cognitive et épistémologique
un outil de diagnostic papier (Grugeon 95)
2. Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000)
3. Une nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005)
4. Une modélisation générique du diagnostic Génération des exercices et de l’analyse
automatique des raisonnements : PépiGen et Pépinière (Prévit 2008)
5. Dissémination : association Sésamath-MathEnPoche Prototype/application disponible à large échelle :
PépiMep (Darwesh et al. 2010)
Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï
2011) 14
Plan
Les projets Pépite et Lingot Diagnostic cognitif ?
Définitions Dans Pépite
• Modèle de l’élève• Exercices de diagnostic et génération de clones• Diagnostic local/global
Parcours d’apprentissage différencié Résultats et perspectives
15
Diagnostic cognitif en EIAH ? Processus
« Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité »
(Delozanne et al. 2010) Résultat du processus
Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences
16
Diagnostic cognitif Analyse de la résolution de problème par un sujet
Performance Connaissances, procédures et stratégies
• Correctes ou inadaptées Objectifs
Intervention• Améliorer la performance, certifier • Réguler les apprentissages
Scientifique• Comprendre
- des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception
• Modéliser pour simuler, prédire, classifier 17
Différents modèles Approches symboliques
Psychologie cognitive• ACT : geometry tutor, Algebra tutor (équipe de
Pittsburg 1983 … 2011)
• Diane : problèmes additifs école primaire (Hakem ,Sander, Labat, 2005)
• Plasturgie (Richard, Pastré, Labat et al. 2006)
Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)
• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011)
Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)
Réseaux bayésiens (Labat, Hibou 2007)
18
Q1 : Modéliser les connaissances d’un élève
Enseignants Connaissance de référence : capacités (Programmes scolaires)
• ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable
Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques
Connaissance de référence• Organisation mathématique• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes
- trous, capacités implicites Connaissances d’un élève
• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs
• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage
19
Modèle de l’élève dans Pépite Bilan cognitif : 3 niveaux de description
20
Q2 : Recueillir des observables ? Un élève passe un test
Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves• Erreurs/réussites• Des indices de misconceptions/leviers
d’apprentissage Un exercice diagnostique
Énoncé et questions • Choix multiple /réponses ouvertes (expression
algébrique ou un raisonnement) Une grille d’anlyse des réponses
• Types de réponses anticipées• Évaluation multidimensionnelle de ces réponses 21
Un exemple Vous allez passer un test en ligne
Niveau fin de 3° Connectez-vous sur LaboMep comme élève
Les identifiants et mots de passe circulent Sélectionnez la séance Test-12-10-2011
Répondez aux questions Consignes
Toujours cliquer sur OK avant de changer d’exo Ne pas revenir en arrière
22
Un exercice diagnostique
23
Diagnostic local(1)Réponse Type Codes + interprétations
x + 8 = 8x8x3 × 8x = 24+3x= 27x27x-4 = 23x23x+x=24x24x/4=6x6x+2=8x8x-x=7
Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée
V3 incorrecteL3 lettres avec règles faussesE2 = annonce de résultatJ31 pseudo-formelleT2 traduction pas-à-pas séparéeEA42 règle incorrecte d’ assemblageRègles utilisées (incorrectes) :A+B = ABA X B = (A B) XA X - X = A – 1
24
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Diagnostic local(2)Réponses Type Codes + interprétations
3 + 8 = 1111 × 3 = 3333 - 4 = 2929 + 3 = 3232/4 = 88 + 2 = 1010 - 3 = 7
Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects
V3 incorrecteL5 pas de lettresE2 = annonce de résultatJ2 justification par un exempleT2 traduction pas-à-pas séparéeEN1 écritures numériques correctes
25
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Diagnostic local (3)Réponses d’élèves Codes + interprétations
(3+8 × 3-4+3)/4+2-332/4+2-38+2-310-3
V3 incorrecteL5 pas de lettresJ2 par l’exempleT3 globale non parenthéséeEN1 : écritures numériques correctes
((5+8)×3-4+5)/4+2-5=7 ?((13)×3-4+5)/4+2-5=7 ?(39-4+5)/4+2-5=7 ?10+2-5=7 ?10-3=7 ?7=7 ?
V3 incorrecteL5 pas de lettresJ2 par l’exempleT1 globale parenthèsée, équationEN1 : écritures numériques correctes
((x + 8) × 3 - 4 + x) / 4 + 2 - x=( 3x + 24 - 4 + x)/4 + 2 - x=(4x +20) / 4 + 2 - x=x + 5 + 2 - x=7
V1 correcte, L1 nb généraliséJ1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. CorrecteRègles utilisées(A+B)C = AC+BC Règle correcteAC+BC = (A+B)C Règle correcte(A+B)/C = A/C+B/C Règle correcteAC+BC = (A+B)C Règle correcte 26
Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests
diagnostiques
Thèse de D. Prévit (2008) Travail didactique et premier prototype Pépite1
Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe
Logiciel PépiGen• Caractérisation des exercices équivalents du
point de vue diagnostique (clones)• Génération des clones• Analyse multicritère automatique des réponses
ouvertes à chacun de ces clones
27
28
PépiGen
Auteur
Système auteur PépiGen
saisit les paramètr
es
Pépinière
expression
algébrique
arbre des solutions
anticipées
est chargé
produit un
clone
Modèle de Classe exercices
XM L
Banques
d’exercices
XM L
29
30
Grille de codage : (x + 6)* 3 - 3 * x
<Solution> <Interprétation> Tentative de démarche algébrique mais l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation> <Type>10.7</Type> <Code>V3,L3,T4,J3</Code> <Expression>(x+6)*3</Expression> <Expression>x*3+18</Expression> <Regle>V,7</Regle> <Expression>3*x</Expression> <Expression>3*x+18-3*x</Expression> <Expression>18</Expression> <Regle>V,31</Regle> </Solution>
(x+6)*3=3x+18-3x=18
31
Pépinière Un logiciel de calcul formel qui manipule des
arbres pour : Analyse syntaxique des expressions
algébriques• Grammaire algébrique
Transformations algébriques • Règles de réécriture correctes ou incorrectes
Génération des solutions plausibles anticipées• Unification et heuristiques
Comparaison des expressions algébriques• Arbres superposables
Arbre des solutions anticipées
(x+6)*3-3x
-2x+18
18
3x+18-3x
x*3+6*3-3x x+6*3-3x
3x+18-3x
18x
21x-3x
R1
R3
R3
R2
R4
R3
R3
21x-3x
18x
Erreur de parenthèse
avec mémoire
Règles correctesR1 : (A+B)C AC+BC
R3 : AB+AC A(B+C)
R2: (A+B)C A+BC
R4: AB+C B(A+C)
Règles erronées
18
R3
R4
V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32
Q3 : Construction du Bilan ? L’élève passe un test PépiTest
Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse :
type de réponse et vecteur de codes (diagnostic local)
2. Agrégation des codes Bilan cognitif : caractéristiques personnelles +
stéréotype3. Formation d’un groupe pour parcours
d’apprentissage
33
Étape 1 : Analyse des réponses Diagnostic local : PépiDiag
Compare la réponse de l’élève à une des réponses anticipées de la grille de codage
Utilise d’un logiciel de calcul formel : Pépinière• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressions
34
35
Interpréteur : PépiTest
Elève
XM LInterpréteur
PépiTest
Résout les
exercices
Charge le test avec
les réponses de
l’élève
est chargé
Enregistre le test avec
les réponses de l’élève
Test constitué d’exercices
XM L
Réponse de l‘élève
36
Diagnostiqueur : PépiDiag
XM L
Diagnostiqueur PépiDiag
est chargé
Module
Pépinière
Tester l’équivalence de 2 arbres
d’expression
retourne vrai/faux
Enregistre les
réponses
avec le diagnosti
c local (type et codes)XM L
grille de codage
XM L
Réponse de
l’élève
est
chargé
Conception du diagnostic local Fondée sur les réponses anticipées et le fichier grille
de codage Réponses ouvertes
~10-15 % de réponses non diagnostiquées par le logiciel• Erreur de saisie• Réponses imprévisibles
Couteux En expertise didactique + Analyse de corpus
Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse
Complexe pour les raisonnements37
Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) N = 360 élèves 3 experts
trouvent le travail fastidieux (7 à 10 h pour un seul exercice)
se trompent plus que le logiciel Résultats
Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag
Réponses imprévisibles • 2/3 des réponses incorrectes non analysées par
le logiciel, ne sont pas non plus analysées par les experts
38
Étape 2 : Bilan cognitif Un bilan =
Un stéréotype • niveau de compétence sur les 3 composantes
- Usage de l’algèbre, calcul algébrique et traduction d’une représentation dans une autre
Des caractéristiques personnelles • taux de réussite• leviers• fragilités • liste des erreurs• liste des réussites
Ex. : bilan d’Elie
39
Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe
• Apprentissage différencié• Dynamique de l’ensemble
Groupes de stéréotypes 36 stéréotypes, 15 en pratique Regroupement des stéréotypes voisins selon la
composante sur laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur
calcul et commencent à choisir les outils adaptés au problème
- A+ : savent traduire algébriquement des situations diverses
- A- : erreurs de traduction Ex. : groupes en 2nde
40
Évaluation des groupements En cours 1 expérimentation passée
Points de vue Usage Le prof a fait 3 groupes A, B , C Travail par 2 : (A+, A-), (B+, B-), (C+, C-)
Pour favoriser les explications entre pairs Travail en classe, puis devoir à la maison Nécessité de définir
Des étapes (ex. introduction, révision) Un objectif commun à la classe
Point de vue Élève• Évolution locale importante
4 expérimentations en cours 41
Q4 : Exploitation du diagnostic Tutorat individuel
Réflexion métacognitive avec l’élève Travail dans la classe
Projet avec Sésamath Parcours d’apprentissage différencié (Pad)
• Thèse en didactique des mathématiques de Julia Pilet
- Mise au point des parcours d’apprentissage différencié
- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai
- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place
42
PépiPad : Un scénario Qui ?
Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep
Contexte : MF va aborder le chapitre calcul littéral dans la
classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables
Prérequis MF demande à ses élèves de passer le test à la
maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad
43
Scénario (suite) Paramétrage : MF choisit
Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux
expressions PépiPad affiche pour chaque groupe
les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités
Adaptation MF qui ne dispose que de 30 min sélectionne un seul
objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe
- Une liste d’élèves- Une liste de ressources
écran 44
Modèle de connaissance Parcours
Un ensemble d’exercices pour un groupe Exercice caractérisé
Capacités Niveau scolaire Variables didactiques
• Objets mathématiques• Cadre et registres en jeu• Degré de guidage
Identifiant Origine Titre
45
Capacité Composante de la compétence
Ex. calcul algébrique Groupe de capacités
Ex. calculer, tester, factoriser Capacité
Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable
Exemple : capacités liées au calcul algébrique
46
47
Ontologie simplifiée
Etat des lieux Fait : Pour chaque groupe
Conception de l’ontologie Expliciter les objectifs principaux et secondaires Les lier avec les capacités Maquette de l’interface
En cours : Indexer les ressources hétérogènes
• Exercices interactifs de labomep• Exercices papier des manuels et des
didacticiennes• Exercices de diagnostic
Associer les objectifs aux étapes Mise en place des structures de données
48
49
PépiPad
Bilans cognitifs des élèves
Générateur de Parcours
Banque d’exercices
Règles de calcul de parcours
Pépite
construit
Utilise l'ontologie des exercices
paramètre
prof
Résultats (actuels) du projet Une méthode de diagnostic Des modèles exécutables
de tâches diagnostiques de bilan cognitif sur trois niveaux de description
Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand
public Des corpus de réponses importants
50
Méthode de diagnostic Trois temps1. Diagnostic local
Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes
2. Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers,
fragilités, règles fausses et correctes3. Diagnostic global collectif
Position de l’élève par rapport à une référence/au groupe
Niveau sur chaque composante Caractéristiques communes à un groupe
51
Modèles des tâches diagnostic (1) Un exercice
Interface
Une analyse didactique initiale Ex
Modèle conceptuel de l’exercice 3 Ex
Modèle informatique de l’exercice 3 Originel Un clone
52
Modèles des tâches diagnostic (2) Modèle général d’une Classe d’exercice
schéma Schémas XDS de grille d’analyse des réponses
anticipées à une question schéma
53
Dissémination (2010-12) Projet PICRI financé par la région Ile-de-France
Lien recherche/association société civile Objectif
mise à disposition des enseignants sur la plateforme Sésamath• Diagnostic fiable• Parcours d’apprentissage adaptés au bilan
cognitif des élèves Questions de recherche
Comment passer d’un prototype de recherche à un logiciel fiable et robuste ?• Conception participative
Comment concevoir la différenciation ?• Gestion de la classe/personnalisation 54
Perspectives Court terme (fin de l’année)
PepiPad opérationnel Moyen terme (fin du financement 2012)
articuler • Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur
l’historique et les caractéristiques personnelles Long terme (prochain projet)
Des scénarios plus ludiques
55
56
Résumé (1) Coté recherche :
comprendre les difficultés des élèves• Récolter des corpus
produire des modélisations exécutables d’une expertise didactique
Coté application : produit innovant en rupture avec les pratiques
usuelles• faciliter la genèse instrumentale
dissémination de résultats de recherche
57
Résumé (2) Cycle N°1 (1995) : outil papier-crayon
modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite
systématisation, réification du modèle de compétence diagnostic semi-automatique
Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel,
raisonnement algébrique) vers une géographie de la classe (stéréotypes)
Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic
• plus générique (classes d’exercices) • plus fiable (raisonnement algébrique)• pour l’élève
Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage Logiciel PépiPad