diagnostic cognitif et eiah de la recherche aux...
Post on 23-Jul-2020
7 Views
Preview:
TRANSCRIPT
1
Les projets Pépite et Lingot
M2-IMFL, DU-TICE, 15-10-2013Elisabeth.Delozanne@lip6.fr
Équipe Mocah du LIP6
Diagnostic cognitif et EIAHDe la recherche aux usages
Objectifs du coursDonner un exemple de§ Méthode
• coopération pluridisciplinaire chercheurs/professionnels§ EIAH
• modèle d’apprenant et diagnostic cognitif§ TICE
• dissémination de résultats de recherche dans sociètéVous faire manipuler § plusieurs types de modèles et de représentations
• didactique : texte, tableau• conceptuel : tableau, diagramme• informatique :
- en machine : structure d’un fichier xml- à l’interface : visualisation des données xml
2
Plan
Les projets Pépite et Lingot§ Motivation, objectifs
DémoDémarche de recherche§ Recherche participative et itérative§ Questions de recherche
Diagnostic cognitifParcours différenciés d’apprentissageDifférents types et formats de modèlesRésultats et perspectives
3
Des Pépites et des Lingots ?Dans la boue des productions des élèves…§ x + 8 = 8x§ Il ne faut pas additionner les puissants
… trouver les granules de connaissances pour forger
… des connaissances conformes au référentiel des programmes
4Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Origine du projet (~1990)Didactique § Algèbre : porte d’entrée/barrière enseignement scientifique§ Questionnement sur l’enseignement de l’algèbre§ Premier outil papier crayon
• diagnostic et activités différenciées• trop lourd à mettre en œuvre hors contexte de recherche
Informatique§ Modélisation de l’apprenant et diagnostic cognitif§ Automatiser un processus de diagnostic déjà
• très structuré• validé sur le plan épistémologique, cognitif et didactique• testé sur papier : étude de corpus (600 réponses)
5Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
6
Le projet LingotObjectifs§ Instrumenter la gestion par les enseignants
• de la diversité cognitive des élèvesComment ?§ Concevoir et mettre en œuvre des outils pour les
enseignants • issus de la recherche• accessibles en ligne• pour mettre en œuvre un enseignement différencié• fondé ☺sur un diagnostic fin des connaissances des élèvesLet pas seulement
– sur corriger des erreurs isolées– sur faciliter la tâche aux plus faibles
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
7
3 axes de recherche
1ier : Diagnostic (projet Pépite)
1. Développer des tâches diagnostiques (exercices)2. Analyser les réponses à des exercices3. Détecter des cohérences entre les réponses
• Obstacles/Leviers pour l’apprentissage4. Situer un élève (un groupe d’élèves) par rapport à la
compétence de référence
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
8
3 axes de rechercheDiagnostic : Pépite
Apprentissage : PépiPad§ Exploiter le diagnostic§ Parcours différenciés d’apprentissage adaptés au diagnostic
Instrumentation de l’activité des enseignants : PépiMep§ Usage des outils dans des situations de classe§ Mettre en ligne les outils développés
• plateforme MathEnPoche de Sésamath§ Gestion dans les classes d’un enseignement différencié
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Didactique des maths
Une équipe pluridisciplinaireInformatique
Sésamath
9
Enseignants
…
Ergonomie
SésamathUne association (2001) de bénévoles + 6 salariésUn site : http://www.sesamath.net/Des manuels§ Papier : bons et moitié moins chers
• 18% du marché français• Financent les frais de fonctionnement
§ En ligne : gratuits et sources accessibles• 1 600 exercices, 1 100 animations
Une plateforme d’outils libres et gratuits (Mep, LaboMep)§ Pour les profs de maths
• 14 643 inscrits§ Pour les élèves : 1/4 collégien français
• 1 million d’inscrits (sept-dec 2012)• 1,3 million connections /mois
10Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
LaboMepScenario d’utilisation
• le prof crée une séance en associant à la souris• des ressources • à un groupe d’élèves
• chaque élève • se connecte• utilise les ressources de la séance (exercices,
animations)• le prof peut consulter un bilan du travail des élèves
11Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Les usages de Pépite et PépiPadDe nombreuses expérimentations de 2001 à 2012En 2012 mise en ligne sur LaboMep (plateforme de
Sésamath)• des tests diagnostiques (3°-2nde)• puis des parcours d’apprentissages
Pour 2012-2013• 540 séances de tests diagnostiques crées par des
enseignants• 4221 élèves ont passé le test• 129 séances différenciées ont été crées• 49 enseignants ont répondu à un questionnaire en ligne
de 24 questions
Démo 12Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et Lingot§ Motivation, objectifs
DémoDémarche de recherche§ Recherche participative et itérative§ Questions de recherche
Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
13
ScénarioNous sommes une classe de 3° dans le collège Lingot de
Terre Adélie et de LaboMepJe suis votre prof de math1. Le prof prépare la séance de test diagnostique2. Chaque élève (vous) se connecte sur LaboMep et passe le
test en répondant aux questions (N’oubliez pas de cliquer sur OK, ne revenez pas en arrière)
3. Le prof regarde les bilans et choisit un thème de travail4. PépiPad génère une séance différenciée5. Le prof la modifie (ou pas) et l’enregistre6. Chaque élève (vous) travaille sur les exercices de sa
séance (rafraichir pour voir sa séance)
14Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et Lingot§ Motivation, objectifs
DémoDémarche de recherche§ Recherche participative et itérative§ Questions de recherche
Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
15
Démarche de recherche itérativePartir§ De l’expertise de chercheures en didactique
• du laboratoire André Revuz (ex-Didirem)§ Des l’état des recherches en EIAH et en informatique
• LIUM, LIP6§ De l’expertise des enseignants
• association Sésamath, IREM, IUFMCréer des modèles informatiques et des prototypesTester les prototypes dans les classesEn retour § Enrichir l’expertise
• didactique• des enseignants• en conception d’EIAH
§ Être utile aux élèves et aux professeurs ?
16Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Une recherche itérative
17
(Mackay et Fayard, 1997)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
18
Conception participativeLa participation des enseignants aux projets de rechercheDifficile à mettre en œuvre§ Nécessite du temps
• Temps de la recherche• Temps de l’action
§ Une réflexion pour faire leur place§ Des prototypes pour expérimenter
Collaboration avec l’association Sésamath§ "Transformer
• une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances " [Muller 03]
19
Cadres conceptuels (1/2)Informatique§ Conception centrée utilisateur-participative (Schuller 93, Mackay
04), Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)
§ Ingénierie dirigée par les modèles (Favre et al. 06), Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)
EIAH§ Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al
00, Caroll 00)
§ Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04)
§ Analyse de corpus, de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
20
Cadres conceptuels (2/2)Didactique des mathématiques§ Théorie Anthropologique du Didactique (Chevallard 92),
Théorie des situations didactiques (Brousseau 88), Dialectique outils/objets (Douady 90) Jeu de cadres et registres (Duval 95),
Ingénierie didactique (Artigue 91)
§ Didactique de l’algèbre (Grugeon 95, 08, Chevallard 85,Chevallard et Bosch 2012, Bardini 03, Sfard 91, Drouhard 92, Kieran 07)
Ergonomie§ Activité instrumentée (Rabardel 95, Rogalski 03)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Questions de recherche1. Décrire les connaissances du domaine, d’un élève ?§ Modèles de référence : didactique/enseignants/informatique
2. Mettre en place des situations pour recueillir des observables ?§ Modélisation des tâches diagnostiques, Banque de tests
3. Inférer les descripteurs à partir des observables ?§ Typer et coder les réponses : diagnostic individuel local § Détecter les cohérences : diagnostic individuel global§ Situer l’élève par rapport à une référence : stéréotypes/groupes
4. Exploiter le diagnostic ?§ Interfaces pour la prise de décisions didactiques (enseignants ou
machine)• Aide à la décision pour organiser des parcours
§ Réflexion métacognitive avec l’élève5. Comment évaluer les résultats produits ?
21Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Cycles de recherche1. Analyse didactique cognitive et épistémologique § Outil de diagnostic papier (Grugeon 95)
2. Conception centrée-utilisateur pour automatiser (partiellement) le diagnostic§ Prototype preuve de concept : Pépite (Jean 2000)
3. Nouvelle modélisation de l’élève§ 3 niveaux : PépiStéréo (Vincent et al. 2005)
4. Modélisation générique du diagnostic§ Logiciel de calcul formel : Pépinière § Génération des exercices et de l’analyse
automatique des raisonnements : PépiGen (Prévit 2008)
5. Dissémination : association Sésamath§ Prototype/application disponible à large échelle : PépiMep
(Darwesh et al. 2010)
6. Parcours d’apprentissage différencié : PépiPad (Pilet 2011, El-Kechaï 2011)
22Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Chronologie du projet
23Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Thèse de J. PiletPépiPad sur LaboMepDébut du recueil de traces
2013
PlanLes projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?§ Définitions et fondements didactiques§ Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
24
Diagnostic cognitif en EIAH ?Processus§ « Processus qui consiste à produire de façon
automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité »
(Delozanne et al. 2010)Résultat du processus§ Diagnostic cognitif§ Modèle de l’élève§ Profil cognitif§ Bilan des connaissances et des compétences
25Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic cognitifAnalyse de la résolution de problème par un sujet§ Performance§ Connaissances, procédures et stratégies
• Correctes ou inadaptéesObjectifs § Intervention : Évaluation
• diagnostique : Réguler les apprentissages• formative : Améliorer la performance• sommative : Certifier
§ Scientifique• Comprendre
- des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception
• Modéliser pour simuler, prédire, classifier
26Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Différents modèles (Cf. M. Labat)Approches symboliques§ Psychologie cognitive
• ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2013)
• Diane/Star : problèmes additifs école primaire (Hakem, Sander, Labat, 2005, Martin, Sander, Labat, Richard 2013)
• Plasturgie (Richard, Pastré, Labat et al. 2006)
§ Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)
• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011)
Approches numériques§ IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)
§ Réseaux bayésiens (Labat, Hibou 2007, Shute 2008)
27Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Evidence Centred DesignAnalyse du domaineModélisation du domaineModèle conceptuel de l’évaluation§ Modèle de l’élève§ Modèle de diagnostic (Evidence Models) : évaluation
• des productions d’élèves par item • sur l’ensemble du test
Modèle des tâchesModèle d’assemblage (test adaptatif)Modèle de présentation
28
(Mislevy 03, Shute 08)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Fondements didactiques de Pépite
29
Savoirsavant
Savoir enseigné
Cahiers d’élèves, discours
enseignantsSavoir de référence
Modèle épistémologique
Savoir à enseignerProgrammes officiels et documents
d’accompagnement
Savoir appris
Tests diagnostiques
(Transposition didactique, Bosch et Gascon 05)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Expressions algébriques
30
Aspects épistémologiques
Équivalence des programmes de calcul(Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012)
Équivalence des expressions algébriques(Frege 1971,Drouhard 1992, Kieran 2007)
Dialectique du numérique et de l’algébrique(Chevallard 1985)
Aspects procédural et structural des expressions algébriques(Sfard 1991)
Interprétation des expressions algébriques dans d’autres registres de représentation(Duval 1995, Bardini 2003)
Absent
Peu Présent (Pilet 2013)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Absent
Savoir à enseigner :
Des savoirs et savoir-faire implicitesÉquivalence des expressions§ Peu de référence
• à la dénotation• à l’organisation du contrôle des calculs
Dialectique du numérique et de l’algébrique§ Peu de lien avec le numérique (2 expressions renvoient ou
non les mêmes valeurs)Aspect structural et procédural§ Peu de référence au processus de calcul, à la reconnaissance
de la structure§ Expressions et consignes standardisées
Lien avec d’autres registres de représentations§ Peu de programmes et de schémas de calcul§ Un sens de traduction privilégié
31Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Types de tâches (extrait)
32
32
Produire AssocierTraduire
Développer
Factoriser
Réécrire
Calculer
Prouver l’équivalence
Identifier la structure
Tester l’équivalence
Choisir l’expression la plus adaptée
Génération des expressions
Équivalence des expressions
Algèbre des polynômes
Absent
Peu Présent
Présent
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Hypothèses didactiquesH1 : Une explication possible des difficultés des élèves
• Les trous, les implicites• Le peu de diversité dans le type des expressions et les
problèmes traitésH2 : Les réponses des apprenants à des problèmes bien
choisis révèlent des cohérences dans leur raisonnement § Q1 : Comment identifier ces cohérences ?
H3 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées d’enseignement§ Q2 : Comment différencier les parcours
d’apprentissage en s’appuyant sur ces cohérences ?
33Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Hypothèses informatiquesH1 : Il est possible de concevoir un logiciel pour recueillir des
traces numériques de l’activité algébrique des élèves pour détecter des cohérences
H2 : Il est possible de concevoir un logiciel qui les détecte de façon automatique (au moins partiellement)
H3 : Les logiciels produits pourront être utilisés dans les classes
H4 : La modélisation informatique de l’expertise didactique fera évoluer cette dernière
34Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?§ Définitions, Fondements§ Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
35
Q de recherche (rappel)1. Quel modèle de l’élève ? Quels descripteurs ?§ Logiciel pour présenter les résultats : PépiProf
2. Comment recueillir les observables ?§ Logiciel pour faire passer un test aux élèves : PépiTest
3. Comment analyser les observables pour obtenir les descripteurs ?§ Logiciel de diagnostic : PépiDiag
4. Comment exploiter les résultats du diagnostic ?§ Logiciel pour calculer des parcours d’apprentissage
différencié : PépiPad5. Comment évaluer les résultats ?
36Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Méthode de diagnosticTrois temps1. Diagnostic local§ Analyse de la réponse à une question§ Types de réponses anticipées + vecteur de codes
2. Diagnostic global individuel§ Cohérences entre les réponses§ Par composante : taux de réussite + leviers, fragilités,
règles fausses et correctes3. Diagnostic global collectif§ Position de l’élève par rapport à une référence/au
groupe§ Niveau sur chaque composante§ Caractéristiques communes à un groupe
37
Architecture de PépiMep
38
Exploite
PépiDiag
PépiDiagLocal PépiDiagGlobal
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Q1 : Modéliser les connaissances d’un élève
Enseignants§ Connaissance de référence : capacités (Programmes scolaires)
• ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable
§ Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques§ Connaissance de référence
• Organisation mathématique/didactique• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes
- trous, capacités implicites§ Connaissances d’un élève
• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs
• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage
39Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèle de l’élève dans Pépite3 niveaux de description
40
Diagnostic global collectif (exemple)
Stéréotype et groupe Niveau sur chaque composante
Diagnostic global individuel (sur un ensemble d’exercices)(ex)
Caractéristiques personnelles, leviers et fragilités
Par composante :Taux de réussite, indicateurs
Diagnostic local (sur un exercice) (exemple)
Type de réponse et règles appliquées Codage sur 8 dimensions
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Q2 : Recueillir des observables ?Un élève passe un test§ Un ensemble d’exercices conçus pour détecter des
cohérences dans l’activité mathématique des élèves• Erreurs/réussites• faiblesses/leviers d’apprentissage
Un exercice diagnostique§ Énoncé et questions
• Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement)
§ Une grille d’analyse des réponses• Types de réponses anticipées• Évaluation multidimensionnelle de ces réponses
41Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Un exercice diagnostique
42Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local(1)Réponse Type Codes + interprétations
x + 8 = 8x8x3 × 8x = 24+3x= 27x27x-4 = 23x23x+x=24x24x/4=6x6x+2=8x8x-x=7
Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée
V3 incorrecteL3 lettres avec règles faussesE2 = annonce de résultatJ31 pseudo-formelleT2 traduction pas-à-pas séparéeEA42 règle incorrecte d’ assemblageRègles utilisées (incorrectes) :A+B = ABA X ± B = (A ± B) XA X - X = A – 1
43
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local(2)Réponses Type Codes + interprétations
3 + 8 = 1111 × 3 = 3333 - 4 = 2929 + 3 = 3232/4 = 88 + 2 = 1010 - 3 = 7
Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects
V3 incorrecteL5 pas de lettresE2 = annonce de résultatJ2 justification par un exempleT2 traduction pas-à-pas séparéeEN1 écritures numériques correctes
44
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local (3)Réponses d’élèves Codes + interprétations
(3+8 × 3-4+3)/4+2-332/4+2-38+2-310-3
V3 incorrecteL5 pas de lettresJ2 par l’exempleT3 globale non parenthéséeEN1 : écritures numériques correctes
((5+8)×3-4+5)/4+2-5=7 ?((13)×3-4+5)/4+2-5=7 ?(39-4+5)/4+2-5=7 ?10+2-5=7 ?10-3=7 ?7=7 ?
V3 incorrecteL5 pas de lettresJ2 par l’exempleT1 globale parenthèsée, équationEN1 : écritures numériques correctes
((x + 8) × 3 - 4 + x) / 4 + 2 - x=( 3x + 24 - 4 + x)/4 + 2 - x=(4x +20) / 4 + 2 - x=x + 5 + 2 - x=7
V1 correcte, L1 nb généraliséJ1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. CorrecteRègles utilisées(A+B)C = AC+BC Règle correcteAC+BC = (A+B)C Règle correcte(A+B)/C = A/C+B/C Règle correcteAC+BC = (A+B)C Règle correcte 45
Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiquesTravail didactique (1995) et premier prototype Pépite1 (2000)
§ Ensemble figé d’exercices figés § Utilisable une seule fois à un seul niveau de classe
Thèse de D. Prévit (2008)
Logiciels PépiGen et Pépinière• Caractérisation des exercices équivalents du point de
vue diagnostique (clones)- Modèle des tâches diagnostiques
• Logiciel qui génère des clones• Analyse multicritère automatique des réponses
ouvertes à chacun de ces clones
46Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
47
PépiGen
Auteur
Système auteur PépiGen
saisit les paramètres
Pépinière
expression algébrique
arbre des solutions anticipées
est chargé
produit un clone
Modèle de Classe Exercicesdiagnostiques
XM L
Banquesd’exercices
XM L
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
48
49
Grille de codage : (x + 2)* 3 - 3 * x
<Solution><Interprétation>Tentative de démarche algébrique mais
l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation>
<Type>10.7</Type> <Code>V3,L3,T4,J3</Code> <Expression>(x+2)*3</Expression> <Expression>x*3+6</Expression> <Regle>V,7</Regle> <Expression>3*x</Expression> <Expression>3*x+6-3*x</Expression> <Expression>6</Expression> <Regle>V,31</Regle> </Solution>
(x+2)*3=3x+6-3x=6
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
50
PépinièreLogiciel de calcul formel qui manipule des arbres pour :§ Analyse syntaxique des expressions algébriques
• Grammaire algébrique§ Transformations algébriques
• Règles de réécriture correctes ou incorrectes§ Génération des solutions plausibles anticipées
• Unification et heuristiques§ Comparaison des expressions algébriques
• Arbres superposables
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Arbre des solutions anticipées
(x+2)*3-3x
-2x+6
6
3x+6-3x
x*3+2*3-3x x+2*3-3x
3x+6-3x
6x
9x-3x
R1
R3
R3
R2
R4
R3
R3
9x-3x
6x
Erreur de parenthèse
avec mémoire
Règles correctes
R1 : (A+B)C AC+BC
R3 : AB+AC A(B+C)
R2: (A+B)C A+BC
R4: AB+C B(A+C)
Règles erronées
6
R3
R4
V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32
Plan
Les projets Pépite et LingotDiagnostic cognitif ?§ Définitions§ Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
52
Q3 : Analyser les observables ?Comment construire le modèle des compétences d’un élève ?L’élève passe un test PépiTest§ Ses réponses sont mémorisées
PépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse : § type de réponse et vecteur de codes (diagnostic local)
2. Agrégation des codes§ Bilan cognitif : caractéristiques personnelles +
stéréotype3. Formation d’un groupe pour un même parcours
d’apprentissage
53Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
54
Interpréteur : PépiTest
Elève
XM LInterpréteur
PépiTest
Résout les exercices
Charge le test avec les
réponses de l’élève
est chargé
Enregistre le test avec les réponses de
l’élève
Test constitué d’exercices
XM L
Réponse de l‘élève
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 1 : Analyse des réponsesDiagnostic local : PépiDiag§ Compare
• la réponse de l’élève • à une des réponses anticipées de la grille de codage
§ Utilise un logiciel de calcul formel : Pépinière• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressions
55Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
56
Diagnostiqueur : PépiDiag
XM LDiagnostiqueur
PépiDiag
Module
Pépinière
Tester l’équivalence de 2 arbres d’expression
retourne vrai/faux
Enregistre les
réponses
avec le diagnostic local (type et codes)
XM L
grilles de codage
XM L
Réponse de l’élève
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Conception du diagnostic localFondée sur les réponses anticipées§ Analyse didactique+corpus ->grille de codage
Réponses ouvertes§ réponses non diagnostiquées par le logiciel :~10-15 %
• Erreur de saisie• Réponses imprévisibles
Couteux§ En expertise didactique + Analyse de corpus
Efficace pour les réponses avec une seule expression algébrique§ Ajout facile d’un type de réponse
Complexe pour les raisonnements
57Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Évaluation du diagnostic localDépend du type de question (ouverte/fermée)Comparaison Diagnostic machine/humainN = 360 élèves3 experts § trouvent le travail fastidieux (7 à 10 h pour un seul exercice) § se trompent plus que le logiciel
Critères§ Les réponses correctes ne sont jamais diagnostiquées incorrectes
par PépiDiag• Réponses en une seule expression : OK• Raisonnement algébrique : OK• Raisonnement en LN : certains
§ Réponses imprévisibles • ~10 %• 2/3 des réponses (incorrectes) non analysées par le logiciel, ne
sont pas non plus analysées par les experts
58Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 2 : Bilan cognitif
Stéréotype§ niveau de compétence sur les 3 composantes
• Usage de l’algèbre• Calcul algébrique • Traduction d’une représentation dans une autre
Caractéristiques personnelles § taux de réussite§ leviers§ fragilités § liste des erreurs§ liste des réussites
59Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Algorithme de calcul des stéréotypesÉtabli (laborieusement) à partir§ d’une analyse didactique§ du classement mené par 3 experts sur un corpus de 360
réponses au test§ de calibrage des seuils suite à l’implémentation de
l’algorithmeRésultat§ liste de caractéristique personnelles§ associer les questions aux caractéristiques et les
pondérer§ donner les règles d’agrégation des codes pour chaque
caractéristiqueAlgorithme complet et corrections
60Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 3 : Groupes de travailGérer la diversité cognitive dans une classe§ Apprentissage différencié§ Dynamique de l’ensemble§ Diminuer le nombre de cas
Groupes de stéréotypes§ 36 stéréotypes, 15 en pratique§ Grouper les stéréotypes voisins selon la composante sur
laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur calcul et
commencent à choisir les outils adaptés au problème- A+ : traduisent algébriquement des situations
diverses- A- : erreurs de traduction
Ex. : groupes en 2nde
Algorithme de constitution des groupes
61Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Évaluation des groupementsEn cours
• Observation en classe • groupe IREM, 5 enseignants, 191 élèves• Différentes périodes de l’année• Différents niveaux
• Questionnaire• 49 enseignants ont répondu• 42 avaient fait passer le test aux élèves
62Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Stéréotypes observés (N=191)
63
0%
10%
20%
30%
40%
50%
C- C+ B+ A+B- A-
Résultats de l’étude des usagesGlobalement cohérents
§ évolution des stéréotypes en cours d’année et de 3° à 2 ndeQuestionnaires : 42 réponses
§ Appréciation• Pertinence des groupes/ résultats habituels des élèves
§ Exploitation• Utilisation des PAD sans modifier les groupes
- Tests incomplets : résultats non pertinents- Évolution des élèves après les parcours- Certains élèves scolaires n’ont pas réussi le test- Certains élèves faibles ont réussi (réponse proposées et non à formuler)- Certains ont moins bien réussi
– Difficultés informatiques ou à comprendre les énoncés64
Oui pour tous Oui pour certains Non ?
12 14 2 14
Oui sans modifier Oui en modifiant Non ?
14 8 20 0
Plan
65
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Q4 : Exploitation du diagnosticTutorat individuel§ Réflexion métacognitive avec l’élève
Travail dans la classe§ Projet avec Sésamath§ Parcours d’apprentissage différencié (Pad)
• Thèse en didactique des mathématiques de Julia Pilet (2012)
- Mise au point des parcours différenciés d’apprentissage
- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai
- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place
66Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
PépiPad : Un scénarioQui ?§ Marie-France (MF) enseignante de collège, membre de
Sésamath, habituée de LaboMepContexte : § MF va aborder le chapitre calcul littéral dans la classe
de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables
Prérequis§ MF demande à ses élèves de passer le test à la maison§ Sur LaboMep, Pépite lui propose 6 groupes§ MF lance PepiPad
67Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Scénario (suite)Paramétrage : MF choisit § Le thème : Identités remarquables§ L’étape : Prendre un bon départ§ L’objectif principal : Donner du sens aux lettres et aux expressions
PépiPad affiche pour chaque groupe § les objectifs secondaires recommandés, les capacités à travailler
associées et les exercices qui travaillent ces capacitésAdaptation§ MF qui ne dispose que de 30 min sélectionne un seul objectif
secondaire/groupe§ PépiPad met à jour les capacités et exercices associés§ MF valide§ PépiPad construit des séances pour chaque groupe
- Une liste d’élèves- Une liste de ressources
§ Écran du prof, écran d’un élève
68Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
69
PépiPad
Bilans cognitifs des élèves
Générateur de Parcours
Banque d’exercices
Parcours générés
Règles de calcul de parcours
Pépite
construit
Utilise l'ontologie des exercices
paramètre
prof
Modèle de connaissanceParcours§ Un ensemble d’exercices pour un groupe
• Exercices en ligne, manuels, spécifiques Lingot§ Exemple de parcours (fichier xml)
Exercice caractérisé (exemple d’exercice indexé, fichier xml)§ Capacités§ Niveau scolaire§ Variables didactiques
• Objets mathématiques• Cadre et registres en jeu• Degré de guidage
§ Identifiant§ Origine (exercice MeP, ouvrage Sesamath, Lingot)§ Titre
70Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
RéférentielComposantes de la compétence § Ex. calcul algébrique
Groupe de capacités§ Ex. calculer, tester, factoriser
Capacité§ Ex. calculer l’image d’un nombre par une fonction,
tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable§ Exemple : capacités liées au calcul algébrique (fichier
xml)
71Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
État des lieuxFait§ Conception de l’ontologie§ Explicitation des objectifs§ Liens objectifs/capacités/étapes§ Indexation des ressources hétérogènes
• Exercices interactifs de Math En Poche• Exercices papier des manuels et des didacticiennes
§ Création automatique des séances différenciéesEn cours§ Évaluer les bénéfices pour les élèves et les profs§ Travail avec IREM (Institut de recherche sur
enseignement des mathématiques)
72Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
73
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Modèle du domaineUne ontologie des objets manipulés par les logiciels§ Objets mathématiques§ Objets didactiques
Référentiel des capacitésDimensions et critères d’évaluation
74
Modèles des tâches diagnostic (1)Un exercice§ Interface
Une analyse didactique initiale : texte et tableaux§ Ex
Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis§ Ex
Modèle informatique de l’exercice 3 : fichier xml§ Originel Un clone
75Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèles des tâches diagnostic (2)Modèle général d’une Classe d’exercice : schéma UML
• schémaSchémas XDS de grille d’analyse des réponses anticipées à
une question§ schéma
76Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèle des parcours d’apprentissage différenciés
Une ontologie de référence• Indexation des exercices
• Interface d’indexation des exercices• Fichier indexant un exercice
• Calcul de la liste des exercices en fonction• Algorithme de calcul• Fichier résultat
77Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
78
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Résultats/Questions de recherche1. Comment décrire les connaissances d’un élève ?
§ Modèle à plusieurs niveaux d’interprétation
2. Quelles situations mettre en place pour recueillir des observables ?
§ Modélisation des tâches diagnostiques, Banque de tests
3. Comment inférer les descripteurs à partir des observables ?
§ Typer et coder les réponses : diagnostic individuel local
• Analyse multidimensionnelle automatique des réponses
• Logiciel de calcul de formel
§ Détecter les cohérences et Situer l’élève par rapport à une référence
• Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes
4. Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ?
§ Prise de décisions didactiques (enseignants ou machine)
• Indexation de 120 exercices
• Proposition de parcours adaptés
5. Comment évaluer les outils produits ?
§ Preuve par construction
§ Preuve par utilisation
§ Analyse didactique des usages (thèse de Soraya)
79Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
LimitesÉquations (thèse qui début)Autres niveau (5°,4°) : encours de déploimentAméliorer les interfaces (saisie des expressions, interface
enseignant)Développer des exercices interactifsDes exercices plus ludiques
80Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Perspectives
Moyen terme (prochain projet)§ Évolution des bilans des élèves§ Articuler
• Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur l’historique et
les caractéristiques personnelles§ Des scénarios plus ludiques§ Extension à d’autres niveaux et thèmes§ Suivi des élèves sur une longue période
81Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Résultats (actuels) du projetUne méthode de diagnostic§ Fondée sur une analyse didactique§ 3 étapes : analyse des réponses, bilan personnel,
positionnement par rapport à la référence § Typage des réponses anticipées
Une méthode de mise au point des parcours d’apprentissageDes modèles exécutables§ de tâches diagnostiques, d’exercices, de parcours§ de bilan cognitif sur trois niveaux de description
Une recherche pluridisciplinaire et participativeUn logiciel accessible sur une plateforme grand publicDes corpus de réponses importants
82Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
83
Résumé : temporelCycle N°1 (1995) : outil papier-crayon § modélisation des compétences
Cycle N° 2 (2000) : logiciel Pépite § systématisation, réification du modèle de compétence§ diagnostic semi-automatique
Cycle N°3 (2005) : exploitation du diagnostic§ expérimentations§ vers un diagnostic automatique (langage naturel, raisonnement
algébrique)§ vers une géographie de la classe (stéréotypes)
Cycle N° 4 (2008) : PépiGen et Pépinière§ diagnostic
• plus générique (classes d’exercices) • plus fiable (raisonnement algébrique)• pour l’élève
Cycle N° 5 (2012)§ dissémination§ parcours différenciés d’apprentissage § Logiciel PépiPad
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
84
Résumé : objectifs scientifiquesCoté recherche : § Comprendre les difficultés des élèves
• Récolter des corpus § Produire des modélisations exécutables d’une expertise
didactique pour l’enrichir et l’approfondirCoté application : § Faciliter l’insertion dans/ l’évolution des pratiques
enseignantes• faciliter la genèse instrumentale
§ Dissémination de résultats de recherche
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
QuestionsDiagnostic cognitif § Définition ? § Comparaison avec celles de M. Labat ? § De M. Sander ?
Diagnostic humain/diagnostic automatique ?§ Difficultés ?§ Évaluation de la qualité ?
85
Diagnostic local (pour le prof)
86
Diagnostic local (pour le chercheur)
87
Diagnostic local pour le logiciel
88
Diagnostic personnel global
89
Bilan Personnel de Sam EugèneSam est dans le groupe A-
Profil du groupe A- :Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes
Diagnostic collectif global
91
Ontologie simplifiée : graphique
PépiIndexation
92
PépiPad : Caractérisation du PED 3
Objectif Capacité Objet entrée Cadre Complexité
A : Prouver l’équivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée d’une expression pour résoudre un problème, calculer astucieusement
3.53.717.1
Exclure12.3 (3?)
(fonctionOU expression littérale)et rien d’autres
algé (3?)fonc.(2?)
MP, CX
B : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre
CS
C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre
EL
93
top related