les apports du tal à la lisibilité du...
TRANSCRIPT
Problematique Methodologie Resultats Conclusion References
Les apports du TAL à la lisibilité du FLE
Thomas François1, 2
(1) B.A.E.F and Fulbright Fellow (Université de Pennsylvanie)(2) CENTAL, IL&C (Université Catholique de Louvain)
Séminaire à l’UQAM
8 juin 2012
1/60
Problematique Methodologie Resultats Conclusion References
Plan
1 Problématique
2 Méthodologie
3 Résultats
4 Discussion and conclusions
2/60
Problematique Methodologie Resultats Conclusion References
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
3/60
Problematique Methodologie Resultats Conclusion References
Un souci pragmatique !
Ces travaux s’inscrivent dans le domaine de la lisibilité.
Origine : Elle apparaît dans les années 20 aux USA. Il faut attendre1956 pour son introduction dans la sphère francophone.
Objectif : Discipline vise à évaluer la difficulté d’un texte pour unepopulation de lecteurs, sans reposer sur un jugement humain.
Résultats : Elle développe des formules de lisibilité, équationsmathématiques qui estiment automatiquement la difficulté detextes en fonction d’une population cible.
Les plus connues sont celles de [Dale and Chall, 1948] et de[Flesch, 1948].
4/60
Problematique Methodologie Resultats Conclusion References
Un exemple de formule
Un exemple d’une formule [Kandel and Moles, 1958] :
Y = 207− 1.015LP − 0.736LM
où :
Y : score de lisibilité compris entre 100 (très facile) et 0 (trèscomplexe).
LP : nombre moyen de mots par phrase ;
LM : nombre moyen de syllabes pour 100 mots.
LP et LM sont des indices de la difficulté (variables explicatives).
5/60
Problematique Methodologie Resultats Conclusion References
À quoi servent les formules de lisibilité ?
De nombreux usages en ont été fait :
Sélection de matériaux pour des manuels scolaires ;
Étalonnage de livres pour les enfants [Kibby, 1981, Stenner, 1996] ;
Utilisées dans des expériences scientifiques pour contrôler la difficultédes données textuelles ;
Utilisées par diverses administrations (justice, armée, etc.) et la pressepour contrôler le niveau de difficulté de leurs publications ;
Plus récemment, contrôle de la difficulté de textes générésautomatiquement [Antoniadis and Grusson, 1996, Aluisio et al., 2010,Kanungo and Orr, 2009].
6/60
Problematique Methodologie Resultats Conclusion References
Applications spécifiques au FLE
Conception automatique d’exercices de langueFrançais : ALEXIA [Chanier and Selva, 2000] ;ALFALEX [Selva, 2002, Verlinde et al., 2003] ;MIRTO [Antoniadis and Ponton, 2004, Antoniadis et al., 2005].
Anglais : tests de closure [Coniam, 1997, Brown et al., 2005] ;
WERTi [Amaral et al., 2006] ; VISL [Bick, 2001]
Web browser pour la recherche de textes sur un sujet précis etcorrespondant à un niveau de difficulté donné
Français : Dmesure [François and Naets, 2011] ;
English : IR4LL [Ott, 2009] ; REAP [Heilman et al., 2008b],
READ-X [Miltsakaki and Troutt, 2008]
Une formule de lisibilité pour le FLE ouvre donc nombre deperspectives en ALAO.
7/60
Problematique Methodologie Resultats Conclusion References
Qu’en est-il des formules pour le FLE ?
L’approche habituelle pour les langues étrangères : utiliser desformules de lisibilité développées pour des natifs. [Cornaire, 1985]
→ Déni des spécificités du processus de lecture en L2.
Cette approche est basée sur trois hypothèses critiquables
la compréhension des lecteurs en L2 est comparable à celle de natifs ;
les caractéristiques textuelles considérées comme variablesexplicatives dans les formules en L1 sont également pertinentes en L2(et les seules pertinentes) ;
la pondération de ces variables est la même pour le contexte L1 que L2.
8/60
Problematique Methodologie Resultats Conclusion References
L’alternative : considérer les spécificités du contexte L2
Quelques études ont pris en compte les spécificités duprocessus de lecture en L2 [Koda, 2005] :
[Tharp, 1939] critique l’approche précédente et propose l’une despremières formules spécifiques au FLE.→ Celle-ci prend en compte les congénères.
[Uitdenbogerd, 2005] propose aussi une formule qui prend en compteles congénères :
FR = 10 ∗WpS − Cog
dans laquelle :
WpS : le nombre moyen de mots par phrase ;Cog : le nombre de congénères pour 100 mots.
Peu de travaux dans le domaine !
9/60
Problematique Methodologie Resultats Conclusion References
Objectifs
Premier objectifConcevoir une formule de lisibilité pour le FLE, qui prenne encompte les spécificités de ce contexte.
10/60
Problematique Methodologie Resultats Conclusion References
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
11/60
Problematique Methodologie Resultats Conclusion References
Étapes méthodologiques pour la conception d’uneformule
1 Rassembler un corpus de textes dont ladifficulté a été mesurée à l’aide d’uncritère tel que des tests decompréhension ou des tests de closure
2 Definir une liste de prédicteurslinguistiques de la difficulté, par ex. lalongueur des phrases ou la chargelexicale
3 À partir de ces variables et du corpus,entraîner un modèle statistique(traditionnellement une régressionlinéaire)
4 Évaluer le modèle
12/60
Problematique Methodologie Resultats Conclusion References
Variables
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
13/60
Problematique Methodologie Resultats Conclusion References
Variables
Comment trouver de bons prédicteurs de la difficulté ?
Nous avons envisagé deux pistes différentes :
1 Tester les variables déjà utilisées dans la littérature en anglais ;
2 Explorer les processus de lecture en L1 et L2 afin de découvrirde nouvelles caractéristiques textuelles susceptibles del’influencer.
14/60
Problematique Methodologie Resultats Conclusion References
Variables
Les grands types de prédicteurs en lisibilité
3 grandes phases dans la sélection de prédicteurs :
1 La période classique : les formules recourrent à deux prédicteurs (unlexical et un syntaxique).[Flesch, 1948, Dale and Chall, 1948]
2 La période structuro-cognitive : correspond à une critique desformules classiques, incapables de prendre en compte des aspectsorganisationnels (cohérence, cohésion) ou cognitifs (inférence, densitéconceptuelle).[Kintsch and Vipond, 1979, Kemper, 1983]
15/60
Problematique Methodologie Resultats Conclusion References
Variables
Les grands types de prédicteurs en lisibilité
3 Les études récentes, que nous avons regroupées sous un nouveaunom : la lisibilité computationnelle :
Premiers efforts computationnels :SATO-CALIBRAGE [Daoust et al., 1996],la cohérence (estimée par LSA) comme prédicteurs[Foltz et al., 1998],et le premier modèle de langue [Si and Callan, 2001].
2004-2007 : utilisation du TAL pour automatiser des variables lexicales etsyntaxiques [Collins-Thompson and Callan, 2005,Schwarm and Ostendorf, 2005, Heilman et al., 2007].Après 2008 : prise en compte de variables cognitives et sémantiques[Crossley et al., 2007, Pitler and Nenkova, 2008, Feng et al., 2009].
La lisibilité computationnelle vise la synthèse entre la lisibilité classique et lecourant structuro-cognitiviste.
16/60
Problematique Methodologie Resultats Conclusion References
Variables
Les prédicteurs issus de la littérature
Nous avons implémenté 406 variables, dont la plupart sont baséessur la littérature en anglais :
lexicaux : statistiques de la fréquence lexicale ; absents d’une liste deréférence ; modèles n-grammes ; mesures de la diversitélexicale ; longueur des mots ;
grammaticaux : longueur de la phrase ; ratio des catégories de discours ;
sémantique : taux d’abstraction et de personnalisation ; densité desidées ; taux de cohérence mesuré via LSA ;
spécifique au FLE : présence de dialogue.
Plusieurs d’entre-eux n’ont jamais été testés dans le contexte du FLE(en gras).
17/60
Problematique Methodologie Resultats Conclusion References
Variables
L’apport de la psychologie cognitive
La description des processus de lecture sous un anglepsycholinguistique a permis de proposer de nouveaux prédicteurs :
lexicaux : le voisinage orthographique ; le TTR normalisé ; nombre desens d’un mot.
grammaticaux : type de verbes et de modes ;
spécifique au FLE : caractéristiques des unités polylexicales, étapesd’acquisition.
Des pistes inexplorées subsistent à ce niveau (en gras)
18/60
Problematique Methodologie Resultats Conclusion References
Variables
Objectif : ajout
Premier objectifConcevoir une formule de lisibilité pour le FLE, qui prenne encompte certaines des spécificités de ce contexte.
Second objectif
Évaluer la pertinence de la lisibilité computationnelle : est-ceque le TAL apporte quelque chose à la lisibilité ?
19/60
Problematique Methodologie Resultats Conclusion References
Conception
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
20/60
Problematique Methodologie Resultats Conclusion References
Conception
Le critère d’annotation du corpus
La constitution du corpus requiert l’emploi d’un critère capabled’évaluer la difficulté de textes pour la population d’intérêt ;→ Après comparaison, nous avons opté pour le jugement d’experts ;
Le type de critère influence le choix de l’échelle de difficulté utilisée ;→ Par conséquent, nous avons extraits 2042 textes de 28 manuels (+2compléments) de FLE, qui respectent l’échelle du CECR[Conseil de l’Europe, 2001].
Hypothèse sous-jacenteLe niveau d’un texte sera considéré comme équivalent à celuidu manuel dont il est issu.
21/60
Problematique Methodologie Resultats Conclusion References
Conception
Critères de sélection des textes
L’ensemble des textes des manuels ne sont pas retenus. Lescritères suivants ont été employés :
1 Compatibilité avec le CECR (manuels après 2001) ;2 Modernité de la langue (lié au critère 1) ;3 Type de public : jeunes gens et adultes ;4 Lecture générale : pas de manuels sur objectifs spécifiques.
Un autre tri s’opère sur les textes :1 Textes associés à une tâche de compréhension à la lecture
uniquement ;2 Les consignes n’ont pas été reprises.
22/60
Problematique Methodologie Resultats Conclusion References
Conception
Répartition des textes par manuel
A1 A1+ A2 A2+ B1 B1+ B2 C1 C2Activités CECR / / / / 41 39 50 63 8
Alter Ego 46 44 61 31 74 42 / / /Comp. écrite / / 34 53 39 50 / / /Connexions 34 26 / / / / / / /
Connexions : prep. DELF / 11 / 12 / / / / /Delf/Dalf / / / / / / 31 78 19Festival 42 34 / / 28 26 / / /
Ici 13 28 25 17 / / / / /Panorama 31 27 50 48 56 57 41 / /Rond-point 3 19 4 7 21 19 76 / /Réussir Dalf / 17 / / / / / 43 22
Taxi ! 27 / 23 21 56 51 / / /Tout va bien ! / 50 36 56 45 37 / / /
Total 196 256 233 245 360 321 198 184 49
TABLE: Nombre de textes par niveau, pour chaque série de manuels pris en compte
23/60
Problematique Methodologie Resultats Conclusion References
Conception
Deux problèmes :
Deux problèmes ont été détectés au sein de ce corpus :
1 Le faible nombre de textes annotés comme C2.→ Or, nos expériences ont montré qu’il importait d’avoir un corpuséquilibré (même nombre de textes par niveau).
2 Des problèmes d’incohérence entre les annotations des différentsexperts (= manuels).
Deux solutions ont été envisagées :1 Les textes du niveau C2 ont été divisés en 2 ou 3 fragments→ on a
obtenu 108 textes ;2 Les manuels aux annotations les plus incohérentes ont été écartés.
Nous avons ainsi obtenu 8 corpus légèrement différents !
24/60
Problematique Methodologie Resultats Conclusion References
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
25/60
Problematique Methodologie Resultats Conclusion References
Deux étapes de résultats
Nos expérimentations ont été opérées en deux temps :1 Évaluation de la capacité prédictive des variables employées seules ;2 Évaluation de la capacité prédictive de combinaisons de variables (=
formules).
En effet, deux bons prédicteurs peuvent apporter une informationfortement redondantes au modèle.
→ Seuls deux corpus sur les huit ont été retenus pour cesexpérimentations.
26/60
Problematique Methodologie Resultats Conclusion References
Bivariée
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
27/60
Problematique Methodologie Resultats Conclusion References
Bivariée
Les mesures d’évaluation
4 mesures ont appliquées à chacune des 406 variables, afin de poserun diagnostic sur leur capacité prédictive :
1 Le r de Pearson : utile pour lesassociations linéaires ;
2 Le ρ de Spearman : évalue lesassociations monotones croissantes ;
3 Le test F de [Guilford, 1965] :linéarité de l’association ;
4 Le W de Shapiro-Wilk : normalité duprédicteur ;
28/60
Problematique Methodologie Resultats Conclusion References
Bivariée
Principales variables d’intérêt
Test6CE Test9CEr ρ W (p) F (p) r ρ F (p)
X75FFFDC −0.2962 −0.6273 < 0, 001 0.089 −0.3673 −0.6233 0.092X90FFFC −0.3193 −0.6413 < 0, 001 < 0, 001 −0.2463 −0.6283 < 0, 001
PAGoug_2000 0.5933 0.5973 < 0, 001 0.017 0.5743 0.5883 0.313PA_Alterego1a 0.6573 0.6523 < 0, 001 < 0, 001 0.6683 0.6723 0.002
ML3 −0.563 −0.5463 < 0, 001 < 0, 001 −0.5563 −0.5523 0.026meanNGProb.G 0.3823 0.4073 0.011 0.05 −0.2443 −0.1041 0.417
NLM 0.4793 0.4833 0.028 0.084 0.4313 0.443 0.027NL90P 0.5193 0.5213 < 0, 001 0.022 0.4783 0.4853 0.021
NMP 0.4863 0.6183 < 0, 001 0.014 0.4873 0.6523 0.031PRO.PRE −0.1813 −0.3453 < 0, 001 0.226 −0.1943 −0.3493 0.021
PPres 0.443 0.443 < 0, 001 0.003 0.4633 0.4633 0.023Pres_C −0.3553 −0.3373 < 0, 001 < 0, 001 −0.4393 −0.4333 < 0, 001
PP1P2 −0.4083 −0.3333 < 0, 001 0.008 −0.4053 −0.3463 < 0, 001avLocalLsa_Lem 0, 633 0, 633 < 0, 001 0, 01 0, 573 0, 573 0, 05
NAColl / 0.2863 / / / 0.2533 /BINGUI 0, 4623 0, 4623 < 0, 001 0, 018 0, 453 0, 453 0, 311
29/60
Problematique Methodologie Resultats Conclusion References
Bivariée
Résumé des conclusions de l’analyse univariée
Chaque famille de prédicteurs comporte au moins une variable d’intérêt→ idée : concevoir une formule avec ces prédicteurs ;
Parmi celles-ci, deux sont classiques : PA_Alterego1a et NMP ;
L’efficacité de PA_Alterego1a montre l’intérêt d’adapter une formule àun contexte précis (liste spécifique au FLE) ;
Très peu de variables normales et une partie seulement sont associéeslinéairement à la difficulté.
Intérêt du TAL en lisibilité ?La présence de la LSA parmi les meilleurs prédicteurs (et ML3)confirme l’intérêt du TAL en lisibilité ;
Mais, pas mal de variables TAL peu efficaces : n-grammes ! ; unitéspolylexicales.
30/60
Problematique Methodologie Resultats Conclusion References
Formule
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
31/60
Problematique Methodologie Resultats Conclusion References
Formule
Plan d’évaluation
4 familles de modèles ont été comparées :
Baseline (classique) : NMP + NLM ;
4 meilleurs prédicteurs/famille : PA_Alterego1a + NMP +avLocalLsa_Lem + BINGUI ;
8 meilleurs prédicteurs/famille : PA_Alterego1a + X90FFFC + NMP +PPres + avLocalLsa_Lem + PP1P2 + BINGUI + NAColl.
→ Hypothèse : prendre en compte le plus de dimensions textuelles ;
Sélection automatisée de variables.
2 échelles différentes : 6 et 9 classes.
32/60
Problematique Methodologie Resultats Conclusion References
Formule
Mesures d’évaluation
Chacun de ces modèles a été évalué à l’aide de 5 mesures :
Le cœfficient de corrélation multiple (R) ;
L’exactitude (acc) ;
L’exactitude contiguë (acc − cont) ;
L’erreur-type (RMSE) ;
L’erreur moyenne absolue (MAE).
33/60
Problematique Methodologie Resultats Conclusion References
Formule
Résumé des résultats
Modèle Classifieur Paramètres R acc acc − cont rmse maeCorpus à 6 classes
Hasard / / / 16, 6% 44, 4% / /Baseline SVM γ = 0, 05; C = 25 0, 62 34% 68, 2% 1, 51 1, 06Expert1 RLM / 0, 70 39% 74, 2% 1, 34 0, 97Expert2 SVM γ = 0, 002; C = 75 0, 73 41% 78% 1, 28 0, 94
Modèle 2009 RLM / 0, 62 41% 71% / /Auto SVM γ = 0, 004; C = 5 0, 73 49% 79, 6% 1, 27 0, 90
Corpus à 9 classesHasard / / / 11, 1% 30, 8% / /
Baseline SVM γ = 0, 01; C = 40 0, 68 26, 5% 54, 5% 2, 27 1, 29Expert1 RLM / 0, 74 27, 5% 58, 1% 1, 95 1, 20Expert2 SVM γ = 0, 006; C = 20 0, 75 31% 62, 3% 1, 90 1, 17
Modèle 2009 RLM / 0, 72 32% 63% / /Auto SVM γ = 0, 004; C = 15 0, 74 35% 65, 4% 1, 92 1, 15
Résultat de la thèse+32, 4% (6 classes) et +23, 9% (9 classes) par rapport au hasard (en acc) ;
+8% (6 classes) et +3% (9 classes) par rapport au modèle de 2009 (en acc) ;
34/60
Problematique Methodologie Resultats Conclusion References
Formule
Comparaison avec les études actuelles
Étude ] cl. lg. Exac. Exac. cont. R RMSE[Kandel and Moles, 1958] (rég.) F. 33% / 0.55 /
[Si and Callan, 2001] 3 E. 75, 4% / / /[Collins-Thompson and Callan, 2004] 6 E. / / 0, 64 /[Collins-Thompson and Callan, 2004] 12 E. / / 0, 79 /[Collins-Thompson and Callan, 2004] 5 F. / / 0, 64 /
[Schwarm and Ostendorf, 2005] 4 E. / 79% à 94, 5% / /[Heilman et al., 2007] 12 E. / / 0, 72 2, 17[Heilman et al., 2007] 4 E. (L2) / / 0, 81 0, 66
[Heilman et al., 2008a] 12 E. / 45% 0, 58 2, 94[Heilman et al., 2008a] 12 E. / 52% 0, 77 2, 24
[Pitler and Nenkova, 2008] 5 E. / / 0, 78 /[François, 2009] 6 F. (L2) 41% 71% 0, 62 /[François, 2009] 9 F. (L2) 32% 63% 0, 72 2, 24
[Feng et al., 2009] 4 E. / / −0, 34 0, 57[Feng et al., 2010] 4 E. 70% / / /[Kate et al., 2010] 5 E. / / 0, 82 /
Modèle à 6 classes 6 F. (L2) 49% 80% 0, 73 1, 23Modèle à 9 classes 9 F. (L2) 35% 65% 0, 74 1, 92
Chez [Schwarm and Ostendorf, 2005], le gain au hasard (acc − cont) est de+24, 5% à +29%, contre +36% en moyenne pour notre modèle.
35/60
Problematique Methodologie Resultats Conclusion References
Plan
1 Problématique
2 MéthodologiePrédicteurs linguistiques de la difficultéConstitution du corpus
3 RésultatsAnalyse bivariéeConception de la formule
4 Discussion and conclusions
36/60
Problematique Methodologie Resultats Conclusion References
Point sur les deux objectifs
1. Une nouvelle formule de lisibilité pour le FLENouvelle formule de lisibilité de FLE par SVM, avec 46 variables ;
1re formule de FLE au sein du paradigme de la lisibilitécomputationnelle ;
Surpasse une formule classique [Kandel and Moles, 1958], ainsi que[François, 2009].
Certaines variables peuvent probablement être omises dans uncontexte où la vitesse d’exécution prime (ex. MWE).
37/60
Problematique Methodologie Resultats Conclusion References
Point sur les deux objectifs
2. L’apport du TAL à la lisibilité du FLEPlusieurs variables « TAL » se sont révélées de bons prédicteursemployés seuls (LSA, unigramme, ratio cat. grammaticales, etc.) ;
L’efficacité combinée est moindre (LSA n’est pas retenue) ;→ certaines variables souffrent des approximations liées auxtechnologies TAL.
Variables classiques vs. variables TAL
[François and Miltsakaki, 2012] comparent des modèles SVM avec unmême nombre de variables (20) “classiques“ et ”non classiques“→ ”Classique“ : acc. = 38% vs. ”Non-classique“ : acc. = 42%(t(9) = 1.5; p = 0.08) !
Lorsqu’on ajoute les ”non-classiques“ à un modèle SVM basé sur les”classiques“, on passe de acc. = 37, 5% à 49%.
38/60
Problematique Methodologie Resultats Conclusion References
Autres conclusions d’intérêt
La lisibilité computationnelle profite non seulement des apports duTAL, mais aussi d’algorithmes issus de l’apprentissage automatisé.
Quel est l’apport de ces algorithmes
[François and Miltsakaki, 2012] comparent un modèle SVM avec unmodèle classique de régression linéaire (RL) :
Modèle R Acc. Adj. acc.
Classic RL 0.66 30.6% 78%SVM 0.67 37.5% 76%
Non-classic RL 0.68 32% 76%SVM 0.68 41.8% 73%
SVM et LR expliquent de façon semblable la lisibilité des textes, maisles SVMs classent plus précisément...→ La lisibilité n’est probablement pas une tâche de classification(>< vision actuelle) !
39/60
Problematique Methodologie Resultats Conclusion References
Autres conclusions d’intérêt
Hypothèse annexe : multi-dimensionnalité
Obtenir un gain de performances grâce à des dimensions textuellesdifférentes, MAIS...
4 dimensions (RLO) : acc : 36, 8% et acc − cont : 77, 8% vs. 4 var.lexico-syntaxiques (sélection automatique) : acc : 40% etacc − cont : 76, 1% !→ Cette hypothèse ne tient pas !
De plus, dans certains cas, la LSA souffre de colinéarité avec les autresvariables...→ Soupçon : la séparation entre famille distincte serait-elle articifielle ?
Le nettoyage des corpus a porté ses fruits : amélioration par rapport aumodèle de 2009.
La meilleure variable est une variable spécifique au domaine :importance de l’adaptation !
40/60
Problematique Methodologie Resultats Conclusion References
Perspectives
Ce travail a ouvert de nombreuses perspectives, théoriquescomme pratiques :
Une formule de lisibilité pour le FLE ouvre la porte à diversesapplications en ALAO (Dmesure) ;
Réfléchir sur un moyen de récolter un corpus annoté de façon plushomogène (comparaison des critères) ;
Diverses variables plus complexes restent à implémenter (nombre desens, variables du discours, diversité lexicale, etc.) ;
Évaluer la question de la pertinence d’une classification en dimensionstextuelles ;
L’inefficacité des modèles n-grammes sur nos données pose question.
41/60
Problematique Methodologie Resultats Conclusion References
Perspectives : Dmesure
Parmi les perspectives concrètes, nous avons implémenté unprototype de plateforme web qui permet d’évaluer la difficulté detextes issus du web : Dmesure [François and Naets, 2011].
Dmesure offrira trois services :1 Estimer la difficulté d’un texte ;2 Filtrer des textes issus d’une requête sur le web ;3 Plateforme collaborative.
42/60
Problematique Methodologie Resultats Conclusion References
Dmesure : l’interface d’analyse d’un texte
Ce texte est tiré du manuel Panorama 2 (A2, p.26)
43/60
Problematique Methodologie Resultats Conclusion References
Dmesure : l’interface d’analyse d’un texte
44/60
Problematique Methodologie Resultats Conclusion References
L’interface de recherche avancé
45/60
Problematique Methodologie Resultats Conclusion References
Recherche avancée : exemple de résultats sur un sitede FLE
46/60
Problematique Methodologie Resultats Conclusion References
Aspect collaboratif : l’interface de l’expert
47/60
Problematique Methodologie Resultats Conclusion References
Dmesure : conclusions
Dmesure vise à devenir une plateforme web en recherched’informations pédagogiques. Il nous semble pouvoirrépondre à des besoins réels des professeurs de FLE.MAIS... plusieurs choses restent à traiter :
Il y a un problème avec le boilerplate : surestimation destextes ;Développer un filtre linguistique pour certifier que le niveaude langue d’une page est suffisant pour un usagepédagogique ;Améliorer la formule de lisibilité dans le contexte du web.
48/60
Problematique Methodologie Resultats Conclusion References
Merci
49/60
Problematique Methodologie Resultats Conclusion References
References I
Aluisio, S., Specia, L., Gasperin, C., and Scarton, C. (2010).Readability assessment for text simplification.In Fifth Workshop on Innovative Use of NLP for Building Educational Applications,pages 1–9, Los Angeles.
Amaral, L., Metcalf, V., and Meurers, D. (2006).Language awareness through re-use of NLP technology.In Pre-conference Workshop on NLP in CALL – Computational and LinguisticChallenges. CALICO, University of Hawaii.
Antoniadis, G., Echinard, S., Kraif, O., Lebarbé, T., and Ponton, C. (2005).Modélisation de l’intégration de ressources TAL pour l’apprentissage deslangues : la plateforme MIRTO.Apprentissage des langues et systèmes d’information et de communication(ALSIC), 8(1) :65–79.
Antoniadis, G. and Grusson, Y. (1996).Modélisation et génération automatique de la lisibilité de textes.In ILN 96 : Informatique et Langue Naturelle.
50/60
Problematique Methodologie Resultats Conclusion References
References II
Antoniadis, G. and Ponton, C. (2004).MIRTO : un système au service de l’enseignement des langues.In Proc. of UNTELE 2004, Compiègne, France.
Bick, E. (2001).The VISL system : research and applicative aspects of IT-based learning.In Proceedings of NoDaLiDa, Uppsala.
Brown, J., Frishkoff, G., and Eskenazi, M. (2005).Automatic question generation for vocabulary assessment.In Proceedings of the conference on Human Language Technology and EmpiricalMethods in Natural Language Processing, pages 819–826, Vancouver, Canada.
Chanier, T. and Selva, T. (2000).Génération automatique d’activités lexicales dans le système ALEXIA.Sciences et Techniques Educatives, 7(2) :385–412.
Collins-Thompson, K. and Callan, J. (2004).A language modeling approach to predicting reading difficulty.In Proceedings of HLT/NAACL 2004, pages 193–200, Boston, USA.
51/60
Problematique Methodologie Resultats Conclusion References
References III
Collins-Thompson, K. and Callan, J. (2005).Predicting reading difficulty with statistical language models.Journal of the American Society for Information Science and Technology,56(13) :1448–1462.
Coniam, D. (1997).A preliminary inquiry into using corpus word frequency data in the automaticgeneration of English language cloze tests.Calico Journal, 14 :15–34.
Conseil de l’Europe (2001).Cadre européen commun de référence pour les langues : apprendre, enseigner,évaluer.Hatier, Paris.
Cornaire, C. (1985).La lisibilité : essai d’application de la formule courte d’Henry au français langueétrangère.PhD thesis, Université de Montréal, Montréal.
52/60
Problematique Methodologie Resultats Conclusion References
References IV
Crossley, S., Dufty, D., McCarthy, P., and McNamara, D. (2007).Toward a new readability : A mixed model approach.In Proceedings of the 29th annual conference of the Cognitive Science Society,pages 197–202.
Dale, E. and Chall, J. (1948).A formula for predicting readability.Educational research bulletin, 27(1) :11–28.
Daoust, F., Laroche, L., and Ouellet, L. (1996).SATO-CALIBRAGE : Présentation d’un outil d’assistance au choix et à larédaction de textes pour l’enseignement.Revue québécoise de linguistique, 25(1) :205–234.
Feng, L., Elhadad, N., and Huenerfauth, M. (2009).Cognitively motivated features for readability assessment.In Proceedings of the 12th Conference of the European Chapter of theAssociation for Computational Linguistics, pages 229–237.
53/60
Problematique Methodologie Resultats Conclusion References
References V
Feng, L., Jansche, M., Huenerfauth, M., and Elhadad, N. (2010).A Comparison of Features for Automatic Readability Assessment.In COLING 2010 : Poster Volume, pages 276–284.
Flesch, R. (1948).A new readability yardstick.Journal of Applied Psychology, 32(3) :221–233.
Foltz, P., Kintsch, W., and Landauer, T. (1998).The measurement of textual coherence with latent semantic analysis.Discourse processes, 25(2) :285–307.
François, T. (2009).Modèles statistiques pour l’estimation automatique de la difficulté de textes deFLE.In 11eme Rencontre des Etudiants Chercheurs en Informatique pour leTraitement Automatique des Langues.
54/60
Problematique Methodologie Resultats Conclusion References
References VI
François, T. and Miltsakaki, E. (2012).Do NLP and machine learning improve traditional readability formulas ?In Proceedings of the 2012 Workshop on Predicting and improving text readabilityfor target reader populations (PITR2012).
François, T. and Naets, H. (2011).Dmesure : a readability platform for French as a foreign language.In Computational Linguistics in the Netherlands (CLIN21), University CollegeGhent, 11 February.
Guilford, J. (1965).Fundamental statistics in psychology and education.McGraw-Hill, New-York.
Heilman, M., Collins-Thompson, K., Callan, J., and Eskenazi, M. (2007).Combining lexical and grammatical features to improve readability measures forfirst and second language texts.In Proceedings of NAACL HLT, pages 460–467.
55/60
Problematique Methodologie Resultats Conclusion References
References VII
Heilman, M., Collins-Thompson, K., and Eskenazi, M. (2008a).An analysis of statistical models and features for reading difficulty prediction.In Proceedings of the Third Workshop on Innovative Use of NLP for BuildingEducational Applications, pages 1–8.
Heilman, M., Zhao, L., Pino, J., and Eskenazi, M. (2008b).Retrieval of reading materials for vocabulary and reading practice.In Proceedings of the Third Workshop on Innovative Use of NLP for BuildingEducational Applications, pages 80–88.
Kandel, L. and Moles, A. (1958).Application de l’indice de Flesch à la langue française.Cahiers Études de Radio-Télévision, 19 :253–274.
Kanungo, T. and Orr, D. (2009).Predicting the readability of short web summaries.In Proceedings of the Second ACM International Conference on Web Search andData Mining, pages 202–211.
56/60
Problematique Methodologie Resultats Conclusion References
References VIII
Kate, R., Luo, X., Patwardhan, S., Franz, M., Florian, R., Mooney, R., Roukos, S.,and Welty, C. (2010).Learning to predict readability using diverse linguistic features.In Proceedings of the 23rd International Conference on Computational Linguistics(Coling 2010), pages 546–554.
Kemper, S. (1983).Measuring the inference load of a text.Journal of Educational Psychology, 75(3) :391–401.
Kibby, M. (1981).Test Review : The Degrees of Reading Power.Journal of Reading, 24(5) :416–427.
Kintsch, W. and Vipond, D. (1979).Reading comprehension and readability in educational practice and psychologicaltheory.In Nilsson, L., editor, Perspectives on Memory Research, pages 329–365.Lawrence Erlbaum, Hillsdale, NJ.
57/60
Problematique Methodologie Resultats Conclusion References
References IX
Koda, K. (2005).Insights into second language reading : A cross-linguistic approach.Cambridge University Press, Cambridge.
Miltsakaki, E. and Troutt, A. (2008).Real-time web text classification and analysis of reading difficulty.In Proceedings of the Third Workshop on Innovative Use of NLP for BuildingEducational Applications, pages 89–97.
Ott, N. (2009).Information Retrieval for Language Learning : An Exploration of Text DifficultyMeasures.Master’s thesis, University of Tübingen, Seminar für Sprachwissenschaft.http ://drni.de/zap/ma-thesis.
Pitler, E. and Nenkova, A. (2008).Revisiting readability : A unified framework for predicting text quality.In Proceedings of the Conference on Empirical Methods in Natural LanguageProcessing, pages 186–195.
58/60
Problematique Methodologie Resultats Conclusion References
References X
Schwarm, S. and Ostendorf, M. (2005).Reading level assessment using support vector machines and statisticallanguage models.Proceedings of the 43rd Annual Meeting on Association for ComputationalLinguistics, pages 523–530.
Selva, T. (2002).Génération automatique d’exercices contextuels de vocabulaire.In Actes de TALN 2002, pages 185–194.
Si, L. and Callan, J. (2001).A statistical model for scientific readability.In Proceedings of the Tenth International Conference on Information andKnowledge Management, pages 574–576. ACM New York, NY, USA.
Stenner, A. (1996).Measuring reading comprehension with the lexile framework.In Fourth North American Conference on Adolescent/Adult Literacy.
59/60
Problematique Methodologie Resultats Conclusion References
References XI
Tharp, J. (1939).The Measurement of Vocabulary Difficulty.Modern Language Journal, pages 169–178.
Uitdenbogerd, S. (2005).Readability of French as a foreign language and its uses.In Proceedings of the Australian Document Computing Symposium, pages19–25.
Verlinde, S., Selva, T., and Binon, J. (2003).Alfalex : un environnement d’apprentisage du vocabulaire français en ligne,interactif et automatisé.Romaneske, 28(1) :42–62.
60/60