ressources lexicales et grammaticales pour le russe
DESCRIPTION
Conception et réalisation de ressources lexicales et grammaticales pour le russe pour le logiciel Nooj de Max Silberztein. Ressources lexicales et grammaticales pour le russe. Semaine NOOJ Inalco 31 janvier 2012. Vincent BÉNET CREE CERRUS - RAO Recherche assistée par ordinateur. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/1.jpg)
1
Ressources lexicales et grammaticales Ressources lexicales et grammaticales pour le russepour le russe
Semaine NOOJ Semaine NOOJ Inalco Inalco
31 janvier 201231 janvier 2012Vincent BÉNET
CREE CERRUS - RAO
Recherche assistée par ordinateur
Conception et réalisation Conception et réalisation de ressources lexicales et de ressources lexicales et
grammaticales grammaticales pour le russepour le russe
pour le logiciel Nooj pour le logiciel Nooj de Max Silberzteinde Max Silberztein
![Page 2: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/2.jpg)
2
Historique des ressources existantes pour le russeHistorique des ressources existantes pour le russe
Principes de conceptionPrincipes de conception
Descriptif de la réalisationDescriptif de la réalisation
Travail restant à faireTravail restant à faire
Conception et réalisation de ressources lexicales et Conception et réalisation de ressources lexicales et grammaticales grammaticales
pour le russe pour le logiciel Nooj pour le russe pour le logiciel Nooj de Max Silberzteinde Max Silberztein
![Page 3: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/3.jpg)
3
Historique des ressources existantes en Historique des ressources existantes en russerusse
CORPUS RUSSES ACTUELSCORPUS RUSSES ACTUELS
2000-20102000-2010
La bibliothèque de MoshkovLa bibliothèque de Moshkov
http://lib.ruhttp://lib.ru
Le fonds informatisé de la langue russeLe fonds informatisé de la langue russehttp://cfrl.ruhttp://cfrl.ru
Le corpus national de la langue russeLe corpus national de la langue russe
http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Le corpus national de la langue littéraire* russeLe corpus national de la langue littéraire* russe
http://www.narusco.ruhttp://www.narusco.ru
![Page 4: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/4.jpg)
4
Corpus de textes russesCorpus de textes russesLa Bibliothèque de MoshkovLa Bibliothèque de Moshkov
http://http://liblib.ru.ru
![Page 5: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/5.jpg)
5
Corpus de textes russesCorpus de textes russes
Le fonds informatisé de la langue russeLe fonds informatisé de la langue russehttp://cfrl.ruhttp://cfrl.ru
•1600 oeuvres littéraires (romans, poésies, théâtre du XIX et XX, environ 100 auteurs)
•Corpus de textes de journaux (années 1991-2000)
•Dictionnaires
•avec logiciel intégré de recherche d’occurrences
![Page 6: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/6.jpg)
6
Машинный фонд русского Машинный фонд русского языкаязыка
http://cfrl.ruhttp://cfrl.ru
![Page 7: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/7.jpg)
7
Машинный фонд русского Машинный фонд русского языкаязыка
http://cfrl.ruhttp://cfrl.ru
![Page 8: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/8.jpg)
8
Национальный корпус Национальный корпус русского языкарусского языка http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Échantillon « représentatif » de la langue russe
50 000 textes
150 000 000 mots
Corpus de 5 000 000 formes étiquetées et désambiguïsées
avec recherche d’occurences
![Page 9: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/9.jpg)
9
Национальный корпус Национальный корпус русского языкарусского языка http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Recherche dans le corpus : choix du sous-corpusRecherche dans le corpus : choix du sous-corpus
![Page 10: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/10.jpg)
10
Национальный корпус Национальный корпус русского языкарусского языка http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Sélection morphosyntaxique dans le corpusSélection morphosyntaxique dans le corpus
![Page 11: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/11.jpg)
11
Национальный корпус Национальный корпус русского языкарусского языка http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Sélection sémantique dans le corpusSélection sémantique dans le corpus
![Page 12: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/12.jpg)
12
Национальный корпус Национальный корпус русского языкарусского языка http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Sélection sémantique dans le corpusSélection sémantique dans le corpus
![Page 13: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/13.jpg)
13
Национальный корпус Национальный корпус русского языкарусского языка http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Recherche dans le corpusRecherche dans le corpus
![Page 14: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/14.jpg)
14
Национальный корпус Национальный корпус русского языкарусского языка http://www.ruscorpora.ruhttp://www.ruscorpora.ru
Recherche dans le corpusRecherche dans le corpus
![Page 15: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/15.jpg)
15
Historique des ressources existantes en Historique des ressources existantes en russerusse
DICTIONNAIRE ELECTRONIQUEDICTIONNAIRE ELECTRONIQUE
pour la langue russe pour la langue russe
dictionnaire grammatical de ZALIZNIAK dictionnaire grammatical de ZALIZNIAK
96 000 entrées avec codage 96 000 entrées avec codage morphosyntaxique morphosyntaxique
version papier = dictionnaire a tergo version papier = dictionnaire a tergo
version électronique (avec codage) version électronique (avec codage) alphabétiquealphabétique
![Page 16: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/16.jpg)
16
Historique des ressources existantes en Historique des ressources existantes en russerusse
DICTIONNAIRE ELECTRONIQUE DICTIONNAIRE ELECTRONIQUE pour la langue pour la langue russe russe dictionnaire grammatical de ZALIZNIAK dictionnaire grammatical de ZALIZNIAK
![Page 17: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/17.jpg)
17
Historique des ressources existantes en Historique des ressources existantes en russerusse
conjugueur-déclineur russe de conjugueur-déclineur russe de STARLINGSTARLING
http://starling.rinet.ru/cgi-bin/morphque.cgi?http://starling.rinet.ru/cgi-bin/morphque.cgi?flags=endnnnnflags=endnnnn
![Page 18: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/18.jpg)
18
Historique des ressources existantes en Historique des ressources existantes en russerusse
LOGICIELS DE TRAITEMENT DE CORPUSLOGICIELS DE TRAITEMENT DE CORPUS
pour la langue russe pour la langue russe 1980-20001980-2000
UNILEX ( sous DOS) UNILEX ( sous DOS)
MAK ( sous Windows )MAK ( sous Windows )
avec un corpus d’environ 4000 pages avec un corpus d’environ 4000 pages
de textes russes lemmatisésde textes russes lemmatisés
![Page 19: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/19.jpg)
19
Historique des ressources existantes en Historique des ressources existantes en russerusse
LOGICIELS DE TRAITEMENT DE CORPUSLOGICIELS DE TRAITEMENT DE CORPUS
pour la langue russe pour la langue russe 1980-20001980-2000
UNITEX UNITEX
avec un corpus avec un corpus d’environ 100 pages d’environ 100 pages
( Le joueur de ( Le joueur de Dostoevski)Dostoevski)
et un dictionnaire de et un dictionnaire de 9000 mots 9000 mots
correspondant au correspondant au vocabulaire russe du vocabulaire russe du
textetexte
![Page 20: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/20.jpg)
20
Historique des ressources existantes en Historique des ressources existantes en russerusse
UNITEX avec un corpus d’environ 100 pages ( Le joueur de UNITEX avec un corpus d’environ 100 pages ( Le joueur de Dostoevski)Dostoevski)
et un dictionnaire de 9000 motset un dictionnaire de 9000 mots
![Page 21: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/21.jpg)
21
Constituer des ressources Constituer des ressources Nooj pour la langue russeNooj pour la langue russe
NOOJNOOJ http://www.nooj4nlp.net/http://www.nooj4nlp.net/ M. Silberztein
![Page 22: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/22.jpg)
22
Ecrire un lemmatiseur du russe pour Ecrire un lemmatiseur du russe pour NoojNooj
Prendre l’UNILEX russe comme modèle ?
étiquettes:С - substantif, П – adjectif … мр, жр, ср – masculin, féminin, neutreим, рд, дт, вн, тв, пр - cas : nominatif, génitif, datif, accusatif, instrumental, prépositiftableau de correspondances:аа A С мр, но, ед, им. aa= substantif, masc, inanimé, sing, nominatifаб A С мр, но, ед, рд.бд C С мр, од, ед, тв.dictionnaire:АРОТЛОП%0*эжэйэтэх « IMED TE NU »paradigmes:%ЙО*ад%У*аг%Ы*абажай Y=gén. sg fém, nom. pl. fém , acc. pl. inan
![Page 23: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/23.jpg)
23
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
IMPOSSIBILITE DE RECUPERER LES LEMMATISEURS EXISTANTS
Utiliser le dictionnaire ZALIZNIAK : 96 000 entrées
Problème du codage utilisé полный п 1*а/б // 1*a/cbasé sur l’accent de motcomplété d’annotations inutilisables non formaliséenon-phonologique non-orthographique (écriture de la voyelle mobile, du jod)
les modèles de Zalizniak ont dû être remaniés pour le traitement informatique
![Page 24: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/24.jpg)
24
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
1. reconstituer un dictionnaire
2. créer un jeu d’étiquettes lisibles 3. recoder le dictionnaire avec ces étiquettes
4. problème du ë / e
5. établir la liste des modèles types
6. écrire les paradigmes
7. affecter les modèles aux mots du dictionnaire
8. vérifier le paradigme
9. tester avec des textes 9. tester avec des textes
10. corriger les erreurs 10. corriger les erreurs
![Page 25: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/25.jpg)
25
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
1. reconstituer un dictionnaire a tergo
2. créer un jeu d’étiquettes lisibles N, A, V, ADV etc.
A_Forme = fc | fl | adv;A_Genre = m | f | n ;A_SGenr = an | inan ;A_Nombre = s | p;A_Cas = Im | Vi | Ro | Da | Tv | Pr | Zv;A_Deg = Comp | Sup ;ADV_Deg = Comp;
![Page 26: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/26.jpg)
26
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
2. jeu d’étiquettes
DEFINITION DES PROPRIETES ET DES CARACTERISTIQUES AFFECTEES
A_Forme = fc | fl | adv;A_Genre = m | f | n ;A_SGenr = an | inan ;A_Nombre = s | p;A_Cas = Im | Vi | Ro | Da | Tv | Pr | Zv;A_Deg = Comp | Sup ; ADV_Deg = Comp; N_Genre = m | f | n ;N_SGenr = an | inan ;N_Nombre = s | p;N_Cas = Im | Vi | Ro | R2 | Da | Tv | Pr | P2 | Zv ;N_Sem = Hum | Conc | Abstr | Org | Text | ConcColl + Cpmc | Immeub | Qual | Anim | Loc | Pdc | Sent | Quant | Mat | Liq | Alim | Vehicl | Pr | Tmp | Atm | Geom | CollHum | CollImmeub | Mach ;
NUM_Cat = ord | card | collNUM_Genre = m | f | n ;NUM_SGenr = an | inan ;NUM_Nombre = s | p;NUM_Cas = Im | Vi | Ro | Da | Tv | Pr ; PRON_Genre = m | f | n;PRON_SGenr = an | inan ;PRON_Nombre = s | p;PRON_Pers = 1 | 2 | 3;PRON_Cas = Im | Vi | Vip | Ro | Rop | Da | Dap | Tv | Tvp | Pr ; V_Pers = 1 | 2 | 3;V_Asp = Ipf | Pf;V_Temps = Pre | Pa | Fu;V_Mode = Inf | Ind | Imp | Cond | Ger | Prtp ;V_Voix = Act | Pss ;V_Genre = m | f | n ;V_Nombre = s | p ;V_Sem = Intr | Tr | Refl ;V_Cas = Im | Vi | Ro | Da | Tv | Pr ; PREP;CONJ;INTERJ;PART;INTRO;
![Page 27: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/27.jpg)
27
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
4. problème du ë / e (non résolu à ce jour par l’Académie de Russie)
3. recoder le dictionnaire avec ces étiquettes
![Page 28: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/28.jpg)
28
modèles types
<N>45000 substantifs
<A>20000 adjectifs
<V>27000 verbes
<ADV> <PREP> <NUM>2200
paradigmes
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
<N>350 types flexionnels
<A>60 types flexionnels
<V>400 types verbaux
<NUM>Cardinaux
![Page 29: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/29.jpg)
29
#j1a=karta#jo1a=korova#j2a=nedelja#jo2a=boginja#j3a=kniga#jo3a=sobaka#j4a=tuča#jo4a=kassirša#j5a=ulica#jo5a=volčica#j6a=statuja#jo6a=feja#j7a=linija#jo7a=furija
5. établir la liste des modèles types
карта = <E>/Im+f+s + <B>у/Vi+f+s + <B>ы/Ro+f+s + <B>е/Da+f+s + <B>ой/Tv+f+s + <B>е/Pr+f+s + <B>ы/Im+f+p + <B>ы/Vi+f+p + <B>/Ro+f+p + <B>ам/Da+f+p + <B>ами/Tv+f+p + <B>ах/Pr+f+p ;
6. écrire les paradigmes
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
6b. écrire les dérivés ( patronymes)
![Page 30: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/30.jpg)
30
7. affecter les modèles aux mots du dictionnaire
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
abažur,N+m+inan+FLX=zavodabazinec,N+m+an+FLX=ukrainecabazin,N+m+an+FLX=artistabaz,N+m+inan+FLX=zavodabak,N+m+inan+FLX=čajnikabbat,N+m+an+FLX=artist
8. vérifier le paradigme
![Page 31: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/31.jpg)
31
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
9. tester avec des textes : 9. tester avec des textes : «« la dame au petit chien » de Tchekhovla dame au petit chien » de Tchekhov
![Page 32: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/32.jpg)
32
Ecrire un lemmatiseur du russe Ecrire un lemmatiseur du russe pour Noojpour Nooj
10. corriger les erreurs : 10. corriger les erreurs :
-coquilles (mélange latin/cyrillique) A B E K M H O P C y X MOCKBA
- erreurs dans l’écriture paradigmes <B><L>
- mauvaise affectation des mots à leur type flexionnelsurgénération de formes incongrues
- mots inutiles dans le dictionnaire = source d’ambiguïtés supplémentaires-les noms des lettres a, б, в, и, к, о, с, у, я-les mots vieillis etc..
![Page 33: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/33.jpg)
33
Désambiguïser un texteDésambiguïser un texte
![Page 34: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/34.jpg)
34
Ecrire des ressources pour le russeEcrire des ressources pour le russe pour Nooj pour Nooj
concevoir des grammaires de désambiguisation concevoir des grammaires de désambiguisation
- régime des prépositions - régime des verbes courants- accords adjectifs / substantifs- rection des numéraux- expression des dates / heures etc.- reconnaissance des toponymes, des prénoms, des diminutifs etc.
![Page 35: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/35.jpg)
35
Ecrire des ressources pour le russeEcrire des ressources pour le russe pour Nooj pour Nooj
concevoir des grammaires de désambiguisation concevoir des grammaires de désambiguisation
![Page 36: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/36.jpg)
36
Ecrire des ressources pour le russeEcrire des ressources pour le russe pour Nooj pour Nooj
concevoir des grammaires de désambiguisation concevoir des grammaires de désambiguisation
![Page 37: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/37.jpg)
37
Constituer un corpus Constituer un corpus de textes vérifiés et de textes vérifiés et
désambiguïsésdésambiguïsés
![Page 38: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/38.jpg)
38
Constituer un corpus Constituer un corpus de textes vérifiésde textes vérifiés
NOOJNOOJ
![Page 39: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/39.jpg)
39
Ecrire des ressources pour le russeEcrire des ressources pour le russe pour Nooj pour Nooj
Pour aller plus loin…. dans une perspective ultérieure de
constitution de ressources parallèles et alignées
Harmonisation des étiquettes entre langues (slaves)
![Page 40: Ressources lexicales et grammaticales pour le russe](https://reader033.vdocuments.net/reader033/viewer/2022061605/56815249550346895dc08729/html5/thumbnails/40.jpg)
40
Ressources lexicales et grammaticales Ressources lexicales et grammaticales pour le russepour le russe
Semaine NOOJ Semaine NOOJ Inalco Inalco
31 janvier 201231 janvier 2012
CREE Langue , linguistique et développement numérique
Recherche assistée par ordinateur
Conception et réalisation Conception et réalisation de ressources lexicales et de ressources lexicales et
grammaticales russesgrammaticales russespour NOOJpour NOOJ