deep learning pour la ri - laboratoire d'informatique de paris...
TRANSCRIPT
![Page 1: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/1.jpg)
Deep learning pour la RI
© Some slides are directly extracted fromhttp://nn4ir.com/
![Page 2: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/2.jpg)
o Traditional approach
o Modern approach (guided by machine learning)
n Conducting query and document understandingn Representing query and document as multiple feature vectorsn Calculating multiple matching scores between query and document n Training ranker with matching scores as features using learning to rank
From traditional to modern approaches in IR
Recherche d'information textuelle 266
RSV(d, q)
f(d, q)
![Page 3: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/3.jpg)
Lexical vs. Semantic matching
Recherche d'information textuelle 267
© http://nn4ir.com/
![Page 4: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/4.jpg)
o Pioneer work for text semanticsn Word embeddings
o Skip-gram & CBOWo Following methods: Gloves,
FastText, …
o Principle: learn wordrepresentations using contextualinformations
o Unsupervised methods (not task-driven)
Deep learning for semantic matching
Recherche d'information textuelle 268
![Page 5: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/5.jpg)
From Word to Document/Queryembeddings
Recherche d'information textuelle 269
© http://nn4ir.com/
![Page 6: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/6.jpg)
From Word to Document/Queryembeddings
Recherche d'information textuelle 270
© http://nn4ir.com/
![Page 7: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/7.jpg)
Dual Embedding Space Model (DESM) [Nalisnick et al., 2016]
Recherche d'information textuelle 271
© http://nn4ir.com/
![Page 8: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/8.jpg)
Dual Embedding Space Model (DESM) [Nalisnick et al., 2016]
Recherche d'information textuelle 272
© http://nn4ir.com/
![Page 9: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/9.jpg)
Neural Translation Language Model [Zuccon et al., 2015]
Recherche d'information textuelle 273
© Zuccon et al. 2015
© http://nn4ir.com/
![Page 10: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/10.jpg)
Neural Translation Language Model [Zuccon et al., 2015]
Recherche d'information textuelle 274
© http://nn4ir.com/
![Page 11: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/11.jpg)
Pre-trained word embedding for queryterm weighting [Zheng and Callan, 2015]
Recherche d'information textuelle 275
© http://nn4ir.com/
![Page 12: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/12.jpg)
Pre-trained word embedding for queryexpansion
Recherche d'information textuelle 276
© http://nn4ir.com/
![Page 13: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/13.jpg)
Pre-trained word embedding for queryexpansion
Recherche d'information textuelle 277
© http://nn4ir.com/
![Page 14: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/14.jpg)
o Document/query representations are generallylearnt independently from the retrieval taskn Well designed for semantic matchingn Not specifically designed for relevance matching
o One solution is to guide representation according to the retrieval taskn Goal of retrieval task: rankingn Need to build neural network able to rank documents
(learning-to-rank)
From document/query representations to end-to-end neural IR models
Recherche d'information textuelle 278
![Page 15: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/15.jpg)
n Representation-basedneural models
n Interaction-based neural models
End-to-end neural IR approaches
Recherche d'information textuelle 279
© Nguyen 2018
© Nuyen
![Page 16: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/16.jpg)
o Triplet loss
Learning-to-rank with neural models
Recherche d'information textuelle 280
©https://filebox.ece.vt.edu/~jbhuang/teaching/ece6554/sp17/lectures/Lecture_08_Siamese_Triplet_Networks.pdf
! =max(cos *, , + −cos *, , − +/01234, 0)
![Page 17: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/17.jpg)
Representation-based neural modelsDeep Semantic Matching Model (Huang et al, 2014)
Recherche d'information textuelle 281
![Page 18: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/18.jpg)
o Word representations: letter trigram
o Document scoring
o Loss
Representation-based neural modelsDeep Semantic Matching Model (Huang et al, 2014)
Recherche d'information textuelle 282
![Page 19: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/19.jpg)
n Dataset: commercial search engine (over 16.000 queries)
Representation-based neural modelsDeep Semantic Matching Model (Huang et al, 2014)
Recherche d'information textuelle 283
![Page 20: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/20.jpg)
Representation-based neural modelsAn extension with convolution (sentence level)
Recherche d'information textuelle 284
© http://nn4ir.com/
![Page 21: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/21.jpg)
Interaction-based neural models
Recherche d'information textuelle 285
© http://nn4ir.com/
![Page 22: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/22.jpg)
Interaction-based neural modelsDeep Relevance Matching model [Guo et al., 2016]
Recherche d'information textuelle 286
![Page 23: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/23.jpg)
o Histogramsn Count-based Histogram (CH): the count of local
interactions in each bin as the histogram value.n Normalized Histogram (NH): normalization of the count
value in each bin by the total count. n LogCount-based Histogram (LCH): logarithm applied over
the count value in each bin.
o Loss
Interaction-based neural modelsDeep Relevance Matching model [Guo et al., 2016]
Recherche d'information textuelle 287
![Page 24: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/24.jpg)
Interaction-based neural modelsDeep Relevance Matching model [Guo et al., 2016]
Recherche d'information textuelle 288
![Page 25: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/25.jpg)
o Challengesn Traditional baselines as BM25 are difficult to beatn Relatively good results on short texts (titles) but not
on long text
o Solutions
Representation-based neural modelsLimitations and challenges
Recherche d'information textuelle 289
© http://nn4ir.com/
![Page 26: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/26.jpg)
Neural Ranking Models with WeakSupervision [Dehghani et al., 2017]
Recherche d'information textuelle 290
© http://nn4ir.com/
![Page 27: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/27.jpg)
Neural Ranking Models with WeakSupervision [Dehghani et al., 2017]
Recherche d'information textuelle 291
© http://nn4ir.com/
![Page 28: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/28.jpg)
o Knowledge resources (thesaurus, nomenclature, …)
Another type of semantics
Recherche d'information textuelle 292
© Nguyen
![Page 29: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/29.jpg)
o Graph-oriented knowledge resources
Another type of semantics
Recherche d'information textuelle 293
![Page 30: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/30.jpg)
Comment on fait en RI classique ?
Recherche d'information textuelle 294
RI sém
antique R
I Conceptuelle
Désambiguïsation des mots (Voorhees 93, Sanderson97, Gonzalo 98, Baziz et al. 05,Boughanem et al.10)
Reformulation de la requête (Voorhees 99, Baziz et al.03, Croft et al. 2011)
RI basée sur les concepts (Bedersky et al, 2012)
�
�
�
Approches basées sur l’analyse de corpus
•Proximité des mots : Bi-grammes, Bi-termes, , Apprentissage profond (deep learning)
Approches basées sur des ressources sémantiques
•Ontologies : (WordNet), thésaurus (UMLS) , Encyclopédie (wikipedia)
© Lynda Said L’hadj
![Page 31: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/31.jpg)
Approches basées sur l’analyse de corpus
Recherche d'information textuelle 295
Travaux Descripteurslongs Relations Pertinence
revisitéeAuteurs Description
Berger & LaffertySIGIR 99
Statistical translation Modélisation de la synonymie par un modèle de cooccurrence
- + +
Song & CroftSIGIR
A general language model for information retrieval
Modèle de langue de bigrammes + - -
Srikanth & srihari(SIGIR’02-03)
Bi-term language Model Modèle de langue de bi-termes et concepts (bigrammes revisités)
+ - -
Gao et al. (SIGIR’04)
Dependence language model for information retrieval
Liens pondérés entre les mots de la requête modélisée par un graphe de liens L
- + -
Metzler & croft (SIGIR’05)
A markov random field model for term dependencies
Liens pondérés entre la requête et le document (FI,SD,FD)
- + +
Shi & Nie (SIGIR’09)
Phrase inseparability in phrase-based model
Mots composés identifié selon un facteur discriminant + + +
Hammache et al (KIS’ 13)
Compound and singleterms under LM
Mot composés identifiés selon facteur de dominance + + +
Bendersky et al(SIGIR 12)
Modeling higher-order term dependencies in IR using query hypergraphs
Concepts identifiés selon un processus d’apprentissage + - +
© Lynda Said L’hadj
![Page 32: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/32.jpg)
Approche basée sur des ressources sémantiques
Recherche d'information textuelle 296
Travaux Descripteur
Long Désambiguïsa
tionRelation
s Pertinen
ce revisitée Auteurs Description
Voorhees et al.SIGIR’94
Query expansion using lexical-semantic relations
Représentation de la requête étendue par un vecteur Résultat négatif (requête longues)
- - + -
Baziz et al. RSTI’ 03
expansion de requêtes
Expansion prudente (long concepts). + + + +
Baziz et al. CoLIS'05
Document and queryexpansion (Doc Core)
Noyau sémantique des documents. Désambiguïsation basée sur les relations sémantiques
+ + + +CF.IDF
Baziz et al. RIAO’07
IR driven by ontology from query to document expansion. (Doc Tree)
Représentation par les sous arbres appariement flow . Meilleure que DoCore
+ + + +
Cao et al. SIGIR’05
WordNet relationshipsin LM
Combinaison linéaire de (UL,LM,CM), (UL,LM)-- - - + -
Bao et al. 05 Language SenseModel
Lissage sémantique des mots avec leurs sens (Requêtes courtes ++)
- + +
Zhou et al. 08 Topic signature language models
Lissage du ML par des concepts + - - -
Tu et al. 11 Wikipedia-basedsemantic smoothing
Lissage du ML par des concepts + + - -
Meij et al. 12 Conceptual language models for domain-specific retrieval
Réécriture de la requête avec les mots simples engendré par les concepts des document feedback
- + -
© Lynda Said L’hadj
![Page 33: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/33.jpg)
o Word embeddings are not sufficient to conveymeanings expressed in knowledge resources
n Hybrid approaches for representing word/documents
n End-to-end approach leveraging knowledge resources
And with deep learning methods?
Recherche d'information textuelle 297
![Page 34: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/34.jpg)
o Triplet embedding [Bordes et al., 2013] – TransE, TransR, …n Concepts h and tn Related by l
Knowledge-guided word representations
Recherche d'information textuelle 298
![Page 35: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/35.jpg)
o RC-NET [Xu et al., 2014]
Knowledge-guided word representations
Recherche d'information textuelle 299
![Page 36: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/36.jpg)
o Retrofitting word representations [Faruqui et al., 2015]n 2 steps:
o Estimate word embeddingso Retrofit word embeddings with KB
n New embeddings close to first onesn Close to concept embeddings in the KB
Knowledge-guided word representations
Recherche d'information textuelle 300
![Page 37: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/37.jpg)
Knowledge-guided word and concept representations
Recherche d'information textuelle 301
![Page 38: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/38.jpg)
o [Mancini et al., 2017]
Knowledge-guided word and concept representations
Recherche d'information textuelle 302
![Page 39: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/39.jpg)
??????
Future direction in IR
Recherche d'information textuelle 303
![Page 40: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/40.jpg)
o GAN
Future directions of deep learning in IR
Recherche d'information textuelle 304
Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
![Page 41: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/41.jpg)
IRGAN (Wang et al., 2017)
Recherche d'information textuelle 305Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
![Page 42: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/42.jpg)
IRGAN (Wang et al., 2017)
Recherche d'information textuelle 306Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
![Page 43: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/43.jpg)
o Reinforcement learning ?
Future directions of deep learning in IR
Recherche d'information textuelle 307
Source : http://wnzhang.net/tutorials/sigir2018/docs/sigir18-irgan-full-tutorial.pdf
![Page 44: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/44.jpg)
o Reinforcement learningn User modeling: sequence of actions, predicting next
steps, …n Chatbot !
Future direction in IR
Recherche d'information textuelle 308
![Page 45: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/45.jpg)
o Reinforcement learning for natural languageunderstanding (Nogueira et al., 2018)
Future direction in IR
Recherche d'information textuelle 309
![Page 46: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/46.jpg)
Recherche d'information textuelle 310
o Reinforcement learning for natural languageunderstanding (Aissa et al., 2018)
Future direction in IR
![Page 47: Deep learning pour la RI - Laboratoire d'informatique de Paris 6dac.lip6.fr/master/wp-content/uploads/2018/09/deep... · 2018-10-24 · Noyau sémantique des documents. Désambiguïsation](https://reader036.vdocuments.net/reader036/viewer/2022070810/5f08a3fb7e708231d42301ba/html5/thumbnails/47.jpg)
Bibliographieo Ouvrages généraux
n Baeza-Yates R, Ribeiro-Neto B., 1999, Modern Information Retrieval, Addison-Wesleyn Manning D., Schütze H., 1999, Foundations of statistical natural language processing, MIT pressn Christopher D. Manning, Prabhakar Raghavan and Heinrich Schütze, Introduction to Information
Retrieval, Cambridge University Press. 2008.n Amini M., Gaussier E., Recherche d’information, Eyrolles 2012
311Recherche d'information textuelle