core techs et lucene

Lucene :Recherche sémantique et typologique

1er février 2007 – Louis Sicard – Lucene : recherche sémantique et typologique

Plan de la présentation :

1. Lucene et la recherche sémantique

2. Typologie documentaire et recherche

3. Trustin : l’application de recherche en ASP



a. Rappels : Lucene, l’outil de recherche opensource en Java

• Lucene est né en 2001 au sein de la communauté Apache

• Système de recherche et d’indexation entièrement écrit en Java

• Les points forts de Lucene :

• Performance reconnue de l’index

• Un modèle applicatif ergonomique

• Une capacité d’intégration exemplaire



b. Structure et fonctionnement de Lucene


DB

Index

File System

web

GatherData

IndexDocuments

Search Index

User

Get Users’Query

PresentSearch Results

Lu

cen

eA

pp

lica

tion


• Une phase de structuration :

• Une phase d’indexation :

• Analyzer : fournit la méthode d’indexation

• Indexer : ajoute le contenu à l’index


b. Structure et fonctionnement de Lucene

Document

Field


c. Application de recherche

• Query : modélise la requête de l’utilisateur, utilisation de syntaxe booléenne, etc

• Analyzer : méthode de parsing de la requête

• IndexSearcher : effectue la recherche sur l’index

• Hit : Un résultat de recherche



a. Référentiel documentaire

• Un référentiel documentaire est un ensemble de contenus produit par un groupe d’entités sur une thématique commune

• La typologie des documents du référentiel est hétérogène

• Le sens d’un terme est lié à sa position au sein de la structure du document

• Il est nécessaire de trouver un modèle capable de lier la position structurelle d’un terme (typologie) à son sens (sémantique)



b. Introduire la notion de typologie dans Lucene


Documents

XMLDescriptor

Content

Structure

Document

Field


c. Pondération de la pertinence des résultats de recherche

• Introduire un coefficient de pondération supplémentaire dans le taux de pertinence calculé par Lucene

• En identifiant les zones de contenu où la recherche doit être effectuée : descripteur XML

• Produire un « ranking » de termes par zone : statistique



a. Externalisation des application de recherche


DescripteursXML

CrawlerTrustin

Référentiel documentaire

Index

Applicationde recherche

Résultatsde recherche

Trustin SI externe


b. Les fonctionnalités de Trustin

• Suggestion automatique de rechercheEx : création ? création d’entreprise OU création artistique

• SiglaisonEx : CDI ? Contrat à Durée Indéterminée

OU Contrat Développement Innovation

• Stemmatisation :Ex : Commerce ? Commerce ET Commercial(e)

ET Commercialisation, etc

• Correction orthographique

• Indexation multi-format : XML, HTML, PDF, Word, Excel, PowerPoint, Ooo



c. Développement de Trustin

• Cofinancé par Oséo

• Ouverture prochaine à la communauté

• [email protected]


mailto:[email protected]

Merci de votre attention

Questions ?


core techs et lucene

Technology