le studio saphir pour segmenter et décrire des documents audiovisuels, visuels et textuels,...
Upload: atelier-de-semiotique-audiovisuelle-en-sciences-humaines-et-sociales-asa-shs
Post on 20-May-2015
641 views
DESCRIPTION
Abdelkrim BELOUED, Ingénieur de recherche à l’Institut national de l’audiovisuel (Ina) et Steffen LALANDE, Ingénieur/chercheur, membre de l’équipe CAP du département recherche de l’Ina Le studio SAPHIR pour segmenter et décrire des documents audiovisuels, visuels et textuels Le projet RIAM SAPHIR visait à développer un système technique intégré d’annotation, de recherche d’information et de publication destiné à valoriser des contenus d’archives numériques. Le système développé offre notamment la possibilité de définir et de gérer différents modèles d’annotation et de publication. Les modèles d’annotation utilisés permettent de définir différents axes d’annotation et la réalisation d’annotations complexes basées sur des ontologies et le formalisme des graphes conceptuels. Nous présenterons tout particulièrement les fonctionnalités évoluées de la plateforme en matière d’annotation structurée, de production de connaissances et de recherche d’information. Nous terminerons l’exposé par une courte présentation des possibilités de SAPHIR en matière de publication ainsi que par la présentation des évolutions futures de la plateforme.TRANSCRIPT
Steffen Lalande, Abdelkrim Beloued 12 avril 2023
Le Studio Saphir pour segmenter et décrire des documents audiovisuels
2
Quelques informations générales
• Système d’Assistance à la Publication Hypermédia par spécification d’Intentions et modélisation Rhétorique
• Projet ANR-05-RIAM-006
• De type “exploratoire”
• 2006 -> début 2010
• Partenaires :
–LIRMM (GRaphiK et IHM)–FMSH (Escom)–LERIA (Interaction, connaissances et Langage naturel)–NETIA–INA (ISA et CAP)
3
Objectifs
Dans un contexte de valorisation d’archives AV…… et de (Re)-publication sur différents supports( Web,DVD,mobile)
• Permettre à un auteur de réaliser des publications hypermédias “utilitaires”–En exploitant directement une base de documents–En ne mobilisant que des notions proches de ses compétences
• Assistances apportées sur différents points–Segmentation, description de contenus–Recherche de contenus–La réalisation de plans de publication–La mise en forme hypermédia
• Une plateforme générique capable de gérer des modèles de publication différents
4
Le studio Saphir pour décrire et segmenter les
documents audiovisuels, visuels et textuels | 12 avril 2023
4
Process général, ressources et rôles
Ontologiedomaine
SpécificationPublication Annotation
OntologiePublication
OntologieSémio-rhétorique
Modèle Publication
Modèle Description
Modèle Description
Modèle Publication
Modèle Publication
Modèle Description
KBMS(annotations
/ faits)
DocMise en forme& présentation
5
Objectifs en Description de contenus et Recherche d’information
• Réexploiter des contenus dans des contextes différents
• Définir des extraits porteurs de sens
• Faciliter la recherche de contenus
• Permettre leur manipulation par un système logiciel d’aide à la publication
Solutions apportées :
• Possibilité de sur-segmenter un document
• Offrir différents axes de description (Thématique, Rhétorique, Forme AV)
• Utilisation de langages de représentation des connaissances–Graphes utilisant concepts et relations –basés sur des ontologies
6
Alléger le travail de l’annotateur et de l’auteur
• Utilisation de patterns de description liés aux modèles–Spécialiser et instancier les pattern
• Limiter la duplication d’information : portée temporelle de la description–Description hiérarchique et mécanismes d’héritage d’information entre
strates
• Distinguer description du contexte et connaissances générales
… et augmenter les possibilités du système en RI et Publication–Mixer base d’annotations et base de connaissances
7
DEMO Annotation et Recherche de contenus
8
Le studio Saphir pour décrire et segmenter les
documents audiovisuels, visuels et textuels | 12 avril 2023
8
Architecture de publication
9
Ontologie de publication
• Référentiel d’édition
• Décrit la structure de publication–Éléments de publication (Topics, Ressources, etc.)–Relations rhétoriques (Exemplification, Définition, Description, etc.)
• Combinaison de deux ontologies–Ontologie noyau de publication
> Éléments communs entre les genres de publication: Topic, Vidéo, Image, Texte, Individu, etc.
–Ontologie du genre de publication> Se greffer sur l’ontologie noyau> Raffinement de certains éléments de l’ontologie noyau> Éléments spécifiques à un genre de publication
»Par exemple, pour le vidéo-lexique: Rubrique, Article.
10
Ontologie de rendu
• Décrit la structure du rendu final
• Exemple: Site Web
11
Moteur de transformation
• Transformation du graphe de publication en un graphe de rendu
• Regroupements d’éléments–Relations rhétoriques => Corrélation entre les
éléments–Résultat: ensemble de blocs multimédias
• Placement d’élements–Plusieurs variantes suivant le contexte–Placement intra-bloc–Placement inter-bloc–Résultat: plan de publication
• Générateur du graphe de rendu–Exécution du plan de publication
12
DEMO Publication de contenus
13
Le studio Saphir pour décrire et segmenter les
documents audiovisuels, visuels et textuels | 12 avril 2023
13
STUDIOclientSTUDIO
clientSTUDIOclient
Mediaservices
Web services layer
descriptionsservices
Individualservices
Factsservices
serachservices
individualsAuthorGraphsdescriptions
Indexing Models
Medias Publishingmodels
notes
Notesservices
WEB
PublicationEditing
services
PublicationWorkflowservices
Search engine
wrapper
COGITANTengine
SYGMARTTTL
Eadgen
NWE
Publications
règles
ServerManagement
client
LERIANETIA
INA / NETIA
INA / LIRMM
INA/ LIRMM/FMSH
Css,xslt... LIRMM
INA / NETIA
LIRMM
facts
ONTOLOGY
editorontology
INA
LIRMM
INA
FMSH
INA
14
Conclusion et perspectives
• Une plateforme d’expérimentation de modèles d’indexation et de publication
• Un système évolué de descriptions de contenus et de recherche d’information
• Une gestion conjointe des annotations et des connaissances.• Un système de publication prenant en compte les contraintes de support• Problème : cohabitation de trois langages différents pour l’indexation et
la publication
un système trop complexe
perte d’information entre les étapes : complexité écriture de règles
Refonte du système pour l’utilisation du langage OWL/RDFS/RDF tout au long de la chaîne
Interopérabilité avec bases de connaissances externes