Transcript
Page 1: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

L’émotion dans les systèmes interactifs

Domaines d’expérimentation :

la danse & la réalité augmentée.

Page 2: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Conférence - Démonstrationdansée

Gaël Domenger, Centre Chorégraphique National - Thierry Malandain, Ballet Biarritz

Alexis Clay, ESTIA, LaBRI, Université de Bordeaux.

Elric Delord, ESTIA

Nadine Couture, ESTIA, LaBRI

Laurence Nigay, Université Joseph Fourier, LIG

Page 3: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

etc…

Managm

ent mental

Sport de haut niveau

Stress des pilotes pôle aérospace valley

Ballet A

ugmenté

Page 4: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 4

L’émotion est assez peu étudiée en IHM

C’est pourtant, peut être, la part la plus

Humaine de l’IHM !

L’émotion devrait être un élément clé de

notre discipine qui étudie les Humains

Interagissant avec les Machines.

Capture

Analysis

Interpretation

Page 5: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 5

Différentes manières de l’aborder … notre approche :

Le geste et la position du corps traduit un état affectif …

Comment faire réagir le système

informatique selon l’état affectif capturé ?

Point de vue génie logiciel

centré utilisateur !

Capture

Analysis

Interpretation

Page 6: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 6

CARE is a French research project funded by the French research agency (ANR). The project brings together 7 partners, whose goal is to integrate, adapt and develop tools to enhance interactive systems devoted to cultural experiences. These enhancements

are based on augmented reality and emotions.

ESTIAFrench Research Agency

GIPSAImmersion

IRITLIG

LIMSIMetapages

UTT

+Capture

Analysis

Interpretation

Page 7: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Démonstration de l’application

Page 8: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 8

CAPTURE

ANALYSE

INTERPRETATION

Dispositifs

Caractéristiques

Emotion

Page 9: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 9

Architecture à composants

Composant: boîte noire. Définie par ses entrées, sorties (paramètres)

Communication par flux de signaux entre composants

Avantage: réutilisabilité des composants, modifiabilité du système

Flux entrants

Flux sortants

paramètre

Page 10: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 10

Capture Analyse Interprétation

Unités de CaptureExtracteurs de caractéristiques Interpréteurs

Page 11: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 11

Composant Capture Composant Analyse Composant interprétation

Page 12: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 12

La reconnaissance d'émotion en tant qu'interaction

Modalité := (d, sr) | (modalité, sr) Ex de SR: Coordonnées de mains: 2 * 6 degrés de

libertés; coordonnées du corps complet, 23 segments <X, Y, Z, q1, q2, q3, q4>

Système représentationnel: permet d’identifier les flux qu’il est possible de fusionner

Composition des modalités: propriétés CARE

Page 13: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Architecture de l’application

Page 14: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 14

Représentation graphique

IG NF

CD

IG NF

Niveau Capture

Niveau Analyse

Niveau Interprétation

Unités de capture

Extracteurs de caractéristiques

Interpréteurs

PAC-Amodeus, A Software Architecture Model for Multimodal Systems, L. Nigay, 1993.

Page 15: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Fonctionnement à l’exécution

Page 16: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 16

21

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp

S.R.

2x coord

S.R.

4 caracs

emotion

The contribution of general features of body movement to the attribution of emotions, deMeijer, 1989

Page 17: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 17

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

S.R.

Corps

S.R.

5 caracs

21

Interp

emotion

Page 18: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 18

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

21

Interp

emotion

Page 19: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 19

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Changement:

Calcul sagittal

21

Interp

emotion

Page 20: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Réutilisabilité

Page 21: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 21

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp2

Page 22: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 22

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp2

Page 23: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 23

Pol

Moven

S+F

Composant Capture Composant Analyse Composant interprétation

Arm

Speed

Trunk

Vert

SagX

SagN

Interp2

Page 24: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 24

Discussion: réutilisabilité des éléments

• Unités de capture: pleinement réutilisable

• Extracteurs de caractéristiques: condition des données en entrées Adaptateurs

• Interpréteurs: caractéristiques en entrée et format

•La synchronisation et la redistribution des flux de données n’est pas générique dans la version actuelle mais peut être rendue générique

•La fusion est par nature un système ad hoc.

Page 25: Lémotion dans les systèmes interactifs Domaines dexpérimentation : la danse & la réalité augmentée

Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 25

Questions?


Top Related