les interfaces homme- machine dans les plate-formes dintelligence ambiante point de vue...
TRANSCRIPT
![Page 1: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/1.jpg)
Les interfaces Homme-Machine dans les plate-formes d’Intelligence Ambiante
Point de vue technologique
Christophe Cerisara
![Page 2: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/2.jpg)
La place des interfaces en AmI« One of the most significant challenges in AmI/pervasive computing technologies is to create user-friendly interfaces. »
[Raisinghani et al., Journal of Digital Information, août 2004]
« Interfaces, especially user interfaces are one of the crucial building blocks for AmI because they define the experience the user will have with the intelligence surrounding him/her. »
[Y. Punie, Key deliverable (EPTS, CEE) 2003]
« A central challenge of AmI is to create systems that are intuitive to use […] This will require techniques for dialogue-based and goal orientated negotiation systems […] Pattern recognition (including speech and gesture) is a key area that is evolving rapidly. »
[ISTAG Scenarios]
![Page 3: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/3.jpg)
Besoin de nouvelles interfaces
Caractéristiques AmI Interfaces traditionnelles
Multiplicité des capteurs/terminaux
capteurs/terminaux prédéfinis
Nombreuses applications une, au mieux quelques applications
Mobilité peu d’adaptation au contexte (changements de capteurs, interruption, …)
Utilisateur quelconque Utilisateur moyen (vs. handicapé / très âgé / enfant /…)
Interfaces transparentes/discrètes
accapare l’attention de l’utilisateur
Multi-utilisateurs un seul utilisateur à la fois s’adresse au système
![Page 4: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/4.jpg)
PlanComment adapter ces interfaces aux
besoins de l’AmI ?
Multiplicité des capteurs/terminauxMultiplicité des applicationsEnvironnements multi-utilisateursPrise en compte du contexteInteractions implicites
![Page 5: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/5.jpg)
Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques :
Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données
Défi 1: gérer la multiplicité des terminaux
Plate-forme d’AmI
Protocoles UPnP, JXTA …
![Page 6: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/6.jpg)
Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques :
Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données
Plate-forme d’AmI
Sélection à base de règles (éventuellement apprises)
• Proximité:
• GPS, détecteurs IR…
• Détection de l’utilisateur
• Standard supporté
• Contexte, préférences…
Défi 1: gérer la multiplicité des terminaux
![Page 7: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/7.jpg)
Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques :
Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données
Plate-forme d’AmI
Programmation Dynamique:
Minimisation de distances
Défi 1: gérer la multiplicité des terminaux
![Page 8: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/8.jpg)
Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques :
Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données
Plate-forme d’AmI
Ex: Flux audio: réduction du bruit convolutif
• Normalisation par histogrammes
• CMN, CVN, …
Défi 1: gérer la multiplicité des terminaux
![Page 9: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/9.jpg)
Exemples de réalisations…
Fraunhofer ICG: découverte automatique des devices afin de les représenter (et de les contrôler) sur un PDA
Philips Research: « Follow me with magic wands »
![Page 10: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/10.jpg)
Exemple : UbiComp Browser (Univ. de Karlsruhe)
1 capteur, N écrans.
Accès au Web à travers le PDA
• Affichage sur des écrans environnants. Sélection par:
• La proximité (notion de pièce, localisation IR)
• Les standards supportés
• Choix par des règles prédéfinies.
Exemples de réalisations…
![Page 11: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/11.jpg)
Défis technologiques : Fusion instantanée des flux : utiliser tous les capteurs Améliorer la précision des capteurs / corriger les erreurs Nouvelles informations : ex. stéréophonie Prendre en compte un contexte plus large
Plate-forme d’AmI
Défi 1: gérer la multiplicité des terminaux
![Page 12: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/12.jpg)
Problèmes:- Unicité des interfaces pour/adaptées à l’utilisateur- Réduire les coûts de développement / Ne pas recréer de nouvelles
interfaces à chaque application
Solutions technologiques:- Langage de description des interfaces indépendant des terminaux- Génération automatique des interfaces (Nichols, CMU)
Exemple 1 : IBMUniversal Information Appliance : Un seul PDA qui accède à tous les
services / appareilsMobile Document Application Language (MoDAL): basé sur XML, décrit les
interfaces et applications. Il implémente 4 actions:1. Afficher un GUI2. Réaliser des calculs locaux3. Lire / écrire sur une base de données locale4. Envoyer / recevoir des messages sur le réseau
Défi 2 : Multiplicité des applications
![Page 13: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/13.jpg)
Exemple 2 : EMBASSI projectLangage de description des interfaces basé sur XML:
Multiplicité des interfaces
<?xml version="1.0" encoding="UTF-8"?>
<input id="field1" lang="DE" … >
<caption>
<text>Name:</text>
</caption>
<hint>Please enter your name. Up to 50
characters
</hint>
<help>http://www.embassi.de</help>
![Page 14: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/14.jpg)
Défi 3 : Environnements multi-utilisateurs
Gérer plusieurs utilisateurs simultanément
Gérer des utilisateurs « non standards »: Âgés, enfants, handicapés, …
Problèmes (non résolus)
Identité des locuteurs ? Qui parle ? A qui ?
Technologies de base ? Identification Reco. des actes de dialogue Reco. robuste aux bruits / BSS
TeleTact II (CNRS)
LABIAO (LORIA): Enfants mal-entendants Communauté d’utilisateurs N’accapare pas l’attention
![Page 15: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/15.jpg)
Le contexte peut être pris en compte sous différentes formes dans les interfaces:
Réagir à des changements contextuelsAdapter les interfaces au contexteInterrompre l’utilisateurGestion des ressourcesGénérer des méta-données
Défi 4 : Prise en compte du contexte
![Page 16: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/16.jpg)
Applications proactives: Démarrer une application: alarmes, … Choisir une appli: position => PDA Paramétriser une appli: position, vitesse => système
de navigation
Démarrer un service Choisir un service Paramétriser un service
Ex. Alarmes Ex. PDA dans un centre commercial Ex. navigation
Prise en compte du contexte
![Page 17: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/17.jpg)
Interfaces adaptables
Hardware
Choix des interfaces
- Bruit / lumière
- Préférences
- …
Prise en compte du contexte
Adaptation aux interfaces
![Page 18: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/18.jpg)
Interruptions de l’utilisateur par le système Pré-définies: réunions prévues dans l’agenda. Déclenchées: appel téléphonique Choix du mode d’interruption selon le contexte (Interfaces
attentives) Jean travaille : faire clignoter une icône en bas de l’écran Jean discute : attendre une pause dans la conversation pour
interrompre oralement Jean.
Prise en compte du contexte
• Négociation progressive
• Commence par un signal discret
• Minimiser la perception des modifications
• Images fade-out … (MIT)
• Tangible bits
• Modalités non utilisées
• Interfaces attentives à l’utilisateur
• Habitude / routine: augmenter les objets usuels.
• ubicomp / unremarkable computing
• Retarder / Annuler l’interruption
• Proactive computing
Special Issue « Attentive User Interfaces », Communication ACM 2003.
![Page 19: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/19.jpg)
Gestion des ressources Choix de l’imprimante la plus proche Plus généralement, utilisation des ressources les plus
proches[D. Kirsh, The Intelligent Use of Space, Journal of Artificial Intelligence, 73 (1-2), (1995) 31-68. Online: http://iclserver.ucsd.edu/~kirsh/Articles/Space/AIJ1.html]
Génération de méta-données automatiquement pour « étiqueter » les documents
Ex: A quel endroit me trouvais-je lorsque … ?[G. D. Abowd, Classroom 2000: An Experiment with the Instrumentation of a Living Educational Environment, IBM Systems Journal, Special issue on Pervasive Computing,
38 (4), (1999) 508-530]
Prise en compte du contexte
![Page 20: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/20.jpg)
Défi 5 : Interfaces discrètes- Ne pas accaparer l’attention de l’utilisateur !
Alternative:
Interactions implicites, transparentes, calmes, …
Interfaces très opaques…
Implicit input: Acte de l’utilisateur interprétable par le système mais qui ne lui est pas destiné
Implicit output: Réponse du système « intégrée » à l’environnement et à la tâche de la personne
![Page 21: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/21.jpg)
Exemple: Jean jette l’emballage d’un plat (taggué RFID)Analyser:
Jean mange-t-il de ce plat souvent ? Reste-t-il de ce plat ?
Proposer: Lorsque Jean est au supermarché: « désigner » ce plat.
Interfaces discrètes
![Page 22: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/22.jpg)
Interactions implicites
Un modèle [Riva et al: Ambient Intelligence, 2005] :
![Page 23: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/23.jpg)
Interactions implicites: défis Interpréter les actes complexes d’une personne (communication)[Riva et al: Ambient Intelligence, 2005]
Socle commun de connaissances (SCC)
Contexte(common ground)
« A common knowledge base is essential […] A discrepancy in the shared knowledge often leads to communication problems as probably most people have experienced in
everyday life, especially when travelling abroad »
• langage
• modèle du monde
• histoire, …
• Contexte textuel
• Langage non-verbal (ex: être pressé)
• Rôles / Objectif des interlocuteurs
• Environnements physiques / sociaux
![Page 24: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/24.jpg)
Interactions implicites: défis Interfaces traditionnelles:
SCC réduit à peau de chagrin (vocabulaire limité, quelques concepts liés à l’application)…
… Mais ça marche, car l’utilisateur est coopératif / connaît les limites du système
Interfaces implicites: L’utilisateur n’explique pas au système:
le SCC est indispensable !
![Page 25: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/25.jpg)
Comment modéliser le SCC ? Pour des domaines très spécifiques (ex: achats
alimentaires) « Modèles du monde », basés sur la logique du 1er
ordre: Discourse Representation Theory
Statistiquement: Latent Semantic: Signification d’un mot = coordonnées dans un espace à grandes dimensions
« Un chien aboie » : )()( xaboiexchienx
Concepts
Mots / phrases
Interactions implicites: défis
![Page 26: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/26.jpg)
Interactions implicites: défis
Comment modéliser le contexte ?Langages de description d’ontologie:
XML(SGML)-familyOWL, Topic Maps, XCL
Common Logic-familyKIF, CGIF, XCL
Description Logic-familySNOMED-CT, OWLALC(D), SHOQ(D), SHIF(D), SHOIN(D) etc.
OthersUML, Entity-relationship model
In OMG ODM (Ontology Definition Metamodel)
![Page 27: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/27.jpg)
S’interposer dans la communication entre personnes: En réunion / Dans une salle de classe
Afin d’expliquer pourquoi et comment telle décision… Pour aider pendant la réunion
Détecter incohérences Rappel de « patterns » d’interaction similaires passés …
Techno de base: NIST Meeting Room evaluation
Interactions implicites: Mediated Space (IBM)
![Page 28: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/28.jpg)
Analyser le contexte d’apprentissage de l’utilisateur Écouter la radio / TV …
… en même temps que l’utilisateur: Rappeler plus tard le contexte, le contenu Corriger des erreurs, … Aide-mémoire
Techno de base: NIST Broadcast News evaluation / campagne ESTER
Interactions implicites: Mediated Space
![Page 29: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/29.jpg)
De nombreuses briques de base…
… mais il reste à bâtir l’édifice !
Conclusions
![Page 30: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/30.jpg)
Interactions implicites: en sortie
Exemples…
Développé par BT’s Research Labs:
Interaction device qui utilise la lumière et des sons pour attirer l’attention de l’utilisateur, et la détection de mouvements (de la main) en entrée.
![Page 31: Les interfaces Homme- Machine dans les plate-formes dIntelligence Ambiante Point de vue technologique Christophe Cerisara](https://reader036.vdocuments.net/reader036/viewer/2022062511/551d9d7d497959293b8b58ab/html5/thumbnails/31.jpg)
Génère des odeurs en réponse aux emails/sms/…
Développé par Violet:
Lampe connecté à Internet par WiFi, sensible aux sons et au toucher, 9 zones de couleurs pour afficher des infos.