interagir dans des environnements 3d interagir dans des environnements 3d des solutions permettant d...

Interagir dans des environnements 3D Interagir dans des environnements 3D

Des solutions permettant d ’agir sur des objets Des solutions permettant d ’agir sur des objets virtuels 3Dvirtuels 3D

Par C Chaillou, G Casiez, F Martinot et Q PanPar C Chaillou, G Casiez, F Martinot et Q Pan

• IntroductionIntroduction

• Définition et vocabulaireDéfinition et vocabulaire

• Interagir en immersionInteragir en immersion

• Manipulation en 3DManipulation en 3D

• Contrôle d ’applicationContrôle d ’application

• Les périphériques de tableLes périphériques de table• Le Phantom Le Phantom

• Le DigihapticLe Digihaptic

• Vers l ’équivalent de la souris au 3D.Vers l ’équivalent de la souris au 3D.• Le DigitrackerLe Digitracker

• Métaphores hybride, pseudo-haptiqueMétaphores hybride, pseudo-haptique

Plan du coursPlan du cours

IntroductionIntroduction

• La mainLa main• Très complexeTrès complexe

• c ’est quoi interagir c ’est quoi interagir • Sélection, contrôleSélection, contrôle

• Se déplacerSe déplacer

• Manipuler, Manipuler,

• Monter-démonter, Monter-démonter,

• Déformer, sculpter, etcDéformer, sculpter, etc


• HAPTIQUE : adjectif qualifiant les perceptions du HAPTIQUE : adjectif qualifiant les perceptions du toucher, synonyme de tactiletoucher, synonyme de tactile

• Par extension : interactions tactiles via l ’ordinateurPar extension : interactions tactiles via l ’ordinateur

• Deux sensDeux sens• Kinesthésique (la proprioception) mouvements et forces Kinesthésique (la proprioception) mouvements et forces

avec muscles et articulationsavec muscles et articulations

• Cutané, sensation via la peau (choc, pression, vibration, Cutané, sensation via la peau (choc, pression, vibration, température, texture, …)température, texture, …)


• Le toucher est peu étudiéLe toucher est peu étudié• Visualisation satisfaisante pour le calculVisualisation satisfaisante pour le calcul• Nécessité de contact avec les objetsNécessité de contact avec les objets• Aspect redondant par rapport à la visionAspect redondant par rapport à la vision• Complexité des mécanismes perceptuelsComplexité des mécanismes perceptuels

• Perception active impliquant la motricitéPerception active impliquant la motricité


• Que souhaite-t-on faire en 3DQue souhaite-t-on faire en 3D• Manipuler en 3DManipuler en 3D

• Naviguer dans des mondes virtuelsNaviguer dans des mondes virtuels

• Contrôler l ’applicationContrôler l ’application

• Pointage et sélection en 3DPointage et sélection en 3D

• Introduction de périphériques d ’entrée/sortieIntroduction de périphériques d ’entrée/sortie• Retour d ’effortRetour d ’effort

• Retour cutanéRetour cutané


• Retour d ’effortRetour d ’effort• Premier exosquelette par GE Premier exosquelette par GE

dans les années 60dans les années 60

• Premier Phantom en 1994Premier Phantom en 1994

• Joystick à retour d ’effort vers Joystick à retour d ’effort vers 19971997

• Retour cutanéRetour cutané• afficheur Braille 1969afficheur Braille 1969

Définitions et VocabulaireDéfinitions et Vocabulaire

• Les degrés de liberté.Les degrés de liberté.

• Périphériques intégrés ou séparésPériphériques intégrés ou séparés

• Le contrôle : isotonique versus élastique Le contrôle : isotonique versus élastique

• Lié à l ’homme ou à l ’environnementLié à l ’homme ou à l ’environnement

• ÉvaluationsÉvaluations

Les degrés de libertéLes degrés de liberté

• Dans la réalité, un nombre considérableDans la réalité, un nombre considérable

• Combien de degrés de libertéCombien de degrés de liberté• Pour le pointage en 3D, 3 DDLPour le pointage en 3D, 3 DDL

• Pour la manipulation d ’objets 6DDLPour la manipulation d ’objets 6DDL

Intégré vs séparéIntégré vs séparé

Périphérique qui permet de rentrer plusieurs grandeurs simultanément et de pouvoir les modifier en une seule opération.

Interfaces séparables : plusieurs effecteurs

Périphérique qui permet éventuellement de rentrer plusieurs grandeurs simultanément sans pouvoir les modifier en une seule opération.

Interfaces intégrales : un seul effecteur

Le contrôleLe contrôle

isotonique isométriqueélastique

0périphF périphF périphF k

contrôle en vitessecontrôle en position

Absolu versus relatifAbsolu versus relatif

• AbsoluAbsolu ::

• Position d’effecteur Position d’effecteur Position de pointeur Position de pointeur • Espace physique limitéEspace physique limité Espace virtuel limité Espace virtuel limité

• RelatifRelatif : : (souris) (souris)• Mesure de la variation de positionMesure de la variation de position• DDébrayage : ébrayage :

• permet d’engager et de désengager le lien entre l’action de contrôle et le permet d’engager et de désengager le lien entre l’action de contrôle et le mouvement du pointeurmouvement du pointeur

• Espace de travail virtuel infiniEspace de travail virtuel infini

Les périphériques d’entrée 3D sont absolusLes périphériques d’entrée 3D sont absolus

Liés ou non à l ’hommeLiés ou non à l ’homme

• Les périphériques liés à l ’hommeLes périphériques liés à l ’homme• Les souris volantes, les gantsLes souris volantes, les gants

• Réaliste mais imprécis et fatiguantRéaliste mais imprécis et fatiguant

• Les périphériques de tablesLes périphériques de tables• Moins immersifMoins immersif

Interagir en immersionInteragir en immersion

• Le problèmeLe problème

• Les gants de donnéesLes gants de données

• Les solutions à filsLes solutions à fils

• Autres solutionsAutres solutions

• Le contrôle informatique, par exemple le changement Le contrôle informatique, par exemple le changement d ’outil dans un simulateurd ’outil dans un simulateur

• Les solutions mixtes à base de cube ou de mannequinLes solutions mixtes à base de cube ou de mannequin


• Utilisation de capteurs Utilisation de capteurs de positionde position


• Les gants à retour d ’effortsLes gants à retour d ’efforts

• Les exosquelettesLes exosquelettes


• Les périphériques à fils SPIDARLes périphériques à fils SPIDAR

Le contrôle en immersifLe contrôle en immersif

• Intégrer le contrôle d ’application dans les Intégrer le contrôle d ’application dans les environnements virtuelsenvironnements virtuels

• RapideRapide

• Facile à apprendreFacile à apprendre

• Ne pas distraire l’utilisateur de son activitéNe pas distraire l’utilisateur de son activité

• Donner un bon retour à l’utilisateurDonner un bon retour à l’utilisateur

Le contrôle en immersifLe contrôle en immersif

• Quelques solutionsQuelques solutions• Menu en 1DMenu en 1D

• Menu 2D flottantMenu 2D flottant

• Menu 3D flottantMenu 3D flottantRing Menu JDCAD

Liang and Green

menu try-out VRAM

Les périphériques de tableLes périphériques de table

• Les solutions commercialesLes solutions commerciales• La Space mouseLa Space mouse

• Le PhantomLe Phantom

• Une solution originale : le DigihapticUne solution originale : le Digihaptic• Description Description

• EvaluationsEvaluations

• BilanBilan

La space mouseLa space mouse

• Vendues par 3D connexion (Logitech)Vendues par 3D connexion (Logitech)• Manipulation avec 6DDL, Manipulation avec 6DDL,

• Complémentaire de la sourisComplémentaire de la souris

• Mode élastique completMode élastique complet

Le phantom SensableLe phantom Sensable

• Périphérique isotoniquePériphérique isotonique• Manipulation d ’un point en 3D via un crayonManipulation d ’un point en 3D via un crayon

• 6 DDL, dont trois motorisés pour le retour d ’efforts6 DDL, dont trois motorisés pour le retour d ’efforts

Le DigihapticLe Digihaptic

• Vers du « vrai » retour haptique à coût raisonnableVers du « vrai » retour haptique à coût raisonnable

• Une proposition totalement nouvelleUne proposition totalement nouvelle• Découplage des degrés de libertéDécouplage des degrés de liberté

• Grande souplesse d’utilisationGrande souplesse d’utilisation• Utilisable en mode isotonique ou élastiqueUtilisable en mode isotonique ou élastique

• Nécessite un apprentissageNécessite un apprentissage

Le DigihapticLe Digihaptic

• ErgonomieErgonomie• Travailler le poignet poséTravailler le poignet posé

• Utilisation de 3 doigts et 3 DDLUtilisation de 3 doigts et 3 DDL

• Respect des mouvement naturel des doigtsRespect des mouvement naturel des doigts

• Pour toutes les tailles de mainsPour toutes les tailles de mains

Le Digihaptic : technologiesLe Digihaptic : technologies

• Les composantsLes composants• Trois manettes (moteur, potentiomètre, molette, axe, câble Trois manettes (moteur, potentiomètre, molette, axe, câble

et ses fixations)et ses fixations)

• Habillage (ergonomie et esthétique)Habillage (ergonomie et esthétique)

• Electronique (connecteurs potentiomètres et moteurs, Electronique (connecteurs potentiomètres et moteurs, alimentation moteur, processeur pour la commande, alimentation moteur, processeur pour la commande, connecteur PC USB)connecteur PC USB)

• API informatiqueAPI informatique


• Description d ’une manetteDescription d ’une manette

• Utilisation de MCC

• Potentiomètre pour lire la position angulaire,

• Transmission par câble


• Architecture du périphériqueArchitecture du périphérique

Le Digihaptic : usagesLe Digihaptic : usages

• Trois usages possiblesTrois usages possibles• Mode isotonique en Mode isotonique en

manipulationmanipulation• isomorphisme d ’orientation et de isomorphisme d ’orientation et de

directiondirection

• petit volume de travailpetit volume de travail

• Mode élastique en Mode élastique en manipulationmanipulation

• contrôle en vitessecontrôle en vitesse

• volume de travail illimitévolume de travail illimité

• Mode élastique pour la Mode élastique pour la navigationnavigation

• Résistance nulle sur les manettes

• Contrôle en position

Le Digihaptic : évaluationLe Digihaptic : évaluation

• Navigation avec retour Navigation avec retour d ’effortd ’effort

• Parcours d ’un tunnelParcours d ’un tunnel

• Comparaison avec Comparaison avec l ’utilisation de la space l ’utilisation de la space mouse.mouse.

• Etude sur 30 sujetsEtude sur 30 sujets

Le Digihaptic: évaluationLe Digihaptic: évaluation

• RésultatsRésultats• Temps de parcours comparableTemps de parcours comparable

• Contacts moins long avec le retour d’effortContacts moins long avec le retour d’effort

• Digihaptic est plus précis et moins fatigantDigihaptic est plus précis et moins fatigant

Le Digihaptic : bilanLe Digihaptic : bilan

• La séparation des DDL est facile pour les taches La séparation des DDL est facile pour les taches séparables comme la navigation. séparables comme la navigation.

• Peu pertinent pour les activités intégrées.Peu pertinent pour les activités intégrées.

• Le retour d ’effort dans les modes élastiques posent Le retour d ’effort dans les modes élastiques posent encore de nombreuses questionsencore de nombreuses questions

• Utilisation les deux modes dans une même applicationUtilisation les deux modes dans une même application• Changement explicite ou nonChangement explicite ou non

• Introduction d ’un mode hybrideIntroduction d ’un mode hybride

Vers l ’équivalent pour la 3D de la sourisVers l ’équivalent pour la 3D de la souris

• Vers un périphérique d’interaction 3D équivalent à ce Vers un périphérique d’interaction 3D équivalent à ce que la souris est aux actuelles interfaces 2D.que la souris est aux actuelles interfaces 2D.

• Le digitrackerLe digitracker

• Le mode hybrideLe mode hybride

Les interfaces 2DLes interfaces 2D

• En 2D, une interface s ’est imposé le WIMPEn 2D, une interface s ’est imposé le WIMP

• Le périphérique est la souris qui permet de piloter un Le périphérique est la souris qui permet de piloter un pointeur dans le planpointeur dans le plan

Les interfaces 2DLes interfaces 2D

• La fonction de transfert de WindowXPLa fonction de transfert de WindowXP

Le DigitrackerLe Digitracker

• Un périphérique permettant le pointage et la sélection en Un périphérique permettant le pointage et la sélection en 3D3D


• Considérations ergonomiquesConsidérations ergonomiques• Bras le long du corpsBras le long du corps

• Travail main posé sur la trancheTravail main posé sur la tranche

• Prise entre le pouce et l ’indexPrise entre le pouce et l ’index

• Avoir des mouvements petits mais Avoir des mouvements petits mais précisprécis

• Pas de poids apparentPas de poids apparent

• Mécanisme cachéMécanisme caché

• Espace de travailEspace de travail


• Cinématique permettant de rester toujours proche de Cinématique permettant de rester toujours proche de l ’équilibre l ’équilibre


• Un bouton de sélectionUn bouton de sélection• De forme sphériqueDe forme sphérique

• Sélection en appuyantSélection en appuyant

• Une coque dissimulant le Une coque dissimulant le mécanismemécanisme

Le digitrackerLe digitracker

• Premières évaluationsPremières évaluations• par une trentaine de personnepar une trentaine de personne

• Confirmation de nos choixConfirmation de nos choix

• Limitations technologiquesLimitations technologiques

• La sélection déplace le pointeur…La sélection déplace le pointeur…

• Difficile de régler le gain entre l ’effecteur u périphérique Difficile de régler le gain entre l ’effecteur u périphérique et le pointeur 3D.et le pointeur 3D.

Le mode hybrideLe mode hybride

Le Digitracker 3D est un périphérique absolu de petite taille Le Digitracker 3D est un périphérique absolu de petite taille

DDiifficile fficile de travailler dans un grand environnement virtuelde travailler dans un grand environnement virtuel

Sensibilité importante Sensibilité importante faible précision faible précision

Sensibilité faible Sensibilité faible limite dans les déplacements limite dans les déplacements


• Définition du mode hybrideDéfinition du mode hybride• Contrôle en positon au centreContrôle en positon au centre

• Contrôle en vitesse en périphérieContrôle en vitesse en périphérie


• Présentation du mode à l ’utilisateurPrésentation du mode à l ’utilisateur• Visuelle (couleur, flèche)Visuelle (couleur, flèche)

• Physique ( comme sur le joystick)Physique ( comme sur le joystick)


• Une simulation avec un phantom Une simulation avec un phantom

• Comparaison entre débrayage et hybrideComparaison entre débrayage et hybride

Conclusion sur hybrideConclusion sur hybride

• Le mode hybrideLe mode hybride• Technique de débrayage virtuelTechnique de débrayage virtuel

• Encore des travaux de finalisationEncore des travaux de finalisation

• les réglagesles réglages

• la présentation visuelle et/ou physiquela présentation visuelle et/ou physique

• Permet d ’envisager un périphérique équivalent à la Permet d ’envisager un périphérique équivalent à la souris pour les environnements 3Dsouris pour les environnements 3D

• Possibilité d ’un nouveau périphérique pour les portablesPossibilité d ’un nouveau périphérique pour les portables

ConclusionConclusion

• Le monde des périphériques pour les environnements Le monde des périphériques pour les environnements virtuels est un domaine de recherchevirtuels est un domaine de recherche

• Les grandes questionsLes grandes questions• Fixé à l ’utilisateur ou sur la tableFixé à l ’utilisateur ou sur la table

• Le nombre de DDL et leur agencementLe nombre de DDL et leur agencement

• Les modes de contrôle dont le mode hybrideLes modes de contrôle dont le mode hybride

• Les métaphores informatiques associéesLes métaphores informatiques associées

• Utilisation des capacités de l ’utilisateurUtilisation des capacités de l ’utilisateur

interagir dans des environnements 3d interagir dans des environnements 3d des solutions permettant d...

Documents

d introduction

d manipuler en

d effortretour d effort

d interagir dans

d pointage et slection

contrle et

d naviguer dans

d effort vers