![Page 1: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/1.jpg)
1
Concepts liés au son,usage du son dans les IHM, mon projet de recherche
Sylvain DaudéEquipe IIHM7 mars 2002
![Page 2: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/2.jpg)
2
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
![Page 3: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/3.jpg)
3
De la vibration acoustiqueau signal sonore
• Son = sensation auditive engendrée par une vibration acoustique
• Enregistrement de la vibration par un capteur de pression
=> pression en fonction du temps = signal sonoreassimilé à la vibration acoustique
pression
temps
![Page 4: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/4.jpg)
4
Mécanismes de la « sensation auditive » (1/3)
• Mécanismes mis en jeu dans la sensation auditive :
• localisation de la source du son
• azimut = direction dans un plan horizontal• élévation = direction dans un plan vertical• distance• diffusion, orientation, occlusion, dynamique des sources …
=> séparation de sources provenant d’endroits différents
• processus actif : mouvements de la tête, « effet cocktail »
![Page 5: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/5.jpg)
5
Mécanismes de la « sensation auditive » (2/3)
• Mécanismes mis en jeu dans la sensation auditive :
• identification de la source
• comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources
=> séparation des sources provenant du même endroit(« effet cocktail »)
=> classification des sources en catégories => assignation d’une sémantique aux sources
• intervention des autres sens
![Page 6: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/6.jpg)
6
Mécanismes de la « sensation auditive » (3/3)
• Mécanismes mis en jeu dans la sensation auditive :
• analyse qualitative du son
• hauteur (fréquence du signal sonore)
• timbre = texture sonore• couleur (composition en fréquences)• aspects dynamiques (attaque, extinction, évolution fréq.)
• intensité sonore (amplitude du signal sonore)
• composition des sons (enchaînement temporel, consonance)
![Page 7: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/7.jpg)
7
Apport du sonpar rapport à la vision (1/2)
• Canal supplémentaire :
• plus d’informations à la fois• décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés• média d ’ambiance :
• disponible en permanence• ne nécessite pas d ’action physique• zone de perception plus étendue que devant un écran par ex.
• utile lorsque les autres canaux sont saturés ou indisponibles(ex : canal visuel : petits écrans, temps de brouillard, cockpits)
![Page 8: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/8.jpg)
8
Apport du sonpar rapport à la vision (2/2)
• Outil d ’analyse
• Timbre + localisation = information multidimensionnelle
=> analyse de données multidimensionnelles
• Analyse de corrélations temporelles
![Page 9: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/9.jpg)
9
Les limites du son
• Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs)
• Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première)
• Fatigue pour les sons fréquents ou répétitifs
=> à utiliser avec modération et à propos
![Page 10: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/10.jpg)
10
Représentationsdu son (1/3)
• Représentation temporelle = signal sonore
+ représentation utilisable pour l’enregistrement et la synthèseaccès à l’intensité et au temps
- pas d ’accès à la hauteur ni au timbre
Solution : faire intervenir la fréquences
amplitude
temps
![Page 11: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/11.jpg)
11
Représentationsdu son (2/3)
• Représentation fréquentielle
+ Représentation fidèle et réversibleOpérations mathématiques facilitéesAccès à la hauteur (= fréquence)
- Disparition du tempsInstabilité par rapport à la représentation temporelleInadaptation au temps réel
Solution : Faire intervenir à la fois le temps et la fréquence
amplitude (complexe)
fréquence
![Page 12: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/12.jpg)
12
Représentationsdu son (3/3)
• Représentation temps-fréquence
+ « Visualisation » du son(hauteur, timbre, intensité, temps)
- Représentations spécialisées :
• en visualisation (non linéaires : WignerVille…)• en traitement du signal (linéaires : ondelettes…)
Nécessité d ’un compromis dans les échellestemps-fréquence (Heisenberg)
fréquence
temps
![Page 13: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/13.jpg)
13
Ex 1 : représentation temps-fréquence de sons périodiques
Son de clarinette La fondamentale de ce son
Fondamentale
Deux processus perceptifs concurrents pour la hauteur :
• la fréquence de la fondamentale (ex : son de la fondamentale)• l’intervalle entre les harmoniques (ex : transistors)
Harmoniques= fréquencesmultiples de lafondamentale
![Page 14: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/14.jpg)
14
Ex 2 : représentation temps-fréquence de sons voisés
i é è
Fondamentale = hauteur duson (partie voisée)
Formants déterminent lavoyelle (leur répartitiondépend du sexe et du registre)
Partie bruitée instable,étalée en fréquences=> hauteur ambiguë
p t k
Voyelles :
Consonnes :
![Page 15: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/15.jpg)
15
Ex 3 : représentation temps-fréquence d’autres sons
Son de percussion : étalé en fréquence, pas de sensation nette de hauteur
Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur
![Page 16: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/16.jpg)
16
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
![Page 17: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/17.jpg)
17
Usage du sondans les IHM
Son en entrée : information ou bruit
• traitement de signaux sonores
Son en sortie : [Pressing, 1997]
• artistique (informatique musicale)• environnemental (jeux, réalité virtuelle)• informatif (monitoring, feedback, auralisation)
Hors IHM : stockage d ’enregistrements, psycho-acoustique...
![Page 18: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/18.jpg)
18
Classification des sonsinformatifs (1/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Synthèse de parole
![Page 19: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/19.jpg)
19
Classification des sonsinformatifs (2/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Auditory Icons (Gaver) : sons analogiques
+ intuitif
- difficile à réaliser techniquement, design
![Page 20: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/20.jpg)
20
Classification des sonsinformatifs (3/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire
+ simple à réaliser
- nécessité d’apprentissage, grammaire limitée
![Page 21: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/21.jpg)
21
Classification des sonsinformatifs (4/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information= sonification
• Fonction de correspondance de paramètres :transfert de la structure de l’information vers la structure du son
+ sonification la plus proche de l ’information
- paramètres structurels significatifs dans l ’infoet dans le son difficiles à trouver, au cas par cas
![Page 22: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/22.jpg)
22
Le son 3Ddans les IHM
La spatialisation de sons en IHM peut avoir pour but :
• de présenter plusieurs sources grâce à l ’effet cocktail
• de définir des sons réalistes (ex : réalité virtuelle)
• de permettre une métaphore (ex : métaphore de l’horloge, Brewster)
• de prolonger virtuellement le monde réel(ex : RA, systèmes pour aveugles)
![Page 23: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/23.jpg)
23
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
![Page 24: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/24.jpg)
24
Projet de recherche
• Earcons + Phicons = Phearcons
• Définitions :
• Earcons (Ear Icons, Blattner) :
messages audio non parlés utilisés dans l’interface machine-homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur
• Phicons (Physical Icons) :
objets physiques permettant la manipulation d ’objets virtuels
![Page 25: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/25.jpg)
25
Projet de recherche : objectifs
• Concevoir et développer une plate-forme qui permet :
• L’association entre un concept du domaine et un objet physique• Lien dynamique et explicite entre le monde numérique et le monde réel
• L’association entre un concept du domaine et une “sonification”• Conception de l’interface en sortie
• L’association entre un objet physique et une “sonification”= modification du rendu sonore par manipulation d’objets physiques
• Conception de l ’interface en entrée
![Page 26: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/26.jpg)
26
Exemples d’application
Queue d’impression
Niveau sonore chez Maman
Trafic sur l’A7
Niveau sonore cafet
• Tâches de “monitoring”
• Média d’ambiance
![Page 27: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/27.jpg)
27
Exemples d’application
• Tâches de “monitoring”
• Media d’ambiance + effet cocktail
![Page 28: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/28.jpg)
28
Exemples d’application
• Tâches de “monitoring”
• Intérêts :
• Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café)
• Mémorisation accrue car l’association est faite par l’utilisateur
![Page 29: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/29.jpg)
29
Exemples d’application
• Jeu augmenté
• Réalité augmentée
• Spatialisation du son traduisantle déplacement effectué par l ’enfant
![Page 30: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/30.jpg)
30
Exemples d’application
• Musique
Objet physique= instrument de musique paramétrable
![Page 31: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/31.jpg)
31
Plate-forme à concevoir
• Flexibilité
• Choix des objets physiques • Reconnaissance de la position des objets dans l ’espace
• Choix des sources d’informations• Liens avec des applications existantes
• Choix des sonifications
![Page 32: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/32.jpg)
32
Plate-forme à concevoir
• Définition des liens entre objets physiques, sonificationet concept du domaine :
• Lien (objet physique, concept du domaine)
• Multimodalité : paradigme du mets çà là• Définition par parole = « cet objet est le niveau sonoredans la cafet » + geste de désignation de l ’objet
• Lien (concept du domaine, sonification) : ???
• Lien (objet physique, sonification) : ???
![Page 33: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/33.jpg)
33
Projet de recherche :étapes de travail
• Etat de l’art : applications, sonification etc.
• Expérimentations fréquentes magicien d’Oz dans le playground
• Espace de conception : caractéristiques pertinentes
• Lien avec le processus de visualisation (thèse Fred)
• Conception et développement de la plate-forme
![Page 34: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/34.jpg)
34
Projet de recherche : exemples de problèmes (1/2)
• Identifier des applications candidates
• (e-mail, activité distante, cubes de jeu etc.)
• Critères de correspondance entre source et sonification :
• trouver les métaphores possibles par application• quelles caractéristiques ?
![Page 35: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/35.jpg)
35
Projet de recherche : exemples de problèmes (2/2)
• Conception de la plate-forme
• Comment spécifier une sonification ?• Comment présenter une sonification ?• Proposer un ensemble d ’objets prédéfinis
![Page 36: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/36.jpg)
36
MERCI !
![Page 37: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/37.jpg)
37
Annexe 1 :Vibration acoustique
Vibration acoustique = succession rapide d ’ondes de compression et de dépression
Source sonore Milieu ambiant(air, eau…)
Zone compriméeNouvelle zone comprimée
Décompression
Propagation de l’ondede compression
...
Dépression Nouvelle zone en dépressionRecompression
...
Propagation de l ’ondede dépression
![Page 38: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/38.jpg)
38
Annexe 2 :Perception d ’une source en 3D
azimut
source
élévation
direction depropagation
orientation
distance
Azimut :• déphasage interaural• intensité interaurale
Élévation :• timbre (source connueou en mouvement)
Distance :• atténuation intensité, BF, HF• taux son direct / réverbéré
Autres propriétés : orientation (sources directives),diffusion (sources réparties), occlusion ;
Autres indices : dynamique de la source, mouvements de tête,couplage avec le visuel
![Page 39: 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002](https://reader033.vdocuments.net/reader033/viewer/2022051819/551d9db7497959293b8dbca1/html5/thumbnails/39.jpg)
39
Annexe 3 :Son 3D : dispositifs de sortie
• 1 canal : distance, élévation ; ex : hauts-parleurs directifs
• 2 canaux : azimut• sur hauts-parleurs :
• stéréo : son entre les hauts-parleurs• « décorrélation croisée » : son venant des côtés
• sur écouteurs :• stéréo : son à l’intérieur de la tête• HRTF : filtrage des oreilles• BRIR : propriétés acoustiques de la salle
• Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) :meilleure précision, meilleur réalisme,agrandissement de la zone de bonne écoute
• Rares systèmes de vraie 3D (CNMAT)