dr. sabin corneliu buraga - profs.info.uaic.robusaco/teach/courses/interfaces/... · gesturi,...
TRANSCRIPT
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Dr. Sabin‐Corneliu Buraga
Facultatea de InformaticăUniversitatea “A.I.Cuza” Iaşi, România
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
De la emoție & experiențe senzorialela interacțiuni neconvenționale
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
I am a student – a beginner like you are…To learn yourself is more difficult
than to listen to a teacher.
Alexey Brodovitch
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Majoritatea aplicațiilor actuale vizeazăend‐user computing‐ul
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Ce rol au emoțiile în interacțiunea om‐calculator?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Emotion is a reaction to events deemed relevantto the needs, goals, or concerns of an individual
Scott Brave & Clifford Nass, 2008
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Emotion encompasses physiological, affective, behavioral, and cognitive components
Scott Brave & Clifford Nass, 2008
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
structurarea neurologică a emoției
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
emotion versus mood
emoțiile sunt intenționale“they imply and involve relationships with a particular object”
Frijda, 1994
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
emotion versus mood
moods are not directed at any object in particular andare experienced as more diffuse, global, and general
a person can be sad about something (an emotion)or generally depressed (a mood)
trăire, stare mentală
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
emotion versus mood
din punct de vedere funcțional,emoțiile pot determina realizarea unei/unor acțiuni
emoțiile pot cauza ori contribui lamood
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
emotion versus sentiment
sentimentele nu desemnează starea unei persoane,ci proprietăți asociate unei entități (ființă, obiect)
sentimentele pot persista oricât de mult,în contrast cu emoțiile (secunde) sau mood‐urile (ore/zile)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
emotion versus sentiment
sentimentele sunt deseori generalizări ale unei clase de obiecte având anumite proprietăți recognoscibile
aceste generalizări nu trebuie să fie neapărat logice
“I hate spreadsheet applications!”
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Dimensiuni(Desmet, 2002; van Gorp, 2006)
valoareplăcut vs. neplăcut
provocare (arousal) psihologicăanxietate vs. plictiseală
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Atragerea atenției
an interface capable of detecting – or at least predicting –a user’s emotional or mood state could similarly assumean affect‐regulation role, helping to guide attention away
from negative and toward more positive stimuli
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Implicații asupra memoriei
negative events, which tend to be highly arousing,are typically remembered better than positive events
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Implicații asupra performanțelor
keeping a user happy may, therefore,not only affect satisfaction,
but may also lead to efficiency and creativity
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Cauze:nevoi & scopuri
de la cele fiziologice şi sociale,la cele cognitive, estetice & spirituale
Maslow, 1968
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Cauze:existența obstacolelor & controlului
Ellsworth (1994)
dacă utilizatorul are control asupra programului,consecințele afective negative sunt mai puțin importante
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Cauze:contextul social – “agenția”
(Ellsworth, 1994) & (Friedman & Kahn, 1997)
“This system failed to understand your command.” – blaming itself“The command was not understood.” – blaming no one
“You did not speak clearly enough for your command to be understood.” – blaming the user
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Cauze:starea emoțională anterioară
repeated pleasurable affective states, therefore,become expected and thus gradually lose intensity
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Let’s not forget that the little emotionsare the great captains of our lives and we obey them without realizing it.
Vincent van Gogh, 1889
worth1000.com
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Detectarea emoțiilorrăspunsurile neurologice – via electroencefalograma (EEG)
saumagneto‐resonance imaging (MRI)
activitatea autonomă a organismului
expresia facială
vocea
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Pentru a stimula emoțiile, produselor trebuiesă le fie atribuită o personalitate bazată pe aparență
şi mod de interacțiune (Reeves & Nass, 1989)
“Attractive things work better.” – Donald Norman
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Într‐o interacțiune, stările emoționale înruditetrebuie conectate realizarea fluxului (flow)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Anxiety, Boredom and Flow (Csikszentmihalyi, 1990; van Gorp 2006)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Întrebări deschise
With which emotion should HCI designers be most concerned?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Întrebări deschise
When and how should interfaces attemptto directly address users’ emotions and basic needs
(versus application‐specific goals)?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Întrebări deschise
When and how should users be informed thattheir affective states are being monitored and adapted to?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Întrebări deschise
How does emotion play outin computer‐mediated communication?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
In ce manieră interacționăm?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 1: Oameni & dispozitive
experiența fizică om/dispozitiv:gesturi, manipulare directă, materiale, simțuri, emoții
mobile devices are handheld and the relationshipwith the hands is a fundamental character of the interaction
(Marco Susani, 2008)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 2: Modele mentale + reprezentările lor
experiența fizică conduce la definireainteracțiunii dintre om şi obiect (dispozitiv)
experiență digitală, interfață, model(e) mental(e)
modele centrate pe: comunicare vs. conținut vs. activitate (aplicație)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 2: Modele mentale + reprezentările lormodel centrat pe comunicare
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 2: Modele mentale + reprezentările lormodel centrat pe conținut
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 2: Modele mentale + reprezentările lormodel centrat pe activitate
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 3: Context
interacțiune cu/în spațiul fizic ori virtual
obiecte “smart”, ambient (pro)activ, ubicuitate, simulare
Arduinowww.arduino.cc
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 4: Comunități
medii de comunicare (a)sincronă:audio, text, multimedia, 3D
comportamente sociale mediate de tehnologieintimate vs. tribal vs. viral
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 4: Comunitățiomul este un animal social
people we need – conform (Mart Murdvee, 2006):teenager friend, entertainerbusiness people secretary
in spare time trainer‐instructorin older age nurse, helpmate
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 4: Comunități
actualmente, avem posibilitatea să interacționămcu agenți software de interfață cu rol de:
e‐secretary – digital butler (Nicholas Negroponte, 1995),e‐entertainer, e‐nanny, e‐pal, e‐trainer, e‐librarian,
e‐clerk, e‐attendant(s) etc.?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 5: Conținut
acces public la informațiipublicare/generare/integrare de conținut(uri)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sfera 5: Conținut
experiență interactivă la nivel de ecosistem:social, spațial, business, privind cunoaşterea,…
“fenomenele” (micro)blogging, wiki, mash‐ups,on‐line gaming, virtual environments etc.
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Cum interacționăm cu dispozitivele “speciale”expunând interfețe neconvenționale?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Implicarea mai multor simțuri în interacțiune
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Sense Relevant information
Audio Speech, Identity, Intonation, Precision (timing)
Vision Identity, Facial expression, Body language, Gesture, Accuracy (spatial)
Tactile/somesthetic
Tabs/pads/devices, Texture,Precision (timing), Accuracy (spatial)
Scent Atmosphere, likability
Taste Clarification, enjoyment
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Interpretarea informațiilor senzorialedepinde de aşteptările (expectations) utilizatorilor
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
M. Nielsen, T. Moeslund, M. Storring & E. Granum (2008)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Interpretarea informațiilor senzoriale depinde şide specificul dispozitivelor de intrare (K. Hinckley, ‘08)
mousetrackball
isometric joysticktouchpad
touchscreenpen‐operated device
indirect table…
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Specificămaniera în care o interfață răspunde la acțiunile utilizatorilor
pentru un anumit stil de realizare a unei acțiuni,interfața se află într‐un mod particular
dacă interpretarea acțiunii se face permanent la fel
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Atunci când acțiunea are o interpretare diferită,interfața prezintă un alt mod de interacțiune
interacțiune modală versus nemodală
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
O interfață poate fi modală conform unei acțiunişi nemodală în ceea ce priveşte alta
(Jef Raskin, 2000)
dacă o interfață este considerată nemodală,atunci nu trebuie să fie modală pentru nici o acțiune
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Schimbarea modului de interacțiunetrebuie să aibă o justificare solidă
auto‐save user dataprovide an undo mechanism – prefer undo to warning dialogs
remember past statechiar şi
pentru Web
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces(O’Malley & Gupta, 2008)
se bazează pe senzații tactilepentru a oferi informații utilizatorului
ecran haptic pentru “atingerea” obiecteloroutput neconvențional – e.g., vibrații
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
cutaneous touch versus kinesthetic touch
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
utilizări:CAD (Computer‐Aided Design)
design prototypingevaluarea produselor
simulare de situații excepționaleexecuția de activități la distanță (tele‐operation)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
un mediu haptic este specificat matematic
exemplu:modelul zidului virtual
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
interfețe haptice fixe
haptic joystickspen‐based haptic devices
floor‐ and ceiling‐mounted interfaces
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
M. O’Malley, A. Gupta, “Haptic Interfaces”, în P. Kortum (Ed.), HCI Beyond the GUI, Elsevier, 2008
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
interfețe haptice portabile
exoskeletons
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Light Exoskeleton (L‐Exos) – descris de Frisoli et al. (2005)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
tactile interfaces
detectează căldura, presiunea, vibrațiile, durerea
feedback provenit uzual de la degetele utilizatorului
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
tactile interfaces
vibrotactile interfaceswearable tactile interfaces
folosite pe scară largă în contextul accesibilității
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Moose haptic interface“reinterpretează” Windows pentru utilizatorii orbi
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic and Audio Visual Environmentoferă orbilor o explorare multimodală a interfeței
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
aspecte privind factorii umani:înțelegerea abilităților bio‐mecanice, senso‐motorii
& cognitive ale utilizatorilor (Tan et al., 1994)
posibilitatea măsurării cu acuratețe a mişcării(poziție, velocitate, accelerație)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
principii de proiectare:
base your mechanical designon the inherent capabilities of the human operator
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
principii de proiectare:
consider human sensitivity to tactile stimuli
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
principii de proiectare:
use active rather than passive movement
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
principii de proiectare:
minimize confusion and control instabilities
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
principii de proiectare:
ensure realistic display of environments with tactile devices
“The details are not the details. They make the design.”Charles Eames
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Haptic user interfaces
utilizare (Hiroo Iwata, 2008):(tele)medicină – e.g., laparoscopic surgery simulator,
palpation simulatormodelarea suprafețelor 3D: sistemele PHANToM, FEELEX
învățarea interacțiunii cu dispozitivele touchscreenartă digitală
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Pseudo‐haptic user interfaces
“emulează” un dispozitiv haptic
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Pseudo‐haptic user interfaces
substituția senzorială (Lenay et al., 2003)
un stimul haptic e înlocuit de alt simț(e.g., semnal audio simulând contactul cu obiecte virtuale)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Pseudo‐haptic user interfaces
oferirea de feedback pseudo‐haptic (Anatole Lecuyer, 2007)
simulation of stiffness via a combination of the interaction with the input device & the visual feedback
pseudo‐haptic simulation of textures
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interaction
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
inspirate de interacțiunile naturale non‐verbale dintre oameni
alternative la sau complementare interacțiunilor clasice
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
“While natural gestures are often subtle,gesture interfaces rely on emphasized gestures.”
(M. Nielsen et al., 2008)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
Tipuri:hand gestures for pointing out objectsor controlling a mouse‐like pointer
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
Tipuri:motion‐tracking interfaces
utilizate la console de jocuri sau unele modele de laptop‐uri
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
Tipuri:facial gestures
utile pentru detectarea reacțiilor & emoțiilor
studierea comportamentului uman, accesibilitate în contextul persoanelor paralizate, feedback în sisteme de învățare etc.
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
se pot baza pe dispozitive de intrare
mecanice/magnetice – e.g., mouse, data glove, Wii,…
de tip single/multi‐point touch – e.g., Palm, iPhone
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
se pot baza pe dispozitive de intrare
a se parcurgeMouse Ballistics:www.codinghorror.com/blog/archives/000977.html
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
pot fi “invizibile” pentru utilizator
detectarea gesturilor via computer vision:segmentare – extragerea fragmentelor relevantetracking – determinarea mişcărilor de interesclasificare – obținerea informațiilor dorite
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Arhitectura unui sistem interactiv bazat pe gesturi (Moustakas et al., 2006)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
clasificarea gesturilor
semantic – the meaning of a gesturefunctional – what the gesture does in an interface
descriptive – how the gesture is performed
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
clasificarea gesturilor
la nivel semantic, gestul poate fi conştient sau spontan
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
clasificarea gesturilor
gesturi conştiente (Cassell, 1998):emblems – e.g., semnul (“Okay” sau “Money”)
propositional – ilustrează anumite acțiuni (“Put that there.”)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
clasificarea gesturilor
gesturi spontane:iconic
metaphoricdeictic (depending on context for meaning)beat – e.g., stroking, setting rhythm,…
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
clasificarea gesturilor
din punct de vedere funcțional, gesturile pot fi de tip:command – Quit, Undo, Configure
pointing – e.g., selectarea unui elementmanipulation – exemplu: scalare/rotire a unei imagini
control – mimează controlul asupra unei entități
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
gesturi dinamice & spațio‐temporalece pot fi realizate via un dispozitiv de intrare: mouse, stylus,…
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
vocabularul de interacțiune trebuie să fie limitat
aspecte de interes:contextul interacțiunii
asigurarea zonei optime de operare (spatial zone),cu divizare în spații având semnificații speciale
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
technology‐ versus human‐based gestures
motive de respingere:stressful/fatigue producing for the user
nearly impossible for some people to performillogically imposed functionality
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
gesturi uşor de recunoscutde software
semnificații/acțiuni dificil de înțeles/realizat de utilizatori:T0: fără semnificație (residue)
T1: selectT2: copy & paste
T3: deleteT4‐T5: menu/release
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
interfața bazată pe gesturi trebuie să fie:intuitivă
să ia în considerație modelul mental al utilizatoruluiuşor de memorat, fără ezitări
ergonomică
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Gesture interfaces
aspecte importante privind proiectarea:toleranța la erorile umane
factorii culturalidependența de context
oferirea de feedback pozitiv utilizatorului
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interaction
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
interfaces that both enable users to move aroundin real or virtual spaces and make users feel
as if they are moving
Mary C. Whitton & Sharif Razzaque, 2008
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
pot avea un caracter virtual
problema principală: to capture the user’s intent using data that can be derived
from sensing the pose (position and orientation)and movement of the user’s body
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
Perceiving Self‐Motion
fiecare canal senzorial (auditiv, vizual, vestibular,…) contribuie la detectarea mişcării proprii sau a obiectelor din jur
Dichgans & Brandt, 1977
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
detectarea posturii (pose) şi mişcării (motion)
utilizarea senzorilor – numiți şi trackers
folosirea sistemelor optice (optical motion capture)
recurgerea la soluții mecanice
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Konami Dance Revolution music video game
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
obținerea feedback‐ului
informații vizualehead‐mounted displayssurround‐screen displays
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
simularea mersului
treadmills (Brooks, 1998; Hollerbach et al., 2000)
walking‐in‐place (WIP) interfaces
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
VirtuSphere – utilizatorii posedă căşti de vizualizare wireless
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
principii de proiectare (Whitton & Razzaque, 2008):making the interface feel natural
higher‐fidelity reproduction of human gait
avoiding simulator sickness – cybersickness40% din utilizatori: simptome de cybersickness (Kolasinski, 1995)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
probleme ce pot fi relevate la faza de testare:realism & preservation of spatial understanding
cognitive distractionbreak‐in‐presence (BIP) events
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
un eveniment care cauzează break‐in‐presence(scena virtuală locația fizică)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
match the locomotion metaphorto the goals for the interface
exemplificare:walking metaphor versus vehicle metaphor
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
o serie de considerații practice:
Is viewing direction independent of motion direction?Are hands used for locomotion?
Able to move in any direction and change direction easily?Can base walking speed or step length be set for each user?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Locomotion interfaces
o serie de considerații practice:
Are tracker sensors immune to other signals in the room?Are wireless trackers used?
What parts of the body will have sensors or markers on them?Cables – if any – interfere with user’s motion?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory & vocal interactions
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
utilizarea informațiilor audio de tip non‐speechpentru a interacționa cu utilizatorii
detalii disponibile în (S. Camille Peres et al., 2008)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
Motivații
presenting information to visually impaired peopleproviding an additional information channel
alerting people to error or emergency states of a systemproviding information via devices with small screens
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
De ce o interacțiune audio?
reducing visual overloadreinforcing visual messageswhen eyes are elsewhere
when audio is more informativeconveying emotion – e.g., games
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
Sonification = the use of nonspeech sound to render data
cea mai simplă metodă se numeşte audification
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
reprezentarea simbolică/semanticăa informației la nivel sonor
auditory icons (earcons)reprezintă entități – obiecte, funcții –
via sunete simbolice/abstracte(Gaver, 1989, 1997; Blattner et al., 1989)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
earcons‐urile sunt construite din blocuri simple – “motifs”
timbrulvolumul
ritmul, durata & tempo‐ulintensitatea
gama (majoră/minoră)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
ReprezentationalAuditory icons
AbstractEarcons
conform (Stephen Brewster, 2008)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
reprezentarea simbolică/semanticăa informației la nivel sonor
spearcons – created by speeding up a spoken phrase untilit is not recognized as speech (Walker, Nance & Lindsay, ‘06)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
percepția sunetelor:
asocieri mentale multiple (multiple mappings)reducerea percepției unui sunet în prezența altuia (masking)
probleme privind atenția – e.g., apariția confuziilormemoria auditivă
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
aspecte de interes privind factorii umani:expertiza muzicală
familiaritatea cu dispozitivele audioabilitățile privind simțul auditiv
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
probleme de interacțiune audio:annoyanceprivacy
auditory overloadinterference/masking
low resolutionlack of familiarity
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
Întrebări privind proiectarea:ce activități va realiza utilizatorul via interfața audio?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
Întrebări privind proiectarea:ce informații pot fi reprezentate (exclusiv) sonor?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
Întrebări privind proiectarea:care e contextul de utilizare?
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
Întrebări privind proiectarea:la ce formate audio – lossless vs. lossy – vom recurge?
FLAC, PCM, WAV versus AAC, OGG, MP3
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
aspecte de interes vizând proiectarea:thinking about sound as information
designing the sound – consider auditory content as a kind of sound ecology (Walker & Kramer, 2004)
producing the sound
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
studiu de caz:audio‐only games
www.audiogames.net
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Auditory interfaces
alte resurse sunt oferite deInternational Community for Auditory Display
www.icad.org
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
facilitează conversațiadintre sistemul (software) şi utilizator
recunoaşterea vocală – speech recognition
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
a se vedea suport pentru voice recognitiondin Mac OS X sau Windows Vista/7
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
Persona = personalitatea interfeței vocale determinată de utilizatori pe baza comportamentului interfeței
(Susan Hura, 2008)
percepțiile utilizatorilor relative la VUI sunt fragilelipsa încrederii
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
utilizatorul interacționează preponderent via prompts
ceea ce prezintă interfața vocală
“Salut, ai la dispoziție următoarele opțiuni…”
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
necesitatea marcatorilor de discurs (discourse markers) pentru a desemna:
confirmarea – “da, desigur”, “în regulă”schimbarea subiectului de discuție – “în altă ordine de idei…”intensificarea/reamintirea unei afirmații – “precum ziceam”
secvențe narative – “pentru început”, “apoi” etc.
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
probleme:lipsa conciziei
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
lipsa conciziei – exemplificare:
“I can help you with the following five options.You can interrupt me and speak your choice at any time. Please select one of the following: sign up for new service, add features to my service, move my existing service,
problems with my satellite service, or ask a billing question.”
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
probleme:tratarea inefectivă a erorilor
“I’m sorry. I did not understand your response.I can help you with the following five options…”
inducerea sentimentului de culpabilitate utilizatorului
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
probleme:sporirea inconfortului utilizatorului
“Please say or enter your account number!”
utilizatorul nu e în postura de a controla interfața
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
probleme:utilizarea repetitivă a aceluiaşi mesaj
“Attention! I don’t understand! Please, say the correct answer!...Attention! I don’t understand! Please, say the correct answer!...Attention! I don’t understand! Please, say the correct answer!...”
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
recunoaşterea automată a vorbirii (Cohen et al., 2004)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
utilizări majore:interacțiune via telefon
dictarecontrol vocal la nivelul desktop‐ului/navigatorului Webcomandă în contextul dispozitivelor, automobilelor etc.
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
present menu options in a waythat makes them comprehensible and easy to retain
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
consider error sources when writing error‐handling prompts
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
provide context
VUI: You can say: account balances, last contribution, transfers, allocations, or life insurance.
User: Transfers.VUI: Transfers. You can say: hear pending transfers or make a transfer.
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
use hints and reminders
“Next time, you can say ‘order status’ at the main menuto get here quicker.”
“You can speak your account number or key it in.”
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
favor models over instructions
învățarea via exemple
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
use discourse markers liberally
folosirea în conversație a unor expresiiprecum “all right”, “next”, “thanks”,…
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
allow for conversational repair
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
reguli de proiectare
be careful with terminology
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
studiu de caz
Google Voice Local Search
www.google.com/goog411/
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Voice user interfaces
a se consulta şi Speech Technology Magazine
www.speechtechmag.com
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Tangible interaction
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Tangible interfacesoferă formă fizică informației digitale
Hiroshi Ishii, 2008
informațiile digitale pot fi percepute & manipulate direct
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Tangible interfaces
componente‐cheie:control – permite utilizatorilor să manipuleze informațiileexternal representations – percepute via simțuri umane
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Tangible interfaces
aliniate şablonului de proiectare MVC (Model View Controller)
Model = informația digitalăView = reprezentări tangibile + intangibile
Controller = componenta de control (procesare)
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Pentru alte detalii, a se consulta:
P. Kortum (Ed.), HCI Beyond the GUI. Design for Haptic, Speech, Olfactory,
and Other Nontraditional Interfaces, Elsevier, 2008
www.beyondthegui.com
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Procesarea a două/mai multe mijloace de intrare – bazată pe voce, gesturi, simț tactil etc. – într‐o manieră coordonată în vederea obținerii unui output complex
(e.g., multimedia, 3D) sau a execuției unui task
Sharon Oviatt, 2008Paulo Barthelmess & Sharon Oviatt, 2008
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Are loc în diverse contexte de la interfețe mobilepână la cele colaborative
avantaje:reducerea erorilor prin dezambiguizare mutuală
creşterea performanței în operare
utilizare în contextul realității virtuale/îmbogățite
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Probleme/preocupări:factorii lingvistici
redundanța & complementaritateaalegerea de inputmultimodal/unimodal
influența încărcării cognitive
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
Studiu de caz: chioşcurile informaționale
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
The most profound technologies are those that disappear.They weave themselves into the fabric of everyday life
until they are indistinguishable from it.
Mark Weiser, “The computer for the 21st Century”, Scientific American, 265 (3), 1991
Interacțiune om‐calculator
Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco
2.0
considerații privind emoțiainteracțiuni neconvenționale & multimodale