1

Moniaistinen havaitseminen

• Miksi moniaistisuus on tärkeää? • Ilmiöitä ja niiden anatomiaa ja

fysiologiaa joista tärkeimpinä:

– Puheen havaitseminen – Mitä- ja missä-kanavat

PSY221 Luento 6. Kaisa Tiippana 17.11.2010

Kytkeytyminen muuhun kurssiin

• Kirjassa ei moniaistisuutta juuri yhtään. • Materiaalina luentokalvot ja tukena:

– Luku: Tiippana (2006): Moniaistinen havaitseminen. Kirjassa: Mieli ja aivot: kognitiivisen neurotieteen oppikirja. Toim: Hämäläinen, Laine, Aaltonen, Revonsuo (s. 177-184) – löytyy Moodlesta.

• Luennolla korostan muun kurssin kanssa yhteisiä asioita.

• Markku päättää, painottaako tätä luentoa vähemmän tentissä.

• Ympäristöä havainnoidaan luonnostaan useiden aistien avulla.

Moniaistisuus Mitä hyötyä on moniaistisuudesta?

• Informaatiota useista lähteistä –  Lisäinformaatio –  Päällekkäinen informaatio

• Puhe on luonnostaan audiovisuaalista. – puheen tuottamiseen liittyvät artikulaatioliikkeet

näkyvät (osittain) = visuaalinen puhe • Auditorinen puhe yleensä määrää

puhehavainnon. • Visuaalinen puhe kuitenkin vaikuttaa

havaintoon.

Puheen havaitseminen

• Huuliltaluku • Auditorinen puheentunnistus tarkempaa, koska

visuaalisessa puheessa useat äänteet näyttävät samalta

–  visuaalisten kategorioiden määrä riippuu mm. koartikulaatiosta, puhujasta ja havaitsijasta

2

• Kuulo- ja näköhavainnon yhdistäminen yhtenäiseksi puhehavainnoksi

• Etuna parempi puheentunnistus –  vaikeasti tunnistettavat auditorisen puheen

piirteet ovat usein helposti tunnistettavia visuaalisesta puheesta

–  yhden kanavan häiriöt voidaan usein kompensoida toisen kanavan avulla

Audiovisuaalisen puheen integraatio

• Visuaalisesta puheesta on eniten hyötyä kun kuullun signaalin ymmärrettävyys on huono

–  kohina –  kuulovauriot –  kognitiiviset vaikutukset

•  vaikeatajuinen viesti •  vieras kieli

Audiovisuaalisen puheen integraatio

Kuulovauriot

Erber (1972)

kuulo

näkö

kuulo+näkö

normaali kuuro heikko kuulo:

vastaus- jakaumat:

auditorinen signaali/kohina-suhde

% o

ikeita

vas

tauk

sia

Erber (1969)

Kuulo

Kuulo + näkö

Vieras kieli

Hirata & Kelly (2010). Effects of lips and hands on auditory learning of second-language speech sounds. J Speech Lang Hear Res, 53, 298-310.

Japaninkielinen pitkä-lyhyt-vokaalierottelu parani englanninkielisillä kuuntelijoilla enemmän AV- kuin A- harjoittelulla.

Audiovisuaalisen puheen integraatio

• Vaikka visuaalisen puheen vaikutus tulee yleensä esiin vasta, kun auditorinen signaali on heikko, se ei ole kuitenkaan pelkkä varamekanismi →  McGurk-efekti

3

McGurk & MacDonald (1976). Hearing lips and seeing voices.

Nature, 264, 746-748.

McGurk-efekti • Visuaalinen puhe muuttaa havaintoa, niin

että kuullaan jotain muuta kuin auditorinen signaali.

• Osoittaa, että visuaalinen puhe voi vaikuttaa myös kun auditorinen signaali on selkeä.

• Kuultu ja nähty puhe integroidaan yhtenäiseksi puhehavainnoksi. – McGurk-efektin voimakkuus heijastaa

audiovisuaalisen integraation voimakkuutta.

McGurk-efekti

• Mitkä tekijät vaikuttavat integraatioon?

Esimerkkejä: – Tarkkaavaisuus – Yksilöerot, eritysryhmät:

•  Aspergerin syndrooma

Audiovisuaalisen puheen integraatio • Voiko kuulohavaintoa muuttaa vain

näkötarkkaavaisuutta siirtämällä?

Tarkkaavaisuus

Andersen, Tiippana, Laarni, Kojo, Sams (2009)

Tarkkaavaisuus

4

• Kuulohavainto muuttui, kun näkötarkkaavaisuuden kohde vaihtui – vaikka kuulo- ja näköärsyke pysyivät samoina

• Audiovisuaalisen puheen integraatio riippuu tarkkaavaisuudesta.

Tarkkaavaisuus • Onko audiovisuaalisen puheen

havaitseminen erilaista henkilöillä, joilla on Aspergerin syndrooma (AS)? – AS: autismin kirjon häiriö, jossa vaikeuksia

sosiaalisessa vuorovaikutuksessa •  ’Sensory integration theory’ → ongelmia

aistitiedon integraatiossa? • Tarkkaavaisuushäiriöt → ongelmia

kohteen valikoimisessa?

Aspergerin syndrooma

Saalasti, Tiippana, Kätsyri & Sams (submitted)

• Tutkimuksessa käytettiin Andersen & muiden koeasetelmaa.

Hypoteesit: • Jos integraatio on heikompaa, McGurk-

efekti on heikompi AS-aikuisilla kuin verrokeilla.

• Jos tarkkaavaisuuden kohdentaminen on heikompaa, toiset kasvot häiritsevät AS-aikuisia enemmän kuin verrokkeja.

Aspergerin syndrooma A/p/V/k/: yhdet kasvot

13

49

87

5

38

8

AS heard less K and more T than controls = difference in AV integration

A/p/V/k/: kahdet kasvot

11

36

77

4

53

20

Both groups gave similarly fewer K and more T responses when T-face was present = similar attention effect in both groups

• Audiovisuaalinen integraatio ei ollut heikompaa, vaan laadullisesti erilaista AS-aikuisilla kuin verrokeilla. – Tukea ajatukselle, että aistitiedon

yhdistämisessä on ongelmia. • Tarkkaavaisuuden kohdentamisessa ei

ollut eroja ryhmien välillä.

Aspergerin syndrooma

5

• Missä visuaalista ja audiovisuaalista puhetta prosessoidaan?

• Missä nähdyn ja kuullun puheen yhdistäminen tapahtuu?

– Ennen ajateltiin, että aistitietoa yhdistetään vasta ns. assosiaatioalueilla varsinaisten aistinalueiden prosessoinnin jälkeen.

Audiovisuaalinen puhe aivoissa Audiovisuaalinen puhe aivoissa

• Muutokset kuuloärsykkeessä aiheuttavat ns. poikkeavuusnegatiivisuus (’mismatch’) MMN-vasteen kuuloaivokuorella.

– MMN syntyy toistuvan standardiärsykkeen seassa silloin tällöin esiintyvälle poikkeavalle (’deviant’) äänelle, kun se pystytään erottamaan standardista.

– esim. /pa/, /pa/, /pa/, /pa/, /pa/, /ta/, /pa/, /pa/…

Auditorinen puhe aivoissa

Näätänen (2001). The perception of speech sounds by the human brain as reflected by the mismatch negativity (MMN) and its magnetic equivalent (MMNm). Psychophysiology, 38, 1-21.

• Syntyykö poikkeavuusnegatiivisuusvaste myös, jos vain visuaalinen puhe muuttuu?

– Käytettiin hyväksi McGurk-efektiä:

Auditorinen: /pa/ /pa/, /pa/ /pa/, /pa/, /pa/… Visuaalinen : /pa/ /pa/, /pa/ /ka/, /pa/, /pa/…

Audiovisuaalinen puhe aivoissa

Sams & al. (1991); Möttönen & al. (2002) Sams & al. (1991). Seeing speech: visual information from lip movements modifies activity in the human auditory cortex. Neurosci Lett, 127, 141-145.

V/pa/A/pa/

V/ka/A/pa/

6

A = V

McGurk

visual

auditory

Möttönen, Krause, Tiippana & Sams (2002). Processing of changes in visual speech in the human auditory cortex. Cogn Brain Res 13, 417-425.

Pekkola, Ojanen, Autti, Jääskeläinen, Möttönen, Tarkiainen & Sams (2005): Primary auditory cortex activation by visual speech: an fMRI study at 3T. NeuroReport, 16, 125-128.

Voiko pelkkä visuaalinen puhe aktivoida primaaria kuuloaivokuorta?

Keltaiset ääriviivat rajaavat kuuloaivokuoren. Visuaalisen puheen tuottama aktivaatio merkitty punaisella.

• Visuaalinen ja audiovisuaalinen puhe aktivoivat alueita mm. kuuloaivokuorella.

• Aistit voivat vaikuttaa toisiinsa jo hyvin varhaisessa prosessointivaiheessa. – Aistitiedon prosessointi ei ole niin

eriytynyttä kuin on luultu.

Audiovisuaalinen puhe aivoissa Liityvät havaintojärjestelmän tärkeimpiin tehtäviin:

• Ärsykkeiden tunnistaminen – Mitä?

• Toiminnan suuntaaminen – Missä? Miten?

Mitä- ja Missä-kanavat

Tällä luennolla pari kanavien moniaistisuutta korostavaa esimerkkiä.

7

Swhere

Swhat

BPM

M1S1

A1Awhere

Awhat Vwhat

Vwhere

A=auditory, B=Broca, M=motor, PM=premotor, S=somatosensory, V=visual, Parietal=päälaenlohko, IT=ohimolohkon alaosa

• Ohimolohkossa on tunnistamiseen liittyviä toimintoja – Erilaisille visuaalisille ärsykkeille (objekteille)

herkkiä soluja alaosassa (inferotemporal=IT) – Erilaisille auditorisille ärsykkeille

(monimutkaisille äänille) herkkiä soluja etuosassa

Mitä-kanavat

• Ihmisellä aktivoituu ohimolohkon eri osia riippuen nähdyn objektin kategoriasta – kasvot, työkalut jne

• Onko visuaalinen kokemus edellytys kategorianmukaiselle järjestäytymiselle? – Onko syntymästä asti sokeilla henkilöllä

samantyyppinen alueellinen erikoistuminen ohimolohkossa kuin näkevillä?

Mahon, Anzellotti, Schwarzbach, Zampini & Caramazza (2009). Category-specific organization in the human brain does not require visual experience. Neuron, 63, 397-405.

Mitä-kanava näössä: moniaistisuus

• Koehenkilöryhmät: syntymästä sokeita / näkeviä

• Ärsykkeet: puhuttuja sanoja / kuvia – eläimiä = elävä – työkaluja tai muita esineitä =

ei-elävä

fMRI-tutkimus:

B: Voxels showing differential BOLD responses for nonliving things compared to animals

ei-elävä > elävä

Figure 3. Contrast Maps for Animal versus Nonliving Stimuli for All Groups of Participants. A: Voxels showing differential BOLD responses for animal stimuli compared to nonliving stimuli

elävä > ei-elävä

8

• Visuaalinen mitä-kanava on järjestäytynyt samantyyppisesti näkevillä ja sokeilla. – Kategorianmukainen järjestäytyminen on

mahdollista myös muiden aistien antaman tiedon avulla.

– Mukana luultavasti myös synnynnäinen (‘hard-wired’) komponentti, joka voi riippua aivoalueen laskennallisesta tehtävästä (‘computational goal’).

Mitä-kanava näössä: moniaistisuus

• Päälaenlohkossa yhdistetään eri aisteista tulevaa tietoa ärsykkeiden sijainnista (missä)

– sekä niihin liittyvästä motoriikasta (miten)

• Premotorisella aivokuorella (PM) koodataan liikkeitä tähän tietoon perustuen – signaalit motoriselle aivokuorelle lihaksiin

( palaute aistien kautta)

Missä-kanavat

• Näkö-, kuulo- ja tuntoärsykkeisiin reagoivia soluja

• Myös kahden eri aistin ärsytykseen reagoivia soluja

–  Juhani Hyvärinen oli tämän tutkimuksen pioneereja 1970-80-luvuilla (esim. review: Hyvärinen, 1982. Posterior parietal lobe of the primate brain. Physiological Reviews, 62, 1060-1129.)

Päälaenlohko

Graziano & Gross (1995)

Näkö-tuntosolu päälaenlohko & premotorinen aivokuori

• Samantyyppisiä soluja kuin päälaenlohkossa, joiden lisäksi:

• Soluja, joissa raajaan sidotut reseptiiviset kentät

Premotorinen aivokuori

Graziano & Gross (1995)

Näkö-tuntosolu

premotorinen aivokuori:

visuaalinen reseptiivinen kenttä seuraa kättä; on ikään kuin ‘sidottu’ käden somatosensoriseen reseptiiviseen kenttään (oikeassa kämmenessä)

Vaste näköärsykkeeseen:

9

• Hermosoluja, jotka antavat vasteen tietylle toiminnalle – sekä omalle että havaitulle

–  esim. esineen poimiminen, repiminen –  tarkat liikeradat eivät oleellisia

• Premotorisen aivokuoren alaosassa (Brocan alueella) ja päälaenlohkossa

Peilisolut

Rizzolatti & al. (2001)

Peilisolut

apinan F5 (= ihmisen Brocan alue)

Kohler & al. (2002). Hearing sounds, understanding actions: action representation in mirror neurons. Science, 297, 846-848.

apinan F5 peilisolu

V = näköärsyke S = kuuloärsyke M = motorinen vaste • Yhteys eri aistien antaman tiedon ja

motoriikan välillä • Yhteys oman ja muiden toiminnan välillä

– Merkitys: Simulaatio, toiminnan ymmärtäminen, matkiminen, oppiminen…

Peilisolut

• Näköärsykkeeseen reagoidaan nopeammin ja tarkemmin, jos sen yhteydessä esitetään ‘ylimääräinen’ kuuloärsyke samasta suunnasta. ➞  Näkö- ja kuuloinformaatio vaikuttavat

yleensä eniten toisiinsa, jos niiden voidaan tulkita tulevan samasta kohteesta.

Reaktioiden AV-tehostuminen Reaktioiden AV-tehostuminen

Simon & Craft (1970). Effects of an irrelevant auditory stimulus on visual choice reaction time. Journal of Experimental Psychology, 86, 272-274.

Ääni yhtä aikaa valon kanssa.

“Paina vas/oik nappia, kun näet vas/oik valon. Älä välitä äänistä.”

10

Posner & al (1976). Visual dominance: an information-processing account of its origins and significance. Psychol Rev 83, 157-171.

Spence & Ho (2008). Multisensory warning signals for event perception and safe driving. Theor Iss Ergon Sci 9, 523-554.

Reaktioiden moniaistinen tehostuminen liikenteessä

• Havaitseminen on moniaistista. • Aisti-informaation vuorovaikutusta

tapahtuu monilla eri tasoilla alkaen jo varhaisesta prosessoinnista ennen kuin kunkin aistin informaatio on käsitelty erikseen.

Moniaistisuus – yhteenveto

• Puhetta havaitaan sekä kuulon että puhuvien kasvojen antaman näköinformaation perusteella.

• Mitä-kanavassa yhdistetään eri aistien tietoa esineiden tunnistamista varten.

• Missä-kanavassa yhdistetään eri aistien tietoa toiminnan suuntaamista varten.

Moniaistisuus – yhteenveto