percepcija govora - ffzg.unizg.hr · pdf filemehaničke vibracije pretvaraju se u...
Post on 03-Feb-2018
232 Views
Preview:
TRANSCRIPT
1
Elenmari Pletikos Odsjek za fonetikuFilozofski fakultet Zagreb Opća fonetika, 2006/07.
Percepcija govora
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 2
Percepcija govora: pregled
Jedinice koje nose značenje (riječi…)
Psiholingvistika
Wernickeovaafazija i sl.
Glasnici, slogovi, intonacija…
Fonetika, psihologija percepcije
Slušna agnozija ?
Tonovi, harmoničan zvuk, šumovi…
Psihoakustika, audiologija
Nagluhost, gluhoća
Jedinice
Discipline
Poremećaji
Razumijevanje(engl. recognition)
Slušanje, percepcija(engl. perception)
Sluh(engl. audition)
Folija preuzeta (prevedena) s web stranice Bernda Moebiusa, IMS, U Stuttgart, PS Phonetik/Phonologie (28.1.2004)
2
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 3
Izvanslušni govorni osjeti
1. Kinestetski osjeti• propriocepcijski osjeti kretanja tijela pomoću mišića• osjetne periferne stanice su u mišićima, tetivama i zglobnim
čašicama• informacije o obliku, pokretu i napetosti dijelova tijela
2. Dodirni osjeti (taktilna percepcija)• na mjestima gdje se dodiruju artikulatori (koža)• informacije o dodiru prenose dijelom nespecifični završetci
neurona koji dolaze do kože, a dijelom specifični neuronski završetci
3. Osjeti pritiska• u dubljim slojevima kože su osjetne stanice za pritisak• jakost osjeta raste s porastom zvučnog tlaka
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 4
4. Vibrotaktilni osjeti• dolaze od titraja glasnica• učestalost titraja može se razlikovati do 500 Hz, a zamijetiti
titraje i do 1100 Hz• titranje se osjeća na prsnoj kosti, u dušniku, u grkljanu, na
vratu, u ustima, u nosu, na usnama, na tjemenu• “palatinalna točka”
5. Toplinski osjeti• hladni izgovor – većim otvorom i pojačavanjem zračne struje• topli izgovor – manji otvor, nestrujni izgovor, zaobljene usne
6. Okusni osjeti• slatko – na prednjem dijelu jezika• gorko – na stražnjem• kiselo – na rubvima
3
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 5
7. Vid• čitanje govora s usana (kod slabo čujućih)• vidljivi su usneni glasnici i samoglasnici
8. Mirisni osjeti• najslabiji• znakoviti bebama
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 6
Izvanslušna slika glasa
Dijelovi tijela na kojima se javljaju doživljaji glasanja (slika prema R Hussonu, 1962.)
U dobro impostiranom glasu tri su bitna mjesta tjelesnog obrisa glasa:
2 - palatinalna točka (prednji dio tvrdog nepca)
7 – sternum (prsna kost)
8 – trbušni mišići
4
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 7
Sluh - glavni osjet govora
periferni dio osjetila je uho – mehanoreceptor (mehaničke podražaje pretvara u bioelektrične)
posebne slušne kvalitete su ton i boja (ne mogu se percipirati ni jednim drugim osjetilom)• učestalost titraja – u kvalitetu tona• raznolika istodobna titranja – u kvalitetu boje
sluhom se (kao i drugim osjetilima) može osjetiti i • brzina titraja, jakost i trajanje podražaja
sluhom se može odrediti i • izvor zvuka u prostoru (kao i vidom) • ali se ne doživljava mjesto ulaska u tijelo (kod kožnih mehanoreceptora
je suprotno)
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 8
Sluh vs. slušanje
Sluh – recepcija• u slušnom organu zvučni signal (promjene tlaka zraka – mehanički
podražaji) pretvaraju se u neuralne impulse• percepcija frekvencijskog područja relevantnog za govorni signal• filtriranje pozadinskih šumova (prepoznavanje oblik-pozadina)
Slušanje – percepcija i razumijevanje govora(primanje, obrada i interpretacija)
• dekodiranje i segmentacija važnih elemenata• povezivanje identificiranih elemenata s reprezentacijama u mozgu• povezivanje reprezentacija sa semantičkim konceptima
5
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 9
Organ sluga: anatomska i fiziološka osnova percepcije govora
1) periferni dioa) vanjsko i srednje uhob) unutarnje uho: u pužnici, u Cortijevom organu na bazilarnoj membrani mehaničke vibracije pretvaraju se u bioelektrične potencijale
2) slušni put- niti slušnog živca (30 000)- sinapse: kohlearne jezgre, gornje olive, donji kolikuli, koljenasto tijelo
3) slušna kora mozga- primarna slušna kora (u temporalnom režnju, gornji dio uz Brocu)-sekundarna, terc., asocijativna (kombiniranje podražaja)
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 10
6
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 11
Slušni put
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 12
Slušna kora mozda
7
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 13
Pužnica – bazilarna membrana – Cortijev organ
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 14
Kodiranje zvuka
U pužnici• tonotopska organizacija, visina frekvencija kodira se prema mjestu
(visoke frekvencije na početku…, a taj se raspored preslikava u primarnoj kori mozga)
• putujući val (Bekesy) – podraživanje bazilarne membrane na jednom mjestu gdje mu je najveća amplituda
8
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 15
Kodiranje frekvencije
f0 – kodira se učestalošćuimpulsa u slušnom živcu
maks. brz. živčanih impulsa je 1000 u sek, ali opada na 400
teorija plotuna (Wever): (iznad800 Hz) usklađivanje međuživčanim stanicama, jednemiruju, druge pale, pa skupinaukupno uzevši može pulsirati2, 3, 4… puta brže odpojedinačnih stanica
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 16
Kodiranje jakosti
- jakost odgovara veličini amplitude kojom titra bazilarna membrana na određenom mjestu
- u slušnom živcu: ukupnim brojem živčanih impulsa u jedinici vremena
- veća jakost, tj. veći broj impulsa dobiva se:- pojedinačne stanice pale brže (dinamika do 30 dB)- proširuje se ustitrani dio bazilarne membrane, više stanica se
pobuđuje, više impulsa- neke stanice podražuju se samo kod vrlo jakog zvuka
Signal se u eferentnom putu pročišćuje (lateralne inhibicije)
* Obavezno pročitati poglavlje fiziologija slušanja u Škarić (1991), str 236-240.
9
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 17
Psihoakustika
predmet istraživanja u užem smislu je formuliranje matematičkih odnosa fizikalnih veličina parametara akustičkog signala i psiholoških veličina auditivne percepcije
teme: diferencijalni pragovi kod pojedinih osobina zvuka, maskiranje…
f0 – fizički mjerljiva vrijednost (signal u kom. kanalu)visina tona – percepcijski pojam (primatelj)
Koje su osjetne kvalitete specifične za slušanje te ne pripadaju drugim osjetilima?
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 18
(timbre, voice quality)
boja(spectralstructure)
spektralna struktura
(sastav i oblik)
(loudness)glasnoća(intensity)intenzitet
(pitch)tonska visina(fundamentalfrequency)
fundamentalna frekvencija
(length)dužina(duration)trajanje
(engl)(hr.)(engl.)(hr.)
PsihoakustikaAkustika
10
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 19
Odnosi između akustičkih i slušnih dimenzija
odnosi nisu jednoznačnina osjet dužine utječu:
• trajanje• promjena frekvencije
na osjet glasnoće utječu:• intenzitet• trajanje• spektralna struktura• frekvencija
na osjet visine utječu:• frekvencija• spektralna struktura
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 20
Psihoakustičke veličine
Skale za jačinu:• phon - odnosi se na dB razinu tona od 1kHz (najosjetljiviji sluh na 3 kHz)• son - označava dvostruki odnos jačine među 2 tona
ishodište - 1 son = odnosi se na ton 1kHz, 40 dB SPL, traj. 1 s
Skale tonske visine i promjene tona:• do 500 Hz je linearan, zatim logaritamski odnos tonova i mm na Bazilarnoj
membrani • jedinica je Bark, stoti dio je melBark skala dijeli frekvencijska područja u frekv. grupe ili pojaseve engl. critical bands unutar kojih se spektralno kompleksni zvukovi tj. pojedini frekv. dijelovi ne adiraju, već jači maskiraju slabije, dok ako su u različitim pojasevima oba se percepiraju• ERB skala• Polutonovi
(muzički definiran interval oktave (počinje od 131 Hz, definiran kao ton C0)
11
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 21
Kategorijska percepcija
Svaki stimulus slušač smješta u neku glasovnu jezičnu kategoriju (prepoznaje glasnik) a ne neku međukategoriju.
Testovima se prezentiraju kontinuirani stimulusi (npr. ba-da)
• testovi identifikacije i diskriminacije
• 60-ih kod dojenčadi i činčila je također dokazana kategor. percepc.
• pretpostavka da postoje neuralni mehanizmi odgovorni za obradu slušnih signala
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 22
Kategorijska percepcija
12
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 23
najviše se istražuje kod okluziva:
VOT - kodirana je kategorijalno zvučnost/bezvučn. pa-ba
• b/p VOT 0-20 ms – unutar kategorije /b/40-80 ms – unutar kategorije /p/između 20-40 ms granica kategorije (a 20 msje unutar kategorije nebitna razlika)
• d/t VOT 0-28 ms – unutar kateg /d/ (neki i -70, -40 zvučnost prije eksplozije)50-80 ms – unutar kateg /t/
F2 tranzijent – kodirano je mjesto artikulac. ba, da, ga
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 24
Percepcija samoglasnika
ovisi o relativno dugom periodu mirovanja
mogu se percipirati izolirano
frekvencije formanata određuju fonološki identitet vokala samo unutar jednog vokalskog sustava (sustav jezika, sustav pojedinca)
u mnogim eksperimentima nije dokazana kategorijska percepcija, već se smatra da je kontinuirana
• razlike prema prva dva formanta koja su ovisna o položaju jezika• F1 otvoreni – zatvoreni; niski - visoki • F2 prednji – stražnji
13
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 25
Vokali australskog engleskog
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 26
Percepcija suglasnika
temelji se na brzim promjenama tranzijenata, razlikama zvučnosti, spektru…
percepcija mnogih suglasnika ovisi o susjednim glasnicima
ne mogu se percipirati izolirano
nepostojanje akustičke invarijantnosti: na spektrogramima nema konstantne vrijednosti koja bi upućivala na određeni konsonant
14
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 27
Uloga spektra šuma u percepciji okluziva
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 28
Multimodalna percepcija govora
• na slušanje utječe i vid
• McGurk effect - (McGurk i Mac Donald, 1976)
• vidni stimulus ga, slušni ba = čujemo da !!!
• vidni stimulus ba, akustički la = čujemo bla(efekt sličan dihotičkoj fuziji)
web prezentacija:http://www.media.uio.no/personer/arntm/McGurk_english.html
15
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 29
Prepoznavanje govora uključuje:
ekstrakciju akustičko fonetske informacije iz govornog signala – koja informacija?
preslikavanje te informacije na kognitivne reprezentacije – kada i kako se informacija uspoređuje s pohranjenim znanjem?
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 30
Prepoznavanje govora
mentalni leksikon – nije lista ortografskih riječi, već "rječnik", spremište: • fonološke i ortografske forme; morfološke strukture; sintaktičke, semantičke i
pragmatičke informacije; prozodijelexical entry ?lexical access ? – centralni dio svakog kognitivnog modela percepcije govora (i preleksičko procesiranje)
informacije koje mogu pomoći pristupu leksiku: akustičko fonetska (o strukturi segmenata), leksička i prozodijska
jedinice percepcije (units of perception):akustičko-fonetska obilježjafonemialofonislogoviartikulacijske gestespektralna informacija
16
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 31
Teorije i modeli percepcije govora
auditivne teorije• Fant, 1967• analiza sintezom (Halle i Stevens, 1957)• lexical access from spectra (Klatt, 1979; 1981)• auditory enhancement (Diehl i Kluender, 1989)
motoričke toerije• motorička teorija (Liberman i sur. 1967; Liberman i M. 1986)• direct-realist theory (Fowler, 1986)
Ostale:• Native Language Magnet theory (P. Kuhl)• Exemplar theory (Lucerda 1995, Pierrehumnert 2001.)• teorija kohorte (Marsen-Wilson i Tyler, 1980; Marsen-Wilson i Warren 1994)• Model traga (Elman i McClelland, 1986)• Shortlist model (Norris, 1994)• race model, (McQueen i Cutler, 1997)
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 32
Automatsko prepoznavanje govora - ASR
ASR (automatic speech recognition)• - knowledge-based• - data-based statistical approaches
govorni signal modelira se algoritmima koji znanje automatski ekstrahira iz govora, a dva osnovna postupka su:
HMMs - hidden Markov modelsANNs - artificial neural networks
te njihove kombinacije.
Literatura: • Eric Keller, ur. (1994). Fundamentals of Speech Synthesis and Speech
Recognition• Milan Stamenković (1989). Automatsko prepoznavanje govora. Govor VI, 2, str.
29-80.• Članci s konferencije Eurospeech 99, 01, 03, 05 (sažeci na webu)
17
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 33
Dodatna literatura:
Clark, J. i C. Yallop (1995). An Introduction in Phonetics andPhonology. Blackwell Publishing. Poglavlje: Speech Perception. Str. 301-326.
McQueen, J. C. i A. Cutler (1999). Cognitive processes in speechperception. U W. Hardcastle i J. Laver (ur.), The Handbook ofPhonetic Science, Oxford: Blackwell, str. 566-585.
Mildner, Vesna (2003). Govor između lijeve i desne hemisfere. Zagreb: IPC grupa, Str. 76-84.
Prof. dr. sc. Vesna Mildner drži kolegij o Percepciji govora te je najznačajnija literatura na popisu iz tog kolegija
Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 34
Zadaća:
Pročitati i naučiti!
Izvanslušno primanje govora:Izvanslušni govorni osjeti (Škarić, 1991, str. 221-225)Izvanslušna slika glasnika (Škarić, 1991, str. 225-228)Izvanslušna slika glasa (Škarić, 1991, str. 228-229)
Slušanje govora:Sluh (Škarić, 1991, str. 229-240)
– posebno pažljivo pročitajte poglavlje o fiziologiji slušanja (§ 542 - § 548)
top related