Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Beszéd és érzelem

Beszédfelismerés és szintézis7. előadás 2014. március 13.

Bárdi Tamás előadása nyomán

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Czap László beszélőfej modelljeöröm szomorúság

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Czap László beszélőfej modelljemeglepetés harag

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Kommunikáció általában

Kommunikáció: üzenetváltások közös kód alapjánkódolás és dekódolás is történik

Verbális kommunikáció:a kód előzetes megállapodással lett közössépl. nyelvek, siket jelnyelv, protokollok

Nem verbális kommunikáció:van közös kód, de nem megegyezés eredményeilyen az érzelmi kommunikáció nagyobb részta közös alap általában biológialag örökölt

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

A kommunikáció csatornái

Közvetlen emberi kommunikáció elmélete (Buda Béla):- Verbális csatornák:

beszélt nyelv, egyezményes jelek- Nem verbális csatornák:

vokális expresszió, tekintet, mimika, gesztusok, távolság, emblémák

A hangzó beszéd egyaránt verbális és nem verbális A beszéd nem verbális tartalma nagyrészt a

prozódiában jelenik meg

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Kódosztás a csatornák között

Brunswick lencséje:Az érzelem felismerése lassabb és bizonytalanabb hacsökkentjük az elérhető nem-verbális csatornák számát

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Metakommunikáció

Kommunikáció a kommunikációról Az emberi közlésfolyamat mindig kétszintű:

egy akaratlagos és egy spontán, amely „minősíti” a direkt tartalmat, érzelmi viszonyulást fejez ki

Nem tudunk „nem kommunikálni” Az indirekt – akarattól független – kommunikáció mindig

őszinte Analóg – digitális párhuzam

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Antonio Damasio elmélete különbségtételt tesz érzelmek (angolul emotion) és

érzések (angolul feeling) között Az érzés e változások észlelése Az érzés lényege: "folytonos monitorozási folyamat", Damasio szerint az érzelmek fontos szerepet játszanak az

emberi szervezet biológiai szabályozó működéseinek rendszerében, a homeosztázisban.

az érzelem és érzés a biológiai szabályozás központi mozzanatai, ezek hidat alkotnak a racionális és nem-racionális folyamatok között, a kérgi és kéregalatti struktúrák között

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Emóciók

Homeosztázis: a biológiai szervezeteknek van egy egyensúlyi állapota, ha megbomlik igyekeznek helyreállítani

Az emóciók az egyensúlyi célállapotot változtatják meg, hogy a szervezetet a túlélés szempontjából „optimális” állapotba kerüljön

Az emócióknak erős hatása van a vegetatív idegrendszer működésére, ezen keresztül számos betegséget okozhat a nem megfelelő érzelmi élet

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Szomatikus markerek Az érzelmi állapotokhoz jellemző testi mintázatok tartoznak. Az elsődleges érzelmek a "korai életben átélt érzelmek„,

ezeknek alapja a személyes élettörténet perspektívája. A másodlagos érzelmek pedig a "felnőtt" érzelmek, amelyek a

tárgyak és helyzetek osztályainak, valamint az elsődleges érzelmek összekapcsolásán alapulnak.

Elsődleges érzelmek: kialakításukban döntően kéreg alatti területek vesznek részt, bizonyos szenzoros input mintázatok esetén automatikusan váltódnak ki.

Másodlagos érzelmek: kialakításukban a prefrontális kéreg is részt vesz, kiváltódásuk mentális képek közbeiktatásával történik

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Féltekei asszimetriák A beszédképzés és megértés nagyrészt bal féltekés A beszéddallam feldolgozása inkább jobb féltekés Pell: jobb és bal féltekés sérült betegeket vizsgált.

Eredményei alapján az érzelmi prozódia inkább jobb féltekés, a grammatikai inkább balféltekés

Damasio: a jobb féltekei prefrontális kéreg döntő a másodlagos érzelmek kialakításában.

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Emotional expressions Darwin (1872): az emlős állatok az emberhez

hasonlóan fejezik ki érzelmeiket (közös származás) Emóciók szerepe: belső biológiai szabályozás, és a

külső megfigyelő befolyásolása (kommunikatív) Ohala: leakage theory: Often, communication is

ambivalent: people communicate one thing verbally and the opposite non-verbally. Leakage refers to communicative incidents in which nonverbal signals betray the true content of contradictory verbal messages.

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Alapérzelmek

Diszkrét emóció elméletek (Ekman és mások):

Abból indul ki, hogy van néhány alapérzelem, amit jól felismernek az emberek és ezeket kéne gépileg is felismerni. Ezt a modellt az arckifejezések kutatóitól importálták a beszédkutatók.

Nincs teljes egyetértés az alapérzelmek listájában, de az alábbiakat mindenki felsorolja: meglepetés, félelem, harag, öröm, szomorúság, undor

Visszatérő kérdés: univerzálisak vagy kultúrális eredetűek?“A display rule specifies who can show what emotion to whom, when.” - Ekman

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Alapérzelmek az arcon Vannak akaratlagosan nem mozgatható arcizmok

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Folytonos érzelmi dimenziók Activation, Valence, Power, Intensity Feeltrace: „cimkéző” eszköz

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Neutral (declarative)

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Excitement

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Disappointment

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Hot anger

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Cold anger

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Sarcastic

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Afraid

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Impatient

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Sad

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: acted emotions

Lifeless

Marilyn won nine million dollars

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: real emotions Gyerekekről – felnőtteknek (Kossuth Rádió):

- öröm: anyuka anyuka

- szomorúság: nővérke

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: real emotions

angry

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: real emotions

sad

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Resources: real emotions

joy

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Érzelmes Beszéd Adatforrások

Érzelem „portré” (acted emotion):színészek felmondják a kért szöveget a kért

érzelmi tartalommalelőny: előírható a szöveg

„Valódi” érzelmek (real emotion):önkénteseket beszéltetnek, közben igyekeznek hangulatilag befolyásolni

előny: hitelesebb, a beszélő átéli az érzelmeit így a megfelelő fiziológiás folyamatok lejátszódnak

Szintetizált beszéd:az elméletek igazolásához használják

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnologyAlapérzelmek

megkülönböztetése

Analysis of Variables (ANOVA):

Petri Laukka, PhD Thesis, 2004

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Akusztikai jellemzők

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Akusztikai jellemzők

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Categorical Perception

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Emofilt system

anger

fear

joy

sad

neutral

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Voice Conversion

USC SAIL:A prozódia mellett a spektrális jellemzőket is változtatták (LPC)

neutral angry happy sad

Cabral:Voice quality transformation

original angry happy sad fear

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Szabály alapú rendszerek

Loquendo:szótagok akusztikai jellemzőit veszi figyelembe

neutral angry happy sad

Kobayashi:Sentence HMM + speaking style

reading joy rough sad

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Alkalmazási lehetőségek Érzelmes beszéd szintézise és gépi felismerése ma

még gyerekcipőben A szórakoztató iparban lenne rá igény: játék szoftverek,

animációs filmek Oktató szoftverekben is, elsősorban gyerekeknek Ami már működik: annoyance detection – az automata

call center kapcsolja a kezelőt ha már kellően ideges az ügyfél

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Irodalom a beszéd és érzelem témához

Buda Béla: A közvetlen emberi kommunikáció szabályszerűségei

Buda Béla: Empátia Hámori József: Az agyféltekék asszimetriái Antonio Damasio: Descartaes tévedése Geoffry Miller: A párválasztó agy PhD értekezések (angolul): Marc Schröder, Petri

Laukka, Raul Fernandez, Sylvie Mozziconacci

Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology

Köszönöm a figyelmet