Emotionen 4 Alle

Yehya Mohamady

ehya.mohamad@fit.fraunhofer.de

Folie 2

Agenda

Emotionale Computersysteme / Stand der Forschung

Architektur von affektiven Computersystemen

Prototypen

Folie 3

Motivation

Folie 4

Affektive Computersysteme (AC)

Computersysteme, dieEmotionale Zustände von Nutzern

erkennen könnenselbst Emotionen-Simulation / -Mediation

durchführen können

Ergebnis: „Emotional intelligente“ Nutzerschnittstelle

Folie 5

AC‘s zur Unterstützung von behinderten Menschen

•Einige Nutzergruppen können mehr von Computersystemen profitieren,

wenn ihre Emotionen und die ihrer Gesprächspartner berücksichtigt werden

•Z.B. Menschen mit

•Lernbehinderung

•Autismus

•Zerebralparese 

•Sehbehinderung

•…

Slide 6 >≈ 1960>≈ 1975>≈ 1980>≈ 1990>≈ 1994>≈ 2000>≈ 2003

Stand der Forschung

Damasio: Gehirnforschung & Neurologie

Don Norman: Emotionales Design

Rosalind Picard (MIT & IBM Almaden) Affective Computing

Pattie Maes: Interface Agents (MIT)

Aaron Sloman: Agenten & Emotionen

Herbert Simon: Emotion & Motivation

•Integration in Anwendungsdomänen

•verschiedene Projekte zur Erkennung von emotionalen Zuständen der Nutzer

•physikalische Darstellung und Modellierung von Interface Agenten

•Bedeutung der Emotionen in der zwischenmenschlichen Kommunikation

Smart Phone-Apps

>≈ 2010

Folie 7

Quellen von emotionalen Zuständen

Physiopsychologische SignaleHautleitfähigkeit und Temperatur, Herz-

und Atemfrequenz, Muskelspannung usw,HirnsignaleGesichtsausdrücke (Mimik)Stimme TextanalyseKörpersprache (Gestik)

Folie 8

Sensoren zur Messung von Körpersignalen

Blutdruck und Puls BVP

Muskelspannung

EMG

Herzrate HRV

Atmunghöhe und -frequenz RSP

Thermometer

Hautleitfähigkeit SC/GSR

akustische SensorenGehirnströme

EEG

Mimik, Gestik optische Sensoren

Folie 9

Emotionen: Definition

wütend

deprimiert

gelangweilt

begeistert

traurig

aufgeregterfreut

beruhigt

entspannt

Folie 10

Emotionen <–> Lernen

•HE+: positive hohe Zustände

•HE-: negative hohe Zustände

•NE+: positive niedrige Zustände

•NE-: negative niedrige Zustände

•Neutral: Übergangsbereich

nach Spitzer, Lernen, S. 157, ISBN 3827413966

Folie 11 Slide 11

Emotionen: Simulation / Mediation

Soziale AgentenInterface Agenten (SIAs)Roboter

•aktives menschenähnliches Verhalten

•Autonomie (Pro-Aktivität)

•konsistentes Verhalten

•Anpassung an den Nutzer

Folie 12

Herausforderungen

Erkennen und Interpretieren von emotionalen Zuständen der Nutzer Regeln Adäquate Algorithmen

Integration in Anwendungsdomänen Kombination von verschiedenen Parametern

Simulation adäquater Gefühlsäußerungen Emotionsmodell Persönlichkeitstypen Beziehung zum emotionalen Zustand des Nutzers

Evaluation von Computersystemen mit emotional intelligenten Interface Agenten Welche Methode Welche Nutzergruppen

Folie 13 Slide 13

Architekturrahmen: Überblick

Bio Sensoren

Audio Sensoren

Optische Sensoren

Somatische SensorenSensorart wählen

Signale messen

Merkmaleextrahieren

ErregungszustanderkennenErkennung

- Fuzzy Logik- Hidden-Markov-Modelle- Bayessische Netzwerke- Neuronale Netze

Anwendungsdomäne

- Therapeutische Systeme- Trainingsysteme- Spiele- Usability

Medium- Soziale Interface Agenten

Interaktion

- DirekteInteraktion- Selbstreport- Benutzerprofil- Geräteprofil

Erregungszustandintegrieren

Interaktionaufbauen

Messen derSignale

- Filtern- Verdichten- Übergeben

Merkmalsextraktion

- Bilden von Vektorräumen- Schwellenwertedefinieren

Emotionale Kommunikation zwischen Mensch und Computer

Emotionensimulieren

Folie 14

Probleme von affektiven Computersystemen

Ethische Bedenken Andere können immer meine emotionalen Zustände sehen!

Datenschutz Machtvolles Instrument, lädt zu Missbrauch

Komplexe Technologie Effektivität noch nicht zufriedenstellend Fehlinterpretationen sind möglich

Folie 15

Prototypen

TAPA: LernumgebungABC: Emotionsmanagementsystem

Folie 16

TAPA: Anwendungsdomäne

Das System erklärt bestimmte Strategien überwacht deren Anwendung

Elektronische Geräte

Gebäude Getränke

Strategie: Objekte sollen in Kategorien aufgeteilt werden, um sie besser zu lernen.

RichtigeAnwendung der Strategie:

Systemvorgabe:

Folie 17

Emotionaler Zustand: Kennzahlen

Variation in der Signalhöhe (VS)Durchschnitt von 1 Minute (D1M)Durchschnitt von 3 Minuten (D3M)Durchschnitt von 5 Minuten (D5M)Durchschnitt der gesamten

Trainingssitzung (BASELINE)

Folie 18

Emotionaler Zustand: Zustandsraum

D3M

D5M

Wahrscheinlicher Erregungszustand ist:

Versteckte Stati

D1M

Sichtbare Variablen

neutral (NE)hohe Erregung+ (HE+)hohe Erregung- (HE-)niedrige Erregung+ (WE+)niedrige Erregung- (WE-)

NE

HE-HE+

WE-WE+

BS

SV

Folie 19

Informationsquelle: Selbstreport

Angabe des Nutzers über seinen emotionalen Zustandes

(1.. n Levels)

Folie 20

Evaluationsrunden

15 Kinder (10 – 12 Jahre)mit einem TAPA-Prototypen an der Kinderklinik der Uni Bonn

71 Kinder (9 – 14 Jahre)mit TAPA an der Gutenbergschule in Sankt Augustin

8 motorisch behinderte Menschen (15 – 45 Jahre) mit einem Gedächtnistrainer

Folie 21

ABC Projekt: http://www.abc-project.eu/

Folie 22

ABC Prototype

Evaluation des ABC Systems (12 Nutzer)

Statistische Evaluation basierend auf unterschiedliche Indikatoren

Folie 23

Folie 24

Ergebnisse

Realisierung von zwei Instanzen der vorgeschlagenen Architektur

Demonstration der Zuverlässigkeit von Computersystemen mit emotional intelligenter Nutzerschnittstelle

Messung der Hautleitfähigkeit mit non-invasiven Biofeedbacksensoren

Entwicklung von Auswertungsalgorithmen zur adäquaten Interpretation des emotionalen Zustandes

Simulation von Emotionen Emotionsmanagementsystem

Folie 25

Danke für ihre Aufmerksamkeit