institutsteil rostock abteilung ar2 human centered interaction technologies abteilungsleiter: jörg...
TRANSCRIPT
Institutsteil Rostock
Abteilung AR2 Human Centered Interaction Technologies
Abteilungsleiter: Jörg Voskamp
Betreuer: Michael Blech & Randolf Schultz
Original Design Oliver H.
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 2 / 40
Stefan Morgenstern & Christian Graf
Vortrag
Demokoffer - Datenklassifikation und
Visualisierung
Zwei komplementäre Berichte
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 3 / 40
Stefan Morgenstern & Christian Graf
Gliederung
Zu uns
Ausgangssituation, Ziel & Aufgaben
Teil 1: Datenverarbeitung
Teil 2: Visualisierung
Fazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 4 / 40
Stefan Morgenstern & Christian Graf
Zu Uns
Stefan Morgenstern– Student der Uni Rostock
– 7. Fachsemester
Christian Graf– Student der Uni
Magdeburg
– 9. Fachsemester
Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Michael Blech Oktober 2004 -April 2005
Randolf Schultz November 2004 - März 2005
„Joint“-Praktikum
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 5 / 40
Stefan Morgenstern & Christian Graf
Übersicht
Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Zu uns
Ausgangssituation, Ziel & Aufgaben
Teil 1: Datenverarbeitung
Teil 2: Visualisierung
Fazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 6 / 40
Stefan Morgenstern & Christian Graf
Kontext
DemokofferBenutzer
Rekorder KIFilter
Regeln
Visualisierung
Sensoren
Applikation
EventsSCLTemp.Herz
Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 7 / 40
Stefan Morgenstern & Christian Graf
Applikation: EmoTetris
Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 8 / 40
Stefan Morgenstern & Christian Graf
Aufnahme physiologischer Daten–Herzfrequenz
»Brustgurt
–Hautleitfähigkeit»Elektroden an Mittel- und Zeigefinger
–Hauttemperatur:»Temperatursensor am Ringfinger
Rekorder
Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 9 / 40
Stefan Morgenstern & Christian Graf
Ziel: Robuste Emotionserkennung
Zu diskriminierende Emotionen» Freude» Ärger» Langeweile
– computerrelevant» Kontrollverlust
» Aufregung» Angst» Überraschung» Anspannung
Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 10 / 40
Stefan Morgenstern & Christian Graf
Aufgaben
KI & VisualisierungBenutzer
Recorder
KIFilter
Regeln
Visualisierung
Sensoren
EmoTetris
EventsSCLTemp.Herz
Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 11 / 40
Stefan Morgenstern & Christian Graf
Übersicht
Zu uns
Ausgangssituation, Ziel & Aufgaben
Teil 1: Datenverarbeitung (Stefan)
Teil 2: Visualisierung
Fazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 12 / 40
Stefan Morgenstern & Christian Graf
Die Verarbeitung
Unterteilung in zwei Phasen:
– Lernphase
» Aufnahme der Trainingsdaten
» Erstellen der Modelle
» Berechnen des Profils
– Onlinephase
» Anwendung der gelernten Modelle und Profile auf die Daten die während einer Präsentation aufgezeichnet wurden
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 13 / 40
Stefan Morgenstern & Christian Graf
Die Lernphase
Zunächst Aufnahme der Daten mit Hilfe von EmoTetris und dem EmoBoard.
Berechnung einfacher features aus den drei physiologischen Daten mit der Hilfe von Weka. (z.B. Durchschnitt, Standardabweichung, Abstände aufeinanderfolgender Werte, ...)
Wegen den großen Tagesabhängigkeiten wurde auch eine Tagesmatrix zu den Daten ergänzt.
Anwendung der Fisher-Projektion auf diese Feature um den Lernraum zu verbessern.
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 14 / 40
Stefan Morgenstern & Christian Graf
Die Lernphase
Die Fisher Projektion
Verfahren zur Reduktion der Attributmenge, dabei werden die Klassen maximal separiert.
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 15 / 40
Stefan Morgenstern & Christian Graf
Die Lernphase
Klassifikatoren:
» naive Bayes (Maximum a Posteriori)
» J48 (Entscheidungsbaum)
Ergebnisse:
» zwischen 43.3 % und 70.9 %
» abhängig von den Emotionen und vom Proband
» 53.7 für Ärger und 70.9 für Anspannung
» 43.3 und 64.8 für Erregung
(zur Abschätzung: einfaches Raten liefert 20 %)
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 16 / 40
Stefan Morgenstern & Christian Graf
Die Onlinephase
OmniRoute
Ein Framework, dass zur Einrichtung von Experimentierumgebungen füremotionsbezogene Untersuchungen dient
Es ist aus verschiedene Komonenten (Datenquellen und -senken sowie Filter) aufgebaut.
Es basiert auf dem Prinzip des Verschickens von Events und wird mit Hilfe einer XML-Datei konfiguriert.
Src1 Src2
Filter
Sink
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 17 / 40
Stefan Morgenstern & Christian Graf
Die Onlinephase
Die Daten werden jetzt vom ComPort ausgelesen.
Dann durchlaufen die Daten die Vorverarbeitung, in der die Feature berechnet werden. Dabei muss beispielweise zum Standardisieren das Profil genutzt werden.
Dann wird die Klassifikation durchgeführt, die Daten werden alle zusammengeführt und über einen Port an die Visualisierung weiter gegeben.
Schnittstelle zur Sensorik
Vorverarbeitung KlassifikationSchnittstelle
zur Visualisierung
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 18 / 40
Stefan Morgenstern & Christian Graf
Übersicht
Die Personen
Ausgangssituation, Ziel & Aufgaben
Teil 1: Datenverarbeitung
Teil 2: Visualisierung (Christian)
Fazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 19 / 40
Stefan Morgenstern & Christian Graf
Vorüberlegungen
• mögliche Visualisierungsarten
• Vor- und Nachteile
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 20 / 40
Stefan Morgenstern & Christian Graf
Grundlegendes Modell
Russel (1980)
Basisemotionen in einem dimensionalem Modell
Valenz und Erregung
Problem: unvollständig für unsere Zwecke
Aufgabe: Finden der restlichen Positionen
Mittel: Literaturrecherche
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 21 / 40
Stefan Morgenstern & Christian Graf
Ergebnis
Grundlage:– Russel (1980)– Scherer (2001)
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 22 / 40
Stefan Morgenstern & Christian Graf
Visualisierung 1
Polygonzugmethode nach Euler
Clusterbildung
niedrige Aussagekraft
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 23 / 40
Stefan Morgenstern & Christian Graf
Jede Dimension auf eigener Achse
Valenz & Erregung extra
Zum Verdeutlichen: Punkte & Fläche, Farben
Problem: Fläche gewichtet Gesamteindruck
Problem: „einsame“ Punkte werden ‚vernachlässigt‘
Visualisierung 2
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 24 / 40
Stefan Morgenstern & Christian Graf
Visualisierung 3
Unterschiedliche Visualisierungsarten
Skaleneinteilungen & History der Valenz-Erregungs-Punkte
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 25 / 40
Stefan Morgenstern & Christian Graf
Erweiterung
intuitiv erfaßbare Visualisation
Optionen:– Chernoff-Gesichtern– Photorealistische Gesichter– Comicgesichter
Entscheidung für Comic-gesichter
Problem: keine vorgefertigten vorhanden
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 26 / 40
Stefan Morgenstern & Christian Graf
In-House Test
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 27 / 40
Stefan Morgenstern & Christian Graf
In-House Test
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 28 / 40
Stefan Morgenstern & Christian Graf
In-House Test
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 29 / 40
Stefan Morgenstern & Christian Graf
0 1 2 3 4 5 6 7
0
5
10
15
20
0 1 2 3 4 5 6 7
0
5
10
15
20
0 1 2 3 4 5 6 7
E11
0
10
20
30
Häu
figke
it
Testergebnis
• vielfache Teilnahme: Danke!
sonst gute Erkennbarkeit der Emotionen
verwechselbare Gesichtsausdrücke: euphorisch und fröhlich
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 30 / 40
Stefan Morgenstern & Christian Graf
Testergebnis - Konfusionsmatrix
neutral gelangweilt euphorisch ängstlich fröhlich ueberrascht angespannt wütend
neutral 208,3 117,1 20,7 49,1 42,8 24,0 116,8 41,1 Mittelwert
54,9 80,5 43,7 61,8 57,2 42,5 77,2 63,6 Standardabweichung
gelangweilt 49,7 229,5 3,5 35,1 22,2 11,4 24,2 10,6 Mittelwert
55,8 54,0 10,3 53,8 41,4 25,2 46,5 21,3 Standardabweichung
euphorisch 37,5 14,7 170,0 18,8 187,7 120,2 70,0 43,9 Mittelwert
45,4 34,5 33,0 35,8 60,8 71,4 76,2 68,0 Standardabweichung
ängstlich 27,1 29,3 25,2 233,0 14,3 105,7 166,2 21,3 Mittelwert
33,9 49,5 36,0 40,6 35,0 68,8 59,6 39,2 Standardabweichung
überrascht 44,2 33,4 131,3 53,9 192,2 125,7 84,9 15,7 Mittelwert
59,9 58,4 81,1 68,1 56,6 82,4 82,1 44,5 Standardabweichung
fröhlich 36,7 31,6 65,4 151,9 39,3 197,3 135,1 47,4 Mittelwert
40,4 47,6 60,4 65,4 49,5 50,6 67,6 59,3 Standardabweichung
angespannt 96,0 71,3 26,5 27,2 23,6 23,2 196,4 126,1 Mittelwert
70,2 66,2 51,4 45,1 44,1 38,8 41,1 69,6 Standardabweichung
wütend 17,6 27,4 46,7 37,3 6,2 69,5 174,1 224,5 Mittelwert
33,3 41,8 62,7 53,1 21,9 75,6 52,4 58,8 Standardabweichung
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 31 / 40
Stefan Morgenstern & Christian Graf
Visualisierung Endergebnis
Reine Textausgabe hinzugefügt
Indikator für Datenfluß hinzugefügt
statische Comicgesichter
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 32 / 40
Stefan Morgenstern & Christian Graf
Übersicht
Die Personen
Ausgangssituation, Ziel & Aufgaben
Teil 1: Datenverarbeitung
Teil 2: Visualisierung
Fazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 33 / 40
Stefan Morgenstern & Christian Graf
Fazit Datenverarbeitung
Erreichte Ziele
– Relativ gute KI zur Interpretation physiologischer Daten
» gute Vorhersagequalität» geringe Anzahl von Sensoren» Ausbaupotential» Flexible Einbindung in Frameworks
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 34 / 40
Stefan Morgenstern & Christian Graf
Fazit Visualisierung
Erreichte Ziele
– robuste Datenverarbeitung
– vielfältige Darstellungsoptionen– intuitive & interpretationsgebundene Visualisierung
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 35 / 40
Stefan Morgenstern & Christian Graf
Fazit
Demokoffer fertig!Benutzer
Recorder
KIFilter
Regeln
Visualisierung
Sensoren
Applikation
EventsSCLTemp.Herz
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 36 / 40
Stefan Morgenstern & Christian Graf
Ausblick
Letzte Schritte– Was wird gerade getan?
» Sensorik wird gegen ein Sensorhandschuh ausgetauscht
– Was soll noch getan werden?» Aufnahme neuer Daten» Zusammenführung aller Bestandteile des Projektes
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 37 / 40
Stefan Morgenstern & Christian Graf
Persönlicher Ausblick
Stefan: Fortführung des Studiums vielleicht als Hiwi weiter am Projekt arbeiten
Christian: Weiterarbeit an adaptiven User Interfaces Diplomand am IGD bei Karinavorläufiges Thema: „Ein Netzwerk für adaptive Applikationen:exemplarisch durchgeführt an einem Spiel“
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 38 / 40
Stefan Morgenstern & Christian Graf
Live Demo
Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 39 / 40
Stefan Morgenstern & Christian Graf
Vielen Dank für die Aufmerksamkeit!
Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte
24.03.2005Folie 40 / 40
Stefan Morgenstern & Christian Graf
Literaturangaben
Chernoff H. (1973). The use of faces to represent points in k-dimensional space graphically. In: Journal of American Statistic Association, Vol. 68 (1973) 331-368
Duda, R.O, P.E. Hart und D.G. Stork, Pattern Classifikation and Scene Analysis. Wiley Interscience, 2001.
Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russel’s mistaken critique. Psychological Bulletin, 115 (2).
Herbort, O. (2004). Emotionsinduktion und automatische Emotionsklassifikation anhand physiologischer Daten bei Benutzern eines Computerspiels. Fraunhofer Institut Graphische Datenverarbeitung Rostock. Praktikumsbericht + Vortrag Oktober 2004.
Mader, St., Christian Peter, Roland Göcke, R. Schultz, J.Voskamp und B. Urban: A Freely Configurable, Multi-modal Sensor System for Affective Computing
Picard, R.W., Elias Vyzas, and Jennifer Healey (2001). Toward Machine Emotional Intelligence: Analysis of Affective Physiological State. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 23, NO. 10, OCTOBER 2001
Russell, J.A. (1980). A Circumplex Model of Affect, Journal of Personality and Social Psychology, Vol.39, No.6, 1161-1178, American Psychological Association, Inc.
Scherer, K.R. (2001). Emotion. In: Hewstone, M., & Strobe, W. (Eds.). Introduction to Social Psychology: A European Perspective (3rd ed.). London: Blackwell.
Schumann, H. & W. Müller (2000). Visualisierung: Grundlagen und allgemeine Methoden. Springer Verlag, Heidelberg 2000.
Vysas, E. und R.W. Picard : Affective Pattern Classification
Weka 3 - Data Mining Software in Java : http://www.cs.waikato.ac.nz/~ml/weka/