Smartphone Games based on physiological DataMasterarbeit, Abschlussvortrag

am 01.11.2011

Katharina Reitz

Inhalt

1. Einführung2. Umsetzung3. Dateneinbindung4. Evaluation5. Ergebnis 6. Ausblick7. Demo

2 / 30

• Smartphone-Spiel• Physiologische Signale • Biofeedback• Ziel:

– individuelleres Spielerlebnis– mehr Spielspaß

• Laborumgebung

1. Einführung

3 / 30

• kleines Display• „Casual Gamer“• Aufmerksamkeit

• Sensoren• Kontext

1.1 Smartphone

4 / 30

18

4cm

• Elektrokardiogramm (EKG)– Herzrate (HR)– Herzratenvariabilität (HRV)

• Elektrodermale Aktivität (EDA)– Reizinduziert– Kriterien

1.2 Physiologische Maße

5 / 30

Latenz Erholungszeit

63% Amplitude

Zeit [s]

EDA [μS]

SCR

Am

plitu

de

Stimulus

Quelle: in Anlehnung an [EDA]Quelle: in Anlehnung an [EKG]

1.3 Vorgehensweise

6 / 30

KonzepteSpiel

DatenanbindungFeedback

Vorab-Implementierung Voruntersuchung

Finale ImplementierungV1: mit Biofeedback

V2: ohne Biofeedback

Hauptuntersuchung

2. Umsetzung: Spielkonzept

• leicht zugänglich• # Spielelemente• starke Reaktionen

• „Spacewar!“

• • Action-Weltraum-Multiplayer-Spiel

7 / 30

Quelle: http://de.wikipedia.org/wiki/Spacewar!

2.1 Spielaktionen

8 / 30

Schi!strukturFeuern Spezial-ButtonSchildobjekt

+

SLOW!

2.2 Spielfeld

9 / 30

2.3 Werkzeuge

• Android (Java)– quelloffen– starke Verbreitung

• Engines– Spiel– Physik

• Multiplayer-Erweiterung

10/ 30

2.4 Engines

• Andengine– Basisklassen– Sprite- und Sound-Verwaltung

• Box2D– Kollisionserkennung– Schiffsbewegung

11/ 30

Quelle: www.andengine.org

Quelle: www.box2d.org

2.5 Client-Server-Ansatz

12/ 30

ClientServer

Touch-Eingabe

Bewege Schiff-Grafik

Neigungsänderung

Erhöhe Trefferpunkte Spieler x

Touch auf Spielfeld]Feuerbefehl Laser

[Touch auf Spezialbutton]Aktiviere Slow-Mo

3. Datenanbindung

13/ 30

Varioport

Varioport

EDA

EDA + EKG

EKG

Status Trigger

LABServer

Smartphone

Proband

FeedbackController

Spiel

3.1 Technik

• Socket-Programmierung• TCP: Anmeldung Laborserver• UDP: physiologische Daten• Datenaustauschformat: JavaScript Object Notation

(JSON)

14/ 30

3.2 Feedback-Loop

15/ 30

Quelle: in Anlehnung an [Amb11]

System-Reaktion

Physiologische Reaktion

Eingabe(Berührung, Neigung)

Ausgabe(V isuell, Akustisch)

3.3 Spielerzustand

16/ 30

HR

Statistikwert

hoch

niedrig hoch

zu schwierig ok

schwierig zu leicht

Dis

tress

Task Engagement

hoch

niedrig hoch

a b

c d

Quelle: [Fai07]

• Statistikwert (SW) = Punkte Spieler / (Punkte Spieler + Punkte Gegner)

• hoher SW = Spieler erfolgreich• Distress-Engagement-Modell

3.4 Adaptive Spielelemente

• 5 Schwierigkeitsstufen

• Pulsieren der Schiffe• EDA + EKG + SW = Schwierigkeitsänderung• Regelsatz

17/ 30

Spielelement Einheit -2 -1 0 1 2

Geschwindigkeit Schiff Impulswert 10 15 20 25 30

Dauer Schildschutz Sekunden 2 4 6 8 10

Aufladezeit Slow-Mo Sekunden 25 20 15 10 5

4. Evaluation

• Signaltests– Ableitungsort EDA– Vergleichsmessungen EDA

• Voruntersuchung– 3 Testspiele– Signalverhalten

• Hauptuntersuchung– Biofeedback vs. Non-Biofeedback

18/ 30

4.1 Ableitungsort EDA

19/ 30

Knöchel

A B

E

Phalanxdistalis

Phalanxproximalis

des Großzehs

C

F

Daumenballen(Thenar)

Phalanx distalisPhalanx medialisPhalanx proximalis

Kleinfingerballen(Hypothenar)

Handgelenkfurche

A B

D

E

EllenbogenC6 C7 C8Dermatome

G

Quelle: In Anlehnung an [Bou88] Quelle: In Anlehnung an [Bou88]

4.2 Vergleichsmessungen

• Lesen Bewegung Spielen

20/ 30

Zeit

EDA

[mS]

1.0

1.5

2.0

2.5

3.0

1000 2000 3000 4000 5000Zeit

EDA

[mS]

1.0

1.5

2.0

2.5

3.0

1000 2000 3000 4000 5000Zeit

EDA

3.6

3.8

4.0

4.2

1000 2000 3000 4000 5000

4.3 Voruntersuchung (VU)

• 11 Personen• 3 Spiele (Spaß, Langeweile, Stress)• Spieldauer 5 min• Erkennung signifikanter Signalwerte

21/ 30

4.4 VU Auswertung (1)

• Bewertung der Spiele• Mittelwerte physiologische Signale

22/ 30

4.5 VU Auswertung (2)

23/ 30

Zeit

EDA

[mS]

2

3

4

5

0 1000 2000 3000 4000

Zeit

EDA

[mS]

3.6

3.8

4.0

4.2

4.4

4.6

0 1000 2000 3000 4000

Zeit

EDA

[mS]

3.0

3.2

3.4

3.6

3.8

0 1000 2000 3000 4000 5000

Stress

Langeweile

Spaß

Spiel 1

Spiel 2

Spiel 3

4.6 Hauptuntersuchung (HU)

• 10 Personen• Gegenüberstellung • Biofeedback vs. Non-Biofeedback

24/ 30

• Spielanpassung alle 30 sec• Spieldauer 300 sec (5 min)• 10 Spielabschnitte

• 10 Mittelwerte / Spieler (EDA und EKG)• Normierung• Aufzeichnung Spielanpassung

4.7 HU Auswertung (1)

25/ 30

• gepaarter t-Test, α = 0.05• H0 = „Zwischen den Spielvarianten gibt es keinen signifikanten Unterschied.“

• Gesamtspiel

• 2. Spielhälfte: H0 abgelehnt für EDA !

4.8 HU Auswertung (2)

26/ 30

Spielabschnitt

Mitt

elw

. ohn

e Bi

o

0.0

0.5

1.0

1.5

2.0

2 4 6 8 10Spielabschnitt

Mitt

elw

. mit

Bio

0.0

0.5

1.0

1.5

2.0

2 4 6 8 10Spielabschnitt

Diff

eren

z M

ittel

werte

−0.3

−0.2

−0.1

0.0

0.1

0.2

2 4 6 8 10

• wahrnehmbarer Unterschied (subjektiv)• 80 % bevorzugen Biofeedback• Grund: Abwechslung• Wahrnehmung Veränderungen

– 90% Schiffsgeschwindigkeit– 60% Slow-Mo Fähigkeit– 40% Dauer Schildschutz

• Logdaten unterschiedliche Spielverläufe / Spieler

4.9 HU Fragebögen

27/ 30

5. Ergebnis

• Ziel erreicht• Signal Vor- und Nachverarbeitung• Anzahl Probanden• Displaygröße • Implementierung Spiel

28/ 30

6. Ausblick

• Reiz-Bezogenheit EDA• Betrachtung aller Spieler• Feldexperiment• Sensor-Integration• Visualisierung Biofeedback

29/ 30

7. Demo

30/ 30

Ende

Danke für Ihre Aufmerksamkeit.

Quellenverzeichnis

• [Amb11] AMBINDER, Mike: Biofeedback in Gameplay : How Valve Measures Physiology to Enhance Gaming Experience. (2011)

• [EDA] EDA Signalverlauf, ETH Zürich. http://www.wearable.ethz.ch/

• [EKG] EKG Signal. http://de.wikipedia.org/w/index.php?title=Datei:EKG_Komplex.svg&filetimestamp=20100524035909

• [Fai07] FAIRCLOUGH, Stephen H.: Psychophysiological Inference and Physiological Computer Games. In: Interfaces 7 (2007). http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.102.5873&rep=rep1&type=pdf

• [Bou88] BOUCSEIN, Wolfram: Elektrodermale Aktivität: Grundlagen, Methoden und Anwendungen. Springer, 1988. - ISBN 3540185860

32/ 19

5.8 VU Auswertung (1)

33/ 19

Zeit

Amplitude

0.05

0.10

0.15

0.20

0.25

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●●

●

●

●

●●●●

●

●

●

●●●

●

●●

●●

●

●

●●●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●●

●

●●

●

●

●

●

●●●●●●●●

●●

●●●

●

●

●

●

●●

●●

●

20 40 60 80 100

Spaß

Med

ian

Ampl

itude

−0.05

0.00

0.05

0.10

0.15

0.20

0.25

0.30

●

●

●

●

●●

●

●●

●

●

●

●

●

● ●●●

●

●

●

●

●●

1 2 3 4 5 6

player● 4● 5● 6● 7● 8● 9● 10● 11

5.3 Software

• Kubios (HRV)• POLAR Pro Trainer (HR)• Ledalab (EDA)• R (Plotting)• Kriterien

– Signalverlauf– Amplitude– Anstiegszeit

34/ 19

2. Umsetzung

• simples Spielkonzept• intuitive Steuerung• quelloffene Entwicklungswerkzeuge• Multiplayer

35/ 19

3. Datenanbindung

• Einbindung des Spielers– physiologische Maße– Feedback

• Spielerzustand• Adaptive Spielelemente

36/ 19

• Laborumgebung (Server, Workstation)• Varioport• 2 Android Smartphones• Pulsgurt• Mobile Device Cam• Fragebögen

4.1 Werkzeuge

37/ 19

Valence

Arousal hoch

negativ

niedrig

positiv

Relaxed

Passiv

Verärgert

Glücklich

Gelangweilt

Energiegeladen

• Distress-Engagement

3.3 Modelle Spielerzustand

• Valence-Arousal

38/ 19

Quelle: [Fai07]Quelle: [Amb11]

Dis

tress

Task Engagement

hoch

niedrig hoch

a b

c d