untersuchung von technischen prinzipien zur messung des ... · untersuchung von technischen...

Untersuchung von technischen Prinzipien zur Messung des

Blickziels

Proseminar Technische InformatikSommersemester 2014

Gloria Feher

ZitiRuprecht-Karls-Universität Heidelberg

Lehrstuhl für AutomationProf. Dr. Essameddin Badreddin

16.07.2014 Betreuer: Dipl.-Inf. Eugen Nordheimer

Gliederung

1. Motivation

2. Problemformulierung

3. Grundlagen

4. Lösungsansätze

5. Zusammenfassung

2

1. Motivation

1.1 Warum Eye-Tracking?

Heutige Hauptanwendungsgebiete:

Wissenschaftliche Untersuchungen

3

[http://www.fumihirokano.com/p/main-page.html 11.07.2014][http://www.scm.nomos.de/aktuelles-heft-und-archiv/2011/heft-2/beitrag-geise/?tx_felogin_pi1%5Bforgot%5D=1 11.07.2014]

1. Motivation




Marktforschung, Produktdesign, Usability

• ä

4 [http://eyetracking.ch/ 11.07.2014][http://www.blueyonderresearch.co.uk/services/shopper-research/eye-tracking/ 11.07.2014]

1. Motivation





HCI (Human Computer Interaction)

5

[http://www.augen-steuerung.de/ 11.07.2014]

[http://kut.org/post/eye-control-promise-let-your-tablet-go-hands-free 11.07.2014]

1. Motivation

6

1879: Louis Émile Javaluntersucht Augenbewegungen beim Lesen

1905: Augenbewegungen filmen & nachträglich analysieren

1908:Edmund Hueyentwickelt frühen Eye-Tracker

1950er:Alfred L. Yarbusführt wichtige Studien zu Augenbewegungen durch

1970er:vermehrte Untersuchungen & Entwicklung neuer Verfahren

1.2 Kurze Geschichte des Eye-Trackings

1. Motivation

7

Apparat von Yarbus[http://commons.wikimedia.org/wiki/File:Yarbus_eye_tracker.jpg] [05.07.2014]

1.2 Kurze Geschichte des Eye-Trackings

2. Problemformulierung

Was ist das Ziel der Untersuchungen?

Blickziel eines Menschen sehr genau in Echtzeit bestimmen

Verfahren soll für den Menschen bequem sein

Verfahren soll möglichst universell anwendbar sein

Gegeben?

(meist) Video-Frames der Augen/des Gesichts

Von Verfahren zu Verfahren unterschiedlich

Gesucht?

Verfahren zur Messung des objektiven Blickziels im Raum/auf dem Bildschirm

8

3. Grundlagen

3.1 Augenbewegungen

Biologische Gegebenheiten

Augapfel (Bulbus oculi) ist ein fast kugelförmiger Körper

.

Querschnitt eines menschlichen Auges [http://www.wikiskripta.eu/images/thumb/3/3c/NT1.png/200px-NT1.png 05.07.2014]

9

Cornea (Hornhaut)

Linse

3. Grundlagen

3.1 Augenbewegungen

Modellierung: Unterschiedliche Ansätze

.Ebene von Listing mit Hauptdrehachsen [https://de.wikipedia.org/wiki/Augenbewegung 22.05.2014]

Freiheitsgrade und Drehachsen des Auges [Schreiber 1999]

10

Motivation



Z.B. Leseforschung, Neurowissenschaften, …



Alternative Eingabemethode u.a. für körperlich beeinträchtigte Menschen

Zusätzliche Informationsquelle

Horizontaler Schnitt des menschlichen Auges mit optischer und visueller Achse[http://www.bem.fi/book/28/28.htm 25.05.2014]

11

Die optische Achse ist die Linie, die mit der Symmetrieachse des brechenden optischen Elements (hier: Linse) übereinstimmt

Die visuelle Achse ist die Linie, die die Fovea mit dem Brennpunkt des Auges verbindet

Brennpunkt

3.2 Arten von Eye-Trackern

Eye-attached tracking:

Durch Fluxmeter (search coils) in Kontaktlinsen

Sehr genaue Messungen für alle 3 Hauptdrehachsen

12

[http://www.chronos-vision.de/ 05.06.2014]

3. Grundlagen

3.2 Arten von Eye-Trackern

Electric potential measurement:

Elektroden um die Augen platzieren Elektrookulogramme

Netzhaut hat Ruhepotential

.

.

13

[http://www.bem.fi/book/28/28.htm 25.05.2014][http://www.soundandvision.com/content/analog-devices-electrooculogram 25.05.2014]

3. Grundlagen

3.2 Arten von Eye-Trackern Optical tracking: Head-mounted Eye-Tracker & Remote Eye-Tracker

.

14

[http://www.fraunhofer.de/de/presse/presseinformationen/2010/10/eye-tracker-sekundenschlaf-blickrichtungserkennung.html 05.06.2014]

3. Grundlagen

1962er Eye-Tracker[http://www.piechulla-research.de/mannheim2005/piechulla_2005_mannheim.pdf 11.07.2014]

2013er Eye-Tracker[http://www.mynewsdesk.com/us/pressreleases/smi-reveals-first-3d-glasses-with-full-eye-tracking-capability-833961 11.07.2014]

4. Lösungsansätze

Zwei wichtige Komponenten für Messung des Blickziels1. Eye-Tracking = Finden der Augen auf einem Video Unterschiedlichste mathematische Verfahren

Kalman-Filter Haar-like Features Partikel-Filter Künstliche Neuronale Netzwerke Circular-Hough-Transform

2. Gaze-Tracking = Finden des Blickziels Verfahren verwenden Infrarot-Licht erzeugt Reflexionen auf der

Cornea Bestimmung des Blickpunkts über Vektor zw. Pupillenmittelpunkt

und Reflexion Bestimmung des Blickpunkts über Augenmodellierung

Allgemeine Konzepte:•Zustandsberechnung•Formerkennung•Intensitäts-Unterschieds-.Berechnung

15

4. Lösungsansätze

4.1 Mathematische Prinzipien

Haar-like Features (2001)

Anwendung: Objekt-Erkennung

Künstliche Neuronale Netzwerke (ab 1943)

Anwendung: Objekt-Erkennung (u. A.)

16

Mehrschichtigesfeedforward-Netz

[https://commons.wikimedia.org/wiki/File:MultiLayerNeuralNetwork_deutsch.png#mediaviewer/Datei:MultiLayerNeuralNetwork_deutsch.png 11.07.2014]

4. Lösungsansätze

4.1 Mathematische Prinzipien

Kalman-Filter (1960) & Partikel-Filter (1954)

Anwendung: Zustandsschätzung

17

FilterGeschätzter aktueller Zustand

Messungen

Wissen über vergangene Zustände

4. Lösungsansätze

4.2 Technische Prinzipien

4.2.1 Kreiserkennung mit Hilfe von Circular-Hough-Transform

4.2.2 Erkennung von Infrarot-Reflexionen auf der Cornea

4.2.3 Erstellung von Augenmodellen

4.2.4 Schätzen des 3D-Point-of-Gaze

18

4.2 Technische Prinzipien4.2.1 Kreiserkennung mit Hilfe von Circular-… ………Hough- Transform [1]

Hough-Transformation = Verfahren zur Erkennung von Geraden, Kreisen, Ellipsen, …

Anwendung von Al-Rahayfeh et al. (2013)

findet Iris und ihren Mittelpunkt .auf Video

.

19

4. Lösungsansätze


4.2.1 Kreiserkennung mit Hilfe von Circular-… ………Hough- Transform [1]

Anwendung von Al-Rahayfeh et al.

Verbesserung der CPU-Zeit

Forschungsergebnisse:

Geschwindigkeitsverbesserung zwischen 750% ..und 1500%

20

4. Lösungsansätze


4.2.2 Erkennung von Infrarot-Reflexionen auf der Cornea

Infrarot-LEDs werden an Referenzpunkten angebracht

CCD-Kameras erfassen Augen

glints (Reflexionen) Blickpunktbestimmung

.

21

[http://www.eyegaze.com/wp-content/uploads/Eyegaze-eye-tracking_2.bmp 05.07.2014]

[http://www.itu.dk/research/eye/wp-content/uploads/2012/04/nEye.jpg 05.07.2014]

4. Lösungsansätze

4.2 Technische Prinzipien4.2.2 Erkennung von Infrarot-Reflexionen auf der Cornea

Wie erkennt man Infrarot-Reflexionen auf einem Bild? Intensität der glints ist wesentlich

höher Erkennung erfolgt übereinfache Bildverarbeitungsalgorithmen

a) Reflexion bei Dark-Eye-Effekt

b) Reflexion bei Bright-Eye-Effekt

c) Übereinandergelegtes Bildd) Über Binärbild herausge-

filterte Pupille mit glintsund Pupillenmittelpunkt

[Non-contact Eye Gaze Point Estimation System by Mapping of Corneal Reflections]

22

4. Lösungsansätze

Motivation



Z.B. Leseforschung, Neurowissenschaften, …



Alternative Eingabemethode u.a. für körperlich beeinträchtigte Menschen

Zusätzliche Informationsquelle

gesucht

gegeben

23

4. Lösungsansätze

4.2 Technische Prinzipien4.2.3. Erstellung von Augenmodellen [2]

Vorstellung des von Guestrin et al. entwickelten Augenmodells (2006)

[General Theory of Remote Gaze Estimation Using the Pupil Center and Corneal Reflections]


4.2.3 Erstellung von Augenmodellen [2]

Vorstellung des von Guestrin et al. entwickelten Augenmodells(2006)

Auf unterschiedliche Versuche anwendbar

Rekonstruktion der optischen und visuellen Achse

Forschungsergebnisse:

Schätzfehler da Cornea asphärisch geformt

< 10 mm Abweichung (~0,9° bei 65 cm Abstand zumBildschirm)

24

4. Lösungsansätze

25


4.2.4 Schätzen des 3D-Point-of-Gaze [3]

Vorstellung des von Takemura et al. entwickelten Verfahrens (2014)

1. Schätzen der Kopfposition

PTAM (Parallel Tracking and Mapping)

2. 2D-Blickpunkt bestimmen

3. 3D-Blickpunkt errechnen

.

4. Lösungsansätze

26





Kalibrierung

Bestimme Vektor zwischen Pupillenmitte & glint

Übertragen des Vektors auf Kamerabild


2D-Blickpunkt + Interest points = 3D-Blickpunkt

4. Lösungsansätze

27





Kalibrierung

Bestimme Vektor zwischen Pupillenmitte & glint

Übertragen des Vektors auf Kamerabild


2D-Blickpunkt + Daten ausPTAM = 3D-Blickpunkt

4. Lösungsansätze

5. Zusammenfassung

28

Verfahren Vorteile Nachteile

1. Circular-

…Hough-

…Transform

•Echtzeitfähig

•Reduziert CPU-Zeit signifikant•CPU-Zeit-Verbesserung lässt ..sich auch auf andere ..Algorithmen übertragen

•Hough-Transform:..gute.Bildqualität n

2. IR-

…Reflexionen

…auf der

…Cornea

•Preisgünstig

•Probandenfreundlich

•Leicht umsetzbar

•Einsatz bei Head-mounted- &

..Remote-Systemen

•Weniger genau als

search coils

..(Abweichung 0,2°)

•u.U. nicht bei jeglichen ..Lichtbedingungen einsetzbar

5. Zusammenfassung

29


1. Circular-

…Hough-

…Transform

•Echtzeitfähig


•Hough-Transform:..gute.Bildqualität nötig•Trade-off: ..CPU Genauigkeit

2. IR-

…Reflexionen

…auf der

…Cornea

•Preisgünstig


•Leicht umsetzbar


..Remote-Systemen


search coils

..(Abweichung 0,2°)

•u.U. nicht bei jeglichen ..Lichtbedingungen einsetzbar

5. Zusammenfassung

30


1. Circular-

…Hough-

…Transform

•Echtzeitfähig


•Hough-Transform:..gute.Bildqualität nötig•Trade-off: ..CPU Genauigkeit

2. IR-

…Reflexionen

…auf der

…Cornea

•Preisgünstig


•Leicht umsetzbar


..Remote-Systemen


..Fluxmeter

•u.U. nicht bei jeglichen ..Lichtbedingungen ..einsetzbar

5. Zusammenfassung

31


3. Augenmodelle •Auf unterschiedliche Versuche ..anwendbar•Genauer als Berechnung des POG durch Vektor zw. Pupillenmitte & glint•Sehr genau – Abweichung ist < 0,9°

•Annahme, dass Cornea

..kugelförmig ist

.. größte Fehlerquelle

4. 3D-Point-of-

.…Gaze

•Ermöglicht absolut freie Bewegungen•Echtzeitfähig in räumlicher ..Umgebung•Kann zum Erkennen von ..„interessanten“ Objekten genutzt …werden

•Interest points müssen vorher festgelegt werden•Abweichung ~ 3.38°Ungenau

5. Zusammenfassung

32


3. Augenmodelle •Auf unterschiedliche Versuche ..anwendbar•Genauer als Berechnung des ..Blickpunkts durch Vektor zw. ..Pupillenmitte & glint•Abweichung < 0,9°


..kugelförmig ist


4. 3D-Point-of-

.…Gaze

•Ermöglicht absolut freie Bewegungen•Echtzeitfähig in räumlicher ..Umgebung•Kann zum Erkennen von ..„interessanten“ Objekten genutzt …werden

•Interest points müssen vorher festgelegt werden•Abweichung ~ 3.38°Ungenau

5. Zusammenfassung

33


3. Augenmodelle •Auf unterschiedliche Versuche ..anwendbar•Genauer als Berechnung des ..Blickpunkts durch Vektor zw. ..Pupillenmitte & glint•Abweichung < 0,9°


..kugelförmig ist


4. 3D-Point-of-

….Gaze

•Ermöglicht absolut freie Bewegungen•Echtzeitfähig in räumlicher ..Umgebung•Kann zum Erkennen von ..„interessanten“ Objekten ..genutzt werden

•Abweichung ~ 3.38°Ungenau

Abweichungen allgemein:Fluxmeter: 0.05°Elektrookulographie: 2°IR-Reflexionen: 0.2°

Quellenangabe

34

[1] Al-Rahayfeh, A.; Faezipour, M., "Enhanced frame rate for real-time eye tracking using circular houghtransform," Systems, Applications and Technology Conference (LISAT), 2013 IEEE Long Island , vol., no., pp.1,6, 3-3 May 2013

[2] Guestrin, E.; Eizenman, M., „General Theory of Remote Gaze Estimation Using the Pupil Center and Corneal Reflections”, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 53, NO. 6, JUNE 2006

[3] Takemura, K.; Takahashi, K.; Takamatsu, J.; Ogasawara, T., „Estimating 3-D Point-of-Regard in a Real Environment Using a Head-Mounted Eye-Tracking System," Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on , vol., no., pp.1573,1576, 25-30 March 2012

Baluja, S.; Pomerleau, D., „Non-intrusive Gaze Tracking Using Artificial Neural Networks“, Technical reportCMU-CS-94-102

Schreiber Kai; Erstellung und Optimierung von Algorithmen zur Messung von Augenbewegungen mittels Video-Okulographie-Methoden Diplomarbeit in der Vestibulo-Okulären Arbeitsgruppe am Universitätsklinikum Tübingen; Februar 1999

https://de.wikipedia.org/wiki

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3418577/figure/F1/ [14.06.2014]

http://www.techfak.uni-bielefeld.de/~ihkoesli/vab2011/07-vab2011-hk-augenbewegungen.pdf [23.06.2014]

https://de.wikipedia.org/wiki/

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3418577/figure/F1/

http://www.techfak.uni-bielefeld.de/~ihkoesli/vab2011/07-vab2011-hk-augenbewegungen.pdf









untersuchung von technischen prinzipien zur messung des ... · untersuchung von technischen...

Documents