trabajo fin de grado - uamir.ii.uam.es/~fdiez/tfgs/gestion/leidos/2014... · entender la...

UNIVERSIDAD AUTÓNOMA DE MADRID

ESCUELA POLITECNICA SUPERIOR

TRABAJO FIN DE GRADO

ADQUISICIÓN Y CARACTERIZACIÓN DE

SEÑALES BIO-MÉDICAS EN DISPOSITIVOS

MÓVILES

Lidia París Cabello

Enero 2014

ADQUISICIÓN Y CARACTERIZACIÓN DE

SEÑALES BIO-MÉDICAS EN DISPOSITIVOS

MÓVILES

AUTOR: Lidia París Cabello

TUTOR: Roberto Latorre Camino

Grupo de Neurocomputación Biológica

Dpto. de Ingeniería Informática

Escuela Politécnica Superior

Universidad Autónoma de Madrid

Enero de 2014

Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES

I

RESUMEN

En el contexto de aplicaciones de telemedicina y de las interfaces hombre-máquina de última

generación se hace necesaria la adquisición y caracterización de señales biológicas tales como el patrón

respiratorio, el ritmo cardiaco, la conductividad de la piel o la presión sanguínea entre otras. El objetivo

de este proyecto es la implementación de un sistema que permita adquirir y caracterizar la actividad

ocular de una persona mientras interactúa con un teléfono móvil inteligente (smartphone) o una tableta

(tablet). El éxito en la captura y caracterización de este tipo de señal en estos dispositivos permitirá más

adelante realizar experimentos en el ámbito de la interacción hombre-máquina mediante gestos oculares

(gaze gestures), así como el desarrollo de aplicaciones que permitan a una persona interactuar y/o

controlar un dispositivo móvil a través de los ojos. La posibilidad de ejecutar comandos con los ojos en un

teléfono tipo Smartphone, de forma análoga a lo que se hace de forma táctil en una pantalla, es una

opción muy interesante para personas con movilidad reducida o que no puedan utilizar las manos en ese

momento.

Uno de los requisitos fundamentales que nos fijamos a la hora de afrontar el proyecto es conseguir

realizar un seguimiento de los movimientos oculares (eye-tracking) del usuario que está trabajando con

el dispositivo sin incorporar ningún elemento extrínseco. Este requisito implica (i) que la actividad del

sujeto debe registrarse utilizando la cámara integrada en el propio dispositivo (preferiblemente la cámara

frontal), y (ii) que la lógica que permite la caracterización de la actividad ocular debe ejecutarse dentro

del propio dispositivo.

Para conseguir los objetivos fijados, inicialmente realizamos distintas pruebas de concepto para

evaluar un conjunto de herramientas software con las que facilitar el desarrollo y probar el rendimiento

de distintos algoritmos de reconocimiento de las pupilas de un individuo en una imagen. Como resultado

de estas pruebas iniciales decidimos basar nuestro desarrollo en la librería OpenCV.

Una vez definido y montado el entorno de desarrollo y realizadas las pruebas de concepto iniciales,

se comenzó el desarrollo del sistema de eye-tracking para dispositivos Android y de la aplicación que

permite verificar su correcto funcionamiento en un entorno real. Para comprobar la “universalidad” del

sistema desarrollado, en el sentido de poder ser ejecutado en cualquier dispositivo Android, y verificar la

generalidad de los resultados obtenidos, se han realizado pruebas de validación y tests en múltiples

escenarios, con diferentes sujetos y con diversos dispositivos móviles. Los resultados de estas pruebas

muestran que la luz influye significativamente en la correcta detección de las pupilas. Además, aunque el

eye-tracker se puede ejecutar en cualquier dispositivo Android, como era de esperar, la calidad del

objetivo del que disponga la cámara integrada en el dispositivo es un elemento fundamental a tener en

cuenta para la correcta detección de las pupilas del sujeto.

Palabras claves: interacción hombre-máquina (HCI), eye-tracking, dispositivo móvil, OpenCV, Android,

gestos oculares (gaze gestures)

ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello

II

ABSTRACT

In the context of telemedicine applications and human-machine interfaces generation acquisition

and characterization of biological signals such as breathing pattern, heart rate, skin conductance and

blood pressure among others is necessary. The objective of this project is to implement a system that

allows the purchase and characterize ocular activity of a person while interacting with a smartphone or

tablet. The successful capture and characterization of this type of signal in these devices allow further

experiments in the field of human-machine interaction using gaze gestures, and the development of

applications that enable a person to interact and/or controlling a mobile device through the eyes. The

ability to execute commands with eyes on a smartphone type, similar to what is done by touch on a screen,

is very interesting for people with limited mobility or who cannot use their hands at the time option.

One of the fundamental requirements we set for tackling the project was to track eye movements

(eye-tracking) of the user who is working with the device without incorporating any extrinsic element.

This requirement implies (i) the activity of the subject must register using the integrated camera on the

device itself (preferably the front camera), and (ii) the logic that allows the characterization of the ocular

activity must run within the device itself.

To achieve the objectives, we make different initial proof of concept to evaluate a set of software

tools that facilitate the development and test the performance of different algorithms for recognition of

the pupil of an individual in an image. As a result of these initial tests we decided to base our development

on the OpenCV library.

Once defined and mounted the development environment and conducted initial testing concept,

the development of eye-tracking system for Android devices and the application that verifies proper

operation in a real environment is started. To check the "universality" of the developed system, meaning

it can be run on any Android device, and verify the generality of the results obtained have been tested

and validated in several different scenarios, with different subjects and different devices mobile. The

results of these tests show that light significantly influences the correct detection of the pupils.

Furthermore, while the eye-tracker can be run on any Android device, as expected, the quality of the

objective of providing for the integrated camera on the device is a key element to consider for proper

detection of the pupil of the subject.

Keywords: human-machine interfaces (HCI), eye-tracking, device mobile, OpenCV, Android, gaze gestures


III

ÍNDICE

1 Introducción .......................................................................................................................................... 1

1.1 Motivación .................................................................................................................................... 1

1.2 Objetivos ....................................................................................................................................... 2

1.3 Organización de la memoria ......................................................................................................... 3

2 Estado del arte ....................................................................................................................................... 5

2.1 Descripción e historia de la interacción hombre-máquina ........................................................... 5

2.2 Descripción e historia de los sistemas de eye-tracking ................................................................ 6

2.2.1 Clasificación de los sistemas de eye-tracking ....................................................................... 8

2.2.2 Disciplinas en las que se utiliza eye-tracking ........................................................................ 9

2.2.3 Aplicaciones basadas en eye-tracking................................................................................. 11

3 Diseño y desarrollo .............................................................................................................................. 13

3.1 Entorno de desarrollo ................................................................................................................. 13

3.2 Definición de la arquitectura del sistema ................................................................................... 13

3.2.1 Procesamiento de imágenes ............................................................................................... 15

3.2.2 Captura de imágenes .......................................................................................................... 17

3.3 Algoritmos de detección de la pupila ......................................................................................... 17

3.3.1 Métodos de detección ........................................................................................................ 17

3.3.2 Explicación del algoritmo de detección .............................................................................. 20

3.4 Implementación del sistema ....................................................................................................... 21

3.4.1 Instalación ........................................................................................................................... 21

3.4.2 Captura de imágenes con la cámara ................................................................................... 22

3.4.3 Almacenamiento de datos .................................................................................................. 22

4 Pruebas y resultados ........................................................................................................................... 23

4.1 Pruebas de concepto .................................................................................................................. 23

4.2 Pruebas de validación ................................................................................................................. 23

4.2.1 Tipos de dispositivos utilizados ........................................................................................... 24

4.2.2 Descripción de los escenarios ............................................................................................. 24

4.2.3 Descripción de los sujetos ................................................................................................... 26

4.2.4 Descripción de las pruebas ................................................................................................. 26

4.3 Resultados ................................................................................................................................... 27

4.3.1 Análisis de los resultados .................................................................................................... 32


IV

5 Conclusiones y trabajo futuro .............................................................................................................. 33

5.1 Conclusiones ............................................................................................................................... 33

5.2 Trabajo futuro ............................................................................................................................. 34

6 Referencias .......................................................................................................................................... 37

Anexo A ....................................................................................................................................................... 39

Anexo B ....................................................................................................................................................... 43


V

ÍNDICE DE FIGURAS

Figura 1. Evolución de los mecanismos de interación hombre-máquina ..................................................... 6

Figura 2. Evolución de la tecnología eye-tracking ........................................................................................ 7

Figura 3. Eye-tracker en la cabeza del sujeto descargada de http://news.cnet.com/8301-1023_3-

57613995-93/how-an-eye-tracker-can-make-google-glass-less-creepy-q-a/ .............................................. 8

Figura 4. Eye-tracker remote descargada de http://www.eyegaze.com/eye-tracking-research-studies/ .. 8

Figura 5. Clasificación de los sistemas eye-tracking según el tipo de técnica .............................................. 9

Figura 6. Evolución de los artículos por año de las técnicas eye-tracking en la base de datos Scopus ........ 9

Figura 7. Porcentaje de artículos por área de estudio en la base de datos Scopus. .................................. 10

Figura 8. Mapa de calor de un anuncio....................................................................................................... 12

Figura 9. Definición de la arquitectura del sistema .................................................................................... 14

Figura 10. Detector de caras con clasificadores fuertes ............................................................................ 19

Figura 11. Clasificador en cascada [22] ...................................................................................................... 19

Figura 12. Clasificadores Haar ..................................................................................................................... 20

Figura 13. Selección de dispositivo móvil ................................................................................................... 21

Figura 14. Instalación de OpenCV Manager ............................................................................................... 22

Figura 15. Detección correcta de ojo derecho ........................................................................................... 23

Figura 16. Detección incorrecta de ambos ojos .......................................................................................... 23

Figura 17. Escenario 1 ................................................................................................................................. 25



Figura 20.Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara trasera ............................ 27

Figura 21. Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara frontal ............................ 28

Figura 22. Pruebas con Smartphone el Sony Xperia T con la cámara trasera ........................................... 28

Figura 23. Pruebas con Smartphone el Sony Xperia T con la cámara frontal ............................................. 29


VI

Figura 24. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera .................................. 30

Figura 25. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal .................................... 30

Figura 26. Pruebas con tablet Samsung Tab con la cámara trasera .......................................................... 31

Figura 27. Pruebas con tablet Samsung Tab con la cámara frontal .......................................................... 31

ÍNDICE DE TABLAS

Tabla 1. Dispositivos utilizados para las pruebas ........................................................................................ 24

Tabla 2. Representación de los datos utilizados para realizar las pruebas. ............................................... 26

Tabla 3. Identificador de las compañías más populares para instalar el dispositivo móvil ¡Error! Marcador

no definido.

Tabla 4. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara

trasera ......................................................................................................................................................... 43

Tabla 5. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara

frontal ......................................................................................................................................................... 44

Tabla 6. Pruebas con Smartphone el Sony Xperia T con la cámara trasera ................................................ 45

Tabla 7. Pruebas con Smartphone el Sony Xperia T con la cámara frontal ................................................ 46

Tabla 8. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera ....................................... 47

Tabla 9. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal ....................................... 48

Tabla 10. Pruebas con tablet Samsung Tab con la cámara trasera ............................................................ 49

Tabla 11. Pruebas con tablet Samsung Tab con la cámara frontal ............................................................. 50


1

1 INTRODUCCIÓN

1.1 Motivación

El mundo ha evolucionado muy rápidamente gracias a los avances tecnológicos. Estos avances en

la tecnología se han producido para cubrir las necesidades del hombre en todos los aspectos, ayudándole

a enfrentarse a las dificultades y obstáculos que se presentan en el día a día. En la actualidad es imposible

entender la tecnología que nos rodea sin tener en cuenta los teléfonos inteligentes (del inglés,

smartphones) o las tabletas (del inglés, tablets).

Los teléfonos inteligentes son dispositivos electrónicos que integran funcionalidades de un

teléfono móvil convencional y un ordenador personal. Se han diseñado para que, además de realizar

llamadas telefónicas y enviar mensajes de texto, el usuario pueda instalar y ejecutar en ellos aplicaciones

que le permitan gestionar su trabajo diario, jugar, acceder al correo electrónico, etc. Por su parte, las

tabletas son computadoras portátiles de mayor tamaño que un teléfono inteligente. Estas características

han hecho de ambos un elemento fundamental en la sociedad. El usuario normalmente interacciona con

ambos tipos de dispositivo sin la necesidad de un teclado físico o de un ratón. Estos accesorios

habitualmente se ven reemplazados por un teclado virtual con el que se interacciona mediante una

pantalla táctil integrada en el dispositivo que el usuario controla con los dedos o, principalmente en el

caso de las tablets, con un estilete. Las nuevas necesidades de los usuarios han hecho que se extiendan

nuevos mecanismos de interacción con el dispositivo, lo que ha convertido en habitual la interacción

mediante la voz.

Sin embargo, hay ocasiones en las que no es posible utilizar las manos o la voz para interactuar

con el dispositivo, ya sea por algún tipo de discapacidad motriz, por la presencia de ruido de ambiente,

por tener las manos ocupadas o por cualquier otra circunstancia. Es por ello que además de las técnicas

de control del dispositivo mediante la pantalla táctil o la voz, en los últimos años se estén contemplando

nuevas técnicas de control. En este escenario es habitual utilizar técnicas basadas en la adquisición de

señales biológicas (patrón respiratorio, ritmo cardiaco, conductividad de la piel, presión sanguínea, etc).

Entre ellas, cabe destacar los mecanismos de control con la vista, bien teniendo en cuenta la zona de la

pantalla a la que está mirando el usuario, bien mediante los llamadas gestos pupilares (Hiley, 2006).

Mediante esta última técnica se definen determinadas secuencias de movimientos oculares, conocidas

como Gaze Gestures, que se asocian a una determinada acción o comando.

El reconocimiento de gestos pupilares requiere de un mecanismo que permita realizar un

seguimiento de los ojos del sujeto con respecto a la posición de su cabeza, lo que se conoce como eye-

tracking (Jacob, 1995). Las técnicas para realizar el seguimiento del movimiento del ojo se pueden

clasificar de forma general en dos grupos en función de si requieren (técnicas invasivas) o no (técnicas no

invasivas) un contacto físico con el ojo del sujeto. Habitualmente las técnicas invasivas son más precisas

que las no invasivas, pero muestran el inconveniente de ser muy incómodas para los sujetos. Es por ello

que la mayoría de los sistemas de eye-tracking actuales se basen en técnicas no invasivas, que son mucho

http://es.wikipedia.org/wiki/Computadora_port%C3%A1til

http://es.wikipedia.org/wiki/Tel%C3%A9fono_inteligente


2

menos molestas. Estos sistemas se suelen basar en el uso de cámaras que proyectan rayos infrarrojos

hacia los ojos de los sujetos sin necesidad de contacto físico.

En los últimos años, el Grupo de Neurocomputación Biológica (GNB) de la Escuela Politécnica

Superior de la Universidad Autónoma de Madrid ha realizado con éxito distintos proyectos en los que se

capturaba y caracterizaba distinto tipo de señales biométricas con el objetivo de desarrollar interfaces

hombre-máquina. En concreto, se han desarrollado sistemas no invasivos que permiten a un sujeto

interaccionar con un dispositivo móvil mediante gestos pupilares (Rozado, 2012). Sin embargo, hasta el

momento el proceso de adquisición y procesamiento de la señal no lo realizaba el propio dispositivo móvil.

Para capturar la imagen del sujeto se utilizaba una cámara externa que se unía al dispositivo móvil y se

conectaba a un ordenador (Moreno Martín, 2013). Y el seguimiento de la pupila se conseguía utilizando

librerías externas que se ejecutaban en dicho ordenador. El trabajo de fin de grado descrito en esta

memoria pretende resolver esta limitación desarrollando las herramientas necesarias para adquirir y

caracterizar la actividad ocular del usuario de un dispositivo móvil utilizando para ello el hardware y el

software disponible en un smartphone o tablet Android estándar de mercado. Ya que los smartphones

suelen disponer de una cámara integrada la imagen del sujeto se capturará utilizando esta cámara. Y

gracias a las mejoras de sus prestaciones, se desarrollará un sistema que permita el procesamiento de las

imágenes capturadas para detectar las pupilas del sujeto.

1.2 Objetivos

El principal objetivo del proyecto es la adquisición y caracterización de la señal biológica de la

actividad ocular con smartphone y tablet. Para ello, se ha realizado el diseño, implementación y validación

de un sistema de eye-tracking para un smartphone o tablet Android, como se detallará más adelante en

esta memoria. Este sistema deberá cumplir con los siguientes requisitos:

Ejecutarse en el propio dispositivo

Utilizar las cámaras del dispositivo

Comportamiento del dispositivo como eye-tracker

Reconocimiento de las pupilas

Salvar las coordenadas de la posición de las pupilas para poder ser utilizadas por otra

aplicación

El objetivo de la fase de diseño, es idear y construir una aplicación en lenguaje Android para poder

usar el dispositivo móvil como eye-tracker, sin utilizar ningún elemento extrínseco. Se podrá utilizar en

distintos dispositivos que dispongan del sistema operativo Android, porque se utilizarán las características

de éstos, como la cámara, la pantalla y el procesador. Esto permitirá que la aplicación pueda utilizarse en

los experimentos del GNB, teniendo en cuenta una serie de limitaciones que se detallarán posteriormente.


3

En la fase de pruebas, se han realizado pruebas de concepto y pruebas de validación. El objetivo

de las pruebas de concepto ha sido comprender y comprobar la correcta instalación y funcionamiento de

las distintas librerías de OpenCV en los entornos utilizados. Mientras que en las pruebas de validación, se

han realizado pruebas con sujetos para comprobar el funcionamiento de la aplicación, es decir, la

detección facial y de las pupilas.

1.3 Organización de la memoria

La memoria consta de los siguientes capítulos:

Capítulo 1. Introducción: Motivación, objetivos y organización de la memoria.

Capítulo 2. Estado del arte: Descripción e historia de la interacción HCI y descripción e historia

de los sistemas de eye-tracking.

Capítulo3. Diseño: Definición de la arquitectura del sistema, algoritmos de detección de

pupilas e implementación del sistema

Capítulo 4. Pruebas y resultados: Descripción de las pruebas y resultados obtenidos a partir

de las mismas.

Capítulo 5. Conclusiones y trabajo futuro: Breve repaso a las ventajas e inconvenientes de la

aplicación propuesta y posibles mejoras del mismo de cara al futuro.

Capítulo 6. Anexos


4


5

2 ESTADO DEL ARTE

2.1 Descripción e historia de la interacción hombre-máquina

Por interacción hombre-máquina o HCI (del inglés, Human Computer Interaction) se entiende a la

forma en que una persona se comunica con cualquier tipo de dispositivo electrónico, es decir, los

mecanismos utilizados para proporcionar y recibir información y/o instrucciones de una máquina. En el

contexto de los “ordenadores”, podemos considerar que el primer mecanismo para la interacción

hombre-máquina fueron las tarjetas perforadas que surgieron a principios del siglo XX. Su uso se extendió

hasta mediados de este siglo como mecanismo para introducir y almacenar información en un ordenador.

Hacia la década de los 80, el teclado se convierte en el “estándar” de interacción con el ordenador

gracias a su fácil uso, similar en las antiguas máquinas de escribir del siglo XIX. Además, en esta época,

también se popularizó el ratón, otro medio de interacción muy utilizado hasta el momento.

La siguiente forma de interacción con la máquina fue la pantalla táctil. Aunque las primeras

aparecieron en 1971, su expansión no se ha producido hasta el año 2000 con la aparición de las PDAs,

smartphones, video consolas, navegadores de automóviles, etc. Esta popularidad se debe a la reducción

de los costes de esta tecnología.

Todos los mecanismos de interacción hombre-máquina tradicionales descritos hasta el momento

se basan en una interacción física (táctil) con el dispositivo. Sin embargo, el ser humano siempre ha

utilizado todos los sentidos para interactuar y relacionarse con el medio. Es por ello que en los últimos

años haya cobrado fuerza el desarrollo de mecanismos de interacción hombre-máquina, como la

interacción mediante la voz o el control gestual, que no requieren de un medio físico.

Un ejemplo de interacción mediante la voz, es el reconocimiento de ésta utilizado en el control

de smartphones y tablets gracias a su micrófono integrado y al uso de programas de reconocimiento de

voz como SVoice o Siri. Un ejemplo de control gestual es el controlador de juego llamado Kinect. Ésta

permite a los usuarios controlar e interactuar con la consola, sin necesidad de tener contacto físico,

mediante una interfaz natural de usuario que reconoce gestos, comandos de voz y objetos e imágenes.

Este tipo de interfaces hombre-máquina cobran especial relevancia para personas con algún tipo

de discapacidad que no le permita interaccionar con el dispositivo mediante las interfaces tradicionales.

En este escenario, las nuevas líneas de investigación están centrándose en la comunicación con el

dispositivo mediante la mirada, y más concretamente mediante la realización de gestos oculares (técnica

conocida como gaze tracking) como es el caso de las Google Glass, desarrolladas por la compañía Google.

Se trata de un dispositivo de visualización, de formato muy similar a las gafas tradicionales, que se controla

mediante la voz y gaze gesture. Aunque la técnica eye-tracking y gaze gesture parecen modernas, sus

inicios nacieron durante la década de los 80, pero por los costes tan elevados no se ha podido desarrollar

hasta la actualidad.


6

Figura 1. Evolución de los mecanismos de interación hombre-máquina

2.2 Descripción e historia de los sistemas de eye-tracking

El concepto de eye-tracking hace referencia a la tecnología que permite captar el movimiento del

ojo con relación a la posición de la cabeza, permitiendo comprender mejor el sistema visual. Esta

tecnología, que aparenta ser reciente, tiene sus inicios a mediados del siglo XIX con el estudio de los

movimientos oculares mediante la observación directa. En 1879, Javal (Javal, 1879) analizó el movimiento

de los ojos al leer y observó que no se realizaba mediante un suave barrido continuo de los ojos, sino que

durante la lectura el ojo seguía la línea que se estaba leyendo en cada instante mediante movimientos

entre los que se producía una serie de paradas cortas y rápidas.

Posteriormente, en 1900, Huey (Huey, 1898) construyó lo que se puede considerar el primer

sistema de eye-tracking. Se trataba de un sistema invasivo que utilizaba una lente rígida (similar a una

lente de contacto) que el sujeto debía colocarse en el ojo. Para que éste pudiera ver, la lente tenía un

agujero en el medio. El seguimiento del movimiento ocular se realizaba gracias a un puntero de aluminio

conectado a la lente y que se movía en respuesta al movimiento del ojo.

Un año después, los investigadores Dodge y Cline (Dodge, 1901) consiguieron registrar el

movimiento de los ojos de manera más precisa y no invasiva. En 1906, Dodge (Dodge, 1906) utilizó una

técnica que consistía en la emisión de líneas de luz a los ojos y la grabación de su reflejo mediante la

fotografía. Este método se convirtió en uno de los más importantes y usados, hasta los avances de los 70

con la era digital.


7

Más adelante, en 1935, Buswell (Buswell, 1935), basándose en los avances obtenidos en la

descomposición de la reflexión de los haces de luz de un ojo en sus componentes horizontal y vertical,

midió las rutas de análisis de un sujeto al observar una imagen.

En la década de los 60 se utilizaron nuevamente las técnicas invasivas para mejorar la exactitud

de las técnicas anteriores. Uno de los investigadores más importantes de esta década fue el psicólogo

Yarbus (Yarbus, 1965) que realizó estudios con lentes de contacto junto con espejos para sus

investigaciones. Todos estos resultados los recogió en el libro “Los movimientos oculares y la visión” en

1967.

En la década de 1970, la investigación de seguimiento ocular se expandió rápidamente debido a

las nuevas técnicas como el escaneo del ojo mediante el uso de una cámara. Esta técnica permitió

conseguir un alto contraste entre el iris y la esclerótica, facilitando su separación. Esto se utilizó

principalmente para la investigación del movimiento del ojo en la lectura, siendo unos de los

investigadores principales Rayner (Rayner, 1998).

Las técnicas de eye-tracking ayudaron a Just y Carpenter (Just, 1980) a formular el principio del

procesamiento inmediato. Este principio sostiene que durante la lectura cada palabra se codifica e

interpreta inmediatamente después de su percepción. Durante estos años, también surgió el concepto de

atención encubierta, donde destacaron los estudios de Posner (Posner, 1980). Este concepto se define

como la atención que está enfocando un estímulo que no se encuentra directamente enfocada por la

retina. Esta atención encubierta, puede presentar problemas durante las grabaciones de eye-tracking

debido a que no muestra donde se fija la atención. Todo esto conlleva a que el seguimiento de los ojos

puede no indicar un procesamiento cognitivo.

En la actualidad, la tecnología eye-tracking se espera que tenga una gran evolución en los

próximos años hasta poder convertirse en una interfaz de uso cotidiano debido a sus características y el

abaratamiento de sus costes.

Figura 2. Evolución de la tecnología eye-tracking


8

2.2.1 Clasificación de los sistemas de eye-tracking

Los sistemas de eye-tracking se pueden dividir en tres categorías según las diferentes

metodologías de medición de los movimientos oculares: electro-oculografía (EOG), lentes de contacto o

bobinas de búsqueda y foto-oculografía (FOG) o video-oculagrafía (VOG).

La metodología EOG se basa en la medida de diferencias de potencial eléctrico en la piel

detectadas por electrodos colocados alrededor del ojo. El principal inconveniente de esta técnica es la

dificultar para medir movimientos oculares lentos y la detección de la mirada. Sin embargo, es una técnica

muy sólida para medir movimientos oculares rápidos y cortos asociados con cambios de la mirada y para

la detección del parpadeo.

La metodología de lentes de contacto o bobinas de búsqueda consiste en el seguimiento ocular

mediante el contacto físico con el ojo a través de un mecanismo basado en lentes de contacto. El método

principal emplea bobinas y el movimiento se mide a través de un campo electromagnético. Aunque es el

método más preciso, sus inconvenientes son varios, como la necesidad de asignar un objeto de referencia,

la incomodidad de la lente de contacto y los problemas de salud derivados de los campos magnéticos de

alta frecuencia.

La metodología FOG y VOG se basa en la captura de imágenes mediante una cámara o dispositivo

de adquisición de imágenes, denominado eye-tracker, permitiendo determinar el movimiento de los ojos

utilizando las imágenes obtenidas por dichos dispositivos (ver Figura 3 y Figura 4). Estos sistemas

requieren una iluminación adecuada, por lo que pueden contar con una o varias fuentes de iluminación,

generalmente infrarroja, aunque también existen sistemas que funcionan con luz visible. El principal

inconveniente de esta técnica es que sus resultados varían mucho si la iluminación no es la conveniente,

pero no impide que se trate del sistema más utilizado por los investigadores.

Figura 3. Eye-tracker en la cabeza del sujeto descargada de

http://news.cnet.com/8301-1023_3-57613995-93/how-an-

eye-tracker-can-make-google-glass-less-creepy-q-a/

Figura 4. Eye-tracker remote descargada de

http://www.eyegaze.com/eye-tracking-research-studies/

http://news.cnet.com/8301-1023_3-57613995-93/how-an-eye-tracker-can-make-google-glass-less-creepy-q-a/

http://news.cnet.com/8301-1023_3-57613995-93/how-an-eye-tracker-can-make-google-glass-less-creepy-q-a/

http://www.eyegaze.com/eye-tracking-research-studies/


9

Una de las características requerida de los sistemas eye-tracking es la comodidad del sujeto, por

eso estas metodologías se pueden clasificar como técnicas invasivas y técnicas no invasivas. Las técnicas

invasivas son aquellas que requieren el contacto físico con el sujeto como los sistemas EOG y las lentes de

contacto. Por el contrario, las técnicas no invasivas no requieren contacto físico con el sujeto como FOG

y VOG. Estas últimas son las que mejor se adecuan a la característica de comodidad del sujeto y por ello,

son las técnicas más utilizadas.

Figura 5. Clasificación de los sistemas eye-tracking según el tipo de técnica

2.2.2 Disciplinas en las que se utiliza eye-tracking

Como ya se ha comentado anteriormente, las técnicas de eye-tracking cada vez están cobrando

una mayor relevancia. La Figura 6 trata de cuantificar este interés mostrando el número de publicaciones

relacionadas con estas técnicas en las últimas décadas. Para ello se ha realizado la consulta con el término

“eye-track*” en la base de dato Scopus (Sco).

Figura 6. Evolución de los artículos por año de las técnicas eye-tracking en la base de datos Scopus


10

En la Figura 6 se puede observar que los primeros artículos datan de 1963. El número de

publicaciones anuales sobre el eye-tracking se mantiene constante hasta mediados de la década de los

90. A partir de 1996, la tendencia que adquieren los artículos publicados aumenta de forma exponencial

consiguiendo un máximo en 2012 de 228 publicaciones relacionadas con el tema. Este auge en los últimos

años se debe, principalmente, al abaratamiento de los costes de los eye-trackers y su reciente usabilidad

como HCI.

Estas técnicas de eye-tracking tienen un gran potencial en varias disciplinas y áreas de estudio,

por lo que se decidió investigar cuáles son y la importancia que tienen dentro del desarrollo del eye-

tracking. Nuevamente, se ha utilizado la base de datos de Scopus como herramienta para llevar a cabo

este estudio (ver Figura 7).

Figura 7. Porcentaje de artículos por área de estudio en la base de datos Scopus.

Como se observa en la figura, las áreas que presentan mayor porcentaje son ciencias de la

computación, medicina, ingeniería, psicología y neurociencia. Sorprende que ciencias del

comportamiento como la psicología este en las primeras posiciones. Esto se debe a que su estudio del

eye-tracking es más maduro como disciplina científica que las áreas recientes como la ingeniería y ciencias

de la computación. Aun así, estas ciencias jóvenes han conseguido colocarse entre las tres primeras áreas

debido al auge de las diferentes aplicaciones de esta técnica.


11

2.2.3 Aplicaciones basadas en eye-tracking

Los seres humanos tenemos una gran cantidad de comportamientos asociados a los movimientos

del ojo y a la dirección de la mirada que son muy importantes en la rutina diaria. Por este motivo, se han

realizado diversos estudios sobre este comportamiento que han contribuido a la comprensión del sistema

visual y los mecanismos relacionados con la percepción.

A raíz de estos estudios, se puede encontrar una gran variedad de aplicaciones (Duchowski, 2000)

de eye-tracking no solo en el campo de la informática, sino, como ya se ha comentado anteriormente,

dentro del campo de la psicología, marketing, ergonomía, neurología, etc. que nacen de las

investigaciones realizadas en ciencias de la visión.

Los diferentes usos de la tecnología eye-tracking se pueden dividir en dos tipos: pasiva o activa.

Cuando la tecnología se comporta como pasiva, el eye-tracker proporciona los procesos relacionados con

la visión y la percepción. Mientras que cuando el eye-tracker se comporta como tecnología activa, sirve

como un poderoso dispositivo de interacción con los ojos.

Los ejemplos más significativos de la utilización de eye-tracking, son:

Interacción hombre-máquina para discapacitados físicos: dentro del área de HCI, algunos estudios

ya han demostrado que en tareas sencillas se puede ahorrar hasta un 60% de tiempo en

seleccionar un objeto con esta técnica en comparación con el ratón.

Estudios de ergonomía: conocidas empresas de aeronáutica utilizan la tecnología de eye-tracking,

con el objetivo de comprobar cuál es la mejor disposición de los paneles de mandos,

especialmente en situaciones de emergencia.

Área clínica: numerosos hospitales lo utilizan para analizar movimientos del ojo, realizar

diagnósticos clínicos y corregir defectos. En la actualidad, se está utilizando esta tecnología para

realizar operaciones de corrección de problemas refractivos.

Desarrollo de juegos avanzados de ordenador: permite una nueva forma de interactuar con las

videoconsolas, mediante un casco, a tiempo real en interfaces tridimensionales.

Investigación en percepción visual: numerosas universidades emplean el seguimiento de

movimientos oculares en sus estudios básicos sobre percepción, atención y búsqueda visual.

Área de diseño y publicidad: en los anuncios se utiliza para analizar las partes que más llaman la

atención a los consumidores. La información se puede representar mediante mapas de calor. Los

mapas de calor son una representación estática para el análisis de exploración visual de un

conjunto de usuarios. En estas representaciones, las zonas de mayor intensidad señalan dónde

coinciden las zonas de referencia espaciales con mayor frecuencia (ver Figura 8).

http://www.ergoestudio.com/inicio/preguntas/glosario_de_terminos.php#pervis


12

Figura 8. Mapa de calor de un anuncio.

Además de las comentadas, otras aplicaciones pueden ser: investigación médica, proceso de

traducción de investigación, simuladores de vehículos, simuladores de entrenamientos, detección

de fatiga, etc.


13

3 DISEÑO Y DESARROLLO

3.1 Entorno de desarrollo

Para desarrollar una aplicación para un dispositivo Android popularmente se suelen utilizar IDEs

basados en NetBeans o en Eclipse. Un IDE (siglas en inglés de Integrated Development Environment) es un

programa informático formado por un conjunto de herramientas de programación que al menos consta

de un editor de código, un compilador, un depurador y un constructor de interfaz gráfica. En nuestro caso,

como entorno de desarrollo hemos decidido utilizar un Eclipse IDE (Ecl) ejecutándose en un ordenador

con sistema operativo Linux.

Para poder desarrollar el proyecto ha sido necesario incluir en el entorno de desarrollo un plugin

llamado Android Development Tools (ADT). Este plugin proporciona un potente entorno integrado en el

que desarrollar aplicaciones para Android. Entre otras cosas, este plugin permite configurar rápidamente

nuevos proyectos, construir una interfaz de usuario de aplicación y depurar la aplicación. Además, permite

la exportación de paquetes de aplicaciones (APKs) para su distribución. Además, dentro del entorno de

desarrollo Eclipse se incluye un emulador que permitirá realizar pruebas en el ordenador Linux como si

fuese un dispositivo móvil Android. Los pasos a seguir para instalar y configurar nuestro entorno de

desarrollo se detallan en el anexo A.

3.2 Definición de la arquitectura del sistema

La arquitectura que hemos definido para el sistema de eye-tracking desarrollado se puede dividir

en los cuatro componentes que se muestran en la Figura 9: módulo de adquisición, módulo de

procesamiento, módulo de salida y tester funcional.

http://es.wikipedia.org/wiki/Programa_inform%C3%A1tico


14

Figura 9. Definición de la arquitectura del sistema

Las distintas componentes se pueden definir como:

Módulo de adquisición: Se encarga de comunicarse con la cámara del dispositivo para obtener en

tiempo real una captura de imagen (frame).

Módulo de procesamiento: Recibe un frame del módulo de adquisición y se encarga de procesarlo

para detectar las pupilas del usuario del dispositivo en dicho frame.

Módulo de salida: Recibe la información del módulo de procesamiento y la formatea para que sea

legible para el módulo encargado de interpretar el eye-tracking. En nuestro caso, este módulo se

limita a escribir la salida del módulo de procesamiento en un fichero de texto en forma de dos

coordenadas cartesianas. Cada una de estas coordenadas representará el punto que según el

módulo de procesamiento ocupan la pupila izquierda y la pupila derecha en el último frame

capturado.


15

Tester funcional: Se trata de una aplicación auxiliar que hemos desarrollado para validar

cualitativamente el correcto funcionamiento de nuestro sistema de eye-tracking. Esta aplicación

recibe la información del módulo de salida y pinta en la pantalla del dispositivo:

o El último frame capturado indicando la zona en la que se encuentran las pupilas según el

módulo de procesamiento

o Dos recuadros que muestran un zoom con el que detalla la zona de detección.

En la definición de la arquitectura software del sistema, se han encontrado dos puntos críticos: el

procesamiento de imágenes y la captura de las mismas.

3.2.1 Procesamiento de imágenes

Para determinar la forma más eficiente de realizar el procesamiento de imágenes se efectuaron

diversas pruebas de concepto. Estas pruebas consistieron en desarrollar distintas aplicaciones en lenguaje

C++ que, utilizando la librería OpenCV, trataban de detectar las pupilas de un individuo en una imagen

mediante distintos algoritmos. OpenCV (del inglés, Open Source Computer Vision) (Ope) es una librería

libre de visión artificial desarrollada por Intel. Desde que apareció en enero de 1999 se ha utilizado en

infinidad de aplicaciones, yendo desde sistemas de seguridad con detección de movimiento hasta

sistemas donde se requiere reconocimiento de objetos. Esto se debe a que su publicación se produce bajo

licencia BSD (Berkeley Software Distribution), lo que permite que se pueda utilizar libremente con

propósitos comerciales y de investigación. Durante la fase de definición decidimos utilizar esta librería

debido a que contiene infinidad de módulos que abarcan una gran gama de áreas en el proceso de visión,

tales como procesamiento de imágenes (imgproc), detección de objetos (objdetect), calibración de

cámaras, etc. Como se verá más adelante, dentro de estos módulos se incluye uno para facilitar el

desarrollo de algoritmos de eye-tracking. Otras de las características de OpenCV que la hace muy

interesante para nosotros es que es una librería multiplataforma, existiendo versiones

para GNU/Linux, Mac OS X , Windows y Android. Esto nos ha permitido realizar pequeñas pruebas de

concepto de algunas de las funcionalidades críticas de la aplicación en un entorno Linux sin la necesidad

del emulador o de un dispositivo físico Android. Una vez desarrollada y validada la funcionalidad en el

ordenador, el código se podía migrar de forma automática o con ligeras modificaciones al entorno Android.

Esta librería es fácil de utilizar y muy eficiente debido a que su programación ha sido realizada en

código C y C++ optimizados, aprovechando además las capacidades que proveen los procesadores multi-

núcleo. Además, es una librería que dispone de una extensa documentación [ (Doc), (Doc1) ], pero en

algunas ocasiones, principalmente en lo referente a la instalación/configuración y la corrección de bugs,

no se encuentra muy bien organizada, lo que a veces ha hecho complicado trabajar con ella.

http://es.wikipedia.org/wiki/Biblioteca_(programaci%C3%B3n)

http://es.wikipedia.org/wiki/BSD

http://es.wikipedia.org/wiki/GNU/Linux

http://es.wikipedia.org/wiki/Mac_OS_X

http://es.wikipedia.org/wiki/Microsoft_Windows


16

Antes de comenzar a utilizar la librería para la detección de las pupilas se realizaron las siguientes

pruebas:

Realizar un proyecto [13] de prueba de C++ en el portátil utilizando el Eclipse IDE que nos permite

visualizar una imagen. Para ello, se ha creado un nuevo proyecto y se implementa un código muy

sencillo que utiliza las librerías de OpenCV. Este proyecto, lee una imagen de una ruta y, utilizando

la librería highgui y core, muestra la imagen al ejecutar el programa.

Instalación y ejecución de los ejemplos [14] proporcionados por OpenCV. Para comprobar la

correcta instalación y comprensión de las librerías de OpenCV, se han instalado los ejemplos que

facilita la librería. Estos ejemplos se han ejecutado tanto en el ordenador como en el dispositivo

móvil gracias a la característica multiplataforma de OpenCV. Estas características, además del alto

nivel de detección tanto de la cara como de la pupila, son los motivos por los que se ha decidido

utilizar la librería OpenCV.

Revisando la literatura (Duchowski, 2007), existe una gran variedad de algoritmos para la

detección de las pupilas de un individuo en una imagen cada uno de los cuales se basa en una técnica

diferente. En la Sección 3.3.2 se describen en detalle algunos de los algoritmos encontrados. En nuestras

pruebas nos centramos en tres de ellos:

El primero algoritmo testeado se basaba en buscar círculos en la imagen capturada. La

principal desventajada que encontramos en nuestra prueba es que la tasa de acierto era

muy reducida debido a que había muchos falsos positivos.

El segundo de los algoritmos convertía la imagen a escala de grises y buscaba dos círculos,

asegurándose que la distancia entre ellos fuera menor que un parámetro. Debido a la

lógica de este algoritmo también observamos que se producían falsos positivos como, por

ejemplo, en el caso que el sujeto llevara pendientes de aro.

El algoritmo que daba mejores resultados consistía en, una vez capturada la imagen,

detectar la cara del sujeto. Después de detectar la cara, determinaba la zona en la que

deberían situarse los ojos. Y, finalmente, una vez detectados los ojos, buscaba la ubicación

de las pupilas dentro de la zona determinada para la posición de los ojos (ver detalles del

algoritmo en la Sección 3.3.1.5).

3.2.2 Captura de imágenes

Como primera prueba de concepto para capturar con la cámara del dispositivo las imágenes con

las que alimentar al módulo de procesamiento, se desarrolló una serie de aplicaciones muy simples que

se limitaban a capturar un frame con la cámara y presentarlo en pantalla. Cada una de estas aplicaciones

capturaba el frame de diferente forma, tanto utilizando componentes propios de la SDK para Android (ej.

MediaStore o MediaRecorder), usando métodos nativos, y utilizando librerías de alto nivel como OpenCV.

Dado que el rendimiento observado en las pruebas fue aproximadamente el mismo para todos los

http://es.wikipedia.org/wiki/Biblioteca_(programaci%C3%B3n)


17

mecanismos utilizados, después de decidir utilizar la librería OpenCV en el módulo de procesamiento, por

homogeneidad se decidió utilizar esta librería también en el módulo de adquisición.

3.3 Algoritmos de detección de la pupila

El objetivo de este proyecto es la detección de la pupila de los ojos de una persona con la cámara

integrada en el dispositivo móvil. Aunque normalmente el término “detección” se utiliza para descubrir

la ubicación de varios objetos en una imagen, en este caso se utilizará la expresión “detección de pupilas”

para encontrar las pupilas de los ojos de una persona en una secuencia de imágenes.

El primer problema al que nos hemos enfrentado para conseguir ubicar las pupilas de los ojos en

la secuencia de imágenes, ha sido la necesidad de la detección de la cara. Después de la detección de la

cara, la ubicación de los ojos en ésta se puede buscar por la posición en la cara y sus características. Por

este motivo, se ha decidió buscar un algoritmo de detección de la cara independiente de los componentes

estructurales como barba, bigote, gafas, etc.

Hay diversas técnicas diferentes para realizar la detección de caras en imágenes, muchas de ellas

comparten métodos comunes. Estos métodos se pueden clasificar en distintas categorías, algunas de ellas

se han explicado en los siguientes puntos de esta memoria.

3.3.1 Métodos de detección

3.3.1.1 Método basado en el conocimiento

Este método se basa en el conocimiento humano de lo que constituye una cara humana. La

funcionalidad de este método es, principalmente, localizar la cara. Para conseguir la localización, se basa

en reglas simples que describen las características de una cara como, por ejemplo, la cara aparece en la

imagen con dos ojos simétricos entre sí, una nariz y una boca.

El problema de este método es que resulta complicado describir el conocimiento humano en una

correcta definición de reglas. Si las reglas son muy estrictas pueden no detectarse la cara ya que no cumple

todas las reglas pero, si las reglas son muy generales puede haber falsos positivos.

Un estudio realizado sobre este método fue realizado por Yang (Yang, y otros, 1994). En su estudio,

utilizaron una jerarquía basada en el conocimiento para la detección de caras. En esta jerarquía definen

tres niveles de reglas, las reglas del primer nivel son una descripción general de lo que se considera una

cara. Mientras que las reglas de los niveles inferiores se basan en la detección de los rasgos faciales.

3.3.1.2 Método basado en las características invariables

Este método realiza un reconocimiento de la cara humana utilizando características globales como

el color de piel, la textura y la forma del rostro y después verifica que poseen características faciales como

dos ojos, una nariz, etc. Una desventaja de este método es que depende de las características ambientales

como la iluminación, las sombras, etc. que pueden dificultar la detección.


18

3.3.1.3 Método basado en plantillas

Los métodos basados en la correspondencia de plantillas, comparan la imagen de entrada con una

plantilla utilizando métodos de correlación para localizar los rostros. Existen dos tipos de plantillas,

plantillas basadas en bordes o regiones, denominadas predefinidas, o plantillas basadas en el contorno

facial, denominadas deformables.

Las plantillas predefinidas son aquellas que están formadas a partir de un patrón estándar de

forma manual. Los métodos que utilizan estas plantillas no pueden detectar los cambios de escala, pose

o forma del rostro en una imagen. Para solventar esta dificultad, surgieron las plantillas deformables, las

cuales están construidas mediante unos parámetros. Estos parámetros permiten que la plantilla se ajuste

a los datos. El problema de estas plantillas es que deben ser inicializadas cerca del objeto, en este caso,

cerca de la cara. En general, este método es sencillo de implementar pero, resulta difícil enumerar las

plantillas para las diferentes variaciones posibles, además del elevado coste.

3.3.1.4 Métodos estadísticos

Los tipos de algoritmos utilizados para estos métodos no asumen ningún tipo de información

previa de la tipología de una cara. A partir de un conjunto de muestras (imágenes de caras e imágenes de

no caras) de entrenamiento extraen la información relevante que diferencia un objeto cara de un objeto

no cara. Este grupo incluye uno de los métodos más referenciados y utilizados actualmente: AdaBoost.

3.3.1.5 Método Adaboost

El método conocido como Adaboost fue presentado originalmente por Viola y Jones (Viola P.,

2001) y es una extensión de un clasificador genérico al problema de la detección de objetos en imágenes.

Este método demuestra como a partir de características locales basadas en el cambio de intensidad se

podía desarrollar un detector de caras muy robusto.

El principio de este método es determinar una serie de características basadas en las sumas y

restas de los niveles de intensidad en la imagen. Para ello se utilizan filtros de Haar de un cierto tamaño y

calculados para las posiciones concretas de la sub-imagen que se quiere clasificar. Dichas características

son evaluadas por un “clasificador débil” para decidir si la sub-imagen corresponde a una cara (aceptada)

o no (rechazada). Este tipo de “clasificadores débiles” suelen conseguir unos resultados muy pobres. No

obstante, combinando varios clasificadores débiles, se pueden generar clasificadores más robustos

(“clasificador fuerte”) cuya tasa de detección crece exponencialmente. El rectángulo punteado de la

Figura 10 corresponde a un “clasificador fuerte”.


19

Figura 10. Detector de caras con clasificadores fuertes

De todas manera, a pesar que la tasa de detección de caras de un “clasificador fuerte” puede

llegar hasta el 99%, presenta la desventaja de que la tasa de falsas detecciones (aceptar una sub-imagen

como cara cuando no lo es). Por este motivo Viola y Jones propusieron un esquema basado en una cascada

de “clasificadores fuertes” como el representado en la Figura 11.Cada etapa corresponde a un

“clasificador fuerte” y está entrenada con todos los ejemplos que la etapa anterior no ha podido clasificar

correctamente más algunos nuevos. Por tanto, en la etapa de entrenamiento, cada etapa se entrena con

un conjunto óptimo de características capaces de detectar cada vez ejemplos más complicados; es decir,

las primeras etapas se encargan de descartar sub-imágenes que son muy diferentes de una cara, mientras

que las últimas etapas pueden rechazar ejemplos mucho más complicados como pueden ser pelotas,

globos, dibujos, etc…

Figura 11. Clasificador en cascada [22]


20

- Método Adaboost para detectar las pupilas de los ojos

Dado que la técnica de detección de rostros de Viola-Jones es un método de detección de objetos,

la misma técnica puede utilizarse para detectar componentes individuales dentro de una imagen del

rostro detectado. Por ejemplo, el filtro de dos rectángulos (en la Figura 12, el segundo clasificador) se

puede utilizar para detectar el ojo derecho y el ojo izquierdo. Esto es porque los ojos tienen distintos

niveles de intensidad.

Figura 12. Clasificadores Haar

Como se ha comentado en el apartado de definición de la arquitectura, para este proyecto se ha

utilizado la biblioteca OpenCV. Esta biblioteca implementa una versión del algoritmo de Viola-Jones

(Bradsky, y otros, 2008). OpenCV dispone de un detector que se comporta como un clasificador Haar, ya

que utiliza características Haar, que consta de adiciones y sustracciones de regiones rectangulares de una

imagen antes de aplicar un umbral al resultado.

El algoritmo para detectar las pupilas consta de tres etapas: primero, se detecta la cara que se

procesa en la imagen de entrada. A continuación, se aplican los clasificadores de Haar que incorpora

OpenCV para detectar la posición del ojo y delimitar la región de interés (ROI, Region Of Interest), es decir,

la porción de la imagen sobre la que nos interesa realizar la detección. Esto nos permite eliminar las zonas

de la imagen que no nos interesan para la detección de las pupilas, como pueden ser las cejas. La siguiente

etapa consiste en aplicar un algoritmo sobre la zona ROI para determinar la posición de las pupilas.

3.3.2 Explicación del algoritmo de detección

Para el algoritmo de detección lo primero que se realiza es la inicialización de una serie de

variables necesarias para el procesamiento de la imagen, captura del video, etc. Además se realiza una

iniciación de las máscaras de los ojos que se van a utilizar.

Algoritmo de la función principal:

Paso 1: Adquirir la imagen de video (frame)

Paso 2: Mientras existan frames en el video, realizar ejecutar clasificador Haar sobre frame actual

para detección de rostro

Paso 3: Almacenar con las coordenadas del área rectangular, los pixeles de la ubicación del rostro

dada por el clasificador


21

La función está determinada por el algoritmo de Viola - Jones en función al clasificador AdaBoost

entrenado, dicho algoritmo es:

Paso 1: Cargar parámetros óptimos del clasificador.

Paso 2: Si hay rostro detectado, definir zona ROI en el rostro.

Paso 3: Comprobar si hace match los ojos con la zona ROI detectada. Si hace match,

definir la zona con un rectángulo. Retornar a la función principal.

3.4 Implementación del sistema

3.4.1 Instalación

La instalación de la aplicación en los dispositivos Android se ha realizado a través de Eclipse IDE.

Para ello se debe conectar el dispositivo al ordenador a través del cable USB. Una vez que el dispositivo

se ha conectado al ordenador en el que se encuentra el entorno de desarrollo y éste ha reconocido el

dispositivo, instalado como se define en el anexo A, se selecciona ejecutar la aplicación. Entonces, sale

una ventana (Figura 13) que permite elegir dónde ejecutar la aplicación, en cualquiera de los dispositivos

virtuales gestionados por emulador del IDE o en el dispositivo físico conectado. Al seleccionar el

dispositivo físico, la aplicación se instala en el dispositivo móvil.

Figura 13. Selección de dispositivo móvil

Si es la primera vez que se ejecuta la aplicación en el dispositivo físico, aparecerá un mensaje que

indica la necesidad de instalar el OpenCV Manager (Figura 14). OpenCV Manager (Ope1) es una aplicación

para Android, que permite gestionar los archivos binarios de la librería OpenCV en los dispositivos de los

usuarios finales y compartir librerías dinámicas OpenCV entre aplicaciones del mismo dispositivo. Su

instalación se realiza a través de Google. Al tener instalado el OpenCV Manager se consume menos

memoria, ya que todas las aplicaciones usan los mismos archivos binarios, y se optimiza el hardware para

las plataformas soportadas. Además, se obtienen fuentes seguras de la librería OpenCV, ya que al estar

publicados en Google Play se producen actualizaciones regulares.


22

Figura 14. Instalación de OpenCV Manager

3.4.2 Captura de imágenes con la cámara

Las cámaras utilizadas son las integradas en cada dispositivo. Para realizar pruebas se han utilizado

tanto la cámara delantera como la trasera de los dispositivos o la webcam en el caso del ordenador. Para

el correcto funcionamiento de la aplicación, es necesario colocar el dispositivo en orientación horizontal

y que el dispositivo este a la distancia suficiente como para que aparezca toda la cara en la pantalla.

Durante la ejecución de la aplicación y mientras la cámara enfoque y localice al sujeto, se van

recogiendo las coordenadas de las pupilas con respecto a la posición de la pantalla a la que miran. Estas

coordenadas se almacenan en un fichero.

3.4.3 Almacenamiento de datos

Hay dos posibles formas de guardar un fichero en un sistema Android: almacenamiento interno o

externo (Alm). El almacenamiento interno se utiliza si no se quiere que el usuario u otra aplicación puedan

acceder al fichero pero puede convertirse en una complicación en el caso de que el dispositivos disponga

de poca capacidad de almacenamiento. Por otro lado, el almacenamiento externo se utiliza cuando se

permite que el usuario u otras aplicaciones puedan acceder al fichero.

Según las características del proyecto, con el almacenamiento interno sería suficiente para

guardar la información pero teniendo en cuenta las posibles aplicaciones que podrían utilizar estos datos

para realizar otro tipo de operaciones se ha decidido utilizar el almacenamiento externo.

Dado el objetivo final que se inicia con este proyecto y se podría continuar utilizando las

coordenadas para reconocer gestos visuales, la comunicación, en este caso, debería realizarse entre

aplicaciones y se usarían otras formas más eficientes.


23

4 PRUEBAS Y RESULTADOS

Una vez detallado el entorno de desarrollo, la arquitectura definida y los algoritmos a utilizar

explicados en los puntos anteriores, se ha procedido a la realización de las pruebas de la aplicación. Debido

a las características del proyecto y los entornos de desarrollo elegidos, se han realizado dos tipos de

pruebas: pruebas de concepto y pruebas de validación.

4.1 Pruebas de concepto

Las pruebas de concepto han sido detalladas en la definición de la arquitectura, ya que fueron

necesarias para escoger la librería más adecuada para la implementación del proyecto.

4.2 Pruebas de validación

Para comprobar que el sistema de eye-tracking desarrollado durante el trabajo de fin de grado

descrito en esta memoria hemos utilizado la aplicación de prueba descrita en la Sección 3.2. Esta

aplicación nos permite comprobar de forma cualitativa que la salida de nuestro sistema es coherente con

la imagen adquirida con la cámara del dispositivo. Durante estas pruebas consideramos que la detección

y seguimiento es correcta si el cuadro sigue a la pupila desde el principio de la prueba y no se pierde en

todo el movimiento. En caso contrario, la detección no es válida. La detección también se ha visto afectada

por situaciones en las que, al realizar la prueba, se ha detectado solo un ojo (el izquierdo o el derecho)

(Figura 15), se han detectado los dos ojos o no se ha detectado ninguno (Figura 16).

Figura 15. Detección correcta de ojo derecho

Figura 16. Detección incorrecta de ambos ojos

Hemos realizado dos tipos de pruebas de validación utilizando esta aplicación. En un primer

conjunto de pruebas, validamos el correcto funcionamiento del sistema desarrollado en un Smartphone

modelo Samsung Galaxy S3 tratando de seguir los movimientos oculares de un sujeto que mueve los ojos

libremente mientras interactúa con el dispositivo. Este primer grupo de pruebas, además, nos ha

permitido identificar posibles limitaciones para un sistema de las características del desarrollado, así como


24

posibles factores a tener en cuenta para mejorar su eficiencia. En el segundo conjunto de pruebas

tratamos de verificar de forma más general el sistema desarrollado. Para ello, se tienen en cuenta los

resultados de las pruebas anteriores y se realizan pruebas con distintos dispositivos y sujetos en diversos

escenarios, utilizando tanto la cámara frontal como la trasera del dispositivo.

A partir del primer tipo de pruebas realizadas con un único sujeto y dispositivo móvil, se ha podido

observar que la detección de la pupila no dependía únicamente de estos parámetros. Por lo que se decide

realizar diversas pruebas cambiando los sujetos y los dispositivos móviles. Pero además, se comprobó que

la luz ejercía una influencia sobre la detección de la pupila, definiendo, además, tres tipos de escenarios

para realizar las pruebas de validación generales.

4.2.1 Tipos de dispositivos utilizados

Los dispositivos utilizados para las pruebas han sido tablets y smartphones. De los dispositivos

mencionados se detalla, en la Tabla 1, el tipo de dispositivo y las características de las cámaras que tiene.

Tabla 1. Dispositivos utilizados para las pruebas

Dispositivo Tipo de

dispositivo Cámara frontal

Cámara trasera

Procesador Memoria

Samsung Galaxy S3 Mini

Smartphone 5 mp 5 mp 1GHz doble núcleo ARM

Cortex-A9 8 a 16 GB

Sony Xperia T Smartphone 1,3 mp 13 mp 1.5GHz dual-core

Snapdragon S4 (Krait) 1 GB

Samsung Galaxy S3 Smartphone 1,9 mp 8 mp 1.4 GHz quad-core ARM

Cortex-A9 1 GB

Samsung Galaxy Tab Tablet 1,3 mp 3 mp ARM Cortex A8 512 MB

4.2.2 Descripción de los escenarios

Debido a que el Smartphone o la tablet se utilizan como eye-tracker, las características de los

dispositivos son los que limitan los resultados de las pruebas. Como se utiliza la cámara intrínseca a cada

dispositivo, para escoger los escenarios de las pruebas se ha pensado en las distintas posiciones del sujeto

y la cámara al realizar una fotografía.

El primer escenario en el que se ha pensado para realizar las pruebas ha sido colocar la luz en la

parte superior de la habitación para que incida sobre el sujeto y el dispositivo móvil, como se puede ver

en la Figura 17.


25

Figura 17. Escenario 1

El segundo escenario en el que se han realizado las pruebas ha sido colocando la luz detrás del

dispositivo móvil y enfrente del sujeto para que la luz este detrás de la cámara del dispositivo como se

aprecia en la Figura 18.


El tercer escenario utilizado para realizar pruebas ha sido colocando la luz delante del dispositivo

móvil, que es detrás del sujeto para que la luz dé de frente al dispositivo como se ve en la Figura 19.



26

4.2.3 Descripción de los sujetos

Los sujetos con los que se han realizado las pruebas son adultos entre 24 y 66 años de edad, con

nacionalidad occidental y de ambos sexos. Las características de los sujetos pueden ser que lleven gafas,

lentillas, los ojos pintados o sin ningún accesorio. Los sujetos tienen distinta fisonomía facial, algunos

tienen los ojos de menor tamaño que otros o el iris del ojo de distintos colores.

4.2.4 Descripción de las pruebas

Las pruebas realizadas han consistido en instalar la aplicación en los distintos dispositivos móviles

que se han utilizado. Una vez instalada la aplicación, se ha procedido a averiguar los resultados de acierto

en cada escenario con sujetos de diversas características. Para realizar las pruebas se han utilizado tanto

la cámara frontal como la trasera intrínseca de los distintos dispositivos móviles.

Las pruebas se han realizado por tipos y se numeran del 1 al 18 para poder representar las

características de cada prueba en ellas. Las columnas representan: el número de prueba, que es un

identificador para la gráfica, si el sujeto llevaba gafas o no, si llevaba lentillas o no, si tenía los ojos pintados,

si había luz general y la posición fuente de la luz, respectivamente al orden de las columnas de la Tabla 2.

Se puede observar que en todas las pruebas la luz general está a "Sí", esto significa que la prueba

se ha hecho en una habitación con una luz general a cierta altura o iluminada de forma general por luz

natural.

Tabla 2. Representación de los datos utilizados para realizar las pruebas.

Id. Prueba

Gafas (sí/no)

Lentillas (sí/no)

Ojos pintados (sí/no)

Luz general (sí/no)

Tipo escenario

1 No No No Sí Escenario1



4 No No Sí Sí Escenario1



7 No Sí No Sí Escenario1



10 No Sí Sí Sí Escenario1



13 Sí No No Sí Escenario1



16 Sí No Sí Sí Escenario1




27

4.3 Resultados

Para todas las pruebas realizadas con todos los dispositivos móviles, en el caso de “luz general”

con valor “No” significa que la habitación está a oscuras y la única fuente de luz es la que se indica en la

columna “Posición fuente de luz”, si la luz está encima o detrás del móvil los resultados son equivalentes

a los casos correspondientes según la columna “Posición fuente de luz”. Sin embargo, si la fuente de luz

está detrás del sujeto nunca consigue la detección.

Los resultados de las pruebas realizadas con los distintos dispositivos en cada escenario según las

características de los sujetos se encuentran recogidos en tablas en el anexo B. Para el análisis de los

resultados se ha decidió representar los datos en gráficas.

Como se puede ver en la Figura 20, el porcentaje de detección de la pupila con el Smartphone

Samsung S3 mini, utilizando la cámara trasera, tiene un porcentaje de detección de la pupila alrededor

del 90%. Cuando las pruebas se realizan en el escenario 3, que corresponde con la fuente de luz está

detrás del sujeto, (pruebas 3, 6, 9, 12, 15 y 18), el porcentaje de detección de la pupila se disminuye hasta

el valor de 10%, y en el caso de que el sujeto no lleve ningún accesorio aumenta hasta el 20%. En las

pruebas referentes a los sujetos con gafas, de la 13 a la 18, se nota que la detección de la pupila no tiene

un comportamiento fijo, sino que varía en cada caso. Por ejemplo, en la prueba 17, el sujeto utiliza gafas

y se alcanza un 100% de la detección de la pupila, mientras que en el caso 13, la detección esta alrededor

de un 50% de acierto. Como podemos observar, no hay mucha diferencia entre si el sujeto usa (de 7 a 12)

o no (de 1 a 6) lentillas, debido a que el porcentaje de detección en estas pruebas es aproximadamente

del 90% o mayor.

Figura 20.Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara trasera


Samsung S3 mini utilizando la cámara frontal, oscila entre el 80-90% en la mayoría de las pruebas. Si se

compara con los resultados de la cámara trasera, es visible que se ven reducidos entre un 10 y 20 % el


28

porcentaje de acierto. Igual que en el caso de la Figura 20, en las pruebas en las que el sujeto utiliza gafas

(17 a 18) el porcentaje de acierto se ve reducido como máximo un 60%.

Figura 21. Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara frontal


Sony Xperia T, utilizando la cámara trasera es elevado entre un 90-100% de acierto, como el dispositivo

anterior. Se puede observar que los resultados son muy similares a la detección del Samsung Galaxy Mini

S3 con la cámara trasera. Una vez más, los resultados de detección más inferiores se localizan entre las

pruebas 13 a la 18, que coinciden con las pruebas en los que los sujetos llevan gafas.

Figura 22. Pruebas con Smartphone el Sony Xperia T con la cámara trasera


Sony Xperia T, utilizando la cámara frontal es similar a los resultados con la cámara trasera de este mismo

dispositivo. La diferencia con la gráfica anterior es que el porcentaje de detección para la prueba 13


29

aumenta un 10% mientras que, en la prueba 15 disminuye un 40%. Como la prueba 15, tiene la

característica común de que la luz incide detrás del sujeto se han observado las demás pruebas con esa

condición. Las pruebas (3, 6, 9, 12, 15 y 18) cumplen con esa características y se puede observar que los

porcentajes en esas pruebas es alrededor de un 10% inferior que en las que la luz incide de otra forma.

Curiosamente, la cámara frontal de este dispositivo es de menos calidad que la trasera (ver Tabla 1) y

sorprendentemente, los resultados de la detección no lo demuestran.

Figura 23. Pruebas con Smartphone el Sony Xperia T con la cámara frontal

Como se puede ver en la Figura 24, el porcentaje de detección de la pupila con el Samsung Galaxy

S3, son similares a los dispositivos anteriores. Pero en este caso, en las pruebas (3, 6, 9, 12, 15 y 18) se

aprecia que la detección de las pupilas disminuye considerablemente. Observando las condiciones de esas

pruebas, se puede ver, que tienen en común, que la luz se encuentra detrás del sujeto. Lo que nos indican

los resultados es que este dispositivo tiene un menor porcentaje (entre un 20-60%) de detección en esa

condición. Además entre la prueba 13 hasta la 18, la detección de la pupila también disminuye debido a

que el sujeto utiliza gafas.


30

Figura 24. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera

Como se puede ver en la Figura 25, el porcentaje de detección de la pupila con el Samsung Galaxy

S3, es inferior alrededor de un 10% con respecto a la cámara frontal. En general, los resultados oscilan

entre 80 y un 100%, por lo que no diferencian mucho de los resultados de la cámara trasera. Pero, en las

pruebas 3, 9 y 15, se aprecia que la detección de las pupilas disminuye considerablemente con respecto

al porcentaje de acierto de detección de la gráfica. Observando las condiciones de esas pruebas, se puede

ver que tienen en común que la luz se encuentra detrás del sujeto. Todos estos resultados nos indican

que este dispositivo con la cámara frontal, tiene un menor porcentaje de detección en esa condición.

Figura 25. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal

Con respecto a las pruebas realizadas con la tablet Samsung Tab usando la cámara trasera (Figura

26) se observa que son similares a los demás dispositivos. Destacando que la detección de la pupila

disminuye entre las pruebas 12 y 18, debido a que el sujeto utiliza gafas.


31

Figura 26. Pruebas con tablet Samsung Tab con la cámara trasera

En el caso de las pruebas realizadas con la Samsung Tab utilizando la cámara frontal (Figura 27),

se observa que los resultados oscilan entre un 60 y un 70% mientras que los demás dispositivos alcanzaban

en algunas pruebas un porcentaje de acierto del 100%. Debido a que todas las pruebas están realizadas

en las mismas condiciones y se van cambiando los dispositivos, se ha de tener en cuenta, que en este caso

el problema debería ser alguna característica del dispositivo (ver Tabla 1). Para estas pruebas, el

porcentaje de acierto de detección de la pupila puede verse afectado tanto por el número de megapíxeles

que dispone la cámara frontal como la poca capacidad de memoria de la dispone el dispositivo. En los

resultados de estas pruebas, se puede comprobar, con más claridad, que la característica de que el sujeto

utilice gafas y la posición de la luz complica la detección de la pupila.

Figura 27. Pruebas con tablet Samsung Tab con la cámara frontal


32

4.3.1 Análisis de los resultados

Después de observar las gráficas, mirar las características de cada prueba y los resultados de éstas,

se puede concluir que:

La detección depende mucho de la posición de la cara del usuario respecto al dispositivo, tanto

en distancia como en ángulo. Esta conclusión se ha basado en las pruebas realizadas con un único

sujeto y el dispositivo Samsung S3.

El funcionamiento es independiente de la posición de la fuente de luz siempre que ésta esté a

cierta altura (ej. luz de techo o lámpara de pie), quitando alguna situación muy específica (ej. en

una habitación oscura con una única fuente de luz detrás del usuario) Si se encuentra a la misma

altura que la cabeza del sujeto, en general funciona mejor si está detrás del dispositivo (pruebas

2, 5, 8, 11, 14 y 17).

Los resultados apenas se ven modificados por el uso (prueba de 7 a 12) o no (prueba de 1 a 6) de

lentillas. Si se compara en las distintas gráficas con los diversos dispositivos el porcentaje de

detección de pupila entres estas pruebas, se puede apreciar que hay un comportamiento similar

en ambos tipos de pruebas.

En el caso de los ojos pintados (pruebas de 4 a 6, de 10 a 12, de 16 a 18), afecta al resultado de la

prueba dependiendo de la posición de la luz.

En los usuarios con gafas (pruebas de 12 a 18), el resultado varía notablemente con la posición de

la luz en es el escenario. Esto, se cree, que puede deberse a la forma en que se refleja la luz en el

cristal de la gafa. En estos casos es bastante habitual que sólo se detecte una pupila.


33

5 CONCLUSIONES Y TRABAJO FUTURO

5.1 Conclusiones

A lo largo de la historia de los ordenadores primero, y luego en otros dispositivos como las

tabletas, teléfonos móviles, pantallas de información, cajeros automáticos, etc. es necesaria una manera

de interaccionar con ellos. A la vez que surgieron las primeras máquinas, surgieron también las primeras

interfaces, como tarjetas perforadas, teclados o posteriormente, ratones o pantallas táctiles.

La llegada al mercado de los Smartphone, y posteriormente las tabletas, abrió la puerta a la

interfaz táctil en estos sistemas. El uso de pantallas táctiles como interfaz de comunicación con un

dispositivo móvil implica la necesidad de utilizar las manos para interaccionar con él. Sin embargo, existen

casos en los cuales no se puede o no es conveniente hacer uso de las mismas, ya sea porque el usuario

tiene algún tipo de discapacidad o lesión temporal, o por el simple hecho de no poder usarlas, por tenerlas

ocupadas en ese momento. En estos casos, una alternativa ampliamente utilizada son las interfaces de

interacción por voz.

Sin embargo, de nuevo, existen situaciones donde no se puede utilizar el control por voz:

ambientes muy ruidosos o por el contrario que requieren silencio. En este escenario cada día cobra mayor

fuerza el uso de interfaces hombre-máquina en las que la interacción con el Smartphone se realiza a

oulares (Gaze Gestures), para lo cual es necesaria la tecnología de eye-tracking o seguimiento de los ojos.

En este proyecto se han analizado distintos algoritmos para implementar los mecanismos de detección

de la pupila en el propio Smartphone y se ha desarrollado un sistema capaz realizar un seguimiento del

movimiento de los ojos de un usuario de un dispositivo Android.

Lo primero que se ha llevado a cabo en el proyecto ha sido el diseño e implementación del

prototipo de la aplicación que realiza la detección de las pupilas, utilizando los módulos de las librerías de

OpenCV. Para, a continuación, poder instalarlo en distintos dispositivos móviles y realizar pruebas de

validación en distintos escenarios a diversos sujetos.

A la vista de los resultados obtenidos durante las pruebas realizadas, cabe destacar que el objetivo

de implementar un sistema que use la tecnología de Eye-tracking utilizando el hardware y el software

intrínseco al dispositivo móvil se ha conseguido. Aun así, se han encontrado situaciones en las que el

sistema desarrollado no detecta las pupilas del usuario de forma correcta. Principalmente los fallos en la

detección se producen ante determinada configuración de las fuentes de luz o en las pruebas en las que

el sujeto utiliza gafas. A continuación se pasarán a exponer tanto las ventajas como los inconvenientes del

sistema propuesto.


34

Ventajas

La principal ventaja del sistema propuesto es que un mecanismo no intrusivo que no requiere de

ningún tipo de dispositivo especial. El sistema funciona, con las limitaciones identificadas, en cualquier

dispositivo Android con una cámara. Esta característica hace que la aplicación sea usable en cualquier

ámbito ya que solo dependes de transportar de sitio el dispositivo.

En nuestro caso, las pruebas se han realizado principalmente con dispositivos Android pero gracias

al uso de la librería multiplataforma OpenCV, los algoritmos desarrollados se podría utilizar de forma

sencilla como interfaz de comunicación tanto con un ordenador con cualquier sistema operativo (en

nuestro caso se han realizado pruebas con ordenadores Linux), como con tablets y smartphones con

sistema operativo iOS (iPhones y iPads).

Inconvenientes y limitaciones

La correcta detección de la pupila se ve afectada por la posición de la luz con respecto a la cámara,

el modelo de gafas que puede llevar el sujeto y el ángulo y la posición del dispositivo frente al sujeto. Esto

hace que, en cierta medida, el control del dispositivo sea limitado ya que es necesario no mover la cabeza

para realizar un correcto seguimiento de las pupilas.

A pesar de estos inconvenientes, los resultados de las pruebas que se han hecho en este trabajo

apoyan la hipótesis de que es posible realizar un algoritmo de eye-tracking que utilice las características

intrínsecas del dispositivo, sin necesidad de otros accesorios.

5.2 Trabajo futuro

El trabajo futuro a realizar sobre el sistema de eye-tracking desarrollado se dirigiría

principalmente a limitar los inconvenientes identificados durante las pruebas. En el caso de las

limitaciones encontradas respecto a la dependencia de la detección de la pupila del usuario de la posición

de la luz con respecto a la cámara una posible mejora consistiría realizar ajustes en las propiedades de la

cámara a través del software para mejorar la calidad de obturación de ésta.

Con respecto a la limitación existente si el usuario mueve la cabeza, se podría solventar con el uso

de un sistema de head mounted, es decir, el eye-tracker se colocaría sobre la cabeza, como en unas gafas

o una gorra. Una forma de hacerlo sería colocar la cámara y las luces, además de una alimentación para

las mismas, en unas gafas, similares a las que se proponen en Project Glass de Google (Goo)]. Este proyecto

va enfocado a crear unas gafas de realidad aumentada, las cuales sirven para que con los ojos, mediante

eye-tracking, y con comandos de voz se pueda obtener información de un smartphone sin usar las manos,

dando la capacidad de realizar acciones tales como leer el correo, acceder a la agenda, etc.

Otra línea de investigación a realizar sobre el sistema de eye-tracking se podría centrar en realizar

un sistema de interfaz hombre-máquina que utilicen gestos oculares para la interacción con el dispositivo,

utilizando el sistema de eye-tracking desarrollado en este proyecto para realizar el seguimiento de la


35

pupila. Este sistema de gaze-gestures, debería iniciar su funcionamiento de reconocimiento de gestos

oculares leyendo el módulo de salida que nos proporciona el sistema de eye-tracking implementado.

Una posible mejora a realizar al sistema sería modificar la manera de almacenar las coordenadas

de una manera más eficiente para permitir la comunicación entre aplicaciones de manera más fluida y

eficiente.

Además de su aplicación para la investigación de interfaces hombre-máquina que utilicen gestos

oculares, el sistema desarrollado puede utilizarse en otros campos de aplicación Estos campos son

aquellos que actualmente tienen aplicaciones basadas en eye-tracking, comentadas en apartados

anteriores, como puede ser marketing. Actualmente, cada vez más se utiliza la tablet o el smartphone

para navegar por Internet, por lo que con un sistema de eye-tracking para una aplicación Android

permitiría hacer mapas de calor para los sujetos que navegan con estos dispositivos.

Otra posible aplicación en la que se podría investigar, sería utilizar esta aplicación de eye-tracking

para conseguir una medición de la atención de una persona al utilizar el móvil.


36


37

6 REFERENCIAS

Almacenamientos en Android [En línea]. - http://developer.android.com/training/basics/data-

storage/files.html.

Android (And1) - Ejemplo de primera app [En línea]. -

http://developer.android.com/training/basics/firstapp/running-app.html.

Android (And) - Instalación adt [En línea]. - http://developer.android.com/sdk/installing/installing-

adt.html.

Bradsky G. y Kaehler A. Learning OpenCV. Computer Vision with the OpenCV Library. [Publicación

periódica]. - 2008.

Buswell G. T. How people look at pictures: a study of the psychology and perception [Publicación


Documentación OpenCV (Doc) [En línea]. - http://docs.opencv.org/.

Documentación OpenCV (Doc1)[En línea]. - http://opencv.org/documentation.html.

Documentación OpenCv y Eclipse (Doc2) ( [En línea]. -

http://docs.opencv.org/doc/tutorials/introduction/linux_eclipse/linux_eclipse.html#linux-eclipse-usage.

Documentación OpenCV (Doc3) - Paquete de Android [En línea]. -

http://docs.opencv.org/doc/tutorials/introduction/android_binary_package/O4A_SDK.html#o4a-sdk.

Documentacion OpenCV (Doc4)- Instalación en Linux [En línea]. -

http://docs.opencv.org/doc/tutorials/introduction/linux_install/linux_install.html#linux-installation.

Dodge R. Recent studies in the correlation of eye movement and visual perception. Psychological

Bulletin [Publicación periódica]. - 1906. - págs. 3(3), 85‐92.

Dodge R., & Cline, T. S. The angle velocity of eye movements. Psychological Review [Publicación

periódica]. - 1901. - págs. 8(2), 145‐157..

Duchowski A. Eye-Based Interaction in Graphical Systems: Theory & Practice. Potential Gaze-Contingent

Applications. [Publicación periódica]. - 2000.

Duchowski A. T. Eye Tracking Methodology [Libro]. - London : Springer, 2007.

Eclipse IDE (Ecl) [En línea]. - http://www.eclipse.org/.

Eclipse IDE (Ecl1) - Descarga [En línea]. - http://www.eclipse.org/downloads/.

Eclipse IDE completo (Ecl2) [En línea]. - http://developer.android.com/sdk/index.html.

Google (Goo) [En línea]. - https://plus.google.com/+projectglass .

Harware device (Har) [En línea]. - http://developer.android.com/tools/device.html.


38

Hiley J. B., Redekopp, A. H., and Fazel-Rezai, R A lowcost human computer interface basedoneye

tracking. [Conferencia]. - [s.l.] : ConfProc IEEE EngMedBiolSoc1, 2006. - págs. 3226–3229..

Huey E. B. Preliminary Experiments in the Physiology and Psychology of Reading. American Journal of

Psychology [Publicación periódica]. - 1898. - págs. 9, 575‐886..

Jacob R.J.K. Eye Tracking in Advanced Interface Design [Libro]. - Oxford UniversityPress, New York :

Virtual Environments and Advanced Interface Design, ed. by W. Barfield and T.A. Furness, 1995. - págs.

258-288.

Javal E. Essai sur la Physiologie de la Lecture. Annales D'Oculistique [Publicación periódica]. - 1879. -

págs. 81, 61‐73..

Just M. & Carpenter, P. A theory of reading : From eye fixations to comprehension. Vol. 87. [Publicación


Moreno Martín Tamara Diseño, implementación y vaidación de un sistame de control para

smarthphone basado en la tecnología de gaze-gestures [Informe]. - 2013.

OpenCV (Ope) [En línea]. - http://opencv.org/.

OpenCV Manager (Ope1) [En línea]. - http://docs.opencv.org/trunk/opencv2manager.pdf.

OpenCV (Ope2) - Ejemplo [En línea]. -

http://docs.opencv.org/doc/tutorials/introduction/display_image/display_image.html.

OpenCV (Ope3) Manager - Instalación [En línea]. -

http://docs.opencv.org/platforms/android/service/doc/UseCases.html#manager-selection.

Posner I. Orienting of attention. Quarterly Journal of Experimental Psychology [Publicación periódica]. -

1980. - págs. 32, 3-25.

Rayner K. Eye movements in reading and information processing: 20 years of research [Publicación

periódica]. - 1998. - págs. 124(3), 372‐422..

Rozado D., Rodriguez, F. B., and Varona, P. Extending the bioinspired hierarchical temporal memory

paradigm fo sign language recognition. Neurocomputing. [Publicación periódica]. - 2012. - Vol. 79. -

págs. 75–86.

Scopus (Sco) [En línea]. - http://www.scopus.com/.

Viola P. Jones M. Rapid Object Detection using a Boosted Cascade of Simple Features, [Libro]. - [s.l.] :

Computer Vision and Pattern Recognition, 2001.

Web NDK [En línea]. - http://developer.android.com/tools/sdk/ndk/index.html.

Web SDK [En línea]. - http://developer.android.com/sdk/index.html.

Yang M.-H. y Kriegman D. and Ahuja, N. Detecting Faces in a Survey [Conferencia] // IEEE Transactions

on Pattern Analysis and Machine Intelligence. - 1994. - Vols. 24, nº1.

Yarbus A. L. Role of eye movements in the visual process [Publicación periódica]. - 1965.


39

ANEXO A

Instalación de entorno de desarrollo

En este punto se van a exponer los pasos que se han seguido para conseguir la correcta instalación

del entorno necesario para el desarrollo del proyecto que se describe en esta memoria de Trabajo Fin de

Grado (TFG). El sistema operativo sobre el que se ha decidido instalarlo es Linux, en este caso Ubuntu

13.04 pero los pasos a seguir serían muy similares para cualquier sistema operativo.

Instalación OpenCV

El primer paso a llevar a cabo ha sido la instalación de la librería OpenCV en el sistema operativo.

Está instalación se ha realizado siguiendo los pasos de la guía de instalación disponible en la web de la

librería (Doc4). La documentación que proporciona la librería OpenCV es muy completa, pero en algunos

casos es difícil ya que la información está repartida en múltiples documentos por lo que hay que navegar.

Los paquetes necesarios para la instalación de OpenCV son:

GCC 4.4.x o posterior. Se puede instalar con: sudo apt-get install build-essential

CMake 2.6 o posterior

Git

GTK+2.x o posterior, incluyendo (libgtk2.0-dev);

pkgconfig;

Python 2.6 o posterior y Numpy 1.5 o posterior con los paquetes para desarrolladores (python-

dev, python-numpy);

ffmpeg or libav development packages: libavcodec-dev, libavformat-dev, libswscale-dev;

[optional] libdc1394 2.x;

[optional] libjpeg-dev, libpng-dev, libtiff-dev, libjasper-dev.

Una vez instalados los paquetes mencionados, es necesario obtener el código de la librería. Existen

múltiples opciones para obtener el código de la librería de OpenCv. De todas ellas, en nuestro caso se ha

elegido realizar la descarga del apartado "Getting the Latest Stable OpenCV Version". Una vez descargado

y descomprimido, se construye y se instala desde línea de comando (puede ocurrir que la instalación

requiera algún paquete más de los ya instalados, en ese caso se procede a su instalación mediante el

comando apt).

Una vez que se han realizado los pasos anteriores la librería se ha instalado en el sistema operativo


40

y cualquier programa podrá referenciarla y utilizarla. Para comprobar que se ha instalado correctamente

la librería OpenCV en nuestro sistema operativo se utiliza un pequeño ejemplo en C++ que recomienda la

propia librería (Ope2). Es un ejemplo muy sencillo que sirve para un primer contacto con las librerías de

OpenCV. Este ejemplo nos muestra una imagen en una ventana utilizando los módulos core y highgui de

la librería, que es la librería que se usa para controlar la interfaz.

Instalación de Eclipse

A continuación, se exponen los pasos que se han seguido para instalar Eclipse. En nuestro caso, se

ha decidido utilizar Eclipse IDE (Ecl1)que permite la programación de aplicaciones en Android utilizando

OpenCV, como se explicó en el apartado de diseño y desarrollo de esta memoria.

Hay dos situaciones en la que nos podemos encontrar, la primera de ellas es que ya tengamos

instalado Eclipse IDE y la segunda es que no lo tengamos el IDE. Para la primera de las situaciones,

podemos añadir el plugin ADT al IDE ya instalado. Para la segunda situación, existen versiones de Eclipse

[ (And1), (Ecl2) ] que vienen integradas con todo lo necesario para la programación de una aplicación en

Android sin necesidad de añadir un plugin aparte o la instalación de diferentes conjuntos de herramientas

como el kit de desarrollo de software (SDK, siglas en inglés de Software Development Kit) (Web SDK). Es

necesario instalar el kit de desarrollo nativo (NDK, siglas en inglés de Native Development Kit) (Web NDK),

ya que es un conjunto de herramientas que permite implementar partes de la aplicación utilizando

lenguajes de código nativo como C y C++. Además es necesario utilizar la interfaz nativa de Java (JNI, siglas

en inglés de Java Native Interface), que tanto ésta como NDK nos permiten la comunicación de lenguaje

nativo de C++ con Android. Para poder realizar este proyecto, es necesaria la instalación de todos los

conjuntos de herramientas mencionados, ya que se utiliza código en C++ para el Eye Tracking.

Para comprobar la correcta instalación del entorno de desarrollo, se realiza un proyecto nuevo de

C++ en Eclipse siguiendo los pasos del tutorial (Doc4)]. Lo primero que se hace es crear un proyecto nuevo

vacío de C++. Después, se crea una carpeta dentro del proyecto, donde se ha puesto los ficheros que

contienen el código. Denominamos al fichero como DisplayImage.cpp e introducimos un código que

realiza la función de leer una ruta de una imagen que se le pasa por argumento. Se define el tamaño de la

ventana en la que se va a mostrar la imagen, que debe estar en dicha ruta, y se ejecuta una función para

que muestre la imagen por pantalla.

Por último, se debe indicar al proyecto que debe linkarse con la librería de OpenCV. Para conseguir

que el proyecto que hemos creado se una con esta librería, lo que se ha hecho ha sido acceder a las

propiedades del proyecto y en el apartado de GCC C++ Compiler, en Include paths(-l) se ha introducido

/usr/local/include/opencv. Luego, Libraries(-l) se han añadido las librerías de OpenCV, para este proyecto

de prueba fueron necesarias opencv_core, opencv_imgproc y opencv_highgui.

Una vez configurado todo lo necesario para el programa prueba, se ha procedido a compilar y

linkar el proyecto. Después se ha ejecutado y como resultado se ha podido ver la imagen que se introdujo

en el parámetro, que era el objetivo de esta pequeña prueba.


41

Ejecución de la aplicación

Para probar el funcionamiento de la aplicación que se va a desarrollar en Android hay dos formas,

se puede probar en un emulador virtual que nos proporciona el propio Eclipse debido al plugin de Android

o en el dispositivo móvil. Para la configuración del emulador se utilizado la herramienta de Android

siguiendo el tutorial (And1). En cambio, para poder ejecutarlo en el dispositivo móvil primero hay que

instalarlo en el sistema operativo para que lo reconozca.

Para instalar el Hardware Device (Har), es necesario abrir o crear el fichero /etc/udev/rules.d/51‐

android.rules como root y añadir la línea SUBSYSTEM=="usb", ATTR{idVendor}=="0bb4", MODE="0666",

GROUP="plugdev" donde el idVendor debe ser sustituido por el identificador de la marca del Hardware

Device (ver ¡Error! No se encuentra el origen de la referencia.). En nuestro caso, añadimos al fichero

SUBSYSTEM=="usb", ATTR{04e8}=="0bb4", MODE="0666", GROUP="plugdev". Se cierra el fichero y se

ejecuta chmoda+r /etc/udev/rules.d/51‐android.rules

Tabla 3. Identificador de las compañías más populares para instalar el dispositivo móvil

Compañía idVendor

Acer 0502

ASUS 0b05

HTC 0bb4

Huawei 12d1

LG 1004

Motorola 22b8

Samsung 04e8

Sony 054c

Sony Ericsson 0fce

Una vez instalado todo lo anterior, se comprueba el correcto funcionamiento de los ejemplos

(Doc3)], que vienen en la carpeta de OpenCV tanto en el ordenador como en el dispositivo móvil. Para

poder probar los ejemplos, es necesario el OpenManager. La instalación del OpenManager en el

ordenador se ha realizado mediante línea de comandos (Ope3), en nuestro caso el comando ejecutado

fue adbinstall /home/…/OpenCV-2.4.6-android sdk/apk/OpenCV_2.4.6_Manager_2.9_armeabi.apk.

En el caso del móvil, se ha accedido a Google Play para descargar e instalar. Una vez que termina

la instalación, se ejecuta el ejemplo de OpenCV en el emulador o en el móvil y ofrece la posibilidad de

instalarlo dentro del dispositivo, se confirma la acción y cuando finaliza aparece la ejecución de la

aplicación que se está probando.

Una vez realizados estos pasos se tiene la completa instalación, siendo posible ejecutar cualquier

aplicación Android que utilice OpenCV tanto en el ordenador como en el móvil.


42


43

ANEXO B

Para abreviar los valores en la tabla, se utilizan I = pupila izquierda, D = pupila derecha y I-D las

dos pupilas. El símbolo % indica el porcentaje de detección correcta en esa pupila.

Tabla 4. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara trasera

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D

1 No No No Sí Escenario1 100 100 100



4 No No Sí Sí Escenario1 100 100 100



7 No Sí No Sí Escenario1 95 95 95



10 No Sí Sí Sí Escenario1 100 100 100



13 Sí No No Sí Escenario1 85 50 50



16 Sí No Sí Sí Escenario1 75 60 40




44

Tabla 5. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara frontal

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D




















45

Tabla 6. Pruebas con Smartphone el Sony Xperia T con la cámara trasera

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D




















46

Tabla 7. Pruebas con Smartphone el Sony Xperia T con la cámara frontal

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D




















47

Tabla 8. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D




















48

Tabla 9. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D




















49

Tabla 10. Pruebas con tablet Samsung Tab con la cámara trasera

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D




















50

Tabla 11. Pruebas con tablet Samsung Tab con la cámara frontal

Id. Pruebas

Gafas (sí/no)

Lentillas (sí/no)



Tipo escenario

%I %D %I-D



















trabajo fin de grado - uamir.ii.uam.es/~fdiez/tfgs/gestion/leidos/2014... · entender la...

Documents