jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Dra. Sandra Baldassarri sandra@unizar.es

Computación Afectiva.

Aplicación educativa para TVDi

“There can be no knowledge without emotion. We may be aware of

a truth, yet until we have felt its force, it is not ours. To the cognition

of the brain must be added the experience of the soul.”

Arnold Bennett (1867-1931)

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Resumen

La computación afectiva es el área que se centra

en investigar cómo se usan las emociones en los

sistemas informáticos. Para ello abordaremos los

siguientes temas:

– ¿Qué son las emociones?

– ¿Qué papel tienen las emociones? ¿son importantes?

¿para qué?

– ¿Qué es la computación afectiva?

– ¿Es útil la computación afectiva? Algunos ejemplos...

– Uso de la Computación afectiva en una aplicación

educativa en TVDi.

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

¿Qué son las emociones?

• Emociones comunes: alegría, tristeza, miedo,

enfado, sorpresa, disgusto

• Las emociones son reacciones psicofisiológicas

que representan modos de adaptación a ciertos

estímulos: – Sentimientos subjetivos (la emoción a la que nos referimos)

– Tendencia a hacer algo (preparación de una acción)

– Expresión de la emoción (facial, corporal,…)

– Evaluación de la situación (evaluación congitiva, pensada)

– Activación fisiológica (ritmo cardíaco, ritmo respiratorio)

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

¿Qué son las emociones?

• Sin embargo, no hay consenso sobre muchas

de las cuestiones relacionadas con las

emociones:

– ¿Es la sorpresa una emoción?

• Algunos piensan que siempre, otros que sólo a veces

– ¿Se puede sentir una emoción sin ser consciente de ella?

• Ej: celos, encaprichamiento

– ¿Debe tener una emoción, para serlo, alguna manifestación

fisiológica medible?

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

¿Qué son las emociones?

Expresión de las emociones:

• A pesar de la diversidad de teorías sobre las emociones,

en lo que hay consenso es en las propiedades

observables de las emociones.

Evidentes para los demás:

• Expresión facial

• Entonación de voz

• Gestos

• Movimientos

• Postura

• Dilatación de pupilas

• Color de la piel

No tan evidentes para los demás:

• Respiración

• Latidos, pulso

• Temperatura

• Sudoración

• Potenciales de acción de músculos

• Presión sanguínea

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

¿Son importantes las emociones?

• Emociones e Inteligencia:

Frente a la contraposición tradicional entre emoción e intelecto, las teorías más recientes indican la importante influencia de las emociones en los mecanismos del pensamiento racional.

• En particular las emociones parecen jugar un esencial en: • El aprendizaje

• La memoria a largo plazo

• La toma de decisiones

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Computación Afectiva

• “If we want computers to be genuinely intelligent and to interact naturally with us, we must give computers the ability to recognize, understand and even to have and express emotions”

Rosalind Picard (MIT)

Affective Computing

MIT Press 1997

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Computación Afectiva

La Computación Afectiva es un campo emergente cuyo objetivo es

el desarrollo de sistemas inteligentes capaces de dotar a un

ordenador con la habilidad de reconocer, interpretar, procesar y

expresar emociones.

Expresión de las emociones a

través diferentes canales, visibles

o no visibles: expresiones faciales,

gestos, voz, señales biológicas…

Computación afectiva: capturar la

información afectiva y analizarla

para mejorar la interacción con el

usuario.

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Computación Afectiva

Concretamente, un ordenador con capacidades afectivas debería ser capaz de:

• Reconocer emociones

• Expresar emociones

• Sentir emociones

• Poseer inteligencia emocional

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Reconocer emociones

La captura y reconocimiento de las emociones se suele basar en:

– La voz (modulación, tono, volumen)

– Las expresiones faciales o corporales

– Señales biológicas:

– resistencia galvánica de la piel

– electromiogramas

– temperatura

– pulso

– …

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Reconocer emociones

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Reconocer emociones

• Captura y reconocimiento del estado afectivo del usuario

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Reconocer emociones

• Captura y reconocimiento del estado afectivo del usuario

en tiempo real

Clasificación emocional facial

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Reconocer emociones

• Aplicación a los videojuegos: Proyecto NeuroGame

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Expresar emociones

¿Cómo demostramos las emociones?

– El requerimiento básico es tener canales de comunicación que permitan comunicar las emociones a través de ellos: • voz (entonación, velocidad)

• imagen (cuerpo, cara, movimiento)

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Expresar emociones

• La forma más usual de expresar (y reconocer) emociones es a través de las expresiones faciales.

Expresión de emociones en actores virtuales

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Kismet

Sentir emociones

• R. Picard propuso un modelo de cinco componentes,

todas ellas necesarias en un sistema que “tenga”

emociones:

– Emociones emergentes (Mac sonriendo al arrancar)

– Emociones primarias (innatas, reactivas)

– Emociones cognitivas (satisfacción por un logro)

– Experiencia emocional

– Consciencia de las propias emociones

– Manifestaciones fisiológicas

– Interacciones cuerpo-mente

– Las emociones afectan a la cognición

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Inteligencia emocional

• Un ordenador con inteligencia emocional

debería ser capaz de:

• Entender y expresar sus emociones

• Regular sus emociones

• Reconocer las emociones en otros (cuáles son sus

motivaciones, preferencias, etc..)

• Utilizar las emociones con uno mismo y con los demás

para generar comportamientos adaptativos y plantear

objetivos cognitivos avanzados (aprendizaje,

creatividad, motivación, etc.)

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Aplicaciones

• Tutores “afectivos” (MIT, USA)

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Aplicaciones

• Aplicaciones adaptables para personas

con autismo

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Aplicaciones

Kismet (C. Breazel)

• Uso de una cabeza robótica humanoide que expresa

emociones para estudiar:

– El efecto de las emociones en la IPO

– Aprendizaje de comportamientos sociales de los robots durante

juegos entre humanos y robots

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Aplicaciones

Robots de compañía

• Aibo (Sony, Japón)

• I-Cat (Philips, NL)

• Paro (Wanda et al, Japón)

• Huggable (MIT, USA)

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Aplicaciones

SIMS 2

• Entretenimiento: las emociones se utilizan para dar más

realismo a los videojuegos

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Intérprete virtual de Español a LSE Tutores virtuales

Presentadores virtuales

http://giga.cps.unizar.es/affectivelab

Aplicaciones

Juegos para niños

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Computación Afectiva.

Aplicación educativa para TVDi

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Aplicación educativa para TVDi

• “T-learning”: Aprendizaje interactivo basado en TV

– Ventajas: medio masivo, conocido por todos los usuarios, fácil

acceso por parte de los usuarios.

– Desventaja: STBs tienen menor potencia que los PCs.

• En la mayor parte de las aplicaciones existentes, el

aprendizaje via TVDi se centra más en entretenimiento

que en enseñanza formal.

• Para lograr un aprendizaje eficiente, es necesario

desarrollar aplicaciones de t–learning “inteligentes”.

Introduction

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Aplicación educativa para TVDi: T-EDUCO

Introduction

Internet

Router

IDTV set-top-box

BROADCASTER

USER

· Feedback from the user

· Personalized learning contents

El sistema permite que un tutor a

distancia pueda obtener información

académica y emocional de los

estudiantes.

En la aplicación se integra un método

novedoso de reconocimiento de

expresiones faciales.

La interacción tutor/estudiante es

similar a la enseñanza tradicional:

El tutor puede adaptar los contenidos

de aprendizaje dependiendo del

progreso académico y del estado

emocional del usuario.

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

T-EDUCO. Arquitectura general

• ESTUDIANTE:

– Accede a la aplicación broadcast de

aprendizaje a través de un STB con

capacidad de comunicación IP .

– La aplicación controla a una cámara

IP.

– Los videos del estudiante se guardan

para procesarlos posteriomente en un

servidor de video externo y extraer el

estado emocional.

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

T-EDUCO. Arquitectura general

• TUTOR:

– Accede a la información del

estudiante a través de la

plataforma Moodle.

– Puede ver el progreso del

estudiante en el curso (nº de

lecciones que ha completado,

módulos y ejercicios

realizados, etc.) y la

información emocional

capturada por medio de los

videos.

A t-learning tutoring tool that cares

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

T-EDUCO: Procesamiento de la información

emocional

• Paso 1: Las entradas de video grabadas de los

estudiantes se analizan, frame a frame, por un

sistema automático de reconocimiento emocional

continuo.

• Paso 2: La salida del sistema representa emociones

en una localización específica (x;y) en el espacio

emocional (espacio de Whissell).

• Paso 3: Se construye un log emocional relacionando

las emociones experimentadas y las tareas

realizadas en el sistema.

A method for continuous facial affect recognition

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

T-EDUCO: Procesamiento de la información

emocional

2D EMOTIONAL RECOGNITION

tk

VIDEO

SERVER

Video

stream

“EMOTIONAL KINEMATICS” FILTERING

Emotional log for the tutor

t

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

T-EDUCO: Evaluación

• La aplicación se ha evaluado con usuarios reales en un

estudio piloto emitido en Sevilla por la RTVA (Radio

Televisión de Andalucía).

• Curso de “Asistencia en el hogar” de 28 horas.

• Participaron 30 estudiantes, trabajadores en el sector de

la salud (que accedían desde sus hogares) y 5 tutores.

• Los resultados del uso de la aplicación, y en particular,

del seguimiento afectivo, fueron altamente satisfactorios.

A method for continuous facial affect recognition

jAUTI 2012:

I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva

Dra. Sandra Baldassarri sandra@unizar.es

¡Gracias por vuestra atención!