detecciÓn y regulaciÓn inteligente de emociones en ancianos josé miguel latorre postigo unidad de...
TRANSCRIPT
![Page 1: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/1.jpg)
DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS
José Miguel Latorre Postigo
Unidad de Psicología Cognitiva Aplicada
Instituto de Investigación en Discapacidades Neurológicas (IDINE)
Universidad de Castilla-La Mancha
![Page 2: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/2.jpg)
1. ESQUEMA GENERAL DEL PROYECTO¿Qué objetivos pretendemos alcanzar?
![Page 3: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/3.jpg)
¿Qué pretendemos alcanzar?• PRIMERO
• Desarrollar un sistema capaz de detectar emociones a través de la expresión facial y la respuesta fisiológica.
• Adaptar el sistema para su uso con ancianos.
• SEGUNDO• Desarrollar un sistema de regulación de las emociones, mediante
el uso de estímulos como color, iluminación, paisaje sonoros, música o recuerdos autobiográficos, entre otros.
• Adaptar el sistema para su uso con ancianos.
![Page 4: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/4.jpg)
![Page 5: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/5.jpg)
RECOGNIZED EMOTIONS
Ground truth data
EMOTION REGULATION
Data mining techniques for emotion regulation.
Emotions & brain electrical and spatial activity data fusion.
Data Fusion and Mining
Emotion Interpretation and Regulation
Emotion-tailored music / sounds, colors and lightning conditions.
![Page 6: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/6.jpg)
EMOTION-TAILORED MUSIC/SOUNDS, COLORS AND LIGHTS; ROBOT BEHAVIORS
AMBIENT ADAPTATION
Ambient Intelligence
An intelligent system is in charge of adapting the ambience towards regulating emotions. No private information is sent outside the system.
Smart AmbientAssessment
System tuned to regulate specific emotions in the ambience.
![Page 7: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/7.jpg)
2. DETECCIÓN DE EMOCIONESProcedimientos para la inducción y detección de emociones
![Page 8: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/8.jpg)
Emoción
Experiencia subjetiva:
sentimientos
Activación fisiológica
Conducta expresiva:
comportamiento
![Page 9: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/9.jpg)
![Page 10: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/10.jpg)
![Page 11: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/11.jpg)
![Page 12: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/12.jpg)
Detección de emociones a través de la expresión facial• Reconocimiento de emociones a través de la expresión
facial en tiempo real• Análisis de la Expresión Facial
• Detección de emociones a través de la Expresión Facial
![Page 13: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/13.jpg)
1. Detection of facial points
• Active shape models are used for the
detection of facial points
• ASM are statistics models about the
possible shapes of an object• Several models • Databases:
• IMM: 37 images, 58 points• BioID: 1521 images, 20 points• XM2VTS: 2360 images, 68 points
• XM2VTS generates the most suitable model
Facial Expression Analysis
![Page 14: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/14.jpg)
• Eyebrow Features
Facial Expression Analysis
2. Feature extraction
Eye Features
Mouth-Nose Features
![Page 15: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/15.jpg)
•Fear Disgust Surprise
Hits
Data and Results:Emotion Detection in Images
4. Detection of emotionsHappiness Sadness Anger
Neutral
![Page 16: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/16.jpg)
Emotion: Happiness
Predicted: Disgust
Emotion: Anger
Predicted: Disgust
Data and Results:Emotion Detection in Video
Wrong Predictions
Emotion: Disgust
Predicted: Anger
Emotion: Surprise
Predicted: Fear
Emotion: Fear
Predicted: Sadness
Emotion: Sadness
Predicted: Fear
![Page 17: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/17.jpg)
Detección de emociones a través de la respuesta fisiológica• Respuesta electrodermal• Pulso• Temperatura corporal• Electromiograma (EMG)
![Page 18: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/18.jpg)
![Page 19: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/19.jpg)
Hardware scheme
Prototype
Diseño de hardware
![Page 20: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/20.jpg)
• Basis: Sweat increases as arousal level grows.
• Constant voltage circuit measure skin conductance.• 1.5 Hz low-pass filter and 0.05 Hz high-pass filter were
used• These signals were sampled at 20 Hz.
Sensor de la actividad electro-dermal
![Page 21: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/21.jpg)
Technician monitor
Patient monitor
![Page 22: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/22.jpg)
• Once the EDA signals were recorded, they were post-processed by following the methodology described in [2].
1) Signals were filter again with a 1.5 Low-pass filter to decrease the noise.
[2] Wearable and Automotive Systems for Affect Recognition from Physiology, Jennifer A. Healey. Phd dissertation. 2000.
Procesamiento de la señal
![Page 23: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/23.jpg)
2) First forward difference was computed
3) Positive events were discriminated as those exceeding a threshold.
Procesamiento de la señal
![Page 24: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/24.jpg)
Detección de emociones en ancianos• Experimentos con jóvenes/ancianos• Cambios en la expresión facial con la edad• Cambios en la respuesta fisiológica con la edad
![Page 25: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/25.jpg)
3. REGULACIÓN DE EMOCIONESProcedimientos para el cambio del estado emocional a través de distintos estímulos ambientales
![Page 26: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/26.jpg)
Description of the Experiment
![Page 27: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/27.jpg)
Andante
=60
1. Walking on the streetJuan Francisco Manzano Ramos
Three little bar songs suite
5 1.
9 2.
14
• The piece is titled “Walking on the Street”, framed in a suite called “Three Little Bar Songs Suite”
• The different melodies combine both classical and contemporary elements of music
• The only requirement is that both music pieces share a tonal harmonic language, with a harmonic rhythm of classical music and repetitive rhythmic parameters
• This enables to highlight each of the auditions to categorize them correctly
• So, in this way, we have a piece which rhythm uses constantly alternating dotted notes (providing a touch of swing) and syncopated notes in prominent places
First Musical Test: The Beat
• Then, changes are provided to the harmonic rhythm used.
![Page 28: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/28.jpg)
Uso de técnicas de recuerdo autobiográfico
• Después de realizar una Revisión de Vida estructurada se implementaría un sistema integrado de recuerdos personales, incluyendo:• Fotografías• Vídeos• Música• Paisajes sonoros• …
![Page 29: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/29.jpg)
4. INTERACCIÓN SISTEMA-USUARIO¿Cómo percibe e interactúa el usuario con tecnología desarrollada?
![Page 30: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/30.jpg)
Participantes:
• Antonio Fernández-Caballero
• José M. Latorre• María T. López • Elena Lozano-Monasor • Francisco Vigo-Bustos• Marina V. Sokolova• Alicia Fernández-Sotos• Pablo Olivos Jara
• Arturo Martínez-Rodrigo
• Roberto Zangróniz • José Manuel Pastor• César Sánchez Melendez
• Laura Ros• Juan Pedro Serrano• Jorge Ricarte• Luz Fernández-Aguilar
![Page 31: DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS José Miguel Latorre Postigo Unidad de Psicología Cognitiva Aplicada Instituto de Investigación](https://reader035.vdocuments.net/reader035/viewer/2022070417/5665b4eb1a28abb57c94c955/html5/thumbnails/31.jpg)
MUCHAS GRACIAS POR SU ATENCIÓN
This work was partially supported by Spanish Ministerio de Economía y
Competitividad / FEDER under TIN2013-47074-C2-1-R grant.