máster en desarrollo de software - universidad de granada
TRANSCRIPT
Máster en Desarrollo de Software
Prof. Ramón López-Cózar Delgado
Sistemas de Diálogo Hablado y Multimodal
Procesamiento
del Habla
en Call Centers
Automáticos
Interacción
Multimodal
en Entornos
de Inteligencia
Ambiental
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal2
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal3
http://sisdial.ugr.es
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal4
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal5
1.1 Procesamiento del habla
� Reconocimiento automático del habla
� Comprensión del habla
� Gestión del diálogo hablado persona-ordenador
� Generación del habla
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal6
1.1 Procesamiento del habla: Sistemas de diálogo
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal7
1.1 Procesamiento del habla: Sistemas de diálogo
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal8
1.1 Procesamiento del habla: Sistemas de diálogo
RAH
RAH
Comprensión
Comprensión
Gestor diálogo
Gestor diálogo
GLN
GLN
Sintetizador
Sintetizador
Vocabulario,
modelos acústicos
y de lenguaje
Vocabulario,
modelos acústicos
y de lenguaje
MemoriaMemoria
Voz
Usuario
Voz
Usuario
Voz
sistema
Voz
sistema
Palabras y
reglas de
gramática
Palabras y
reglas de
gramática
Patrones y
reglas
Patrones y
reglas
Interfaz de EntradaInterfaz de Entrada Interfaz de SalidaInterfaz de Salida
Palabras
reconocidas
Palabras
reconocidas
Representación
semántica
Representación
semántica
Información
a generar
Información
a generar
Expectativas
Expectativas
Frases en
formato texto
Frases en
formato texto
Modelo de
diálogo,
estrategias
Modelo de
diálogo,
estrategias
Base datos localBase datos local Base datos remotaBase datos remota
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal9
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de aplicaciones en Android
1.6 Interacción humano-robot
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal10
1.2 Interacción multimodal
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal11
1.2 Interacción multimodal
Aut. speechrecognition
Handwritingrecognition
Gesturerecognition
Lipreadingrecognition
Faceloc. & track.
Nat. lang.generation
Graphicgeneration
Speechsynthesis
Multimodaldata storage
Gazetracking
Nat. lang.processing
DatabaseTask
Multimodaldata fusion
Dialoguemanager
Responsegenerator
Input interface
Output interface
Multimodal processing
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal12
1.2 Interacción multimodal
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal13
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal14
1.3 Inteligencia Ambiental (AmI)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal15
1.3 Inteligencia Ambiental (AmI)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal16
1.3 Inteligencia Ambiental (AmI)
Home.cfg
ROOMS
APPLIANCES
Home.cfg
ROOMS
APPLIANCES
Light.xml(SRGS Grammar)
ACTIONS
Light.xml(SRGS Grammar)
ACTIONS
Light.cfg
ATTRIBUTES
VALUES
(range)
Light.cfg
ATTRIBUTES
VALUES
(range)
SPEECH
INTERFACE
GUI
INTERFACE
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal17
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de aplicaciones en Android
1.6 Interacción humano-robot
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal18
1.4 Computación afectiva
� Objetivo
– Lograr interfaces más naturales
� Aproximaciones
– Detección de estados emocionales de usuarios
– Generación de estados emocionales en usuarios
� Tarea muy dificultosa
– No se comprende totalmente como ser humano “procesa” las emociones
– Subjetividad de las emociones
– Conocimiento disperso en varias disciplinas
– Número limitado de emociones para tener éxito
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal19
ASR
NLP
Dialog Manag.
NLG
Synthesiser
Memory
User
voice
System
voice
Input Interface
Output
Interface
Recognised
words
Semantic
representation
Response
to generate
Response in
text form
at
Emotion
Detection
� Detección de estados emocionales de usuarios
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal20
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal21
1.5 Desarrollo de Voice apps en Android
Objetivo: comunicarnos con nuestros smarphones y smart devices de forma más natural y flexible•Desarrollo de asistentes personales•Desarrollo de interfaces para nuevos dispositivos
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal22
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal23
1.6 Interacción humano-robot
Objetivo: dotar a los robots de capacidades conversacionales:• Modelos del usuario• Modelos del diálogo humano-robot
• Modelos de personalidad para el robot
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal24
Bibliografía
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal25
Bibliografía
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal26
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal27
2. Cursos del Máster
� Procesamiento del Habla en Call-Centers
Automáticos (PHCCA)
�2 ETCS
�Profesorado:
– Zoraida Callejas Carrión (UGR)
–Ramón López-Cózar Delgado (UGR)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal28
2. Cursos del Máster
� Interacción Multimodal en Entornos de
Inteligencia Ambiental (IMEIA)
�2 ECTS
�Profesorado
– Zoraida Callejas Carrión (UGR)
–Ramón López-Cózar Delgado (UGR)
–Germán Montoro Manrique (Univ. Autónoma de Madrid)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal29
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal30
3. Oferta de Trabajos de Fin de Máster
� Cualquier trabajo relacionado con los temas de investigación comentados
� Ejemplo de TFM sobre “Procesamiento del habla”
– “Centralita Avanzada: Integración y Desarrollo
de una Centralita VoIP con un Sistema de
Procesamiento del habla”
�Autor: Jesús Gumiel Ramírez
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal31
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Sistemas de diálogo”
– “Técnicas de Evaluación de Sistemas de
Diálogo: Aplicación al Sistema Mayordomo”
�Autora: Nieves Ábalos Serrano
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal32
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Interacción Multimodal”
– “ORIENTA: Un Asistente Multimodal para la
Educación Universitaria”
�Autora: Ana María Gutiérrez Castillo
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal33
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Inteligencia Ambiental”
– “Diseño y Desarrollo de una Habitación
Inteligente con Interfaz del Habla y Localización
de Usuarios”
�Autor: Gonzalo Espejo Pérez
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal34
3. Oferta de Trabajos de Fin de Máster
� Ejemplos de TFM sobre “Computación afectiva”
– “Análisis de requisitos y diseño de una
aplicación para el desarrollo y evaluación de la
capacidad de reconocimiento de emociones de
los niños con trastorno del espectro autista”
�Autora: Mª Isabel Molina Caballero
– “Emotional Space: The Soul of Emotions – A
representation system of emotions for affective
computing”
�Autor: Fernando J. Porcel Sánchez
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal35
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Desarrollo de apps en Adroid”
– “Desarrollo de una app Android para el control
remoto de una TV-Box”
�Autor: José Alfonso Albarral Camino
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal36
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Interacción humano-robot”
– “Desarrollo de un agente cuentacuentos infantil
expresivo con modelo afectivo y de
personalidad”
�Autor: Ángel Ariza Osuna
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal37
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal38
4. Profesorado
� Zoraida Callejas Carrión
Dpto. LSI, UGR, Telf. 958240580
� Ramón López-Cózar Delgado
Dpto. LSI, UGR, Telf. 958240579
� Germán Montoro Manrique
Dpto. Ingeniería Informática
Universidad Autónoma de Madrid, Telf. 914972210
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal39
¿Preguntas?
Gracias por la
atención