aplicações e investigação de base – desafios multidisciplinares
DESCRIPTION
Aplicações e investigação de base – Desafios multidisciplinares. António Teixeira Dep. Electrónica Telec. Informática , Universidade de Aveiro IEETA & SIG - IL. Human os. Inspir a. S í ntese de Voz. Me di ç ões. T eorias. Da dos. us am. Pat ologias. S i stem as. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/1.jpg)
1 Aplicações e investigação de base – Desafios multidisciplinares
António TeixeiraDep. Electrónica Telec. Informática, Universidade de
AveiroIEETA
& SIG - IL
![Page 2: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/2.jpg)
2Nossa visão Centrada nos
Humanos (antropomórfica) Dos Humanos
Dados, teorias Modelos
Para os Humanos sistemas
Interdisciplinar Para Português
essencialmente
Humanos
Síntese de Voz
DadosTeorias
Patologias
Sistemas(robôs, computadores
Inspira
Medições
usam...
ajudam
![Page 3: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/3.jpg)
3
I - Aplicações Interfaces Humano-Computador
Aplicações na área da Saúde
![Page 4: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/4.jpg)
4Desafio
É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral
Exemplos de áreas de aplicação em que considero ser relevante apostar: Saúde Interfaces Humano-Máquina / Acesso Universal
Incluindo Robótica
![Page 5: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/5.jpg)
5
“Ubiquitous computing - access to all information for anyone, anywhere, at any time - relies on speech for those whose eyes or hands are directed to other tasks (such as driving ...) or for those who cannot read or type (such as children, the blind, or the disabled).”
Nass & Brave, in Wired for Speech
![Page 6: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/6.jpg)
6Porquê Fala/Voz ? A nossa forma natural de comunicar
Interesse crescente em estender o seu uso a interacção com máquinas
O HAL era fluente … em Inglês !!! Mãos e visão livre
Permite interacção a alguma distância Pode ser usada mesmo sem contacto visual
Não é necessário aprender a “linguagem” de interacção
Permite acesso remoto através do telefone
![Page 7: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/7.jpg)
7
Robôs de Serviço – Robôs Pessoais A próxima geração precisa de ser:
Animada Respondendo a alterações no ambiente
Acessível Ex: Ser capaz de explicar as suas intenções Em muitos casos implicará o uso de interfaces
usando fala Adaptável
A diferentes utilizadores e ambientes Implica aquisição de conhecimento sobre ambiente,
utilizadores e tarefas
![Page 8: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/8.jpg)
8O robô Carl Objectivo:
Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos
1.1 m de altura ~10 anos Pioneer 2-DX
Da Activemedia Computador portátil Array de microfones 2 câmaras, sonares ...
Infelizmente fala Inglês !
![Page 9: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/9.jpg)
9Outras aplicações A Fala deve desempenhar um papel principal nas
“Tecnologias Assistivas” (Assistive Technologies) Ver DSAI 2009 “position paper” Exemplos:
Domótica para tetraplégicos Comunicação Alternativa para Paralisia Cerebral
A integração de tecnologias de fala nas interfaces em geral deve ser promovida Interfaces Multimodais
![Page 10: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/10.jpg)
10
Ciências da Fala e da Audição
Aplicações em Audiologia
Terapia da Fala
![Page 11: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/11.jpg)
11Desafio(s)
Análise instrumental e quantitativa da voz Criação de novos instrumentos de intervenção
e avaliação Novas tecnologias para sistemas aumentativos
Como Geração de Linguagem Natural para interface com sistemas de síntese
Inclusão na formação profissionais desta área de conhecimentos sobre Processamento de Fala
![Page 12: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/12.jpg)
12
Exemplo: SSW para Português
Staggered Spondaic Word Test (SSW) Teste dicótico Desenvolvido por Jorge Humberto
Martins, MCFA, 2007
![Page 13: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/13.jpg)
13
II - Estudos sobre o Português
Fonética ExperimentalUso intensivo de tecnologias
Muito ainda para investigar …
![Page 14: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/14.jpg)
14Desafio Ter informação detalhada sobre a produção do
Português Usar medição o mais directa possível Contemplar os aspectos temporais e de
sincronização Muito pouco contemplados!
Áreas prioritárias: Nasalidade Laterais Vibrantes Produções “patológicas”
fenda palatina, problemas auditivos, doenças neurológicas …
![Page 15: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/15.jpg)
15
Exemplo:Ressonância Magnética
[i] [e] [E]
[i] [e] [E]
![Page 16: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/16.jpg)
16
Exemplo 2:Coarticulação nas Laterais
Lateral [l] Lateral [L]
![Page 17: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/17.jpg)
17Outro Desafio
Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)
![Page 18: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/18.jpg)
18Texto -> Gestos -> Voz
Proc. Linguístico(acento, sílaba ...
Modelo Gestual
Sintetizador(articulatório)
“Task dynamics”
Base dadosGestos
Info sincronização
mínimo
(m-i1_) (n-i0_)(m-u_)
Movimento articuladores
Pauta gestual
![Page 19: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/19.jpg)
19
Exemplo de Síntese (com
SAPWindows)
![Page 20: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/20.jpg)
20
Para além da LinguísticaEmoção
Identidade
![Page 21: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/21.jpg)
21Desafio
Voz transmite informação linguística mas também emoção, identidade, dialecto …
Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador
![Page 22: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/22.jpg)
22
Primeiro problema: falta de dados
Não existência de um corpus de voz emocional disponível para o Português
Dificuldade de obter amostras de voz emocional espontânea
![Page 23: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/23.jpg)
23Resultados recentes para PE
Raiva diferindo da Neutra no 4 parâmetros analisados
Desespero também diferindo nos 4 parâmetros, mas menores diferenças
Tristeza essencialmente diferente nas irregularidades
Medo similar a desespero e com HNR próximo da Neutra
Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0
Angerf0mean
jit
shim
HNR
Dispairf0mean
jit
shim
HNR
Sadnessf0mean
jit
shim
HNR
Fearf0mean
jit
shim
HNR
Neutralf0mean
jit
shim
HNR
Joyf0mean
jit
shim
HNR
Shimmer
HNR
NeutraMedo
Raiva
Jitter
F0 média
Desesp Tristeza
Alegria
![Page 24: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/24.jpg)
24
III - A família da nossa língua
ISCA Special Interest Group on the Iberian Languages SIG-IL
![Page 25: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/25.jpg)
25Objectivos SIG-IL Fórum de discussão de investigação e aplicações na
área das tecnologias da fala; Promoção a adequada referência pela comunidade
internacional a trabalhos publicados pelos seus membros;
Organizar/apoiar conferências, escolas e workshops;
Divulgar publicações relacionadas com as línguas Ibéricas
Promover a colaboração entre a indústria e academia
Promover o uso de tecnologias da fala na edução
![Page 26: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/26.jpg)
26
SIG-IL ISCA Special Interest Group on the Iberian Languages
Primeira Direcção (Board) Nestor Yoma, Rubén San-Segundo, Andréia Rauber,
Plínio Barbosa,
Direcção actual A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro
Klautau (BR), Rubén San-Segundo (SP)
Possibilidade de ter massa critica ?
![Page 27: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/27.jpg)
27Membros do SIG-IL Brasil Portugal Espanha Cuba Chile Argentina
Alemanha EUA Japão Países Baixos Reino Unido
![Page 28: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/28.jpg)
28Ideias e próximo evento Ter repositório de teses, artigos Ter revista com impacto
Parabéns para a recém lançada linguaMatica
Ter projectos conjuntos Um pouco de publicidade
![Page 29: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/29.jpg)
29
Principais desafiosPrefiro usar desafios aos habituais “Problemas”
![Page 30: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/30.jpg)
30Desafios Arranjar formas de superar a não continuidade de
financiamento
Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português
Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área Exemplos:
Dificuldades de comparar resultados por inexistência de conjuntos de teste;
Publicações ISI
![Page 31: Aplicações e investigação de base – Desafios multidisciplinares](https://reader036.vdocuments.net/reader036/viewer/2022081514/56814bf5550346895db8ecf2/html5/thumbnails/31.jpg)
31
Obrigado pela atenção!