a nova roupa do rei estÁ surda lipsync - puc-rio.br · intensidade em torno de 70/75db, o que é...

10
Departamento de Artes & Design A NOVA ROUPA DO REI ESTÁ SURDA Lipsync para animação e estudo de suporte interativo Aluna: Camila Rabelo Orientadora: Luiza Novaes Introdução A presente pesquisa dá continuidade ao projeto, desenvolvido em parceria com o Instituto Nacional de Educação para Surdos – INES, de adaptação para animação do conto de Hans Christian Anders, A Nova Roupa do Rei está Surda. No período 2012- 2013 o trabalho foi dedicado à revisão e reformulação da técnica de lipsync. Foram realizados testes e um novo experimento de trecho da animação, além de estudo de leitura orofacial, de tecnologias e suportes interativos adequados para estimular a fala em crianças com deficiência auditiva, e um levantamento de exercícios tradicionais de fonoaudiologia. Objetivos Realizar um estudo aprofundado sobre leitura orofacial e sua importância para deficientes auditivos. Rever o mapeamento de fonemas adotado nos primeiros testes de lipsync. Realizar novos testes de lipsync em trecho da animação, utilizando simultaneamente áudio com as respectivas falas dos diálogos, para ampliar as possibilidades de compreensão da animação por parte de pessoas deficientes auditivas. Fazer levantamento e análise de suportes interativos adequados para estimular crianças com deficiência auditiva a fazer exercícios de fonoaudiologia e a aprender a falar, ou melhorar suas pronúncias. Metodologia O estudo da técnica de lipsync - sincronização do movimento da boca de acordo com o som da fala do personagem - foi aplicado a um trecho da animação A Nova Roupa do Rei está Surda, com base no guia de fonemas desenvolvido no período de bolsa PIBITI 2011-2012. Esse trecho da animação foi utilizado para a realização de um teste com pessoas deficientes auditivas. A animação foi disponibilizada para um grupo no Facebook, na “Comunidade dos Surdos Oralizados” e o resultado, após a visualização da animação, não foi satisfatório, ficando evidenciada a necessidade de se fazer uma revisão do mapeamento dos fonemas. Consideramos então importante aprofundar a pesquisa sobre as principais dificuldades das pessoas deficientes auditivas. Um estudo sobre leitura orofacial foi realizado e verificamos que há uma melhoria na compreensão da fala quando, além da leitura labial, a pessoa ouve, mesmo que de forma parcial, o que está sendo dito. Uma vez feita a revisão dos fonemas, preparamos um novo trecho de animação, incluindo também o áudio das vozes, para a realização de novos testes. Os novos testes despertaram nosso interesse para a investigação de que tipos de suporte e de tecnologia poderiam ser explorados no aprendizado da fala e discriminação de sons com crianças. Tecnologias existentes atualmente no mercado, como por

Upload: tranque

Post on 07-Nov-2018

217 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

A NOVA ROUPA DO REI ESTÁ SURDA Lipsync para animação e estudo de suporte interativo

Aluna: Camila Rabelo Orientadora: Luiza Novaes

Introdução

A presente pesquisa dá continuidade ao projeto, desenvolvido em parceria com o Instituto Nacional de Educação para Surdos – INES, de adaptação para animação do conto de Hans Christian Anders, A Nova Roupa do Rei está Surda. No período 2012-2013 o trabalho foi dedicado à revisão e reformulação da técnica de lipsync. Foram realizados testes e um novo experimento de trecho da animação, além de estudo de leitura orofacial, de tecnologias e suportes interativos adequados para estimular a fala em crianças com deficiência auditiva, e um levantamento de exercícios tradicionais de fonoaudiologia.

Objetivos

Realizar um estudo aprofundado sobre leitura orofacial e sua importância para deficientes auditivos. Rever o mapeamento de fonemas adotado nos primeiros testes de lipsync. Realizar novos testes de lipsync em trecho da animação, utilizando simultaneamente áudio com as respectivas falas dos diálogos, para ampliar as possibilidades de compreensão da animação por parte de pessoas deficientes auditivas. Fazer levantamento e análise de suportes interativos adequados para estimular crianças com deficiência auditiva a fazer exercícios de fonoaudiologia e a aprender a falar, ou melhorar suas pronúncias.

Metodologia

O estudo da técnica de lipsync - sincronização do movimento da boca de acordo com o som da fala do personagem - foi aplicado a um trecho da animação A Nova Roupa do Rei está Surda, com base no guia de fonemas desenvolvido no período de bolsa PIBITI 2011-2012. Esse trecho da animação foi utilizado para a realização de um teste com pessoas deficientes auditivas. A animação foi disponibilizada para um grupo no Facebook, na “Comunidade dos Surdos Oralizados” e o resultado, após a visualização da animação, não foi satisfatório, ficando evidenciada a necessidade de se fazer uma revisão do mapeamento dos fonemas. Consideramos então importante aprofundar a pesquisa sobre as principais dificuldades das pessoas deficientes auditivas. Um estudo sobre leitura orofacial foi realizado e verificamos que há uma melhoria na compreensão da fala quando, além da leitura labial, a pessoa ouve, mesmo que de forma parcial, o que está sendo dito. Uma vez feita a revisão dos fonemas, preparamos um novo trecho de animação, incluindo também o áudio das vozes, para a realização de novos testes. Os novos testes despertaram nosso interesse para a investigação de que tipos de suporte e de tecnologia poderiam ser explorados no aprendizado da fala e discriminação de sons com crianças. Tecnologias existentes atualmente no mercado, como por

Page 2: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

exemplo reconhecimento facial e o siri da Apple, foram pesquisadas, assim como suportes do tipo tablet e o uso de webcam dentre outros. Identificamos também alguns exercícios tradicionais de fonoaudiologia, a fim de levantarmos possibilidades de versões digitais interativas para os mesmos.

Leitura orofacial Para poder compreender melhor a importância da leitura labial para os deficientes auditivos, pesquisamos sobre o assunto e localizamos o artigo “A importância da leitura orofacial no processo de adaptação de AASI”, publicado na Revista Brasileira de Otorrinolaringologia1. O artigo nos apresenta um estudo realizado com base em testes com pessoas com deficiência auditiva para avaliar a porcentagem de acertos com as palavras monossilábicas sendo ditas pelo pesquisador. No artigo, são mencionados trabalhos de pesquisadores como Demorest e Bernstein (1992), que consideram a leitura orofacial fundamental para os deficientes auditivos, pois, para a melhor compreensão do que está sendo dito, eles não apenas buscam a compreensão na fala através da leitura labial, como também na expressão facial, ou até mesmo buscam pistas gestuais ou ambientais, entre outros fatores, com intuito de aumentar o potencial de comunicação. Um bom exemplo para ilustrar esta situação, é o de uma pessoa dizer que está triste, sorrindo. O deficiente normalmente conclui que compreendeu errado, e provavelmente vai pedir para a pessoa repetir o que foi dito. Mas, a pessoa pode ter falando isso sendo irônico. Daí a necessidade de aprofundarmos os estudos sobre leitura orofacial. Para Kozlowski (1997), o recurso de leitura orofacial não se restringe aos deficientes auditivos. Ele também é utilizado entre os ouvintes, quando há ruído no ambiente tornando-o bastante desfavorável para a comunicação. Os testes apresentados no artigo foram realizados pelos autores na Faculdade de Medicina de Marília (FAMEMA), na área de Fonoaudiologia. Foram selecionados 31 pacientes na faixa etária entre 27 e 89 anos, todos possuidores de deficiência auditiva bilateral simétrica, do tipo sensorioneural e de grau moderado. Os pesquisadores adotaram a classificação de Davis, Silvermann (1970) para classificar o grau da perda dos pacientes.

<26dB Audição NORMAL

26 a 40dB Perda auditiva LEVE

41 a 55dB Perda auditiva MODERADA

56 a 70dB Perda auditiva MODERADA SEVERA

71 a 90dB Perda auditiva SEVERA

>90dB Perda auditiva PROFUNDA

Abaixo, reproduzimos uma lista de alguns sons que nos rodeiam, para compreender melhor os valores dos decibéis (dB), utilizados na classificação: 0 dB — Nenhum som. 10 dB — Respiração humana. 15 dB — Suspiro. 30 dB — Interior de um cinema, sem barulho.

1 DELL’ARINGA, Ana Helena Bannwart; ADACHI, Elisabeth Satico; DELL’ARINGA, Alfredo Rafael. “A importância da leitura orofacial no processo de adaptação de AASI”. Revista Brasileira de Otorrinolaringologia. 2007;73(1):101-5.

Page 3: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

40 dB — Área residencial, à noite. 45 dB — Burburinho no cinema antes do filme. 50 dB — Restaurante silencioso (início da percepção de ruído). 60 dB — Som dentro do escritório e ou restaurante, conversa normal. 65 dB — Conversa alta. 70 dB — Barulho de tráfego. 80 dB — Aspirador de pó grande. 90 dB — Caminhão, cortador de grama. 100 dB — Furadeira pneumática, walkman no máximo. 110 dB — Motocicleta em alta velocidade, buzina de carro. 120 dB — Primeira fila de um concerto de rock, avião decolando. 130 dB — Buzina de trem (início da dor no ouvido). 140 dB — Tiro de espingarda. 150 dB — Avião a jato. 160 dB — (Perigo de estouro do tímpano). 180 dB — Foguete decolando. 250 dB — Interior de um tornado, bomba nuclear.

Na pesquisa, durante a realização dos testes, todos os pacientes estavam sendo submetidos ao uso de Aparelho de Amplificação Sonora Individual (AASI) pela primeira vez. Todos nunca haviam participado de testes com AASI anteriormente. Foram realizados 4 tipos de testes diferentes com o mesmo indivíduo. Os pesquisadores primeiramente testaram sem o uso de próteses auditivas (conhecidas como AASI) e sem o uso da leitura orofacial (LOF). Em um segundo momento, sem AASI e com LOF. Em um terceiro momento, com AASI mas sem LOF. Por último, com AASI e com LOF. A avaliadora se posicionou a uma distancia de 1 metro do deficiente, em uma sala bastante iluminada, com o menor nível de ruído e a voz da avaliadora era de intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma conversa normal fica em torno de 45 a 60dB. A seguir, apresentamos a tabela com a média dos resultados de todos os pacientes testados:

Sem AASI e

sem LOF

Sem AASI e

com LOF

Com AASI e

sem LOF

Com AASI e

com LOF

13,29% 37,7% 55,48% 74%

Após a análise comparativa de cada situação, os pesquisadores concluíram que “a leitura dos lábios é uma importante estratégia de comunicação aos portadores de deficiência auditiva e sua recomendação auxilia o processo de adaptação de AASI.” Além disso, ela traz benefícios adicionais para o bem-estar devido à elevação da autoestima e, consequentemente, melhoria no convívio social. Outra pesquisa, “A contribuição da leitura orofacial na comunicação do neuropata auditivo”, publicada na revista CEFAC2, adota a mesma metodologia utilizada pelos pesquisadores no teste mencionado anteriormente, porém com dissílabos, trissílabos e frases. O estudo foi realizado com quatro indivíduos, dois do sexo feminino e dois do sexo masculino, entre 21 e 49 anos, portadores de deficiência auditiva com grau 2 HORACIO, Camila Paes; GOFFI-GOMEZ, Maria Valéria Schmidt. “A contribuição da leitura orofacial na comunicação do neuropata auditivo”. Revista CEFAC, São Paulo, 2007; v.9, n.3, 411-16, jul-set.

Page 4: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

variando de leve a profunda. Todos eram alfabetizados, e já tinham participado de treinamento em LOF antes da avaliação, por um período de no mínimo cinco meses. Abaixo, reproduzimos um quadro com os resultados obtidos nos testes:

LOF=leituraorofacial;DV=desviopadrãoC

“Apesar desses indivíduos terem atenção aos sons, a falta da discriminação auditiva eficiente prejudica a compreensão da mensagem.” HOOD (1998) apud HORACIO, Camila Paes; GOFFI-GOMEZ, Maria Valéria Schmidt (2007) Conforme os resultados apresentados na Tabela, verificou-se que, além da perda auditiva, o índice de reconhecimento de fala (IRF) mostrou-se incompatível com o grau da perda auditiva em ambos os ouvidos. Para as autoras, os resultados confirmam que os indivíduos adultos com neuropatia auditiva têm dificuldade na discriminação vocal. Conforme as autores observaram, uma discriminação auditiva, variando de muito pobre (menor que 50%) até discriminação moderada (60% a 75%), pode ocasionar uma incapacidade para acompanhar uma conversação. Portanto, quanto maiores forem as informações auditivas e o contexto, com apoio na pista visual, melhor será o desempenho comunicativo.”

Compreendendo a língua LIBRAS

Com base no livro de Audrei Gesser “LIBRAS? Que língua é essa?”

3ressaltaremos alguns pontos fundamentais para se compreender o universo de LIBRAS. A LIBRAS é considerada uma língua própria, ela possui todas as características linguísticas de qualquer língua humana natural. Tem uma gramática própria e apresenta estrutura em todos os níveis, como as línguas orais: fonológico, morfológico, sintático e

3 GESSER, Audrei; “LIBRAS? Que língua é essa? Crenças em torno da língua de sinais e da realidade surda”. São Paulo, Parábola Editorial, 2009.

Page 5: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

semântico. Além disso, podemos encontrar nela outras características: a produtividade / criatividade, a flexibilidade, a descontinuidade e a arbitrariedade. A primeira característica diz respeito à possibilidade de combinar unidades, de forma ilimitada, para formar novos elementos. Por exemplo, os sons das línguas orais podem ser combinados de várias formas para a produção de novos conceitos. O mesmo para a produtividade de palavras e sentenças. Por isso, falamos do processo criativo nas línguas: podemos falar diversas coisas de diversas formas a partir das regras de cada língua; regras que determinam a posição que cada elemento pode ocupar – por exemplo: podemos dizer “o menino caiu”, mas não podemos dizer “menino o caiu”, porque as regras do português não permitem. O mesmo se aplica aos sinais. A flexibilidade se refere à mobilidade visível nos diversos usos de uma língua. A língua versátil e, por isso mesmo, podemos falar do passado, presente, futuro; discutir, ameaçar, prometer etc. Em relação à descontinuidade, tomem-se como exemplo as diferenças mínimas na forma entre duas palavras; diferenças mínimas, mas que acarretariam mudança no significado, como em maca e mala (alterando apenas um fonema), ou em LIBRAS família e reunião (alterando apenas um parâmetro, a configuração da mão, dita CM, que define as posições dos dedos). Entretanto, quando contextualizadas, podem ter seu sentido inferido, mesmo que haja um erro ou troca de fonemas/queremas por parte de quem fala ou sinaliza. Por isso, a contextualização nos ajuda muito, e é ela que nos faz compreender a diferença de significado, por exemplo, em palavras homônimas na língua oral e na língua de sinais. Quanto à arbitrariedade, dizer que as línguas têm essa característica é dizer que as línguas são convencionadas e regidas por regras específicas. Nesse sentido, não é possível saber o significado de uma palavra somente a partir de sua forma assim como o significado da palavra “conhecimento”, da mesma forma que não há essa relação na LIBRAS. A exceção seria o caso das onomatopeias. As mãos não são o único veículo usado nas línguas de sinais para produzir informação linguística. As expressões faciais (movimento de cabeça, olhos, boca e sobrancelha etc.) são elementos gramaticais que compõem a estrutura da língua. Apesar da língua de sinais possuir o alfabeto manual, ele é utilizado para soletrar nomes próprios de pessoas ou lugares, siglas, e algum vocábulo não existente na língua de sinais que ainda não tenha sinal. Pois, soletrar cada letra em uma determinada frase tornaria o processo extremamente cansativo e monótono. Além disso, o alfabeto manual não é considerado uma língua, e sim um código de representação das letras alfabéticas. Por isso, há um único gesto para a palavra “verdade”, por exemplo, para poupar tempo e ter uma conversa mais agradável. A língua portuguesa é “uma unidade que se constitui de muitas variedades” (Parâmetros Curriculares Nacionais, 1998: 29 apud Bagno, 1999:19). Assim como a língua portuguesa, a LIBRAS possui a variedade ligada aos fatores sociais de idade, gênero, raça, educação e situação geográfica. Essa diferença não deve ser encarada como erro. A LIBRAS não é uma língua universal, ela teve a origem americana, mas há alguns gestos diferentes. Cada país tem a sua própria língua de sinais, assim como as línguas oralizadas. Nem todos os surdos fazem a leitura labial. A leitura labial e o desenvolvimento da fala vocalizada são habilidades que precisam de treinos árduos e intensos para ser desenvolvidos. Todos os estudos referentes à leitura labial estão vinculados aos treinamentos fono-articulatórios e é nesse sentido que poderíamos afirmar que não se trata de uma habilidade natural de linguagem, como é a habilidade para o desenvolvimento da língua de sinais, por exemplo. A filosofia oralista ainda predomina na educação dos surdos, há uma variação entre surdos mais habilidosos para leitura

Page 6: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

labial e outros nem tanto. Segundo a escritora, a leitura labial deve ser o último recurso a ser utilizado em situações comunicativas emergenciais com os surdos.

“As próteses ou aparelhos auditivos, conforme argumentam os fonoaudiólogos, ajudariam as crianças com surdez severa ou profunda a “estimular a audição residual” e, assim fazendo, “perceber os componentes acústicos da fala”. Veja-se que se está fazendo, “percepções e estímulos”. A escuta auditiva e o discernimento dos sons vocálicos ou consonantais da língua portuguesa são identificados somente pelos indivíduos que têm surdez moderada ou leve e, mesmo assim, dentro de um modelo gradativo de reabilitação auditiva que vai desde a detecção, discriminação e reconhecimento dos sons até a compreensão da linguagem. E esta última vai muito além da utilização das habilidades puramente acústicas, uma vez que a compreensão da linguagem é complexa e envolve uma multiplicidade de fatores: ela pressupõe relações entre mensagem e contexto, domínio de conceitos e a vivência social, o próprio conhecimento de linguagem da criança, a sua memória sequencial e os conhecimentos gramaticais... É preciso ainda considerar que, quando prescrevem o uso da próteses depois da avaliação da audiométrica, os profissionais da área pontuam que a idade, a motivação, o estilo de vida e o estado geral da saúde são variáveis que afetariam o “sucesso” da reabilitação. Portanto, os aparelhos não atuam na decodificação instantânea da linguagem apenas ao serem agregados ao ouvido, do mesmo modo que uma pessoa completamente cega, por exemplo, não passa a enxergar utilizando óculos ou lentes de grau. Vários surdos com surdez profunda, oralizados e não oralizados, de diferentes idades, submeteram-se ao uso de próteses auditivas, e é importante dizer: todos os relatos que eles fazem são muito similares quando se pergunta sobre as experiências com o aparelho. Todos informam que há escuta de ruídos, apenas ruídos que vibram na orelha. Os indícios daqueles que “voltam a escutar”, pode-se concluir, seriam casos excepcionais.” (GESSER, Audrei, página 74)

Estudo de lipsync em português e mapeamento de fonemas

Retomamos o estudo da técnica de lipsync - sincronização do movimento da boca de acordo com o som da fala do personagem, e os testes aplicados a um trecho da animação “A Nova Roupa do Rei está Surda”, motivados pelo fato de que o ator que serviu como referência para os personagens era surdo total, portanto não falava durante a filmagem e utilizava apenas a Língua Brasileira de Sinais – LIBRAS. Por causa da impossibilidade de articulação das palavras pelo ator, a técnica da rotoscopia utilizada na animação não pôde ser adotada na animação da boca do personagem, para que, além da leitura de sinais, fosse possível a leitura labial dos personagens da animação. Desta forma, desenvolvemos um primeiro mapeamento de fonemas baseado no CD-ROM A Arca de Noé, e realizamos testes com a representação de bocas vetorizadas em trechos da animação “A Nova Roupa do Rei está Surda”.

Experimentando com o público

O trecho da animação foi utilizado para a realização de um teste com pessoas deficientes auditivas. A animação foi disponibilizada para um grupo no Facebook, na “Comunidade dos Surdos Oralizados” e o resultado, após a visualização da animação, não foi satisfatório, ficando evidenciada a necessidade de se fazer uma revisão do mapeamento dos fonemas. Na ocasião foram sugeridas animações, como Up – Altas Aventuras e Mega Mente, como ótimas referências que conseguem passar a leitura labial de seus personagens. O que nos surpreendeu, foi que neste último filme as expressões dos personagens são bastante exageradas, principalmente no lipsync. Com base nos resultados e novas pesquisas, percebemos também que além do exercício da leitura labial, há uma melhoria na compreensão da fala quando, além da leitura labial, utiliza-se legendas e a pessoa ouve, mesmo que de forma parcial, o que está sendo dito. Uma vez feita a revisão dos fonemas, preparamos um novo trecho de

Page 7: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

animação, incluindo também o áudio das vozes, para a realização de novos testes.No novo teste a legenda foi retirada para se avaliar se os usuários conseguiriam identificar o que estava sendo dito.

Áudio para a animação

Com base nas pesquisas iniciais e a experimentação, uma nova solução encontrada para se testar a animação foi aplicar o áudio das vozes nos personagens. De acordo com a pesquisa realizada, os deficientes auditivos conseguem compreender melhor quando ouvem uma frase, e assim buscam o sentido da palavra através do contexto da frase. Procuramos contato com um dublador para a animação, e a aluna Antonia Muniz, que inicialmente participou do projeto da animação A Nova Roupa do Rei está Surda, nos indicou o Gabriel Lopes, que dublou todos os cinco personagens: Alfaiate Azul, Alfaiate verde, Soldado, Rei e uma menina. As orientações passadas para o Gabriel foram para ele falar o mais devagar e explicado possível devido ao público-alvo, para alcançarmos uma melhor compreensão. Foram então passadas para ele todas as falas da animação: AlfaiateAzul: ‐Boatarde,companheiro. ‐Nósdesejamosfalarcomorei.

Soldado: ‐Oreinãopodeatenderninguémnomomento,voltemoutrahora. ‐Eleestáondesempreestá.Escolhendosuasroupasnoquartodevestir. ‐Ésóoqueelefaznavida,estásemprepensandoemroupas.AlfaiateAzul: ‐Poiséjustamentesobreroupasquenósqueremosfalarcomoreiporque somosalfaiates.Rei: ‐Abramalasparaorei! ‐Queroverseustecidos. ‐Esóosmelhores.AlfaiateVerde: ‐Semproblemas,meurei,masantes,osenhorprecisaseravisado…AlfaiateAzul: ‐Nossostecidossãoosmelhores. ‐Sóosinteligentesconseguemver.Rei: ‐Assim,podereiverqueméinteligente! ‐Querotudodessetecido,eupago!SegundaParte:AlfaiateAzul: ‐Essefoiomelhorplanoquenósjábolamos!AlfaiateVerde: ‐Comcerteza,dessaveznadavainosimpedirdeficarricos.AlfaiateAzul: ‐Asuaroupaficoupronta,meurei.AlfaiateVerde: ‐Aquiestáela,oqueachou?Rei: ‐Éacoisamaisbonitaqueeujávi.

Page 8: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

AlfaiateAzul: ‐Quebomqueosenhorgostou, ‐Éograndetrabalhodanossacarreira!Menina: ‐Oreiestánu!Oreiestánu!

Mapeando os fonemas nos áudios

Após a gravação de áudio de Gabriel Lopes, os sons foram colocados no programa Adobe Audition para podermos identificar o tempo de cada fonema.

Este recurso utilizado facilita a identificação da duração de cada pronúncia, e aumenta as chances de sincronização do lipsync com o áudio.

Nova experimentação

A partir do mapeamento dos fonemas foi desenvolvido um novo teste com um trecho da animação em que o Alfaiate Azul fala: “Boa Tarde, Companheiro!”. A sincronização do áudio com o lipsync foi trabalhada.

Page 9: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

Ao ser disponibilizado novamente na internet, sem a legenda e com áudio, lipsync e LIBRAS, houve uma melhora de acertos. 70% dos participantes do teste comentaram que conseguiram acertar o que estava sendo dito pelo Alfaiate Azul.

Suportes interativos

A partir dessas pesquisas, começamos a analisar qual seria o melhor suporte para as crianças no aprendizado da fala e na discriminação dos sons. Analisamos os recursos existentes atualmente no mercado, como o reconhecimento facial e o siri da Apple. O reconhecimento facial já é um recurso usado para desbloquear celular. Ao pesquisarmos como ele funciona, verificamos que ele identifica vários pontos no rosto do usuário, como a distância de um olho ao outro, a largura da boca, a distância dos olhos para a boca, etc. Levantamos a hipótese de usar o recurso para identificar os fonemas ditos pelo usuário. Assim, o software com auxílio de uma webcam poderia avaliar se o usuário estava articulando corretamente os fonemas. Caso ele não estivesse com a articulação correta, o software iria avisá-lo quais os fonemas que estavam errados. Mas esse recurso ainda não é seguro, pois se uma pessoa muito parecida com o usuário tentar desbloquear o celular, consegue, o que evidencia que a margem de tolerância para variações é grande e talvez não fosse adequada para o uso pretendido. Outro recurso, o siri da Apple, no qual o usuário “conversa” com o software, funciona com respostas que são frases pré-programadas e, infelizmente, ainda não existe na língua portuguesa. Ao testá-lo, dissemos: “What’s the wheather tomorrow?”. Ele não reconheceu os sons, devido ao sotaque. Então, por hora, a utilização deste recurso foi descartada. Acreditamos que com a melhoria desse recurso, no futuro talvez possamos utilizá-lo em nossa proposta. Dando prosseguimento ao estudo de qual suporte/recurso seria adequado para auxiliar em exercícios de fala, nos direcionamos para um experimento de aplicativo para tablet, onde os usuários pudessem realizar exercícios passados pela(o) fonoaudióloga(o) para serem executados em casa. Boa parte dos deficientes auditivos têm dificuldades de diferenciar os seguintes sons: b e p; d e t; s e z; g e j. Em sessões de fonoaudiologia é comum a utilização de um espelho para a realização de exercícios. A(o) fonoaudióloga(o) passa uma lista de palavras que o paciente tem mais dificuldade para falar, como por exemplo palavras que exercitem a diferença entre B e P. Então o paciente inicialmente fica em frente ao espelho, e é orientado a repetir a letra B e suas sílabas por 20 vezes, ba be bi bo bu. O ideal é ter uma outra pessoa ao lado para poder corrigir o paciente, caso ele fale errado. Em seguida, repetir a letra P com todas as vogais. Por fim, dizer as palavras listadas, como por exemplo bola, pipa, bala, polpa, borracha, paralelepípedo etc., diferenciando bem os sons. A(o) fonoaudióloga(o) sempre lista palavras que o paciente tem dificuldades para falar/ouvir, percebidas durante a sessão. No CD A Arca de Noé, usado pelos alunos do INES, há um suporte onde o usuário ao selecionar uma determinada palavra, aparece uma pessoa falando a palavra devagar, com a palavra escrita embaixo, para que o paciente tenha a noção de como pronunciar os fonemas. Desta forma, pensamos em desenvolver um aplicativo para ser utilizado em tablet, que possa auxiliar esse tipo de exercício buscando a independência do paciente. A idéia é ter uma webcam filmando o rosto da pessoa, que poderá se ver como se fosse em um espelho. Ao mesmo tempo, o paciente pode gravar seus exercícios e avaliar o que foi dito, comparando sua gravação com a de uma pessoa de referência. Seu vídeo pode ainda ser enviado para a(o) fonoaudióloga(o), permitindo um atendimento de

Page 10: A NOVA ROUPA DO REI ESTÁ SURDA Lipsync - puc-rio.br · intensidade em torno de 70/75dB, o que é considerado um tom alto, uma vez que uma ... para a produtividade de palavras e sentenças

DepartamentodeArtes&Design

forma assíncrona, uma vez que orientações especificas e correções com base nos vídeos podem ser encaminhadas pela(o) fonoaudióloga(o). Para viabilizar o desenvolvimento deste aplicativo, a bolsista pretende, no próximo período, participar de atividades no Laboratório de Interfaces Físicas Experimentais - LIFE, do Departamento de Artes e Design da PUC-Rio, a fim de adquirir conhecimentos básicos de programação e explorar recursos adequados para os propósitos definidos. Conclusão

A animação como material didático estimula nas crianças deficientes auditivas a força de vontade para aprender a falar e discriminar os sons. Animações que utilizam a técnica de lipsync simultaneamente a áudio, com as falas respectivas dos diálogos apresentados nas cenas, ampliam as possibilidades de compreensão das mesmas por parte de deficientes auditivos, especialmente os capacitados na leitura labial. Tecnologias e suportes interativos podem ser explorados no ensino de crianças deficientes auditivas ou surdas, estimulando-as na realização de exercícios de fonoaudiologia.

Referências bibliográficas

DELL’ARINGA, Ana Helena Bannwart; ADACHI, Elisabeth Satico; DELL’ARINGA, Alfredo Rafael. “A importância da leitura orofacial no processo de adaptação de AASI”. Revista Brasileira de Otorrinolaringologia. 2007;73(1):101-5.

GESSER, Audrei; “LIBRAS? Que língua é essa? Crenças em torno da língua de sinais e da realidade surda”. São Paulo, Parábola Editorial, 2009. HORACIO, Camila Paes; GOFFI-GOMEZ, Maria Valéria Schmidt. “A contribuição da leitura orofacial na comunicação do neuropata auditivo”. Revista CEFAC, São Paulo, 2007; v.9, n.3, 411-16, jul-set.

INES , “A Arca de Noé” . CD desenvolvido pela instituição. Consultado em 21/05/11. WILLIANS, Richard. The Animator’s Survival Kit. London: Faber & Faber, 2009. Tutorial de Modelagem dos dentes e língua. Disponível em: http://vimeo. com/8530740 Acesso em 15/06/11