a nova roupa do rei estÁ surda um estudo de cenários … · departamento de artes e design o uso...

Departamento de Artes e Design

A NOVA ROUPA DO REI ESTÁ SURDA Um estudo de cenários e lipsync para animação

Alunas: Gabriela Mascarenhas e Camila Rabelo Orientadoras : Luiza Novaes e Maria Claudia Bolshaw

Introdução

A presente pesquisa dá continuidade ao projeto, desenvolvido em parceria com o Instituto Nacional de Educação para Surdos – INES, de adaptação para animação do conto de Hans Christian Anders, A Nova Roupa do Rei está surda. No período 2011-2012 o trabalho foi dedicado à revisão e redesenho de cenários e ao estudo da técnica de lipsync. Um levantamento de materiais didáticos para o ensino de LIBRAS – Língua Brasileira de Sinais - foi realizado, e serviu como referência para testes visando ao uso da animação como suporte educacional.

A reformulação dos cenários da animação A Nova Roupa do Rei está surda se mostrava necessária, para que houvesse um melhor entendimento dos espectadores, uma vez que a técnica de aquarela utilizada na primeira versão da animação tinha se mostrado pouco indicada para o público alvo. Para a geração dos novos cenários foram estudadas técnicas de pintura variadas e feita uma busca de imagens para serem utilizadas como referência.

Consideramos importante, também, fazer uma pesquisa de materiais similares, voltados ao público infantil portador de deficiência auditiva ou surdo, para identificar quais eram os pontos fortes e fracos deles, e assim aplicar em nosso projeto os conhecimentos adquiridos a partir dos materiais pesquisados e das reflexões realizadas.

Objetivos Fazer um estudo sobre como uma animação pode se tornar um material didático versátil,

explorando os recursos de LIBRAS, lipsync e legenda, para o ensino de crianças portadoras de deficiência auditiva ou surdas.

Revisão dos cenários A reformulação dos cenários da animação A Nova Roupa do Rei está surda se mostrava necessária, para que houvesse um melhor entendimento dos espectadores, uma vez que a técnica de aquarela utilizada na primeira versão da animação tinha se mostrado pouco adequada para a idade do público que se pretendia atingir. Para a geração dos novos cenários foram estudadas variadas técnicas de pintura Consideramos importante, também, fazer uma pesquisa de materiais similares, voltados ao público infantil portador de deficiência auditiva ou surdo, para identificar quais eram os pontos fortes e fracos deles, e assim aplicar em nosso projeto os conhecimentos adquiridos a partir dos materiais pesquisados e das reflexões realizadas.

Estudo de materiais didáticos para o ensino de LIBRAS para crianças Com o objetivo de criar um material didático, consideramos importante uma pesquisa de similares, pois essa poderia identificar recursos possíveis de serem empregados. A partir de uma análise desses recursos, seria possível aprender, com os erros e acertos presentes no material estudado, e aplicar esse conhecimento a um novo produto.


Similares Estudados E-books e histórias infantis que abordam o aprendizado de LIBRAS e português, direcionados a crianças surdas: Primeiras frases em LIBRAS; Dom Quixote; A Ilha do Tesouro; Primeiros Sinais em LIBRAS; Alice para Crianças. A opção pela observação e estudo desse grupo de similares se deveu por eles trabalharem com elementos que pretendíamos utilizar na criação de um material didático: a narrativa, a interação e o aprendizado, além do direcionamento para o mesmo público alvo que pretendemos atingir - crianças surdas e portadoras de deficiência auditiva. Elementos Interativos Na análise dos similares foram identificados os seguintes elementos interativos: Point and click Os E-books “Primeiros sinais em LIBRAS” e “Primeiras frases em LIBRAS” fazem uso do recurso Point and Click, normalmente utilizado em jogos infantis. Essa forma de interagir com os cenários, elementos de cenas,e personagens consiste em usar o mouse para explorar as opções de desenvolvimento da historia. Nos livros analisados quando o usuário clica em algum dos elementos de cena, um dos personagens (o menino ou a menina), diz uma frase, fazendo uso de balões de fala e texto, ao invés de áudio. Logo após essa ação, muda-se a tela. Nessa nova tela, um interprete de LIBRA, traduz a frase escrita para linguagem de sinais. Depois disso feito, o livro volta à primeira tela, onde a criança pode escolher outro objeto para clicar e explorar. O recurso estimula a ação e, por isso, tem a capacidade de prender a atenção da criança, uma vez que ao clicar em algum elemento ativo, esse gera uma reação imprevisível. Quando isso não acontece, e a reação é repetitiva, o recurso perde sua capacidade de prender a atenção. Assim, o recurso point and click pode ser explorado de forma rica, se ele gera uma reação ao click menos previsível.Além disso, o recurso o point and click unido a uma narrativa, pode se tornar mais efetivo, no sentido que as frases apresentadas, assim como os elementos de cena, estariam situados em um contexto. Desta forma o leitor seria mais instigado ao click. Apostila complementar O livro “Primeiras frases em LIBRAS” faz uso de um caderno de atividades, que pode ser impresso em casa, para complementar o aprendizado. Esse caderno possui um serie de atividades que são divididas de acordo com temas (vestuário, higiene, etc..), que são os mesmos temas abordados no livro digital. Na apostila a criança trabalha dois aspectos: a melhora do seu vocabulário e leitura e o próprio treino da leitura de LIBRAS. A primeira parte da apostila não apresenta um diferencial em relação ao que se poderia encontrar em uma apostila para crianças não surdas. As atividades exploradas se concentram em palavras cruzadas e exercícios para ligar a imagem ao nome dentre outras. Já a segunda parte se mostra mais interessante em relação à natureza desse trabalho, pois nela a criança, acompanhando o e-book, deve traduzir o que é dito pelo intérprete. Desta forma, treina mais pontualmente sua capacidade de leitura de LIBRAS, e também testa seus conhecimentos. Uma opção também usada nessa apostila é o preenchimento de uma tabela de desempenho que se apresenta no final. Fazendo uso dessa tabela a própria criança, o pai ou o professor pode medir qual foi o desempenho da criança durante a lição. A seguir, um exemplo:


O uso da apostila pode ser bastante útil no aprendizado de LIBRAS, levando-se em consideração que ele propõe uma atividade mais diretamente focada em aspectos didáticos, e consiste em um material cujos resultados do uso e aprendizado pela criança podem ser facilmente avaliados pelo pai ou professor. Por outro lado, a forma como a apostila foi implementada nesse similar, deixa um pouco a desejar quando comparada ao próprio e-book. Enquanto o e-book faz uso de uma linguagem de jogos eletrônicos infantis, a apostila associada ao e-book foge a essa linguagem, mostrando-se um material didático sem maiores diferenciais, ou interatividade mais óbvia. Acreditamos que se os dois fossem integrados no mesmo produto, e ambos fizessem uso de linguagem de jogos, a criança lidaria com essas atividades de forma natural. Narrativa A narrativa em livros direcionados ao ensino de LIBRAS é explorada se utilizando recursos variados. Animações - Nos livros apresentados elas são bastante pontuais, servindo mais como ilustração da história do que de fato como um foco técnico.

Intérprete de LIBRAS - Em todos os casos estudados o intérprete traduz a frase que se apresenta escrita, não fazendo ele parte da narrativa em si.


Ilustrações - As ilustrações se dão como em livros infantis comuns, não apresentando características especiais, como por exemplo retratando os personagens se comunicando em LIBRAS. Texto em português - O texto contendo a narrativa se apresenta, em sua maioria, em forma de narração. Todos os recursos estudados poderiam ter uma boa aplicação no material didático a ser desenvolvido, agregando valor a ele. Diante da análise realizada, concluímos que se todos os recursos fossem utilizados juntos, o que não acontece em nenhum dos e-books, eles possibilitariam uma experiência muito mais rica do que oferecem quando utilizados separadamente. A animação A Nova Roupa do Rei está Surda tem como grande diferencial apresentar o uso de LIBRAS como parte da história. Não só fazer uso do intérprete como um tradutor, mas sim como um personagem na história. Apesar dos e-books estudados fazerem uso de uma série de recursos, eles raramente são interligados entre si, ou têm alguma conexão com a narrativa. A adaptação da animação para utilização como material didático, apresenta então vantagens sobre os e-books estudados. Os personagens utilizarem a linguagem de LIBRAS torna a animação mais imersiva. Além disso, pela diversidade de recursos utilizados na animação - texto, personagem usando LIBRAS e lipsync -, o material didático, se torna versátil, oferecendo a oportunidade de exploração desses recursos simultaneamente ou individualmente, em diversos tipos de atividades.

Estudo de lipsync em português Retomamos o estudo da técnica de lipsync - sincronização do movimento da boca de acordo com o som da fala do personagem, iniciado pelos alunos Camila Rabelo e Eric Emanuel em uma disciplina de projeto no curso de Design da PUC-Rio, ministrada pelas professoras Irina Aragão e Maria Claudia Bolshaw. Percebemos que um grande problema que ocorre na animação brasileira, e na animação mundial em geral, é que as bocas dos personagens apenas abrem e fecham de forma indiscriminada durante a fala, não havendo uma articulação relacionada ao som e aos fonemas, o que dificulta o entendimento para aqueles que fazem leitura labial. A elaboração de um sistema de lipsync, para ser aplicado na animação A Nova Roupa do Rei está surda, foi motivada pelo fato de que o ator que serviu como referência para os personagens era surdo total, portanto não falava durante a filmagem e utilizava apenas a Língua Brasileira de Sinais – LIBRAS. Consequentemente, não foi possível adotar a técnica da rotoscopia na animação de sua boca, para que, além da leitura de sinais, fosse possível a leitura labial dos personagens da animação.


O CD-ROM A Arca de Noé Esse DVD foi utilizado como referência por ter como proposta incentivar a criança a aprender LIBRAS e a falar reunindo língua de sinais, língua falada e língua escrita numa única interface, o que facilita o aprendizado. Os pequenos vídeos de bocas “falando” cada consoante e vogal foram de grande ajuda para mapear os fonemas do alfabeto brasileiro. O CD-ROM é totalmente interativo, permitindo ao usuário escolher o que quer assistir/estudar. Existem algumas opções de exploração disponíveis, como a partir de uma palavra ou apenas de uma vogal. A escolha de uma palavra pode se iniciar com um tema como cores, alimentos, números dentre outros. Ao se escolher o tema alimento, por exemplo, a palavra “OVO” pode ser acionada como ilustrado a seguir:

Primeiramente a palavra é dita em LIBRAS pela pessoa localizada na janela acima, do lado esquerdo e posteriormente a boca abaixo é mostrada falando a palavra. Caso se deseje repetir novamente a boca, tem que se clicar em cima da imagem da boca que irá reproduzir a palavra novamente. Algumas observações que fizemos e merecem ser mencionadas são que ao se escolher uma vogal, o intérprete apenas diz a vogal, e não dá um exemplo de palavra com a vogal, o que seria de grande ajuda aos que estão aprendendo a falar. O fonema sozinho muitas vezes não é pronunciado da mesma forma que soa na palavra, ou associado a uma vogal, por exemplo: “B” para “Bola” além de “Ba”, “Be”, “Bi”, “Bo”, “Bu”. No exemplo da palavra “OVO”, quando a boca estivesse pronunciando a palavra, a palavra também poderia aparecer sublinhada, para indicar o que está sendo dito. Esse é um recurso bastante usado nos Karaokês. No CD-ROM a informação aparece nas janelas pretas, localizadas na região inferior, com a imagem repetindo novamente a palavra. No final, a grande quantidade de informações em uma única tela acaba dificultando o usuário, o que poderia ser melhorado se utilizando o recurso de sublinhar a palavra, verificado no Karaokê. Mapeamento de fonemas A realização de uma pesquisa sobre a técnica de lipsync nos mostrou que tal técnica em geral se baseia em um guia, que contém representações de posições chave de uma boca durante a fala. Apesar da facilidade de se encontrar guias nos idiomas inglês americano, britânico, espanhol, francês e até em alemão, não foi encontrado um guia específico para a língua portuguesa. Verificamos que uma simples adaptação dos guias existentes não atenderia


nossas necessidades, pois, por exemplo, o “i“ quando pronunciado no idioma inglês remete a um fonema completamente diferente do pronunciado na língua portuguesa. O mesmo acontece para diversas outras línguas, fazendo-se necessário um guia diferente para cada uma delas. Sendo assim, desenvolvemos um guia de lipsync em nossa língua, partindo de um mapeamento de fonemas e organização de uma tabela fonética utilizando o Alfabeto Fonético Internacional (AFI). Na elaboração da tabela, considerou-se a frequência no emprego das vogais e consoantes; as questões de linguagem informal (falada) e formal (escrita),; além dos diferentes sotaques associados a regiões distintas. Com base no guia desenvolvido, foram realizados testes de aplicação da técnica de lipsync na animação A Nova Roupa do Rei está Surda.

Na pesquisa de materiais didáticos, buscamos professores e fonoaudiólogos para saber a melhor forma de poderem usar com seus alunos/pacientes os materiais. Pudemos perceber que é fundamental o uso de imagem para representar a palavra, e que seria ótimo se poder escolher qual a forma a ser adotada em cada situação, seja LIBRAS, ou apenas o som com a legenda, ou apenas a leitura labial. A possibilidade de se poder voltar a uma determinada frase, principalmente repeti-la, também se mostrou importante, pois a repetição é necessária para as crianças que estão aprendendo.

Um primeiro mapeamento de fonemas foi feito com base no CD-ROM A Arca de Noé, para realizarmos testes com trechos da animação “A Nova Roupa do Rei está Surda”. Infelizmente, devido ao curto tempo de algumas cenas, as falas não conseguiram ser sincronizadas. Testando em outra cena da animação onde o personagem alfaiate diz: “Boa tarde, companheiro”, obtivemos sucesso pois ao exibi-la para pessoas com capacidade de fazer a leitura labial, elas conseguiram ler perfeitamente os lábios do personagem.

Desenvolvimento do guia O alfabeto português possui 23 letras no total, que são: A B C D E F G H I J L M N O P Q R S T U V X Z. Optamos por não utilizar K, W, Y porque são letras utilizadas apenas em algumas palavras estrangeiras não aportuguesadas, como símbolos, abreviatura, adjetivos e substantivos derivados de nomes próprios e palavras estrangeiras.

Utilizamos essa tabela de fonética para auxiliar na identificação dos diferentes sons existentes em cada letra. Devemos sempre tomar cuidado nesse processo, pois os fonemas são representados de acordo com a linguagem falada (informal), e não de acordo com um texto escrito. Como mostra o quadro, uma única letra pode ter vários tipos de sons. Por exemplo, escreve-se Xícara, mas ouve-se (Chícara), e Táxi, ouve-se (Táquissi).

Isso varia de acordo com a posição da letra na palavra, mas também com o sotaque de uma região, como na palavra Casa [‘kaza], o “S” tem som de “z”, e em Caça [‘kasa], o “Ç” tem som de “ss”. Um exemplo de sotaque é a palavra “Teatro” [‘teatru], que os cariocas costumam pronunciar [tiatru], já os paulistanos falam [teatro]. Não existe a forma correta ou errada de pronunciar as palavras, elas apenas variam de acordo com o sotaque da regiã


Tendo esses dados em mãos, decidimos filmar e fotografar as nossas bocas falando cada um desses fonemas, para que pudéssemos visualizá-los como uma referência precisa na elaboração das posições-chave.

Assim, analisamos todo o alfabeto, começando pelas vogais, por serem as mais importantes e mais presentes durante a fala, como mostrado nas tabelas das páginas anteriores, e terminando nas várias consoantes, que apesar de menos frequentes possuem grande importância.

Após a análise dos vídeos, pudemos perceber que, dependendo da palavra a ser pronunciada, fala-se a consoante antes da vogal ou deixa-se de lado a consoante. Na palavra Nada, a boca se fecha para pronunciar o N, porém na palavra Casa o movimento da boca parte diretamente da vogal A, como se estivesse dizendo Asa.

Percebemos também que em muitas consoantes, a boca adquire o mesmo formato para pronunciá-las. O que realmente influencia, nesses casos, é a produção do som nas cordas vocais. Por exemplo, “B”, “M”, “P” tem o mesmo formato de boca, mas possuem sons diferentes.


Elaboração de testes Decidimos que seria interessante não limitar esse guia apenas à vista frontal, pois

durante uma animação os personagens costumam se mexer bastante. Assim, desenvolvemos também as vistas ¾ (três quartos) e lateral, no software Adobe Photoshop CS5.

A imagem abaixo é o guia de lipsync pronto, nossa primeira representação do formato dos fonemas. Repare que trabalhamos apenas nas bocas, não era nosso objetivo desenvolver um personagem. Percebemos que os fonemas C, G, R passam despercebidos, pois C, G fazem movimento de vogal. Por exemplo, quando se fala “caro” é a mesma movimentação de quando se fala “aro”. Quando falamos o “R”, há vibração na língua, mas isso não é visível. Por isso não foi possível mapeá-los.

A relação da frase com os frames Os vídeos que ensinam a como animar uma boca nos DVDs “ The Animator Survival

Kit”, de Richard Williams, nos ajudaram a ter noção do timing exato. Por meio deles, também percebemos que, apesar da linguagem de animação ser baseada no exagero, nós não poderíamos abusar desse recurso, pois isso dificultaria a compreensão do que está sendo dito, já que na vida real não há esse exagero.

Após mapear os fonemas, aplicamos as posições-chave na animação “A Nova Roupa do Rei”, como uma forma de experimentação, na fala “Boa tarde companheiro”. O teste foi feito da seguinte forma: O personagem começava no primeiro frame com a boca fechada, e alguns frames depois, aplicávamos a boca já no formato do fonema. Entre esse dois frames, criamos transições de boca até que a passagem de uma para a outra fosse gradual e natural, caso contrário o movimento seria muito brusco e, consequentemente, não poderia ser lido.

O guia foi desenvolvido, inicialmente, apenas pelo uso da ferramenta Brush e de uma mesa digitalizadora, o que trouxe resultados satisfatórios. Porém, quando entramos no processo de experimentação, percebemos que esse método seria inviável, pois, além do excessivo trabalho que exigiria, seria impossível repetir com exatidão as mesmas formas e espessuras ao longo dos frames, visto que cada boca seria feita à mão.


Para resolver essa questão, decidimos vetorizar cada uma dessas bocas, utilizando

como base as que já havíamos feito. Assim, as transições não exigiriam mais que refizéssemos toda a boca, podendo ser feitas apenas editando os vértices da boca já existente, o que mantinha a espessura da linha em todos os frames, dando um aspecto mais limpo ao movimento labial.

Após terminarmos essa cena, o vídeo foi testado no INES, e o público aprovou o resultado dizendo que conseguia identificar perfeitamente o que estava sendo dito.

Uma vez com o guia pronto e experimentado, fomos orientados a torná-lo mais completo. Por estar sobre um suporte bidimensional, perdíamos muito da localização dos dentes, língua, volume da boca, sombras, e diversas outras características que tornavam nosso trabalho interessante, mas não muito útil. Assim, buscamos referências de outras formas de representação.

Testando o guia na animação O primeiro passo foi a seleção de um trecho da animação para mapear os fonemas. O segmento onde o Rei fala “Abram alas para mim” tem apenas 2 segundos, e percebemos que o fato de LIBRAS muitas vezes ter gestos que são rápidos em relação às palavras, era necessário que o movimento em LIBRAS fosse repetido duas vezes.. Cada 15 frames correspondem a um segundo de animação. Pudemos perceber que 30 frames passavam muito rápido, inviabilizando a leitura labial na animação


Com base nos testes realizados, percebemos que para que a fala fique sincronizada com os gestos, é preciso aumentar o número de frames dos gestos, para que os gestos fiquem mais devagar para poder acompanhar a frase sendo dita. A opção de repetir o gesto não é a mais indicada, pois pode confundir o espectador, fazendo-o acreditar que para que aquela frase seja comunicada é preciso realizar aquele gesto duas vezes. O principal objetivo é ensinar às crianças as relações de LIBRAS com a fala, para o desenvolvimento da leitura labial. Além do exercício da leitura labial, a utilização de legendas auxilia para estimular a leitura. Conclusão A criação de materiais didáticos apropriados para o ensino de crianças portadoras de deficiência auditiva ou surdas é importante, por isso não só a adaptação de um conto para a linguagem da animação deve ser considerada, mas também a criação e exploração de outros recursos que sejam adequados a ela. Para tanto, um estudo do universo didático para portadores de deficiência auditiva e surdos foi pesquisado e analisado, para servir como referência. A utilização da animação como material didático estimula nas crianças a força de vontade de aprender a falar e discriminar os sons, e auxilia no processo de alfabetização da população deficiente auditiva em nosso país, contribuindo também para que o acesso ao entretenimento seja mais democrático. Referências COUTO, R.M. de S., Multi Trilhas - Relatório Final de Pesquisa. Disponivel em http://www.pedagogiadodesign.com/lpdesign/images/publicacoes/relatorio_bolsa_pq 2006_2009.pdf (15 junho 2011).

COUTO, R.M. de S., WILMER, C., PORTUGAL, C., CORREA, A. , Do concreto ao virtual- Interação e interatividade no letramento de indivíduos surdos. São Paulo: Anais do 2°Congresso Internacional de Design da Informação (SBDI), 2005.

Imagem de referência da boca em 3D. Disponível em: http://www.3dscience. com/3D_Models/Human_Anatomy/Teeth/ Open_Mouth.php Acesso em 16/06/11

INES , “A Arca de Noé” . CD-ROM desenvolvido pela instituição. Consultado em 21/05/11.

LORD, Peter & SIBLEY, Brian. Cracking Animation. Consultado em: 25/05/11.

Tutorial de Modelagem dos dentes e língua. Disponível em: http://vimeo. com/8530740 Acesso em 15/06/11.

Tutorial de Lábios e pele em entorno. Disponível em: http://www.secondpicture. com/tutorials/3d/3d_modeling_a_mouth_in_3ds_max.html Acesso em 16/06/11

WILLIANS, Richard. The Animator’s Survival Kit. London: Faber & Faber, 2009. Tutorial de Modelagem dos dentes e língua. Disponível em: http://vimeo.com/8530740 Acesso em 15/06/11

a nova roupa do rei estÁ surda um estudo de cenários … · departamento de artes e design o uso...

Documents