mtpd - uma interface multitoque para processamento de Áudio em tempo real
DESCRIPTION
Surgidas na década de 50, a partir do Music I de Max Mathews, as ferramentas para processamento de áudio desempenham atualmente um papel importante no cenário musical, utilizados ostensivamente por bandas e DJs, o que reflete as centenas de ferramentas para processamento de áudio em tempo real disponíveis no mercado. Neste contexto insere-se este trabalho: ele apresenta o mtPd: uma ferramenta de processamento de áudio em tempo real baseada em um ambiente multitoque, concebida de maneira a ser expressiva, intuitiva e colaborativa para lidar com performances artísticas ao vivo.TRANSCRIPT
![Page 1: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/1.jpg)
UMA INTERFACE MULTITOQUE PARA PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
aluno Jerônimo Barbosa [email protected] orientador Geber Ramalho [email protected]
![Page 2: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/2.jpg)
o que teria os seguintes cenários em comum?
![Page 3: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/3.jpg)
DJ AM...
![Page 4: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/4.jpg)
JONNY GREENWOOD...
![Page 5: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/5.jpg)
...E O LIVE CINEMA!
![Page 6: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/6.jpg)
COMPUTADORES
MÚSICA
PERFORMANCE
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
![Page 7: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/7.jpg)
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REALCSIRAC, de Trevor Pearcey e Maston Beard (1950) e Music I, de Max Mathews (1957).
Atualmente são populares entre músicos, DJs, artistas de novas mídias, que dispõem de diversas ferramentas do gênero.
![Page 8: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/8.jpg)
CSOUND
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Criada na década de 90, no MIT
Linguagem de programação poderosa pra processamento de sinais: a grosso modo, uma mistura de XML com C
Funcionamento baseado na edição de dois arquivos: um de partitura e outro de timbre
![Page 9: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/9.jpg)
MAX
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Surgimento em meados da década de 80, fortemente infl uenciado pelos sintetizadores modulares
Linguagem de programação visual (LVP) para processamaneto audiovisual
Paradigma orientado a fl uxogramase a “fi losofi a MAX”
![Page 10: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/10.jpg)
PURE
DATA
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Criado na década de 90,pelo mesmo fundador do MAX,
Miller Puckette
Free e Open-Source
Bastante poderosa, visava corrigir algumas falhas do antecessor, sendo ainda hoje bastante utilizada
Paradigma orientado a fl uxogramas
![Page 11: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/11.jpg)
IMPROMPTU
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Linguagem gratuita disponível apenas para ambientes OSX
Baseado em Lisp, a linguagem foca em processamento audiovisual com foco em Live Coding
Dá um bom suporte à colaboração
![Page 12: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/12.jpg)
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
ABLETON LIVE
Surgida em 2001, é uma das ferramentas mais populares
entre DJs
Adota uma abordagem diferente de linguagens para
fazer o processamento em tempo real (DAW)
Abordagem mais intuitiva que às linguagens
![Page 13: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/13.jpg)
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
VIMUS
Camada de interface amigável , para sistemas
expressivos (Pd)
Usa uma metáfora de caixas tridimensionais, segundo um
paradigma orientado a fl uxogramas
Acaba ignorando a questão da colaboração
![Page 14: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/14.jpg)
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
REACABLE
Instrumento musical que preza pela expressividade, colaboração e impacto visual na performance
Devido a sua natureza, ignora funcionalidades básicas
![Page 15: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/15.jpg)
PROBLEMASDilema da Usabilidade X Expressividade
Baixo grau de colaboração
Baixa impacto na performance do ponto de vista artístico
![Page 16: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/16.jpg)
SOLUÇÃOmtPd! Uma ferramenta multitoque para processamento de áudio em tempo real
Tal como o Reactable e o ViMus, seria uma abstração do Pure Data -
substituindo seus principais elementos tradicionais por outros novos, segundo
uma abordagem multitoque
Dessa forma, com o mtPd poderemos programar a máquina apenas através de
gestos do dedo do usuário na mesa, desenhando objetos, conectando-os...
![Page 17: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/17.jpg)
SOLUÇÃO
Abordagem multitoque (que pode ser considerada uma abordagem mais natural, por
prover uma interação táctil “direta” com o programa, sem a necessidade de artefatos
menos convencionais ao homem), aliada a uma interface elaborada segunda uma abordagem
centrada no Usuário.
Aplicações multitoques apresentam por natureza um alto grau de colaboração.
Abordagem multitoque aliado a um bom Design gráfi co e de Interação.
PROBLEMAS
Dilema da Usabilidade X Expressividade
Baixo grau de colaboração
Baixa impacto na performance do ponto de vista artístico
![Page 18: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/18.jpg)
CONCEPÇÃO [1]Experiência em aplicações multitoque: Interface baseada em gestos sob contexto!
Paper prototyping – Aplicados a três usuários do Pure Data, programadores, músicos e artistas de novas mídias, em encontros que duraram em média 30 minutos.
Pediu-se para que os supostos usuários realizassem algumas funções básicas do Pd sem que qualquer instrução adicional lhe fossem fornecidas.
Essas instruções foram especifi cadas de modo que trabalhassem os elementos básicos do Pd, sendo esses por hora os principais alvos da pesquisa.
![Page 19: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/19.jpg)
Ricardo Brazileiro, é ativista de software l ivre e artista de novas mídias. Já desenvolveu diversos trabalhos envolvendo a ferramenta, incluindo o Emotional Kernel Panic, trabalho apresentado no PdCon09, a principal conferência internacional sobre o Pd.
Jarbas Jacome, é musico e mestre em ciência da computação pelo Centro de Informática da UFPE. Em 2007 recebeu o Prêmio Rumos Itaú Cultural Arte-Cibernética Apoio a Pesquisa Acadêmica por sua pesquisa de mestrado, o ViMus, Além disso, a ferramenta é bastante presente no seu trabalho como musico.
Felipe Machado, programador, membro do estúdio l ivre, do CDTL e consultor/desenvolvedor em Cultura Digital no estado de Pernambuco. Já util iza há um bom tempo o Pd como ferramenta de trabalho.
OS USUÁRIOS...
![Page 20: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/20.jpg)
CONCEPÇÃO [2]Elementos contemplados: Caixas (Object, Number, Message e Comment), Conexões, Patches/Subpatches e Funcionalidades Básicas (Salvar, Abrir, Copiar...)
Adotou-se uma abordagem de gestos sob contexto para substituir os menus tradicionais
Através de uma perspectiva centrada no usuário de concepção, tentou-se combinar os processos de concepção e validação
![Page 21: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/21.jpg)
IMPLEMENTAÇÃOINFRA-ESTRUTURA DE HARDWARE E SOFWARE
![Page 22: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/22.jpg)
IMPLEMENTAÇÃO
APLICAÇÃO• Python• PyMT• Biblioteca auxiliar (Dynamic
Patching)
![Page 23: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/23.jpg)
TRABALHOS FUTUROS
Tornar o protótipo desenvolvido mais estável do ponto de vista técnico, de modo que esse realmente possa ser utilizado por
artistas como uma ferramenta de processamento de áudio
Realizar testes de validação mais aprofundados, de modo a fortalecer a tese
proposta neste trabalho
Terminar de implementar todas as demais funcionalidades do Pure Data ignoradas
neste trabalho, de modo que o mtPd seja de fato uma versão multitoque do Pd
Realizar testes de performance, comparando-os com o os demais
concorrentes do mtPd
RESULTADOSProtótipo Funcional, Implementado em um período de aproximadamente 3 meses!
Desenvolvimento marcado pela elevada complexidade técnica, que acabou por impossibilitar a implementação de todas as funcionalidades propostas inicialmente e comprometendo a etapa de validação
Proposta muito bem recebida na comunidade
![Page 24: mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real](https://reader033.vdocuments.net/reader033/viewer/2022052600/557cc5ded8b42a59078b4ef2/html5/thumbnails/24.jpg)
UMA INTERFACE MULTITOQUE PARA PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
aluno Jerônimo Barbosa [email protected] orientador Geber Ramalho [email protected]