relatÓrio de pesquisa
TRANSCRIPT
1
RELATÓRIO DE PESQUISA Pesquisador. Julián Jaramillo Arango Pós-doutorado CAPES PNPD Período. 02/04/2018 – 31/05/2019 Núcleo de Pesquisas em Sonologia. NuSom Escola de Comunicações e Artes Universidade de São Paulo Supervisor. Professor Doutor. Fernando Iazzetta Projeto. Design e criação de uma interface para instrumentos de corda da América do Sul
2
Índice 1. Compromissos adquiridos no projeto inicial.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1 Resumo executivo do projeto....................................................................... 3 1.2 Cumprimento do Plano de trabalho previsto.............................................. 3
2. Atividades de Pesquisa .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1 Análise ............................................................................................................ 5 2.2 Síntese ............................................................................................................ 6 2.3 Experimento ................................................................................................... 7 2.4 Avaliação e documentação ............................................................................9
3. Atividades de Apoio ao Programa.... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12
3.1 Coordenação do Grupo de Práticas Interativas.........................................12 3.2 Colaboração com o projeto InterSCity ...................................................... 14 3.3 Coordenação e Curadoria da exposição Sons de Silício ..........................16
4. Quadro de Produção Bibliográfica .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20 5. Outros eventos decorrentes .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 6. Referencias .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3
1. Compromissos adquiridos no projeto inicial 1.1 Resumo executivo do projeto O projeto propõe o desenvolvimento de uma interface eletrônica adaptável a instrumentos de corda dedilhada da América do Sul e de tamanho menor do que o violão, como o Cavaquinho brasileiro, o Charango peruano/boliviano, o Cuatro venezuelano/colombiano e o Tiple colombiano. Projetada com um design portável, a interface respeita a integridade física do instrumento, trazendo para o intérprete funções de (1) aumentar o volume natural do instrumento (2) transformar o timbre tradicional. O processo de design e desenvolvimento tecnológico levou em consideração discussões provindas do campo da musicologia sobre a transformação nos modos de construção dos instrumentos de corda dedilhada, o papel social dos intérpretes, o caráter nacionalista do timbre e as técnicas interpretativas da mão direita desenvolvidas nos gêneros tradicionais de diferentes regiões. 1.2 Cumprimento do Plano de trabalho previsto O projeto inicial previu atividades em diferentes direções que se correspondem com as etapas da metodologia de pesquisa. Embora as etapas de análise, síntese, experimento e avaliação tivessem intervalos transitórios de superposição, elas iriam se desenvolver de modo linear durante um período de 12 meses. mês 1 2 3 4 5 6 7 8 9 10 11 12
Análise Síntese Experimento Avaliação
Figura 1. Cronograma inicial de pesquisa.
No entanto, durante o 8vo mês de execução do projeto foi solicitada uma prorrogação de três meses ao período inicial. Esta solicitação foi sustentada na previsão do cumprimento dos objetivos de pesquisa e do compromisso adquirido por parte do pesquisador com atividades acadêmicas e artísticas desenvolvidas dentro do NuSom. As atividades destes três meses adicionais foram realizadas sem o auxilio financeiro da CAPES. A prorrogação deu lugar a uma alteração no cronograma de atividades. mês 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
4
Análise Síntese Experimento Validação Participação
no NIME Figura 2. Cronograma proposto na solicitação de prorrogação.
A aprovação da prorrogação possibilitou que o cumprimento dos objetivos propostos no projeto inicial se aproximasse do 100%.
-‐ Desenvolvimento de um dispositivo informático portável que estenda as qualidades timbrísticas e interpretativas de instrumentos de corda dedilhada. (100¨%)
-‐ Documentação das diferentes etapas do processo (100%) -‐ Implementação de tecnologias de inovação aberta. (100%) -‐ Produção de documentos que possibilitem a replicação da interface em
outros contextos académicos da região. (90%) -‐ Elaboração de um estudo inédito que contribua no contexto académico
e científico dentro do campo das novas interfaces para expressão musical (NIME) (100%)
Enquanto aos resultados, esperava-se que eles fossem conseguidos em três níveis diferentes de produção de conhecimento:
a. Desenvolvimento tecnológico (criação de um protótipo funcional da interface)
b. Teoria (1 publicação de alto impacto e 2 participações em conferencias internacionais)
c. Artísticos. (participação em ao menos 1 evento artístico organizado pelo NuSom).
Como será mostrado a partir da seção 2, estes resultados foram atingidos integralmente superando, em alguns casos, as expectativas projetadas e os compromissos adquiridos no projeto inicial. A estancia de pós-doutorado se desdobrou em dois tipos de atividades diferentes: atividades de pesquisa e atividades de apoio ao NuSom. Pela natureza diferente destas atividades, elas serão relatadas e discutidas separadamente. As atividades propriamente de pesquisa seguiram o cronograma apresentado na seção 1 e se correspondem com o modelo metodológico adotado que prefigurou as etapas de análise, síntese, experimento e avaliação. Por outro lado, o projeto previu atividades voltadas ao apoio e fortalecimento de processos académicos e artísticos do programa que recebeu o pesquisador, neste caso o NuSom. Estas atividades
5
foram conciliadas com o supervisor do projeto, o professor Doutor Fernando Iazzetta. 2 Atividades de Pesquisa
2.1 Análise Na etapa de análise foi realizado um levantamento de trabalhos de musicologia relativo aos instrumentos de corda dedilhada, realizando um recorte em aspectos como: (a) o papel social dos intérpretes, (b) o caráter nacionalista, (c) as técnicas interpretativas de mão direita, e (d) o papel que ocupa a tecnologia neste contexto musical. A etapa de análise trouxe importantes recursos para a pesquisa e estendeu o universo conceitual. Além dos documentos que faziam parte da bibliografia inicial do projeto [1-6], foram consultados novos trabalhos que complementaram o corpo de referencias [7-14]. Adicionalmente, a plataforma youtube foi incorporada como fonte de informação. Foi realizada uma recopilação e seleção de tutoriais e aulas online sobre técnicas interpretativas populares dos instrumentos de corda dedilhada.
Figura 3. Página inicial do primeiro texto produzido na pesquisa.
Resultados parciais da etapa de análise foram documentados e discutidos no texto “Augmented Charango: an interface for enriching the andean music social role¨ [14] escrito junto ao pesquisador Jaime Daniel Rojas. Embora tenha sido produzido nos primeiros estágios da pesquisa, o artigo constituiu uma primeira socialização do projeto num contexto científico. O trabalho foi apresentado na 11th International Conference of Students of Systematic Musicology realizada em Belo Horizonte entre 06 e 08 de Junho de
AUGMENTED CHARANGO: AN INSTRUMENT FOR ENRICHING THE ANDEAN MUSIC SOCIAL ROLE
Julian Jaramillo Arango Jaime Daniel Rojas Núcleo de Sonologia
Escola de Comunicações e Artes Universidade de São Paulo [email protected]
Independent Researcher [email protected]
ABSTRACT
Departing from Thomas Turino’s research about the context of the charango (Andean stringed instrument) in rural Peru which is highly symbolic and relates to processes of courting and love and using it as an inspiration, our aim is to create a new interface design for the charango that expands its social possibilities yet to be determined. An electronic extension of the instrument will be incorporated which enables the player to get new layers of sounds serving as a new development of the NIME (New Instruments for Musical Expression), human computer interaction and computer music. Schachter’s work on live electronics and the cajon (a Peruvian percussion instrument) and Escobar’s expanded marimba from the Colombian Pacific coast as well as are all proper references for this research.
INTRODUCTION
This paper reports the first stages of an ongoing research devoted to build an electronic extension for the charango. First, the project points out some technical challenges since the device is intended to be portable, embedded to the instrument’s body and operated in real time. Second, the creation of the digital audio processes will be guided by theoretical insights. The traditional charango sound will be transformed according to interpretative playing techniques recognized in musicological and ethnomusicological studies. As representatives of a particular social roles of the instrument, traditional techniques such as the strummed playing one, will inform some decisions in the signal processing . By including such theoretical concerns in an instrument-building reasoning, the project aims to propose methodological directions in sound and music studies. Conscious of the unconventionality of the procedure, we take into account both artistic and scientific perspectives of music
interaction, as well as links between theoretical and practical endeavours. This work in progress research described in the paper is divided into four parts. In the first section we will present a historical context by recognizing pertinent references in our region concerned with indigenous music making and new technologies. Then we will have an explanation of the research project in the second section, here we will present the proposal of a four stage plan for the research. Afterwards we will talk about the strumming technique and justify why it is the focus of the research. Finally in the last section we will discuss some activities and procedures we envision in future stages of the project. Julian Jaramillo Arango and Jaime Daniel Rojas Vargas are early career scholars from Colombia living and working in Brazil. While Julian is currently accomplishing a postdoctoral stay at the Núcleo de Sonología that is part of the School of Arts and Communication at University of Sao Paulo, Jaime is currently living in Curitiba doing research in various projects, he holds an MA in Media Studies. They have both managed to work from a distance.
HISTORICAL CONTEXT
Definition of the instrument
The charango is a small Andean string instrument, its origins are speculated around in the 18th century around Peru and Bolivia in the high plains of the Andes mountains. Its creation was due of the contact between local and European cultures, this is an important input since there is a group of regional instruments from different countries with a similar mixtured origin. According to the Groove Music Online dictionary the
charango is: “It is shaped like the Spanish guitar but has a small, thin
soundbox and short strings, giving a sharp, high-pitched sound. The neck has between five and 18 wooden, bone or metal frets. The soundbox may have a flat wooden
Proceedings of the 11th International Conference of Students of Systematic Musicology
66
6
2018 pela UFMG. O texto foi publicado nos nas memórias e tem acesso livre no link musica.ufmg.br/sysmus2018/wp-content/uploads/2018/07/Augmented-Charango-an-Instrument-for-Enriching-the-Andean-Music-Social-Role.pdf 2.2 Síntese A etapa de síntese envolveu a consolidação e processamento dos resultados parciais atingidos na etapa de análise, assim como a transformação deles em aspectos definidos a serem contemplados no design do dispositivo. Nesta etapa também foram estabelecidas as especificações da interface além dos primeiros esboços do plano construtivo do dispositivo. Durante a etapa de síntese o dispositivo adquiriu o nome de PIC (acrônimo de Portable instrument-computer ).
Figura 4. Slide da conferencia de apresentação de resultados da
pesquisa realizada no NuSom.
A figura 4 mostra a consolidação da etapa de análise em 4 aspectos tomados do levantamento no campo da musicologia: (a) necessidade do intérprete de carregar o instrumento, (b) conotações nacionalistas do timbre dos instrumentos, (c) técnicas interpretativas e (d) estranheza da tecnologia dentro do contexto musical tradicional. Estes aspectos funcionaram como contextos de ação para tomar as decisões técnicas de design na construção de PICO, e se tornaram problemas de (a) peso, tamanho e localização dos componentes (b) análise de timbre (c) efeitos de áudio adequados para as técnicas do instrumento e (d) incrustação de um sistema de áudio e acessibilidade dos componentes utilizados no processo construtivo. Por sua vez, estes contextos de ação criativa deram lugar às especificações do dispositivo que foram atendidas na etapa de laboratório: (a) portabilidade (b) Equalização automática
7
(c) Efeitos de Eq, reverberação, chorus e delay (d) interface de controle amigável. 2.3 Experimento
A etapa do experimento envolveu atividades de laboratório em que as especificações definidas nas etapas prévias foram implementadas. Desse modo no experimento foi construído um protótipo funcional capaz de atender as necessidades identificadas no contexto musicológico estudado. A maioria de atividades desta etapa ocorreu no contexto do Grupo de Práticas Interativas, criado inicialmente com o propósito de apoiar o NuSom, mas que teve também um enorme impacto na pesquisa pois permitiu receber contribuições de outros colegas do NuSom.
Figura 5. Materiais utilizados na construção de PICO
Um aspecto relevante no processo de pesquisa foi a implementação de recursos inovação aberta, ou seja, materiais e ferramentas computacionais de código aberto e livre distribuição. PICO foi criado pensando que outros pesquisadores da região pudessem reconstruir a interface no seu país, por isto foram utilizadas ferramentas acessíveis e abertas tanto de software (Pure Data) quanto de hardware (Raspberry Pi). A figura 5 mostra o hardware de PICO, conformado por uma série de componentes selecionados com critérios de peso, tamanho e eficiência, controlados por uma placa Raspberry Pi . A figura 6 mostra o software de PICO, programado em Pure Data, cuja interface de controle roda numa tela de toque que permite ao intérprete alterar, em tempo real, os parâmetros dos efeitos que alteram o timbre do instrumento.
8
Figura 6. Os processos de áudio e de controle dos parâmetros de PICO
foram programados no software de livre acesso Pure Data.
Durante a etapa de síntese foram recebidas aportes e contribuições diferentes sentidos. Por exemplo para a localização dos materiais ao corpo do instrumento foi criada uma estrutura branda de neoprene onde os componentes são prendidos com técnicas de design de vestuário. Isto constituiu uma solução para preservar a integridade física do instrumento.
Figura 7. A localização e fixação dos componentes eletrônicos ao corpo
do instrumento foi resolvido com técnicas de design de vestuário.
O principal resultado do experimento foi protótipo funcional para o cavaquinho. Dos 4 instrumentos contemplados o cavaquinho foi escolhido pela facilidade de encontrar intérpretes que pudessem ajudar na etapa de avaliação operacional do dispositivo. No entanto foram criados estruturas de neoprene para o cuatro e o tiple de modo que os componentes podem ser colocados em 3 dos 4 instrumentos projetados inicialmente.
9
Figura 8. Protótipo funcional de PICO para o Cavaquinho.
Com a mestre cavaquinhista Ana Claudia Cesar, integrante fundadora do prestigioso grupo Choronas, foi realizado um longo e enriquecedor processo de interlocução e retroalimentação sobre o funcionamento de PICO. No seguinte vídeo a mestre Ana Claudia faz uma demonstração das possibilidades de PICO no contexto do choro e da música tradicional brasileira. https://vimeo.com/339663109 2.4 Avaliação e documentação A etapa de avaliação se ocupou de preservar a coerência entre o que foi planejado na análise e o que foi atingido após terminar o experimento. Para isto o protótipo funcional foi exposto aos olhos de outros musicistas e intérpretes especializados nestes instrumentos. Este processo foi realizado de maneira sistemática de modo que as observações e recomendações pudessem ser recebidas e assim incorporá-las no dispositivo. Foi realizado um teste em que durante meia hora os participantes deviam realizar 3 ações ou tarefas com o instrumento, e depois responder um questionário de 14 perguntas durante meia hora. O teste foi realizado a 16 músicos profissionais, alguns pertencentes ao departamento de Música e outros de fora da Universidade.
10
Figura 9. Participantes na avaliação de PICO
A primeira parte do teste observou a performance de PICO e segunda o grau de satisfação dos intérpretes com a interface. Estes dois aspectos são avaliados a través da valoração de aspectos às especificações conseguidas na etapa de síntese e implementadas no experimento: portabilidade, preservação do timbre, facilidade de controlar os efeitos e desempenho do sistema de áudio. Os participantes também deram um parecer livre sobre PICO a través de um texto de onde foram tiradas importantes conclusões.
Figura 10. Índices de satisfação de PICO atingidos no teste de
avaliação.
11
Os resultados da etapa avaliação apontaram ajustes e questionamentos ao design do dispositivo, que foram implementados e recopilados de maneira sistemática. Na etapa final também foi elaborado um texto que relata o processo de pesquisa, problematizando uma série de assuntos compartilhados por outros construtores de instrumentos e interfaces eletrônicas e formula um novo dispositivo. Este texto foi submetido no contexto de maior exigência académica no campo: a conferencia New Interfaces for Musical Expression. Se trata de um evento científico com mais de 20 anos de tradição, cujo processo de seleção envolve 3 revisores cegos e cuja taxa de aceitação é menor ao 50%. A memórias do NIME constituem uma publicação de alto impacto, pois garantem a circulação do documento nas principais bases de dados académicas no campo de som e música.
Figura 12. Texto de documentação da pesquisa, apresentado na conferencia New Interfaces for Musical Expression NIME 2019.
Os revisores do texto tiveram um série de observações e recomendações que
foram seguidas minuciosamente, desse modo o texto “PICO: a portable
PICO: a portable audio effect box for traditional plucked-string instruments
Julián Jaramillo Arango Research Center on Sonology
São Paulo University Av Prof Lúcio Martins Rodrigues, 443
05008-020. São Paulo. SP. Brazil [email protected]
Fernando Iazzetta
Research Center on Sonology São Paulo University
Av Prof Lúcio Martins Rodrigues, 443 05008-020. São Paulo. SP. Brazil
ABSTRACT This paper reports the conception, design, implementation and evaluation processes of PICO, a portable audio effect system created with Pure Data (Pd) and the Raspberry Pi, which augments traditional plucked string instruments such as the Brazilian Cavaquinho, the Venezuelan Cuatro, the Colombian Tiple and the Peruvian/Bolivian Charango. A fabric soft case fixed to the instrument`s body holds the PICO modules (the touchscreen, the single board computer, the sound card, the speaker system and the DC power bank). The device audio specifications arose from musicological insights about the social role of performers in their musical contexts and the instruments’ playing techniques. They were taken as design challenges in the creation process of PICO`s first prototype, which was submitted to a short evaluation. Along with the construction of PICO, we reflected over the design of an interactive audio interface as a mode of research. Therefore, the paper will also discuss methodological aspects of audio hardware design. Author Keywords Portable Audio, Mobile Music, Plucked-string instruments, CCS Concepts • Applied computing → Sound and music computing Human-centered computing → Mobile devices • Human-centered computing → Empirical studies in ubiquitous and mobile computing
1. INTRODUCTION The research behind PICO focused on Latin American musical traditions where portability is a regular feature, since performers play the music in vernacular contexts such as festivities and bohemian commemorations. For instance, ethnomusicologist Thomas Turino examines the courting ritual associated to the Charango by suggesting that the instrument channels both, desire and anxiety between the lovers [1]. This ritual occurs in some Peruvian countryside towns’ markets where Charango players court ladies with the instrument. While the social role of these performers constitutes an inspiration in the creation of the system, the research looked into musicological studies as well as playing techniques to determine the demands that the system should attend. Although the expected PICO users are both, traditional performers and experimental musicians concerned with these instruments, the device can be also attached to other global instruments such as the ukulele or even an acoustic guitar. PICO adapts spectral analysis strategies, signal processing procedures and human-computer interaction techniques to a musical context where technology is usually alien.
The device provides a portable real time audio system capable of: (1) increase the instrument energy while preserving the original timbre, and (2) processing the signal allowing the performer to extend the repertoire of timbre nuances. PICO emerged as a tangible result of an academic research conducted in the Research Center on Sonology at the São Paulo University Music Department, in Brazil. This research addresses a multicultural and trans-disciplinary approach to audio technology design. Its contribution to the NIME community is related to the applicability of audio technology to traditional music, and with the spreading of interactive audio concepts and procedures on an active folk musical context. In order to tackle such a task, the research is supported on some methodological findings developed in the field of design studies [2], [3] which have been adopted by other NIME researchers [4]. By interpreting these ideas, we create a practice-based research methodological model focused on audio interface construction. It was already adopted in the building process of other devices [5], [6]. The model envisages four stages: analysis, synthesis, experiment and validation. Each one of them will be described in the sections of this paper. Our description will be preceded by a theoretical exposition of the model, and then it will give the details of our particular implementation taking PICO as the case study. In addition, we also embraced concepts and insights usually discussed by the NIME community. The Hyperinstruments project leaded by Todd Machover from the early 1990 at the MIT [7] encouraged a direction on experimental instrument making where technology is capable “… to give extra power and finesse to virtuosic performers” [8]. Projects devoted to augment traditional instruments are particularly relevant [9-12] since they have taken into consideration the original acoustic proprieties in the design of novel interfaces. On the other hand, PICO assumed the challenge of creating interfaces free from physical constrains [13] by exploring portability as a necessary feature of audio interfaces. Portability has been investigated extensively by interface designers giving rise to a new set of music interaction modes [6], [14],[15], mainly with the popularization of smartphones, touchscreens and single-board computers. Regarding the augmentation of string instruments the concept of active control [16] has gained attention in latest years. Attaching actuator and sound transducer systems to the acoustical instruments` body is another way to take advantage of the original capabilities. Although our device adapted a speaker system instead of an actuator one, projects such as the IRCAM’s smart instrument [17] as well as other experimental and commercial interfaces augmenting the acoustic guitar suggests alternative directions for PICO future prototypes.
2. ANALYSIS: MUSICOLOGICAL INSIGHTS ON PLUCKED-STRING INSTRUMENTS The Analysis stage started with the recognition of a cultural frame in which a complex problem could be identified. According to
12
audio effect box for traditional plucked-string instruments” [15] foi aceito na conferencia, apresentado como pôster no dia 04 de Junho de 2019 em Porto Alegre e publicado nas memórias com acesso livre no seguinte vínculo. www.nime.org/proceedings/2019/nime2019_068.pdf No dia 13 de Maio de 2019 foi realizada uma palestra onde os resultados da pesquisa foram apresentados aos professores, pesquisadores, estudantes e artistas que integram o NuSom e ao público em geral. Durante a sessão, que se estendeu por aproximadamente duas horas, foram discutidos em detalhe os diversos aspectos da pesquisa e foi recebida uma importante retroalimentação por parte dos asistentes. Esta palestra pode ser acessada no site do NuSom através do link http://www2.eca.usp.br/nusom/encontro_julian 3. Atividades de Apoio ao programa Em concordância com o Professor Doutor Fernando Iazzetta foi planejada uma série de atividades de apoio e fortalecimento às atividades de pesquisa e ensino que lidera o NuSom. Em primeira instancia foi proposto ministrar uma disciplina no curso de graduação em música envolvendo assuntos relacionados à pesquisa. No entanto, a proximidade e interesse comum com vários integrantes do curso de pós-graduação permitiu a criação de um grupo de pesquisa que se fortaleceu ao longo da estancia de pós-doutorado. Com o grupo foram realizadas diferentes atividades que serão descritas no seguintes parágrafos. 3.1 Coordenação do Grupo de Práticas Interativas Em 14/05/2018 foi realizada a primeira apresentação do trabalho recente do pesquisador no contexto dos seminários de Arte e Criação que organiza o NuSom, cujo vídeo de documentação pode ser consultado em https://youtu.be/1TTvEzRs_Eg Esta apresentação derivou na criação do Grupo de Práticas Interativas (GPI), [16] que foi coordenado pelo pesquisador entre Junho de 2018 e Maio de 2019. O grupo foi conformado por seis integrantes com o seguinte intuito.
O grupo de práticas Interativas do Nusom se reúne semanalmente no Departamento de Música da ECA. O intuito do grupo é explorar recentes insumos informáticos para a prototipagem de dispositivos sonoros interativos como Arduino, Raspberry Pi e o
13
ESP8266. São privilegiadas atividades e projetos de caráter pratica envolvendo a fabricação dispositivos móveis e autônomos com operações de áudio que levam em consideração conceitos como internet das coisas e ubiquidade computacional. O grupo é coordenado pelo Dr. Julián Jaramillo Arango, quem realiza estágio pós doutoral no programa de Música da ECA/USP. Os integrantes do grupo tem origens disciplinares diversas e diferentes níveis de conhecimento técnico, no entanto se busca que os integrantes possam desenvolver questões da pesquisa de pós-graduação em andamento de modo prático e colaborativo. Embora o grupo se concebe e orienta no contexto de pós-graduação de Sonologia da USP, onde participam o programa de Música e o de Matemáticas e Estatística, também se prevê a participação de integrantes de outras
unidades e também de fora da Universidade. [17]
Figura 13. Integrantes do Grupo de Práticas Interativas (GPI) no espaço das artes.
Além das atividades de laboratório descritas no blog citado acima, os encontros também se deram discussões de caráter teórica, visando assuntos referentes às pesquisas em andamento dos integrantes do GPI, como o papel da tecnologia de áudio nos processos culturais recentes e nas metodologia de pesquisa que envolvem a criatividade artística como modus operandi. Além dos resultados práticos, o grupo produziu dois artigos que foram apresentados na International Conference on Sound Studies, Sonología 2019 I/O, organizada polo NuSom no Centro de Pesquisa e Formação do SESC, entre os dias 9 e 12 de Abril de 2019. Os artigos apresentados foram Headphone listening cultures: contingencies and crossings [18] e Methodological considerations of practice-based-research in the field of sonology: the NuSom interactive practices group [19]
14
Figura 14. Produção bibliográfica do Grupo de Práticas Interativas.
Figura 15. Produção bibliográfica do Grupo de Práticas Interativas.
3.2 Colaboração com o projeto InterSCity
Outras atividades se concentraram no fortalecimento dos vínculos académicos já existentes de longa data entre o NuSom e pesquisadores do campo da ciências da computação ligados ao Instituto de Matemáticas e Estatística. Durante a estancia de pós-doutorado foi submetida uma proposta de trabalho ao projeto InterSCity liderado pelo professor Doutor Fábio Kon do IME/USP. O InterSCity é financiado pelo INCT (Instituto Nacional de Ciência e Tecnologia) através do CNPq, CAPES e Fapesp e se dedica a elaborar soluções e propostas no contexto das Smart Cities [20]. A proposta visou elaboração de uma instalação de Arte Sonora, que tornasse audível, as informações contidas
Headphone listening cultures: contingencies and crossings
Julián Jaramillo Arango ECA-USP - [email protected]
Paulo Assis Barbosa ECA-USP - [email protected]
Esteban M. V. Astorga ECA-USP - [email protected]
Abstract. This paper discusses the headphones as key factors in the establishment of a mobile listening culture by suggesting that the function of this artifact has been changing according not only with technological innovation, but also with economic contingencies borrowed from capitalist logics. By discussing concepts such as tympanic function (Jonathan Sterne) and Commodity Scientism (Thimoty Taylor) the text will examine theories on the origins of headphones, as well as analyzing early models. The Walkman, launched in the 1980, will be the subject of a detailed scrutiny, since it is responsible for linking the consume of audio equipment with the urban life. Afterward, the article will confront a handful of texts discussing mobile listening fostered by the Walkman but extended by subsequent portable audio products such as the Apple’s iPod. In the contemporaneity, the headphones underwent a process of stylization and have achieved the status of a fashion accessory. On the other hand, they are being implemented in interactive audio narratives such as games and smartphone applications. Locative audio will be discussed as an experimental field envisaging future functions and features for the headphones.
Keywords: Audio Culture, Headphones, Walkman, Audio Portability.
1. Introduction
The changes that mobile music brought to music consumption and society are mainly related to the launch of the Walkman and its successors, such as the iPod. Often overlooked, the headphone plays an important role in this history, being the part that allows the private listening in public - one can be "mobile" with a big stereo, but never sound isolated without a pair of cans. Even without a systematic study of the headphones, this article finds its presence in different subjects and authors, such as early phonography (Sterne, 2003), the mp3 format (Sterne, 2012), music consumption (Taylor, 2001), hi-fi and genders (Iazzetta, 2009), the Walkman and its successors (Hosokawa, 1984), (Acosta, 2000), (Chambers, 2004), (du Gay et al, 1997), (Bull, 2005) and locative media (Tuters & Varnelis, 2006), (Behrendt, 2015), (Verstraete, 2017). Being a technology adapted from military communication to hi-fi stereos and finally to the streets, its history may be traced even before any sound recording, back to the start of what Jonathan Sterne calls tympanic function, evolving to a technological commodity and even to a fashion statement. This article looks at the headphone history, suggesting its functions varies through time, from his use as a military device to a luxury fashion accessory.
Methodological considerations of practice-based-research in the field of sonology: the NuSom interactive practices group
Julián Jaramillo Arango
NuSom. ECA-USP - [email protected]
Vitor Kisil Miskalo Universidade Anhembi Morumbi - [email protected]
Fábio Martinele Neto
NuSom. ECA-USP - [email protected]
Pedro Paulo Köhler Bondesan dos Santos LAMI-USP - [email protected]
Abstract. This paper reflects on the processes of the NuSom Interactive Practices Group bringing them to the discussion about methodological research models and the production of knowledge in the field of Sonology. Firstly, it presents a conceptual basis discussing the theoretical work of thinkers who deal with research based on practice, since this concept has been increasingly adopted in recent years in processes integrating scientific research and creation. We will analyse how this practice-based research differs from the conventional modes of academic production and to what extent it can contribute in the construction of useful evaluation criteria able to rank the artistic works and practices carried out in the academy. The text then focuses on the activities of the NuSom Interactive Practices Group, (GPI, 2018) grounded in the ECA/USP and comprised by members of the Sonology Research Center. The purpose is to observe critically our own research practice experiences, drawing attention to the methodological and procedural aspects experienced by the group, encompassing questions of composition, musical performance, sound art, electronic prototyping and musical computing.
Keywords: Creative Practices, Methodology, Practice-based Research, Experimental Luterie, Hacking.
1. Introduction
By referring to practice, we do not only understand it as a complementary opposition to traditional theoretical processes, but rather as an autonomous mode of knowledge production addressing a set of gravitating concepts. Thus, the first section of the text will discuss some of the concepts supporting both, the logics and logistics of the Practice-Based Research (PBP), such as experimentalism and heuristic, nonlinearity, uncertainty and ambivalence of predetermined objectives and the unfinished condition of results and products. The discussion confronts authors from different disciplines who approach these concepts with proposals in the field of music, design, art-science and interdisciplinary and collaborative art.
Our discussion continues by considering PBP concerns that are particular to the space and time where the academic activities are being developed: the Public University of Latin America - in our case, the School of Communications and Arts of the University of São Paulo (ECA-USP). In contrast to the current hegemonic view, disseminated by European and North American institutions - such as IRCAM, SARC and CCRMA - and explored by collectives of researchers who meet annually at
15
numa base de dados gerada por pesquisadores do InterSCity. Estas informações se correspondem com o funcionamento e desempenho do sistema de ônibus da cidade de São Paulo durante uma semana de Outubro de 2017. Este tipo de trabalho, denominado sonificação de dados científicos, já tinha sido abordado pelo pesquisador em experiências académicas prévias e constituiu um desafio para o GPI. Além disso a proposta se comprometeu a realizar um evento para a divulgação do trabalho, este evento foi projetado como uma exposição de Arte Sonora onde se mostrariam resultados de outros pesquisadores da USP com material sonoro.
Figura 16. Instalação BUZU (2019) realizada em colaboração com o projeto InterSCity.
A proposta solicitou uma verba para a aquisição de materiais para a criação do trabalho artístico e a execução do evento de divulgação. Ela foi avaliada de maneira formal pelo comité académico do projeto InterSCity e aprovada dando sinal verde para a criação da instalação que foi chamada BUZU e a realização da exposição. A criação de BUZU envolveu um intenso trabalho em âmbitos como a programação de áudio e o gerenciamento de bases de dados. Neste sentido a colaboração com membros o projeto InterSCity do campo das Ciências da computação foi fundamental para a execução satisfatória do projeto. O integrante do GPI Esteban Viveros Astorga participou de maneira integral no processo de criação de BUZU figurando como autor da obra ao lado do pesquisador e do Professor Doutor Fenrnando Iazzetta.
16
O trabalho foi documentado em vídeo disponível no seguinte link https://vimeo.com/349496403
O texto “BUZU: Retrieving public transportation data for sonification” [21] não apenas descreve o processo criativo, mas também discute detalhes técnicos da construção de BUZU. O artigo foi submetido ao Seminário Brasileiro de Computação Musical, SBCM 2019.
Figura 18. Instalação BUZU (2019) realizada em colaboração com o projeto InterSCity.
3.3 Coordenação e Curadoria da exposição Sons de Sil icio A disponibilidade de verba para a realização do evento de divulgação constituiu uma oportunidade para o GPI oferecer ao NuSom um espaço de exibição de trabalhos recentes e para receber propostas de pesquisadores e artistas próximos do grupo. Foi solicitado o Espaço das Artes, antigo MAC/USP, para a realização da exposição que foi nomeada Sons de Silício e foi realizada em comemoração da 15 edição da série ¿Música? organizada desde 2005 pelo NuSom.
Sons de Silício surgiu da necessidade do GPI de levar a um plano prático intuições e raciocínios discutidos durante os encontros regulares. O desejo de
BUZU: Retrieving public transportation data for sonification
Julián Jaramillo Arango*, Esteban Viveros Astorga, Fernando Iazzetta, Cristiano Figueiró
Núcleo de Pesquisas em Sonologia – Escola de Comunicações e Artes, Universidade de São Paulo Av. Prof. Lúcio Martins Rodrigues, 443 - Butantã, São Paulo - SP, 05508-020, Brasil
[email protected], [email protected], [email protected], [email protected]
* Supported by CAPES.
Abstract This paper discusses the conception, design
and exhibition of BUZU, an audiovisual installation that generates an auditory image of the São Paulo bus transportation system. BUZU makes perceptible information of both the system’s planning and behavior during a particular week in October 2017. The work is an artistic outcome of the InterSCity project, an inter-institutional research initiative concerning the Future Internet and the Smart Cities. Along with the discussion of the BUZU creation process we will examine mining and processing strategies related to the sonification of big data, the data-to-sound mapping methods, the auditory structure for displaying the material and the public exhibition of the work in the context of an artistic event. 1. Introduction
BUZU is an audiovisual installation risen as an artistic outcome of the InterSCity project [1], which designs computational strategies and tools for the Future Internet and the Smart Cities [2]. BUZU was launched in the “Sons de Silício” Art exhibition [3], that was held in the older São Paulo Museum of Contemporary Art in April 2019. BUZU emerged as the result of collaboration between the Research Center on Sonology (a.k.a NuSom) and the InterSCity.
Figure 1: The BUZU installation.
The installation proposes an acoustical image of São Paulo by retrieving information of the city public bus transportation system, which comprises 2.183 lines. BUZU makes perceptible a dataset created by the InterSCity project, which reports the system’s behaviour in a particular working week in October, 2017. While the dataset original purpose is comparing the system behaviour with the Easter holiday, in BUZU the dataset is implemented to feed an audiovisual engine created in Pure Data (a.k.a. Pd) and Processing. The audio is projected by a quadraphonic system and the visuals are displayed in a central screen. Textual information is presented in four little LCD screens distributed around the central structure. By exploring alternative representations of the city, the project adopts sonification as the main strategy.
It is worth mentioning that sonification has been increasingly implemented in projects creating acoustical representations of the city. These projects involve the displaying of the London subway system information with reference sounds [4], the exploration of mapping techniques used in urban planning and design [5] and the organization of geospatial data in geographic maps [6]. An inspirational project is the metrosynth [7] which creates a sonification system of the Montreal subway system running in HTML5.
17
compartilhar conhecimento sobre técnicas e tecnologias de geração, processamento e interação sonora motivou o grupo a buscar esforços similares que estariam acontecendo em espaços próximos. Além dos atuais integrantes e antigos membros do NuSom, foram identificados laboratórios de outras unidades da USP, onde o som estava sendo incorporado com propósitos diferentes ao nosso. Outros artistas e experimentadores independentes da cidade de São Paulo também foram contemplados como potenciais participantes do evento. Em Outubro de 2018 foi realizada um chamada convidando a enviar propostas de instalações de arte sonora, performances de música experimental e oficinas sobre tópicos relacionados ao tema da amostra.
Sons de Silício foi realizada com a consciência da necessidade da pesquisa científica em atingir um contexto amplo da população e com a intenção de levar o conhecimento produzido dentro da Universidade a uma esfera pública. Neste sentido, a exibição se interessou por trabalhos artísticos resultado de processos de pesquisa, particularmente aqueles que foram projetados em parceria entre artistas e cientistas. Foram recebidas 45 propostas, das quais foram selecionadas 21 instalações, 13 performances e 4 oficinas. O texto curatorial convidou ao público em geral a visitar a exposição através de meios impressos e online com o seguinte texto:
A ocupação Sons de Silício aconteceu entre os dias 1 e 26 de Abril de 2019 no Espaço das Artes da Universidade de São Paulo, em comemoração da 15.a edição da série ¿Música? A ocupação explorou o tema da Luteria Experimental como conceito integrador de práticas entre música, artes visuais e ciências da computação e como catalizador de novos modos de experimentação sonora com a tecnologia. Durante o mês de abril o Espaço das Artes foi o lugar de encontro e reflexão sobre o som em uma perspectiva ampliada e enriquecida com conceitos de outros campos do conhecimento, fazendo com que o instrumento musical se tornasse máquina, dispositivo, arranjo, escultura, sistema interativo, estrutura ressoante, meio para explorar a informação, extensão do corpo, circuito, escultura, canal e experimento. Além da exibição dos trabalhos de Arte Sonora, durante a ocupação foram realizados 8 eventos de ativação com performances e oficinas.
A série ¿Música? é organizada desde 2005 pelo NuSom, Núcleo de Pesquisas em Sonologia da USP. Os eventos apresentam regularmente trabalhos musicais e de arte sonora que tomam como ponto de discussão e reflexão o experimentalismo, o uso crítico de tecnologias de produção sonora, a integração entre elementos visuais, gestuais e sonoros, o emprego de técnicas de improvisação e a exploração dos espaços de performance[22].
18
Figura 19. Cartaz da exposição Sons de Silício.
Sons de Silício teve uma importante afluência de público, tanto da comunidade universitária quanto de pessoas externas à Universidade, tanto na visitação da exposição, a assistência às performances e oficinas. Foram realizadas diversas resenhas jornalísticas durante a vigência do evento, tanto em meios escritos quanto em vídeo: Agência de comunicação da ECA http://www3.eca.usp.br/node/21257?fbclid=IwAR0wIX8USB0R3p37aKA8UubZ16s-qTHUAVJp6g27mupwuqqzKsSDMZyOIrI Jornal da USP
19
https://jornal.usp.br/cultura/ocupacao-reune-musica-tecnologia-e-artes-plasticas/?fbclid=IwAR341dqzwIHTbuvcyhNjsFJ6kHvR1O9HpN-YJ8qUzpHIy5xmwaQ4aHcZnps Agência Fapesp http://agencia.fapesp.br/exposicao-de-obras-sonoras-explora-interface-entre-arte-e-ciencia/30217/?fbclid=IwAR3R7hWrfk6CS0sF_2YWz6dwlyuNfq1EkQXNUcGrhToFRV_Lj-8lKl3MDe4 Revista Fapesp https://revistapesquisa.fapesp.br/2019/04/23/na-onda-da-musica-e-da-tecnologia/?fbclid=IwAR3HwU4Oe0t4X2KEL8m2OPIiKglM9fqPeL19mnMqe8iANrGR4CRGkKZDBWQ Também foi realizado um vídeo de documentação que está em processo de montagem no site do NuSom. Provisionalmente o vídeo pode ser acessado no vínculo: https://vimeo.com/349548524 Durante as semanas finais da estancia de pós-doutorado foram realizados os primeiros rascunhos do catálogo da exposição, que será publicado em meios escritos e virtuais. Após terminado o processo de edição deste documento será solicitado à Biblioteca da ECA os respectivos ISBN e ISSN. O documento também será submetido para publicação como E-book no Portal de Livros Abertos da USP. Uma versão preliminar do documento pode ser descarregada no blog do evento, no link https://sonsdesilicio.wordpress.com/catalogo/
20
4. Quadro de Produção Bibliográfica
Tipo de Publicação
Resultado Nome da Publicação
Autores Evento associado
Ambito do evento
Comunicação Pesquisa Augmented Charango: An Instrument for Enriching the Andean Music
Social Role
Arango, J. J & Rojas,
J.
11th International Conference of Students
of Systematic Musicology. SysMus18
Internacional
Comunicação Apoio ao Programa
Headphone listening cultures:
contingencies and crossings
Arango, J.J..Assis,
P. & Astorga,
E. V.
International Conference on Sound Studies.
Sonologia 2019
Internacional
Comunicação Apoio ao Programa
Methodological considerations
of practice-based-research in the field of sonology: the
NuSom interactive
practices group
Arango, J.J., Kisil,
V., Santos, P. p. &
Martineli, F
International Conference on Sound Studies.
Sonologia 2019
Internacional
Poster Pesquisa Pico: a portable audio effect
box for traditional
plucked-string instruments
Arango, J. J. and
Iazzetta, F.
International conference
on new interfaces for
musical expression
Internacional (alto
impacto)
Comunicação Apoio ao Programa
BUZU: Retrieving
public transportation
data for sonification
Arango, J. J.,
Iazzetta, F & Astorga,
E. V
Seminário Brasileiro de Computação
Musical SBCM
Nacional
Catálogo de Exposição
Apoio ao Programa
Sons de Silício: catálogo da exposição
Arango, J. J. and
Iazzetta, F.
Sons de Silício
Nacional
5. Outros eventos decorrentes
Tipo de Evento
Instituição Titulo do Trabalho Evento associado
data
Palestra Universidade Anhembi
Design Sonoro Para Espaços Urbanos
Anhembi E-Music
17/05/2018
21
Morumbi Banca ECA/USP Masterização e modos de
escuta: um estudo da finalização do áudio em
nosso tempo
Qualificação de Mestrado
03/07/2018
Banca ECA/USP Práticas de Luteria na Música Experimental
Brasileira
Defesa de Doutorado
07/08/2018
Banca PMPGCS/UFBA LATENCIAS: Hibridaciones cinéticas,
sonoras y visuales a partir de la interacción, improvisación y el
performance multimedia
Defesa de Doutorado
03/09/2018
Oficina ECA/USP Vida Urbana, Memória acústica e Meios locativos
Encontro Internacional dos Grupos de Pesquisa.
23/11/2018
Banca ECA/USP Música em rede. Experimentos em interação
musical
Defesa de Doutorado
15/03/2019
Oficina ECA/USP Interfaces musicais portáteis com RaspberryPi:
PICO
Sons de Silício
26/04/2019
6. Referencias
1. Turino T. “The Urban-Mestizo Charango Tradition in Southern Peru: A Statement of
Shifting Idendity. Ethnomusicology, Vol 28, No 2. pp 258. (1984)
2. Puerta Zuluaga, D. “Los Caminos del Tiple”. Primera Edición. Ediciones AMP. Biblioteca Luis Ángel Arango, Bogotá Colombia. (1988).
3. Cook, F. “El cuatro venezolano”. Caracas: Cuadernos Lagoven. (1987)
4. Orione, Luis Carlos. Tradição e 21inovação no cavaquinho brasileiro. Dissertação de
Mestrado. Universidade de Brasilia. (2015) 5. Cazes, Henrique. “Escola Moderna do Cavaquinho” - Rio de Janeiro, Lumiar Editora.
(1988). 6. Cazes, Henrique. “Choro: do quintal ao municipal”. 3ª Edição, Rio de Janeiro:Ed.34.
(2005) 7. Groove Music Online. A. Edited by Deane Root. “Charango”. Accessed 20/04/2018 8. Mendivil, Julio. “Apuntes para una hisotoria del charanfo andino” in Método de
Charango: Federico Tarazona. Abril Ediciones Musicales, 2004.
22
9. Turino, Thomas. “The Charango and the “Sirena”: Music, Magic and the power of love,” in Latin American Music Review. 1983 pp 81-119
10. Root, Dean. “The Pan American Association of Composers (1928-1934), in Anuario
Interamericano de Investigación Musical. 1972 pp. 49-70 11. Paraskevaídis, Graciela. “Las venas sonoras de la otra América,” in Proceedings of the
Simposium La Otra América. Germany, 2009. 12. Schachter, Daniel. “Composición interactiva en un entorno de Aleatoriedad Controlada,”
in Proceeding of the 12th Week of the Music and Musicology. Buenos Aires 2015. 13. Escobar, Daniel. “Marimba-Expandida,” Accessed
20/04/2018.http://danielescobar.co/marimba-expandida/ 14. Arango, Julian . et al. Augmented Charango: An Instrument for Enriching the Andean
Music Social Role. Proceedings of the 11th International Conference of Students of Systematic Musicology. SysMus18. pp 66-71
15. J. Jaramillo and F. Iazzetta, “Pico: a portable audio effect box for traditional plucked-
string instruments,” in Proceedings of the international conference on new interfaces for musical expression, Porto Alegre, Brazil, 2019, p. 355–360
16. Grupo de Práticas Interativas. Website do NuSom. ECA/USP.http://www2.eca.usp.br/nusom/pesquisa
17. Grupo de Praticas Interativas. Blog de documentação. https://gpi-
nusom.gitbook.io/documentacao/ 18. Arango, J.J..Assis, P. & Astorga, E. V. Headphone listening cultures: contingencies and
crossings. Proceedings of the International Conference on Sound Studies. Sonologia 2019. São Paulo. Brazil
19. Arango, J.J., Kisil, V., Santos, P. p. & Martineli, F. Methodological considerations of
practice-based-research in the field of sonology: the NuSom interactive practices group. Proceedings of the International Conference on Sound Studies. Sonologia 2019. São Paulo. Brazil
20. InterScity. InterScity Website. http://interscity.org/
21. Arango, J. J., Iazzetta, F & Astorga, E. V. BUZU: Retrieving public transportation data for sonification. (Artigo submetido ao Seminário Brasileiro de Computação Musical SBCM 2019)
22. Sons de Silicio. WebSite do evento. https://sonsdesilicio.wordpress.com