virtual soundscapes estetica ed implementazione tecnica ... · istituto di alta formazione...
TRANSCRIPT
Istituto di Alta Formazione Artistica e Musicale Conservatorio di musica “G.F. Ghedini”
Scuola di Musica Elettronica
Tesi di I livello in
Musica Elettronica ad Indirizzo Tecnico del Suono
VIRTUAL SOUNDSCAPES Estetica ed implementazione tecnica dell’audio
nelle realtà virtuali
Relatore Prof. Verlingieri Gianluca
Candidato Nepote Vesin Alessandro
Anno accademico 2015-16
CONSERVATORIO DI MUSICA “G.F. GHEDINI”
SUNTO
VIRTUAL SOUNDSCAPES Estetica ed implementazione tecnica dell’audio nelle realtà virtuali
a cura di Nepote Vesin Alessandro
Relatore: Prof. Verlingieri Gianluca
Questa tesi vuole essere uno studio approfondito sulle tecniche e metodologie
che consentono la realizzazione di un impianto sonoro dinamico, coesistente in
tempo reale con quello visivo. In particolar modo verranno redatte linee guida su
come interfacciarsi con la creazione di un paesaggio sonoro: le scelte estetiche di
sound design atte a valorizzare l’idea artistica dietro al progetto, la realizzazione e
catalogazione di una libreria di campioni audio dalla fase della recording a quella
di editing, l’implementazione di quest’ultimi all’interno del motore grafico Unity
attraverso il software FMOD ed le fasi di finalizzazione del progetto.
RINGRAZIAMENTI
Grazie a tutti coloro che ogni giorno mi hanno aperto gli occhi insegnandomi a
guardare dentro e fuori di me. Ai miei genitori, che mi hanno permesso di
sognare e ai miei amici, continua fonte di stimolo e di crescita.
i
SOMMARIO
Introduzione ....................................................................................................................... 1 Capitolo I: Realtà virtuali, una forma d’arte? ................................................................ 4
1.1 Introduzione ........................................................................................................... 4 1.2 Gli studi dell’ESA .................................................................................................. 5
Capitolo II: Suoni tangibili ............................................................................................... 7 2.1 Suoni come feedback ............................................................................................ 7
2.1.1 Suoni iconici .................................................................................................. 8 2.1.2 Messaggi associativi ..................................................................................... 9 2.1.3 Aiuti alla simulazione .................................................................................. 9 2.1.4 Trigger emotivo ......................................................................................... 10
2.2 La parola chiave è interazione .......................................................................... 10 2.2.1 L’utente genera un suono udibile ........................................................... 12 2.2.2 L’utente genera un suono di input usando uno strumento ............... 12 2.2.3 L’utente genera un suono che è l’input ................................................. 13 2.2.4 L’utente parla per creare l’input ............................................................. 13
Capitolo III: Lineare o non lineare .............................................................................. 15 3.1 La non linearità degli eventi .............................................................................. 15 3.2 Interattivo, adattivo o dinamico ....................................................................... 15 3.3 Diegetico e non-diegetico .................................................................................. 16
3.3.1 Audio lineare non-diegetico .................................................................... 17 3.3.2 Audio adattivo non-diegetico ................................................................. 17 3.3.3 Audio interattivo non-diegetico ............................................................. 17 3.3.4 Audio non-interattivo diegetico ............................................................. 17 3.3.5 Audio interattivo diegetico ...................................................................... 17 3.3.6 Interazione gestuale cinetica ................................................................... 18
3.4 Le connotazioni supplementari partecipatorie .............................................. 18 3.5 La struttura IEZA ............................................................................................... 19
3.5.1 La prima dimensione ................................................................................ 21 3.5.2 Effetto (lato diegetico) ............................................................................. 21 3.5.3 Zona (lato diegetico) ................................................................................ 22 3.5.4 Interfaccia (lato non-diegetico) .............................................................. 22 3.5.5 Influenza (lato non-diegetico) ................................................................ 23 3.5.6 La seconda dimensione ............................................................................ 23
3.6 Nuova terminologia ............................................................................................ 24 Capitolo IV: Realtà virtuali e disabilità ........................................................................ 26
4.1 Estensioni della realtà ......................................................................................... 26 4.2 Interattività visivo-sonora ................................................................................. 27 4.3 Nuove strade narrative ....................................................................................... 29
ii
4.4 Audio da vedere .................................................................................................. 30 Capitolo V: Sound Maker .............................................................................................. 31
5.1 La chiave è osservare .......................................................................................... 31 5.2 Divisione in compartimenti .............................................................................. 31 5.3 La lista della spesa ............................................................................................... 32 5.4 L’omino dei rumori (Foley) ............................................................................... 33 5.5 Come ti chiami? ................................................................................................... 41 5.6 Tagli da macellaio ................................................................................................ 42 5.7 La libreria .............................................................................................................. 44 5.8 Distorsioni della realtà ....................................................................................... 45 5.9 Algoritmi sonori .................................................................................................. 46 5.10 Suoni improbabili ............................................................................................. 47
Capitolo VI: L’implementazione audio all’interno di un Engine ........................... 49 6.1 L’Engine ............................................................................................................... 49 6.2 FMOD .................................................................................................................. 52 6.3 Cosa si intende con implementazione? ........................................................... 54 6.4 Occhi ed orecchie ............................................................................................... 55 6.5 Abbiamo un corpo ............................................................................................. 55 6.6 Il suono dei passi (Sorgente con input utente) .............................................. 57 6.7 Il suono di un computer (Sorgente senza input utente) .............................. 64 6.8 The Thing (Sorgente senza input utente in movimento) ........................... 67 6.9 Il suono di una porta (Sorgente con trigger) ................................................ 68 6.10 Eventi musicali .................................................................................................. 70 6.11 Il riverbero degli ambienti ............................................................................... 72 6.12 Snapshots, fotografie alle stanze .................................................................... 73 6.13 Altri suoni presenti in scena ............................................................................ 75 6.14 Il mixaggio .......................................................................................................... 76 6.15 Il potenziale ....................................................................................................... 78
Bibliografia ......................................................................................................................... 80 Glossario ............................................................................................................................ 88 Indice delle figure ............................................................................................................. 90 Indice .................................................................................................................................. 92
1
I n t r o d u z i o n e
Da quando ho memoria, ho sempre avuto un’attrazione magnetica per i suoni.
Più che a sentire, passavo le ore ad ascoltare qualunque cosa. Mi rimanevano
impressi nella mente i timbri e i colori sonori dei cartoni animati o dei giochi che
avevo, perfettamente miscelati con le immagini. Per tanti anni mi sono infatti
domandato quale dei due campi, quello visivo o quello uditivo, esercitasse questo
potere su di me e come la mia mente vi facesse riferimento. Ancor oggi ci sono
dei suoni del mio passato che custodisco gelosamente, che mi hanno cambiato,
che sono stati presenti al momento giusto e hanno evidenziato qualcosa di
importante su di me. Suono diversi strumenti, credo sia imprescindibile in qualità
di ‘creatore di suoni’, ma non credo di esser mai riuscito a suonarne uno senza il
bisogno di dover andare oltre alle sue potenzialità. Ero un ragazzo in grado di
passare un intero giorno ad ascoltare il suono di un cavo inserito nella chitarra
elettrica, era qualcosa di intenso, non solo un cavo in una chitarra, almeno non
per me. Forse la curiosità, sicuramente una buona dose di creatività e tante cose
da esprimere. Erano questi gli elementi che mi portavano a registrare ed
assemblare suoni, scrivere brani unendo tutti questi tasselli, liberarmi dal vincolo
di uno strumento musicale ed aprire le porte sconfinate dell’esplorazione. Il
brivido di sentirmi libero di scegliere il mio strumento, perché lo potevo creare
con le mie mani, almeno fino a quando non ho scoperto la programmazione. Da
lì in poi mi sono reso conto che questo oceano di possibilità necessitava di regole,
di schemi, si trattava di trovare quelli più vicini alla mia natura, ai miei gusti o di
crearne di nuovi. Ma per fare un viaggio dovevo decidere un punto di partenza ed
uno di arrivo. Tutto questo ha molto a che vedere con il mio modo di affrontare
la sonorizzazione di materiale visivo, interattivo o meno. Legato al mio bagaglio
sonoro c’è indubbiamente anche quello musicale, dove Pink Floyd e Nine Inch
2
Nails1 forse hanno lasciato un segno indelebile. Non potevo sapere che il giorno
in cui acquistai l’LP “The Downward Spiral”2 nella zona del Temple Bar di
Dublino, avrebbe avuto una tale influenza su di me. Perché dentro a questi mondi
musicali c’erano tutti i suoni complessi e rubati al mondo reale di cui ero alla
ricerca. Tutto può diventare musica, un sistema complesso che manda emozioni.
Anche con una pentola posso fare musica, posso suonarla cercandone le aree più
interessanti e articolare un discorso sonoro attraverso questa, non meno
espressivo che con una chitarra. La complicazione se vogliamo non è della
pentola, ma nostra, della nostra apertura mentale, di quello che ci aspettiamo dalle
cose attorno e di quello di cui crediamo di aver bisogno. Quando ho iniziato a
scrivere le prime righe di codice, si faceva spazio nella mia testa, parentesi graffa
dopo parentesi graffa, il fascino di creare un ecosistema che si autogestisse. Con
Max3 sono poi riuscito ad avvicinarmi al senso di quelle idee, creando un
algoritmo, Ethan, che generasse musica in modo autonomo, anche se il vero
utilizzo di quel software non è stato fatto in quella direzione. Ho iniziato a
registrare suoni e, come quando si ha la sensazione di aver creato un
Frankenstein, darglieli in pasto per osservare cosa succedesse. Nonostante le
regole basilari inserite, il margine di imprevedibilità era comunque sufficiente a
godere di simbiosi affascinanti, talvolta inquietanti. A volte il computer sembrava
parlare, volermi comunicare qualcosa. In questi anni ho accumulato svariati
gigabyte di materiale audio, per la maggior parte quelle che chiamo texture, stanze
sonore con elementi chiave che le rendono riconoscibili, identificabili ad un
nuovo ascolto. L’attrazione per questi mondi, a metà fra il musicale ed il rumore,
mi affascinava al punto da continuare a crearne e passare le notti ad ascoltarli, 1 I Nine Inch Nails (NIN) sono un gruppo musicale industrial metal statunitense, formatosi a Cleveland
(Ohio) nel 1988 per iniziativa del cantante e polistrumentista Trent Reznor.
2
The Downward Spiral (anche noto come Halo 8) è il secondo album in studio del gruppo musicale statunitense Nine Inch Nails, pubblicato l'8 marzo 1994 dalla Nothing Records.
3
Max è un ambiente di sviluppo grafico per la musica e la multimedialità ideato ed aggiornato dall'azienda di software Cycling '74.
3
chiedendomi quali immagini potessero funzionare con ciò che stavo ascoltando.
Mi trasportavano altrove. In generale, quando ero più piccolo, i mezzi a
disposizione per lavorare con il suono non erano molti, bisognava ingegnarsi su
come fare ad ottenere un determinato suono, arrivando alla conclusione che il
miglior approccio era capire cosa potevo permettermi di ottenere con ciò che
avevo, non forzare le cose in una limitata ricerca del suono perfetto. Anche
perché non esiste il suono perfetto, come il concetto di bello e brutto rimangono
da sempre soggettivi. Esistono suoni funzionali o meno ad uno scopo, con le loro
infinite sfumature emotive. Una stessa immagine può funzionare con diversi
suoni, ma ciò che la rende inequivocabile è la sua coerenza rispetto all’esperienza
dello spettatore. Non vuol dire che la scelta del campione audio sia meno
importante, tutt’altro, ma è molto più creativo sfruttare al massimo i propri
strumenti,si otterranno così dei suoni con una propria anima a cui saremo legati.
In questa concezione mi piace vedermi come un artigiano, che con i suoi
strumenti lima il suono fino ad incastrarlo nella giusta posizione. Nonostante ci
siano persone in grado di apprezzare quando il sound designer gioca con i loro
sensi, come diversi film possono testimoniare, vogliamo coerenza, elementi che
rimandino al mondo reale, che conosciamo molto bene e ci fanno sentire a casa.
Mi riferisco al fatto che se mi trovo in una chiesa e quando parlo non sento alcun
riverbero, il mio sistema cognitivo prontamente mi avvisa che qualcosa non va,
per cui, a meno che non si tratti di una scelta di regia, è bene trovare un accordo
fra mondo fisico e finzione riprodotta. Con questa tesi voglio, oltre che mostrare
le diverse fasi del mio modo di lavorare e la sonorizzazione di una realtà virtuale,
provare a dare uno spunto di riflessione a chi legge, nella speranza che un lavoro
creativo come quello del sound designer possa rimanere tale anche in campi, vedi
quello pubblicitario o delle apps, in cui i ritmi e le scadenze mettono a dura prova
la ricerca sonora.
4
C a p i t o l o 1
MONDI SINTETICI
1.1 Una forma d’arte?
Il concetto di realtà virtuale, inteso come forma d’arte, è qualcosa che rimane
ancor oggi controverso all’interno della stessa industria dell’intrattenimento.
Praticamente qualsiasi dispositivo fornito di display oggigiorno può riprodurre
materiale multimediale interattivo diventando una forma di intrattenimento per
una vasta parte della popolazione. Mentre il MoMA4 ospita una serata speciale,
assieme magazine Kill Screen5, come parte dell’esibizione del museo “Talk to
Me” con l’intento di esplorare come le persone comunichino ed interagiscano
con i nuovi media virtuali, non mancano le critiche6 di chi sostiene che di arte ci
sia ben poco in una sconfinata serie di righe di codice, arrivando a dubitare
persino che un gioco come gli scacchi possa avere caratteristiche di valore
artistico. Sono indubbiamente presenti figure di spicco in questo mondo; arrivano
dall’illustrazione, dal cinema, dalla discografia, dalla letteratura e svariati altri
campi artitstici. Come tutte le forme di creatività, alcune opere sono più dedite
alla costruzione di emozioni che colpiscano chi le guarda, mentre in altri casi si
tende al profitto, ma ciò che voglio mostrare con questa tesi è che le realtà virtuali
possono essere un potente strumento di coinvolgimento emotivo e, se ben
congegnate, anche apprezzabili per valore artistico.
4 MoMA (Museum of Modern Art), Midtown Manhattan, New York. Il The Wall Street Journal parla
dell’evento qui ospitato nel 2011: http://on.wsj.com/17dNLBQ
5 Kill Screen è una compagnia che si occupa di videogiochi e cultura, che gestisce l’eponimo magazine e sito web: https://killscreen.com/
6 Jonathan Jones scrive sul The Guardian circa l’esposizione al MoMA “Sorry MoMA, video games are not art: http://www.theguardian.com/artanddesign/jonathanjonesblog/2012/nov/30/moma-video-games-art
5
1.2 Gli studi dell’ESA
L’ente americano dell’ESA (Entertainment Software Association), che si occupa di
fornire alle maggiori aziende del paese dati di mercato riguardanti l’utilizzo di
software videoludici, ci informa sul fatto che l’età media di chi ne fa uso è 30 anni
e, differentemente da quanto ci si potrebbe aspettare, non si tratta solo di
bambini: il 40% dei giocatori ha più di 36 anni mentre il 46% dell’intera
popolazione dei videogiocatori è rappresentato da donne. Stando a quando
afferma Michael D. Gallagher:
“videogames’s innovations drive consumer demand for our products, solidifying our industry’s
position as one of the strongest and most cutting-edge sectors in the U.S. economy”7,
ponendo l’attenzione sulla creatività richiesta agli addetti ai lavori per sviluppare
una così grande varietà di titoli. La New York University, largamente conosciuta per
la sua scuola di film, coopera anche con il NYU Game Center, struttura per la
ricerca, il design e lo sviluppo di giochi digitali, ospitante ogni anno un esibizione
di prodotti indipendenti, ideati specificatamente per essere installati all’interno di
gallerie. Ulteriori ricerche da parte dell’ente hanno evidenziato il grande
potenziale di questi, come strumenti di apprendimento per le nuove generazioni,
incorporando alcuni principi cruciali dell’apprendimento cognitivo. Il dottor
Jeffrey Taekman, direttore del dipartimento di Human Simulation and Patient Safety
della Duke University, afferma, sulla base di uno studio8 condotto da Michela
Mortara, Chiara Eva Catalano, Giusy Fiucci, e Michael Derntl, che i serius games
e gli ambienti virtuali sono il futuro dell’educazione, tesi supportata9 anche dal
professore Dr. James Paul Gee della Wisconsin University, motivato del fatto che
7 Michael D. Gallagher è il presidente e CEO dell’ESA: http://www.theesa.com/about-esa/leadership/
8 “Evaluating the Effectiveness of Serious Games for Cultural Awareness”, 2013 GALA Conference, http://dbis.rwth-aachen.de/~derntl/papers/preprints/gala2013-icura-preprint.pdf
9 “Good video games and good learning” di James Paul Gee, University of Wisconsin-Madison: http://www.academiccolab.org/resources/documents/Good_Learning.pdf
6
l’utilizzo interconnesso di istruzioni e fasi dimostrative è una tecnica molto più
efficace di quelle attualmente usate. Un altro studio10 condotto dalla Michigan
University evidenzia come i videogiochi di tipo puzzle game sollecitino la memoria
dei bambini sviluppando le loro capacità di ragionamento astratto e problem-
solving, parallelamente ad uno studio11 citato dalla Rochester University e pubblicato
dal PNAS (Proceedings of the National Academy of Sciences) dal quale si evince come i
videogiochi possano migliorare le capacità visive, di attenzione e cognitive dei
fruitori, dimostrando persino che in certi casi i partecipanti alla ricerca fossero più
capaci dei non giocatori in alcuni test di velocità, accuratezza e gestione di più
mansioni contemporaneamente. Lasciando alla critica il compito di assegnare
etichette, non mi soffermerò oltre in questa discussione spostando invece
l’attenzione verso quelle che possono essere le nuove concezioni e teorie per
valutare e definire un mondo in così celere evoluzione.
10 “Playing video games for better, not worse” ricerca condotta da Ann Arbor, University of Michigan,
http://ns.umich.edu/new/releases/7200
11 “Action video game play facilitates the development of better perceptual templates”, Vikranth R. Bejjankia, Ruyuan Zhanga, Renjie Lia, Alexandre Pougeta, C. Shawn Greend, Zhong-Lin Lue, e Daphne Baveliera: http://www.pnas.org/content/111/47/16961.full.pdf
7
C a p i t o l o 2
SUONI TANGIBILI
2.1 Suoni come feedback
La nostra forma primaria di interazione con i mezzi informatici, come ad esempio
i computer o gli smartphone, avviene attraverso lo schermo del dispositivo e per
questa ragione la maggior parte dei feedback e degl’input viene comunicata
all’utente in modo visuale. Per le modalità in cui il soggetto interagisce con il
materiale visivo possiamo rifarci agli studi effettuati da Bregman, i quali ci
mostrano coma la percezione visiva sia il processo di elaborazione delle
informazioni provenienti dal mondo esterno attraverso gli occhi e queste vengano
elaborate dal cervello che le traduce in informazioni più complesse, disponibili
per le funzioni cognitive del soggetto. In questa maniera uno dei sensi che
abbiamo maggiormente sviluppato, l’udito, talvolta non trova il giusto spazio o
viene addirittura trascurato a scapito dell’interattività grafica. Tralasciando i casi in
cui non sia magari possibile avere uno scambio sonoro con i dispositivi, ad
esempio durante una conferenza o sul posto di lavoro, ci sono situazioni in cui
questa mancanza costituisce una grossa perdita in termini d’interazione e
coinvolgimento dell’utente. Le grandi aziende che hanno deciso di investire in
questo business conoscono l’importanza di sviluppare strumenti efficaci per la
gestione dell’audio all’interno dei loro prodotti. Il suono diventa anche in questi
casi una componente fondamentale, che arricchisce e completa qualsiasi
esperienza. Quando un elemento visivo ed uno uditivo sono effettivamente
congiunti, il loro significato si rafforza ed amplifica, migliorando la percezione
che abbiamo dell’oggetto. Come precisa Michel Chion12, in riferimento al cinema,
quella delle immagini in relazione al suono è un’illusione, amplificata dal valore
12 Michel Chion, L'audiovision, Nathan, Paris, 1994. [trad. it. L'audiovisione, Lindau, Torino, 1997]
8
aggiunto, ovvero quel valore espressivo ed informativo di cui un suono
arricchisce un’immagine fino a far credere che quell’espressione derivi
“naturalmente” da ciò che si vede. L’assenza di suono snatura quello che
osserviamo, porta ad una perdita di informazioni sostanziali per poter collocare
un corpo all’interno di un ambiente, basti immaginare alla quantità di dettagli
legati ai materiali coinvolti, alle dimensioni dell’ambiente o alla velocità di un
movimento che un’onda sonora ci fornisce. Buona parte della nostra conoscenza
del mondo deriva proprio da questi impliciti collegamenti che il nostro cervello ha
messo in atto dal principio dell’evoluzione. Per questa ragione, quando si sviluppa
materiale interattivo, diventa alquanto importante tenere a mente il valore che
l’audio ricopre e studiare strategie per facilitarne l’utilizzo all’utente finale. I suoni
ci influenzano fisicamente non solo per il movimento d’aria intorno a noi;
un’onda sonora genera nella zona del cervello dedicata all’interpretazione dei
segnali audio una serie di impulsi elettrici con svariati riscontri psicologici e fisici,
interessando talvolta organi come lo stomaco o persino la pelle. Questo rende la
nostra esperienza di ascolto un fenomeno fisico con diversi gradi di profondità.
Chiedere a qualcuno di interagire con un dispositivo sfruttando il suono
presuppone, ad esempio, un maggior grado di attenzione ed intimità da parte
dell’utente, invece di una normale interazione via tastiera. Se ne deduce che
questo tipo di input vocale ci darà maggiori informazioni riguardo a chi ne sta
usufruendo: il volume, l’intonazione, la cadenza o il ritmo della voce sono
strumenti che possono essere sfruttati per migliorare l’interazione uomo-software.
Sono quindi molteplici gli strumenti a nostra disposizione per fornire dei
feedback sonori e questi si trovano in dipendenza dal messaggio che vogliamo
veicolare.
2.1.1 Suoni iconici
Immaginiamo un’azione che non abbia un riscontro grafico, in questo caso
potrebbe essere un suono a sostituire il messaggio di riuscita dell’operazione. Può
9
essere il semplice suono di un click quando premiamo un pulsante o un altro
indicatore sonoro che ci rassicura sul completamento di una transazione ad uno
sportello bancario. Il suono in questo caso si comporta come un messaggio di
pop-up. Considerando la grande quantità di applicazioni utilizzabili oggigiorno,
può però diventare un’impresa ardua ideare suoni omni contestuali che
mantengano la loro efficacia, considerando inoltre che i feedback uditivi in
applicazioni per smarthphone sono considerati utili generalmente durante i primi
utilizzi, ma con il tempo potenzialmente stancanti.
2.1.2 Messaggi associativi
In attività di tipo più passivo il valore del suono può cambiare notevolmente.
Immaginiamo uno dei prodotti che abbiamo visto durante una pubblicità
televisiva o alla sigla di apertura di un programma radiofonico. Sono sempre
esperienze accompagnate da firme sonore, possono essere jingle musicali o suoni
caratteristici, ma noi, dopo averli assimilati, li associamo al contesto corretto
senza che nessuno ci dica più quale esso sia. Questo perché il suono si presenta
come qualcosa di fugace e ricco di connotazioni profondamente emotive.
2.1.3 Aiuti alla simulazione
Se pensiamo a quella che potrebbe essere un’esperienza all’interno di un mondo o
sistema senza suoni ci accorgiamo immediatamente di quanto questa condizione
sia limitante. Una maggiore fedeltà del sonoro si traduce in una più stretta
relazione di questo con gli eventi. Riferendoci alle realtà virtuali, se stiamo
intraprendendo l’esplorazione di un mondo costruito al computer, con elementi
di fisica come la gravità e l’accelerazione, ci aspettiamo determinati suoni
finalizzati a rendere credibile l’esperienza, come la caduta di un corpo sul suolo o
un respiro affannato se abbiamo fatto correre un personaggio di cui abbiamo il
controllo. Possiamo dire che un suono è corretto se trova un incontro con quella
che è la nostra aspettativa empirica. Intuitivamente è semplice capire che sentire
10
dei passi con un eco in mezzo ad un campo è qualcosa che non trova riscontri
con le leggi del nostro mondo, slegando l’esperienza da una simulazione realistica.
2.1.4 Trigger emotivo
Ormai qualsiasi applicazione, a partire da quelle concepite per gli smartphone, ci
forniscono delle risposte sonore. Questi piccoli suoni, beep e click miscelati in
mille modi diversi, sembrano avere il semplice compito di catturare la nostra
attenzione, ma lo fanno toccando dei tasti emotivi presenti nella vita di ognuno di
noi. La realtà attuale è mutata profondamente dai primi studi sul suono e sui suoi
utilizzi. Costantemente, senza accorgercene, ha influenzato il modo di valutare il
mondo attorno a noi. Siamo dipendenti dal suono e lo diamo per scontato. Il
suono dolce di una nota di pianoforte durante una scena drammatica in un film o
il boato di una folla scatenata dopo che viene segnato un goal da una squadra
sono fondamentali al nostro coinvolgimento emotivo poichè senza la nostra
partecipazione sarebbe molto più distaccata. A partire da quelli che erano i primi
suoni ad 8-bit, creati per ottenere un semplice feedback in corrispondenza di
un’operazione grafica, di strada se n’è fatta molta. Tutt’ora il sound design
all’interno dei videogiochi ricopre un compito simile a quello nel cinema, se non
ancor più arduo, aggiungendo elementi in grado di emozionare, guidare la
narrazione, sostenere i momenti di tensioni o gli attimi di trionfo e il tutto
seguendo le scelte che il giocatore compie.
2.2 La parola chiave è interazione
Il modo migliore per capire se i suoni concepiti per un applicativo siano efficaci o
meno è proprio osservare da vicino le reazioni di chi ne fa utilizzo. Risulta
particolarmente difficile comprendere un suono in un contesto senza la possibilità
di visualizzare come altri individui si rapportano con esso. Considerando
soprattutto il fatto che con sound design si intende qualcosa in grado di poter
arricchire profondamente ogni esperienza umana, non riempire delle mancanze.
11
Le arti interattive che lavorano con il suono sono vincolate alla profondità di
interazione che l’utente ha con questo, dove con profondità si intende il grado di
controllo dell’utenza sul suono. L’elemento chiave da capire è come il pubblico
interagirà con ciò che sentirà, perché nel caso non ci sia la possibilità di
influenzare questo meccanismo, allora si tratta di semplici spettatori. I gradi di
interazione possono variare e per questa ragione il suono deve adattarsi
garantendo sempre la massima efficacia comunicativa. Parlando con un
appassionato di automobili verremo presto a conoscenza di come il rombo del
motore, durante la guida, gli fornisca una serie di emozioni per lui importanti,
ovviamente non si tratta solo di suoni poiché nel mondo reale l’intera nostra
fisicità viene coinvolta, ma nel caso della ricreazione di questa situazione in un
mondo virtuale, sappiamo bene che l’interazione dell’utente con il pedale
dell’acceleratore dovrà ricreare, in modo dinamico, quelle stesse emozioni che lui
conosce bene, comprendenti sia il funzionamento del motore che l’acustica
dell’abitacolo nel caso la visuale sia all’interno del veicolo. Il designer industriale
Raymond Loewy13 scrisse: “A fridge has to be beautiful. This means it also has to sound
good”. La frase precedente evidenzia come non sia considerato il solo aspetto
funzionale, ma come un insieme di elementi attentamente studiati possa
migliorare la complessiva interazione con un oggetto, nonché conferirgli un certo
grado di valore artistico. L’interazione è un processo in stretta dipendenza dalle
variabili che lo costituiscono, questo significa che gli elementi di un’interazione
non esistono mai in modo autonomo, ma sono sempre interdipendenti e
connessi allo sviluppo temporale, come d’altronde gli stessi suoni. I sistemi
informatici, parallelamente alle realtà virtuali, stanno diventando sempre più
complessi per grado e numero di interazioni, e conseguentemente, maggiormente
complicati per gli utenti da utilizzare, rendendo fondamentali continui feedback
13 Raymond Loewy (Parigi, 5 novembre 1893 – Monte Carlo, 14 luglio 1986) è stato un designer statunitense
di origini francesi, attivo soprattutto negli Stati Uniti.
12
ed implementazioni audio efficaci. Di seguito una serie di metodi per utilizzare il
suono al fine di descrivere un’interazione.
2.2.1 L’utente genera un suono udibile
In questo tipo di situazione lo scopo dell’utente è quello di manipolare,
controllare o generare un suono. Il processo non deve essere necessariamente
diretto come suonare un pianoforte, ma fornire alle persone degli strumenti per
sfruttare il suono in modo narrativo, traducendosi in una possibile forma di gioco
o di comunicazione. Stiamo parlando ad esempio di strumenti come il
Theremin14, l’applicazione RjDj15 o il classico giradischi da dj. Hanno tutti in
comune non solo la generazione o riproduzione di suoni, ma l’interattività con cui
ciò avviene. Consideriamo inoltre, nel caso del theremin o del giradischi, che i
suoni vengono prodotti attraverso una gestualità, potenzialità offerte anche da
controllers come quello della console Wii16 che apre nuovi universi di interazione.
2.2.2 L’utente genera un suono di input usando uno strumento
Ne sono un esempio i vecchi telefoni a disco in cui, per comporre un numero,
bisognava girare in senso orario una mascherina rotonda e questa operazione era
accompagnata da una serie di click sonori, per ogni cifra. Questo meccanismo,
sostituito successivamente dal telefono con pulsanti a toni, riconosceva i numeri
inseriti proprio da questi suoni e rappresenta un buon esempio di strumento che,
attraverso la riproduzione di un suono, genera un input. Una tastiera MIDI, uno
strumento come il Monome17 o persino un normale controller da gioco offrono
ulteriori possibilità, poiché ogni suono che può essere riprodotto con un certo
14 Strumento musicale elettrofono nel quale il suono è determinato dallo spostamento delle mani
dell'esecutore rispetto a due antenne che regolano le variazioni di altezza e di intensità.
15 RjDj è un’applicazione per iPhone che si basa sul concetto di musica reattiva, un nuovo genere musicale non-lineare, in grado di interagire in tempo reale con l’ambiente di chi sta ascoltando.
16 Console per videogiochi, prodotta dall'azienda giapponese Nintendo e lanciata sul mercato nel 2006.
17 Il monome è un sequencer hardware composto da una griglia di pulsanti retroilluminati, configurabili in differenti luci o suoni, e programmabile attraverso il protocollo Open Sound Control.
13
grado di fedeltà, caratteristica comprendente il timbro, l’intonazione o il volume,
può essere mappato in un comando.
2.2.3 L’utente genera un suono che è l’input
In questo caso va sottolineata la differenza sostanziale tra il riconoscimento
vocale e l’analisi sonora di un campione audio. Consideriamo, attraverso l’uso di
un microfono, di poter analizzare una voce, modificandone gli input sulla base del
volume o del tono a cui sta parlando. Possiamo anche determinare se questa è in
silenzio o meno, scattando delle “fotografie“ sonore nel tempo, a distanze
ravvicinate, e confrontarle con quelle successive. Cambiamenti sostanziali nella
voce possono comportarsi come degli interruttori, fungere da input. Posso
estrarre dalla voce valori di tempo e ritmo con sistemi di beat detection, sfruttare
un altro microfono per aver informazioni aggiuntive sulla posizione della
sorgente comparandone i volume in ingresso o addirittura sfruttare le stesse
proprietà vibratorie del suono per mappare un ambiente con dei piezo e
determinare la posizione di una persona all’interno di una stanza. Un esempio
molto interessante di manipolazione di materiale vocale è quello ottenibile con il
software D.A.V.I.D. (Da Amazing Voice Inflection Device), sviluppato da un gruppo
di ricercatori all’interno dell’IRCAM, riunitisi sotto la sigla CREAM. Il software è
una patch di Max open source e permette, attraverso una serie di strumenti di
trattamento sonoro digitale, di “aggiungere emozioni” ad una voce neutra o senza
particolari inflessioni emotive, funzionando sia in tempo reale che su campioni
audio pre-registrati.
2.2.4 L’utente parla per creare l’input
Si tratta del riconoscimento di ciò che l’utente sta dicendo e della sua traduzione
in messaggi di input utili per interagire con l’applicazione. Nonostante la grande
evoluzione di questi strumenti rimanga un campo in costante sviluppo, data la
notevole complessità, possiamo comunque ritrovare questo tipo di input non
14
solo finalizzato all’utilizzo per soggetti con disabilità, ma ad esempio, anche nel
motore di ricerca di Windows 10, sotto il nome di Cortana18 o in iOS con Siri.
Diversi sono i software open source19 implementabili all’interno di applicazioni
interattive che offrono questo tipo di input. In generale l’interazione attraverso la
voce o i suoni permette una comunicazione ove non ci siano mezzi fisici per
inviare un comando.
18 Cortana è un software di assistenza e riconoscimento vocale sviluppato da Microsoft.
19 In informatica indica un software di cui gli autori rendono pubblico il codice sorgente.
15
C a p i t o l o 3
LINEARE O NON LINEARE
3.1 La non linearità degli eventi
Gli occidentali ascoltano, in media, musica per circa tre ore e mezza al giorno e la
maggior parte di questa si presenta in forma lineare. Un compositore di musica
lineare può predire come la sua musica suonerà dall’inizio alla fine di un brano e
questo aspetto viene dato per assodato. Ma la musica ed i suoni per media
interattivi, come i videogiochi, si comportano differentemente garantendo la
capacità di adeguarsi ad uno scorrimento non lineare, sviluppato su regole di
interazione decise al principio. Ogni tassello audio deve essere disegnato per
esistere in modo individuale e convivere nell’ecosistema dell’applicazione, dal
momento che non è sempre possibile predire tutte le direzioni intraprendibili al
suo interno. Non c’è una corretta sequenza di eventi per attivare il tassello
successivo, non sul piano narrativo, ma su quello dell’interazione, dove un’azione
è prevista, questa necessita di un feedback. Uno studio20, condotto da Karen
Collins della Waterloo University, vuole porre chiarezza sui problemi legati alla non
linearità dell’audio per videogiochi. Ovviamente questo tipo di sviluppo ha dei
punti in comune con media usufruibili attraverso uno schermo, come quello
cinematografico, ma vanno considerati nuovi approcci pratici e teorici, data la
natura partecipatoria del gioco stesso.
3.2 Interattivo, adattivo o dinamico
Quando abbiamo a che fare con il mondo dell’audio per videogiochi sono tre i
termini a cui di sovente si fa riferimento: interattivo, adattivo e dinamico. Molti
software per l’implementazione audio garantiscono queste proprietà, fornendo
20 “An Introduction to the Participatory and Non-Linear Aspects of Video Games Audio” di Karen Collins:
https://www.researchgate.net/publication/224927521
16
degli strumenti tali da consentire la strutturazione di un contesto di gioco, in
relazione alle azioni degli utenti. Con interattivo ci riferiamo a tutti quei suoni che
avvengono in concomitanza di un’azione del giocatore, ad esempio se viene
premuto un pulsante si aziona un evento sonoro. Con adattivo si intendono
invece quei suoni che non hanno un rapporto diretto con le azioni dell’utente, ma
si evolvono sulla base dei cambiamenti interni del mondo virtuale, ad esempio le
piante che si muovono per via del vento o un cane che abbaia in lontananza. Il
termine dinamico racchiude invece entrambi i termini precedenti, contemplando
l’insieme degli eventi, programmati o meno, in una coesistenza che si influenza
reciprocamente, come per esempio un mondo virtuale in cui coesistono in modo
indipendete i suoni dell’ambiente e quelli dell’utente.
3.3 Diegetico e non-diegetico
Chiaramente l’introduzione del concetto di dinamicità complica di molto le cose
per quelli che sono i criteri di analisi dell’audio nei media tradizionali, mi riferisco
in particolar modo alla diegetica tradizionale. Sulla base di quanto affermato da
Alessandro Cecchi21, il termine diegetico, utilizzato per la prima volta da Gilbert
Cohen-Séat, trova una definizione completa grazie a Claudia Gorbman e si basa
su due interpretazioni: quella di Etienne Souriau che considera tutto ciò che
appartiene per deduzione (“dans l’intelligibilité”) al mondo raccontato dalla
finzione scenica, e quella di Gérard Genette comprendente l’intero mondo
spazio-temporale delle azioni e dei personaggi. Ne consegue che l’audio per realtà
virtuali dinamiche può sicuramente trovare definizione nel termine diegetico e
non-diegetico, ma con la distinzione ulteriore di dinamico e non-dinamico.
Possiamo considerare come diegetico ciò che i personaggi in scena possono
ascoltare e non diegetico quello che gli spettatori dovrebbero sentire.
21 Alessandro Cecchi, Portale sulla comunicazione audiovisiva del dottorato in musicologia dell'università di
Pavia, “Diegetic versus nondiegetic: a reconsideration of the conceptual opposition as a contribution to the theory of audiovision”, 2010
17
3.3.1 Audio lineare non-diegetico
Il grado più semplice è quello non-diegetico e non-dinamico delle musiche e dei
suoni di un filmato durante la narrazione, generalmente definito con il termine di
cut-scene. Ci si trova di fronte a materiale lineare e rientra nei metodi di analisi già
presenti per il cinema, come per esempio il trailer di un film o una scena animata
dove non è prevista interazione.
3.3.2 Audio adattivo non-diegetico
Si tratta di eventi sonori che avvengono in conseguenza ad una azione di gioco,
ma che non sono legati alle azioni dirette del giocatore e si trovano al di fuori
della diegesi. Ad esempio una musica scritta apposta per il tramonto che si attiva
all’arrivare della notte nel mondo del giocatore.
3.3.3 Audio interattivo non-diegetico
Sono eventi sonori che avvengono in relazione ad una azione diretta del
giocatore, ma si trovano comunque al di fuori della diegesi. Per esempio una
musica che si attiva in concomitanza di una situazione di pericolo e
successivamente scompare con essa.
3.3.4 Audio non-interattivo diegetico
Suoni che avvengono nell’ambiente del personaggio, ma con i quali il personaggio
non ha una diretta partecipazione. Questi suoni sono presenti sia nelle cut-scenes
che nel gameplay, ad esempio una radio accesa in una stanza o il cinguettio degli
uccelli in un bosco.
3.3.5 Audio interattivo diegetico
Suoni che avvengono nell’ambiente del personaggio e con i quali il personaggio
ha una diretta partecipazione, come ad esempio il rumore dei suoni dei suoi passi
o l’apertura di una porta da parte di questo.
18
3.3.6 Interazione gestuale cinetica
Questo è probabilmente il livello più complesso e diretto di interazione con il
suono, sia diegetico che non-diegetico. In questa situazione il giocatore,
esattamente come il personaggio da lui controllato, partecipa con il proprio corpo
all’azione che si ascolta. Ci si riferisce ad azioni che il giocatore deve mimare,
come suonare una chitarra o estrarre una spada, che vengono registrate con
particolari hardware dedicati. Ne sono un esempio il controller a forma di chitarra
di “Guitar Hero” (Red Octane 2005) o di pistola per “Time Crisis” (Namco 1995).
3.4 Le connotazioni supplementari partecipatorie
Mettiamo il caso che il regista di un film voglia inserire in una scena il suono di un
latrato per informare gli spettatori della presenza di un cane nei paraggi, gli
spettatori aggiungeranno ulteriori significati personali a quel suono, dettati dalla
loro esperienza, arricchendone il significato. In termini di teoria semiotica, prende
il nome di connotazione supplementare ed è imprevedibile, individuale e
personale. Come citato precedentemente, Michel Chion parla del fenomeno del
valore aggiunto, strettamente legato al principio della sincresi. Questo approccio,
nell’analisi dei media interattivi, funziona parzialmente poichè la loro natura
partecipatoria conduce a significati potenzialmente nuovi, cambiando perfino il
flusso lineare della comunicazione. In questo caso parliamo di connotazioni
supplementari partecipatorie.
Rivedendo la normale catena di comunicazione, dal trasmettitore (il sound
designer o compositore), attraverso il canale (l’audio stesso) fino a giungere al
ricevente (lo spettatore), ci accorgiamo che viene disturbata dalla partecipazione
dell’utente. In certi casi lo spettatore diventa un co-trasmettitore, per questa
Figura 1: Approccio semiotico tradizionale alla comunicazione
19
ragione conviene considerare la catena comunicativa non più in modo lineare, ma
circolare.
3.5 La struttura IEZA
Un utile strumento è stato sviluppato da Sander Huiberts e Richard van Tol, tra il
2003 ed il 2008, presso la Utrecht School of the Arts e consiste in una struttura bi-
dimensionale per l’analisi e la sintesi degli ambiente di ascolto all’interno dei
videogiochi.
La più comune classificazione, derivata dal normale flusso di produzione audio
nei videogiochi, si basa sulla divisione in tre categorie: parlato, suoni e musica. Un
ulteriore classificazione viene fatta dal compositore Troels Follman22 facendo
22 Compositore danese specializzato in musiche orchestrali presenti in videogiochi come Tomb Raider.
Figura 3: La struttura IEZA
Figura 2: Approccio partecipatorio alla comunicazione
20
distinzione di parti vocali, effetti sonori, effetti d’ambiente e musica, ognuno con
specifiche sotto categorie. Un ulteriore categorizzazione del suono nei film è
quella di Walter Murch23, dove i suoni sono divisi tra piano di sfondo, piano
intermedio e primo piano e ognuno descrive un differente livello di attenzione
pensato dal designer. Il primo piano è presente per essere ascoltato con
attenzione, mentre il piano intermedio e quello di sfondo per essere solamente
uditi. In particolar modo lo sfondo serve ad ambientare la scena nel luogo e il
piano intermedio aiuta il primo piano avendo elementi di tramite tra i due.
Questo tipo di divisione in tre parti è ritrovabile anche in Michel Chion, il quale
ha introdotto una similare tassonomia in tre stadi, e in Pierre Schaeffer con la
differenziazione tra ascoltare, udire e sentire. Johnny Friberg e Dan Gärdenfors24
suggeriscono un altro approccio derivato dall’implementazione dell’audio in tre
videogiochi sviluppati all’interno del progetto TiM25, in questo caso la divisione fa
riferimento al tipo di risorse audio all’interno del codice. La loro classificazione
quindi risulta tenere in considerazione i suoni dell’avatar e dei personaggi non
controllabili, gli oggetti presenti in scena, suoni detti ornamentali e le istruzioni.
Al di là del fatto che certe categorie possano risultare in parte sovrapponibili,
come ad esempio il suono degli oggetti e dei personaggi non controllabili, tale
approccio risulta essere molto specifico per un certo tipo di genere, fornendo
poche informazioni circa la struttura dei suoni nei giochi. Axel Stockburger26
combina sia l’approccio riguardo al tipo di suono che l’organizzazione del suono
all’interno del codice, tenendo in considerazione inoltre in quale punto, all’interno
dell’ambiente virtuale, il suono viene originato. L’analisi effettuata da Stockburger
sul gioco “Metal Gear Solid 2” ci propone quindi cinque categorie di “oggetti
23 Walter Murch è un montatore e regista statunitense, vincitore di 3 premi Oscar.
24 Sia Friberg che Gärdenfors fanno parte dello ‘Stockholm International Toy Research Centre’ e da anni si occupano di audio games e disabilità infantile.
25 TiM (Tactile Interactive Multimedia) è un progetto di ricerca nato per adattare giochi commerciali per bambini non vedenti.
26 Axel Stockburger è un giovane artista e teorico, le cui installazioni sono esposte in tutto il mondo.
21
sonori”: la musica (score), gli effetti (effect), l’interfaccia (interface), l’ambiente o
zona (zone) e il parlato (speech). L’approccio di guardare dove nell’ambiente
virtuale i suoni sono originati può aiutare a distinguere e sottolineare la struttura
dell’audio nei videogiochi. In particolar modo le tre categorie di effetto, zona e
interfaccia sono molto vicine ad una struttura utilizzabile, anche se necessitano di
ulteriori distinzioni tra categorie di suoni e tipi di suoni, cosa che invece fornisce
la struttura IEZA.
3.5.1 La prima dimensione
Da una parte abbiamo suoni originati all’interno dell’ambiente di gioco che
rappresentano diverse fonti sonore, come i passi del protagonista, la pioggia
all’esterno di una casa o il brusio di fondo all’interno di un ristorante. Dall’altra ci
sono suoni che sono generati da elementi esterni alla scena, come le musiche o i
suoni di quando premiami i tasti di un’HUD27, in generale suoni originati da
sorgenti esterne all’ambiente di gioco. Stockburger è stato il primo a descrivere
questa distinzione ed utilizzare i termini diegetico e non-diegetico in campo
videoludico.
3.5.2 Effetto (lato diegetico)
In questa categoria l’audio si trova in una correlazione di tipo cognitivo con la
sorgente sonora, appartenente alla parte diegetica del gioco. In questo caso l’audio
è percepito come prodotto o attribuito ad una sorgente esistente nel mondo che
vediamo, sia che si trovi nel campo visivo che al di fuori. Gli esempi più ovvi
sono tutti i suoni derivanti dal personaggio come i passi , i respiri, i dialoghi, i
veicoli o le collisioni fra gli oggetti. Ovviamente ci sono molti giochi in cui non
sono presenti elementi così realistici derivanti dal mondo che ci circonda.
Immaginiamo un mondo fantasy o giochi come Tetris, in cui ci sono elementi
27 Heads Up Display, si intendono tutti gli elementi facenti parte dell’interfaccia grafica.
22
sullo schermo ma nessuno è riconducibile a qualcosa di visto sulla Terra, questi
segni non-iconici fanno riferimenti alle attività svolte dall’avatar e al suo mondo
rendendo gli eventi sonori a lui connessi parte del piano diegetico. Generalmente
i suoni della categoria Effetto forniscono una risposta immediata alle azioni del
giocatore, quasi in funzione di feedback uditivo. Inoltre sovente riproducono il
funzionamento realistico del suono nel mondo reale, basti pensare al suono di un
motore di un veicolo. Dobbiamo comunque sempre tenere conto che quando ci
riferiamo ai termini diegetico e non-diegetico all’interno di un videogioco ci
potremmo trovare nella situazione in cui il secondo influenzi il primo, proprio a
causa della natura partecipatoria ed interattiva del media.
3.5.3 Zona (lato diegetico)
Come zona si intendono tutte le sorgenti sonore che hanno origine nella parte
diegetica del gioco e sono legati al mondo in cui si trova il giocatore. Sovente i
sound designer del settore si riferiscono alla zona anche come ambiente o suoni
di sfondo. In questo caso intendiamo tutti i suoni ambientali come la pioggia o il
vento, un fiume in una giungla o un’area industriale in una città. La principale
differenza tra le categorie Effetto e Zona consiste nel fatto che l’ambiente è
composto di un solo piano cognitivo a differenza delle svariate separate sorgenti
dell’Effetto. In generale la Zona è connessa con come funziona il nostro mondo
e in mancanza di suoni è comunque presente una traccia con un minimo rumore
di fondo per evitare il completo silenzio. L’attenzione e l’immersione del
giocatore non può che beneficiare da queste accortezze.
3.5.4 Interfaccia (lato non-diegetico)
La prima categoria del lato non diegetico della struttura IEZA è l’interfaccia e
comprende le attività del giocatore che non riguardano il mondo di gioco, ma
piuttosto degli eventi di gioco. Sovente nei giochi sono presenti elementi correlati
all’HUD, con suoni sincronizzati alle variazioni di vita di una barra o di un menù
23
popup28. Va inoltre considerato che, data la natura non reale di molti di questi
elementi visivi, una scelta di sound design può essere quella di marcare il
passaggio fra suoni diegetici e non-diegetici dell’interfaccia, delimitando in modo
netto le due parti dell’interazione.
3.5.5 Influenza (lato non-diegetico)
Questa categoria comprende tutti quei suoni connessi all’aspetto non-diegetico
del gioco ad esclusione delle interazioni con comandi a schermo. Stiamo parlando
di musiche ed effetti sonori con il fine di suscitare un’emozione, dalla paura alla
felicità. La principale differenza con l’interfaccia è che questa ci mostra
informazioni riguardo alle attività svolte dal giocatore, mentre l’Influenza ci
suscita delle emozioni riguardo alla narrazione o la realtà virtuale.
3.5.6 La seconda dimensione
Come visto precedentemente, la prima dimensione ci offre una distinzione tra le
categorie diegetiche e non-diegetiche, dove il lato destro della struttura,
Interfaccia ed Effetto, contengono informazioni riguardo alle attività svolta
durante il gameplay, e il lato sinistro, Zona e Influenza, contengono le
informazioni circa l’ambientazione. Va considerato che molti videogiochi sono
disegnati in modo che l’ambiente sia strettamente correlato alle azioni svolte al
suo interno. Ad esempio cambiando gradualmente il contenuto audio della Zona
e dell’Influenza in accordo con i parametri della difficoltà o della tensione di una
scena, creeremo una dipendenza interna che influenza le due sfere. Un’ultima
considerazione riguarda il fatto che solo il lato destro dello schema contiene suoni
che possono essere attivati direttamente dall’utente.
28 Elementi dell’interfaccia grafica che compaiono automaticamente durante l’uso di un’applicazione.
24
3.6 Nuova terminologia
Non manca chi rifiuta termini come diegesi in campo di videogiochi. Rune
Klevjer, professore presso la Bergen University, sostiene incompatibile l’utilizzo di
questi termini per ragioni legate alla tipologia di storytelling interna ad un
videogioco, sostenendo che i mondi di gioco sono drasticamente differenti da
quelli cinematografici, proprio perché disegnati per essere giocati. Questo
significa che sono strutture costruite per auto-esistere, costituite di aree
partecipatorie e contesti finalizzati ad un obiettivo narrativo ben preciso e,
essendo pensati intorno a logiche differenti dal “fictional storytelling”, tutti gli
elementi sono introdotti e spiegati come parte del sistema di gioco, senza alcuna
necessità di essere presentati come parti credibili di un modo ipotetico. Espen
Aarseth, professore e ricercatore presso il ‘Center for Computer Games Research’ all’IT
della Copenhagen University, rende ancora più chiara la distinzione tra ‘fictional
word’ e ‘gameworld’ portando l’esempio del videogioco ‘Wow – World of
Warcraft” (Blizzard 2004), dove in questo non si parla di mondo di finzione, ma
bensì è un mondo funzionale disegnato attorno alle logiche di gameplay. In una
certa maniera il mondo videoludico cerca di scollegarsi da quello dei media lineari.
Da una parte ne ha bisogno per sperimentare e trovare nuovi generi e forme,
dall’altro è qualcosa di inevitabile, un percorso che diventa il nostro. Riflettendo
sulle meccaniche in cui è possibile inserire l’audio è importante notare come la
maggior parte delle volte non sono solo le scritte sullo schermo a creare una
stratificazione di piani immersivi, ma volendo gli stessi controller utilizzati a farci
percepire in modo differente i suoni. Se siamo dei classici utenti da ‘mouse e
tastiera’ non potremo apprezzare la vibrazione di un gamepad, e questo significa
che durante una sequenza di un terremoto quella vibrazione, con il rumore
assordante degli oggetti che cadono dagli scaffali o il pavimento che si rompe,
sarà ancora più percepita ed interiorizzata. È difficile creare un struttura unica che
funzioni per ogni genere e tipologia di mondo videoludico, poiché un puzzle
game può avere elementi narrativi tipici di un’avventura o una commedia allo
25
stesso modo di FPS29. La struttura IEZA è quella che meglio si avvicina ad una
standardizzazione dell’approccio verso il sound design per un videogioco, ma
quello che davvero cambia sono le regole all’interno: cosa deve fare l’utente, quali
emozioni vogliamo suscitare per raggiungere un concetto e, sulla base di queste,
sviluppare tutta l’implementazione. Se lo story telling è stato sviluppato in modo
coerente, si deve cercare di mantenere il ponte comunicativo fra ciò che vediamo,
ciò che facciamo e ciò che ascoltiamo.
29 Cosiddetto “First Person Shooter”, si intende il genere sparatutto.
26
C a p i t o l o 4
REALTÀ VIRTUALI E DISABILITÀ
4.1 Estensioni della realtà
L’uso della tecnologia per migliorare la vita delle persone con disabilità è un
campo in continuo sviluppo che, oltre a consentire sempre maggiori possibilità a
medici e pedagoghi nel campo della riabilitazione fisica e cognitiva di soggetti
disabili in seguito ad una malattia o ad un incidente, si occupa dell’assistenza a
soggetti che soffrono di deficit cognitivi, sensoriali o motori congeniti. Svariate
sono le possibilità: browser vocali, lettori con sintesi vocale, dispositivi braille,
linee guida per una maggiore accessibilità dei siti, uso del suono e del rumore,
periferiche tattili e con force feedback, sono solo alcune delle tecnologie che
vengono in soccorso. I nostri computer oggi ci forniscono la potenza di calcolo
per riprodurre in tempo reale immagini immersive o semi-immersive
tridimensionali, realtà virtuali in cui poter eseguire azioni che vanno dal gioco
all’apprendimento. Nel campo della riabilitazione questi strumenti diventano
potenti tecniche per velocizzare il recupero di alcune disabilità, migliorando la
qualità di vita delle persone. La possibilità di rappresentare relazioni spaziali tra
oggetti e di collegarvi eventualmente suoni ed azioni, è di estremo interesse per la
costruzione di esercizi sia per la riabilitazione di soggetti con disturbi
dell’attenzione e dell’orientamento che con disagi anche gravi di tipo psicologico.
Combinare strumenti di rappresentazione tridimensionale con quelli di controllo
e feedback vocale potrebbe fornire al terapeuta un mezzo per realizzare, secondo
alcuni criteri basilari di tutti gli esercizi di tipo riabilitativo, sistemi per misurare i
progressi del proprio assistito.
27
4.2 Interattività visivo - sonora
L’uso di suoni, controllo vocale, spazializzazione e scene tridimensionali sono
veicoli che costituiscono un sicuro motivo d’interesse, stimolando memoria,
motivazione, interesse, voglia di esplorare, e nel contempo offrendo
un’alternativa sicura alla realtà, spesso rifuggita o vista con timore dal paziente.
Per i soggetti più giovani, viene utilizzata la tradizionale tecnica della narrazione
della fiaba per costruire un vero e proprio “mondo virtuale” in cui gli elementi
della realtà, con le loro gioie, paure, difficoltà collegate, sono proposte in versione
più controllabile e più sicura per l’utente. Le tecnologie multimediali ed in
particolare la realtà virtuale semi-immersiva sono di ausilio per creare scene, suoni
ed oggetti difficilmente reperibili nella realtà e che esercitino un eccessivo impatto
emotivo sul paziente. Fondamentale è quindi un sistema che consenta di narrare
storie nel senso più tradizionale del termine, offrendo la possibilità di interazione
con oggetti e suoni di natura diversa, che sia configurabile da parte del terapeuta e
che offra un contesto percepito come sicuro dove il paziente può avventurarsi. In
particolar modo un uso della multimedialità, del suono e dello spazio
tridimensionale come supporto all’attività di narrazione, in cui il docente e
l’allievo creano un contatto all’interno di un mondo fantastico e virtuale, più ricco
a livello espressivo e dialogico rispetto a quanto avviene in contesti tradizionali,
dove vengono privilegiati il linguaggio verbale e la comunicazione visiva. L’uso
del controllo vocale e delle rappresentazioni tridimensionali può essere uno
strumento per la riabilitazione di disfunzioni cognitive, legate a problemi di
attenzione ed orientamento, che consente al terapeuta di programmare esercizi di
difficoltà crescente, misurabili, dalle caratteristiche programmate e di realizzare
situazioni virtuali protette che educhino il paziente ad affrontare la
corrispondente situazione nella realtà. Infine l’uso del controllo vocale e della
sintesi vocale consente la navigazione delle informazioni presenti in rete,
generalmente preclusa a persone non vedenti o con disabilità motorie,
eventualmente anche attraverso l’utilizzo del telefono, senza costringere il
28
soggetto a confrontarsi con l’elaboratore. Secondo alcuni studi l’utilizzo di
rappresentazioni tridimensionali sintetiche aggiunge motivazione e stimola
l’attenzione, consentendo a persone con disturbi nella capacità di concentrazione
di rimanere più a lungo su un soggetto.30 La memoria può anche essere esercitata
allenando il paziente alla navigazione o alla ricerca di oggetti con caratteristiche
ben definite.31 Si ha anche la possibilità ricostruire situazioni od oggetti che, se
reali, creerebbero difficoltà o disagio al paziente come, per esempio, i casi di
agorafobia o acrofobia, che potrebbero essere affrontati passando prima per
situazioni di realtà virtuale immersiva o semi-immersive. Anche simulazioni di
vita quotidiana, come l’orientarsi in un supermercato e l’acquisto dei prodotti,
possono essere riprodotte con sistemi tridimensionali semi-immersivi, dando al
paziente una sensazione di maggiore padronanza laddove si trova in difficoltà
incoraggiandolo poi ad affrontare queste situazioni nella vita reale.32 Per contro,
l’utilizzo di apparati poco confortevoli o inusuali può non essere accettato da tutti
gli utenti e le implicazioni tecnologiche della virtual reality richiedono l’assistenza
di operatori tecnicamente preparati. L’utilizzo della dimensione spaziale nella
realtà virtuale immersiva e semi-immersiva consente di spazializzare anche gli
effetti sonori. Servendosi della direzionalità del suono e della sua diversa intensità
in relazione alla distanza si possono creare degli stimoli che, uniti a quelli visivi,
permettono a persone con problemi di orientamento spaziale di comprendere
l’effettiva posizione di un oggetto quando messi di fronte ad esercizi, di gradi
diversi di difficoltà ,offerti da un ambiente virtuale.
30 Iso-Markku, P. & Seiler, O. 1998, Virtual Reality in special Needs Education; Computers in Special Needs
Education Seminar at the Department of Computer Science.
31 Rizzo, A., & Buckwalter, J. 1995, Center On Disabilities 1995 Virtual Reality Conference: Theoretical and Practical Issues for the use of Virtual Reality in the Cognitive Rehabilitation of Persons with acquired Brain Injuries.
32 Lannen T., Brown D. – Computer Interface Design to Virtual Environments For People With Learning and Physical Difficulties, in Proceedings ICCHP 2000.
29
4.3 Nuove strade narrative
Quando il paziente affetto da un disturbo cognitivo linguistico o relazionale è un
bambino, il racconto o la stesura di una favola può aiutare a creare occasioni che
consentono di comprendere, misurarsi e vivere situazioni complesse o difficili sia
dal punto di vista logico-deduttivo che dal punto di vista comunicativo o
relazionale. I personaggi o le situazioni del racconto, consentono di affrontare e
proporre in modo vivo, protetto e interessante le difficoltà e le soluzioni che si
incontrano nella vita reale e che si desidera comunicare. La pedagogia e la
riabilitazione tradizionale spesso utilizza a supporto della narrazione oggetti quali
bambole, giocattoli e libri o incoraggia a disegnare usando carta e matite colorate.
Anche la musica e i suoni possono contribuire ad attirare maggiormente
l’attenzione e a rendere più vivida l’esperienza. In questo contesto sembra ben
adattarsi l’utilizzo dello strumento multimediale per creare situazioni narrative
controllabili dal terapeuta e che consentano al paziente di sperimentare suoni,
forme, e colori, utilizzando strumenti nuovi e più coinvolgenti rispetto alla carta e
alle matite colorate.33 Tra i principali requisiti individuati si può, da una libreria
messa a disposizione, inserire o togliere oggetti, attivarne o disattivarne le
proprietà (renderli interattivi o meno), associarvi dei suoni o delle voci, insieme
alla possibilità di modificarne i parametri, quali ad esempio il volume o la velocità
di riproduzione del suono associato all’oggetto, per creare stimoli diversi da
proporre con la narrazione. Compiti per un sound designer e programmatore
potrebbero essere quelli di assegnare a ciascuna scena una voce narrante o un
commento musicale e di assegnare a ciascun oggetto un comportamento ed un
suono definito. Trattandosi di un realtà virtuale come quelle per i normali
videogiochi, la scena 3D va pensata composta in elementi, ovvero entità
geometriche che contengono una descrizione tridimensionale, ed una o più
associazioni sonore e comportamentali. In questo modo, è possibile pensare sia ai
33 Bellettini C., Bianchi A., Sbattella L. – Distributed and cooperative Story Telling for the treatment of
cognitive and relational disorders – Proc. of 7th ICCHP 2000, July 17-21, 2000, Karlsruhe, Germania.
30
fondali di scena che agli oggetti che li popolano negli stessi termini, mettendone a
comune svariate proprietà di base, come la gestione degli elementi audio.34 La
realizzazione del prototipo storyteller 3D è volta a sperimentare l’uso di oggetti
tridimensionali e di suoni spazializzati per creare nuove occasioni di stimolo
nell’ambito di una narrazione interattiva, in cui il terapeuta incoraggia il paziente
ad intervenire e ad esplorare.
4.4 Audio da vedere
Una delle disabilità per cui l’industria videoludica ha investito di più in questi anni
è la cecità, tanto da dare vita ad un nuovo genere: gli audio game. Si tratta di titoli
senza la presenza di immagini e animazioni, ma in cui l’unica fonte di
orientamento sono i suoni o le voci narranti. Va comunque detto che il mercato
di questi titoli, in questi anni, si sta allargando comprendendo anche gli amanti del
genere senza disabilità. Numerosi sono gli studi e gli esperimenti in diverse
Università per capire le possibilità ed i limiti del genere. Come citato
precedentemente il progetto TiM (Tactile Interactive Multimedia) si occupa di creare
giochi per bambini non vedenti, ma forse il caso più famoso di audio game su
console risale al 1997, quando la softaware house giapponese WARP, fondata dal
musicista Kenji Eno, sviluppò il gioco “Real Sound: Kaze no Regret” come
esclusiva per la console Sega Saturn. L’audio game non presentava alcun
elemento grafico e si sviluppava come un radio dramma o un libro gioco, dove il
giocatore passava la maggior parte del tempo ad ascoltare lo svolgimento della
storia e in un punti critici, segnalati da suoni ben precisi, era suo compito decidere
il seguente svolgimento della narrazione. Per rendere possibile questo lavoro Eno
incontrò personalmente molti dei suoi fans per raccogliere tutti gli elementi
necessari a coinvolgere un pubblico che non aveva la possibilità di vedere alcun
elemento grafico.
34 Gamma, E. et al. - Design Patterns, Prentice Hall, 1994.
31
C a p i t o l o 5
SOUND MAKER
5.1 La chiave è osservare
Ho avuto modo di lavorare in progetti sia con media lineari che interattivi, in ogni
caso la prima fase è sempre uguale per tutti: osservare ciò che abbiamo davanti.
Se è presente un regista o game designer discutere a fondo con lui per capire
quale sia l’idea di base, le emozioni che vuol trasmettere. Captare tutte le
informazioni possibili su quelle che sono le aspettative del team aiuterà ad evitare
di fare lavoro inutile e centrare prima la soluzione vincente. Nel caso ci siano
storyboard35, tavole con i concepts36, animatic37 o sceneggiature è fondamentale
guardare e leggere tutto il materiale a disposizione. Lavorando ad un progetto per
un videogioco siamo sicuri che, per quanto piccolo sia il team, non comprenderà
mai una sola persona, sarebbe disumano. Ci troveremo sempre a fare i conti con
il parere del dipartimento artistico, il game designer che si aspettava quel suono
fondamentale in quel posto, i beta-tester38 e così via. Per questa ragione tutto
quello che apprendiamo prima ci aiuterà enormemente dopo.
5.2 Divisione in compartimenti
Percepire il senso globale, estetico e di gameplay, del progetto è il primo passo
per orientarsi, il secondo è capirne la struttura. Se lavoriamo ad un film dobbiamo
capire il ritmo delle scene per sonorizzarle efficacemente, lo stesso vale per un
35 Viene generalmente utilizzato per indicare la rappresentazione grafica, sotto forma di sequenze disegnate in
ordine cronologico, delle inquadrature di un fumetto o di un'opera filmata.
36 È una proposta progettuale necessaria a definire gli elementi fondamentali di un progetto e fornisce le basi per la realizzazione dello stesso. Rappresenta l'elaborato finale di un metaprogetto.
37 Animazione molto approssimata, costituita in prevalenza da disegni fissi, con brevi e male scanditi movimenti, e cambiamenti di inquadratura. È l'ultima verifica della validità dello storyboard.
38 Si fa riferimento invece ad una fase di prova e collaudo del software non ancora pubblicato svolta da professionisti specializzati chiamati beta tester.
32
videogioco, con il fatto che probabilmente avrà un numero sconfinato di scene,
dall’ordine talvolta imprevedibile. È categoricamente obbligatorio schematizzare
tutta la sequenza di gioco, magari su una lavagna o uno spazio ampio, tenendo
traccia del lavoro fatto ad ogni nuovo update. Perdersi un passaggio vuol dire
impiegare ore a rifare ordine mentale in questo labirinto di eventi. Il digitale ha
sicuramente una grossa praticità, ma personalmente l’approccio schematico con
carta e penna vince; possiamo alternare testo con disegni, se usiamo fogli A4
possiamo anche assemblarli scambiandoli di posto nel caso volessimo eseguire
delle task in ordine inverso. La base di partenza è schematizzare minimizzando il
contenuto dei compartimenti, trovando gli elementi ricorrenti e in comune.
Vogliamo dare un’idea di omogeneità, serve a dare personalità al titolo, non
possiamo permetterci che l’audio da toni seri diventi stile cartoon perché abbiamo
cambiato modo di editare o registrare. Capiti quali sono i blocchi fondamentali
del gioco, inizio ad immaginare dei suoni per i personaggi, gli ambienti e i vari
oggetti al loro interno, annotandomi ogni diversa possibilità. Costruisco il
panorama sonoro. Questa fase prenderà parecchio tempo, ma più avremo
capacità progettuali inizialmente più le fasi successive del lavoro saranno semplici
e con meno problemi da risolvere. Il più grande incubo è arrivare alla fase di
implementazione audio e scoprire che un suono non funziona perché mal
concepito, vuol dire riprendere la catena di lavoro dall’inizio, in poche parole
perdere un sacco tempo.
5.3 La lista della spesa
Alla fine di questa fase preliminare ci dovremmo trovare con una serie di blocchi,
divisi per circostanze, con all’interno di ognuno i ‘characters’, gli oggetti presenti
in scena e il tipo di ambiente. Le musiche tendenzialmente sono inserite in una
fase successiva, a meno che non rientrino in una scelta di sound designer precisa.
Inoltre è doveroso precisare che sovente sound designer e composer non sono la
stessa persona. Teniamo a mente che lo schema IEZA ci aiuta ad orientarci su
33
come pensare gli oggetti da sonorizzare, non sempre le storie e le logiche presenti
in un gioco sono facili da catalogare, per cui potremmo anche confondere il
grado di attenzione che un oggetto merita senza questa valutazione, considerando
anche il fattore interattività. Lo scopo finale è avere una sorta di ‘lista della spesa’
per ogni blocco, contenente tutti i suoni che abbiamo immaginato e gli oggetti
che vogliamo registrare. Dobbiamo immaginare questi oggetti come i nostri
ingredienti per cucinare un piatto saporito. Se siamo in dubbio sul tipo di oggetto
da registrare, annotiamoci l’emozione che vogliamo dare (allegra, introversa,
aggressiva), oppure una tipologia di materiale (ruvido, molle, gommoso, freddo) o
di effetto (tagliente, veloce, pesante). Quando la lista è pronta cerchiamo in casa,
in garage o in soffitta degli oggetti analoghi a quelli che abbiamo scritto. Sembra
impossibile, ma non abbiamo idea di quale sia la vera fonte della maggior parte
degli effetti sonori che abbiamo visto nei film di Hollywood; quasi sempre, ad
esclusione della fantascienza in cui è ovvio di per sé, non sono i suoni di quello
che vediamo. Proprio come per la lista della spesa è molto valida l’idea di recarsi
in un supermercato e provare i diversi oggetti in esposizione. Oltre che qualcosa
di estremamente divertente è anche un’ottima occasione per imparare qualcosa di
più sulla fisica che regola il nostro mondo, trovando correlazioni fra gli elementi
costruttivi di molti strumenti musicali e le parti di ricambio più assurde.
5.4 L’omino dei rumori (Foley)
Dopo aver fatto la ‘spesa’ arriva il momento di testare, o per meglio dire suonare,
il nostri oggetti. Cerchiamo i punti sensibili, dove entrano in risonanza, se sono
intonati, con cosa interagire con loro (altri oggetti, strumenti musicali o un
archetto), dove e come posizionarli. Lo scopo di questa fase è prendere tutto il
materiale possibile da una stessa fonte sonora, catturarla nei nostri hard-disk per
poterla usare tutte le volte che ne avremo bisogno. Per raggiungere questo
obiettivo dobbiamo anche preparare il materiale per la nostra sessione di studio
recording, per lo meno per quegli oggetti che sono trasportabili fino alla location
34
scelta per la registrazione. Come setup per le mie registrazioni utilizzo
strumentazione abbastanza portatile, preferisco potermi spostare da un luogo
all’altro senza essere necessariamente vincolato ad uno studio. Per le registrazioni
in luoghi interni ne analizzo precedentemente la fattibilità, per questioni acustiche
come riverbero e timbro, con strumenti come “Room EQ Wizard” grazie ai quali
posso vedere la risposta in frequenza della stanza in cui lavorerò. Il mio
equipaggiamento si costituisce di un laptop Mac Book Pro con OSX e boot camp
con Windows, una scheda audio Motu Traveler Mk3, cuffie Beyerdynamic DT
990 PRO, microfoni affittati per l’occasione, aste, cavi per il routing. La scelta dei
microfoni è legata al tipo di materiale che vogliamo registrare, nella mia
esperienza microfoni come Neumann KM184 mt (Stereo Set) o Schoeps CMC-
64 (Stereo Set) sono i migliori per la studio recording e, dato il costo elevato per
l’acquisto, l’affitto può rivelarsi una buona soluzione. Per la field recording
suggerisco un microfono shotgun supercardiode come il Sennheiser MKH418-s o
una soluzione portatile ed efficace come lo Zoom H5, acquistabile con una
capsula X/Y ed una shotgun.
Proprio per via dell’affitto dei microfoni conviene registrare in una volta sola la
maggior parte del materiale necessario, per abbattere il più possibile i costi,
almeno nelle prime fasi. Ultima parte è quella legata alla DAW di lavoro,
personalmente utilizzo sia Pro Tools che Nuendo a seconda del sistema operativo su
Figura 4: Neumann KM184mt, Schoeps CMC-64, Sennheiser MKH418-s
35
cui mi trovo, hanno uguali potenzialità e sono presenti in quasi tutti gli studi.
Quando tutto è pronto, con le cuffie in testa, spostiamo i nostri microfoni,
prestando attenzioni ad eventuali problemi di controfase, alla ricerca del punto
migliore per registrare l’oggetto. La vera discriminante nella scelta microfonica
giace nella figura polare del microfono a condensatore. I microfoni a
condensatore hanno un’elevata sensibilità, maggiore rispetto a quelli dinamici, e
ciò ci permette di cogliere i suoni nella loro interezza. La figura polare polare di
un microfono è invece la rappresentazione grafica della sua sensibilità in funzione
della direzione di un segnale sonoro che lo colpisce. Esistono ovviamente diverse
forme di figure polari: Omnidirezionale, Bidirezionale, Unidirezionale, Cardioide,
Supercardioide e Ipercardioide.
Nella figura polare Omnidirezionale la risposta è pressoché uniforme per qualsiasi
angolo di incidenza, quindi la percezione del microfono sarà teoricamente di
360°; il “microfono panoramico“ sfrutta questa figura polare.
Nella figura polare Bidirezionale o “figura a otto” la risposta è massima per i
suoni provenienti dal fronte o dal retro del microfono (angoli di incidenza di 0 e
Figura 5: Schema polare Omnidirezionale
Figura 6: Schema polare Bidirezionale
36
180°), mentre è nulla per i suoni provenienti dai lati (angoli di incidenza di 90° e
270°). Per quanto riguarda i diagrammi di tipo Unidirezionale la risposta è
massima se la fonte sonora è posta di fronte al microfono e diminuisce
progressivamente se la fonte ruota intorno al microfono (perpendicolarmente al
suo asse); questo tipo di risposta è ottenuta combinando una capsula
omnidirezionale con una bidirezionale.
Quello Cardioide presenta un'attenuazione di circa 6 dB ad un angolo di
incidenza di 90°, fino a respingere completamente i suoni provenienti da dietro
(punto di ripresa nulla a 180° rispetto all'asse); il nome deriva dalla forma della
sua figura polare, che descrive vagamente un cuore stilizzato.
Nel Supercardioide la risposta è simile a quella del cardioide, ma è ancora più
direzionale. Presenta un'attenuazione di circa 8,7 dB ad un angolo di incidenza di
±90° e un lobo di ripresa posteriore (dalla sensibilità e risposta in frequenza
ridotta); il punto di ripresa nulla è a ±125° rispetto all'asse.
Figura 7: Schema polare Cardioide
Figura 8: Schema polare Supercardioide
37
Nella figura polare Ipercardioide la direzionalità è invece ancora più accentuata
rispetto al supercardioide, con l'effetto di aumentare la sensibilità posteriore.
Presenta un'attenuazione di 12 dB ad un angolo di incidenza di 90° ed un lobo
posteriore più ampio; il punto di ripresa nulla è a ±110° rispetto all'asse.
I due microfoni suggeriti precedentemente, il Neumann KM184 mt e lo Schoeps
CMC-64, sono entrambe cardioidi a differenza del Sennheiser MKH418-s che è
invece supercardioide; sono invece tutti quanti microfoni a condensatore. Sono
diverse le tecniche di registrazione stereofonica più tradizionali che possiamo
utilizzare e comprendono: la coppia distanziata o configurazione A/B, la coppia
coincidente o configurazione X/Y, la configurazione M/S, l’ORTF e la NOS.
La Tecnica della Coppia Distanziata (A/B) utilizza due microfoni con
caratteristica polare cardioide o omnidirezionale, separati da una distanza da 1 a 3
metri e indirizzati con il pan completamente a destra e a sinistra nel mix. In
musica questa tecnica si usa spesso per la ripresa dell’immagine stereo di un
gruppo o di uno strumento ma, nel nostro caso, essendo la separazione
stereofonica molto ampia e la distanza tra i due microfoni dipendente dalle
dimensioni fisiche della sorgente sonora, possiamo registrare fonti di grandi
dimensioni.
Figura 9: Schema polare Ipercardioide
Figura 10: Configurazione AB
38
La tecnica X/Y utilizza due microfoni identici con caratteristica polare cardioide,
con le capsule dei due posizionati proprio in contatto una con l’altra (coincidenti)
o separate una dall’altra da meno di 30 cm (quasi-coincidenti). I microfoni
vengono orientati uno verso l’altro ad un angolo da 90° a 135°, a seconda delle
dimensioni della sorgente sonora e dell’immagine stereofonica desiderata. La
coppia viene posizionata con il punto centrale delle due capsule (cioè, con la linea
che biseca l’angolo di apertura tra i due microfoni) puntato alla sorgente. I due
microfoni vengono indirizzati con il pan alla destra e alla sinistra nel mix
stereofonico. A causa della vicinanza dei due microfoni, il suono arriva alle due
capsule nello stesso momento, riducendo (nel caso della coppia quasi-
coincidente) o eliminando completamente (nel caso della coppia coincidente) i
problemi di sfasamento possibili con la tecnica A/B.
La tecnica di ripresa stereofonica M/S (Mid/Side) impiega una capsula
microfonica con caratteristica polare cardioide ed una capsula bidirezionale, a
volte alloggiate nella stessa unità, configurate in modo coincidente. La capsula
cardioide (mid) viene puntata direttamente alla sorgente sonora. Questa riprende
principalmente il suono in asse, mentre la capsula bidirezionale (side) riprende a
Figura 11: Configurazione XY
Figura 12: Configurazione MS
39
destra e sinistra i suoni fuori asse della capsula cardioide. I due segnali vengono
combinati tramite l’uso di una matrice M/S, che permette di regolare la spazialità
dell’immagine stereofonica. Regolando il livello del segnale “mid” rispetto al
segnale dei lati, si può creare un’immagine stereo più ampia e più stretta, senza
spostare i microfoni. Questa tecnica è perfettamente compatibile con la
riproduzione in monofonia e per questa ragione viene utilizzata moltissimo nelle
applicazioni televisive, radiofoniche e cinematografiche.
La tecnica ORTF (Office de Radiodiffusion Television Francaise) è una tecnica
che mutua la conformazione del cranio umano per ricreare una percezione
spaziale naturale e ben definita. Le capsule vengono poste a 17,5 cm l’una
dall’altra con un’angolazione di 110°. Le orecchie sono mediamente alla distanza
di 17,5 cm l’una dall’altra e sono rivolte leggermente in avanti.
La tecnica di microfonazione NOS (Nederlandse Omroep Stichting) prevede che
le capsule dei microfoni siano poste a 30 cm con un’apertura di 90°. A differenza
della ORTF, la sistemazione risulta più facile grazie ad un angolo semplice da
calcolare: i 90° possono essere controllati anche mediante l’uso di un normale
foglio di carta A4, mentre per i 110° è necessario l’uso di un goniometro o di
qualche altro strumento personalizzato in quanto non è un’apertura facilmente
Figura 13: Configurazione ORTF
Figura 14: Configurazione NOS
40
attuabile ad occhio. Un'altra tecnica, di grande interesse per il campo delle realtà
virtuali, è la Jecklin Disk. Si tratta di una tecnica binaurale (i cui effetti sonici si
possono apprezzare solo in cuffia o in ambienti di ascolto binaurale) che si
ottiene usando due microfoni omnidirezionali posti a 17,5 cm fra loro e separati
da un buffer, cioè un disco (imbottito) di circa 30cm di diametro che divide
fisicamente i due microfoni.
Possiamo ricorrere, in modo analogo alla Jecklin Disk, anche alla Dummy Head
per registrare audio con le medesime caratteristiche. A seconda del tipo di
microfono scelto, se rientra nei precedenti con schema polare cardioide, ma non
si tratta di una tecnica stereofonica, cerchiamo di non stare troppo a ridosso del
corpo o troppo lontano da esso, lo scopo è trovare il punto in cui catturare la
fonte sonora nella sua globalità senza che l’acustica della stanza abbia troppa
influenza, non ci interessa il riverbero di questa. Se ha delle cavità di risonanza
sollecitiamole per sentire come risponde con l’aria attorno e a quale distanza
riusciamo a catturarne il ‘sapore’ complessivo, lo spettro più ricco. Se siamo
fortunati avremo qualcuno che ci assisterà in questo lavoro, ma nel caso fossimo
da soli dopo aver premuto il tasto REC, il mio consiglio è di parlare spiegando,
prima di ogni diversa tecnica utilizzata sull’oggetto, cosa stiamo per fare. Questo
perché o creiamo un’apposita sessione per ogni oggetto e applichiamo markers
ben dettagliati alla fine di ogni recording (da escludersi per scarsa praticità dato lo
sterminato numero di sessioni che avremo) o registriamo tutto su una sessione,
incolonnando le tracce sulla base degli oggetti registrati ed importiamo
Figura 15: Tecnica Jecklin Disk Figura 16: Microfoni Dummy Head
41
successivamente le tracce audio che vogliamo editare all’interno di una nuova
sessione. Nel secondo approccio, quando lavoreremo sulla traccia audio, ci
basterà ascoltare i vari passaggi per capire la procedura usata e come editare il
materiale senza perdere il senso della registrazione. È in assoluto la fase più
creativa dell’intero processo ed bene registrare più materiale possibile. È
comunque bene attenersi a ciò che si è deciso precedentemente, ogni traccia
registrata andrà poi editata manualmente, per cui a meno che non si tratti di
un’intuizione geniale, non inserire nella sessione oggetti esterni alla lista.
5.5 Come ti chiami?
Nel caso gli oggetti da registrare fossero 50, avremo esattamente lo stesso
numero di tracce e il nostro scopo è poterle ritrovare quando ci serviranno anche
per futuri lavori. Questo perché quando creo una libreria i campioni audio che
produco hanno un certo tipo di editing applicato, magari tagli molto precisi o
compressioni, e potrei voler rilavorare sulla traccia madre per editare in modo
differente. Risulta essere una buona strategia per non dover registrare tutte le
volte lo stesso oggetto e non usare i campioni audio preparati per un precedente
lavoro. Avremo comunque una sensazione di omogeneità di stile fra i diversi
lavori, senza usare gli stessi precisi suoni. Per rendere ritrovabili le tracce grezze
uso un sistema di nomenclatura che comprende la data di registrazione (GG-
MM-AAAA), il nome dell’oggetto, la categoria o sensazione primaria generata dal
materiale (Metallo, Gomma, etc.), la provenienza dell’oggetto, se la registrazione è
avvenuta in un luogo interno o esterno (In/Out) ed il tipo di operazioni di esso
(Percussioni, Soffio, Strofinamento, Vario). Il cui format potrebbe assomigliare a
questi:
[Data]_Nome_Categoria_Provenienza_In/Out_Operazioni.wav
[12-03-2015]_Armadietto_Metallo_Casa_In_Perc.wav
[04-11-2012]_Spazzolino_Spatole_CasaMarco_In_Strofinamento.wav
42
All’interno dei tag commenti del file vado ad aggiungere tutte le informazioni
dettagli che valuto siano importanti da ricordare, in cui rientrano la scelta dei
microfoni e della loro posizione, caratteristiche sul tipo di ambiente e sul
riverbero, il progetto per cui è stato registrato, pensieri personali di vario tipo
riguardo ad utilizzi non previsti. Importante è non inserire spazi nel nome del file,
perché, se non usiamo software manageriali per la gestione delle tracce, capiterà
di fare operazioni in massa su questi file via terminale e lo spazio in informatica
non è un carattere di facile utilizzo a livello di automazioni in batch39. Sfrutto
inoltre la normale prassi per la dichiarazione delle variabili in programmazione
dove le parole iniziano sempre con la maiuscola, una in fila all’altra. Per essere
ancora più tranquilli circa l’impossibilità di cambiare il nome o fare danni nel
tempo, possiamo bloccare il file dalla scheda delle impostazioni file del nostro
OS. Nominate le tracce e spostate su un hard disk di fiducia in cui le
custodiremo, possiamo procedere all’editing di queste.
5.6 Tagli da macellaio
Stiamo creando dei campioni audio, i nostri ingredienti,Una volta ultimati
verranno montati insieme, sovrapponendoli su più piani (layers) fino a trovare
l’alchimia preferita. Ma non vogliamo avere diverse cose che sono presenti
all’interno, ad esempio il rumore di fondo introdotto dal nostro pre-amplificatore
o il riverbero della stanza in cui stiamo registrando. I suoni verranno
contestualizzati all’interno degli ambienti quando andremo a costruirli, ma nella
mia libreria voglio solo sorgenti sonore. Solitamente la piattaforma che utilizzo
per effettuare l’editing è Pro Tools ed è qui che ho preparato una parte dei
campioni audio che sentiremo nella sonorizzazione dell’ambiente virtuale. Con le
indicazioni registrate all’interno dell’audio, divido con markers l’area di lavoro per
tipologie di trattamento sull’oggetto, per esempio prima una sessione percussiva e
39 Un insieme di comandi o programmi, tipicamente non interattivi, aggregati per l'esecuzione, come in uno
script o un comando batch.
43
poi quella sfregata. Il primo passo è cercare il transiente d’attacco del suono o, se
questo non è troppo marcato, dove inizia il suono utilizzabile. Effettuato il taglio
inserire un fade in un’automazione del volume che ci garantisce che il campione
parta senza clip pericolosi per i nostri speaker. Nella mia esperienza è stato utile
lavorare in modo che tutti i campioni di una certa categoria avessero lo stesso
tempo di attacco, mentre decay soggettivo alla risposta dell’oggetto. Il taglio più
complesso è quello della fine del campione, va fatto in modo tale che la curva di
fade out porti via il riverbero della stanza senza inficiare la qualità del suono,
cercando quindi di lasciare dello spazio per il decadimento del suono in modo che
sembri il più naturale possibile. Con un po’ di pratica e un buon orecchio diventa
abbastanza istintivo percepire quando i suoni sono tagliati correttamente.
Completata questa fase incolonno i campioni di ogni gruppo e controllo che i
tempi di attacco siano corretti, e dove posso li accorcio ulteriormente. Quando si
lavora con l’interattività ci aspettiamo che a ogni nostra operazione corrisponda
immediatamente un suono, se questa impiega anche solo qualche millisecondo di
troppo a partire la prima cosa che pensiamo è che ci sia un problema con la
macchina, che sia lenta e non riesca a gestire l’audio, quando invece si tratta solo
di un attacco non tagliato bene. Per cui togliamo tutto quello che si può tagliare in
partenza. Non vige la stessa regola drastica per la coda, ma più è lungo il
campione, più carichiamo risorse nella memoria, più il tutto si appesantisce. Per
cui, senza essere maniacali, toglieremo ciò che è necessario senza lasciare 20
secondi di silenzio alla fine. Durante l’editing creo una traccia ausiliaria, in cui
mando tutte le altre tracce, e vi carico un compressore non troppo aggressivo che
non attivo fino a quando non sono stati effettuati tutti i tagli e le automazioni.
Controllati attacchi e code dei suoni, cerco la compressione migliore per ogni
gruppo, senza manipolare in modo drastico il suono.
44
5.7 La libreria
A questo punto esporto; è una fase lunga e necessita di attenzione per evitare
errori di varia natura. Inoltre dovremo salvare i suoni con un nome di riferimento
che ci permetta di ritrovarli, ma non può essere lungo come quello per la traccia
madre altrimenti diventerebbe tutto troppo confusionario. Per cui scegliamo un
nome, come un tag, che ci rimandi subito a quel tipo di sensazione che il suono ci
richiama e utilizziamo un sistema di numerazione da 0 incrementandolo per ogni
campione, qualcosa che potrebbe assomigliare a ColpoMetallico_03 o
RonzaElettrica_01. Creati i nostri campioni audio possiamo servirci di software
come Sample Manager per eseguire operazioni in massa sui nostri files. Questo
software ci offre una serie di strumenti da assemblare insieme per creare un flusso
di operazioni che verranno eseguite sul nostro audio.
Se nominati correttamente in precedenza il passo fondamentale da eseguire è la
normalizzazione di tutto il materiale audio, possiamo comunque mettere in coda
ulteriori compressioni, dissolvenze audio in entrata o uscita, meccaniche di
rinominazione su tokens e via dicendo. Per catalogare il nostro lavoro
efficacemente possiamo anche creare delle cartelle divise per categorie in modo
da raggruppare i campioni secondo logiche preferenziali, come inserire in una
tutti i suoni metallici o in un’altra solo quelli percussivi. Ci sono inoltre software
che ci permettono di gestire le nostre librerie sonore, assegnando tag e svariate
diciture.
Figura 17: Sample Manager
45
5.8 Distorsioni della realtà
Se il mondo su cui lavoriamo non rispecchia la realtà, allora è possibile che non ci
bastino i campioni audio creati precedentemente, ma sia necessario manipolare il
nostro materiale. Per fare questo utilizzo il software Max, proprio per il principio
con cui funziona, ovvero la programmazione ad oggetti visiva. Possiamo creare
delle patches, ovvero degli algoritmi formati dai molteplici oggetti forniti dalle
librerie di base del software e da quelli programmabili da noi. Dovendo pensare in
termini di eventi sonori questo approccio mi aiuta notevolmente, potendo
costruire tutte le possibili variazioni che il suono può intraprendere.
Figura 19: Esempio di patch in Max
Figura 18: Azioni eseguibili in cascata dentro a Sample Manager
46
È come avere un grande foglio bianco davanti e poter disegnare il percorso che
l’audio deve intraprendere, creare dei parametri che, se modificati, cambieranno
magari la velocità di riproduzione, applicare Waveshaping o Convolution
Processing, inserire plugin audio e molte altre possibilità. Un laboratorio nel quale
creo sinergie nuove e le trasformo in tracce audio sfruttando svariate tecniche per
la manipolazione dell’audio, come ad esempio il Timestretching, per modificare
velocità o della durata di un segnale audio senza che tale effetto influenzi la sua
intonazione, il Pitch-Shifting, per modificare l’intonazione di un suono, ed il
Pitch-Bending, per automatizzare una variazione di intonazione, il Reverse, per
riprodurre a inversa l’audio, insieme ad effetti come il Chorus, il Flanger, il Phaser
o il Delay (effetti realizzati mediante l'impiego di linee di ritardo, con tempi fino a
qualche decina di millisecondi, attraverso la quale viene fatto passare il segnale da
trattare e miscelato col segnale originale), il Vibrato (modulazione periodica di
frequenza) o il Tremolo (modulazione periodica di ampiezza), le distorsioni o il
Waveshaping (distorsione dell'ampiezza di un suono allo scopo di alterarne la
forma d'onda e quindi il suo contenuto spettrale). Molte altre sono le tecniche a
disposizione di un Sound Designer, comprese queste citate in differenti miscele e
automazioni.
5.9 Algoritmi sonori
Ora che abbiamo tutti i nostri campioni andiamo a disegnare il suono finale per
l’oggetto. A seconda del tipo di immagini o animazioni che abbiamo davanti ci
muoveremo su di diverse strade. Nel caso si tratti di una cut scene la procedura
non sarà molto differente dalla normale sonorizzazione del cinema, ma se
abbiamo dei modelli tridimensionali in movimento possiamo decidere di farci
dare un export video dell’animazione e lavorare come nel primo caso o sfruttare
altri software, illustrati nel Capitolo 6, come FMOD per la generazione di eventi
audio. La differenza sostanziale sta nel fatto che i tempi dell’animazione 3D
potrebbero non essere sempre lineari e gli eventi sonori, a differenza dei normali
47
suoni, si adattano alle possibili evoluzioni. Per cui dobbiamo pensare a qualcosa
in movimento, non figure sonore statiche, diciamo degli algoritmi sonori.
Qualcosa che rappresenti per lo più un’evoluzione dinamica del suono nel tempo
e che si adatti alle diverse circostanze. Nel capitolo successivo illustrerò i vari
passaggi per la costruzione di un evento sonoro in FMOD.
5.10 Suoni improbabili
Facendo riferimento a tutta questa lunga serie di informazioni precedentemente
descritte, voglio ora parlare di alcuni dei suoni presenti all’interno del progetto
che presenterò come parte pratica. Alcuni dei suoni creati per la realtà virtuale
hanno origine da fonti sonore completamente sconnesse. Avremo il controllo di
un personaggio, con un punto di vista in prima persona, quindi ci aspettiamo il
suono di passi, respiri o salti, ci saranno anche molti elementi futuristici, quindi
suoni di macchinari, computers, corrente elettrica, insieme a suoni d’ambiente per
creare il setting della scena. Ogni evento sarà composto da più strati, ad esempio i
passi sono composti da: un piano sonoro dei colpi del piede sulla superficie del
pavimento, un suono metallico poiché il terreno su cui poggiamo è di questo
materiale e un suono di vestiti dato dal movimento del personaggio. In questo
caso il primo suono (o gruppo di suoni come spiegherò più avanti) è dato dai
colpi dati con il palmo della mia mano sopra alla superficie di un fornello
metallico, il secondo sono delle parti di ricambio metalliche registrate in un garage
ed il terzo è una giacca in pelle, con oggetti di vario genere nelle tasche, scossa
con forza. L’unione di questi elementi va a creare il suono per i passi del nostro
protagonista. Quando correrà avrà del fiatone all’arresto, questo suono è la mia
voce registrata sotto affaticamento. Suoni di voce sono stati registrati anche per il
salto dove, all’arrivo per terra, è presente un nuovo suono metallico, con una
release più lunga, dato dalla percussione di una scatola di latta di notevoli
dimensioni. Inoltre il protagonista avrà un torcia, il cui suono è dato dall’apertura
di un pedalino per la distorsione di chitarre elettriche. Molte delle parti
48
elettroniche derivano da registrazioni di hardware datato e parecchio rumoroso,
anche se alcuni suoni derivano da un microwave, compreso il segnale acustico
acuto presente nei computers. Un rumore di motore elettrico vicino ai computers
deriva da uno spazzolino elettrico. La corrente elettrica continua ascoltabile
vicino a delle strutture luminose è stata realizzata registrando diversi suoni di
scariche da un boiler e riproducendo i campioni audio ad alta frequenza. Il suono
di gas in certi ambienti è stato creato dal suono di una pentola a pressione
manipolato con time stretching e tagliandone il transiente d’attacco con un fade
in. Le aperture delle porte sono suoni di una saracinesca automatizzata insieme ad
altri campioni di metallo e gas, mentre la chiusura ha come suono delle
percussioni effettuate su una lavatrice. Inoltre ci sono molte texture più di taglio
musicale, o per meglio dire intonate, create con Max ed inserite in modo
strategico nei punti in cui il solo audio degli oggetti poteva risultare scarno. Sono
quindi svariate le origini sonore dei suoni creati e dopo essere stati manipolati è
difficile riconoscere a cosa corrispondessero.
49
C a p i t o l o 6
L’IMPLEMENTAZIONE AUDIO ALL’INTERNO DI UN ENGINE
6.1 L’Engine
Questo capitolo sarà dedicato all’illustrazione delle meccaniche dietro alla
sonorizzazione di un ambiente virtuale, quali strumenti vengono utilizzati e come
ci si deve approcciare a questo tipo di lavoro. Prima di tutto mi sembra essenziale
spiegare il significato del titolo: cos’è un Engine? Con Engine o Graphic Engine
si intende il cuore di qualsiasi applicazione che prevede grafica in tempo reale,
ovvero un rendering delle immagini che si aggira tra i 30 ed i 60 frame per second
(FPS40). Sostanzialmente fornisce agli sviluppatori tutti quegli strumenti necessari
all’organizzazione del materiale di lavoro (generalmente le risorse prendono il
nome di Assets41), alla gestione del flusso di dati e all’export per differenti
piattaforme; questioni che in progetti di grandi dimensioni diventano cruciali.
Ovviamente non si limita solo a questo un Engine, anzi va inteso come un
dispositivo modulare al quale possiamo aggiungere o sottrarre delle parti a
seconda delle esigenze di sviluppo, adattandolo al tipo di progetto. I moduli, che
possono essere dei middlewares42 o plugins, sono software per i più svariati
utilizzi: dalla gestione della lingua al coordinamento degli input utente, fino
all’audio stesso. Tendenzialmente ogni software house non indipendente ha il suo
Engine, questo garantisce all’azienda la possibilità di poter modificare a livello
basso le sue proprietà agevolando il lavoro di realizzazione dei propri prodotti.
Nel caso di team più piccoli o budget ridotti troviamo comunque sul mercato
soluzioni pratiche ed efficienti per chi necessiti di un Engine, stiamo parlando 40 Con fotogrammi per secondo si intende la frequenza di riproduzione dei fotogrammi che compongono un
filmato o un’animazione al computer, tale da generare l’illusione del movimento.
41 Il termine comprende tutte le risorse interne al progetto, come il materiale video e audio, il modelli 3D e le animazioni e i file per la localizzazione.
42 In informatica si intende l’insieme dei programmi che fungono da intermediari tra diverse applicazioni.
50
dell’Unreal Engine43 e Unity Engine. Questi due motori si comportano
esattamente come descritto in precedenza e per il lavoro di sonorizzazione
presenterò i passaggi su Unity (v.5.3.5f1), ottenibile direttamente dal sito web
dell’azienda con una licenza personale. Con un Engine creiamo strutture di dati e
le disponiamo all’interno di un ambiente 3D o 2D. Queste sono, nell’ottica di un
linguaggio OOP44, strutture con differenti proprietà e alle quali possiamo
collegare scripts45 scritti in C++, C# o Javascript. Unity ci viene fornito con una
sua IDE46 all’interno, MonoDevelop, e questo software serve alla scrittura degli
scripts e alla loro compilazione nel linguaggio selezionato. Possiamo ovviamente
usare altre IDE, come ad esempio Eclipse o Xcode, a seconda delle proprie
preferenze. Unity si presenta con diverse schermate, tutte modificabili e
posizionabili a piacimento sullo schermo. Le principali sono la Hierarchy,
l’Inspector, la Scene, il Game, il Project e la Console.
43 Motore grafico sviluppato da Epic Games, la prima versione è stata sviluppata per il gioco Unreal (1998).
44 L’OOP (Object Oriented Programming) è un paradigma di programmazione che permette di definire oggetti software in grado di interagire fra di loro.
45 Con script si designa un programma scritto in una classe di linguaggi di scripting pensato per essere eseguito in una determinata shell.
46 Con IDE (Integrated development environment) in informatica si intende un ambiente di sviluppo integrato, un software che in fase di programmazione aiuta lo sviluppo del codice sorgente di un programma.
Figura 20: Hierarchy Figura 21: Inspector
51
Nella Hierarchy troviamo tutte le strutture che creiamo, queste possono essere
inserite all’interno di altre creando oggetti sempre più complessi. Le proprietà di
questi sono visualizzabili nella scheda dell’Inspector, dove possono essere
modificate: impostati nuovi valori per le variabili, attivati triggers di eventi,
collegati scripts ad altri oggetti, assegnati tag all’oggetto per definirne le interazioni
con gli altri, come le collisioni. Tutte le proprietà visualizzabili non sono altro che
porzioni di codice presentate ad un livello più alto, permettendo di trovare i valori
significativi in minor tempo. Le possibilità sono praticamente infinite e per questa
ragione alla base del lavoro deve esserci una forte progettualità atta a chiarire i
processi chiave a tutti coloro che vi lavoreranno. Ogni oggetto creato viene
inserito nella realtà virtuale attraverso la scheda della Scene, selezionandolo dalla
Figura 22: Scheda Scene
52
Hierarchy e trascinandolo all’interno. Trattandosi in questo caso di un ambiente
in tre dimensioni potremo poi andare ad interagire con esso modificando le sue
coordinate e posizionandolo dove previsto. L’oggetto fondamentale per poter
visualizzare qualcosa del mondo virtuale è la Camera, proprio come nel cinema,
questa ci consente di inquadrare e vedere, in prima persona, il mondo costruito.
Ciò che la Camera vede è visualizzato nella scheda Game ed in questa, avviata
l’applicazione, vedremo se tutto quello che abbiamo assemblato funziona come ci
aspettavamo. La scheda Project ci permette di tenere organizzate le directory del
nostro progetto mentre la scheda Console ci consente di effettuare tutto il debug
necessario a scovare errori durante la programmazione.
6.2 FMOD
Oltre all’Engine Unity e all’IDE MonoDevelop, per il mio progetto ho utilizzato
uno strumento molto potente per la gestione dell’audio: FMOD (v.1.08.04).
Figura 23: Scheda Game
53
Quest’ultimo è un motore audio sviluppato dalla Firelight Technologies che
permette di assemblare effetti audio e musiche compatibili con Unity; si comporta
come un middleware da installare attraverso un package47 e lavora parallelamente
al software che lo ospita.
All’interno di Unity comparirà una sezione con i parametri di FMOD e noi
lavoreremo alternando le operazione tra l’interfaccia del motore audio, quello
grafico e l’IDE. Alcune cose vanno dette riguardo alla scelta di utilizzo di FMOD.
Unity stesso presenta una libreria molto efficiente per la gestione del suono, la
scelta è stata motivata dal grande successo di questo software e dalla sempre
maggiore domanda del suo utilizzo da parte delle aziende. La seconda cosa è che
esiste un software simile a questo, Wwise della Audiokinetic e si comporta in
maniera analoga a quello da me scelto ai fini della presentazione, anch’esso
largamente utilizzato nell’industria videoludica. Il fine ultimo di questi programmi
è semplificare il lavoro di chi si occupa di sound design, riducendo i tempi di
implementazione.
47 Si intende un pacchetto di istruzioni e files che ampliano le funzionalità di un software
Figura 24: Scheda eventi di FMOD
54
6.3 Cosa si intende con implementazione?
Il titolo necessita di un secondo chiarimento: perché implementare? Un
videogioco o un’applicazione sono per la maggior parte righe di codice e fino ad
un po’ di anni fa si trattava di programmare manualmente tutto il comparto
audio, con pochi strumenti pre-costruiti. Oggi la tecnologia ci è venuta incontro,
rendendo la programmazione dell’evento sonoro più gestibile e pratica, ma è
comunque necessaria la conoscenza di linguaggi informatici per un’efficace
sonorizzazione. FMOD offre sia un’implementazione audio ad alto livello
attraverso FMOD Studio (Figura 9), programma simile ad una comune DAW48,
che a basso livello grazie alle API49.
Da grande amante del mondo Sci-Fi50 ho scelto un modello tridimensionale
formato da assets prefabbricati con sembianze di un’astronave o base spaziale,
lascio agli utenti finali la decisione di quale delle due si tratti. Il mondo virtuale 48 Una DAW (Digital Audio Workstation) è un sistema software progettato per la registrazione, l’editing e la
riproduzione dell’audio digitale.
49 Le API (Application programming interface) sono le librerie software disponibili in un certo linguaggio di programmazione.
50 Scientific Fiction è un’ espressione coniata da Hugo Gernsback nel 1926 e spesso abbreviata in Sci-Fi
Figura 25: FMOD Studio 1.08.04
55
inizialmente creato non presentava altro che corridoi e stanze vuote, nessun
evento automatizzato, suono o personaggio controllabile. La figura 6 è la visuale
dall’alto del complesso sonorizzato ed il cono che parte da in basso a destra
rappresenta il campo di visuale, in prima persona, che avremo durante
l’esperienza. Cercherò di essere il più chiaro possibile durante questa spiegazione
e per questa ragione dovrò alternare parti scritte in linguaggio C# a parti più ad
alto livello via FMOD Studio, con la loro successiva coesione in Unity.
6.4 Occhi ed orecchie
Il nostro protagonista non ha nome o storia, ma per certo ha occhi e orecchie. Se
andiamo ad aprire l’oggetto ‘Character’, contenuto all’interno della scheda
Hierarchy, scopriamo che è composto di sotto oggetti e notiamo subito quello
chiamato Camera. Questa è la nostra testa. Questo oggetto si comporta come una
telecamera, permette di fare zoom, applicare filtri, ruotare su se stessa e tante altre
cose programmabili a piacere. Al suo interno c’è uno script, legato al motore
audio di FMOD, che si chiama ‘Studio Listener’. Bene, queste sono le nostre
orecchie. Attraverso queste righe di codice potremo sentire qualsiasi fonte sonora
immetteremo all’interno dell’Engine. Di conseguenza essendo uno script legato
alla camera, se ci sposteremo all’interno del mondo, le nostre orecchie ci
seguiranno dando coerenza ai suoni e alla immagini; sembra una considerazione
banale, ma durante la programmazione nulla è tale e si possono commettere gli
errori più semplici senza rendersene conto.
6.5 Abbiamo un corpo
Come detto precedentemente l’oggetto ‘Camera’, ‘Studio Listener’ annesso, sono
figli dell’oggetto ‘Character’, il nostro corpo, al quale abbiamo legato lo script
‘RigidbodyFirstPersonController’ che ci permetterà di muoverci e saltare.
Quest’ultimo script è fondamentale e verrà analizzato attentamente poiché tutta
l’implementazione audio del personaggio è stata fatta al suo interno.
56
Dall’Inspector notiamo altre due cose riguardanti l’oggetto ‘Character’: ha un tag
‘Player’ assegnato, ovvero un nome utilizzabile in fase di programmazione per
fare, ad esempio, confronti con altri oggetti e presenta un ‘Capsule Collider’
(visibile nella figura 10), una struttura a forma di capsula che rappresenterà in
maniera approssimata lo spazio occupato dal nostro corpo e non ci permetterà di
attraversare le pareti, dandoci fisicità. Unity, come la maggior parte degli Engine,
utilizza librerie che si basano su fisica reale, in particolar modo rispettando la
gravità e l’accelerazione dei corpi. Per cui il nostro ‘Character’ quando si sposterà
lo farà rispettando le stesse regole, diciamo molto ben approssimate, del nostro
mondo.
Questo significa che quando noi premeremo il tasto per far avanzare il
personaggio controllato non staremo semplicemente facendo una trasformata
delle coordinate dell’oggetto, ma staremo mandando un impulso che andrà ad
accelerare il corpo. Maggiore è l’impulso, maggiore è la velocità ed il conseguente
tempo di decelerazione se lasciamo il tasto per correre. Queste nozioni sono
molto importanti perché da loro dipende la modalità con cui sonorizzeremo i
passi del personaggio. Non esiste mai un solo modo per raggiungere un obiettivo
Figura 26: Vista del Character
57
quando si programma, ma ci sono indubbiamente strade da evitare perché
potrebbero generare errori a catena (solitamente viene usata la parola ‘bug’
quando si parla di codice non funzionante).
6.6 Il suono dei passi (Sorgente con input utente)
La prima parte che affronterò, in merito alla sonorizzazione di questa VR51,
riguarda i passi del nostro personaggio. In Unity è tutto funzionante, abbiamo
una Camera che risponde alle direzioni in cui ci spostiamo, ma non sentiamo
nulla, il silenzio più assoluto. Il nostro obiettivo è creare un evento sonoro, una
struttura dinamica che si adatterà alle variabili della realtà virtuale, che potrà essere
lanciata e richiamata a piacere. FMOD si occupa proprio di questo ed è qui che
monteremo il nostro audio, precedentemente registrato ed editato, per dargli vita.
La figura 11 mostra gli eventi sonori che ho creato, divisi in cartelle per tipologia
o oggetto sonorizzato. In particolare questi sono i suoni che il nostro
protagonista emetterà o produrrà a seconda delle circostanze. Una volta creati in
FMOD i suoni saranno assegnati ad un banco che li contiene e, dopo averne
fatto una build (una trasformazione del codice sorgente in software eseguibile,
51 VR (Virtual Reality) è il termine per indicare una realtà simulata.
Figura 27: Lista eventi sonori in FMOD
58
tramite compilazione) ed un’esportazione dei GUIDs (un file testuale contenente
gli identificatori unici globali degli eventi sonori), importati in Unity. La figura 8
mostra la scheda ‘FMOD Events’ in Unity con i corrispettivi eventi ora
nell’Engine. Illustrerò ora il funzionamento dell’evento sonoro dei passi e come
questi sono interconnessi alla velocità del corpo del protagonista.
A prima vista la visuale può davvero sembrare uguale a qualsiasi altra DAW in
circolazione, se non fosse che quelle in blu non sono normali tracce audio e
sull’asse delle ascisse non abbiamo il tempo. Uno sotto l’altro troviamo differenti
contenitori: il primo, chiamato ‘Step’, contiene quelli che dovrebbero essere i
suoni della collisione del piede con il terreno, il secondo, ‘Metal’, contiene diversi
suoni metallici poiché le superfici dell’ambientazione sono di questo materiale, il
terzo, ‘Cloth’, ha al suo interno suoni di vestiti in movimento e il quarto,
nominato ‘Breath’, contiene il suono di respiri umani. Se andiamo a guardare
dentro a queste tracce blu, chiamate Multi Sound, notiamo che contengono molti
campioni audio e che vengono richiamati in modo casuale (il simbolo del dado
Figura 28: Evento sonoro dei passi del personaggio
59
suggerisce la funzione random52) e che questi si ripetono, in loop, fino a quando
l’applicazione non terminerà. Di conseguenza le tracce Multi Sound di ogni
categoria contengono svariati campioni di passi, suoni metallici e vestiti e questi
vengo lanciati quando noi camminiamo.
Perché scelti casualmente? Perché questo crea un’enorme varianza così da non
avere mai lo stesso suono, mantenendo però l’identità sonora. Come prima
anticipato, in alto non abbiamo la linea del tempo, non stiamo guardando secondi
o minuti, ma eventi. Sulle ascisse abbiamo i valori assumibili da un parametro da
noi creato, ovvero la velocità di spostamento del nostro personaggio. Se ne
deduce che maggior sarà il valore del parametro più ci staremo muovendo
velocemente, fino a correre. Ho fatto diverse prove per capire in che modo il
parametro della velocità cambiasse sulla base della mia interazione, giungendo alla
conclusione che dal valore di 80 in poi stavamo per entrare nel fase della corsa.
Per questa ragione da 80 ci sono altre tracce Multi Sound, contenenti i campioni
della corsa, e scompaiono in fade out quelle dei passi. Si aggiunge inoltre la traccia
del respiro durante la corsa, per creare maggiore immersione nel giocatore. Tutto
questo però non basta, se mi sto muovendo lentamente i miei passi non hanno lo
stesso volume in dB di quando sto correndo. Notiamo che le tracce hanno un
routing che le porta dentro ad una traccia Master, della quale possiamo regolare il
volume, appositamente automatizzato per incrementarsi sulla base della velocità
di spostamento. Quello che succederà a questo punto è che da fermi, il valore del 52 Termine inglese per definire un evento casuale
Figura 29: Audio contenuto all’interno di una traccia Multi Sound
60
parametro speed equivale a zero e il volume si trova a -∞ dB, quindi silenzio.
Quando iniziamo a muoverci il volume salirà gradualmente fino alla velocità
media di camminata che si aggira intorno al valore 60 di speed. Infine quando
correremo il valore arriverà in modo lineare fino a 180 con picchi di 200 dove
sentiremo i campioni della corsa ed il respiro molto più intensamente. Dopo aver
fatto la build e l’esportazione della GUID troveremo l’evento all’interno di Unity,
ma da solo il motore non può fare una correlazione tra questo e il fatto che
quando ci spostiamo vogliamo udire il suono dei passi; questa nozione ancora
non è scritta da nessuna parte. Mostrerò quindi l’implementazione via codice C#
di questo evento, evidenziando solo le parti di maggiore rilievo data la lunghezza
dello script. Senza entrare troppo nei concetti più complessi della
programmazione è però importante mostrare il funzionamento base di uno script,
da cui dipende una parte della logica di implementazione.
Il cuore di uno script si alterna fra un blocco chiamato Start ed uno chiamato
Update. I due blocchi sono quello che in un linguaggio di programmazione
chiamiamo metodi, ovvero delle funzioni che compiono delle operazioni (il
codice al loro interno). Nel metodo Start() è necessario creare ed inizializzare
(applicare un valore di partenza) tutte le variabili53 che vogliamo dichiarare, come
53 Un insieme di dati modificabili situati in una o più porzioni di memoria, destinate a contenere dati.
Figura 30: Script in Unity
61
ad esempio il parametro di speed di cui abbiamo parlato prima. Nel metodo
Update() inseriamo invece tutte le operazioni che devono essere effettuate in
tempo reale. Il metodo Start() verrà letto una sola volta all’inizio
dell’applicazione, caricando nella RAM54 del computer tutti i dati, mentre quello
Update() verrà controllato in modo ciclico alla velocità di calcolo degli FPS.
Iniziamo a creare tutte le variabili necessarie a far comunicare FMOD con Unity,
inizializzando l’evento camminata e collegandolo al parametro speed nel metodo
Start(). Per prima cosa dobbiamo salvare il percorso del file dell’evento sonoro
footsteps in una variabile chiamata sound_footsteps in questa maniera:
private string sound_footsteps = "event:/Character/Footsteps";
Ogni volta che vorremo far riferimento alla posizione dell’evento sonoro della
camminata ci basterà richiamare sound_footsteps senza dover riscrivere il
percorso. Nel caso dei passi si tratta di un suono che ci sarà per tutta la durata
dell’esperienza virtuale, questo necessita che venga dichiarato un evento audio
dedicato a questo processo:
private FMOD.Studio.EventInstance AE_walking;
AE_walking rappresenterà l’evento della nostra camminata all’interno di Unity ed
il parametro speed verrà dichiarato in questo modo:
private FMOD.Studio.ParameterInstance speed;
Ora abbiamo solo dichiarato al motore grafico che abbiamo bisogno di queste
variabili e andremo a riempirle con un contenuto nel metodo Start(). La prima
cosa necessaria è riempire il contenitore di eventi AE_walking, per ora ancora
54 Random Access Memory, memoria volatile caratterizzata dal permettere l’accesso diretto a qualunque
indirizzo di memoria con lo stesso tempo di accesso.
62
vuoto, con la camminata costruita in FMOD, utilizzando il percorso salvato in
sound_footsteps:
AE_walking = FMODUnity.RuntimeManager.CreateInstance(sound_footsteps);
e avviarlo fin da subito con l’operazione .start(), in modo che appena l’utente
potrà muoversi avrà da subito il suono dei passi:
AE_walking.start();
Successivamente dobbiamo controllare che Unity trovi il parametro speed che
abbiamo creato all’interno dell’evento footsteps con il seguente comando:
AE_walking.getParameter ("speed", out speed) != FMOD.RESULT.OK
In caso negativo lanceremo un errore attraverso la console di Unity, altrimenti
vuol dire che tutto è stato fatto correttamente e che al variare di speed l’audio si
trasformerà come progettato. Come Start() e Update() esistono anche altri
metodi, uno di vitale importanza al fine di evitare spreco di risorse55 quando non
più utilizzate è OnDestroy(), il quale esegue operazioni quando l’oggetto sul quale
stiamo lavorando viene distrutto. È necessario distruggere ogni evento audio
insieme al contenitore quando inutilizzati e lo si fa con questa funzione:
AE_walking.release();
L’implementazione della camminata è vicina ad essere conclusa, non ci resta che
passare il valore della velocità al nostro parametro speed, per farlo ci spostiamo
dentro al blocco dell’Update() poiché vogliamo che questo controllo avvenga
55 In informatica si parla di Memory Leak, perdita o fuoriuscita di memoria, quando incontriamo un
particolare consumo non voluto di memoria dovuto alla mancata deallocazione delle variabili non più utilizzate.
63
costantemente e creiamo una variabile chiamata parameter in cui andiamo a
salvare il valore ricercato:
public float parameter = m_RigidBody.velocity.sqrMagnitude;
e lo passiamo come argomento al nostro evento AE_walking:
AE_walking.setParameterValue ("speed", parameter);
Ora mancano ancora delle operazioni per migliorare le transazioni fra lo stato in
cui il corpo è fermo e quando è in movimento, per cui sotto una certa soglia del
parametro i campioni audio verranno smussati con un fade out disattivando
l’evento, mentre al di sopra verrà riattivato. L’evento viene fermato senza
troncare l’audio con il seguente comando:
AE_walking.stop (FMOD.Studio.STOP_MODE.ALLOWFADEOUT);
Quindi quando sposteremo il nostro personaggio, ad un suo movimento
corrisponderà il suono di un passo o di una corsa, tutto in modo dinamico
rispetto all’input dell’utente. Adesso bisogna aggiungere i suoni come i salti, le
cadute, il fiatone dopo la corsa, la voce e l’accensione di una torcia per illuminare
gli ambienti. Se non abbiamo bisogno di creare un ponte fra un parametro di
FMOD e Unity allora le cose sono un po’ diverse, non necessitiamo di creare
un’istanza dell’evento, ci basta decidere di lanciarlo e poi dimenticarcene. Al suo
termine questo verrà interrotto automaticamente fino al prossimo utilizzo. Ho
adottato questa meccanica per i suoni del salto e della caduta ad esempio. Sono
entrambi costruiti con delle tracce Multi Sound: il salto contiene suoni di vestiti,
altri che ricordano uno spostamento d’aria e una voce sotto sforzo, mentre la
caduta non presenta lo sforzo vocale ma aggiunge la collisione dei piedi con il
terreno, suoni con timbro metallico data la natura del suolo ed una vibrazione di
una lastra anch’essa metallica; ogni volta che l’utente premerà il tasto per saltare
64
verrà fatto partire un campione audio casuale da ogni traccia, lo stesso vale per il
ritorno sul pavimento. L’implementazione di questo evento cambia rispetto alla
precedente, verrà sempre dichiarato il percorso:
private string sound_jump = "event:/Character/Jump";
ma lanciato direttamente in Update(), dove il codice di controllo del ‘Character’
indica il cambio di stato a salto, ovvero quando la variabile m_Jump diventa vera,
con il comando:
FMODUnity.RuntimeManager.PlayOneShot (sound_jump, transform.position);
Si può notare che il metodo PlayOneShot() necessita di due argomenti: il primo
è il percorso dell’evento sonoro, il secondo dichiara che il suono deve essere
eseguito nella posizione in cui si trova il la sorgente sonora, niente meno che il
personaggio che stiamo controllando. Tutti i suoni del protagonista, avendo
sorgente sonora nella stessa coordinata dello ‘Studio Listener’ (le nostre orecchie)
non necessitano di una tridimensionalità. Va anche considerato il fatto che se si
utilizzano visori per realtà virtuali, come l’Oculus Rift56, potremmo allora voler
sfruttare differenti tecniche audio per un maggiore realismo.
6.7 Il suono di un computer (Sorgente senza input utente)
Non tutti i suoni possono comportarsi come quelli del protagonista, poiché non
tutti sono emessi da noi e quindi si troveranno a diverse distanze. In tutte le
ambientazioni di tipo Sci-Fi ci sono dei computer e qua non potevano mancare
per alcuna ragione. Il prossimo suono che illustrerò e quello di un computer, del
suo campo d’azione in qualità di sorgente sonora ed i diversi comportamenti che
ho programmato per renderlo realistico.
56 È un HMD (Head-Mounted Display), uno schermo da indossare sul viso per vedere VR in prima persona,
dalle caratteristiche di bassa latenza e ampio campo di visuale.
65
Dentro ad FMOD notiamo di nuovo tracce Multi Sound insieme a tracce Single
Sound (la prima e la quarta traccia), tutte le quattro tracce sono messe in loop
dall’inizio dell’evento fino alla fine, ma si può notare che questa volta stiamo
utilizzando una scheda con la Timeline. Il motivo è legato al fatto che non ci
interessa creare una stretta correlazione fra il parametro della distanza dall’oggetto
(visibile in alto) e una sua precisa posizione temporale con l’evento sonoro.
Quello che ci interessa è che il computer abbia il suono il più possibile vario e che
a seconda della nostra distanza si modifichi la sua percezione. Le tracce audio
Multi Sound contengono anche qua svariati campioni riprodotti in modo casuale,
mentre la prima e la quarta traccia contengono una, un pattern di base per tutti i
computer, l’altra un suono con funzione di texture per dare un timbro differente.
L’aspetto interessante per dare ulteriore diversità ai suoni è introdurre
modulazioni ai parametri dell’intonazione o del volume.
Figura 31: Evento sonoro per un computer
Figura 32: Modulazione casuale dell’intonazione
66
Nel caso della figura 15 ho applicato una modulazione di 1.20 semitoni rispetto
all’intonazione complessiva del campione audio, ogni ripetizione avrà
un’intonazione casuale tra -1.20 st e +1.20 st. Tutte le tracce dell’evento computer
presentano modulazioni di intonazione in modo da creare suoni per questi
sempre differenti.
Quando entreremo in contatto con la sorgente sonora andremo ad influenzare il
parametro della distanza. Sulla traccia mixer di ogni evento è presente un
dispositivo per la gestione della tridimensionalità della sorgente audio: il 3D
Panner.
Fra i diversi parametri che offre abbiamo la possibilità di impostare la curva di
decadimento del volume dal centro della sorgente sonora e il valore minimo e
massimo delle dimensioni del campo sonoro sferico.
Figura 33: 3D Panner
Figura 34: Campo sonoro di un evento audio
67
Nella figura 17 si vede il campo sonoro di una sorgente audio e come il suo
effetto si applichi in modo sferico intorno ad esso. Per dare un effetto di realismo
il solo decadere di volume della sorgente sonora non è sufficiente, per cui
l’automazione che ho inserito attiva un filtro passabasse che filtra le frequenze più
acute man mano che ci allontaniamo dall’epicentro, dando un effetto ovattato dei
suoni più distanti. La distanza è rappresentata in metri, misura che tiene conto
delle dimensioni del personaggio controllato la cui altezza, nel nostro caso, è di
circa 1 metro e 80 centimetri. Dalla figura 18 notiamo appunto come a 1 metro
dalla fonte possiamo apprezzare l’intero spettro sonoro fino a non percepire
quasi più nulla, se non frequenze basse, a 18 metri dalla fonte.
Gli eventi audio posizionati direttamente dentro alla realtà virtuale vanno
impostati in modo da attivarsi in un dato istante, può essere all’inizio
dell’esperienza di gioco o a causa di un’interazione con esso. Nel caso del
computer vogliamo che esista fin da subito, per cui ho impostato, nello script
‘Studio Event Emitter’ della sorgente sonora, il valore della variabile ‘Play Event’
su ‘Level Start’.
6.8 The Thing (Sorgente senza input utente in movimento)
Un altro oggetto sonoro simile al comportamente del computer è una sorgente,
dal nome ‘CrawlingThing’, posizionata nel corridoio principale, sopra al nostro
Figura 35: Automazione di un filtro Lowpass legata alla distanza
68
personaggio. In modo analogo al precedente suono anch’esso si attiverà all’inizio
della sessione di gioco, ma non starà fermo,si sposterà lungo la direzione del
corridoio per poi tornare indietro. Si tratta di un suono di passi rumorosi e
distanti con l’intento di creare suspense e allarmare il giocatore, senza un effettivo
riscontro visivo.
6.9 Il suono di una porta (Sorgente con trigger)
Ci sono però circostanze in cui vogliamo sia il giocatore ad attivare delle
operazioni ed i suoni collegati, ad esempio nel caso dell’apertura di una porta.
All’interno dell’ambiente virtuale ci sono tre porte piccole ed un portellone
grande. Gli oggetti hanno attaccati degli script che ne regolano l’animazione,
facendo scorrere la porta sull’asse corretto quando ne siamo in prossimità. Come
fa la porta a sapere che siamo vicini ad essa? La risposta si chiama Trigger, un
contenitore vuoto e trasparente che quando percepisce una collisione con un
altro oggetto ci permette di descrivere delle operazioni. Ogni porta presenta al
suo interno un sotto oggetto di tipo trigger e quando percepirà un collisione con
noi, per meglio dire con il tag ‘Player’ del ‘RigidBodyFPSController’, lancerà il
metodo di apertura.
Figura 36: Trigger per l’apertura di una porta
69
Analizzando il codice si nota che il processo si divide in due scripts , uno legato al
trigger ed un alla porta stessa. Oltre ai metodi presentati precedentemente
(Start(), Update() e OnDestroy()) ne vanno introdotti altri due:
OnTriggerEnter() e OnTriggerExit(). Questi metodi si occupano di identificare
le collisioni con altri collider e lanciano operazioni quando un corpo entra dentro
al trigger o quando esce da esso. La porta lancerà quindi l’operazione di apertura
o chiusura se viene soddisfatta la condizione di presenza del giocatore nel trigger
di essa, con questi comandi:
void OnTriggerEnter( Collider other ){if( other.tag == "Player" ){doors.Open();}}
void OnTriggerExit( Collider other ){if( other.tag == "Player" ){doors.Close();}}
All’interno dello script della porta si può vedere inoltre che questa può trovarsi in
quattro stati diversi: quando la variabile private int state equivale a zero la porta è
chiusa, se assume il valore 1 la porta si sta aprendo, al valore 2 è completamente
aperta e a 3 si sta richiudendo. Il lancio degli eventi audio deve perciò avvenire
all’interno dei metodi Open() e Close() della classe doors e nelle diverse condizioni
di stato della porta. In particolar modo il comando:
FMODUnity.RuntimeManager.PlayOneShot (sound_doorOpen, transform.position);
verrà lanciato all’interno di doors.Open() e doors.Close(), mentre:
FMODUnity.RuntimeManager.PlayOneShot (sound_doorClose, transform.position);
all’interno di condizionali legati al valore zero e 2 della variabile state, con l’ausilio
di una variabile flag57 di tipo boolean. Posizionare il lancio di questi eventi in un
qualsiasi altro punto non funzionerà generando un loop infinito del suono di
apertura o di chiusura della porta.
57 Variabile che può assumere solo due stati, vero o falso, e che segnale se un evento è avvenuto o meno.
70
6.10 Eventi musicali
Sono presenti altri triggers nella scena e si occupano di cambiare una variabile che
andrà ad influenzare alcuni pattern musicali di sottofondo. L’intenzione è quella
di mostrare come è possibile gestire delle transazioni tra blocchi audio all’interno
di un evento in FMOD creando delle logiche richiamabili in Unity. Per
raggiungere questo obiettivo ho creato un evento in FMOD chiamato music e
lavorato sulla scheda timeline, dove ho posizionato quattro blocchi contenenti
SFX58 o musiche. Ognuno di questi blocchi è in loop e riprodurrà il suo
contenuto finché le condizioni che l’hanno portato ad essere lanciato non
muteranno. L’evento ha un parametro chiamato ‘Transition’ che ci permetterà di
spostarci da un gruppo all’altro e lo faremo senza troncare l’audio tra una
transazione e l’altra.
All’inizio della timeline ho impostato un marker59 con il BPM60 a 120 ed il metro
in 4/4, questo permetterà di spostarci da un blocco all’altro senza saltare a metà
di una battuta o figura musicale. Com’è possibile vedere dalla figura 20, sulla
58 SFX è l’abbreviazione inglese di Sound Effects.
59 Un marcatore che evidenzia una precisa posizione su di un asse, in questo caso quello del tempo.
60 Battiti per minuto, l’unità di misura di frequenza utilizzata per l’indicazione metronomica.
Figura 37: Evento musicale
71
stessa linea del marker dei BPM troviamo quattro gruppi blu; sono i blocchi
musicali che verranno riprodotti in loop e nei quali giungeremo modificando il
valore di ‘Transition’. Sotto a questi marker blu, sempre nella sezione delle tracce
logiche, abbiamo altri marker di colore grigio. Questi sono i nostri punti di
partenza o arrivo a cui giungeremo sulla base della logica che forniremo all’ultimo
tipo di marker, la Transition Region di colore verde contenuta nell’area in loop.
Il compito di una Transition Region è portare il cursore di riproduzione, dopo
una variazione di parametri, ad un determinato marker. Nella figura 21 vediamo
che quando il valore del parametro transition sarà un numero tra 0.20 e 0.29
allora avverrà un salto in una nuova regione. Ogni regione in loop può avere più
destinazioni, spetta a noi decidere in che modo far proseguire l’audio. Sempre
dalla figura 21 si può notare la presenza di un pannello dal nome ‘Quantization
Interval’ dal quale impostare la griglia per l’intervallo di quantizzazione,
garantendo maggiore coerenza musicale. I marker di partenza e arrivo non si
trovano all’interno delle regioni in loop, questo per disegnare una zona di
transizione fra due regioni distinte, dove applicheremo crossfade o altri effetti se
necessario; in questo caso oltre al crossfade ho applicato un’automazione sul
parametro wet di un delay e su quello mix di un flanger, presenti sulla traccia
master, per dare un effetto di miscela distorta fra un blocco e l’altro. All’interno di
Unity l’implementazione funziona in modo ibrido fra la creazione di un’istanza di
un evento sonoro, compreso il collegamento del parametro Transition in FMOD,
Figura 38: Operatore logico della Transition Region
72
come per i passi del personaggio, e l’attivazione e modifica di questo attraverso
trigger nella scena, come per l’apertura di una porta. Questo ci porterà ad avere le
corrispettive nuove variabili per il percorso dell’evento:
private string music = "event:/Music/Music";
per l’evento sonoro:
static FMOD.Studio.EventInstance AE_music;
e per il parametro Transition:
static FMOD.Studio.ParameterInstance transition;
permettendoci di impostare il valore di quest’ultimo, attraverso una variabile
temporanea transitionValue, ogni volta che usciremo dal trigger, con il comando:
AE_music.setParameterValue ("Transition", transitionValue);
Per la presentazione del lavoro di tesi i trigger sono stati impostati in modo da
essere attivati un modo sequenziale facendo saltare la riproduzione dal marker
‘Start’ a quello ‘Music 1’, poi a quello ‘Music 2’ ed il successivo ‘Music 3’ per
concludere con ‘End’.
6.11 Il riverbero degli ambienti
Per creare una realtà virtuale e farla sembrare vera, o per lo meno credibile,
manca ancora un elemento fondamentale, la riverberazione delle diverse sorgenti
sonore. Siamo in un ambiente che presenta stanze di piccole dimensioni, alcuni
lunghi corridoi, area di dimensioni intermedie in cui si intrecciano altri corridoi ed
una stanza di notevoli dimensioni. Senza dimenticare che ogni ambiente è sempre
caratterizzato dalla presenza di metallo per la natura delle sue parti costruttive. In
FMOD possiamo ovviamente utilizzare un normale riverbero, ma questo non
73
basterebbe a farci immergere all’interno dell’esperienza, per cui ho utilizzato un
riverbero a convoluzione61, per esattezza tre riverberi a convoluzione, con diversi
impulsi di stanze e di diverse dimensioni.
Questo mi ha permesso di disegnare dei riverberi adatti il più possibile a ciò che
l’utente vedrà durante l’esperienza finale. Il meccanismo con cui le tracce audio
dei miei eventi vengono riverberate è analogo al processo che avviene durante il
missaggio di un brano musicale: attraverso una mandata dalla traccia master di
ogni evento porto il segnale nella traccia ausiliaria su cui sono caricati i riverberi e
regolo il volume in dB di questo in base all’ambiente in cui si trova la telecamera.
6.12 Snapshots, fotografie alle stanze
Quello che nel mondo reale accade è che la riverberazione di un ambiente cambia
sulla base delle dimensioni dell’ambiente e dei materiali presenti in esso, motivo
per cui anche nel mondo virtuale ricreato avremo bisogno che, a seconda della
posizione del personaggio, sia presente o meno un determinato riverbero. Questo
è possibile in FMOD sfruttando una tecnica chiamata Snapshot. Si tratta di una
“fotografia” dei parametri di un determinato dispositivo, in particolar modo ora
mi riferisco ai parametri dei riverberi a convoluzione sulla traccia ausiliaria del
riverbero. Questo mi permette perciò di poter impostare i valori in differenti
modi e salvare ogni configurazione in un diverso snapshot. Più avanti tratterò
61 Si tratta di una particolare tipologia di simulazione dell’acustica ambientale che utilizza campioni impulso-
risposta al posto di algoritmi matematici.
Figura 39: Riverbero a convoluzione
74
delle modalità di mixaggio audio per un progetto di questo tipo, ma ci tengo a
precisare che FMOD ha al suo interno un vero e proprio mixer che ci permette
di automatizzare e salvare in snapshot praticamente qualsiasi parametro.
Ho creato per il progetto di tesi 4 differenti snapshot: uno per le stanze di piccole
dimensioni dal nome ‘SmallReverb’, uno per gli ambienti più grandi che portano
ad altri spazi chiamato ‘MediumReverb’, uno con un decay molto lungo per una
stanza di dimensioni notevoli chiamato ‘LongReverb’ ed infine un
‘TunnelReverb’ per i corridoi che comunicano tra le diverse aree. Ogni riverbero
è dato dalla differente miscela dei tre riverberi a convoluzione, contenenti: un
Figura 40: Snapshots
Figura 41: Snapshots applicati in Unity
75
impulso di una stanza di piccole dimensioni, dal timbro scuro, con all’interno
tubature ed un tappeto, un impulso di una stanza di grandi dimensioni con tempi
di smorzamento del riverbero moderati ed un impulso di un corridoio con un
leggero eco. All’interno di Unity gli snapshot si comportano come tutti gli altri
eventi sonori, ma il loro campo d’azione non è sferico, ma rettangolare. Questo è
dato dal fatto che il principio su cui si basano è simile a quello dei trigger:
controllano quando lo ‘Studio Listener’ si trova al loro interno e attivano le
impostazioni corrette per il riverbero. Si è tratto quindi di effettuare una
mappatura delle stanze e dei corridori con gli snapshot creati, dalla figura 24 si
vede la somiglianza visiva con i trigger. A questo punto quando ci spostiamo
all’interno della struttura sentiamo i suoni dei nostri movimenti, il volume in dB e
lo spettro sonoro udibile che variano a seconda della distanza dalle sorgenti
sonore e la riverberazione a seconda della stanza in cui ci troviamo. Sono
riverberati tutti i suoni tranne gli eventi ‘Music’ e ‘Ambient_01’, che
presenteranno i loro effetti sulle tracce interne, ma non l’integrazione con il tipo
di stanza. In particolar modo ‘Ambient_01’ crea un tappeto di suoni a basso
volume in modo tale da non avere mai il silenzio totale, questa cosa avviene
anche nel cinema. Possono essere comunque interessanti scelte stilistiche in cui,
ad esempio, le musiche cambino insieme alla narrazione, immaginiamo la scena in
cui una musica dal piano non-diegetico entri in quello diegetico potendola udire
da una radio su un tavolo, in quel caso allora riverbereremo anch’essa secondo il
tipo di stanza.
6.13 Altri suoni presenti in scena
Le meccaniche di implementazione e sonorizzazione degli altri oggetti presenti si
basano su quelle finora illustrate. Simili alla meccanica dell’evento ‘Computer’
troviamo, nella stessa directory anche gli eventi ‘Monitor’ e ‘Robot’, il primo
applicato a diversi displays sparsi nell’area ed il secondo a delle strutture simili ad
armadietti nelle stanze in cui sono presenti i computers. La logica è analoga anche
76
per gli eventi nella directory ‘Ambient’, dove ‘Ambient_01’, ‘Electricity’, ‘Fan_01’,
‘Gas’ e ‘Noise_01’ hanno lo scopo di ricreare l’ambiente udibile in una struttura di
tipo Sci-fi, come io l’ho immaginata. Ho inoltre inserito dei suoni di tipo più
musicale con funzione di SFX e li ho chiamati ‘MusicalTexure’. In due punti sono
presenti dei grandi display con un’illuminazione intensa e qui, oltre ad un suono
di corrente elettrica, ho inserito anche l’evento ‘Text_01’. Ci sono altre stanze in
cui assieme ai precedenti suoni potremo sentire anche texture di tipo più
musicale, in questo caso riverberate con la stanza. Unire suoni inarmonici o non
intonati con altri più musicali ritengo migliori significativamente la nostra
esperienza con gli oggetti, dando sia un senso fisico al corpo, che un miglior
senso estetico. Molte volte queste informazioni passano inosservate all’utente, ma
indubbiamente arricchiscono la sua esperienza.
6.14 Il mixaggio
L’ultima parte dell’implementazione riguarda il metodo di mixaggio di tutte le
fonti sonore. Non lavorando con materiale lineare ci sono diverse complicazioni,
il progetto deve essere avviato per fare in modo che avvengano le interazioni con
gli oggetti e serve una piattaforma simile ad un mixer che ci permetta in tempo
reale di modificare i volumi a seconda delle esigenze. Come precedentemente
accennato FMOD ha un suo mixer interno, lo stesso attraverso il quale avviene
tutto il routing audio presentato nelle fasi di creazione degli eventi. Abbiamo sia
la possibilità di raggruppare gli eventi audio creati in tracce gruppo,
visualizzabili nella schermata mixer insieme alle mandate, che visualizzare i
singoli bus. È ovviamente possibile applicare effetti a tutte le tracce, dai delay ai
compressori, per creare situazioni il più possibile dettagliate e percettivamente
corrette. Le attenzioni da avere sono in parte analoghe a quelle per i mixaggi
cinematografici. Ad esempio evidenziare le sorgenti sonori di maggior
importanza catturando l’attenzione dell’utente, evitare ogni sorta di distorsione
77
e clip audio, rendere omogeneo ed intellegibile lo spettro sonoro evitando di
inserire troppi suoni nello stesso punto con energia sulle stesse frequenze e in
caso agire sul mix riequalizzando le fonti sono solo alcune delle accortezze da
considerare e di cui discutere con l’eventuale game designer o level designer. Il
tutto considerando la complessità data dal dover attivare gli eventi ed intanto
mixarli, poiché l’interazione con la realtà virtuale distorce inevitabilmente la
nostra percezione dell’audio portando il mix ad avere caratteristiche di vario
genere a seconda del posizionamento della telecamera e del tipo di gameplay (ad
esempio se in prima o terza persona).
Per poter fare il mixaggio audio dobbiamo creare un ponte fra FMOD e Unity,
Figura 42: Scheda Mixer di FMOD
Figura 43: Connessione via Live Update
78
facendo comunicare i due attraverso l’indirizzo IP62 interno di localhost
127.0.0.1. La funzionalità che permette la comunicazione tra i due softwares si
chiama Live Update e grazie a questa potremo visualizzare nella scheda del
mixer tutti i diversi canali audio attivi mentre la VR sarà in funzione.
Tendenzialmente il mixaggio è una fase gestibile anche da soli, possiamo creare
un’automazione del personaggio in movimento per monitorare il mixer senza
doverci distrarre e spostare nuovamente la camera, anche se avere un tester
disponibile a provare l’esperienza mentre ci occupiamo del mixaggio è sempre
un’alternativa migliore. Come il cinema, anche l’audio per videogiochi è, ove vi
siano dialoghi, verbocentrico e l’intellegibilità delle parole ha la supremazia su
tutto il resto dell’audio. In questo lavoro ho cercato di curare il livello sonoro
trovando il volume più corretto quando ci si trova in prossimità della sorgente
sonora. Con questo valore ho poi scelto la dimensione del campo della fonte e
la sua curva di decadimento sulla base della distanza della camera. Ho lavorato
in una fase preliminare sul mixaggio dei singoli eventi e dopo l’implementazione
ho sfruttato il mixer per rilevare possibili clip o momenti pochi nitidi dell’audio
in esecuzione. Avendo creato dei gruppi audio posso andare ad abbassare o
incrementare il volume di un‘intera classe di oggetti racchiusa in uno di questi,
ad esempio il personaggio controllato. Dopo averne regolato le singole funzioni
possiamo andare a modificarlo dallo slider del volume sul mixer, se necessario
anche automatizzarlo sulla base di scelte di game design.
6.15 Il potenziale
Ci troviamo di fronte ad un universo sconfinato di possibilità, dove nascono
ibridi di tecniche e, spesso, sperimentare risulta essere l’unica strada per trovare
soluzioni creative a qualcosa che oggigiorno, mi riferisco al mondo delle VR,
può creare e stupire in nuovi modi dove, forse, i media lineari non riescono più.
62 Internet Protocol Address, un’etichetta numerica che identifica univocamente un dispositivo, detto host,
collegato ad una rete informatica.
79
È un dato di fatto che il mondo della cinematografia che fa uso di effetti
speciali non susciti più la stessa magia di anche solo qualche anno fa. Se
prendiamo il genere horror questo ha avuto il suo massimo apice tra gli anni 70
e gli anni 80, dove film come “L’Esorcista” hanno sconvolto l’intero pianeta,
guadagnandosi addirittura la censura in certi stati. Eppure oggi la maggior parte
delle persone non ci troverebbe più nulla di terrificante i questi film. Prendiamo
gli stessi contenuti e mettiamoli dentro ad un videogioco in prima persona,
l’effetto sarà moltiplicato per infinite volte. Un titolo dal nome “Outlast” ha
letteralmente sconvolto i suoi giocatori per le scene di suspense e l’audio
suggestivo, dove gli elementi sono esattamente gli stessi di un film come
“REC”; si parla di mocumentari girati in prima persona che voglio convincere
lo spettatore dell’esistenza di fatti inventati, una tecnica molto diffusa in certi
generi cinematografici moderni. Non solo il genere Thriller ed Horror hanno
avuto una rapida evoluzione nel mondo delle VR, ma qualsiasi altro genere può
essere raccontato e vissuto intensamente. Grazie a tecnologie di tipo HMD e
l’audio binaurale63, l’immedesimazione dell’utente, che ha potere decisionale sul
personaggio, diventa quasi totale. Un nuovo modo di vivere esperienze narrate
che ci porta oltre la poltrona sulla quale siamo seduti, direttamente dentro allo
schermo, noi siamo i protagonisti e possiamo non voler fare una certa scelta,
ma influenzare la narrazione verso altre strade. Qua possiamo decidere, spetta a
noi.
63 È un metodo di registrazione o simulazione tridimensionale del suono che ha il fine di ottimizzare la
registrazione per il suo ascolto in cuffia, riproducendo fedelmente le percezioni acustiche di un ascoltatore di fronte all’evento sonoro.
80
BIBLIOGRAFIA
Karen Collins. An Introduction to the History, Theory, and Practice of Video Game Music and Sound Design. Massachusetts Institute of Technology, 2008.
Richard van Tol, Sander Huiberts. IEZA: A Framework For Game Audio. Gamasutra Audio, 2008.
Alessandro Cecchi. Diegetic versus nondiegetic: a reconsideration of the conceptual opposition as a contribution to the theory of audiovision. Università degli Studi di Siena, 2010.
Michel Chion. L’audiovisione, suono e immagine nel cinema. Lindau, 2001. G.W. Childs IV. Creating Music and Sound for Games. Thomson Course Technology
PTR, 2007. Joshua Noble. Programming Interactivity. O’Reilly, 2012. Aaron Marks. The Complete Guide to Game Audio. Elsevier, 2009. Tushar Chouhan, Ankit Panse, Smitha K. G. , A. P. Vinod. A Comparative Study on
the Effect of Audio and Visual Stimuli for Enhancing Attention and Memory in Brain Computer Interface System. National Institute of Technology Calicut and Nanyang Technological University, 2015.
Ulf Wilhelmsson, Jacob Wallen. A Combined Model for the Structuring of Computer Game Audio. IGI Global, 2011.
Stuart Cunningham, Vic Grout & Richard Hebblewhite. Computer Game Audio:The Unappreciated Scholar of the Half-Life Generation. Centre for Applied Internet Research (CAIR), University of Wales.
Kristine Jørgensen. Time for New Terminology? Diegetic and not-Diegetic Sounds in Computer Games Revisited. University of Bergen, 2010.
Karen Collins. An Introduction to the Participatory and Non-Linear Aspects of Video Games Audio. University of Waterloo, 2016.
Gregory Moore. The Effect of Sound on the User Experience of Playing a Video Game. Worchester Polytechnic Institute, 2013.
Oana Balan, Alin Moldoveanu and Florica Moldoveanu. Navigational audio games: an effective approach toward improving spatial contextual learning for blind people. Polytechnic University of Bucharest, 2015.
Thimoty Barbieri. Tecnologie informatiche di supporto a disabili per la navigazione e l’apprendimento. Politecnico di Milano, 2002.
88
GLOSSARIO
Avatar Immagine o identità tridimensionale scelta per rappresentare la propria utenza in comunità virtuali, luoghi di aggregazione, discussione, o di gioco online.
Controller Il controller è un dispositivo plug-in usato per fornire l'input utente. Un controller è tipicamente connesso a una console o a un computer da un cavo o da una connessione senza fili. La funzione principale di un controller è di governare un movimento/azione di un corpo/oggetto giocabile o comunque influenzato da eventi.
Diegetico L’insieme degli elementi audio riconducibili agli eventi presenti nel mondo scenico, come ad esempio il suono dei passi. Con non-diegetico si intendono i suoni non appartenenti alla realtà visibile allo spettatore, ne sono un esempio le musiche.
Feedback È un termine tecnico nato nell’ambiente degli studi relativi al funzionamento dei sistemi omeostatici, in grado cioè di mantenere un certo status nonostante sollecitazioni contrarie; associa indissolubilmente l’idea di ritorno di informazione a quella di controllo sul sistema.
Foley È una delle figure professionali del settore audiovisivo, specializzata nel creare e registrare gli effetti sonori e può essere un artista, un tecnico specializzato nel mixaggio del suono, o un montatore degli effetti sonori.
FPS Con il termine si intende sia la frequenza dei fotogrammi, ovvero la frequenza di cattura o riproduzione dei fotogrammi che compongono un filmato, che il genere videoludico “First person shooter”, sparatutto che adottano una visuale soggettiva diretta in prima persona
Gameplay È una caratteristica dei videogiochi che rappresenta la qualità dell'esperienza dell'interazione del giocatore con il gioco. Viene usato anche come sinonimo di giocabilità, ma il gameplay è un concetto più ampio che comprende anche la trama del gioco e tutto ciò che coinvolge il giocatore.
Graphic Engine Il motore grafico è il nucleo software di un videogioco o di qualsiasi altra applicazione con grafica in tempo reale. Esso fornisce le tecnologie di base, semplifica lo sviluppo, e spesso permette al gioco di funzionare su piattaforme differenti come le console o sistemi operativi per personal computer. La funzionalità di base fornita tipicamente da un motore grafico include un
89
motore di rendering per grafica 2D e 3D, un motore fisico o rilevatore di collisioni, suono, scripting, animazioni, intelligenza artificiale, networking, e scene-graph.
HUD Termine usato nel mondo dei videogiochi per indicare le informazioni costantemente visibili durante il gioco in sovraimpressione.
IDE In informatica un ambiente di sviluppo integrato (in lingua inglese integrated development environment ovvero IDE, anche integrated design environment o integrated debugging environment, rispettivamente ambiente integrato di progettazione e ambiente integrato di debugging) è un software che, in fase di programmazione, aiuta i programmatori nello sviluppo del codice sorgente di un programma. Spesso l'IDE aiuta lo sviluppatore segnalando errori di sintassi del codice direttamente in fase di scrittura, oltre a tutta una serie di strumenti e funzionalità di supporto alla fase di sviluppo e debugging.
Interazione È un fenomeno o processo in cui due o più oggetti (agenti o sistemi) agiscono uno sull'altro. Nel concetto di interazione è essenziale l'idea di azione bidirezionale, il che la distingue dalla relazione causa-effetto. Inoltre l'interazione è presente in alcune forme di comunicazione e nel comando, o nella guida, di macchinari.
Realtà virtuale In inglese virtual reality, abbreviato VR, è il termine utilizzato per indicare una realtà simulata.
Sound Design Si intende il processo di acquisizione, manipolazione e generazione di elementi audio. È impiegato in una varietà di discipline tra cui il cinema, la produzione televisiva, il teatro, le performance dal vivo, la sound art, la post-produzione, la radio ed i videogiochi.
Storytelling È l'atto del narrare, disciplina che usa i principi della retorica e della narratologia. Vi sono uno storytelling letterario, uno storytelling audiovisivo, ed uno anche solo verbale.
Texture Immagine di qualsiasi tipo utilizzata per rivestire la superficie di un oggetto virtuale, tridimensionale o bidimensionale. Il termine viene utilizzato anche per definire una struttura che si ripropone, sempre con le stesse caratteristiche, caratterizzando un ambiente.
Trigger Nelle basi di dati, è una procedura che viene eseguita in maniera automatica in coincidenza di un determinato evento.
90
INDICE DELLE FIGURE
Numero Pagina 1. Figura 1: Approccio semiotico tradizionale alla comunicazione ............... 18
2. Figura 2: Approccio partecipatorio alla comunicazione .............................. 19
3. Figura 3: La struttura IEZA ............................................................................. 19
4. Figura 4: Neumann KM184 mt, Schoeps CMC-64, MKH 418-s ........... 34
5. Figura 5: Schema polare Omnidirezionale ................................................... 35
6. Figura 6: Schema polare Bidirezionale .......................................................... 35
7. Figura 7: Schema polare Cardioide ................................................................ 36
8. Figura 8: Schema polare Supercardioide ...................................................... 36
9. Figura 9: Schema polare Ipercardioide ......................................................... 37
10. Figura 10: Configurazione AB ........................................................................ 37
11. Figura 11: Configurazione XY ........................................................................ 38
12. Figura 12: Configurazione MS ........................................................................ 38
13. Figura 13: Configurazione ORTF .................................................................. 39
14. Figura 14: Configurazione NOS .................................................................... 39
15. Figura 15: Tecnica Jecklin Disk ...................................................................... 40
16. Figura 16: Microfoni Dummy Head .............................................................. 40
17. Figura 17: Sample Manager ............................................................................. 44
18. Figura 18: Azioni eseguibili in cascata dentro a Sample Manager .......... 45
19. Figura 19: Esempio di patch in Max Msp .................................................... 45
20. Figura 20: Hierarchy .......................................................................................... 50
21. Figura 21: Inspector .......................................................................................... 50
22. Figura 22: Scheda Scene ................................................................................... 51
23. Figura 23: Scheda Game .................................................................................. 52
24. Figura 24: Scheda eventi di FMOD ............................................................... 53
25. Figura 25: FMOD Studio 1.08.04 .................................................................. 54
91
26. Figura 26: Vista del Character ......................................................................... 56
27. Figura 27: Lista eventi sonori in FMOD ...................................................... 57
28. Figura 28: Evento sonoro dei passi del personaggio ................................. 58
29. Figura 29: Audio contenuto all’interno di una traccia Multi Sound ....... 59
30. Figura 30: Script in Unity ................................................................................. 60
31. Figura 31: Evento sonoro per un computer ................................................ 65
32. Figura 32: Modulazione casuale dell’intonazione ....................................... 65
33. Figura 33: 3D Panner ........................................................................................ 66
34. Figura 34: Campo sonoro di un evento audio ............................................. 66
35. Figura 35: Automazione di un filtro Lowpass legata alla distanza .......... 67
36. Figura 36: Trigger per l’apertura di una porta ............................................. 68
37. Figura 37: Evento musicale ............................................................................. 70
38. Figura 38: Operatore logico della Transition Region ................................ 71
39. Figura 39: Riverbero a convoluzione ............................................................ 73
40. Figura 40: Snapshots ......................................................................................... 74
41. Figura 41: Snapshots applicati in Unity ........................................................ 74
42. Figura 42: Scheda Mixer di FMOD ............................................................... 77
43. Figura 43: Connessione via Live Update ...................................................... 77
92
INDICE
A Automazione, 45 Avatar, 19
C Campione audio, 11 Codice, 18 Controller, 10
D DAW, 37 Diegetico, 14
F Feedback, 5 Figura Polare, 38 Foley, 36 FPS, 25
G Gameplay, 22 Graphic Engine, 53
H HUD, 20
I IDE, 54 Implementazione, 13 Interazione, 6
P Plugin, 53
R Realtà virtuale, 1 Riverbero, 43
S Sound Design, 8 Storytelling, 22
T Texture, 32 Trigger, 55
V Videogioco, 1
93