AUDIENCE MANIPULATED VISUALS

AUDIENCE MANIPULATED VISUALS

JASPER VANDEGAER

PROMOTOREN: SANDY CLAES EN RUDI KNOOPS

MASTER COMMUNICATIE & MEDIA DESIGN 2011-2012

5

I. Voorwoord

Na een driejarige opleiding toegepaste informatica besloot ik communicatie- en multimediadesign te studeren omdat ik mij wou verdiepen in het visuele aspect van zaken. Zowel tijdens het schakeljaar als het masterjaar van deze opleiding gaat er veel aandacht uit naar de manier waarop zaken worden gevisualiseerd.

Gelijktijdig met deze opleiding is mijn interesse voor evenementen sterk toegenomen. Als organisator van een muziekfestival heb ik een klare kijk op de ecologie van evenementen. Binnen deze ecologie spelen bezoekers, artiesten/muzikanten, Lj’s(Light jockey’s) en Vj’s (Video jockey’s) een belangrijke rol. Door de combinatie van enerzijds mijn interesse voor het visuele en anderzijds voor evenementen, besloot ik mij verder te verdiepen in de relatie tussen twee belangrijke actoren binnen deze ecologie: bezoekers en Vj’s. Buiten het gegeven dat Vj’s voor visuals op evenementen zorgden, was dit voor mij een totaal ongekend domein waarbinnen ik mijn onderzoek voerde.

Mijn onderzoeksproces draaide uit op een tweespalt tussen tegenslagen en overwinningen, waarbij uiteindelijk deze thesis tot stand kwam. De overwinningen tijdens dit designonderzoek heb ik zonder meer te danken aan de hulp, tips, motivatie, begeleiding en expertise van heel wat personen.

In eerste instantie is een welgemeende dank u op zijn plaats voor mijn promotoren: Sandy Claes en Rudi Knoops. Dankzij hun tips en motivatie kon ik steeds weer verder. Door hun dynamische instelling kon ik op elk moment bij hun terecht. Daarnaast ook dank aan alle andere lectoren van de MAD-Faculty waarbij ik terecht kon met mijn vragen.

In het bijzonder gaat een woord van dank uit naar Vj Dax Geyskens. Hij heeft mij heel het onderzoek bijgestaan met zijn expertise en heeft hierdoor een groot aandeel in het uiteindelijke resultaat. Mijn contacten heb ik vooral via hem verkregen. Verder bedank ik graag Vj’s Romeo Mercken en Bram Van Cauwenberghe voor het testen van prototype 2 en 3. PHD Student, Vj Pieter Coussement voor zijn expertise in de beginfase van mijn onderzoek en Vj Matt Brooks om mij inzichten te geven in de technische uitwerking van een project.

Tot slot wil ik Jesse Paku, Nick François, Richard Mawet, Olivier Thewis, Jonas Pinte, Jérôme Decaffmeyer, Sam Billau, Joris Bollen, Riet Thewis en Sebastien Raes bedanken, die zich perfect konden inleven als testpersonen; de Pure Data, Liine en Control user-community voor het verstrekken van technische informatie; alle andere kunstenaars die mijn vragen beantwoorden; en niet te vergeten: Sandy Reynaerts en Aurelie Duchateau voor het nalezen van mijn thesis.

6

II. Abstract NL “Kan het transparant gebruik van smartphones een meerwaarde bieden voor de Vj en het publiek tijdens evenementen?” Het gebruik van smartphones ondervindt een sterke opmars. Eén op vijf Belgen is in het bezit van een smartphone. De toenemende processorkracht en het stijgend werkgeheugen zorgen ervoor dat deze kleine toestellen uitgebreide computermogelijkheden bieden. Door de veelheid aan geïntegreerde sensoren is een smartphone ook uiterst geschikt voor nieuwe vormen van interaction design. Tijdens evenementen worden deze toestellen veelvuldig gebruikt waardoor er vaak een negatieve connotatie ontstaat. Veel mensen ergeren zich aan het gebruik van de camera en sociale media omdat het een negatieve weerslag heeft op de essentie van het evenement. In dit onderzoek ga ik na hoe het transparant gebruik van smartphones een meerwaarde kan betekenen voor het publiek en videojockeys tijdens evenementen. Op welke manieren kan de smartphone als input device functioneren voor Vj’s op evenementen? Op basis van een vergelijking van de functionaliteiten en mogelijkheden van de smartphone wordt de accelerometer verder bestudeerd. Via expertinterviews en in nauwe samenwerking met Vj’s onderzoek ik hoe die nieuwe mogelijkheden ingezet kunnen worden tijdens evenementen: om enerzijds nieuwe input te genereren voor Vj’s en anderzijds bezoekers te betrekken in het genereren van live visuals op evenementen.

ENG

“Can the transparent use of smartphones offer potential to Vj’s and the public during events?” The use of smartphones is proving to be an upward trend. One in five Belgians own a smartphone. Due to the increasing processing power and the expanding data storage possibilities, these small devices offer elaborate computer possibilities. Because of the abundance of integrated sensors, a smartphone is also very suitable for new kinds of interaction design. During events, these devices are frequently used, which often gives them a negative connotation. A lot of people find the use of cameras and social media during these events disturbing because it has a negative impact on the essence of the event. In this analysis, I will examine how the transparent use of smartphones can increase its value for the public and the Vj’s during events. In what ways can the smartphone function as an input device for Vj’s at events? Based on a comparison of the functionality and the possibilities of the smartphone, the accelerometer will be further investigated. Through expert interviews and in cooperation with Vj’s, I will examine how new possibilities can be created during events: generating new input for Vj’s on the one hand and involving the visitors in the cultivation of live visuals at events on the other hand.

#KEYWORDS | SMARTPHONE - ACCELEROMETER - LIVE VISUALS -TRANSPARANCY – VJ

7

III. Inhoudsopgave

I. Voorwoord 5

II. Abstract 6

III. Inhoudsopgave 7

1. Inleiding 9

1.1. Relevantie en onderzoeksvraag 12

1.2. Doelstellingen 13

1.3. Methodologie 14

2. Literatuurstudie 17

2.1. Ecologie van een evenement 18

2.2. Vj’ing 19

2.3. Transparantie 25

2.4. Smartphones 27

2.5. Technieken voor interactieve publieksparticipatie 28

2.6. State of the art 34

3. Praktische uitwerking: onderzoek en prototypes 39

3.1. Smartphone sensoren 40

3.2. De accelerometer 42

3.3. Softwarekeuze publiek 44

3.4. Softwarekeuze Vj 48

3.5. Deelprototypes en onderzoeken 52

4. Finale prototype 63

4.1. Concept 64

4.2. Interface 64

4.3. Design en functionaliteit 65

4.4. Technische belemmeringen 68

5. Conclusie en toekomstig onderzoek 69

6. Bibliografie 73

7. Bijlagen 77

Bijlage 1: enquête 78

Bijlage 2: artikel Vj magazine 80

Bijlage 3: wireframes prototype 83

8

Lijst van figuren

1: Smartphonegebruik in Clubs 11 2: Rolverdeling Co-design 15 3: Sample Vj set-up 22 4: London night club Kabaraet’s Prophecy 23 5: Classificatiemodel sensoren smartphone 28 6: Classificatiemodel v2 sensoren smartphone 33 7: eiPIXEL 34 8: FaderTouch 3.0 35 9: SYNK applicatie 36 10: FEATHERWEIGHT bewegingssensor 37 11: iSensorii 37 12: accelerometer smartphone 42 13: Open Sound Control 44 14: Processing 45 15: Pure Data 46 16: Co-design Geyskens 52 17: Paper-prototyping 53 18: Wireframes 53 19: Concept prototype 54 20: Test Geyskens 54 21: Gebruikerstest 55 22: Testscenario 1 55 23: Groepsinterview 56 24: Vj Testing prototype v2 56 25: Testscenario 2 57 26: Test prototype 3 59 27: Vj testing prototype 3 60 28: Audience Intensity 65 30: Finale prototype: tabblad effects 67 31: Composition dashboard 68

Lijst van tabellen

Tabel 1: vergelijkingsmatrix sensoren smartphone .............................................................................. 41 Tabel 2: aggregate recognition rates ..................................................................................................... 43 Tabel 3: accuracies of Activity Recognition .......................................................................................... 43 Tabel 4: software kandidaten publiek ................................................................................................... 47 Tabel 5: software kandidaten laag 1 Vj ................................................................................................. 49 Tabel 6: softwarekandidaten laag 2 Vj .................................................................................................. 51

9

1. Inleiding

10

#INLEIDING |

Evenementen spelen een belangrijke rol in het welzijn van de mens. Dit onderzoek heeft in de eerste plaats betrekking op evenementen waarbij een (muzikale) performance plaatsvindt die ondersteund wordt door een visuele performance. Een performance wordt in het theater en de beeldende kunst gebruikt als verzamelnaam voor muzikale, beeldende of uitgesproken fysieke optredens, waarbij taal een ondergeschikte rol speelt en die vaak kort van duur zijn (Huybrechts, 2008). De ecologie van dergelijke evenementen kunnen we opsplitsen in twee belangrijke hoofdgroepen: de performers en het publiek. Wanneer we de ecologie van muziekfestivals, dansclubs, discotheken, enzovoort ontleden ontdekken we meerdere actoren die tot de groep performers behoren.

De artiest of muziek is de eerste (1) groep. Voor deze actor komt het publiek in eerste instantie naar het evenement. Zij worden beschouwd als de belangrijkste groep. Een tweede actor die een steeds belangrijkere rol opeist is de (2) Vj. De Vj is een artiest die visuele kunst creëert tijdens een evenement. Hij ondersteunt de artiest met een multimediale voorstelling. De Lj (Light jockey) behoort tot de derde (3) groep die de totale performance mee bepaalt. Hij zorgt voor het lichtspektakel. Het (4) publiek wordt tijdens evenementen geprikkeld door deze drie actoren in de vorm van muziek, video en licht. De reactie van een bezoeker op deze prikkels wordt gekenmerkt door zijn fysieke/emotionele toestand. Wanneer een bezoeker bijvoorbeeld de muziek leuk vindt, zal hij beginnen bewegen of dansen.

De opkomst en aanwezigheid van mobiele apparaten zorgen ervoor dat bezoekers van evenementen meer prikkels te verwerken krijgen, die de fysieke/emotionele toestand kunnen beïnvloeden. De ontwikkeling van mobiele telefoons heeft de laatste jaren niet stil gestaan. Enkele jaren terug was de functionaliteit van een mobiele telefoon voornamelijk beperkt tot het versturen van een sms en bellen. Nu is het anders. Met de komst van een nieuwe generatie mobiele telefoons, ook wel smartphones genoemd, worden de mogelijkheden en functionaliteiten van deze apparaten stilaan oneindig (Falaki et al., 2009).

Tijdens evenementen worden smartphones vaak ingezet door bezoekers voor het maken van foto’s en video’s(Kindberg, Spasojevic, Fleck, & Sellen, 2005). Helaas gaat dit soms ten koste van de collectieve beleving van het evenement. Toch bieden smartphones veel meer mogelijkheden dan waarvoor ze tot nog toe gebruikt worden. Deze thesis vertrekt vanuit de vraagstelling welke nieuwe mogelijkheden de smartphone kan bieden op evenementen voor het publiek ten opzichte van de Vj en visuals.

Journalist Tom Van Haaren (2012) gaat verder in op het gebruik van smartphones op de dansvloer nadat hij zelf geconfronteerd wordt met een club waarbinnen het gebruik van smartphones verboden is. Van Haaren stelt zelf vast dat de smartphone vaak gebruikt wordt op momenten waarop mensen een ogenblik alleen staan om een gevoel van sociale controle te verwerven. Door het gebruik van de smartphone wordt het bijna onmogelijk om de dagelijkse realiteit achter zich te laten en op te gaan in de avond, meent Van Haaren. William Hardy McNeill (2009) onderzocht in zijn boek ‘Keeping Together in Time: Dance and Drill in Human History’ het belang van dans voor de samenhorigheid van groepen. Hij spreekt hierin over community-dancing, wat hij beschrijft als een proces waarbij verschillende personen door ritmisch te bewegen een gezamenlijk geheel creëren, dat een bindend en samenhorig effect tot stand brengt en kan leiden tot

11

een gemeenschappelijke euforie en zelfs een roeservaring. Door te participeren in een emotionele gemeenschap wordt volgens McNeill een groepsethos in een club of party gegenereerd, dat wordt gekenmerkt door een kortstondige kwaliteit en het ontbreken van de vaste routine die zo typerend is voor het dagelijkse leven.

Randall Collins (2010) onderzocht de voorwaarden waarbij een collectieve roes ontstaat. Volgens Collins zijn daar een gezamenlijke oriëntatie en stemming, fysieke nabijheid en afgrenzing van buitenstaanders voor nodig. Hierdoor is er niet alleen sprake van een groot inlevingsvermogen tussen vrienden, maar ook met vreemden. Door het opzichtig gebruik van smartphones op evenementen kan aan deze voorwaarden niet worden voldaan. Uit een interview met de wereldbekende New Yorkse DJ François Kevorkian (2011) blijkt dat Dj’s zich storen aan smartphones op evenementen. Kevorkian stelt vast dat jonge mensen meer geïnteresseerd zijn in hun mobieltje en in foto’s maken in de club dan in de essentie van het evenement. Dat weerhoudt ze volgens Kevorkian ervan om echt diep in de muziek te zitten. Kevorkian stelt dat uitgaan vroeger meer een ceremonie, een ritueel, echt iets dieps was. Dat er nu nog steeds van deze plaatsen zijn, maar dat het beperkt wordt. Op de vraag of het een goed idee zou zijn als mensen in een club of op een festival bij de entree hun smartphone moesten inleveren antwoordt hij: “Jazeker! Ze zouden er kluisjes voor moeten hebben. Iemand zou het initiatief moeten nemen en het invoeren.”

Van Haaren (2012) besluit met een positieve noot over het gebruik van smartphones op evenementen. Volgens hem is het niet zo dat iedere club of elk feest er hinder van ondervind. “Wanneer het goed wordt ingezet, kan het juist een extra dimensie geven aan een evenement.” Dit is tegenstrijdig met wat Collins, McNeill en Kevorkian eerder aangaven. Zij zijn van mening dat de smartphone volledig verboden moet worden van de dansvloer. Dat het (opzichtig) gebruik van de smartphone enkel negatieve gevolgen heeft. In dit opzicht is het interessant om de smartphone als een transparant instrument te bestuderen. Zo kunnen we de negatieve gevolgen van het opzichtig gebruik elimineren en onderzoeken welk potentieel de smartphone kan bieden tijdens evenementen. Kan dit een extra dimensie geven aan een evenement zoals Van Haaren veronderstelde?

1: Smartphonegebruik in Clubs

12

1.1. Relevantie en onderzoeksvraag Binnen de ecologie van een evenement is er een grote samenhang tussen de verschillende actoren. Enerzijds hebben we de (1) artiest/muzikant. Naast de artiest hebben we de (4) bezoeker van het evenement. Elke bezoeker heeft verschillende fysieke en emotionele kenmerken. De sfeer/vormgeving van een evenement wordt mee bepaald door de (2) Vj en (3) Lj.

De omgeving van een evenement omvat veel sociale interactie. Hoofdzakelijk tussen de bezoeker en het personeel tewerkgesteld door het evenement, zoals obers en artiesten. Er is niet veel dat een bezoeker kan doen om de omgeving te beïnvloeden, naast het vragen aan de artiest of hij een bepaald liedje wil spelen (Kaisar, Ekblad en Broling, 2007). Wij willen het publiek de mogelijkheid geven deze omgeving persoonlijk te beïnvloeden. Het is daarom interessant om te onderzoeken welke meerwaarde de smartphone kan bieden op evenementen voor het publiek ten opzichte van de Vj en visuals. De Vj is samen met de Lj de actor die de omgeving het meest beïnvloedt en waarmee het minste interactie is. Wij focussen ons in dit onderzoek op de Vj omdat het financieel niet haalbaar is een onderzoek met prototype te bouwen voor de Lj. De insteek van dit onderzoek zou anderzijds wel even goed toegepast kunnen worden binnen het domein van de Lj.

Vandaag de dag worden visuals op evenementen steeds afgestemd op de muziek. Deze muziek wordt volledig bepaald door de DJ. De Vj is bijgevolg volledig afhankelijk van de keuzes van de DJ. Hij selecteert en creëert dan de beelden, teksten en animaties die worden vertoond in een videoshow en past effecten toe op basis van de muziek. In dit onderzoek wordt onderzocht welke meerwaarde smartphones kunnen bieden in deze context. De smartphone wordt bestudeerd als input device voor de videoshow. Er wordt onderzocht hoe de smartphone een meerwaarde kan bieden binnen het traditionele model van live visuals op evenementen. De fysieke eigenschappen en conditionele toestand bijvoorbeeld van de bezoeker, kunnen van belang zijn voor het uiteindelijke resultaat.

Dit resulteert in volgende onderzoeksvraag:

“Kan het transparant gebruik van smartphones een meerwaarde bieden voor de Vj en het publiek tijdens evenementen?”

Hierbij ligt de focus op het transparant gebruik van de smartphone. Uit de inleiding is gebleken dat er heel wat nadelen zijn verbonden aan het opzichtig gebruik van de smartphone. Een enquête(bijlage 1) afgenomen bij 128 mensen bevestigd dat veel personen het maken van video’s en foto’s als een storende factor ervaren (31 personen). Ook het gebruik van de smartphone voor sociale media (21 personen) en bellen(20 personen) blijkt wel eens een storende factor voor de medebezoeker op evenementen. Aan de hand van deze resultaten kunnen we stellen dat de smartphone het best benaderd kan worden als een transparant instrument binnen ons onderzoek.

13

Op basis van de data die we verzameld hebben uit de enquête, blijkt tevens dat de meeste mensen zich niet storen aan het gebruik van smartphones. Maar dat wil niet zeggen dat het gebruik geen negatieve onderliggende gevolgen kan hebben voor het publiek. Een negatief onderliggend gevolg van het opzichtig gebruik van de smartphone is dat de mogelijkheid niet bestaat om in een collectieve roes te geraken omdat er niet aan alle voorwaarden wordt voldaan zoals de afgrenzing van buitenstaanders. Dit is een bijkomend argument om de smartphone als transparant apparaat in te zetten tijdens het onderzoek.

Door de smartphone als transparant input device te beschouwen en de Vj de mogelijkheid te geven om deze data aan te wenden, kunnen de visuals beter worden afgestemd op het tempo van het publiek. De artistieke vrijheid van de Vj speelt hierbij een belangrijke rol. Hij blijft verantwoordelijk voor het uiteindelijke resultaat. Olivier Berger (2010) onderzocht hoe hij de bezoeker van een evenement de mogelijkheid kon geven om te interageren met de videoshow. Berger is van mening dat een ideale vorm van input de controle bij de bezoeker legt zonder dat hij een verlies aan evenementbeleving ondervindt. De input mag hoe dan ook geen ballast vormen voor de bezoeker volgens Berger. Deze stelling is relevant om de smartphone als transparant instrument te banderen. Verschillende onderzoeksmethoden zullen gecombineerd worden om de doelstellingen van dit onderzoek te realiseren.

1.2. Doelstellingen We onderzoeken hoe de smartphone transparant ingezet kan worden op evenementen zodat deze een meerwaarde biedt aan de Vj en het publiek. De focus van het onderzoek ligt hierbij op twee verschillende doelgroepen: (1) de Vj’s en (2) het publiek. Voor beide groepen definiëren we enkele doelstellingen.

Voor de Vj’s wordt in eerste instantie onderzocht hoe de smartphone nieuwe en bruikbare input kan aanleveren voor de videoshow. Zodus beschouwen we de smartphone als input device voor de Vj. Er wordt getracht om alle huidige functionaliteiten en mogelijkheden van bestaande Vj software te behouden, maar ook nieuwe geavanceerde mogelijkheden aan te bieden. Hierdoor zal de videoshow niet inboeten aan kwaliteit, maar juist toenemen.

Voor het publiek onderzoeken we hoe de smartphone ingezet kan worden zodat ze inspraak hebben of invloed kunnen uitoefenen op de gepresenteerde visuals. Dit gebeurt op basis van een vergelijking van de functionaliteiten en mogelijkheden van de sensoren van de smartphone. Hierbij benaderen we de smartphone als een transparant instrument. Ondanks de vele mogelijkheden worden ze nu voornamelijk aangewend voor het versturen van een sms, bellen, internet en sociale media. Met dit onderzoek willen we aantonen dat de smartphone nog meer mogelijkheden kan hebben, en dan in het bijzonder op evenementen in combinatie met de Vj en visuals.

|

14

Een derde (3) groep die de effecten kan waarnemen bestaat uit de Dj/muziekgroep. Dit onderzoek spitst zich niet rechtstreeks toe op deze groep. Toch kan het onderzoek een meerwaarde bieden voor deze groep. Wanneer visuals worden afgestemd op het publiek kan dit ook gelden als feedbacksysteem voor de Dj/muziekgroep. Hij kan dan aan de visuals vaststellen dat het publiek niet mee is met de muziek en kan hierop inspelen. Dit is geen directe doelstelling van ons onderzoek maar kan het gevolg zijn van het bereiken van de eerder aangehaalde doelstellingen.

1.3. Methodologie Tijdens deze thesis worden verschillende onderzoeksmethoden toegepast. Het onderzoek start met een literatuurstudie. In de beginfase van het onderzoek maken we gebruik van enquêtes om onze bevindingen uit de literatuurstudie te ondersteunen. Dit deel wordt aangevuld met twee half-gestructureerde expertinterviews die reeds in een vroeg stadium van dit onderzoek werden afgenomen. Deze kwalitatieve onderzoeksmethode verschaft ons onder meer inzicht in de mogelijkheden om de smartphone als transparant apparaat in te schakelen tijdens dit onderzoek en bieden een ideale aanvulling op het eerste deel van de literatuurstudie.

Om publieksparticipatie te creëren, bestuderen we vervolgens verschillende technieken voor interactieve publieksparticipatie. Recent onderzoek in dit domein wordt voornamelijk gedomineerd door interactieve muzikale performances en interactieve gaming. Het is essentieel dit onderzoek op te nemen in de literatuurstudie omdat het nuttige informatie voor ons onderzoek en de technische uitwerking van de prototypes bevat. Tot slot eindigen we met een analyse van de huidige stand van zaken van technologie en kennis binnen ons onderzoeksdomein: the state of the art.

Co-design wordt als onderzoeksmethode toegepast bij de ontwikkeling van het eerste prototype. Binnen het co-designproces treedt de Vj op als ervaringsexpert. De kennis en ervaring van de Vj worden uitgewisseld met onze ideeën en kennis die we hebben verworven via andere onderzoeksmethoden zoals research through design en een literatuurstudie. Daarbij wordt er getracht toe te werken naar een prototype. Via Co-design wordt de functionaliteit en het uitzicht van deze applicatie bepaald.

Na het co-design wordt de applicatie voor de Vj verder uitgewerkt in wireframes vooraleer we dit technisch gaan realiseren. Met wireframes kunnen we een in een overzichtelijke structuur weergeven hoe het er in het echt gaat uitzien. Elke pagina van de interface wordt uitgewerkt in wireframes.

Rapid prototyping wordt toegepast voor het ontwerpen van de interface. Via deze methode kunnen snel en eenvoudige simulaties worden uitgevoerd waardoor grote ontwerpfouten tijdig uit het proces gefilterd kunnen worden. Tijdens het co-designproces en de testings met de Vj wordt deze techniek aangewend. Zonder het hele prototype uit te werken kunnen de interacties binnen de interface voor de Vj worden gesimuleerd.

15

Het praktische onderzoek voor het publiek spitst zich hoofdzakelijk toe op de smartphone en het gebruik ervan. Welke sensoren zijn geïntegreerd en wat kunnen deze betekenen voor de bezoeker en/of de Vj op evenementen? De uitbouw van het prototype vertrekt van een vergelijking van de verschillende sensoren van een smartphone. Op basis van deze vergelijking worden bepaalde sensoren verder bestudeerd. In een volgend stadium worden applicaties voor de smartphone vergeleken. Er wordt onderzocht welke applicaties bestaan en de functionaliteiten bieden die nodig zijn voor de uitbouw van een prototype.

Het testen van de verschillende prototypes verloopt via gebruikerstesten. Deze onderzoeksmethode is belangrijk om de fouten en bruikbaarheid van een prototype vast te stellen. Dr. Jakob Nielsen (2000) is van mening dat de ideale groep testpersonen bestaat uit vijf gebruikers. Het prototype testen we dus met een publiek bestaande uit vijf personen. De fouten in het prototype worden vastgesteld met behulp van user-centered design. De gebruikers zelf kunnen geen veranderingen aanbrengen maar slechts designtekortkomingen aangeven (Nesset & Large, 2006). Hierbij wordt meermaals teruggekoppeld naar de Vj en het publiek om deze twee doelgroepen optimaal op elkaar af te stemmen. Dit gebeurd via groepsinterviews na elk testscenario.

Tijdens het testen van de prototypes maken we gebruik van niet-participerende observaties om meer te weten te komen over de gebruikers en hun gedrag. De observaties vormen samen met de groepsinterviews de kern van het kwalitatief onderzoek (Cambré & Waege, 2006).

Research through design wordt heel het onderzoeksproces lang toegepast. Deze methode vertrekt van het principe: “leren door te doen”(Borgdorff, 2005). Research through design is essentieel om te experimenteren met de verschillende software en hardware. Hierdoor trachten we de geschikte software en hardware te ontdekken om het prototype te ontwikkelen.

2: Rolverdeling van de Researcher, User en Designer in Co-design t.o.v. een traditionele rolverdeling, uit Sanders, E. B-N., & Stappers, P. Co-Creation and the new landscapes of design. CoDesign International Journal of Cocreation in Design and the Arts, (2008, p. 8)

16

#Edirol V4

17

2.Literatuurstudie

18

#Literatuurstudie |

2.1. Ecologie van een evenement Zoals eerder vermeld merken we een grote samenhang tussen verschillende onderdelen binnen een evenement. Enerzijds hebben we de artiest/muzikant die zijn performance brengt. De artiest wordt, bewust of onbewust, beïnvloed door verschillende impulsen. Zo heeft elke artiest zijn eigen “background” en invloeden, die zijn optreden beïnvloeden. Wanneer we de ecologie van een evenement verder gaan ontleden, merken we dat de artiest hier maar een klein onderdeel van is. Naast de artiest hebben we de bezoeker van het evenement. Elke bezoeker van een evenement heeft verschillende bruikbare kenmerken. De bezoeker is de sleutelfiguur om de ecologie open te trekken naar iets groots (Berger, 2010). De verzameling van bezoekers vormt het publiek. Uit het publiek kunnen we ook enkele kenmerken afleiden. Het publiek kan dansen, stilstaan, juichen, wenen, enzovoort. Dit zijn allemaal fysieke en emotionele kenmerken. Volgens Rob Van Kranenburg (2008) kunnen we de ecologie van een evenement opdelen in verschillende niveaus. Hij stelt voor om naast een horizontale interconnectie, de ecologie verticaal in drie lagen op te delen. Deze drie lagen moeten voortdurend aanwezig zijn, zo niet zal de interface niet overeind blijven. Deze lagen beïnvloeden elkaar, ze manipuleren elkaar en zorgen uiteindelijk voor een waardige output. Deze verticale gelaagdheid kan zowel horizontaal als diagonaal connecteren met andere onderdelen in de ecologie. Dit wijst erop dat de ecologie complex in elkaar zit en verschillende onderdelen elkaar tegelijkertijd kunnen beïnvloeden.

Enerzijds hebben we de hardware laag. Deze omvat de smartphone voor het publiek en voor de Vj alle hardware zoals een computer, tablet, projectoren, schermen, enzovoort. De hardware kan als tool beschouwd worden om het uiteindelijke resultaat te bepalen. Vervolgens hebben we het software-level. Deze bestaat uit de smartphone-applicatie die de bezoeker kan gebruiken om mee te participeren. In het finale prototype bestaat de software voor de Vj uit een Pure Data patch, Resolume en Lemur-applicatie. Ten slotte hebben we het user-level. Zoals eerder aangehaald, beschouwen we de smartphone als input device en tool. Met behulp van de smartphone kunnen bezoekers de visuals manipuleren. Al deze onderdelen en de keuzes die we gemaakt hebben, worden besproken in de praktische uitvoering van het onderzoek.

“Vj’ing is no longer eye candy. Rather, it is a profound audio-visual art form distinctive

to performance in the digital age.” (Vj Forde, 2010)

|

19

2.2. Vj’ing Het boek ‘Audio-visual art + Vj culture’ vormt een belangrijke basis voor deze literatuurstudie (Faulkner, 2010). Het bevat gestructureerde interviews met 120 belangrijke internationale Vj’s. Verder brengt het boek de hele internationale Vj-cultuur in kaart, het werkproces van Vj’s, de middelen, enzovoort. Dit boek geeft ons een beter inzicht in de visie van hedendaagse Vj’s. In dit hoofdstuk leggen we het begrip Vj’ing uit aan de hand van informatie verkregen uit dit boek. Voor vele mensen klinkt Vj’ing onbekend in de oren. Ze weten niet precies wat Vj’s doen of wat ze zijn. Zelfs voor doorgewinterde muziekliefhebbers is het een duistere nevenactiviteit die voornamelijk ‘s’avonds en ‘s nachts gebeurt. Vj John Moore (2010) beschrijft Vj’ing als een soortgelijke activiteit als Dj’ing, behalve dat je video clips mixt. Moore stelt dat het in principe een Dj-mix maken is, maar dat er video clips worden gebruikt in plaats van muziek. De eerste Vj’s introduceerden video clips op MTV in 1980. Omdat muziektelevisie al snel onafscheidbaar werd van televisie, evolueerden deze Vj’s naar daadwerkelijke presentatoren. De Vj van vandaag heeft hier niets meer weg van. Vj’s zien hunzelf nu als onafhankelijke filmmakers en alchimisten van bewegende beelden, die live visuals mixen voor een publiek (Saughnessy, 2010). Vandaag is een Vj een artiest die bewegende beeldende kunst creëert (meestal video) op grote schermen tijdens concerten, in nachtclubs en discotheken, muziekfestivals of tentoonstellingen (Spinrad, 2005). Vj's maken en bewerken beelden en

video's met verschillende apparatuur. Het digitaal genereren en bewerken is de laatste jaren een standaard geworden. Enkele jaren terug waren Vj’s voornamelijk te spotten in nachtclubs en discotheken. Tegenwoordig krijgen Vj’s steeds meer aandacht en worden ze op meer en grote evenementen gevraagd. Op de grote muziekfestivals zijn Vj’s al niet meer weg te denken. De presenteermogelijkheden die alsmaar groter, scherper en gedetailleerder worden, zorgen ervoor dat Vj’s vandaag een belangrijkere rol innemen tijdens evenementen.

“Vj’s enhance the overall atmosphere by visualizing sound. Improvising with various (digital) media, Vj’s enable us to experience

new forms of expression in live visuals performance. More than any other art

form, Vj’ing is now. An instant reflection. A moment in time…“ (VJ Oxygen, 2010)

20

2.2.1. Het werkproces van de vj

Een Vj is verantwoordelijk voor het creëren, afspelen en live mixen van visuele kunst. Elke Vj heeft een eigen werkproces. De meeste Vj’s beginnen met het uitdenken van een concept voor de videoshow. De Vj of regisseur maakt een concept om de algemene performance te ondersteunen. Hij ondersteunt de performance met emoties, een verhaal, de omgeving en de textuur (Virkhaus, 2010).

Voordat de Vj zijn videoshow gaat uitwerken, zal hij enkele zaken analyseren: de muziek, de lyrics en de boodschap van de muziek of liedjes. Dit proces vraagt gedetailleerd onderzoek. Zoekmachines zoals google kunnen ons doorverwijzen naar fan sites, muziek lyrics, muziek downloads, etc. Het is belangrijk dat de Vj zoveel mogelijk te weten komt over de artiest(en) alvorens een visueel concept op te stellen voor de videoshow. De (demografische) kenmerken van het publiek, de visuals die eerder zijn gebruikt en de houding van de artiest tijdens de show kunnen allemaal een belangrijke rol spelen voor het uitwerken van de videoshow. De stijl van de Vj zal het uiteindelijke resultaat van de visuals bepalen.

Het uitgeschreven concept wordt door het designteam gebruikt om beelden te creëren. Elk individu van het designteam kan zo zijn eigen interpretatie geven voor de videoshow aan de hand van het uitgeschreven concept. De rol van het designteam wordt vaak ingevuld door de Vj zelf.

De volgende stap in het werkproces van Vj’s is het opstellen van storyboards. Het storyboard is de rode draad doorheen de videoshow. Deze storyboards worden meestal gebruikt om een beeld vooraf voor de klant te schetsen. Zo heeft de klant een idee wat er gaat gebeuren en kunnen er in samenspraak wijzigingen worden aangebracht. Afhankelijk van de klant wordt er samengewerkt met een production designer om de opstelling van het licht, de schermen, het podium perfect op elkaar af stellen. In andere gevallen mag de regisseur van de videoshow het podium, de lichten en de videoschermen ontwerpen. De production designer zal deze ideeën in een later stadium omzetten in technische realisaties afhankelijk van wat werkelijk mogelijk is.

Een andere belangrijke factor in het creatieproces van visuals is het budget. Dit bepaalt de technologie die aangewend kan worden. Het budget beïnvloedt de technologie, de duur van de videoshow en de algemene kwaliteit van de videoshow. Voor drie uur visuals is een massa aan beelden nodig. Hierdoor lopen de productiekosten hoog op.

Nadat het concept, de storyboards en het budget goedgekeurd is, begint het productieproces. Dit proces betreft filmen, computer graphics, animatie, fotografie, etc. In kleinere organisaties voeren personen vaak meerdere taken uit. De personen die instaan voor het opvullen van de content worden ook wel ‘content librarians’ genoemd.

21

2.2.2. De rol van vj’s Roman Jurik (2004) beantwoorde in zijn bachelor thesis ‘Going AudioVisual’ vragen over “the future of visual jockeying & visual projections & their impact on live music entertainment”. Na samenwerking met de ‘Vj-community’, concludeerde hij dat Vj’s zichzelf als onafhankelijke visuele artiesten zien, die hun identiteit willen behouden en op zoek zijn naar nieuwe mogelijkheden voor live visuals. Volgens Jurik is Live-mixing een drievoudige relatie. Het is een relatie tussen de muziek, het publiek en de performer. Vj’s willen zoveel input als mogelijk en willen afstappen van hun klassieke rol. Live visuals zouden de ervaring en betrokkenheid van een bezoeker tijdens een evenement vergoten. De druk op de artiest wordt daarenboven verlaagd. Live visuals worden volgens Jurik “mainstream for the club/dance scene”. Vandaag kunnen we vaststellen dat Jurik zijn opvattingen waarheid zijn geworden. Een club of evenement zonder visuals is uniek. Jurik stelt dat Vj’ing een manier is van interactief entertainment voor het publiek. Het publiek zou op hun beurt actief moeten participeren tijdens de live performance. Volgens Jurik willen Vj’s zoveel ‘online input’ als mogelijk gebruiken tijdens hun show om te mixen met vooraf geproduceerd materiaal. Met online input wordt verwezen naar bijvoorbeeld een camcorder die in real-time beelden opneemt op het evenement. Het signaal kan direct naar de Vj gestuurd, gemanipuleerd en geprojecteerd worden met de bedoeling om onmiddellijke feedback van het publiek te creëren. Uit interviews uit het boek ‘Audio-visuals Art + Vj culture’ blijkt dat het publiek een cruciale rol speelt in de samenstelling van de videoshow. Feedback van het publiek tijdens het evenement is doorslaggevend voor de Vj tijdens de keuzes van de beelden. Clink!clank! (2010) bekijkt de reactie van het publiek als een belangrijk referentiepunt wanneer ze beelden weergeven. Het belang van het publiek

wordt onderstreept door de Vj’s van hfr-lab (2010). Zij geven een groot belang aan interactie met het publiek. Ze proberen installaties te ontwerpen waarbij het publiek zich in een digitale speeltuin waant. Veel Vj’s vinden interactie met het publiek een belangrijk en verplicht gegeven tijdens hun show en vinden dat Vj’s de reactie van het publiek moeten ‘lezen’ (Daggers, 2010). Bolwerk (2006) geeft aan dat de interactie met de muziek de basis van hun videoshow is en dat een dansend publiek hun veel energie en plezier bezorgt . Furi furi (2006) leerde tijdens het Vj-ing dat de stemming van het publiek een enorm belangrijk onderdeel is. Vj Mentalswing (2006) gaat verder in op de relatie tussen het publiek en de videoshow. Hij geeft aan dat het fenomenaal zou zijn als 100 personen simultaan zouden kunnen samenwerken om één grote visualisatie te genereren over het internet. Uit bovenstaande opvattingen kunnen we concluderen dat het publiek een zeer belangrijke rol speelt voor de Vj. Veel Vj’s proberen rekening te houden met de stemming van het publiek. Deze stemming kan enkel door de Vj herkend worden door naar het publiek te kijken. Een traditionele Vj-setup kan geen indicatie geven van de stemming van het publiek.

“Vj’s have shown us how it’s possible to watch sound, charting the movement and

flow of the music, through enhanced vision. The finest Vj’s can translate and transform, transport and transpire the boundaries of

what we see and what we hear.” (VJ Rimbaud, 2010)

22

2.2.3. Vj set-up

Het belangrijkste onderdeel van een traditionele Vj set-up is bijna altijd de computer. Hierbij moet een Vj kiezen tussen een Apple of een Windows computer. De belangrijkste reden van deze keuze is de compatibiliteit met de Vj software (Pallmer, 2010). Een externe grafische kaart is aangewezen omdat de interne kaart niet genoeg geheugen bevat voor Vj software. Dvd spelers in de Vj-setup zijn volgens Pallmer handig om videoclips die niet ondersteund worden door de computer in te laden. Om de visuals weer te geven kan er beroep gedaan worden op een projector. De voorkeur van Pallmer gaat uit naar schermen omdat het beeld scherper weergegeven kan worden en ze in elke ruimte kunnen worden opgesteld.

Een mixer is essentieel vanwege zijn enorme flexibiliteit en kan perfect gebruikt worden voor live-input. Mixers vormen in tegenstelling tot computers een veel stabielere omgeving. Een MIDI (Musical Instrument Digital Interface) mag ook niet ontbreken in de set-up. Vaak wordt er voor Edirol, M-Audio of Behringer als MIDI geopteerd. Alle overige hardware in de set-up kan op dit instrument worden aangesloten. Dit instrument dient voornamelijk om te mixen tussen de verschillende kanalen.

3: Sample Vj set-up

Met behulp van camera’s kan een Vj live input genereren. Camera’s worden vaak gebruikt om beelden van het publiek te maken, maar kunnen ook worden gebruikt worden om eigen creaties te filmen zoals tekeningen. Buiten de opgesomde middelen kunnen er nog vele andere apparaten gebruikt in een Vj set. Deze traditionele Vj-setup kan bijvoorbeeld worden uitgebreid met andere hardware zoals mixing gloves, led lichten, tablets, audio keyboards, enzovoort. Voor ons prototype gaan we een keuze moeten maken tussen verschillende hard- en software. Een beperkt budget speelt hierbij zeker een rol. Tijdens de praktische uitwerking worden de verschillende software en hardware vergeleken. Op basis van vooropgestelde criteria zal er een keuze gemaakt worden die bepalend zal zijn voor het finale resultaat van het prototype.

23

2.2.4. Ruimte

Bij aanvang van ons onderzoek was het niet duidelijk welke richting dit onderzoek zou uitgaan en in welke context het prototype zou passen. Daardoor hebben we bewust gekozen om de verschillende ruimtemogelijkheden op te nemen in deze literatuurstudie, alvorens ons te focussen op één specifieke omgeving. Tijdens de praktische uitvoering van ons project zal duidelijk worden in welke context we ons prototype kunnen plaatsen.

In het boek ‘Audio-visuals Art + Vj culture’ duiden verschillende Vj’s op het belang van de ruimte waar de visuals geprojecteerd worden. Steeds meer Vj’s willen een volledige immersieve omgeving creëren. Vj’s acteren vandaag in theaters, galerijen, grote muziekfestivals, new-media festivals, enzovoort. Vj Tim Redfern (2010) merkt op dat hij geen visuals doet in een ruimte waar de visuals niet zullen werken. Hij beschouwt een club als een ideale omgeving omdat het vaak een donkere ruimte is, met uitstekende presentatiemogelijkheden waar bezoeker niet naast de visuals kunnen kijken. Het Vj Collectief Visomat (2010) geeft aan dat zij voorkeur geven om hun installaties te vertonen in publieke ruimtes of clubs. Zij worden creatiever wanneer hun visuals deel uitmaken van de design van de ruimte. Dit voorbeeld zagen we recent terug op het bekende muziekfestival Tomorrowland, waarbij de schermen geïntegreerd werden in de reusachtige boeken. De stijl van de visuals ging helemaal verder op de stijl van de decoratie.

4: London night club Kabaraet’s Prophecy

24

2.2.5. Expert interviews

Interviews als onderzoeksmethode binnen een designproces kunnen nieuwe inzichten leveren die men door brononderzoek niet zou kunnen bekomen (Billiet en Waege, 2006). Deze expertinterviews gelden als aanvulling op de literatuurstudie uit de vorige hoofdstukken.

In de beginfase van dit onderzoek maken we gebruik van ongestructureerde interviews. Deze kwalitatieve onderzoeksmethode wordt in het onderzoek gebruikt om enkele experts te interviewen. De interviews vertrokken vanaf een startvraag. De rest van het interview bouwde zich spontaan op.

2.2.5.1. Pieter Coussement Na een eerste contact bij de universiteit van Gent in de beginfase van het onderzoek, kwamen we bij Pieter Coussement terecht. Coussement is een PhD-student en werkt als onderzoeker bij IPEM1(Institute for Psychoacoustics and Electronic Music). Hij maakt audiovisuele installaties waarbij de functie en positie van het menselijk lichaam verkend worden door middel van metingen met biometrische sensoren, bewegingssensoren en andere sensoren. Door deze installaties te ontwerpen onderzoekt hij hoe mensen reageren op interactiviteit binnen kunst. Met meer als twintig jaar ervaring binnen het domein van visuals kunnen we Coussement als expert beschouwen.

Coussement wees op het belang van het definiëren van transparant gebruik van de smartphones. In de kunsten is transparantie een veelbesproken begrip met verschillende definities. De interpretatie van transparant gebruik moet verduidelijkt worden door een grondige literatuurstudie volgens Coussement. Hij raadde aan verschillende personen binnen de literatuur te raadplegen die hiervoor hun eigen interpretatie hebben: Norman, Gybson, Wanderley en Ludwig Jäger. Daarnaast maakt hij ons erop attent dat er een onderscheid dient gemaakt te worden tussen motion sensing en motion capturing in onze onderzoeksbenadering. Ons onderzoek vertrekt van een motion sensing benadering doordat we de sensoren van de smartphone gaan gebruiken van het publiek om beweging te registreren.

Het gesprek is geëindigd met een positieve noot over de insteek van ons onderzoek. Coussement is van mening dat “de piste om smartphones te onderzoeken uitdagend is en zeer veel potentieel heeft in het domein van visuals door de vele mogelijkheden van deze mobiele apparaten”. Volgens Coussement kan er een innovatief en leuk ontwerp uitgewerkt worden.

1 IPEM is het onderzoekscentrum van de afdeling Musicologie, Vakgroep Kunst-, Muziek-, en Theaterwetenschappen van de UGent, http://www.ipem.ugent.be/

25

2.3. Transparantie In de literatuur wordt het begrip transparantie op verschillende manieren gedefinieerd. Met transparantie wordt meestal verwezen naar de doorzichtigheid van een object. Het begrip transparantie vanuit de invalshoek van Ludwig Jäger (2008) wordt omgeschreven als een staat die een object kan aannemen. Wanneer het object niemand stoort, is het transparant.

Marc Weiser (1993) introduceerde de term ‘ubiquitous computing’. Hij verwijst hiermee naar de derde generatie van computers. De eerste generatie waren de main-frame computers. De tweede generatie de PC’s (Personal Computers). De derde generatie zijn de computers die meer naar de achtergrond verdwijnen, maar alomtegenwoordig zijn. Ook de smartphone valt hier onder. In hoofdstuk 2.3 wordt de smartphone als ubiquitous mobile input device verder besproken aan de hand van een model dat vertrok van Weiser zijn visie. Hij stelde in zijn visie over ubiquitous computing dat de alomtegenwoordige aard van mobiele telefoons “makes them blend into the fabric of our everyday lives.”

Computerinteractie kent soms ook raakvlakken met het begrip transparantie. Zo onderscheidt Norman (1989) in ‘The Design of Everyday Things’ twee vormen van computerinteractie: Third-person interaction en first person interaction. Om de computer te gebruiken, voer je commando’s in die je geleerd hebt. Sommige computersystemen vragen directe manipulatie of ‘first-person interaction’. Dit type van interactie geeft de gebruiker een gevoel van directe controle over zijn acties. Beide vormen zijn nodig volgens Norman en hebben elk hun voordelen. Derde persoon interactie is geschikt voor situaties waarbij een repetitieve handeling nodig is, alsook situaties waarbij je het systeem (of een andere persoon) kan vertrouwen om een taak correct uit te voeren. Wanneer de taak niet volledig afgelijnd is, of de persoon niet weet wat er exact moet worden uitgevoerd, dan is eerste-persoon interactie een geschikte methode.

“When I use a direct manipulation system—whether for text editing, drawing pictures, or creating and playing games—I do think of myself not as using a computer but as doing the particular task. The

computer is, in effect, invisible. The point cannot be overstressed: make the computer system invisible. This principle can be applied with any form of system interaction, direct or indirect.”

(Norman, 1989)

Deze principes kunnen bijgevolg ook worden getoetst aan een smartphone. Het proces van een telefoongesprek bijvoorbeeld, bevat beide vormen van interactie. Het vormen van een telefoonnummer op de smartphone is een vorm van ‘third person interaction’. Tijdens het bellen is een smartphone onzichtbaar voor de gebruiker en ontstaat ‘first person interaction’. Het gevoel van de smartphone verdwijnt en het gevoel tegen een andere persoon te praten ontstaat.

"You use computers when you use many modern automobiles, microwave ovens, games, CD players and calculators. You don't notice the computer because you think of yourself as doing the task, not as

using the computer.” (Norman, 1989)

26

Ook in de architectuur wordt de term transparantie veelvuldig gebruikt. Colin Rowe en Robin Slutzky (1963) onderscheiden twee soorten van transparantie in hun essay ‘Transparancy: Literal and Phenomenal’.

‘Literal transparency’ verwijst hierbij naar de eigenschap die een materiaal kan hebben zoals de eigenschap om erdoor te kunnen kijken. Volgens deze redenering kunnen we stellen dat wanneer de smartphone zichtbaar is, hij niet transparant is. Wanneer de smartphone in de broekzak steekt, is hij onzichtbaar en zodus transparant. ‘Phenomenal transparancy’ beschrijft de perceptuele eigenschap die toelaat om het onderliggende ruimtelijk concept te onderscheiden.

2.2.5.2. Dax Geyskens Na het gesprek met Coussement, volgde er een interessant gesprek met Dax Geyskens, videojockey en zaakvoerder van Daxx Visuals. Geyskens heeft jarenlange ervaring met visuals op evenementen. Hij geeft ook op regelmatige basis workshops voor Vj’s en experimenteert met de laatste trends binnen dit domein zoals video mappings2. Geyskens verzorgt visuals op de grotere evenementen in België zoals Springtime festival, Gladiolen en Tomorrowland, evenementen die tienduizenden bezoekers lokken. Momenteel is hij dan ook een van de actiefste Vj’s in België. Met toekomstige opdrachten in Kenia en Roemenië staat hij aan het begin van een internationale carrière. Dit gesprek vond plaats in de beginfase van ons onderzoek. We zijn dieper ingegaan op het onderzoek, de insteek en hebben wat gebrainstormd over een mogelijk prototype. Volgens Geyskens moet een Vj te allen tijde zijn artistieke vrijheid kunnen behouden tijdens de show. Hij moet de volledige controle over de visuals hebben. Nieuwe input zoals accelerometer data lijkt een boeiende piste volgens Dax omdat dit numerieke waarden zijn die kunnen worden toegepast op de visuals. Een interessante piste waarmee geëxperimenteerd kan worden, is dat de videojockey bepaalt welke parameters van de videoshow worden gemanipuleerd door de (accelerometer-)input die binnenkomt van de bezoekers en welke hij zelf gaat bepalen. Deze paramaters zijn bijvoorbeeld snelheid, kleur, grootte, etc. Zo heeft hij toch nog volledige controle. Geyskens werkt met Resolume3en maakt gebruik van TouchResolume om zijn visuals te besturen van in de zaal met een smartphone of tablet. Dit gesprek opende perspectieven en bracht ideeën voort voor de uitbouw van het eerste prototype. Het allerbelangrijkste is dat deze Vj zijn volledige steun verleent voor de verdere uitbouw. Hierdoor kunnen we testen uitvoeren met de medewerking van een ervaren Vj. Dat is een groot voordeel voor de ontwikkeling van het finale prototype. Hij zal dus intensief betrokken worden tijdens het co-design proces.

2 Video mapping is een 3D-projectietechniek waarmee nagenoeg elk oppervlak omgetoverd kan worden in een dynamische videowand, http://www.fwdmagazine.be/fwd/122624/achtergrond-video-mapping/ 3 Resolume is Vj software voor live VJ-ing en audiovisuele performances, http://resolume.com/

27

2.4. Smartphones Een smartphone is een mobiele telefoon die uitgebreide computermogelijkheden biedt, zoals gebleken uit de literatuurstudie. Door de toenemende processorkracht en het stijgend werkgeheugen bieden smartphones ongekende mogelijkheden. De laatste jaren worden deze toestellen ook steeds goedkoper, waardoor meer mensen er één gaan aanschaffen. Vandaag is één op vier Belgen in het bezit van een smartphone. Uit de enquête (bijlage 1) afgenomen bij 128 personen tussen 16 en 26 jaar blijkt dit getal al boven de 50% te zitten. We kunnen ervan uit gaan dat meer dan de helft van de bezoekers tussen 16 en 26 op evenementen in het bezit is van een smartphone.

2.4.1. Motion sensing De smartphone bevat verschillende sensoren die beweging kunnen registreren. Dit zijn sensoren die voorheen al jaren gebruikt worden in auto’s, vliegtuigen en schepen. De grootte, het stroomverbruik en de prijs zorgden ervoor dat deze sensoren nog niet werden verwerkt in de consumentenelektronica. De afgelopen jaren worden bewegingssensoren steeds vaker ingebouwd in elektronica voor consumenten. Onder meer de controller van de Nintendo Wii heeft een accelerometer aan boord. Fabrikanten van smartphones zijn vanaf 2006 bewegingssensoren beginnen in te bouwen. De Nokia N95 was het eerste toestel met een dergelijke sensor. Daarna kwamen bewegingssensoren onder meer terug in de Apple iPhone en diverse HTC's. Inmiddels worden er geen smartphones meer geproduceerd zonder deze vorm van sensoren. De meest relevante sensoren binnen de consumentenelektronica om beweging te registreren en te meten, zijn accelerometers, gyroscopen, magnetische sensoren en druksensoren.

2.4.2. Smartphones op evenementen

Moore voerde een onderzoek naar het gebruik van mobiele telefoons in dansclubs (Moore, 2006). Door middel van intensieve observaties en interviews met ‘clubbers’ stelde ze vast dat mobiele telefoons een belangrijke rol spelen in deze subcultuur. Volgens Moore worden ze aangewend om zich te organiseren en om een collectieve ervaring te creëren met vrienden.

“To create and maintain clubbing friendships”, as a “key technological ‘tool’

used in order to procure illegal substances” and ultimately also to create a “personal ‘safe’ space for the clubber in the in-club

setting, helping to manage feelings of nervousness and anxiety” created by drug

use.“(Moore, 2006)

28

2.5. Technieken voor interactieve publieksparticipatie Om het publiek te laten participeren tijdens evenementen bespreken we verschillende technieken met betrekking tot publieksparticipatie. Er zijn talrijke voorbeelden van projecten die publieksparticipatie inhouden in het domein van “musical en non musical systems” (Oh en Wang, 2011). Recent onderzoek binnen dit domein wordt voornamelijk gedomineerd door “interactive musical performances and interactive gaming” (Garett, 2012). Deze projecten kennen veel raakvlakken met het domein van interactieve visuals op evenementen en zijn daarom interessant om te analyseren.

De interactiemogelijkheden van de smartphone kunnen het best duidelijk gemaakt worden aan de hand van het onderzoek van Ballahas, Rohs, Sheridan en Borchers (2007). Zij onderzochten de verschillende inputmogelijkheden van de smartphone door middel van bestaande interactieprojecten in deze context te analyseren. Dit resulteerde in een vijfdelig classificatiemodel dat de interactiemogelijkheden van de smartphone weergeeft: The Design Space of Ubiquitous Mobile input. Met deze analyse willen ze toekomstige designers informeren en inspireren. Dit model is een uitstekend vertrekpunt om de verschillende sensoren en de mogelijkheden te bekijken.

5: Classificatiemodel sensoren smartphone

Bovenstaande figuur is het classificatiemodel dat is opgesteld als resultaat van hun studie. Wanneer we dit model bekijken, kunnen we stellen dat de smartphone een uitstekend instrument is om te gebruiken in een interactieve omgeving. Hieruit kunnen we afleiden dat een mobiele telefoon zeer veel geïntegreerde sensoren bevat die interactie met de omgeving mogelijk maken. Deze sensoren worden onderverdeeld in verschillende classificaties zoals oriëntatie, positie, versnelling en selectie.

29

Verder worden de sensoren gegroepeerd op basis van indirecte en directe interactie. Dit model is echter een veralgemeend model en daarom niet helemaal relevant voor ons onderzoek. Er wordt geen rekening gehouden met de interactiemogelijkheden van de sensoren voor een publiek. In hoofdstuk 2.5.2 gaan we dieper in op het model van Essl en Rohs (2009), wat geïnspireerd is op dit model. Essl en Rohs hielden rekening met een publiek in hun model waardoor het beter binnen ons onderzoek past. Het publiek is een van de actoren waarop ons onderzoek rechtstreeks betrekking heeft. Mobiele telefoons kunnen een uitstekende tool zijn voor performances waarbij de focus op de samenwerking van het publiek ligt. CaMus² ( Essl & Rohs, 2007) bijvoorbeeld, maakt gebruikt van de camera’s in mobiele telefoons en Bluetooth om het publiek te laten samenwerken in een performance. De camera van de smartphone wordt ingezet om beweging te registreren. Dit blijkt voor ons onderzoek minder interessant omdat de smartphone opzichtig gebruikt wordt.

Een model voor interactieve publieksparticipatie op basis van de smartphone is MassMobile. MassMobile is een client-server model om publieksparticipatie te creëren met behulp van smartphones in live performances (Weitzner, Freeman, Garrett en Chen, 2009). Het is een flexibel model dat eenvoudig kan worden toegepast op verschillende types van performance en daardoor ook op dit onderzoek. Het maakt gebruik van bi-directionele communicatie tussen de performer en het publiek over 3G, 4G of WIFI netwerken. MassMobile probeert een uitbereiding te vormen voor de traditionele methoden voor publieksparticipatie in live performances. De focus ligt hierbij op drie pijlers: (1) snelle ontwikkeling van nieuwe interfaces, (2) plug-and-play ontwikkeling voor performance omgevingen en (3) het gebruik van de smartphone vereenvoudigen voor verschillende platforms. De eerste pijler is gericht op rapid prototyping. Hierdoor kan het prototype op een iteratieve wijze ontwikkeld worden. Plug-and-play beoogt een snelle installatie voor het publiek. In grote groepen en evenementen is er geen tijd om een lange installatieprocedure uit te voeren. Het doel van de laatste pijler is om de applicatie in slechts één stap te lanceren voor deelnemers uit het publiek. Het is niet uitnodigend om een hele installatieprocedure te volgen, evenmin assistenten een groot publiek in te sturen om ondersteuning te bieden bij de installatie. MassMobile is geen kant-en-klaar framewerk waarop beroep kan worden gedaan als ontwikkelaar. Tot nog toe is MassMobile enkel gebruikt door de onderzoekers en ontwikkelaars zelf, in samenwerking met choreografen. Dit model stelt benaderingen voorop die toegepast kunnen worden om de doelstellingen van ons onderzoek te verwezenlijken. Door de eerste prototypes minimaal te houden, werken we in eerste instantie naar een antwoord op onze onderzoeksvraag toe. Bij het finale prototype proberen we de drie pijlers van MassMobile in rekening te brengen. De haalbaarheid van het toepassen van deze pijlers wordt duidelijk tijdens de praktische uitvoering van het onderzoek.

Zoals vermeld in het begin van dit hoofdstuk situeren de meeste projecten met betrekking tot publieksparticipatie zich in het domein van ‘interactive musical performances and interactive gaming’. In de volgende hoofdstukken bestuderen we de bekendste projecten en onderzoeken binnen deze domeinen en trachten we informatie en inspiratie mee te nemen naar de praktische uitvoering van ons onderzoek.

30

2.5.1. Interactive gaming

Met behulp van 30 experimenten Maynes-Aminzade, Pausch en Seitz (2002) onderzochten technieken voor interactieve publieksparticipatie binnen het domein van interactieve games. Het publiek tijdens deze experimenten varieerde telkens van honderdvijftig tot honderdzestig personen. De testen gingen door in een bioscoop, waarbij de testpersonen nooit op voorhand werden ingelicht dat ze een interactieve show bijwoonden. Ze stelden een set van interactieve publieksparticipatietechnieken voor, gebaseerd op de resultaten van deze experimenten en interviews met het publiek. Hierbij wordt een onderverdeling in drie onderdelen gemaakt: ‘system design, game design en social factors’. Vanuit het standpunt van interactieve visuals kunnen we de onderdelen system design en social factors als overlappend beschouwen. Deze onderdelen worden dan ook gedetailleerder beschreven.

System Design:

- Focus op de activiteit, niet de technologie. Terwijl mensen in eerste instantie verbaasd zijn door de technologie die de interactie mogelijk maakt, verliezen ze hun interesse binnen de dertig seconden als de activiteit niet geheel vermakelijk is.

- Je moet niet elke persoon in het publiek waarnemen. Wat telt, is wat het publiek denkt dat er gaande is, niet wat er werkelijk gaande is. Maynes-Aminzade, Paush en Seitz stelden vast dat personen die denken een bijdrage te leveren, volledig mee participeren. Ook al leveren ze die bijdrage niet.

- Maak het regelmechanisme voor de hand liggend. Het is belangrijk dat het publiek begrijpt hoe hun acties invloed hebben. Het publiek zal niet mee participeren in een activiteit als het niet onmiddellijk duidelijk is wat hun invloed is.

Game Design:

- Laat het tempo van de activiteit variëren. - Voer de moeilijkheidsgraad van de activiteit op.

Dit onderdeel bespreken we niet in detail omdat het specifiek gericht is op gaming en daardoor minder relevant voor ons onderzoek.

Social factors:

- Speel in op de emotionele gevoeligheden van de menigte. Sociale betrokkenheid is belangrijker dan technologische betrokkenheid. Uit een experiment met laser pointers bleek dat de beste resultaten niet werden gehaald wanneer iedereen uit het publiek een laser pointer had. Wel de experimenten waarbij de leden zonder laser pointers begonnen te roepen. Door het loterij effect (“Ik kan de volgende zijn”) en het gejuich of boe-geroep naar andere personen werd het hele publiek betrokken, hoewel slechts 1 of 2 van de 500 personen rechtstreeks aan het participeren waren.

- Stimuleer samenwerking in het publiek. Een activiteit wordt aantrekkelijker voor een individu wanneer die een individuele rol krijgt opgelegd die hij/zij moet vervullen. Enkel wanneer elk individu zijn rol vervuld heeft, wordt het publiek beloond. Deze benadering zet mensen aan om elkaar te stimuleren en vergroot de verantwoordelijkheidszin van een individu.

31

De opgesomde onderdelen kunnen van belang worden tijdens de evaluatie en verdere uitbouw van het prototype. Wanneer ik overeenkomende bevindingen verkrijg na het testen van de prototypes, kan dit model worden toegepast.

2.5.2. Interactive music

In een onderzoek van Feldmeier en Paradiso (2007) worden goedkope bewegingssensoren gebruikt om een interactieve muziekomgeving voor grote groepen te creëren. De sensoren detecteren beweging van de deelnemers (gebaseerd op versnelling) die de muzikale structuur, sonische activiteit en lichtregeling in een ruimte dynamisch zal bepalen. “HPDJ” is een pakket samengesteld voor dansers dat verschillende sensoren zoals accelerometers, hartslagmeters en Bluetooth bevat (Cliff, 2007). Dit systeem wordt gebruikt binnen een interactieve omgeving om de algemene intensiteit van het publiek te bepalen. Aan de hand van de intensiteit worden bepaalde liedjes en tempo’s opgelegd. Hierdoor probeert men het publiek aan het dansen te houden. Dit is een systeem dat al snel zeer duur wordt voor grote groepen. We kunnen echter vaststellen dat de accelerometer een geschikt instrument is om de intensiteit van het publiek te registeren.

Een van de eerste en meest relevante voorbeelden waarbij gebruik gemaakt wordt van mobiele telefoons van het publiek om de menigte te betrekken in een muzikale performance, is Dialtones (Levin, 2001). Dialtones is een grootschalige muziekvoorstelling, die volledig bepaald is door het bellen naar de mobiele telefoons van het publiek. Om een bepaalde choreografie te bereiken, moet het publiek op voorhand bepaalde ringtonen afhalen, hun nummers laten registreren en op vaste plaatsen gaan zitten. De artiesten gaan dan de verschillende mobiele telefoons opbellen om een collectief geluid te creëren. Deze benadering verschilt van onze onderzoeksbenadering, daar het publiek enkel als passieve ontvanger geldt. Wel is het interessant om een grote groep te laten deelnemen aan één project. Tot 200 mensen namen deel aan de voorstelling. (1) Bi directionele interactie tussen de performer en het publiek is niet van toepassing, omdat het publiek de muziek niet zelf kan beïnvloeden. Ook is er (2) geen enkele mogelijkheid om te interageren tussen de deelnemers onderling.

Jason Freeman besteedde in het bijzonder aandacht aan deze twee uitdagingen in Glimmer (2004). Glimmer benadert het publiek als muzieksamenstellers, die niet enkel naar de muziek luisteren maar ook actief vorm geven aan muziek. Elke persoon uit het publiek krijgt een ‘light stick’ die aan- en uitgezet kan worden. Een computer analyseert live video van het publiek tijdens het optreden en stuurt instructies door naar het orkest. Glimmer is ontwikkeld als een doorlopend interactief feedbacksysteem: het publiek voert niet enkel acties uit die veranderingen veroorzaken in de muziek, maar reageert ook op de muziek die ze horen en de video die ze zien. Dit design benadert Freeman zijn doelstellingen: “To give the audience an opportunity to contribute not merely surface content to the work, nor to simply choose from a limited menu or pre-conceived paths, but to influence the work at a lower level.” De bandering om het werk te beïnvloeden strookt met wat wij vooropstellen in dit onderzoek: de visuals op een lager niveau laten manipuleren door het publiek. Dit project valt echter binnen de context van ‘motion capturing’ omdat er gebruik gemaakt wordt van camera’s om het publiek te filmen.

32

Wij gaan uit van de sensoren van de smartphone van de bezoeker zelf en stellen dus een motion sensing benadering voorop. Tijdens zijn observatie bij Glimmer merkte Freeman een interessant fenomeen op bij het gedrag van het publiek:

“But most importantly, audience members enjoyed waving their light sticks around much more than switching them on and off, even though they knew that such activity had little effect on the music. Not only was it more fun to do, and not only was it more pleasing to watch, but it also gave them the feeling of more communication with and control over their peers. They were able to communicate a range of information to each other — if not to the computer software — through their stick’s position and speed, going beyond mere on/off signals.”

Oh en Wang (2011) voerden onderzoek naar de mogelijkheden om het publiek te betrekken in een performance met behulp van de smartphone. Hun onderzoek heeft voornamelijk betrekking op muziek. Ze vertrekken van een analyse van bestaande technieken om later via verschillende experimenten een eigen set van technieken te presenteren. Deze technieken bieden een aanvulling op de eerder besproken technieken in dit hoofdstuk en zijn daarom interessant om kort te bespreken. Het primaire doel van dit onderzoek was om perceptiedata te verzamelen van het publiek. Hierdoor kon men een beter inzicht krijgen in het gedrag van het publiek. Oh en Wang maakten een publieksparticipatiemodel bestaande uit drie verschillende technieken:

1. Een eerste techniek is om het publiek muziek te laten generen dat deel gaat uitmaken van de compositie: Sampling audience

2. Een andere techniek is om gebruik te maken van sociale netwerksites zoals Facebook en Twitter: Leverage social networking services

3. Een laatste techniek is om gebruik te maken van interactieve webapplicaties: Interactive web application

Hun onderzoek is relevant omdat ze muzikale experimenten uitvoeren waarbij visuele feedback gegenereerd wordt voor het publiek. Deze visuele feedback kunnen we tot zekere hoogte beschouwen als visuals.

Een ander project waarbij mobiele apparaten ingezet worden als muziekinstrument is Shamus (Essl en Rohs, 2007). Shamus maakt gebruik van accelerometersensoren om muziek te genereren. Met behulp van lichaamsbewegingen als schudden, zwaaien, vegen, enzovoort kan een individu muziek genereren.

33

Essl en Rohs (2009) maakten een analyse van de mogelijkheden van de sensoren van mobiele telefoons. Met hun studie tonen ze hoe sensoren van de smartphone een rol kunnen spelen voor het publiek in interactieve muziekperformances. Ze beschrijven de mogelijkheden van de verschillende sensoren van smartphones voor interactieve performances aan de hand van een ‘design space of sensor technologies’. Zoals eerder vermeld is dit model geïnspireerd door Ballagas, Rohs, Sheridan en Borchers (2006) en aangepast aan de vereisten voor mobiele muziekcreatie. In tegenstelling tot de design space van Ballagas waarbij de focus meer gericht is op het resultaat van de interactie (positie, oriëntatie, selectie) ligt hier de focus op lineaire en rationele bewegingen, de maximale snelheid die waargenomen kan worden door de sensoren en de maximale fysieke interactiewaarde die bereikt kan worden.

De sensoren in dit schema meten statische positie en oriëntatie, snelheid en versnelling. Ze kunnen opereren ten opzichte van een referentiepunt of kunnen ingezet worden zonder referentiepunt. Het model bestaat uit verschillende classificaties. Dit model is interessant voor ons onderzoek omdat we hiervan mogelijkheden van sensoren van de smartphone kunnen afleiden die we kunnen toepassen op ons design. De verschillende classificaties binnen dit model worden daarom kort besproken:

- Absolute vs. Relative measures: absolute metingen kunnen opgeslagen, gereproduceerd en herhaald worden. Ze kunnen waarden aannemen die gerelateerd kunnen worden aan muzikale paramaters zoals pitch en loudness. Relatieve metingen zijn waarden die berekend worden aan de hand van een vergelijking met iets anders. Zo geeft de accelerometer versnellingswaarden door t.o.v. de zwaartekracht.

- Linear vs. Rotational: bewegingen kunnen lineair zijn of roterend. Sommige sensoren kunnen zowel lineaire bewegingen als rotatie meten. Deze sensoren worden in het schema aangeduid en verbonden door middel van een stippellijn.

- Maximum velocity vs. unlimited velocity: sommige sensoren kunnen bewegingen registreren met een snelheid die niet bereikt kan worden door het menselijk lichaam. Deze vallen binnen de categorie: unlimited velocity. Onder maximum velocity vallen de sensoren die niet in staat zijn snellere beweging te registreren dan die van het menselijk lichaam.

- Limited vs. Unlimited reach: reach is de maximale waarde die bereikt kan worden. Dit kan gelimiteerd of ongelimiteerd zijn. Voor een Touch-screen bijvoorbeeld is het bereik gelimiteerd door de afmetingen van het scherm. “From the point of view of the audience, large reach means that gestures can be chosen from a larger region of space and can be more easily observed and associated with sound” (Essl en Rohs, 2007). Om de intensiteit van het publiek te meten, kunnen sensoren die een ongelimiteerd bereik hebben in dit opzicht een leuke benadering bieden.

6: Classificatiemodel v2 sensoren smartphone

34

Wanneer we het criterium ‘transparantie’ centraal stellen in dit model en de verschillende sensoren vergelijken, kunnen we al snel enkele sensoren als ongeschikt beschouwen voor ons prototype. De sensoren die wel geschikt lijken voor ons onderzoek zijn de accelerometer, magnetometer, gyroscoop en capacitive proximity sensor. Wanneer we deze sensoren vergelijken met behulp van de classificaties in dit model, biedt de accelerometer de meeste mogelijkheden. Deze sensor kan als enige zowel sensor lineaire bewegingen als rotatie meten. De accelerometer heeft een ongelimiteerd bereik wat volgens Essl en Rohs in de context van muziek een meerwaarde heeft voor het publiek. Het is een versnellingssensor en dus geschikt om de intensiteit van bewegingen te meten.

In dit hoofdstuk zijn verschillende technieken voor interactieve publieksparticipatie voorgesteld. De meeste toepassingen bevinden zich in het domein van gaming en muziek. Beide domeinen vertonen raakvlakken met het domein visuals. De technieken die werden aangehaald binnen dit hoofdstuk zullen de basis vormen voor onze benadering en gelden als informatie- en inspiratiebron voor de praktische uitvoering van dit onderzoek.

2.6. State of the art In de state of the art analyseren we toepassingen die specifiek zijn ontworpen voor een Vj. In het vorige hoofdstuk werden algemene onderzoeken en projecten omschreven. Sommige van deze projecten waren niet specifiek ontworpen voor een Vj maar bevatten wel interessante informatie die toegepast kan worden in de context van interactieve visuals. Een analyse van de projecten in dit hoofdstuk is essentieel voor de verdere technische uitwerking van ons prototype. Dankzij deze analyse trachten we technische inzichten te verkrijgen, specifiek in relatie tot de Vj en visuals.

2.6.1. Casestudie: eiPIXEL

eiPIXEL is ontworpen door Matthias Oosterink (2010) en is onderdeel van een interactieve mediawand die werd ontworpen voor de stad Eindhoven door het MAD emergent art center. De stemming van de stad wordt overgebracht via het internet met behulp van real time zoekmachines zoals Google. Maar ook via Twitter en Hyves wordt gescand naar wat er de afgelopen 24 uur over de stad Eindhoven is gezegd. Bij veel positieve berichten over de stad Eindhoven worden de pixels blij, gaan ze meer bewegen, ontstaan er leuke vormen. Wanneer het een sombere dag is en er veel negatieve berichten zijn worden de pixels zeer rustig, stil en donker. eiPIXEL is tevens een visualisatie van de inwoners van

Eindhoven. De visuals geven evenveel pixels weer als er inwoners van Eindhoven zijn. Al de pixels hebben hun eigen wil en karakter en gaan in samenwerking complexe structuren aannemen en daardoor ontstaan er steeds vormen.

‘eiPIXELs’(genoemd naar een pixel van het project eiPIXEL) reageren ook op de bezoekers van het stadskantoor. De aanwezigheid van de bezoekers, de snelheid van beweging en het geluid dat de bezoekers maken, wordt als input gebruikt voor de visualisatie. Dit project is een interessant

7: eiPIXEL

35

voorbeeld waarbij bepaalde parameters van de visuals worden bepaald door de bezoeker. Dit sluit aan bij de benadering die Geyskens vooropstelde tijdens het expertinterview.

2.6.2. Casestudie: FaderTouch

James Cui of ‘Vj Fader’ is een internationaal gewaardeerde visuele kunstenaar met een focus op live video performance en generatieve visuele kunst. James Cui heeft de voorbije jaren een eigen touchscreen interface ontwikkeld onder de naam faderTouch. FaderTouch is een draagbare touchscreen interface met een infrarood aanraakscherm die verbonden kan worden met een Mac of PC via USB. Het scherm behoort tot het type ‘Rear projection screens’. Dit type van scherm ondersteunt doorzichtprojectie, waardoor het mogelijk is vanaf de achterkant te projecteren op het scherm. Hierdoor kan het publiek het gezichtspunt van de Vj zien.

Over de jaren heen zijn er verschillende upgrades uitgebracht van faderTouch. FaderTouch 3.0 is de meeste recente versie. Door het touchscreen kunnen verschillende soorten visuals worden gecreëerd en gestuurd met behulp van aanraking. Het touchscreen ondersteunt ook mogelijkheden zoals ‘beat tapping’. Een touchscreen zorgt ervoor dat de Vj meer gevoel krijgt in de creatie van zijn visuals. Methodes zoals ‘beat tapping’ zijn leuker wanneer men dit fysiek kan ervaren. Door de muis van een computer als instrument te gebuiken om ‘beat tapping’ toe te passen kan niet hetzelfde bereikt worden. In ons prototype is het aangewezen om op zoek te gaan naar een touchscreen interface waarbij we dit kunnen integreren.

2.6.3. Casestudie: SYNK

Plastikman SYNK is de meest geavanceerde applicatie op dit ogenblik in het domein van interactieve live visuals met behulp van de smartphone. Plastikman is een alias van de bekende techno DJ Richie Hawtin. Hawtin biedt veel meer dan een standaard live-set: zijn set is een combinatie van voorgeprogrammeerde muziek en visuals met improvisatie en zelfs interactie met het publiek in de vorm van de iPhone app SYNK. Met die applicatie en een speciaal Wi-Fi netwerk wordt de bezoeker betrokken bij de show, en kan hij op bepaalde momenten in de set het resultaat mee bepalen.

“SYNK users will participate in an experiment in audience-performer interaction aiming to blur the lines of perception and participation.”

Synk bestaat uit verschillende componenten en staten die actief/passief kunnen zijn:

Logikal is een deel van het programma nodigt het publiek uit om woorden die vertoond worden op de smartphone te herorganiseren, gebruikmakend van een interface van twintig knoppen. Logikal verlegt de controle van de performance, van het podium naar het publiek. Kamera is het onderdeel van de applicatie is enkel toegankelijk tijdens de show en geeft de gebruikers een live videostream van de performance vanuit een bepaald perspectief. Synkotik is het onderdeel maakt gebruik van de real-time gegenereerde visuals. Het geeft een beeld van de podiumvisuals op de smartphone.

8: FaderTouch 3.0

36

Hierdoor krijgt de bezoeker een uniek beeld van de videoshow. Konsole is een onderdeel dat op bepaalde ogenblikken tijdens de show actief wordt. Het geeft inzicht in de programmering van de drum performance en percussie elementen, terwijl het ook visuele feedback geeft over muzikale en effect parameters.

9: SYNK applicatie

De verschillende onderdelen (4) worden willekeurig geactiveerd tijdens de show. Gebruikers worden gewaarschuwd wanneer een bepaald onderdeel actief is op een bepaald moment in de show. De Synk performance belemmert de ervaring van de liveshow niet voor de gebruikers.

Tussen bepaalde performances zal de applicatie in slaapmodus veranderen en functioneren als “Plastikman atmospheric location shifter” door visuals te genereren die geïnspireerd worden door afgeleiden, gecombineerd met waardes van de ingebouwde microfoon en accelerometer van de iPhone. Gebruikers worden ondergedompeld in een meeslepende omgeving.

2.6.4. Casestudie: iPoi

iPoi is de naam van een ‘live art’ systeem dat gebruik maakt van versnelling als een medium voor het controleren van “visual imagery and audio soundscapes” (Sheridan, Bayliss, Bryan-Kinss, 2006). De eeuwenoude touwkunst van de Maori wordt toegepast om een visuele voorstelling te creëren.

Poi is de naam voor een tennisbal die bevestigd is aan het uiteinde van een touw. Een ‘poier’ houdt in beide handen het begin van het touw vast. Met behulp van zwaaibewegingen worden er patronen in de lucht gemaakt. In de tennisballen zijn sensoren geïntegreerd die versnelling meten, deze data verzamelen en doorsturen via een draadloos netwerk. Deze data zorgt voor een directe manipulatie van de videoshow en het geluid.

Het systeem maakt gebruik van tMote Invent, een draadloos apparaat dat een accelerometer bevat en data van deze sensor kan doorsturen naar een computer waarop een ontvanger is aangesloten. Deze data wordt dan gebruikt in MAX/MSP (grafische programmeeromgeving) om live video en audio scenes te genereren. Deze worden gecreëerd met behulp van een Vj en DJ. Sinds de komst van de smartphone kan de functionaliteit van tMote Invent vervangen worden door een smartphone. Voor kleine groepen is dit een ideaal systeem, voor grote groepen lopen de kosten hoog op.

37

2.6.5. Casestudie: FEATHERWEIGHT

Featherweight (Paradiso, 2004) is een project waarbij ‘vederlichte’ draad loze sensoren zijn ontwikkeld. Sensoren die zeer goedkoop zijn en extreem weinig verbruiken. Hierdoor zijn ze uiterst geschikt om door het publiek te

gebruiken op evenementen en interactie te stimuleren. De sensoren kunnen eenvoudig worden vastgepakt in de handpalm en zijn daardoor zeer mobiel. Doordat ze een zeer lage productiekost kennen, kunnen ze worden uitgedeeld bij grote evenementen. De sensoren sturen een korte puls door wanneer de intensiviteit boven een bepaalde ingestelde waarde ligt. Uit de statistieken van deze data kan de hoeveelheid van activiteit, het tempo en synchronisatie worden afgeleid van de deelnemers.

Dit project dateert van 2004. Dezelfde interactiemogelijkheden zijn nu mogelijk dankzij de smartphone. Vermits de smartphone alsmaar lichter wordt, kan deze ook uitstekend in de hand worden gedragen, net zoals de ‘vederlichte’ sensoren. Het publiek draagt deze bovendien al, waardoor geen aparte apparatuur moet worden meegeven. De sensoren in dit project moeten bovendien altijd in de hand gedragen worden om beweging te registreren.

2.6.6. Casestudie: iSensorii

iSensorii is een multi-user interactieve beeld/geluidsinstallatie (Brooks, 2009). Gebruikers krijgen de mogelijkheid om een geluid- en videoshow te manipuleren. Ze kunnen dit doen door middel van Wiimote’s die aan de installatie gekoppeld zijn of draadloos met behulp van hun eigen smartphone. Bezoekers van het Dallas Museum of Art kunnen vooraf een applicatie downloaden via de App Store van Apple. Deze applicatie is

enkel werkzaam wanneer men het museum betreedt. Via een op maat gemaakte interface kunnen verschillende paramaters van de videoshow worden aangepast. Deze benadering gaat de visuals op een lager niveau aanpassen, wat overeenkomt met de bandering die Freeman vooropstelde in Glimmer. ISensorii toont zeer veel gelijkenissen met ons onderzoek. Het grote verschil is hier de onafhankelijkheid. Er komt geen Vj aan te pas. De bezoekers krijgen de volledige controle over de videoshow. De technische uitwerking is gebeurd met MAX/MSP. Het project is ontwikkeld met de programmeertaal objective-c en interface builder in combinatie met x-code, maar dit was zeer tijdsintensief volgens Brooks

“And it took me a over a year to create the iSensorii project. So the decision is yours.” (Brooks, 2012)

Hij gaf als tip dat dit ook kon ontwikkeld worden met bestaande OSC (Open sound control) applicaties. Enkel zijn er dan wat beperkingen gaf hij aan: je bent beperkt in de design en de gebruiker moet een extra stap door met het inladen van de interface.

10: FEATHERWEIGHT bewegingssensor

11: iSensorii

38

#iPoi

39

3.Praktische uitwerking: onderzoek en prototypes

40

#Praktische uitwerking: onderzoek en prototypes |

De praktische uitwerking is gestart met een vergelijking van de verschillende sensoren van de smartphone op basis van vooropgestelde criteria die binnen onze onderzoeksbenadering passen. Uit deze vergelijking is gebleken welke sensor het interessantst was om mee verder te werken. Daarna zijn de verschillende softwarekandidaten vergeleken. Enerzijds voor het publiek, anderzijds voor de Vj. Nadat we de sensormogelijkheden, de geschikte software voor het publiek en de Vj kenden, zijn we gestart met de uitbouw van de eerste prototypes.

3.1. Smartphone sensoren

Een vergelijking van de mogelijkheden en functionaliteiten van de verschillende sensoren was de eerste stap in de praktische uitvoering van het onderzoek. Alle sensoren werden vergeleken op basis van een aantal vooropgestelde criteria: transparantie, accuraatheid, kostprijs, beweging/intensiteit, levensduur batterij, bereik en alle types. Elke sensor werd getoetst aan deze criteria. Door deze vergelijking bleek welke sensoren ongeschikt waren voor het prototype en met welke verder gewerkt kon worden.

Naast transparantie (zie literatuurstudie) was de accuraatheid een belangrijk criterium. Accuraat verwijst naar de nauwkeurigheid van de verzamelde data. Sommige sensoren zijn niet in staat om nauwkeurige data af te leveren in bepaalde omgevingen. Omdat we evenementen in een ruim context bestudeerden, zochten we sensoren die zowel binnen als buiten accuraat werken en niet beïnvloed worden door de omgeving.

Na de literatuurstudie en het gesprek met expert Geyskens, was het aangewezen om het criterium beweging/intensiteit in rekening te brengen. Hierdoor trachtten we de sensor te zoeken die het meest geschikt is om de intensiteit van het publiek te registreren en het meest potentieel heeft om een activiteit (zoals dansen) te registeren.

Wanneer we bepaalde sensoren aanwenden heeft dit een aanzienlijke invloed op de batterijduur van een smartphone. De meeste smartphones bieden de mogelijkheid om applicaties te installeren via distributiekanalen zoals de App store en Google Play. Deze applicaties maken vaak gebruik van de vele beschikbare sensoren. Ondanks het feit dat apparaten steeds meer mobiel worden, hebben veel softwareontwikkelaars een gebrek aan ervaring met draagbare apparaten op batterijen zoals de smartphone. Vaak vragen sensor-gebaseerde applicaties zeer veel processorkracht en werkgeheugen waardoor er zeer veel van de batterij gevraagd wordt. Hierdoor vermindert de levensduur aanzienlijk menen onderzoekers Ferreira, Dey en Kosatkos (2011). Sommige applicaties kunnen ervoor zorgen dat de batterij in minder dan een uur volledig leeg is. Op basis van dit criterium selecteerden we de sensoren die geen aanzienlijke invloed hebben op de levensduur van een batterij. Dit was noodzakelijk omdat evenementen vaak meerdere uren en/of dagen duren.

41

Het bereik vormde een belangrijke factor voor het maken van een applicatie. Sommige sensoren zijn enkel geschikt voor buiten gebruik, anderen voor binnen gebruik. Omdat veel evenementen deels binnen en deels buiten plaatsvinden, kozen we om een applicatie te ontwikkelen die zowel binnen als buiten gebruikt kon worden.

Smartphones zijn de laatste jaren ontzettend geëvolueerd. De eerste smartphone is slechts een schim van de laatste nieuwe op de markt. Omdat smartphones echter een dure kostprijs kennen, worden deze toestellen niet op regelmatige basis aangekocht. Hierdoor varieert het bezit van smartphones. Sommigen lopen nog met oudere toestellen rond, anderen met splinternieuwe. Deze evolutie zorgt ervoor dat ook het aantal sensoren is toegenomen in de toestellen(Ferreira, Dey en Kosatkos, 2010). Aan de hand van het criterium ‘alle types’ zijn we op zoek gegaan naar sensoren die in alle smartphones aanwezig zijn.

3.1.1. Vergelijkingsmatrix sensoren

Op basis van de verschillende vooropgestelde criteria konden we een matrix opstellen om de ideale sensor te achterhalen voor ons prototype. De accelerometer kwam hier als winnaar uit. Hij had het meeste potentieel voor ons onderzoek en werd daarom verder geëxploreerd.

Tabel 1: vergelijkingsmatrix sensoren smartphone

Type sensor Transparant Accuraat Beweging/ intensiteit Kostprijs Batterij Bereik Alle

types Microfoon x x x x x Accelerometer x x ++ x x x x Gyrometer x x + x x x x Camera + x X x GPS x + x (digitaal) Kompas x x + x x x

Afstandssensor x x + x x x Multi touch display x x + x x x

Ambient light sensor x x x x x

Bluetooth x + x x x WIFI x x Magnetometer x + x x x x Barometer x + x x x Temperatuur sensor x x x x

42

3.2. De accelerometer Een accelerometer is een sensor die een versnelling kan registreren. Smartphones beschikken meestal over een drie-assige accelerometer. Deze sensor is ontworpen om een versnelling te meten langs drie assen:

- De voor-en achteruit z-as; - De linker-en rechter x-as; - De boven en onder y-as.

3.2.1. Waarden

De ISO-eenheid voor versnelling is m/s² maar wordt in veel gevallen gerelateerd aan de valversnelling ‘g’ (1g = 9.81m/s²). De valversnelling is verantwoordelijk voor de zwaartekracht die wij allemaal ondervinden, dus ook de accelerometer (Van den Mooter, 2010).

Wanneer een smartphone op een vlak oppervlakte ligt zullen de waarden als volgt berekend worden: [x, y, z] – [x-g, x-g, z-g]: [0,0,-9.81]. De zwaartekracht is dan van toepassing op de z-as. Hierdoor wordt de versnellingswaarde gemeten via deze as -9.81 of -1g.

3.2.2. Toepassingsgebieden

In de seismologie worden accelerometers gebruikt om de trillingen van de aarde in het gebied dicht bij het epicentrum te meten. In de geneeskunde bijvoorbeeld, wordt de accelerometer gebruikt om epilepsieaanvallen te registreren. Spelconsoles maken de laatste jaren ook gretig gebruik van de ongekende mogelijkheden van de accelerometer. De grote spelers zoals Nintendo, Xbox en Playstation gebruiken accelerometers voor de besturing van games. Verder kent de accelerometer toepassingen in onder meer volgende domeinen: navigatie, biologie, industriële toepassingen, transport, vulkanologie, gravimetrie en fotografie.

Met de komst van de smartphone is een nieuw domein ontstaan waarbinnen accelerometers een belangrijke rol spelen. Steeds meer applicaties maken gebruik van deze sensor: van een foto draaien wanneer de smartphone gedraaid wordt tot de besturing van race games. Verder is deze sensor uiterst geschikt voor de interaction designer om nieuwe toepassingen te ontwikkelen.

12: accelerometer smartphone

43

3.2.3. Voorbeeldactiviteiten

Doordat een smartphone uitgerust is met een accelerometer, leent die zich er perfect toe om activiteiten te gaan registreren. Op basis van deze waarden kunnen activiteiten herkend worden. De laatste jaren zijn er veel studies gevoerd naar het herkennen van activiteiten via accelerometerdata. Toch is dit soort onderzoeken niet nieuw. Onderzoekers Bao en intille (2004) ontwikkelden een activiteitenherkenningssysteem gebruikmakend van bi-axiale accelerometers. Ze plaatsten sensoren op vijf verschillende delen van het lichaam en konden hierdoor twintig verschillende activiteiten herkennen. Deze activiteiten konden herkend worden met een gemiddelde accuraatheid hoger dan 84%.

Tabel 2: aggregate recognition rates (%) for activities studied using leave-one-subject-out validation over 20 subjects uit Activity Recognition from User-Annotated Acceleration Data (2004, p. 11)

Kwapisz, Weiss en Moore (2011) voerden onderzoek naar het herkennen van activiteiten met behulp van gecommercialiseerde smartphones, het type smartphones dat doorgaans gebruikt wordt door het publiek op evenementen. Ze ontwikkelden een algoritme dat het mogelijk maakte activiteiten te herkennen met de smartphone in de broekzak. De smartphone fungeerde als transparant instrument om activiteiten te herkennen, met opvallend hoge herkenningspercentages als resultaat. Aan de hand van bovenstaande onderzoeken kunnen we stellen dat de accelerometer een bijzonder betrouwbaar instrument is om activiteiten te registreren.

Tabel 3: accuracies of Activity Recognition uit Activity Recognition using Cell Phone Accelerometers (2010, p. 4)

44

3.3. Softwarekeuze publiek

3.3.1. OSC

Open Sound control is een protocol voor communicatie tussen computers, elektrische instrumenten, Microcontrollers en andere multimedia-apparatuur. De data die verstuurd kunnen worden zijn signed integers, floating point numbers, strings en blob data zoals audio of een video frame.

De voornaamste kenmerken:

Overdracht gegevens via een URL-stijl naamschema; Grote hoeveelheid data over een korte tijdspanne transporteerbaar; Stabiele connectie; Overzichtelijke datastructuur; Open source waardoor er veel documentatie bestaat en veel informatie via fora gevonden

kan worden.

Door de beschikbare bandbreedte is het mogelijk om meer data door te sturen zonder aan snelheid in te boeten. OSC heeft bovendien de mogelijkheid om apparatuur met elkaar te verbinden via een draadloos of kabelnetwerk (Leen, 2010). Dit maakt OSC een ideaal protocol voor smartphone toepassingen. Vrijwel elke programmeertaal kan communiceren via OSC. Hierdoor is OSC een zeer flexibel protocol en erg gebruiksvriendelijk, aldus Leen. Het is vaak verwerkt in Dj software voor smartphones en tablets. OSC is voor ons prototype een ideale manier om te communiceren tussen een smartphone en een Vj-setup met een computer. Via dit protocol kan op een relatief eenvoudige

manier sensordata worden verzonden. Het is mogelijk data van vrijwel elke sensor in de smartphone door te sturen naar een ander apparaat via dit protocol. In de volgende hoofdstukken bespreken we de verschillende pistes die zijn onderzocht om een applicatie te ontwikkelen waarbij dit protocol gebruikt kan worden om sensordata te verzenden.

3.3.2. Standalone applicaties

Standalone applicaties zijn computerprogramma’s die geheel onafhankelijk binnen een besturingssysteem kunnen draaien. Het grote voordeel is dat deze applicaties zeer gebruiksvriendelijk te installeren zijn. Een gebruiker heeft direct toegang tot de applicatie zonder eerst nog andere stappen te moeten doorlopen. Een doelstelling die Brooks(2012) met iSensorii bereikte. Deze soort applicaties kunnen volledig naar eigen noden geprogrammeerd en vormgegeven worden. Wanneer we een standalone applicatie zouden ontwikkelen voor de bezoeker moet er natuurlijk rekening worden gehouden met het besturingssysteem. De bekendste besturingssystemen zijn Android en iOS. In de volgende hoofdstukken bespreken we verschillende programmeeromgevingen die de mogelijkheid aanbieden om een standalone applicatie te maken voor de bezoeker. Via research through design is elke omgeving grondig verkend.

13: Open Sound Control

45

3.3.2.1. Processing

Processing is een programmeeromgeving die het best kan gezien worden als een soort van schetsboek dat toelaat om snel kleine prototypes op te zetten. De omgeving van Processing is vrij eenvoudig opgebouwd om ook beginnende developers de mogelijkheid te geven om kleine prototypes te bouwen. Processing is gericht op het ontwikkelen van visuele interfaces en applicaties. De applicatie interactief maken kan met behulp van verschillende inputmogelijkheden. Doordat het eenvoudig is om sketches op te stellen is het mogelijk om snel te experimenteren met allerlei in- en outputmogelijkheden.

Uiteraard is er voor deze codeeromgeving wel enige kennis van de syntax vereist. Vooraleer we aan de slag konden gaan met Processing, moesten we eerst de basisstructuur van een ‘sketch’ onder de knie krijgen. De structuur is gebaseerd op sketchen. Een sketch of schets, laat de gebruiker toe om snel kleine schetsen van code te maken en deze te testen. Dankzij deze methode is het eenvoudig fouten in het prototype op te sporen. De programmeeromgeving van Processing bestaat uit een eenvoudige texteditor waarin de gebruiker zijn Processing code invoert. Eenmaal zijn code voltooid is, moet hij op de ‘run-knop’ klikken om zijn sketch af te spelen. De structuur van een Processing sketch kan opgedeeld worden in 2 belangrijke onderdelen: Setup en Draw.

Processing heeft een uitgebreide community. Zo bestaan er communities waar de gebruikers hun sketches delen met andere gebruikers. Dankzij deze grote community ben je als beginnende developer in staat om sketches van andere gebruikers te testen en te analyseren. Op basis van uitgebreide voorbeelden leer je snel de syntax en structuur van een sketch kennen. Processing is een open source programma waarvoor andere developers onnoemelijk veel externe libraries hebben geschreven die de mogelijkheden van Processing vergroten. Dankzij deze libraries ben je in staat om steeds nieuwe technieken te gebruiken en te integreren in jouw sketches die anders niet mogelijk waren. Doordat Processing zich voornamelijk op visuele applicaties toespitst en de gebruiker toelaat om efficiënt sketches op te stellen, is dit softwarepakket uiterst geschikt voor het uiteindelijke prototype van ons thesisproject. Maar ook de grote hoeveelheid aan extra libraries is een groot voordeel. Voor de uitwerking van verschillende designexploraties is dit softwarepakket dus zeker geschikt.

Voor de eerste testen maakten we gebruik van een emulator3F

4. Uit de testen bleek dat de waarden van de accelerometer eenvoudig konden worden ingelezen in een processing sketch. Natuurlijk was het de bedoeling dat deze applicatie ook op een echt apparaat ging draaien. Na wat desk research

4 Een programma dat hardware of software nabootst (emuleert). (bron: http://www.icer.nl/computerwoordenboek.php)

14: Processing

46

bleek dat processing hiervoor niet geschikt is. Op de officiële wikipagina van processing staat een duidelijke boodschap te lezen die aangeeft dat deze software ongeschikt is voor het uitbouwen van een prototype voor onze thesis.

“Note that this code is incomplete and contains bugs. It should be considered ‘beta’ quality. Do not rely on this code for thesis or diploma work, as you will not graduate.”

3.3.2.2. Pure data Pure Data of ook Pd genoemd, is een visuele programmeeromgeving ontwikkeld voor de creatie van interactieve toepassingen. Pd is een open source softwarepakket met een groot bestand aan developers die continu de software uitbreiden. Ook hier merken we al snel dat er een grote community achter de software zit. Verscheidene fora zijn opgericht om uitsluitend mensen te helpen met vragen over hun multimediale projecten.

Met Pure Data kunnen we visueel gaan coderen. Je kan eenvoudig objecten aanmaken op het canvas, die je vervolgens met behulp van lijnen kan connecteren. Elke handeling of waarde die wordt doorgestuurd naar een ander object geeft een visuele feedback. Je kan bijvoorbeeld het volume van een microfoon meten door er een audiolistener aan te koppelen. Deze audiolistener berekent vervolgens de waarde van de sterkte van het audiosignaal. Doordat alle verbindingen visueel worden voorgesteld, blijft de structuur van een sketch of project steeds zichtbaar en duidelijk. Dit softwarepakket spitst zich voornamelijk toe op interactief audiodesign, maar kan ook perfect gebruikt worden voor andere interactieve toepassingen. De elementen uit het pakket zijn voornamelijk audiocontrollers. In het kader van deze thesis is Pd interessant als communicatiemiddel tussen het publiek en de Vj. In Pd zullen alle waarden binnenkomen van het publiek en verwerkt worden tot bruikbare input voor de Vj. Voor het maken van een standalone applicatie voor de bezoeker bleek Pd eerder ongeschikt.

3.3.2.3. Overige methoden

De overige opties om een standalone applicatie te maken waren ze specifiek programmeren voor Android of iOS in een daarvoor bestemde software-ontwikkelomgeving. Met behulp van het programma Eclipse hebben we getracht een applicatie te ontwikkelen voor Android. Na enkele mislukte pogingen met het experimenten met de OSC library en SDK tools, kregen we via verschillende fora te horen dat deze manier veel ‘bugs’ bevat en daardoor ongeschikt was. Een iPhone applicatie ontwikkelen bleek ook ongeschikt na het contact met Vj Brooks omdat het te tijdsintensief zou zijn(casestudie iSeonsorii). Na het onderzoeken van de verschillende pistes voor het maken van een standalone applicatie voor de bezoeker kwamen we tot de conclusie dat dit geen geschikte piste was. Door terug te koppelen naar onze literatuurstudie en the state of the art kwamen we uiteindelijk bij OSC applicaties terecht.

15: Pure Data

47

3.3.2.4. OSC applicaties Zoals eerder aangehaald zijn er al veel applicaties beschikbaar voor smartphones die gebruik maken van het OSC protocol. Deze applicaties worden hoofdzakelijk gebruikt om programma’s vanop afstand te bedienen. Meestal staan deze applicaties in verbinding met software voor Dj’s. Deze apps geven een interface weer op de smartphone of tablet die alle functies en mogelijkheden bevatten die Dj’s nodig achten.

Deze applicaties bieden ook heel wat ondersteuning voor sensoren. Sensordata kunnen van de smartphone/tablet naar een computer worden gestuurd en visa versa. Veel van deze applicaties ondersteunen de mogelijkheid om een aangepaste interface te maken voor de gebruiker. Door de mogelijkheid van het verzenden en ontvangen van sensordata konden deze applicaties gebruikt worden voor de uitwerking van de applicatie voor de bezoeker. Een vergelijking tussen de bekendste OSC applicaties moest duidelijk maken welke applicatie het meest geschikt was voor ons prototype.

Tabel 4: software kandidaten publiek

Applicatie Android OSX Protocol Programmeerbaar Gratis

TouchOSC x x OSC

CONTROL x x OSC/ MIDI X x ardOSC x OSC x OSCdroid x OSC/MIDI BETA x OSC-controller x x OSC x

iOSC x x OSC x MRMR x OSC X

Uit de vergelijking van verschillende OSC applicaties is gebleken dat CONTROL aan de meeste criteria voldoet. Het voldeed aan alle eisen om een eerste prototype applicatie voor de bezoekers uit te werken.

48

3.4. Softwarekeuze Vj De softwarekeuze voor de Vj wordt opgesplitst in twee delen: laag 1- en 2. Laag 1 zijn de bestaande Vj software. De bekendste Vj software worden besproken en vergeleken. Op basis van de vergelijking van de functionaliteiten en mogelijkheden werd een keuze gemaakt tussen deze programma’s. Deze software voor de Vj wordt in deze thesis als laag 1 beschouwd. Software uit laag 1 is het gevolg van jarenlang onderzoek en ontwikkeling door de fabrikanten. Dit zijn geavanceerde toepassingen. Deze toepassingen vormen de kern van het prototype voor de Vj. Zij zullen communiceren met een op maat gemaakte applicatie die ik in hoofdstuk 3.4.2. zal behandelen als laag 2. Deze interface biedt de mogelijkheden om de software uit laag 1 te bedienen, plus extra nieuwe mogelijkheden en functionaliteiten, en beschouwen we als uitbereiding op de eerste laag.

3.4.1. Softwarekeuze laag 1

3.4.1.1. Arkaos GrandVj

Arkaos GrandVj behoort al jaren tot de meest gebruikte Vj software. Het heeft een gebruiksvriendelijke interface en ondersteunt het DMX protocol. Dit geeft de mogelijkheid om materiaal aan te sturen zoals lampen, rookmachines, lasers, etc. Tot 512 verschillende objecten kunnen aangestuurd worden met dit programma. Hierdoor onderscheidt Arkaos zich van andere Vj software die meestal deze mogelijkheid niet aanbieden. Verder ook MIDI ondersteuning voor de meeste controllers op de markt.

3.4.1.2. MAX/MSP JITTER MAX/MSP is een grafische programmeeromgeving voor muziek, video en multimedia. Het wordt al meer dan vijftien jaar gebruikt door performers, artiesten, componisten, leraren en studenten. Met MAX/MSP kunnen complexe ideeën worden verwezenlijkt. Jitter is een uitbereiding die real-time videomanipulatie en 3D graphics ondersteunt. Het programma voorziet de functionaliteiten voor iedereen die geïnteresseerd is in interactieve kunst, nieuwe media, video processing en data visualisatie. Hierdoor komt dit programma ook in aanmerking voor ons project. Het grote nadeel is dat er echter geen grafische user interface is. Voor commerciële doeleinden is dit programma daarom minder geschikt.

3.4.1.3. Modul8 Modul8 is een vrij nieuw programma, ontwikkeld door GarageCube. Het is in het bijzonder bedoeld voor real-time videomanipulatie. Het biedt een eenvoudige interface aan voor de Vj met verschillende layers. Toch voorziet het programma de mogelijkheid om zeer gedetailleerde bewerkingen uit te voeren. Het programma heeft ook een geïntegreerde programmeeromgeving die het toelaat om zelf python scripts te schrijven binnen de applicatie.

3.4.1.4. Motion dive Motion dive is in 1998 ontwikkeld door Digitalstage. Het is een van de pioniers op het gebied van beeldende kunst. Het is zeer populair in Japan. Minder in de rest van de wereld omdat er pas sinds enkele jaren een versie bestaat die meerdere talen ondersteunt. Motion dive heeft sinds kort een

49

partnerschap met Roland en de bekende videomixer Edirol.Het programma ondersteunt MIDI en kan hardwarematig worden aangestuurd met een videocontroller. Het grote voordeel van dit programma is dat het een bibliotheek bevat met meer dan 2GB aan clips van bekende Japanse Vj’s.

3.4.1.5. Resolume Resolume is een zeer gekend en veelgebruikt programma. Het is een applicatie die speciaal voor live video is ontwikkeld en kan bijvoorbeeld worden gebruikt door Vj’s die een live videoperformance geven. Het programma kan worden aangestuurd met een toetsenbord, maar ook met een MIDI, AV controller en zelfs een iPad via OSC (Open Sound Control). De visuals kunnen automatisch worden afgestemd op de inkomende audio. De user interface is zeer eenvoudig en bovendien volledig moduleerbaar, wat Resolume een zeer dynamisch programma maakt.

3.4.1.6. Vidvox grid pro Sinds de release in mei 2003 is VIDVOX GRID een belangrijk instrument geworden voor honderden videokunstenaars en artiesten over de hele wereld. De ‘GRID’ is de kern van het programma. Het biedt een overzichtelijk beeld voor de Vj van alle clips die zijn ingeladen. Er kunnen tot 800 clips worden ingeladen, zonder dat het programma hierdoor moet inboeten aan snelheid.

3.4.1.7. Vergelijkingsmatrix software laag 1

Tabel 5: softwarekandidaten laag 1 Vj

Gebruiksvriendelijke grafische user interface

OSC ondersteuning

MIDI ondersteuning

MAC + Windows

Arkaos GrandVj X X X X MAX/MSP Jitter X X X Modul8 X X X Motion dive X X X Resolume X X X X Vidvox grid pro X X X

Uit bovenstaande vergelijkingsmatrix bleek dat twee programma’s voldeden aan de criteria voor de uitbouw van het prototype: Arkaos GrandVj en Resolume. Vermits de Vj die betrokken werd in het co-designproces reeds met Resolume werkte, kozen we voor dit programma. Hierdoor moest hij niet eerst een nieuw programma onder de knie krijgen, wat ons veel tijd zou besparen. Resolume vormt de kern van ons prototype. De communicatie met Resolume gebeurd via de applicatie voor de Vj. Deze applicatie vormt laag 2 en wordt volledig aangepast aan de eisen van de Vj. We kozen er ook voor om het criteria gebruiksvriendelijke interface toe te voegen aan dit project omdat we gaan testen met verschillende Vj’s. Wanneer we een project in een grafische programmeeromgeving als MAX/MSP opzetten, kunnen we dit niet gaan testen met willekeurige Vj’s omdat er specifieke kennis vereist is van de syntax. Dit zou een struikelblok vormen in de testfasen van de verschillende prototypes. Daarom kozen we voor een applicatie met een gebruiksvriendelijke grafische user interface als kern van onze prototype.

50

3.4.2. Softwarekeuze laag 2

Voor de software in laag 2 kozen we tussen verschillende applicatieplatformen die communicatie met softwarelaag 1 mogelijk maakten. Er werd geopteerd om een mobiele applicatie te ontwikkelen voor de Vj. Zoals eerder aangehaald in de literatuurstudie is het grote voordeel de mobiliteit, de vrijheid van bewegen doorheen de zaal voor de Vj. Deze mobiele applicatie werd ontwikkeld voor een tablet omdat de schermresolutie van een mobiele telefoon te beperkt was. In dit hoofdstuk bespreken en vergelijken verschillende softwarekandidaten die we onderzocht hebben om de geschikte software te bepalen.

3.4.2.1. TouchVIZ TouchViz is een draagbaar Vj systeem ontwikkeld door Hexler. Bekende elektronische muzikanten zoals Richie Hawtin maken gebruik van andere software ontwikkeld door Hexler, zoals TouchOSC. Het grote voordeel is dat Hexler ook een interface editor aanbiedt met heel wat objecten waarmee we snel een interface kunnen bouwen. Het nadeel: deze interface blijkt geen ondersteuning te bieden om te programmeren.

3.4.2.2. Lemur Lemur is de besturingsinterface die geïnstalleerd was op de Touch-screen hardware controller van JazzMutant. Het had een introductieprijs van 2400 euro. De komst van de IPAD betekende de dood van Lemur. In 2011 werd Lemur uitgebracht voor iOS door Liine. Sindsdien wordt het aanzien als een van de meest geavanceerde applicaties binnen zijn domein. Lemur kan zowel Vj software als DJ software aansturen.

Net zoals Hexler biedt Liine een interface editor aan. Hierin verschillen deze applicaties niets van elkaar. Enkel is deze editor veel geavanceerder. Hij biedt een uitgebreid repertoire aan objecten aan: faders, switches, buttons, etc. Al deze objecten kunnen tot in het kleinste detail naar persoonlijke smaak worden aangepast. Via een scriptpaneel kunnen functionaliteiten geprogrammeerd worden. Alle objecten binnen de interface kunnen zo interageren met elkaar, een functionaliteit die niet kan missen voor de uitwerking van het prototype. Dankzij een andere handige toepassing kunnen de reacties van de knoppen worden gesimuleerd. Hierdoor is de Lemur applicatie perfect voor Rapid prototyping.

51

3.4.2.3. MRMR De laatste OSC applicatie die besproken wordt is de MRMR controller. Dit is een open source applicatie die net zoals Lemur geschikt is om interfaces te ontwerpen voor meerdere doeleinden. Ook als instrument voor de Vj.

De kernelementen van MRMR zijn:

Eigen interfaces ontwerpen met behulp van een teksteditor; Multiuser by design/client peer-to-peer or client server modellen worden ondersteund; Open Standards en open source; Dynamische interfaces, ook de mogelijkheid om alles tot in het kleinste detail te

programmeren.

Het grote nadeel van MRMR is dat het slechts enkele widgets aanbiedt om de interface op te bouwen. De mogelijkheden zijn hierdoor beperkt. Het ontbreken van een grafische interface editor maakt het ontwerpen van een interface binnen deze omgeving ook zeer tijdsintensief.

3.4.2.4. Vergelijkingsmatrix software laag 2

Met behulp van enkele criteria vergeleken we de softwarekandidaten voor laag 2. Uit deze vergelijking bleek Lemur als beste naar voren te komen. Lemur voldeed aan alle vooropgestelde criteria. Het is in tegenstelling tot TouchVIZ programmeerbaar en biedt een zeer geavanceerde grafische interface editor met oneindig veel mogelijkheden. Omdat Lemur enkel iOS platforms ondersteunt, werd de applicatie voor de Vj ontwikkeld voor een iPad.

Tabel 6: softwarekandidaten laag 2 Vj

Programmeerbaar

Grafische interface

editor OSC Interface

mogelijkheden Platform

LEMUR x x x +++ iOS TouchVIZ - x x + iOS/Android MRMR x x + iOS

52

3.5. Deelprototypes en onderzoeken

3.5.1. Co-design

Co-design werd als methode toegepast bij de ontwikkeling van het eerste prototype. In een klassiek ontwerpproces gaat de onderzoeker de gebruiker passief en van op afstand bestuderen. Aan de hand van de opgedane kennis gaat de designer het product ontwikkelen. In tegenstelling tot het klassiek model treedt bij co-design de gebruiker meteen op als ervaringsexpert (Sanders, 2009). Binnen dit co-designproces trad de Vj op als ervaringsexpert. Geyskens

werd als expert betrokken in dit proces. We kunnen stellen dat dit een vereiste was, aangezien we ons in een onbekend domein begaven. De kennis en ervaring van de Vj werden uitgewisseld met onze ideeën en kennis die we verworven tijdens de literatuurstudie. Via co-design werd de functionaliteit en het uitzicht van de applicatie bepaald.

Nadat we eerst wat ideeën uitwisselden, kwamen we tot het idee om de publieksintensiteit te gaan meten met behulp van de accelerometer van de smartphone. Deze intensiteit moest een waarde weergeven van 0 tot 100. Bij de waarde 0 zou de GSM 100% stil moeten liggen. 100 zou de maximum fysieke interactiewaarde zijn. Om dit te kunnen bepalen moesten we een algoritme toepassen op de data van de accelerometer. Daarom gaan we eerst dieper in op het verwerken van de accelerometerdata.

Accelerometerdata

Een eerste stap was het binden van de driedimensionale input die werd aangeleverd door de smartphone in een eendimensionale magnitude. Door de euclidische ruimte te berekenen van de drie individuele waarden werd de magnitude van de acceleratievector bepaald. Hiervoor deden we beroep op het Pythagroan Throium algoritme:

a¯= x2 + y2 + z2 (1)

De samensmelting van de drie waarden is gebeurd om verdere berekeningen te vereenvoudigen en omdat de algemene versnelling van de smartphone voldoende was voor ons prototype. Het eerste prototype vereiste geen directionele acceleratie.

Publieksintensiteit

De publiekintensiteit moest een waarde van 0 tot 100 weergeven die de activiteit van het publiek weerspiegelde. Wanneer de smartphone volledig onbeweeglijk was, moest de waarde 0 zijn. Wanneer de smartphone in de hand vastgehouden werd en er snelle zwaaibewegingen werden waargenomen moest deze waarde zeer hoog zijn. De waarde 100 was gelijkgesteld aan de maximale versnellingswaarde die waargenomen kan worden na samensmelting van de drie waarden van de assen. De maximale versnelling die gemeten kan worden per as is 2G of 19.62.

16: Co-design Geyskens

53

Verwerking publieksintensiteit

Op visuals worden een aantal effecten toegepast. Deze effecten kunnen in Resolume worden ingesteld en hebben een waarde van 0 tot 100. Zo kunnen visuals volledig rood worden, wanneer de specifieke parameter op 100 wordt ingesteld. Via een brainstormsessie met Geyskens kwamen we op het idee om de Vj de mogelijkheid te geven om de effecten die cruciaal zijn voor het eindresultaat te laten bepalen door het publiek. De Vj moest nog steeds de controle hebben, welke effecten bepaald werden door het publiek en welke niet. Enkel wanneer de Vj het toeliet, moest een specifiek effect volledig bepaald worden door de publieksintensiteit.

3.5.2. Paper- en rapid prototyping

Om ons idee in de praktijk om te zetten maakten we gebruik van paper prototyping. Met behulp van deze techniek konden we snel een idee vormen hoe de uiteindelijke interface voor de Vj er zou uitzien. Hierbij moesten we rekening houden met de interfacemogelijkheden van Lemur. Omdat deze mogelijkheden bijna oneindig zijn, ondervonden we geen problemen. We baseerden de lay-out op de user interface van Resolume, zodat de applicatie ook door andere Vj’s eenvoudig te gebruiken is. We hebben gekozen om de waarden van de publieksintensiteit weer te geven in faders. Net zoals de effecten. Met een eenvoudige aan- en uitknop kon de Vj de publieksintensiteit aan een bepaald effect koppelen. Via rapid prototyping konden we deze interactie simuleren in Lemur. De interface werd in verschillende onderdelen uitgetekend op meerdere losse papieren. Via wireframes moest die nog verder uitgetekend worden naar de vereisten van een IPAD applicatie.

3.5.3. Wireframes

Na het paper- en rapid prototyping ontwikkelden we de wireframes(bijlage 3) voor de iPad applicatie. Hierdoor kregen we een beeld op ware grootte, hoe de uiteindelijke interface er moesten uitzien. Deze wireframes werden uitgewerkt op twee individuele pagina’s, omdat we de interface onderverdeelden in twee tabbladen. Het eerste tabblad ‘Dasboard effects’ bevatte de functionaliteit om de visuals te manipuleren. Via het tweede tabblad ‘Media’ kon de media van de Vj worden aangesproken.

17: Paper-prototyping

18: Wireframes

54

3.5.4. Technische uitwerking

Op de smartphone installeerden we Control. Via een standaard interface werd accelerometerdata naar Pd gestuurd. In Pd werden deze data behandeld met behulp van het Pythagroan Throium algoritme, dat eerder werd besproken.

Hierna werden deze waarden uitgestuurd naar de iPad applicatie voor de Vj. Deze applicatie communiceerde op zijn beurt met Resolume. Alle communicatie verliep via OSC.

3.5.5. Prototype 1.0

3.5.5.1. Testen prototype 1 Test applicatie Vj

Het eerste prototype werd getest met Vj Geyskens. Hij stelde dat de interface goed zat, maar dat de publieksintensiteit niet correct werd weergegeven. Dit was het gevolg van de zwaartekracht. Zelfs indien de smartphone volledig stil lag, was er een waarde van -9.81m/s² (of -1g) die op een van de drie assen van de smartphone aangreep. Door het toepassen van onze formule, had de publieksintensiteit de waarde 30 in ruststand. In theorie is dit logisch, omdat we enkel 0 konden bereiken wanneer de smartphone in vrije val was. In de praktijk komt een vrije val op een evenement niet

voor, waardoor we dit moesten oplossen en zorgen dat de publieksintensiteit 0 is i.p.v. 30 in ruststand. De Audience Intensity knop werkte goed meende Geyskens maar de waarden mochten iets dynamischer. Geyskens gaf aan dat de waarden met een gemiddelde over tijd doorsturen een oplossing zou zijn.

20: Test Geyskens

19: Concept prototype

55

Gebruikerstest

Na deze test zijn we de applicatie ook gaan testen met een gebruiker. De output werd enkel weergegeven binnen het programma Resolume zelf, waardoor de ervaring niet zo groot was voor de gebruiker (in tegenstelling tot het weergeven met projectors). Toch vond hij de manier van participeren zeer aangenaam. Het duurde telkens even voor hij wist welke paramater hij aan het aanpassen was maar dat vond hij juist het leuke. De gebruiker hoefde niet expliciet te weten wat hij aan het aanpassen was. Enkel een aan- en uitknop zou handig zijn vertelde hij ons, zodat het publiek weet wanneer ze aan het deelnemen zijn en wanneer niet.

3.5.6. Prototype 2.0

Na de feedback van Vj Geyskens en een eerste gebruiker werd het tweede prototype ontwikkeld. De voornaamste aanpassing was de mogelijkheid om de smartphone volledig transparant (m.a.w. in de broekzak) te dragen. Verder zorgden we ervoor dat de zwaartekracht niet meer in rekening werd gebracht. Wanneer de smartphone in ruststand was, moest de intensiteit nul zijn. Het tweede prototype werd getest met vijf personen en één Vj. De test vond plaats in een fuifzaal, ingericht met een toog en discobar. De testpersonen werden op voorhand op enkele drankjes getrakteerd om een reële setting te benaderen. Gedurende de testfase werd gewisseld tussen verschillende genres van muziek. We stelden twee testscenario’s op, omdat we enerzijds wouden uitzoeken welke vorm van interactie voor het publiek het aangenaamst was en anderzijds het nuttigste voor de Vj.

3.5.6.1. Testscenario 1

Bij het eerste testscenario kregen de testpersonen de mogelijkheid om de videoshow te manipuleren met behulp van lichaamsbewegingen waarbij de smartphone in de hand gedragen werd. We kozen voor deze handeling omdat er zo beweging kon worden gemeten die niet zichtbaar is wanneer de smartphone enkel in de broekzak gedragen werd. Uit onze literatuurstudie bleek bovendien dat de smartphone enkel als transparant kon beschouwd worden wanneer het niemand stoorde. Op sommige evenementen wordt de meeste beweging waargenomen via de armbeweging omdat mensen ervoor kiezen om enkel met de armen te bewegen. De waarden kwamen binnen onder de vorm van publiekintensiteit. Dit kon de Vj toepassen op bepaalde effecten. De maximale intensiteit werd bereikt wanneer alle vijf testpersonen op hetzelfde ogenblik zwaaibewegingen aan het uitvoeren waren. De Vj kreeg de volledige vrijheid in het bepalen van de visuals en het toepassen van de publieksintensiteit.

21: Gebruikerstest

22: Testscenario 1

56

3.5.6.2. Groepsinterview 1

Het publiek gaf aan dat het dragen van de smartphone in de hand al heel snel vermoeiend werd na een bepaalde tijd en onmogelijk vol te houden over een lange periode. Het publiek kon slechts twee parameters onderscheiden: kleur en snelheid. De rest van de effecten konden ze niet waarnemen. Wanneer een van de vijf deelnemers niet bewoog, kon hij de visuals toch beïnvloeden. Deze persoon kon de intensiteit voor 20% mee bepalen in een groep van vijf. Een smartphone in de

hand dragen bleek ook niet evident en het risico op beschadiging was bovendien groot.

3.5.6.3. Testscenario 2

Bij het tweede testscenario werd aan het publiek de opdracht gegeven om de smartphone in de broek te dragen. De intensiteit was veel hoger ingesteld zodat de kleinste lichaamsbeweging geregistreerd werd en waargenomen kon worden door de Vj. De maximale fysieke interactiewaarden konden de gebruikers bereiken door op en neer te springen.

In navolging van groepsinterview 1, werden enkele specifieke opdrachten meegegeven aan de Vj. Zo werd hem gevraagd om meer met abstracte visuals/vormen te gaan werken. Wanneer hij een bepaald effect liet bepalen door het publiek, moest hij ook vertellen tegen het publiek welk effect.

“Het zou stimulerend werken als je binnen de groep, door individuele bijdrage, samen een creatie kunt vormen.” – Publiek

3.5.6.4. Groepsinterview 2

Dit scenario bleek veel interessanter voor het publiek. Het kostte geen extra moeite en toch werd (bijna) hetzelfde effect bereikt. De VJ gaf aan dat hij de link kon leggen tussen de inkomende waarden van de bewegingen en de muziekgenres. Zo kwamen de waarden binnen op het ritme van de beat bij het muziekgenre dubstep. Dit was zeer interessant voor hem om op bepaalde effecten toe te passen. Omdat er abstractere vormen werden gebruikt, bleek het overbodig om te vertellen welk effect ze op een bepaald ogenblik aan het manipuleren waren. Het publiek gaf aan dit snel te herkennen bij de abstracte visuals. Zelfs de moeilijkere effecten zoals ‘glitch’ en ‘mirror’ konden ze onderscheidden. De Vj zag nu ook duidelijk wanneer er een climax aan kwam. Hij gaf aan dat de reactie van het publiek op een climax heel leuk is om toe te passen op bepaalde effecten van de visuals.

“Het publiek gaat echt niet de hele tijd naar het effect staan kijken op fuiven, daar kunnen bepaalde effecten twintig minuten aan blijven. Hier is iedereen 100% gefocust op de visuals.” – Vj

23: Groepsinterview

24: Vj Testing prototype v2

57

3.5.6.5. Algemene bevindingen observatie en groepsinterview

De testpersonen gaven aan dat het weinig motiverend zou zijn om deel te nemen in een grote groep omdat een individu dan toch geen rol van betekenis meer speelt: waarom zouden ze dan nog deelnemen als hun deelname niet bepalend is voor het resultaat? De aandacht van het publiek verzwakte ook zeer snel tijdens de activiteit. In het was begin iedereen zeer aandachtig en aan het zwaaien. Al snel verdween de aandacht voor de visuals en werd het een bijkomstig element. Maar in een reële setting zou dit wel eens andersom kunnen zijn, omdat daar de focus van het publiek niet onmiddellijk op de visuals ligt zoals de Vj ook aan gaf.

De testpersonen kwamen met het idee dat ze actief moesten deelnemen omdat ze op voorhand werden ingelicht. Ze vertelden zelf dat het misschien leuker zou zijn in een setting terecht te komen waarbij er niets op voorhand verteld wordt, omdat ze dan anders zouden reageren. De invloed die het publiek uitoefent was enkel te herkennen bij abstracte visuals. Wanneer er complexe beelden getoond werden, wist het publiek niet wat ze manipuleerden. Wanneer er echter simpele vormen (driehoek, vierkant, cirkel, ...) geprojecteerd werden, had het publiek al snel door welke invloed ze uitoefenden. Sommige deelnemers gaven aan dat een vorm van feedback, wanneer ze invloed uitoefenen en wat ze aan het manipuleren zijn, zeer handig zou zijn.

Tijdens de testscenario’s leerde de Vj de link leggen tussen de waarden die binnenkwamen en de muziek die afgespeeld werd. Wanneer hij dit enige tijd kon analyseren, wist hij welk effect bij welk muziekgenre leuk is om te laten manipuleren door het publiek. Zo gaf de Vj aan dat het leuk was om het effect ‘glitch’ te koppelen aan het publiek tijdens het muziekgenre dubstep en de publieksintensiteit leuk om toe te passen bij een Climax.

Wanneer we de smartphone enkel in de broekzak gaan gebruiken dan worden er een groot aantal bewegingen niet geregistreerd. Het publiek kan op dat moment actief met hun armen staan zwaaien, maar voor de Vj lijkt het alsof er geen activiteit is. Een combinatie van een accelerometer aan de pols én in de broekzak zou hier een oplossing kunnen bieden. Hoe is dit te verwezenlijken? En hoe kan het interessant worden gemaakt voor grote groepen? Het publiek gaf nu aan dat het leuk was, maar ook dat ze niet gemotiveerd zouden zijn om deel te nemen in een grotere groep.

“Als je echt input op de visuals kunt hebben als individu, dan ga je sneller beginnen dansen.” – Publiek

25: Testscenario 2

58

3.5.7. Expertinterview

Omdat er een heel reeks vragen waren na het testen van prototype 2.0 hielden we een tweede expertinterview bij Pieter Coussement. We bespraken de functionaliteit van het tweede prototype en de bevindingen van de testen. Coussement was van mening dat er een individuele rolverdeling moest komen om de betrokkenheid van de bezoeker te vergroten in grote groepen. Hij zei dat het beter was om de gehele publieksintensiteit niet aan één specifiek effect te koppelen. Met andere woorden zou het effectiever zijn als de individuen verdeeld worden over de verschillende effecten. Bijvoorbeeld dat twee persoon uit het publiek de rode kleur kunnen beïnvloeden, twee personen het ‘mirror’ effect, enzovoort.

Wanneer we 8 effecten hebben en het publiek uit 80 personen bestaat, kunnen we het publiek groeperen in 8 clusters van 10 personen. We kunnen dan elke cluster toewijzen aan één specifiek effect. Zo heeft elke persoon tot 10% invloed op het effect. Als we dit niet zouden doen en 80 personen 1 bepaald effect zouden laten bepalen dan is de invloed van één persoon op het specifieke effect 1,25% (1 van 80). Hierdoor kunnen we stellen dat prototype 2.0 enkel geschikt is voor groepen tot tien personen. Het idee van Coussement sluit aan op een onderdeel van het publieksparticipatiemodel van Maynes-Aminzade, Pausch en Seitz(zie literatuurstudie). Zij zijn van mening dat de samenwerking in het publiek gestimuleerd moet worden. Dit kan door personen aan specifieke effecten toe te wijzen. In prototype 3.0 pasten we dit toe en voerden we een test uit waarbij vijf testpersonen een specifiek effect kregen toegewezen. De totale publieksintensiteit kon nog altijd aangewend worden door de Vj om toe te passen op de snelheid van visuals.

59

3.5.8. Prototype 3.0

Met de feedback van de observatie en groepsinterviews na het testen van prototype 3.0 en het interview met Coussement, gingen we aan de slag om een derde prototype te ontwerpen en te testen. Vj Mercken gaf enkele suggesties aan, die als uitbreiding werden toegepast op de interface. Geen ingrijpende wijzigingen, maar enkel uitbereidingen op bestaande zaken. Deze tips pasten we toe. Door middel van observatie en een groepsinterview trachtten we inzicht te krijgen in de ervaring van het publiek en de Vj.

3.5.8.1. Testscenario

26: Test prototype 3.0

Het derde prototype werd getest met Vj Bram Van Cauwenberghe en vijf deelnemers. Deze vijf kregen elk een specifiek effect toegewezen. Omdat we acht effecten hadden die ingesteld konden worden, werd één deelnemer aan drie effecten toegewezen: de kleuren rood, groen en blauw. De overige vier effecten werden verdeeld over de andere personen. Sommige van de deelnemers waren eerder betrokken bij de test van prototype 2.0. Hun feedback was eens zo belangrijk omdat zij de verschillen proefondervindelijk konden vaststellen.

60

3.5.8.2. Observatie en groepsinterview Net zoals bij de test van het tweede prototype begon iedereen onmiddellijk te bewegen. Op het begin was het hierdoor onduidelijk, wie wat aan het aanpassen was. Ook voor de Vj bleek het niet handig omdat alle waarden volgens dezelfde intensiteit binnen kwamen. Hij zag er in het begin geen voordeel van het toewijzen aan specifieke effecten.

Nadat het publiek rustiger bewoog en de focus op de visuals verminderde bleek het project meer tot zijn recht te komen. Sommige personen begonnen te begrijpen welk effect ze op de visuals hadden. Een tijd later ontstond er spontaan interactie tussen de personen in het publiek. De deelnemers vroegen aan elkaar welk effect zij bestuurden.

Uit het groepsinterview bleek dat het na een lange tijd wel vervelend was dat ze altijd hetzelfde effect aan het bepalen waren. Het zou beter zijn moest dit random gebeuren. Dit zou hun aandacht nog meer vergroten gaven ze aan. Dit komt overeen met de principes van het ‘lotterij-effect’ die eerder werden besproken in de literatuurstudie. De personen die ook de test van het tweede prototype bijwoonden gaven aan dat er veel meer potentieel zat in deze benadering. Ze zagen nu ook het nut ervan in voor grotere groepen(met meer dan vijftig personen). Het waren deze personen die bij de test van prototype 2.0 twijfels hadden voor deelname in grote groepen.

De Vj gaf uiteindelijk aan dat het leuk was dat de waarden die binnen kwamen verschillend waren. Zo had hij een ruime keuze tussen welke personen de interessante waarden opleverden voor de visuals.

Het nadeel was dat wanneer personen niet bewogen, ze geen waarden opleverden. De Vj gaf aan dat de algemene publieksintensiteit die kon worden toegepast op de snelheid van de visuals de leukste functionaliteit was. Hij vond dit heel handig omdat hij niet continu naar de muziek moet luisteren, maar de snelheid van de visuals gewoon automatisch kon laten bepalen door het publiek. Deze Vj had geen verdere opmerkingen over de lay-out,

uitgezonderd dat hij voor grotere knoppen zou kiezen maar we kunnen stellen dat dit een persoonlijke voorkeur is.

27: Vj testing prototype 3

61

#Test prototype 3.0

62

63

4.Finale prototype

64

#Finale prototype |

4.1. Concept Het finale prototype noemen we de AMVi. Het doel van de AMVi is het publiek de mogelijkheid geven om visuals op evenementen te manipuleren met behulp van de smartphone en nieuwe input voor de Vj creëren. Hierdoor ontstaat een nieuwe vorm van interactie op evenementen. De bezoeker kan zo interageren met de visuals via zijn smartphone. De Vj krijgt nieuwe input binnen die hij kan toepassen op de videoshow. Zo ontstaat een nieuwe manier van Vj’ing.

4.2. Interface De AMVi is een totaalpakket dat bestaat uit twee delen: de applicatie voor de Vj en de applicatie voor de bezoeker. De applicatie voor de Vj is een IPad applicatie die bestaat uit twee grote tabbladen: dashboard-effects & media. Het dashboard-effects tabblad wordt gebruik om de waarden van het publiek te ontvangen en toe te passen op de verschillende parameters van de visuals. De knoppen in dit tabblad worden gebruikt om de visuals te manipuleren. Het tweede tabblad omvat alle functionaliteit die nodig is om videoclips te activeren. De totale interface is gebaseerd op de interface van het programma Resolume die ook uit twee grote onderdelen bestaat. Het bovenste deel van de Resolume-interface kan bediend worden met het tweede tabblad van onze interface, het onderste deel met het eerste tabblad. De interface is het resultaat van co-design met Vj Geyskens en testen met Vj Mercken en Vj Van Cauwenberghe.

Voor de bezoeker hebben we bewust gekozen om geen uitgekiende grafische interface te ontwerpen omdat we wilden vermijden dat de bezoeker zijn smartphone opzichtig zou gebruiken. De applicatie voor de bezoeker is een minimalistische interface met korte informatie over het project. Uitgebreide informatie kunnen we voorzien door middel van een poster met installatieprocedure en projectbeschrijving. De bezoeker moet de applicatie Control installeren op zijn smartphone en daarna de interface inladen. Dit doet hij door naar een publieke URL te surfen. Deze procedure kunnen we vergemakkelijken met behulp van een QR code5.

5 De QR-code, ofwel Quick Response-code, bestaat al meer dan 10 jaar in Japan en begint nu ook op te komen in België. Hij heeft de vorm van een vierkant zwart-wit pictogram dat lijkt op een streepjescode. Hij bevat informatie in de vorm van tekst of kan de consument, via een link, doorverwijzen naar een website of een pagina met inhoud (foto's, muziek, video), http://www.test-aankoop.be/internet/wat-is-de-qr-code-s723453.htm

28: AMVi smartphone

65

4.1. Design en functionaliteit In dit hoofdstuk bespreken we de design van de applicatie voor de Vj. Het prototype voor de Vj bestaat uit een mobiele applicatie voor de iPad, ontwikkeld in Lemur. Het grote voordeel van een mobiele applicatie is dat de Vj de visuals kan besturen vanop verschillende plaatsen en vanuit verschillende perspectieven. Verschillende Vj’s zagen dit als een belangrijk gegeven. Wanneer Lemur op de iPad is geïnstalleerd, kan de AMVi worden ingeladen. Via een Wi-Fi netwerk communiceert de applicatie met Resolume en komen waarden binnen van de bezoekers. De accelerometerdata van de bezoekers wordt naar PD uitgestuurd. Daar worden de nodige bewerkingen uitgevoerd en vervolgens worden de waarden doorgestuurd naar Lemur. Alle bezoekers die deelnemen aan het project moeten verbonden zijn met ditzelfde Wi-Fi-netwerk via hun smartphone.

De interface bestaat uit een verzameling van buttons, faders, sliders, enzovoort. De applicatie biedt alle mogelijkheden om de software Resolume te bedienen, plus extra nieuwe mogelijkheden en functionaliteiten. Deze extra mogelijkheden bespreken we in detail.

4.1.1. Audience intensity

Een eerste functionaliteit is de Audience Intensity button. De numerieke waarden van de publieksintensiteit wordt in het veld ‘Audience intensity’ weergegeven. Deze intensiteit varieert tussen 60(wanneer het publiek niet beweegt) en 220(de maximale fysieke interactiewaarde die bereikt kan worden door het publiek). De schaal van 60 tot 220 kunnen we verantwoorden omdat 60 de minimum BPM en 220 de maximum BPM van muziek is waarop een Vj zijn visuals gaat baseert. Met andere woorden wordt via de applicatie de BPM artificieel herrekend naar een nieuwe snelheid die overeenkomt met de activiteit van het publiek. Via de knop AI kan de publieksintensiteit dan worden toegepast op de snelheid van visuals. Deze knop is dus een uitbreiding op het traditioneel synchroniseren van de snelheid van de visuals op de BPM van de muziek. Nu wordt deze snelheid gekoppeld aan de publieksintensiteit. Wanneer het publiek weinig beweegt, zal de snelheid van de visuals traag zijn en bijgevolg afgestemd op het publiek.

29: Audience Intensity

66

67

30: Finale prototype: tabblad effects

68

4.1.2. Composition dashboard

De tweede uitbereiding is het composition dashboard. In dit onderdeel kunnen alle parameters van de visuals gelinkt worden aan de publieksintensiteit die zich hier verhoudt op een schaal van 0 tot 1. Afhankelijk van het aantal deelnemers in het publiek kunnen de inkomende waarden verdeeld worden over de paramaters. Bij acht deelnemers kan elk individu toegewezen worden aan één paramater. Bij grotere groepen moet er geclusterd worden.

De Vj kan in Resolume zelf instellen welke acht effecten door het publiek worden beïnvloed. In Lemur kan hij deze dan koppelen aan de publieksintensiteit. De acht effecten die zijn ingesteld worden weergeven door de rode faders. De waarde van de rode fader kan manueel worden ingesteld of gelinkt worden aan de groene fader onder het effect die wordt bepaald door de publieksintensiteit. Met behulp van een aan- en uitknop onder beide faders worden de faders gekoppeld. Wanneer de fader gekoppeld is, kan de waarde van het effect niet meer manueel gewijzigd worden. Dit kan enkel wanneer ze niet gekoppeld zijn.

4.2. Technische belemmeringen De technische belemmeringen situeren zich voornamelijk bij de applicatie voor de bezoeker. In de literatuurstudie verwezen we naar de drie pijlers van het massMobile framework: (1) snelle ontwikkeling van nieuwe interfaces, (2) plug-and-play ontwikkeling voor performance omgevingen en (3) het gebruik van de smartphone vereenvoudigen voor verschillende platforms. We hebben de haalbaarheid van deze pijlers onderzocht in de praktische uitvoering van dit onderzoek. Onze applicatie voor de bezoeker is ontwikkeld voor twee platformen. Hierdoor wordt deels aan de derde pijler voldaan. De ontwikkeling van nieuwe interfaces is ook van toepassing omdat er snel en eenvoudig een interface ontwikkeld kan worden binnen het Control applicatieplatform. Na afloop van het onderzoek ondervinden we een grote technische belemmering: plug-and-play is niet van toepassing voor de bezoekers. We hebben de mogelijkheden onderzocht om een plug-and-play applicatie te ontwikkelen maar dit bleek niet haalbaar. Daardoor kwamen we uiteindelijk bij Control terecht. Deze verreist enkele stappen zoals het manueel instellen van poorten. Deze stappen kunnen een barrière vormen voor de bezoeker om er aan mee te doen. Dit zou enkel verwezenlijkt kunnen worden met een standalone applicatie, waarbij alle processen geautomatiseerd zijn. Voor de Vj ondervonden we geen technische belemmeringen tijdens de uitwerking. Dit is voornamelijk te danken aan de kracht van het applicatieplatform Lemur dat zo goed als alles mogelijk kan maken.

31: Composition dashboard

69

5.Conclusie en toekomstig onderzoek

70

#Conclusie en toekomstig onderzoek |

Het vertrekpunt van dit onderzoek was een antwoord te verkrijgen op de volgende onderzoeksvraag:

“Kan het transparant gebruik van smartphones een meerwaarde bieden voor de Vj en het publiek tijdens evenementen?”

Op basis van de bevindingen met behulp van user-centered design, kunnen we besluiten dat we er in geslaagd zijn een prototype te ontwikkelen die een meerwaarde biedt voor beide doelgroepen van dit onderzoek. Uit de niet-participerende observaties en de groepsinterviews bleek dat de AMVi de betrokkenheid van het publiek vergrootte en dat er onderlinge interactie ontstond. De verschillende Vj’s waarmee getest is geven aan dat het voor een nieuwe vorm van Vj’ing teweegbrengt. De visuals worden meer afgestemd op het publiek in plaats van op de muziek. Toch blijft de Vj de volledige controle behouden en de kwaliteit gewaarborgd.

Toch moeten we hierbij een nuance maken over de context waarbinnen het prototype kan werken. Bij aanvang van ons onderzoek was het niet duidelijk welke richting dit onderzoek zou uitgaan en in welke context het prototype zou passen. Na afloop kunnen we stellen dat het prototype het best tot zijn recht komt op evenementen tot ongeveer honderd personen. Wanneer er meer dan honderd deelnemers zijn, wordt de bijdrage van een individu uit het publiek zo klein, dat de motivatie om deel te nemen verminderd. Bij groepen tot en met honderd personen kan elk individu een duidelijk waarneembare invloed spelen. Naast de grootte speelt ook het type van evenement een belangrijke rol. Het finale prototype zou het best tot zijn recht komen in een dansclub. In deze omgeving staat het publiek dicht bij de visuals en komen ze specifiek om te dansen. De Vj’s besproken in hoofdstuk 2.2 van dit onderzoek zien een club ook als een ideale omgeving.

De AMVi kan enkel beweging registreren vanaf de broekzak. Armbewegingen worden niet in rekening genomen. Een combinatie van een polsbandje met geïntegreerde accelerometer en de smartphone zou een oplossing kunnen bieden en ons prototype verder optimaliseren. Maar deze technologie blijkt momenteel nog steeds duur voor grote groepen.

Een andere optimalisatie zou het overschakelen zijn naar een standalone applicatie. Op dit ogenblik verreist deelname enkele stappen van de bezoekers, die mogelijke participatie zouden kunnen belemmeren. Door het maken van een standalone applicatie zou de deelnamedrempel verlaagd kunnen worden. Een integratie in een evenementapplicatie zou de ideale oplossing bieden. Deze soort van applicatie komt meer en meer voor op evenementen en bevat voornamelijk informatie over de programmatie. Wanneer onze applicatie voor de bezoeker hierin geïntegreerd zou worden, is de instapdrempel zeer laag.

Met ons onderzoek hebben we bewezen dat de smartphone een instrument is dat uitstekend kan gebruikt worden in een interactieve omgeving met de nadruk op performance. Ondanks dat de smartphone al enkele jaren bestaat, zien we dat er nog maar weinig onderzoek is gevoerd naar de meerwaarde ten op zichtte van de Vj en visuals op evenementen. Wij zijn van mening dat uitgebreider en gedetailleerder onderzoek nodig is binnen dit domein om het volledige potentieel van deze apparaten te benutten.

71

Uit de groepsinterviews kunnen we besluiten dat een bijkomende vorm van feedback voor de deelnemers gewenst is. Hierbij denken we voornamelijk aan haptische feedback om het transparante karakter van het project te behouden. Het trillen van de smartphone wanneer zij daadwerkelijk invloed uitoefenen op de visuals zou in dit opzicht relevant kunnen zijn.

Verder lijkt het interessant om het prototype uit te breiden in combinatie met een Lj. Het Lemur- en Control applicatieplatform ondersteunen beiden MIDI. Hierdoor kan dezelfde software worden aangewend in combinatie met een Lj. Daardoor kan de gebruiker ondergedompeld worden in een volledig immersieve omgeving. Uit de literatuurstudie is gebleken dat onze methode ook potentieel kan bieden in combinatie met een Dj of live optreden. Hierbij denken we vooral aan het bepalen van bepaalde parameters van de muziek door het publiek met behulp van de smartphone. Uiteindelijk zou de volledige omgeving: licht, geluid en visuals bepaald kunnen worden door de bezoeker.

Tot slot is er vanuit verschillende hoeken interesse gekomen voor de AMVi. De eerste interesse kwam van Pluto 2012, een audiovisueel festival met de nadruk op performance art. Pluto biedt vier dagen lang een uitgekiende selectie van innovatieve media en muziek acts. Op Pluto zal een demonstratie van het prototype plaatsvinden. Vervolgens is er ook interesse gekomen van een internationaal Vj magazine: Babylong6. Zij vonden de benadering bijzonder boeiend en gaan de AMVi uitgebreid publiceren in hun magazine. Resolume liet ondertussen weten dat ze dit project heel graag willen publiceren op hun site. Dit kunnen we verwezenlijken tijdens de demonstratie op Pluto 2012.Wegens de interesse uit verschillende invalshoeken kunnen we stellen dat we tot een mooi en innovatief ontwerp zijn gekomen en dat ons onderzoek geslaagd is. Het volledige potentieel van de AMVi is echter nog niet benut. De resultaten van ons onderzoek zijn uitnodigend om dit onderzoek verder te zetten.

“Volgens mij creëert deze applicatie de mogelijkheid om een heel nieuwe stijl van Vj’ing te ontwikkelen. Visuals worden dankzij deze applicatie gemaakt op maat van de activiteit van

het publiek i.p.v. de BPM van de muziek.”(Vj Geyskens)

6 http://www.babylon.com.tr/en/content/babylonmagazine/

72

73

6. Bibliografie

74

#Bibliografie |

Aigner, W., Tomitsch, M., Stroe, S., Rzepa, R. (2004). Be a Judge! – Wearable Wireless Motion Sensors for Audience Participation. Proceedings of CHI '04, 1617-1621. New York: ACM.

Arkaos GrandVj. (1996). Opgeroepen op juni 12, 2012, van Arkaos – Interactive Visuals Technologies: http://www.arkaos.net/product/index.php?catid=1&pid=1001&iid=42 Babylon. (1999). Opgeroepen op augustus 10, 2012, van Babylon: http://www.babylon.com.tr/en/content/babylonmagazine/ Ballagas, R., Rohs, M., Sheridan, J., & Borchers, J. (2006). The Smart Phone: A Ubiquitous Input Device. National Research Council of Canada: Institute for Information Technology – e-Business.

Bao, L., & Intille, S. (2004). Activity Recognition from User-Annotated Acceleration Data. Proceedings of the 2nd International Conference on Pervasive Computing (ICFC 2005). Cambridge: MIT.

Berger, O. (2010). Interactive Music V*#2@sualisation. Genk: Katholieke Hogeschool Limburg.

Cliff, D. (2006). HpDJ: An Automated Dj With Floorshow Feedback. O’Hara & Brown, pp. 241-264.

Control. (2009). Opgeroepen op juni 15, 2012, van Control: http://charlie-roberts.com/Control.

Cycling74. (2010). Max MSP. Opgeroepen op augustus 10, 2012, van Cycling74: http://cycling74.com/products/maxmspjitter/

Das, S., Green, L.T., Perez, B., & Murphy, M. (2010). Detecting User Activities using the Accelerometer on Android Smartphones. Eskandar, X. (2006).vE-jA: Art + Technology of Live Audio-Video. Cincinnati: TouchSmart Publishing, LLC. Essl, R., & Rohs, M. (2009). Interactivity for Mobile Music-Making. Organised Sound, 14 (2), pp. 97-207. TU-Berlin: Deutsche Telekom Laboratories.

Essl, G., & Rohs, M. (2007). ShaMus – A Sensor-Based Integrated Mobile Phone Instrument. Proceedings of the International Computer Music Conference (ICMC). Copenhagen.

Falaki, H., Mahajan, R., Kandula, S., Dimitrios, L., Govidan, R., & Estrin, D. (2011). Diversity in Smartphone Usage. Proceedings of the 8th international conference on Mobile systems, applications, and services (MobiSys '10) (pp. 179-194). New York: ACM.

Faulkner, M. (2010). Audio-visual art + Vj culture. London: Laurence King Publishing

Feldmeier, M., Malinowski, M., Paradiso, J. (2002). Large Group Musical Interaction using Disposable Wireless Motion Sensors. Proceedings of International Computer Music Association (ICMC 2002) (pp. 83-87).

Feldmeier, M., & Paradiso, J. (2007). An Interactive Music Environment for Large Groups with Giveaway Wireless Motion Sensors. Computer Music Journal, 33(1). Cambridge: MIT Press.

75

Feldmeier, M., & Paradiso, J. (2004). Giveaway Wireless Sensors for Large-Group Interaction. Proceedings of CHI '04, 1291-1292. New York: ACM.

Feldmeier, M. (2007). Large Group Musical Interaction using Disposable Wireless Motion Sensors.

Ferreira, D., Dey, A., & Kostakos, V. (2011) Understanding Human-Smartphone Concerns: A Study of Battery Life. Proceedings of the 9th international conference on Pervasive (Pervasive'11). Berlin: Springer-Verlag.

Freeman, J. (2004). Glimmer for chamber orchestra and audience. Columbia: CMC.

Freeman, J. (2005). Large Audience Participation, Technology, and Orchestral Performance. Proceedings of the International Computer Music Conference (ICMC 2005). Barcelona.

Huybrechts, L. (2008). Cross-over. Kunst, media en technologie in Vlaanderen. Reis naar de binnenkant van het beeld. Leuven: LannooCampus.

iSensorii. (2009). Opgeroepen op mei 25, 2012, van iSensorii: http://www.isensorii.com/info.html.

Jäger, L. (2004). Störung und Transparenz. Skizze zur performativen Logik des Medialen in Krämer, Performativität und Medialität. München, 35-73.

Kranenburg, R. V. (2008). The Internet Of Things. Amsterdam: Network Notebooks.

Kindberg, T., Spasojevic, M., Fleck, R., & Sellen, A. (2005). The Ubiquitous Camera: An In-depth Study of Camera Phone Use. IEEE Pervasive Computing, 4 (2), 42-50.

Levin, G.(2011). Dialtones – a telesymphony. Opgeroepen op januari 16, 2012, van Flong: http://www.flong.com/projects/telesymphony/ Liine. (2010). Lemur. Opgeroepen op juni 7, 2012, van Liine: http://liine.net/en/products/lemur/

Moore, K. (2006). 'Sort drugs, make mates': the use and meaning of mobiles in club culture.

Nielsen, J. (2000, maart 19). Why You only Need to Test with 5 Users. Opgeroepen op mei 12, 2012, van: http://www.useit.com/alertbox/20000319.html.

Norman, D.A. (1989). The Design of Everyday Things. New York: Basic Books

Maynes-Aminzade, D., Pasuch, R., & Seitz, S. (2002). Techniques for Interactive Audience Participation. Proceedings of the 4th IEEE International Conference on Multimodal Interfaces (IMCI’02). Washington: IEEE Computer Society.

McNeill, H. (2009). Keeping Together in Time: Dance and Drill in Human History. New York: ACLS Humanities E-Book.

Modul8. (2005). Opgeroepen op juni 18, 2012, van Modul8: http://www.modul8.ch/ Motion dive. (1998). Opgeroepen op juni 20, 2012, van DigitalStage: http://www.digitalstage.net/en/

76

Oh, J. & Wang, G. (2011). AUDIENCE-PARTICIPATION TECHNIQUES BASED ON SOCIAL MOBILE COMPUTING. Stanford University: CCRMA.

Paradiso, J. (2004). Wearable Wireless Sensing for Interactive Media. Cambridge: MIT.

Sanders, E. B. -N. (2008). Information, Inspiration and Co-creation. Proceedings of the 6th Conference of the European Academy of Design (CEAD 2005). Bremen: University of the Arts. SYNK. (2010). Opgeroepen op april 6, 2012, van Hexler: http://hexler.net/software/synk.

Resolume. (1998). Opgeroepen op juni 21, 2012, van Resolume VJ Software - Live Digital Motion Graphics: http://resolume.com/software/ Rohs, M., Essl, G., & Roth, M. (2006). Camus²: Live Music Performance using Camera Phones and Visual Grid Tracking. Proceedings of the International Conference on Advances in Computer Entertainment Technology (ACE 2007).TU-Berlin: DTL.

Rowe, C., & Slutzky, R. (1963). Transparency: Literal and Phenomenal in Perspecta. Yale School of Architecture, 8, pp. 45-54.

Shiredan, J., Bayliss, A., & Bryan-Kinns, N. (2006). iPoi. Swindon: EPSRC

TouchOSC. (2010). Opgeroepen op mei 12, 2012, van Hexler: http://hexler.net/software/touchosc

TouchVIZ. (2011). Opgeroepen op mei 12, 2012, van Hexler: http://hexler.net/software/touchviz

Van den Mooter, I. (2010). Een 3D accelerometer voor iedereen.

Van Haaren, T. (2012, januari 10).Verban de smartphone van de dansvloer. Opgehaald van DJBroadcast: www.djbroadcast.nl

Vidvox grid pro. (2003). Opgeroepen op juni 23, 2012, van Vidvox: http://vidvox.net/ Waege, H. (2006). Het onderzoeksplan. In: Billiet, J. & Waege, H. (2006) Een samenleving onderzocht. Antwerpen: De Boeck.

Weitzner, N., Freeman, J., Garett, S., & Cheng Y. (2012). massMobile – an Audience Participation Framework. Proceedings of the 12th International Conference on New Interfaces for Musical Expression. (NIME’12). Ann Arbor: U-M.

77

7. Bijlagen

78

Bijlage 1: enquête

Enquête ingevuld door 128 personen tussen 16 en 26 jaar oud die meermaals per maand naar evenementen gaan met dansgebeuren. Verspreid via sociale media. 1 op 4 Belgen is in het bezit van een smartphone volgens Het Laatste Nieuws. Bij de jongeren ligt dit aantal duidelijk hoger, zo illustreert deze enquête. De resultaten van de enquête zijn belangrijk geweest om (design)beslissingen te verantwoorden.

79

80

Bijlage 2: artikel Vj magazine For my thesis communication- & media design, I chose to investigate the possibilities of audience participation on events. The DJ, the VJ and the audience are the key players within the ecology of events. There has already been a lot of research around music and audience participation. The missing link between the audience and the VJ and the fact that visuals were an unknown but exciting domain for me is why I have chosen this subject. During my research I came across a very interesting

article about the use of smartphones on events, titled: “Banish the smartphone from the dance floor!”. This article claimed that smartphones have a negative impact on the audience’s experience because they are frequently used during events and therefore receive a negative connotation (Verban de smartphone van de dansvloer, 2012). A lot of people find the use of cameras and social media during events disturbing because it has a negative impact on the essence of the events. Several researchers confirm this statement (Collins, 2010).The Famous New York DJ François Kevorkian states that a lot of DJ’s find the use of smartphones in a Club disturbing (Franois K, onafgeleid, 2011).

This gave me the idea to investigate how the smartphone can on the other hand offer a positive impact. My research question is the following: “Can the transparent use of smartphones have a positive impact on VJ’s and the public during events?”

In the early stages of my study I held an expert interview with Dax Geyskens from Daxx Visuals. Geyskens is one of the most active VJ’s in Belgium. He plays at the biggest events in Belgium like Tomorrowland and stands at the beginning of an international career. This interview opened a lot of perspectives and ideas. The most important was that I had the full support of VJ Geyskens for the development of my first prototype. Consequently, I could test my prototype with the assistance of an experienced VJ. This was a great advantage within the iterative design process towards my final prototype. Geyskens indicated a very important aspect, namely that the VJ should maintain his artistic freedom during the show and that a VJ should always have the full control of the result of his set. With this knowledge, I started

Co-design with VJ Dax Geyskens

81

building the first prototype. In order to compare the functionality and the possibilities of the smartphone, I investigated the use of the accelerometer. An accelerometer is a device that measures

proper acceleration, also called “the four-acceleration”. This proper acceleration is associated with the weight of a test mass. The comparison of the different sensors from the smartphone consisted of criteria like transparency, integration, cost price, battery lifetime, accuracy, reach etc. The values of the accelerometer sensor from the audience’s smartphones are sent to the VJ’s computer .These values represent the intensity of the audience. When, for example, the audience is standing still, the intensity of the audience will be 0 (zero). The more the audience is moving/dancing, the higher the intensity will be. In other words, when the crowd is going totally nuts, the values will reach the maximum value that can be applied on a specific effect: 100. The

values from 0 to 100 are sent to the VJ in order for him to use them to link with different effects of the visuals. If people want to participate in the visuals, they need to scan a QR code and download a certain application. After this they could hold the smartphone in their pocket and the values will be sent to the application of the VJ.

For the VJ, I chose to make an application based on Resolume, which is developed with Lemur. Resolume is the core of the prototype for the VJ. It’s an advanced VJ program, but still very user-friendly and it offers all possibilities needed for my prototype. Lemur is a professional iOS controller application that doesn't cut any corners. It lets you control anything and any way you want. It’s the same control interface that was installed on the famous hardware controller of JazzMutant, which had an initial cost of €2500. The Lemur controller has been used by famous electronic DJ’s like Björk, Daft Punk, Deadmau5, Justice and Richie Hawtin. In 2011 this Technology has been developed for the iOS by Liine. The IPAD application on the other hand only costs €39,99. With Lemur I developed an IPAD application for the VJ that communicates with Resolume and receives values of the smartphones from the crowd.

I chose the functionalities and appearances of the application through co-design. Therefore I worked together with Geyskens. By combining our knowledge and ideas we worked out the first prototype on

paper. Through paper-prototyping we perceived the final result quite quickly. After this cooperation, I worked out these sketches with the Lemur platform. Pure data handles the communication between the incoming signals from the smartphones and the application of the VJ.. Thereafter, I tested the first prototype with Geyskens and I made some adjustments afterwards. As a consequence, the second prototype was born. Prototype v2, I tested with Romeo Mercken (from Vimen). This was useful to have a second opinion about my work.

Paper prototyping IPAD application

Prototype V1

Acceleration axes

82

After some adjustments, Mercken’s feedback resulted in the final prototype. The most important features of the third version are:

- The VJ is able to choose which kind of effect will be linked to the intensity of the audience’s movements. For example, the audience can affect the color of the visuals by dancing or moving.

- The speed of the visuals that is normally determined by the ‘Beat tapping’ of the VJ. This can automatically be linked to the audience intensity by setting the AI(Audience Intensity) ON. Due to this the visuals will be adapted to the audience and not on the music. Imagine a situation with music of 200 BPM, although the doesn’t audience like the music or isn’t dancing, the visuals will be in accordance to the speed, 200 BPM. The speed of the visuals can then be automatically linked to the intensity of the crowd. One can consider this also as a feedback system for the VJ. On the basis of the visuals he could determine whether the crowd likes his music set or not. When everybody is standing still, the BPM of the audience will be 60 BPM. The maximum BPM the audience can reach by moving is 220.

- It’s an IPAD application; As a consequence, the VJ is free to walk around with its IPAD and experience the visuals just a the audience does..

- The audience has the freedom to participate. The only need to download and install an application.

- It offers all functionalities of Resolume + extra functionalities that are the result of my research.

- It can be further elaborated to other domains such as the LJ to let the audience control the lights during events.

As a conclusion, this project has mainly an added value for the VJ. Due to the prototypes he has the possibility to put the visuals in accordance with the audience’s experiences. In other words, he has a new source of input. For the audience the added value is seen especially within small groups,

because in those groups each individual has a clear impact on the visuals. In large groups, on the other hand, this impact from an individual is less present. The visuals can be put in accordance to the intensity of the audience, and not on the music. This however can also enable to increase the collective experience, in small as well as in larger groups. Questioning answering my research question, we can conclude that the audience’s smartphones of the audience could certainly offer a positive impact on the VJ’s the audience’s experience during an event!

Romeo Mercken testing prototype V2

Audience testing prototype V2 and having fun

83

Bijlage 3: wireframes prototype 1.0

84

Jasper Vandegaer – Master C-MD – 2011-2012