retail reinvented college week 5, 14 okt fons van kesteren

Retail Reinventedcollege week 5, 14 okt

Fons van Kesteren

Testen

Testen

Drie oude chinezen

Zhuang Zi Han Fei Confucius

HVA=University of Applied Sciences

testverslag

• %$(**^$^%@*%$^%$#()^%##%!%$#W%^$^%&^#%#^%$@#^%$#^%$*$^%%^#%$&^%(^%#%^%$@!)(&^$^$#)&^@(_*&$#$#!^%%@&(*^*^%#&^_)(&(*%^#W%$#@&)_*(%$%@#*&+_()*^&%^#@^&_)(*^*^%@^%#%^$&)&^^&$%@*&)_)(*%@%$*&$%$^@^%$*^%$&#^%@%$!^$^%)*(^_(*&(^$#@&%^$(*&^(&%&$%@&)&%)(*&)*%%@^%*&_(&(*%%$@%$#@*^(*^&$@%$$&*%#^%$#%$(*&^(_^%$%@^%^_*^&$#^&(&)&^)(*&%#^$$%#@^(&%&$%#*^%)^

testverslag

Redenen voor het schrijven van een testverslag

• De resultaten en conclusies overdraagbaar naar anderen

collega’s, opdrachtgever, docenten

• Structuur in je eigen denkproces

Hst 1: Inleiding

• Waarom ? Om de lezer en jezelf inzicht te verschaffen in het doel van de test en de vragen die je wilt beantwoorden.

Hst 1: Inleiding §1 Aanleiding

Briefing/Debriefing, user requirements list, concept resentatie:

Wensen en eisen met betrekking tot je product.

• Experience goals

• End goals

• Live goals

Opdracht: schrijf op: drie eisen mbt jou product

• “Alleen de allerslimsten en de allerdomsten veranderen nooit van mening.”

Hst 1: Inleiding §2 Testvragen/testdoelen

• Wensen en eisen met betrekking tot je product In vraagvorm:

1. Is mijn applicatie ‘leuk’ om te gebruiken?

2. Is mijn applicatie gebruiksvriendelijk?

3.Past mijn applicatie bij de doelgroep ‘jongeren 20-30’?

4.Geeft mijn adviesmodule een goed wijn advies?

Hst 2: methode

• Om duidelijk te maken hoe je de vragen gaat beantwoorden.

Hst 2: Methode

Hst 2: Methode

§1 keuze testmethode en technieken

§2 beschrijving van het prototype

§3 hoe het resultaat gemeten wordt

§4 gewenste resultaten/voorspellingen

§5 selectie van testpersonen

§6 testprocedure

Hst 2: Methode§1 keuze testmethode en technieken

Kwalitatief:

• Key-path scenario test

• Video/audio opname

• Hardop denken

• Eye tracking

• Interview

• Expert review

• …

Kwantitatief:

• A/B tests

• Google analytics

• Enquetes

• …

Hst 2: Methode§1 keuze testmethode en technieken

Test vragen:

1. Is mijn applicatie ‘’stimulerend’

om te gebruiken? (verhoogt het

conversie)

2. Is mijn applicatie

gebruiksvriendelijk?

3. Past mijn applicatie bij de

doelgroep ‘jongeren 20-30’?

4. Geeft mijn adviesmodule een

goed wijn advies?

Test Technieken

1. A/B test

Video observatie

2. Key-path scenario test

video observatie

interview

3. Snelle enquete onder

doelgroep

4. Domein expert review

Hst 2: Methode§2 beschrijving van het prototype

Wetenschappelijk: “operationalisatie van onafhankelijke variabelen”

Waar moet het prototype aan voldoen?

- Papieren prototype?

- Wireframes?

- Met of zonder vormgeving?

- Echt werkend of een simulatie?

=>

Wat wil je testen?

Hst 2: Methode§2 beschrijving van het prototype

Test vragen:

1. Is mijn applicatie ‘leuk’ om

te gebruiken?

2. Is mijn applicatie

gebruiksvriendelijk?

3. Past mijn applicatie bij de

doelgroep ‘jongeren 20-30’?

4. Geeft mijn adviesmodule

een goed wijn advies?

Kernmerken prototype

1. Werkend prototype

Vormgegeven

2. Wireframes, papieren

prototype,

werkend prototype zonder

vormgeving

3. Alleen vormgeving,

uitstraling

4. Papieren prototype

Beslisboo

NB: voor volledige documentatie of

prototype

verwijs naar bijlage

Hst 2: Methode§3 hoe het resultaat gemeten wordt

Wetenschappelijk: “operationalisatie van afhankelijke varabelen”

• Emotie -> beoordeling van gezichtuitdrukking

• Gebruiksvriendelijkheid -> aantal kliks, snelheid

• Inhoudelijke correctheid ->expert beoordeling, cijfer

Hst 2: Methode§3 hoe het resultaat gemeten wordt

Test vragen:

1. Is mijn applicatie ‘leuk’ om

te gebruiken?

2. Is mijn applicatie

gebruiksvriendelijk?

3. Past mijn applicatie bij de

doelgroep ‘jongeren 20-30’?

4. Geeft mijn adviesmodule

een goed wijn advies?

Operationalisatie

1. - Subjectieve beoordeling

video

door twee personen

- analytics van A/B test

2. - Het aantal keer dat

gebruiker van pad afwijkt,

en tijd tot einde van taak

- beoordeling

gezichtuitdrukking

3. Snelle enquetevraag: “voor

welke leeftijdsgroep denk je

dat dit is?”

4. Experts beoordelen de

kwaliteit van de adviezen

en geven een cijfer.

Hst 2: Methode§3 hoe het resultaat gemeten wordt

Kwaliteit van de meting:

• Validiteit

• Betrouwbaarheid

Hst 2: Methode[ §4 gewenste resultaten/voorspellingen ]

Niet noodzakelijk bij eerste tests

• Emotie -> beoordeling van gezichtuitdrukking -> postieve emoties af te lezen

• Gebruiksvriendelijkheid -> aantal kliks, snelheid-> maximaal drie kliks bij iedere taak

• Inhoudelijke correctheid ->expert beoordeling, cijfer-> minimaal een 8

Hst 2: Methode§5 selectie van testpersonen

Aantal testpersonen:

Kwalitatieve test : (keypathscenario/expertinterview/videoopbservatie)richtlijn: 2 - 5 testpersonen

Kwantitatieve test: ( A/B test, enquete)richtlijn 20+ ( van veel afhankelijk, statistiek )

Hst 2: Methode§5 selectie van testpersonen

!!!!!!!!!!!!!! De manier van selecteren doet er toe !!!!!!!!!!!!!

• Vrienden hebben vaak overeenkomstige meningen

• Studenten zijn hoog opgeleid

• Op zaterdag tref je vaker fun shoppers

Hst 2: Methode§6 testprocedure

• Waar wordt de test gedaan?

• Wanneer wordt de test gedaan?

• Welke vragen stel je de gebruiker?

• Hoe lang gaat de test duren?

• ….

Alles wat van invloed kan zijn op de interpretatie van de resultaten.

Hst 2: Methode

Alles wordt systematisch overdacht:

§1 keuze testmethode en technieken

§2 beschrijving van het prototype

§3 hoe het resultaat gemeten wordt

§4 gewenste resultaten/voorspellingen

§5 selectie van testpersonen

§6 testprocedure

Hst 2: Methode

• Wetenschappelijke methode?

• Nooit van gehoord.

Hst 3: Resultaten

Samenvatting van de feitelijke resultaten

Per onderszoeksmethode

Geen meningen of interpretaties

Zijn de voorspellingen uitgekomen

Kwalitatieve resultaten: belangrijke fragmenten, stills

Kwantitatieve resultaten: grafieken en tabellen

Hst 4: Resultaten

• Kwalitatieve resultaten: belangrijke fragmenten, stills

Is de app leuk

om te gebruiken?

Hst 4: Resultaten

• Kwantitatieve resultaten: grafieken en statistieken

[ Hst 4: Discussie ]*

[ Hst 4: Discussie ]*

• Verschillende interpretaties van de gevonden resultaten.

• “Waar mensen discussiëren,wordt iets over het hoofd gezien.”

Hst 5: Conclusies

Geef antwoord op de in de inleiding gestelde vragen !

o Eén voor één per vraag

Suggesties voor verder onderzoek

Consequenties voor ontwerp van het product

Han Fei ( 250 BC )

• Uitvinder van bureaucratie

• Iedereen is voor de wet gelijk

• Transparantie van bestuur

• Besturen door te straffen

en te belonen

Daarom

1.heeft het verslag de standaard hoofdstuk indeling?(inleiding, methode, resultaten, [discussie,] conclusie)

2.Worden er in de inleiding relevante vragen gesteld?

3.Worden in de conclusies de gestelde vragen beantwoord?(voor zover mogelijk)

==================================

Beloning: het testverslag kan inhoudelijk besproken worden.