metoder til usabilityevaluering af jan stage, aau

Metoder til usability-evaluering

Jan Stage

Professor, PhD

Forskningsleder i Informationssystemer (IS)/Human-Computer Interaction (HCI)

Aalborg Universitet, Institut for Datalogi, HCI-Lab

[email protected]

mailto:[email protected]

2Institut for Datalogi2

• Introduktion

• MAUSE-projektet

• Klassiske metoder

• Moderne metoder

• Opsummering

Oversigt


• Introduktion

• Metoder

• Praksis

• MAUSE-projektet


• Moderne metoder

• Opsummering

Oversigt

4Institut for Datalogi


Commission statement

Design products

User interaction design Development

management

Evaluation products

Usability evaluation Recommendations


To undersøgelser af forhindringer i praksis

Primært Nordjylland

1. Software-virksom-heder, typisk svar fra mellemledere

2. Deltagere i en-dages konference om usability

• Tallene angiver procent af svarene i hver undersøgelse

2325

15

86

13

0

10

43

118

5 5

1

26

00

5

10

15

20

25

30

35

40

45

50

Resourcedemands

Developermindset

Customerparticipation

Testparticipants

Conductingtests

No problems Low priority No answ er

Første undersøgelse

Anden undersøgelse


• Introduktion

• MAUSE-projektet

• Projektets formål

• Review, report and refine (R3UEMs)

• Typer af evalueringsmetoder


• Moderne metoder

• Opsummering

Oversigt


MAUSE-projektet

• Financieret af EU under COST programmet

• Førende forskere inden for usability-arbejde fra det meste af Europa

• Resultater inden for:• Måling af kvalitet af interaktive systemer• Definition og måling af user experience• Nytteværdi af usability-evaluering (downstream)• Samspillet mellem software-udvikling og usability-evaluering

• http://www.cost294.org/


• Katalog over eksisterende metoder til usability-evaluering

• Baseret på en overordnet opdeling:1. DGMM

Data Gathering and Modelling Methods

2. UIEMUser Interactions Evaluation Methods

3. CMCollaborative Methods

• http://141.115.28.2/cost294/upload/522.pdf

Review, Report and Refine (R3UEMs)


DGMM Data Gathering and Modelling Methods (1)• Used for gaining knowledge about users and their activities

and provide representations of these

• Two subcategories:• DGM

• Data Gathering Methods• Focus on ways to gather knowledge about the relevant

characteristics of the users, tasks and contexts in which interactive systems are being used

• Examples of methods:• Surveys (users, tasks, contexts)• Think aloud (about the the way a work task is carried out)• Card sorting (key concepts and their relations)


• MM• Modelling Methods• Often associated with specific data gathering methods• Provide, at various levels of detail, with variable underlying

models and languages, an accurate representation of users and their activities

• Examples of methods:• Personas• Task models• Scenarios• Use cases

DGMM Data Gathering and Modelling Methods (2)


UIEM User Interactions Evaluation Methods (1)• Explicitly targeted towards evaluation

• Two subcategories:• KMbM

• Knowledge- and Model-based Methods• Analytical and not necessarily requiring direct access to users• Three categories:

• Expert evaluation: inspection based solely on the evaluator’s knowledge and experience – Examples: expert inspection or walkthrough

• Document-based evaluation: inspection based on some guiding documents, at various degrees of precision – Examples: heuristic evaluation or walkthrough

• Model-based evaluation: inspection based on some theoretical models, usually cognitive – Example: cognitive walkthrough


• EM• Empirical Methods• Can only be used after some form of interaction design is

available• Direct acces to end-users is mandatory• Example: classical user testing

UIEM User Interactions Evaluation Methods (2)


CM Collaborative Methods

• Referred to as “creativity methods”

• Require the active participation of the users in the evaluation or design

• Rely on various forms of organisation and communication

• Examples:• Cooperative user testing• Cooperative user testing research


• Introduktion

• MAUSE-projektet


• Bruger-baseret tænke-højt test (EM)

• Ekspert-baseret heuristisk inspektion (KMbM)

• Erfaringer

• Moderne metoder

• Opsummering

Oversigt


Bruger-baseret tænke-højt test (EM)

• En bruger løser en række realistiske opgaver ved hjælp af systemet

• Brugeren "tænker højt" imens:• Beskriver intentioner• Forklarer handlinger• Udtrykker forståelse

• En testleder observerer og spørger, når brugeren glemmer at tænke højt

• Testlederen griber ind eller hjælper, når testpersonen er gået i stå

Fordele: Giver ”meget stærk oplevelse” Meget præcis problempåpegning Giver indtryk af brugerens ”mentale

model” Kan gennemføres tidligt i

systemudviklings-processen

Fordele: Giver ”meget stærk oplevelse” Meget præcis problempåpegning Giver indtryk af brugerens ”mentale

model” Kan gennemføres tidligt i

systemudviklings-processen

Ulemper: Unaturlig situation Testlederrolle meget svær Omfattende analysearbejde Fokus på “novice-brugere” Systemet testes på opgavernes

præmisser Designere påvirkes stærkt Meget stresset situation for brugeren

Ulemper: Unaturlig situation Testlederrolle meget svær Omfattende analysearbejde Fokus på “novice-brugere” Systemet testes på opgavernes

præmisser Designere påvirkes stærkt Meget stresset situation for brugeren


• Eksperterne arbejder individuelt og noterer problemer ud fra en checkliste (heuristikker)

• Scenario med relevante opgaver kan strukturere processen

• Systemet gennemgås to gange:• Fokus på helhed og umiddelbare

indtryk• Fokus på detaljer såsom funktioner i

forhold til opgaver

• I fællesskab udarbejdes en samlet problemliste

Ekspert-baseret heuristisk inspektion (KMbM)

Eksempel på checkliste:

Enkel og naturlig dialog

Tal brugerens sprog Minimer krav til

hukommelsen Sørg for konsistens Giv feedback Lav tydelige udgange Lav genveje Giv konstruktive

fejlmeddelelser Forebyg fejl

Eksempel på checkliste:

Enkel og naturlig dialog

Tal brugerens sprog Minimer krav til

hukommelsen Sørg for konsistens Giv feedback Lav tydelige udgange Lav genveje Giv konstruktive

fejlmeddelelser Forebyg fejl


Erfaringer

Bruger-baserede (EM empiriske metoder)

• Eksempel: tænke-højt med en typisk bruger

• Styrke: problemerne er oplevede, og deres alvor kan vurderes

• Svaghed: tidskrævende at forberede og gennemføre100-200+ timer over 4-6 uger

Ekspert-baserede (KMbM viden- eller modelbaserede metoder)

• Eksempel: heuristisk inspektion udført af en HCI-ekspert

• Styrke: kan gennemføres hurtigt og fjerne ”bommerter”

• Svaghed: mange falske positiver


• Introduktion

• MAUSE-projektet


• Moderne metoder

• Målsætning

• Eksempler

• Opsummering

Oversigt


Aktiviteter i en usability-evaluering

• Form: formative/summative• I udviklingsprocessen:

• Eksplorativ• Vurdering• Validering• Sammenligning

• Deltagere og roller• Sted og udstyr

• Genskabelse af kontekst• Informering af deltagerne• Fordel roller i teamet• Klargør udstyr• Opgaveudarbejdelse• Fremstilling af materialer

• Tidsforbrug• Videoanalyse• Transskribering af logfiler• Identifikation af problemer• Kategorisering af problemer

Testplan:• Formål• Hovedspørgsmål• Brugerprofil• Deltagere og roller• Testmetoder• Opgaver• Kontekst og udstyr• Dataindsamling• Formidlingsform

For hver deltager:• Introduktion• Opgaveløsning• Dataindsamling• Logning• Debriefing

• Rapport (komplet)• Rapport (fokuseret)• Redesignforslag• Redesign workshop• Observation • Multimedia præsentation

Opgavedefinering

Planlægning

Forberedelse

Udførelse

Fortolkning

Formidling


Moderne metoder

• Moderne metoder er typisk udviklet for at finde løsninger, der fjerner eller reducerer vigtige forhindringer for usability-arbejde i praksis

• Fire eksempler:• Alle fire giver metode

(støtter udførelse)

1. Reducere tidsforbrugeti den ”dyreste” aktivitet

2. Inddrage udviklerne3. Adgang til brugerne4. Inddrage brugerne (og

reducere tidsforbruget)

2325

15

86

13

0

10

43

118

5 5

1

26

00

5

10

15

20

25

30

35

40

45

50

Resourcedemands

Developermindset

Customerparticipation

Testparticipants

Conductingtests

No problems Low priority No answ er


• Data analysis is the single most resource demanding activity

• IDA – right after the evaluation:• Usability problems are documented• Organized by a facilitator

• Significant reduction: 75-90% of effort

• Almost the same number of problems are identified

1. Reducere tidsforbruget


1. Instant Data Analysis (IDA)

Antal fundne problemer:

Tid brugt på analyse: IDA = 11.5 t., Video = 59.75 t.

Instant Data Analysis kan:• Hjælpe evaluatorer til at identificere de mest kritiske og alvorlige

usability-problemer oplevet af testbrugerne. • Udføres på kun 20% af tiden sammenlignet med traditionel

videoanalyse• Reducere “støj” skabt ved kosmetiske og unikke usability-problemer

IDA Video TotalKritisk 16 13 18Alvorligt 13 13 17Kosmetisk 8 18 19Total 37 44 54


• Udviklerne kan trænes i usability-evaluering• Første forsøg et forløb på

10 x 4 timer (40 timer)• Mere fokus på

problemidentifikation• Nu et revideret forløb på

(40 timer):• 2 dages undervisning• 1 dags øvelse• 1 dags evaluering med

coaching• 1 dags dokumentation

• Udviklet et værktøj til identifikation og kategorisering af usability-problemer

2. Inddrage udviklerne


3. Adgang til brugerne

• Remote usability-evaluering er en situation hvorevaluatorerne er adskilt fra brugerne i tid og/eller rum (Castillo, Hartson og Hix, 1998)

• Remote synkron: Testleder og bruger er fysisk adskilt med realtids-observation af brugere

• Data indsamles via webcam, mikrofon og screen capture software og analyseres efterfølgende, som var det en traditionel test

• Fordele:• Billigt teknisk udstyr• Testpersoner/testleder behøver ikke befinde sig samme

sted• Brugerne kan bedre lide det end almindeligt lab• Samme performance som lab-test med videoanalyse


Remote synkron evaluering

• Often difficult to organize an evaluation

• Use the Internet as the laboratory

• Synchronous performance is comparable

• Asynchronous requires significantly less effort (about 15%) as the users are testing


4. Inddrage brugerne

• Remote Asynkron Evaluering:• Testleder og bruger er fysisk adskilt• Brugerne modtager korte instruktioner og

udfører testen uden testleder• Ingen direkte observation af brugerne• Data indsamles via en webformular (f.eks.

kvalitative problembeskrivelser)• Indrapporterede problemer filtreres og

bearbejdes efterfølgende

• Fordele:• Simpelt setup (ingen kameraer mv.)• Testbrugere behøver ikke at være fysisk til

stede• Brugerne genererer selv data


Lab Remote Asynchronous

Usability problems:

# % # %

Critical (21) 20 95 10 48

Serious (17) 14 82 2 15

Cosmetic (24) 12 50 1 4

Total (62) 46 74 13 21

Remote Asynkron: Resultater

62 usabilityproblemer identificeret i alt

RA finder 50 % af de kritiske problemer

Tidsforbrug


• Introduktion

• MAUSE-projektet


• Moderne metoder

• Opsummering

Oversigt



Katalog over eksisterende metoder:1. Data Gathering and Modelling Methods2. User Interactions Evaluation Methods3. Collaborative Methods

Beskrivelse af klassiske metoder• Bruger-baseret tænke-højt test (EM)• Ekspert-baseret heuristisk inspektion (KMbM)

Eksempler på moderne metoder1. Reducere tidsforbruget i den ”dyreste” aktivitet (IDA)2. Inddrage udviklerne (Træning i usability evaluering)3. Adgang til brugerne (remote synkron)4. Inddrage brugerne – og reducere tidsforbruget (remote

asynkron)

metoder til usabilityevaluering af jan stage, aau

Technology