inf 1510: evaluering

Tone

Bra

ttete

ig –

16/

5 20

11

inf 1510: ��evaluering

¤  teste, prøve, sjekke, verifisere, validere …

¤  é-valuer: se verdien av

tid

ide ferdig artefakt

design bruk

overta kast

Tone

Bra

ttete

ig –

16/

5 20

11

hvorfor evaluere?

vi lager ting for andre … “brukskunst”

¤ hva er det vi vil vite underveis i design-prosessen?

¤  klarer brukerne bruke produktet? Vil de det? Vil de kjøpe det?

¤  hva og når kan vi teste underveis? (ideer, modeller, prototyper mm)

¤  hvor og hvordan skal vi teste? (lab eller naturlige omgivelser)

Preece et al kap. 12, 13, 14 og 15

Tone

Bra

ttete

ig –

16/

5 20

11

design-prosessen

tid

ideer ferdig

visjon skisser spesifikasjon

konsept & prototyper

oppd

rag

prod

uksj

on

salg

analyse bygge & teste

Tone

Bra

ttete

ig –

16/

5 20

11

bruk

tid

kjøp vedlikehold reparasjon søppel

forstå / ta i bruk vane læring, tilvenning

kast

e

ønsk

e

gjen

vinn

ing

Tone

Bra

ttete

ig –

16/

5 20

11

bruk

tid

kjøp vedlikehold reparasjon søppel

forstå / ta i bruk vane læring, tilvenning

kast

e

ønsk

e

gjen

vinn

ing

kast

e

ønsk

e

vane mestre, forbedre seg

oppussing søppel 8lbygg, påbygg, modernisering …

bruk = invitere artifaktet inn i våre gjøremål, “vanliggjøre” = del av det å gjøre noe: betingelse/forutsetning og kunnskap

Tone

Bra

ttete

ig –

16/

5 20

11

Echonet Echo Cardiographic Healthcare Online Networking Expertise in Tasmania

Toni Robertson

UTS Sydney

Interaction Design and Human Practice Lab

http://www.research.it.uts.edu.au/idhup/

foredrag Ifi 12/5 2011

Toni

Rob

erts

on, U

TS

Sydn

ey, f

ored

rag

12/5

201

1

Tone

Bra

ttete

ig –

16/

5 20

11

ECHONET is aimed at facilitating the sharing of echocardiography expertise for patient diagnosis in Intensive Care Units in Tasmania.

The main aim was to investigate potentials of broadband technology for delivery of healthcare services to rural and regional Australia.

-‘Focus’ group – identify project

- Stakeholder interviews – what counts as‘success’

- Baseline study – what clinicians actually wanted (future workshops)

- Several design workshops – various prototyping issues came up

- Clinical trial – new info Toni

Rob

erts

on, U

TS

Sydn

ey, f

ored

rag

12/5

201

1

Tone

Bra

ttete

ig –

16/

5 20

11

evaluering ��er innbakt i designprosessen

¤  evaluering er integrert med design & analyse

¤  iterativ utvikling

visjon skisser spesifikasjon

bruk

mm ideer

bruk

mm

prod

uksj

on

Tone

Bra

ttete

ig –

16/

5 20

11

hva er egentlig evaluering?

¤  teste hva i forhold til hva, for hvem

¤  hva er det som evalueres?

¤ i forhold til hva/hvem: kriterier og mål

¤ av hvem: hvem utfører evaluering og hvordan

¤ for hvem: hva brukes evalueringen til

Tone

Bra

ttete

ig –

16/

5 20

11

hva testes = ��kriterier og mål for evalueringen

¤  at artifaktet virker + blir forstått

¤  funksjonalitet (behov)

¤  kommunikasjon av funksjonalitet

¤  evalueringskriterier

¤  at artifaktet 1) gjør de riktige tingene og 2) gjør dem riktig

¤  avhengig av hvem som evaluerer og hva som evalueres

riktig resultat: funksjonalitet ift kravspec v/ reviews, inspeksjon ..

de riktige tingene det vi ønsket

validere og verifisere

Tone

Bra

ttete

ig –

16/

5 20

11

hvem og hvordan

¤  den som har laget artifaktet?

¤  den som har bestilt artifaktet?

¤  den som skal bruke artifaktet?

¤  eksterne?

¤  eksperter?

¤  mål: hva er godt nok? Hvem bestemmer det?

omfang

kostnad tid

eval

ueri

ngsk

rite

rier

Tone

Bra

ttete

ig –

16/

5 20

11

hvordan = metoder

¤  analytisk evaluering

¤  heuristisk evaluering

¤  summativ evaluering

¤  formativ evaluering

¤  predikerende evaluering

¤  kombinasjoner

¤  bruker-testing

¤  brukbarhets-testing

¤  brukbarhets-studier

¤  bruker-studier

¤  feltstudium

¤  brukbarhets-lab

¤  kontrollert eksperiment

Tone

Bra

ttete

ig –

16/

5 20

11

hvordan = tilnærminger

3 hovedtyper: i lab, i felten, på kontoret

gir forskjellig informasjon, foregår på forskjellig tidspunkt i designprosessen

i lab: brukbarhetstesting

– observere og måle funksjonalitet og kommunikasjon av funksjonalitet

i felten: feltstudier – observere og intervjue i bruk / med brukere

på kontoret: analytisk

– inspeksjoner, reviews

– heuristisk evaluering (f.eks. Nielsens oppsummering av 249 brukbarhetsproblemer)

Tone

Bra

ttete

ig –

16/

5 20

11

tilnærminger

3 hovedtyper: i lab, i felten, på kontoret

gir forskjellig informasjon og foregår på forskjellig tidspunkt i design

brukbarhetstesting feltstudier analytisk

brukere gjør oppgaver naturlig praksis ikke involvert

sted kontrollert omgivelse (lab) naturlig hvor som helst

når prototype tidlig prototype

data kvantitative kvalitative problemer

feedback målinger og feil beskrivelser problemer

type bruk / anvendelse naturlig praksis ekspert

(fra

Pree

ce e

t al

)

Tone

Bra

ttete

ig –

16/

5 20

11

5/13/11 3:29 PM10 Heuristics for User Interface Design

Page 2 of 2http://www.useit.com/papers/heuristic/heuristic_list.html

indicate the problem, and constructively suggest a solution.Help and documentation

Even though it is better if the system can be used without documentation, itmay be necessary to provide help and documentation. Any such informationshould be easy to search, focused on the user's task, list concrete steps to becarried out, and not be too large.

I originally developed the heuristics for heuristic evaluation in collaboration withRolf Molich in 1990 [Molich and Nielsen 1990; Nielsen and Molich 1990]. I sincerefined the heuristics based on a factor analysis of 249 usability problems [Nielsen1994a] to derive a set of heuristics with maximum explanatory power, resulting inthis revised set of heuristics [Nielsen 1994b].

Updated Findings

I'll present my newest usability guidelines in the tutorial on FundamentalGuidelines for Web Usability at the Usability Week 2009 conference in Las Vegasand Berlin.

The conference also includes a full-day course on other methods beyond usertesting.

See Also:

Bruce "Tog" Tognazzini's list of basic principles for interface design. The list isslightly too long for heuristic evaluation but serves as a useful checklist.Examples of the 10 heuristics in Web applications.The 10 usability heuristics applied to everyday life (just for fun).Full set of 2,397 usability guidelines (across multiple reports).

ReferencesMolich, R., and Nielsen, J. (1990). Improving a human-computer dialogue, Communications of

the ACM 33, 3 (March), 338-348.Nielsen, J., and Molich, R. (1990). Heuristic evaluation of user interfaces, Proc. ACM CHI'90

Conf. (Seattle, WA, 1-5 April), 249-256.Nielsen, J. (1994a). Enhancing the explanatory power of usability heuristics. Proc. ACM CHI'94

Conf. (Boston, MA, April 24-28), 152-158.Nielsen, J. (1994b). Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability

Inspection Methods, John Wiley & Sons, New York, NY.

Copyright © 2005 by Jakob Nielsen. ISSN 1548-5552

5/13/11 3:29 PM10 Heuristics for User Interface Design

Page 1 of 2http://www.useit.com/papers/heuristic/heuristic_list.html

useit.com Papers and Essays Heuristic Evaluation Listof Heuristics

Search

Ten Usability Heuristicsby Jakob Nielsen

These are ten general principles for user interface design. They are called"heuristics" because they are more in the nature of rules of thumb than specificusability guidelines.

Visibility of system statusThe system should always keep users informed about what is going on,through appropriate feedback within reasonable time.

Match between system and the real worldThe system should speak the users' language, with words, phrases andconcepts familiar to the user, rather than system-oriented terms. Follow real-world conventions, making information appear in a natural and logical order.

User control and freedomUsers often choose system functions by mistake and will need a clearlymarked "emergency exit" to leave the unwanted state without having to gothrough an extended dialogue. Support undo and redo.

Consistency and standardsUsers should not have to wonder whether different words, situations, oractions mean the same thing. Follow platform conventions.

Error preventionEven better than good error messages is a careful design which prevents aproblem from occurring in the first place. Either eliminate error-proneconditions or check for them and present users with a confirmation optionbefore they commit to the action.

Recognition rather than recallMinimize the user's memory load by making objects, actions, and optionsvisible. The user should not have to remember information from one part ofthe dialogue to another. Instructions for use of the system should be visibleor easily retrievable whenever appropriate.

Flexibility and efficiency of useAccelerators -- unseen by the novice user -- may often speed up theinteraction for the expert user such that the system can cater to bothinexperienced and experienced users. Allow users to tailor frequent actions.

Aesthetic and minimalist designDialogues should not contain information which is irrelevant or rarely needed.Every extra unit of information in a dialogue competes with the relevant unitsof information and diminishes their relative visibility.

Help users recognize, diagnose, and recover from errorsError messages should be expressed in plain language (no codes), precisely

5/13/11 3:36 PMAskTog: First Principles of Interaction Design

Page 1 of 11http://www.asktog.com/basics/firstPrinciples.html

nn/g useit.com jnd.org

Interaction Design Solutions for the RealWorld Google Search

Interaction Design Section Living Section About Bruce TognazziniSelect Language

Powered by Translate Search WWW Search

asktog.com

NN/g Home AskTog Basics Principles First Principles of Interaction Design

Jump to:

AnticipationAutonomyColor BlindnessConsistencyDefaultsEfficiency of theUserExplorableInterfacesFitts' LawHuman-InterfaceObjectsLatencyReductionLearnability Limit TradeoffsMetaphorsProtect theUser's WorkReadabilityTrack StateVisible Interfaces

The following principles are fundamental to the design andimplementation of effective interfaces, whether for traditional GUIenvironments or the web. Of late, many web applications have reflecteda lack of understanding of many of these principles of interaction design,to their great detriment. Because an application or service appears onthe web, the principles do not change. If anything, applying theseprinciples become even more important.

• Belorussian Version:http://www.fatcow.com/edu/designedtogivefitts-be/

• Deutsche (German) Version:http://meiert.com/de/publications/translations/asktog.com/firstprinciples/

• Italian Version:http://www.10people.net/tutorial/interaction_design-ask_tog/pricipi_di_interaction_design.html

• Nederlands (Dutch) Version:http://aifia.org/nl/translations/000187.html

• Polish Version:http://offline.pl/blog/podstawy-projektowania-interakcji.html

• Portuguese Version:http://userdesign.org/principios.html

• Spanish Version:http://galinus.com/es/articulos/principios-diseno-de-interaccion.html

Effective interfaces are visually apparent and forgiving, instilling in theirusers a sense of control. Users quickly see the breadth of their options,grasp how to achieve their goals, and do their work.

Effective interfaces do not concern the user with the inner workings ofthe system. Work is carefully and continuously saved, with full optionfor the user to undo any activity at any time.

Effective applications and services perform a maximum of work, whilerequiring a minimum of information from users.

This work is copyright 2003 by Bruce Tognazzini. Permission to makecopies for personal use is granted without reservation, provided thiscopyright notice remains on the copy. Please contact the author forpermission to republish on a web site, to publish in bound form, or tomake multiple copies, except that educators and in-house corporate

Tone

Bra

ttete

ig –

16/

5 20

11

5/15/11 2:33 PMShneiderman's Eight Golden Rules of Interface Design

Page 1 of 1http://faculty.washington.edu/jtenenbg/courses/360/f04/sessions/schneidermanGoldenRules.html

Shneiderman's "Eight Golden Rules of Interface Design"

These rules were obtained from the text Designing the User Interface by Ben Shneiderman. Shneidermanproposed this collection of principles that are derived heuristically from experience and applicable inmost interactive systems after being properly refined, extended, and interpreted [9].

To improve the usability of an application it is important to have a well designed interface.Shneiderman's "Eight Golden Rules of Interface Design" are a guide to good interaction design.

1 Strive for consistency.Consistent sequences of actions should be required in similar situations; identical terminology should beused in prompts, menus, and help screens; and consistent commands should be employed throughout.

2 Enable frequent users to use shortcuts.As the frequency of use increases, so do the user's desires to reduce the number of interactions and toincrease the pace of interaction. Abbreviations, function keys, hidden commands, and macro facilities arevery helpful to an expert user.

3 Offer informative feedback.For every operator action, there should be some system feedback. For frequent and minor actions, theresponse can be modest, while for infrequent and major actions, the response should be more substantial.

4 Design dialog to yield closure.Sequences of actions should be organized into groups with a beginning, middle, and end. Theinformative feedback at the completion of a group of actions gives the operators the satisfaction ofaccomplishment, a sense of relief, the signal to drop contingency plans and options from their minds,and an indication that the way is clear to prepare for the next group of actions.

5 Offer simple error handling.As much as possible, design the system so the user cannot make a serious error. If an error is made, thesystem should be able to detect the error and offer simple, comprehensible mechanisms for handling theerror.

6 Permit easy reversal of actions.This feature relieves anxiety, since the user knows that errors can be undone; it thus encouragesexploration of unfamiliar options. The units of reversibility may be a single action, a data entry, or acomplete group of actions.

7 Support internal locus of control.Experienced operators strongly desire the sense that they are in charge of the system and that the systemresponds to their actions. Design the system to make users the initiators of actions rather than theresponders.

8 Reduce short-term memory load.The limitation of human information processing in short-term memory requires that displays be keptsimple, multiple page displays be consolidated, window-motion frequency be reduced, and sufficienttraining time be allotted for codes, mnemonics, and sequences of actions.

From http://www.cs.utexas.edu/users/almstrum/cs370/elvisino/rules.html

Tone

Bra

ttete

ig –

16/

5 20

11

i lab

Tone

Bra

ttete

ig –

16/

5 20

11

i felten

Tone

Bra

ttete

ig –

16/

5 20

11

DECIDE-rammeverket

¤ Determine goals

¤  Explore the questions

¤ Choose the evaluation approach and methods

¤  Identify the practical issues

¤ Decide how to deal with ethical issues

¤  Evaluate, analyze, interpret and present the data

fra Preece et al kap. 13

Tone

Bra

ttete

ig –

16/

5 20

11

DECIDE-rammeverket








¤ målene for evalueringen

¤  visjon, grensesnitt, brukbarhet, effekt, robusthet, pålitelighet ...

¤  hvem skal bruke evalueringen, til hva?

¤  hvilken metode passer?

Tone

Bra

ttete

ig –

16/

5 20

11

DECIDE-rammeverket








¤  finn gode spørsmål

¤  hvordan kan dette måles?

¤  hva er indikatorer på dette?

¤  “som man spør, får man svar”

Tone

Bra

ttete

ig –

16/

5 20

11

DECIDE-rammeverket








¤  tilnærmingen bestemmer metode

¤  feltstudium, brukbarhetstesting …

¤ metode bestemmer hvilke data som samles inn & hvordan de analyses

Tone

Bra

ttete

ig –

16/

5 20

11

DECIDE-rammeverket








¤  velge og finne brukere

¤  tid og ressurser til rådighet

¤  velge og finne evaluatorer

¤  utstyr til evalueringen

Tone

Bra

ttete

ig –

16/

5 20

11

DECIDE-rammeverket








¤  samtykke-erklæring

¤  deltakerne må få informasjon om studien og om hvordan dataene behandles

¤ og om personvern

¤ og kan avbryte om og når de ønsker

Tone

Bra

ttete

ig –

16/

5 20

11

DECIDE-rammeverket








¤  avhenger av tilnærming og metode

¤  husk:

¤  reliabilitet / pålitelighet (data repliseres) eller troverdighet

¤  validitet eller bekreftbarhet (av analyse, tolkning)

¤  bias eller systematisk skjevhet

¤ område: generalisering eller overførbarhet

¤  effekter og konsekvenser, inkludert bærekraft

Tone

Bra

ttete

ig –

16/

5 20

11

hvorfor evaluere?

vi lager ting for andre … “brukskunst” ¤  hva er det vi vil vite underveis i design-prosessen?

¤  klarer brukerne bruke produktet? Vil de det? Vil de kjøpe det?

¤  hva og når kan vi teste underveis? (ideer, modeller, prototyper mm)

¤  hvor og hvordan skal vi teste? (lab eller naturlige omgivelser)

Preece et al kap. 12, 13, 14 og 15

¤  hva evalueres?

¤  i forhold til hva/hvem: kriterier og mål

¤  av hvem: hvem utfører evaluering og hvordan

¤  for hvem: hva brukes evalueringen til

Tone

Bra

ttete

ig –

16/

5 20

11

evaluering av gruppearbeidet��(se øvingsoppgave uke 19)

¤  leveranser i hht plan?

¤ oppdeling og koordinering av arbeidet

¤  roller og oppgaver

¤  arbeidsoppgaver og –ansvar

¤ oppleves arbeidsoppgavene jevnt fordelt? Har alle lært noe nytt?

¤  kjøreregler (være sen, ikke komme, ikke levere, når er det et problem, sanksjoner)

¤  fakta (# timer, # møter, # bidrag)

Tone

Bra

ttete

ig –

16/

5 20

11

til eksamen��evaluering av prosjekt / arbeid

¤  undersøkelse

¤  designforslag

¤  utstilling

¤  sluttrapport

¤  individuell rapport

INF1510: evalueringskriterier

Nedenfor er en kort beskrivelse av karakterkrav i INF1510. Sluttrapporten, som er en gruppeoppgave, teller 50% av karakteren, utstilling og ”elevator pitch” (også gruppeoppgave) teller 25%, og den individuelle rapporten teller 25%. Dermed vil den individuelle rapporten kunne justere karakteren opp eller ned i forhold til gruppas karakter. undersøkelse designforslag utstilling sluttrapport A Prosjektgruppa har bygget på

egen kunnskap og innhentet mer informasjon gjennom egne under-søkelser. Gruppa har brukt flere undersøkelsesmetoder, og metodene passer til det gruppa ønsker å få vite. Metodene er veldokumentert (både gjennom-føring og innsamlede data), og analysen av dataene er godt beskrevet. I analysen er det brukt begreper fra en eller flere gjesteforeles-ninger, og det er argumentert for at og hvordan begrepene har bidratt positivt til forståelse og eller løsning. Gruppa har samarbeidet med brukere om design og gjennom dette fått ny innsikt i bruks-området.

Sluttproduktet representerer en visjon basert på innsikt både fra bruk og teknologi. Løsningen er ny i bruks-omgivelsene og utnytter teknologiens muligheter. Den kommuniserer visjonen gjennom materialer, funksjon og form. Skisser og prototyper demonstrerer hvordan visjonen har utviklet seg iterativt og gjennom bruker-dialog og –testing. Minst to forskjellige visjoner har vært vurdert og testet.

Sluttproduktet presenteres slik at mål og visjon kommuniseres tydelig. Utstillingen er forseggjort og vel forberedt og levendegjør produktet. En god elevator pitch er - kort,1-2 min. Muliggjør spørsmål - formidler at gruppa er stolte - få, men overbevisende argumenter - adresserer riktig publikum - vekker interesse fra første stund - hva er så bra med denne visjonen? - hva er så bra med dette produktet? - god gjennomføring (øvd) - kan høre og respondere på innspill Hele gruppa deltar i presentasjonen

Fremstillingen er klar, logisk og godt strukturert. Godt språk. Mål, målgruppe og visjon klart presentert. Klar tolking av tema. God plan (med milepæler) og hvordan den ble revidert underveis. Undersøkelsen er veldokumentert: hva ønsket gruppa å finne ut, hvilke metoder ble valgt (hvorfor disse), hvordan gikk det – hva fant de ut? Hva lærte de om metoden? Gruppa bruker flere metoder og ser dem i sammenheng. Skisser og prototyping er veldokumentert: hvorfor (kommunisere, utforske, samarbeide, lære mer, evaluere), hvordan (rolle, ”look-and-feel”, imple-mentering), hvilke valg mht. oppløsning og forseg-gjorthet ble gjort, hvilke materialer og former egnet seg og hvorfor. Gruppa lager flere prototyper, inkludert prototyper av mer enn en visjon. Analysen relaterer seg til og bruker et eller flere fagtermer og teorier fra gjesteforelesningene. Gruppa bruker flere (mer enn 5) referanser til litteratur og forelesninger i analysen (og i andre deler av rapporten). Sluttproduktet presenteres med en overbevisende ”elevator pitch” og slik at mål og visjon kommuni-seres tydelig. Presenterer også ideer, visjoner og løsningsforslag som er forkastet, samt begrunnelser for dette som er basert på undersøkelser og testing. Gruppa viser en selvstendig og kritisk vurdering av eget arbeid, både prosess og produkt. Ekstra informasjon er brukt i evalueringen (f.eks. relevant forskning), og det er brukt relevante referanser.

C Prosjektgruppa har gjennomført undersøkelser og brukt to under-søkelsesmetoder. Metodevalget er

Sluttproduktet representerer en visjon som gruppa kan argumentere for både ut fra bruk og teknologi.

Sluttproduktet presenteres greit i utstillingen. Gruppas elevator pitch er

Fremstillingen er godt strukturert, og språket er greit. Mål, målgruppe og visjon presentert. Tema er tolket. Plan og milepæler presentert, kommentert.

Tone

Bra

ttete

ig –

16/

5 20

11

til eksamen��evaluering av prosjekt / arbeid

¤  undersøkelse

¤  designforslag

¤  utstilling

¤  sluttrapport


- egen kompetanse

- undersøkelser av bruk (flere metoder)

- analyser

- faglige referanser

Tone

Bra

ttete

ig –

16/

5 20

11

prosjekt/arbeid

¤  undersøkelse

¤  designforslag

¤  utstilling

¤  sluttrapport


- visjon fra bruk & teknologi

- 2 visjoner

- utnytte Arduinos muligheter

- prosess-mellomprodukter

Tone

Bra

ttete

ig –

16/

5 20

11

prosjekt/arbeid

¤  undersøkelse

¤  designforslag

¤  utstilling

¤  sluttrapport


- visjon & mål tydelig

- forseggjort utstilling

- elevator pitch

- gruppearbeid

Tone

Bra

ttete

ig –

16/

5 20

11

prosjekt/arbeid

¤  undersøkelse

¤  designforslag

¤  utstilling

¤  sluttrapport


- god framstilling: klar, logisk struktur & godt språk

- klar framstilling av prosjektet & prosjektarbeidet

- veldokumentert undersøkelse, metodebruk, analyse

- veldokumentert designprosess, prototyper, evaluering

- analyse basert på data, tester, fagtermer (referanser)

- sluttprodukt m. elevator pitch + begrunnelse

Tone

Bra

ttete

ig –

16/

5 20

11

prosjekt/arbeid

¤  undersøkelse

¤  designforslag

¤  utstilling

¤  sluttrapport


- arbeidet: vurder oppdeling, fordeling, roller – tiltak?

- resultatet: vurder gruppas og ditt bidrag, argumenter

- hva lærte du i prosjektet? Hva tar du med til neste gang?

Tone

Bra

ttete

ig –

16/

5 20

11

inf 1510: ��evaluering

¤  hva er evaluering?

¤  begreper og tilnærminger

¤ metoder og modeller

¤  underveis i undersøkelses- og analyse-aktiviteter

¤  underveis i design

¤  som egen aktivitet

¤  evaluering av læringsresultater

inf 1510: evaluering

Documents