Évaluation des logiciels interactifs (1)

Download Évaluation des logiciels interactifs (1)

If you can't read please download the document

Post on 03-Jan-2016

15 views

Category:

Documents

0 download

Embed Size (px)

DESCRIPTION

Évaluation des logiciels interactifs (1). Cours 3 (partie 1). Méthodes d’Inspection (évaluation sans utilisateur). M2-EIAH/DU-TICE, Paris 6 Elisabeth.Delozanne@upmc.fr http://www.lutes.upmc.fr/delozanne/2008-2009/M2-P6-EIAH-Accueil.htm. Plan du cours. Vos questions - PowerPoint PPT Presentation

TRANSCRIPT

  • *valuation des logiciels interactifs (1)M2-EIAH/DU-TICE, Paris 6Elisabeth.Delozanne@upmc.frhttp://www.lutes.upmc.fr/delozanne/2008-2009/M2-P6-EIAH-Accueil.htmMthodes dInspection(valuation sans utilisateur)Cours 3 (partie 1)

  • *Plan du coursVos questionsCours 3: valuation des logiciels interactifs (partie 1)valuer ?Mthodes dinspection ?Critres ergonomiques ?Retour sur vos questionsLe projetvaluation de projets existantsPrparations des entretiens et des interviewsCours 3 : valuation des logiciels interactifs (partie 2)Mthodes des tests utilisateursQuelles mthodes choisir ?

  • *(Rappel) Cours 1 : Facteurs de succsCycle de conceptionConception centre usagerLanalyse des tches et les analyses en contexte de travail usuelLe prototypage rapideLvaluation constanteConception itrativeLa qualit de la programmation

  • *valuer ?Qu'est-ce que l'valuation ?Dfinition :valuer = jugerObjectivit ??? Rfrence ? Plusieurs approches : Critres raisonns, modlesvaluer quand ? pourquoi ? Moments d'valuationObjectifsvaluer quoi ?Variables ciblesvaluer comment ? quel cot ?Mthodes, techniquesTemps, argent

  • Dfinitions (dbut)valuation en Gnie Logicielsystme = solution logicielle et matrielleles plans qualit fournissent des mtriques pour le respect des normes de programmation (portabilit, maintenance etc.)ne fournissent aucune mthode pour s'assurer de l'utilisabilit valuation ergonomiquesystme interactif = { utilisateur(s), artefact(s) }s'intresse l'efficacit des systmes humains-machines l'utilisabilit/utilit du systme interactif

  • *Utilisabilit (rappel)norme ISO 9241-11 (1998): lutilisabilit est le degr selon lequel un produit peut-tre utilis par des utilisateurs identifis, pour atteindre des buts dfinis avec efficacit, efficience et satisfaction dans un contexte dutilisation spcifi. BastienUtilisabilit/utilit : qualit ergonomique de l'interface

  • *Dfinitions (fin)valuation : processus pour tudier les rapports entre la conception et l'utilisationvaluation a priori, formative (conception)pour identifier ou prvoir les besoins, les scnarios dutilisation et les difficults potentielles ou relles des utilisateurspour donner des ides et les vlauervaluation a posteriori, sommative (usage)pour caractriser les points forts et les points faibles d'un systme interactifpour prparer les volutions

  • Moments & Objectifs d'valuationen cours de conceptionanalyse de besoins, comprhension des situations, tude de lexistantslection d'alternatives de conceptionconception itrative de maquettes/prototypesfaisabilit et acceptabiliten cours de ralisationdtection et correction de dfauts, contrle qualit, test de performanceavant diffusiontests de dverminage, d'acceptabilit, vrification des performancesintgration dans lactiviten cours de diffusionsatisfaction, amliorations, incidents, support l'utilisateur, maintenance, image du produitavant d'achetercomparaison de logiciels : technique/utilisabilit

  • *valuation et cycle de conception

  • valuer quoi ? Les dimensions d'valuation dpendent des objectifs et du contexteutilitla fiabilit, la qualit techniqueles temps de rponseutilisabilitla facilit d'apprentissage, la flexibilit, la robustesselutilisation des fonctions la tolrance aux erreursla qualit de la documentation et de lassistancela logique du travailles opinions ou les attitudes

  • valuer comment ? Sans utilisateurs : approche analytiquea priori, ne ncessitant pas un systme fonde sur des modles implicites (mthodes dinspection, low cost)explicites (formels, approches automatiques)Avec utilisateurs : approche exprimentale (empirique)ncessitant un systme (ou un prototype) recueil de donnes comportementales auprs d'utilisateurs (en situation relle ou en laboratoire)Mthode d'valuation cooprative (cours 3.2)Tests d'utilisabilit

  • *valuer quel prix ?Temps, argent, comptencesMthodes low costCulture de lvaluation chez les informaticiensvitent les gros problmes, pas les problmes subtilsInformelles, qualitatives, valuation formativeMthodes scientifiques et rigoureusesGros projets, projets risques, rechercheInformations fiables, quantitativesQuel retour sur investissement pour les tudes dutilisabilit ? (ROI)

  • *PlanRappelsvaluer ?Mthodes dinspection Critres dvaluation heuristique/ergonomiqueTests utilisateurs (cours 3.2)Choisir une mthode (cours 3.2)

  • Approches analytiquesl'valuation de l'IHM se fait a priori par comparaison avec un "modle de rfrence" modle qui n'est pas souvent formalis ni expliciton distinguedes approches informellesMthodes dinspection (prsentes ici)Mthodes low costdes approches formelles (ou semi-formelles) (non tudies ici)modles prdictifsanalyse de tches (KLM et GOMS)modle linguistique (ALG et CLG)modle de complexit cognitive (Kieras et Polson)modles de qualit de l'interfaceapproche cognitiverecherche des qualits optimales

  • *Les mthodes dinspectionInventaireLes jugements dexpertsLes grilles dvaluationLes revues de conception (design walkthrough)Sappuient surDes scnariosDes heuristiques, des recommandations ou des critresAvantagesPas cher et rapides (de lordre dune journe)Faciles utiliser (dtecter les erreurs flagrantes en 2 4 h)InconvnientsNe permettent pas de dtecter des erreurs subtiles (lies l'annalyse du travail, au contexte)

  • Jugements d'expertsDiagnostic a priori ou a posterioriun ou des experts donnent leur avis sur l'interface (ou le projet) sous la forme d'un rapport ou d'un formulaireFondementsModle de l'interface non formalis (ni mme explicit)Heuristiques, recommandations ou critres ergonomiquesRsultatsPoints positifs et ngatifs et leur pondrationPrvision de difficults dutilisation probablesInformations sur les fonctionnements humains insuffisamment pris en compte Propositions damliorations argumentes et pondres

  • *Jugement dexperts(Inspection heuristique)choisir au moins deux experts (domaine et utilisabilit)technique 1: fonde sur des scnariosjouer un des scnariostechnique 2 : fonde sur des critres ou des guidestude systmatique de tous les critres sur chaque cranProcdure communenoter tous les problmes rencontrsanalyser les causesproposer des solutionsrdiger un rapport

  • *Jugements dexperts : ++/--Biais :Experts : vue plus gnrale, sources potentielles de dysfonctionnementNovices : difficults matrielles et conceptuelles de bas niveauBiais de focalisationfonctionnement particulier ( e.g. d'utilisateurs novices), sur les "marottes" de l'expertdomaine d'expertise (domaine, IHM, graphisme)IntrtPas cher, rapide et efficace, peut intervenir trs tt dans le cycle de conceptionPlusieurs experts

  • *Pourquoi plusieurs experts ?Un expert ne dtecte pas tous les problmesLes bons valuateurs trouvent les problmes faciles et les problmes difficiles

  • *Jugements dexperts : tudes% Problmes dtectsNombre dvaluateurs012345678910111213204030105010090807060valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices*012345678910111213204030105010090807060valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices*012345678910111213204030105010090807060valuateurs spcialistes du domaine valuateurs gnralistes valuateurs novices*

  • *ROI (Return on investment)

  • *Organiser des expertisesConseils :Au moins trois experts : avis indpendants puis coordonns, voir contradictoiresErgonomes qualifis dau moins trois ans dexprienceLeur donner des scnarios dutilisation et une description de la population des futurs utilisateurs

    AttentionNe remplacent pas les utilisateurs

  • Grilles d'valuationprincipes valuation d'aprs une liste des proprits d'une bonne interfaceNotation systmatique sur une chelle de valeur (3 7 points)problmestat de l'art en ergonomie, diversit des systmes => grille spcifique une application ?interprtation, niveau d'expertise de l'valuateur, cohrence des rponses notationhtrognit de ce qui est not : rgle des 80/20 (ou 90/10) ne permet pas de comprendre la nature du problme rencontrde hirarchiser les difficultsAvantages : utile pour faire des comparaisons

  • Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conceptionobjectif : identifier des problmes (pas les rsoudre)dure : limite 1 h (fatigue)4 rles :Prsentateur : droule un scnarioScribe : note tous les commentairesModrateur : centre la discussion sur l'utilisationveille au respect de l'horaireObservateurs : prennent le rle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation

  • *PlanRappelsvaluer ? Mthodes dinspectionCritres dvaluation heuristique/ergonomique Tests utilisateurs

  • Structuration des activits et guidageMinimiser la charge de travailContrle entre les mains de l'utilisateurAdaptabilitPrvision et rcupration des erreursCompatibilitSignifiance des codes et dnominationCohrence et homognit

    lorigine de la norme Z67-133-1, Dcembre 1991, Evaluation des produits logiciels: Partie 1, Dfinition des critres ergonomiques de conception et dvaluation des interfaces utilisateurs.http://www.ergolab.net/articles/les-criteres-ergonomiques-partie1.html#4Critres de lINRIA (Bastien et Scapin)

  • *Utilisation des critresPour lvaluationvaluation heuristiquePour la conceptionInscrire les critres dvaluation dans les dossiers de conceptionGuide pour lquipe de conception Foultitude de critres normes et recommandationsParfois contradictoiresPour veiller votre attention

  • Structuration des activits et guidageobjectif : faciliter l'apprentissage par l'action, l'orientation, les prises de dcisionstechniques des roulettes de scurit (tayage, scaffolding), incitation (prompting, affordance)structure de contexte dtermine par les actions possiblesgranularit des commandesformat d'cranorganisation spatiale des donnes importantes

Recommended

View more >