juliane vargas nunes: sure - uma proposta de questionário e escala para avaliar a usabilidade de...

Download Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Post on 09-Aug-2015

276 views

Category:

Design

8 download

Embed Size (px)

TRANSCRIPT

  1. 1. El evento de Diseo de Interaccin y Experiencia de Usuario ms importante de Latinoamrica. SURE uma proposta de questionrio e escala para avaliar a usabilidade de aplicaes para smartphones ps-teste de usabilidade Juliane Vargas Nunes julivn@gmail.com http://www.gqs.ufsc.br/
  2. 2. Prof. Dr. Christiane Gresse Von Wangenheim Mathias Reolon Prof. Dr. Adriano Ferreti Borgatto Autores M. Juliane Vargas Nunes Thaisa Cardoso Lacerda Caroline Krone B.el Rafael Jos de Oliveira Jessica Xafranski 1/33
  3. 3. Introduo Procedimentos metodolgicos Reviso sistemtica da literatura Projeto inicial do questionrio Validao Anlise dos dados Resultados Concluses Sumrio 2/32
  4. 4. Difuso do uso do smartphone e suas aplicaes. Usabilidade como um dos mais importantes atributos de qualidade dessas aplicaes, afetando a satisfao do usurio (Ketola e Rykkee, 2001; Treeratanapon, 2012; Seffah et al., 2006). http://www.webbypropaganda.com.br/wp- content/uploads/2014/04/using-smartphone.jpg Introduo 3/32
  5. 5. Teste de usabilidade como um dos principais mtodos de avaliao sob a perspectiva do usurio. comum usar questionrios ps-teste para identificar aspectos subjetivos no diretamente observveis durante o teste. Introduo 4/32
  6. 6. Existem vrios questionrios ps-teste (SUS, QUIS, SUMI, etc). Porm, eles variam quanto aos fatores medidos, nmero de itens, escalas de resposta, etc (Hornbk, 2006). Alm disso, so voltados, principalmente, para desktop. Introduo 5/32
  7. 7. Por isso, este artigo apresenta a concepo de um questionrio ps-teste de usabilidade, sua validao a partir dos resultados de 305 testes com usurios, analisados estatisticamente e a criao de uma escala de usabilidade. Introduo 6/32
  8. 8. Procedimentos metodolgicos 7/32
  9. 9. Realizada no Google Scholar entre abril e maio de 2013. Foram includos artigos: completos, publicados em ingls, entre 1990 e 2013, com acesso livre via Portal Capes, que apresentassem questionrios para medir a usabilidade no final de testes de usabilidade. Reviso sistemtica da literatura 8/32
  10. 10. Foram identificados 11 questionrios: SUMI (Kirakowski e Corbett, 1988), QUIS (Chin, 1988), PUEU (Davis, 1989), SUS (Brooke, 1996), PSSUQ (Lewis, 2002), MPUQ (Ryu, 2005), MoBiS-Q (Markova, 2007), MoBiS-Q (Vuolle, 2008), CSUQ (Lewis, 2010), UMUX (Finstad, 2010), UMUX LITE (Lewis, 2013). Reviso sistemtica da literatura 9/32
  11. 11. Eles focam na satisfao do usurio, sua percepo de eficincia, eficcia, alm de atratividade e utilidade do sistema. Alguns consideram dispositivo mveis como PDAs, celulares com teclado fsico e smartphones mais simples (Ryu, 2005). Isso refora a importncia de um questionrio para smartphone. Reviso sistemtica da literatura 10/32
  12. 12. Os questionrios levantados foram agrupados. Foram excludos itens: repetidos, adequados para avaliao de especialistas e no referentes usabilidade. Os itens do SUS foram mantidos propositadamente, a fim de permitir a sua comparao com o questionrio proposto. Projeto inicial do questionrio 11/32
  13. 13. Assim, foi gerado um questionrio com 37 itens, com uma escala likert de respostas de 4 pontos. Projeto inicial do questionrio 12/32
  14. 14. Testes Foram selecionados 5 aplicativos gratuitos. Cada um deles dentro de um nvel de usabilidade (muito alta, alta, razovel, baixa e muito baixa), de acordo Witt (2013). iOS Android Validao 13/32
  15. 15. Testes Para cada aplicativo foram definidas tarefas especficas. Ex. Tarefas Buscap: 1. Faa uma busca pelo livro "No me faa pensar". 2. Filtre os resultados pelo menor preo. 3. Calcule a oferta para o frete.com menor preo. Validao 14/32
  16. 16. Testes Os testes foram realizados entre set/out 2013, sendo: 134 remotos 51 em ambiente controlado 120 em sala de aula + + =305 Validao 15/32
  17. 17. Depois de organizados, os dados foram analisados pela TRI. A TRI utilizada para medir traos latentes que no podem ser medidos diretamente, como a usabilidade, a partir de modelos matemticos (TEZZA et al, 2011). Anlise dos dados 16/32
  18. 18. As vantagens da TRI so: Atribuio individual de peso para questes com diferentes complexidades; Elaborao de uma escala que permite a insero de novos dados ao longo do tempo; Insero dos itens e das respostas dos usurios em uma mesma escala, permitindo sua interpretao. Anlise dos dados 17/32
  19. 19. Posteriomente os valores de usabilidade dos aplicativos atribuidos pelos participantes foi posicionado dentro de uma escala, conforme mostra a prxima figura. Para essa escala foi determinado uma mdia e um desvio padro (50, 10). Anlise dos dados 18/32
  20. 20. Distribuio dos valores de usabilidade dos aplicativos atribuidos pelos participantes dos testes. Anlise dos dados 19/32
  21. 21. A aplicao da TRI eliminou 6 itens, por terem informaes insuficientes ou no estarem associao a usabilidade. Anlise dos dados 20/32
  22. 22. Assim, foi gerada a verso (1.0) do SURE (Smartphone Usability questionnaiRE), com 31 itens. E proposta uma verso curta com 11 itens. Em seguida, foram comparadas a distribuio das respostas das duas verses do SURE e dos SUS1, conforme mostra a prxima figura. 1 Sobre apenas 9 de seus itens. Resultados 21/32
  23. 23. Curva de informao dos trs instrumentos Resultados 22/32
  24. 24. Posteriormente a escala de usabilidade foi interpretada, descrevendo quais fatores de usabilidade os aplicativos classificados em cada nvel possivelmente atendam. Resultados 23/32
  25. 25. Resultados 24/32 As notas gerais atribudas aos aplicativos com os trs instrumentos foram:
  26. 26. A maioria dos itens "tradicionais" de medio tambm se aplica ao contexto do smartphone. Contudo, a princpio os 6 itens eliminados no so mostram adequados para medir a usabilidade desse tipo de aplicao. Resultados 25/32
  27. 27. As duas verses do SURE se mostraram mais eficientes para avaliar aplicaes com usabilidade entre os nveis 20 e 60. Mas a verso a extensa teve melhor desempenho que a resumida por conter maior quantidade de informao. A aplicao da verso resumida pode ser uma alternativa. Resultados 26/32
  28. 28. Ambas as verses do SURE consistem em ferramentas vlidas para medir a usabilidade de aplicaes smartphone ps-teste de usabilidade. Contudo, ainda so necessrias outras formas de validao como o cruzamento dos resultados dos 305 testes com avaliaes heursticas dos mesmos aplicativos. Concluso 27/32
  29. 29. Esse estudo um primeiro passo na avaliao da usabilidade percebida pelos usurios de aplicaes smartphones. Com ele pretende-se contribuir com a tomada de decises durante o projeto e avaliao de usabilidade de aplicaes smartphone, buscando torn-las mais eficientes e agradveis. Concluso 28/32
  30. 30. A todos os participantes do estudo de caso. Ao CNPq (Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico) pelo financiamento desta pesquisa. Agradecimentos 29/32
  31. 31. Brooke, J. SUS: a quick and dirty usability scale. In P. Jordan, W. Thomas, B., Weerdmeester, A. e McClelland, A. L. Usability Evaluation in Industry. London: Taylor and Francis. 1996. Chin, J. P. et al. Development of an instrument measuring user satisfaction of the human- computer interface. Proc. Conference on Human Factors in Computing Systems, University of Maryland, 1988, College Park, USA (1988), 213-218. Davis, F. D. Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, vol. 13, no 3 (1989), 319-340. Finstad, K. The usability metric for user experience. Interacting with Computers, vol. 22 (2010), 323-327. Hornbk, K. Current Practice in Measuring Usability: Challenges to Usability Studies and Research, International Journal of Human-Computer Studies, vol. 64, Issue 2, February (2006), 79-102. Ketola P.; Roykee, M. The Three Facets of Usability in Mobile Handsets. CHI Workshop, Mobile Commun: Understanding Users, Adoption & Design, Seattle, WA, 2001. Referncias 30/32
  32. 32. Kirakowski J.; Corbett, M. Measuring user satisfaction. Proc. 4th Conf. of British Computer Society, Manchester, (1988), 329338. Lewis, J. R. Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability Studies, Int J. of Human-Computer Interaction, (2002), 462 488. Lewis, J. R. Psychometric Evaluation of the CSUQ Using Data from Five Years of Usability Studies (2010). Lewis, J.R. et al. UMUX-LITE: when there's no time for the SUS. Proc. CHI, Paris (2013), 2099-2102. Markova, M. et al. MoBiS-Q: a tool for evaluating the success of mobile business services. Proc. Mobile HCI, Singapore (2007), 238-245. Ryu, Y. S. Development of Usability Questionnaires for Electronic Mobile Products and Decision Making Methods, Ph.D. dissertation, Virginia Polythecnic Institute and State University, Blacksburg, VA (2005). Referncias 31/32
  33. 33. Seffah, A. Usability measurement and metrics: A consolidated model, Software Quality J., vol. 14, no.2, Jun (2006), 159-178. Tezza, R. et al. Measuring web usability using item response theory: Principles, features and opportunities, Interacting with Computers, vol. 23, no. 2, Mar (2011), 167-175. Treeratanapon, T. Design of the Usability Measurement Framework for Mobile Applications. Proc. Int. Conf. on Comput. and Inform. Technology, Bangkok (2012), 71-75. Vuolle et al. "Developing a questionnaire for measuring mobile business service experience" in Proc. Mobile HCI, Amsterdam, 2008, pp. 53-62. WITT, A T. Aplicao da Tcnica Estatstica Teoria da Resposta ao Item para avaliar um conjunto de Heursticas de Usabilidade para dispositivos celulares touchscreen. 164f. Trabalho de Concluso de Curso (Bacharel em Sistemas de Informao) Departamento de Informtica e Estatstica. Universidade Federal de Santa Catarina, Florianpolis, 2013. Referncias 3