juliane vargas nunes: sure - uma proposta de questionário e escala para avaliar a usabilidade de...

34
El evento de Diseño de Interacción y Experiencia de Usuario más importante de Latinoamérica. SURE uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade Juliane Vargas Nunes [email protected] http://www.gqs.ufsc.br/

Upload: interaction-south-america-2014

Post on 09-Aug-2015

312 views

Category:

Design


8 download

TRANSCRIPT

Page 1: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

El evento de Diseño de Interacción y Experiencia de Usuario más importante de Latinoamérica.

SUREuma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Juliane Vargas [email protected]

http://www.gqs.ufsc.br/

Page 2: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Profª. Dr. Christiane Gresse Von Wangenheim

Mathias Reolon

Prof. Dr. Adriano Ferreti Borgatto

Autores

M.ª Juliane Vargas Nunes

Thaisa Cardoso Lacerda

Caroline Krone

B.el Rafael José de Oliveira

Jessica Xafranski

1/33

Page 3: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Introdução

• Procedimentos metodológicos

• Revisão sistemática da literatura

• Projeto inicial do questionário

• Validação

• Análise dos dados

• Resultados

• Conclusões

Sumário

2/32

Page 4: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Difusão do uso do smartphone e suas aplicações.

• Usabilidade como um dos mais importantes atributos de

qualidade dessas aplicações, afetando a satisfação do

usuário (Ketola e Röykkee, 2001; Treeratanapon, 2012;

Seffah et al., 2006).

htt

p:/

/ww

w.w

eb

byp

rop

ag

an

da

.co

m.b

r/w

p-

con

ten

t/u

plo

ad

s/2

01

4/0

4/u

sin

g-s

ma

rtp

ho

ne

.jp

g

Introdução

3/32

Page 5: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Teste de usabilidade como um dos principais métodos de

avaliação sob a perspectiva do usuário.

• É comum usar questionários pós-teste para identificar

aspectos subjetivos não diretamente observáveis durante

o teste.

Introdução

4/32

Page 6: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Existem vários questionários pós-teste (SUS, QUIS, SUMI,

etc).

• Porém, eles variam quanto aos fatores medidos, número

de itens, escalas de resposta, etc (Hornbæk, 2006).

• Além disso, são voltados, principalmente, para desktop.

Introdução

5/32

Page 7: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Por isso, este artigo apresenta a concepção de um

questionário pós-teste de usabilidade, sua validação a

partir dos resultados de 305 testes com usuários,

analisados estatisticamente e a criação de uma escala de

usabilidade.

Introdução

6/32

Page 8: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Procedimentos metodológicos

7/32

Page 9: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Realizada no Google Scholar entre abril e maio de 2013.

• Foram incluídos artigos: completos, publicados em inglês,

entre 1990 e 2013, com acesso livre via Portal Capes, que

apresentassem questionários para medir a usabilidade no

final de testes de usabilidade.

Revisão sistemática da literatura

8/32

Page 10: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Foram identificados 11 questionários: SUMI (Kirakowski e

Corbett, 1988), QUIS (Chin, 1988), PUEU (Davis, 1989), SUS

(Brooke, 1996), PSSUQ (Lewis, 2002), MPUQ (Ryu, 2005),

MoBiS-Q (Markova, 2007), MoBiS-Q (Vuolle, 2008), CSUQ

(Lewis, 2010), UMUX (Finstad, 2010), UMUX LITE (Lewis,

2013).

Revisão sistemática da literatura

9/32

Page 11: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Eles focam na satisfação do usuário, sua percepção de

eficiência, eficácia, além de atratividade e utilidade do

sistema.

• Alguns consideram dispositivo móveis como PDAs,

celulares com teclado físico e smartphones mais simples

(Ryu, 2005).

• Isso reforça a importância de um questionário para

smartphone.

Revisão sistemática da literatura

10/32

Page 12: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Os questionários levantados foram agrupados.

• Foram excluídos itens: repetidos, adequados para

avaliação de especialistas e não referentes à usabilidade.

• Os itens do SUS foram mantidos propositadamente, a fim

de permitir a sua comparação com o questionário

proposto.

Projeto inicial do questionário

11/32

Page 13: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Assim, foi gerado um questionário com 37 itens, com uma

escala likert de respostas de 4 pontos.

Projeto inicial do questionário

12/32

Page 14: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Testes

• Foram selecionados 5 aplicativos gratuitos.

• Cada um deles dentro de um nível de usabilidade (muito

alta, alta, razoável, baixa e muito baixa), de acordo Witt

(2013).

iOS Android

Validação

13/32

Page 15: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Testes

• Para cada aplicativo foram definidas tarefas específicas.

Ex. Tarefas Buscapé:

1. Faça uma busca pelo livro "Não me faça pensar".

2. Filtre os resultados pelo menor preço.

3. Calcule a oferta para o frete.com menor preço.

Validação

14/32

Page 16: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Testes

• Os testes foram realizados entre set/out 2013, sendo:

134 remotos

51 em ambiente

controlado

120 em sala de aula +

+=305

Validação

15/32

Page 17: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Depois de organizados, os dados foram analisados pela

TRI.

• A TRI é utilizada para medir traços latentes que não

podem ser medidos diretamente, como a usabilidade, a

partir de modelos matemáticos (TEZZA et al, 2011).

Análise dos dados

16/32

Page 18: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

As vantagens da TRI são:

• Atribuição individual de peso para questões com

diferentes complexidades;

• Elaboração de uma escala que permite a inserção de

novos dados ao longo do tempo;

• Inserção dos itens e das respostas dos usuários em uma

mesma escala, permitindo sua interpretação.

Análise dos dados

17/32

Page 19: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Posteriomente os valores de usabilidade dos aplicativos

atribuidos pelos participantes foi posicionado dentro de

uma escala, conforme mostra a próxima figura.

• Para essa escala foi determinado uma média e um desvio

padrão (50, 10).

Análise dos dados

18/32

Page 20: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Distribuição dos valores de usabilidade dos aplicativos atribuidos pelos participantes dos testes.

Análise dos dados

19/32

Page 21: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• A aplicação da TRI eliminou 6 itens, por terem informações

insuficientes ou não estarem associação a usabilidade.

Análise dos dados

20/32

Page 22: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Assim, foi gerada a versão (1.0) do SURE (Smartphone

Usability questionnaiRE), com 31 itens.

• E proposta uma versão curta com 11 itens.

• Em seguida, foram comparadas a distribuição das

respostas das duas versões do SURE e dos SUS1, conforme

mostra a próxima figura.

1 Sobre apenas 9 de seus itens.

Resultados

21/32

Page 23: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Curva de informação dos três instrumentos

Resultados

22/32

Page 24: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Posteriormente a escala de usabilidade foi interpretada,

descrevendo quais fatores de usabilidade os aplicativos

classificados em cada nível possivelmente atendam.

Resultados

23/32

Page 25: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Resultados

24/32

• As notas gerais atribuídas aos aplicativos com os três

instrumentos foram:

Page 26: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• A maioria dos itens "tradicionais" de medição também se

aplica ao contexto do smartphone.

• Contudo, a princípio os 6 itens eliminados não são

mostram adequados para medir a usabilidade desse tipo

de aplicação.

Resultados

25/32

Page 27: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• As duas versões do SURE se mostraram mais eficientes

para avaliar aplicações com usabilidade entre os níveis 20

e 60.

• Mas a versão a extensa teve melhor desempenho que a

resumida por conter maior quantidade de informação.

• A aplicação da versão resumida pode ser uma alternativa.

Resultados

26/32

Page 28: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Ambas as versões do SURE consistem em ferramentas

válidas para medir a usabilidade de aplicações

smartphone pós-teste de usabilidade.

• Contudo, ainda são necessárias outras formas de

validação como o cruzamento dos resultados dos 305

testes com avaliações heurísticas dos mesmos aplicativos.

Conclusão

27/32

Page 29: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Esse estudo é um primeiro passo na avaliação da

usabilidade percebida pelos usuários de aplicações

smartphones.

• Com ele pretende-se contribuir com a tomada de

decisões durante o projeto e avaliação de usabilidade de

aplicações smartphone, buscando torná-las mais eficientes

e agradáveis.

Conclusão

28/32

Page 30: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• A todos os participantes do estudo de caso.

• Ao CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) pelo financiamento desta pesquisa.

Agradecimentos

29/32

Page 31: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Brooke, J. SUS: a “quick and dirty” usability scale. In P. Jordan, W. Thomas, B., Weerdmeester, A. e McClelland, A. L. Usability Evaluation in Industry. London: Taylor and Francis. 1996.

• Chin, J. P. et al. Development of an instrument measuring user satisfaction of the human-computer interface. Proc. Conference on Human Factors in Computing Systems, University of Maryland, 1988, College Park, USA (1988), 213-218.

• Davis, F. D. Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, vol. 13, no 3 (1989), 319-340.

• Finstad, K. The usability metric for user experience. Interacting with Computers, vol. 22 (2010), 323-327.

• Hornbæk, K. Current Practice in Measuring Usability: Challenges to Usability Studies and Research, International Journal of Human-Computer Studies, vol. 64, Issue 2, February (2006), 79-102.

• Ketola P.; Roykee, M. The Three Facets of Usability in Mobile Handsets. CHI Workshop, Mobile Commun: Understanding Users, Adoption & Design, Seattle, WA, 2001.

Referências

30/32

Page 32: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Kirakowski J.; Corbett, M. Measuring user satisfaction. Proc. 4th Conf. of British Computer Society, Manchester, (1988), 329–338.

• Lewis, J. R. Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability Studies, Int J. of Human-Computer Interaction, (2002), 462– 488.

• Lewis, J. R. Psychometric Evaluation of the CSUQ Using Data from Five Years of Usability Studies (2010).

• Lewis, J.R. et al. UMUX-LITE: when there's no time for the SUS. Proc. CHI, Paris (2013), 2099-2102.

• Markova, M. et al. MoBiS-Q: a tool for evaluating the success of mobile business services. Proc. Mobile HCI, Singapore (2007), 238-245.

• Ryu, Y. S. Development of Usability Questionnaires for Electronic Mobile Products and Decision Making Methods, Ph.D. dissertation, Virginia Polythecnic Institute and State University, Blacksburg, VA (2005).

Referências

31/32

Page 33: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

• Seffah, A. Usability measurement and metrics: A consolidated model, Software Quality J., vol. 14, no.2, Jun (2006), 159-178.

• Tezza, R. et al. Measuring web usability using item response theory: Principles, features and opportunities, Interacting with Computers, vol. 23, no. 2, Mar (2011), 167-175.

• Treeratanapon, T. Design of the Usability Measurement Framework for Mobile Applications. Proc. Int. Conf. on Comput. and Inform. Technology, Bangkok (2012), 71-75.

• Vuolle et al. "Developing a questionnaire for measuring mobile business service experience" in Proc. Mobile HCI, Amsterdam, 2008, pp. 53-62.

• WITT, A T. Aplicação da Técnica Estatística Teoria da Resposta ao Item para avaliar um conjunto de Heurísticas de Usabilidade para dispositivos celulares touchscreen. 164f. Trabalho de Conclusão de Curso (Bacharel em Sistemas de Informação) – Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2013.

Referências

32/32

Page 34: Juliane Vargas Nunes: SURE - uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

No deje de completar su evaluación online

isa.ixda.org/encuesta¡Muchas gracias!

SURE: uma proposta de questionário e escala para avaliar a usabilidade de aplicações para smartphones pós-teste de usabilidade

Juliane Vargas Nunes