Pontifícia Universidade Católica do Rio Grande do SulPrograma de Pós Graduação em Ciência da Computação

Qualidade de Sistemas Interativos

Percurso Cognitivo e Teste de Usabilidade

Alessandra DutraÁlvaro MenezesDiogo Schwanck

Laís Berlatto

Introdução

O trabalho apresentado é o resultado da aplicação do método Percurso Cognitivo e da aplicação de Testes de Usabilidade no sistema para dispositivos móveis FlipBoard. Foram elaborados planos para a execução dos referidos métodos no que tange a coleta e análise de resultados oriundos das tarefas propostas que foram consideradas adequadas para analisar o sistema a partir dos dois métodos.

Aplicativo - FlipBoardO FlipBoard é um agregador de conteúdo de redes

sociais que permite ao usuário visualizar seus feeds de

páginas como Facebook, Instagram e Twitter em uma

única interface, tanto no Android como no iOS.

O programa agrega todas as publicações e disponibiliza

para o usuário com um visual atrativo que simula uma

revista digital.

Dispositivos UtilizadosOs dispositivos para utilização nos testes foram

selecionados de forma que abrangêssemos as plataformas

e os sistemas operacionais nos quais o FlipBoard está

disponível. São eles:

· Apple iPhone 5 Plataforma iOS

· Motorola RAZR i Plataforma Android 4.2 (Jelly Bean)

· Apple iPad Tablet iOS

Percurso Cognitivo

Percurso Cognitivo é um método de inspeção de usabilidade que tem como foco principal a facilidade de aprendizagem, particularmente por exploração (Polson, P et al).

O percurso cognitivo avalia as ações e tarefas de acordo com as funcionalidades previstas no sistema.

Neste estudo foram desenvolvidas as fases de: 1. Preparação2. Coleta de dados e interpretação3. Consolidação dos resultados4. Relato dos resultados

Percurso Cognitivo

Perfil- especialistas :

Adultos na faixa etária de 25 a 40 anos, proprietários de smartphones e/ou tablets, habituais leitores de notícias, artigos, fotos, assuntos diversos e etc., compartilhando com suas redes sociais

Percurso Cognitivo - Questões

1. Entrar no Flipboard e acessar as

notícias da capa.

2. Conseguir visualizar uma publicação

3. Conseguir publicar uma revista

4. Conseguir personalizar

5. Encontrar e assinar uma revista

Percurso Cognitivo - ResultadosTarefa O que o usuário precisa saber a priori

para realizar as tarefas.O que o usuário deve aprender enquanto realiza as tarefas.

Sugestões de correções para os problemas encontrados

1. Entrar no Flipboard e

acessar as notícias da

capa.

Inicialmente ele precisa entender o funcionamento do Flipboard, caso contrário, ele perderá muito tempo para conseguir clicar numa notícia da capa.

Ele aprende a como visualizar as notícias da capa, visualizando somente o título de depois a notícia completa.

Criar um acesso mais rápido e mais intuitivo a notícia, sem o usuário ficar supondo e indo e vindo para tentar achar o caminho.

2. Conseguir visualizar uma

publicação

Neste item o usuário não precisa saber de nenhuma informação inicial.

O usuário deve aprender a ler todas as publicações

Nenhum problema encontrado.

3. Conseguir publicar uma revista

O usuário precisa ler um guia de ajuda para conseguir criar a revista.

Deve aprender a criar uma revista dentro do flipboard.

Tornar a opção mais fácil de ser criada e mais intuitiva, sem precisar de guia de ajuda.

4. Conseguir personalizar Neste item o usuário não precisa saber de nenhuma informação inicial.

Deve aprender a personalizar a sua conta no Flipboard.

Nenhum problema encontrado.

5. Encontrar e assinar uma

revista

O usuário precisa novamente ler o guia de ajuda para encontrar e assinar a revista. A opção não é intuitiva.

Deve aprender como achar e assinar uma revista de sua preferência

Deixar a opção de achar e assinar a revista mais fácil de ser encontrada no menu e mais intuitive.

Percurso Cognitivo - Análise dos Resultados● É necessário ter conhecimentos prévios em relação a dispositivos moveis,

pois a utilização baseia-se que o usuário já sabe lidar com os recursos que os dispositivos móveis dispõem, principalmente, para folhear a revista apenas passando o dedo na tela.

● O aplicativo depende de bom sinal de 3G para uma boa performance, o

que pode gerar alguma dúvida se o sistema realmente está funcionado em caso de problemas de comunicação.

● Dentre as tarefas avaliadas, a que teve maior dificuldade encontrada pelos

avaliadores foi conseguir publicar uma revista. Para a criação de uma revista é preciso clicar em um botão com o símbolo "+" que não é nem um pouco intuitivo. Todos os avaliadores passaram despercebidos por este botão, mesmo que fique no canto inferior direito de cada noticia.

Teste de Usabilidade

O teste de usabilidade é uma das técnicas utilizadas para a avaliação da interação entre humanos e dispositivos que possui enfoque quantitativo através de tarefas a serem desenvolvidas pelos usuários.

Teste de Usabilidade - Objetivos

O presente roteiro de teste de usabilidade visa alcançar os seguintes objetivos:

● Obter dados qualitativos a respeito do sistema FlipBoard;

● Obter dados quantitativos a respeito do sistema FlipBoard através de:○ Número de erros na execução de cada

tarefa;○ Tempo gasto na execução de cada tarefas.

Teste de Usabilidade - Perfil Usuário

· Faixa etária: entre 21 e 32 anos

· Nível de experiência com dispositivos móveis,

predominantemente, intermediário a expert, com

experiência com dispositivos multitoque.

· Tempo médio de utilização (horas/dia) de até

duas horas, predominantemente.

Teste de Usabilidade - Questões

● Tarefa 1: Acesse o sistema Flipboard e acesse as notícias da capa, lendo-as em sua forma resumida e completa também.

● Tarefa 2: Suponha que você deseja ler uma notícia sobre tecnologia, encontre o menu desse aspecto e visualize as notícias.

● Tarefa 3: Suponha que você deseja personalizar o sistema, personalize o FlipBoard ao padrão que desejar, incluindo temas de sua preferência.

Teste de Usabilidade - Resultados

TAREFA 1

SUCESSO 7

INSUCESSO 2

MÉDIA DE ERROS 2,33

DESVIO PADRÃO 4,09

MÉDIA DE TEMPO 1:35,63

DESVIO PADRÃO 1:14,30

Devido aos outliers desta tarefa, não podemos considerar relevantes ao contexto os dados estatísticos disponíveis.Níveis de referência:

● Tempo: 1:15,00● Erros: 1

Teste de Usabilidade - Resultados

TAREFA 2

SUCESSO 8

INSUCESSO 1

MÉDIA DE ERROS 1,33

DESVIO PADRÃO 3,31

MÉDIA DE TEMPO 1:16,04

DESVIO PADRÃO 1:03,30

Devido aos outliers desta tarefa, não podemos considerar relevantes ao contexto os dados estatísticos disponíveis.Níveis de referência:

● Tempo: 1:30,00● Erros: 1

Teste de Usabilidade - Resultados

TAREFA 3

SUCESSO 8

INSUCESSO 1

MÉDIA DE ERROS 1,77

DESVIO PADRÃO 1,20

MÉDIA DE TEMPO 2:47,08

DESVIO PADRÃO 2:09,40

Nesta situação, podemos considerar os dados dignos de análise, apesar de tabém apresentarem outliers (um superior e um inferior)Níveis de referência:

● Tempo: 2:30,00● Erros: 2

Teste de Usabilidade - Análise dos Resultados· A finalidade ao que o sistema se presta foi apreciada em primazia

pela maioria dos usuários;

· A possibilidade de integração das respectivas contas dos usuários

no Twitter e Facebook foi considerada ponto positivo por tornar a

leitura dos feeds dessas redes sociais mais atrativos e práticos;

· Conforme citado pelos usuários que já conheciam o sistema, a

visualização desse, através do tablet, foi considerada melhor que sua

versão para smartphones.

Teste de Usabilidade - Análise dos Resultados· Signos pouco significativos para a funcionalidade pretendida;

· Interface pouco intuitiva, logo, exigindo uma capacidade relevante

de memorização;

· Recurso comumente utilizado para dispositivos multitoque

causaram divergências em relação à utilização do aplicativo, visto que

esse não dispunha destes recursos, como a possibilidade de arrastar

um conteúdo encontrado para uma revista pessoal;

· Não existe uma visualização do progresso do carregamento do

conteúdo de uma notícia, o que faz com que o usuário não perceba

uma possível ausência de conexão de rede.

Vantagens

Podemos destacar acerca do percurso cognitivo que os testes são executados por especialistas, o que propicia testes e análises mais confiáveis dos produtos.

O teste de usabilidade é considerado uma técnica rica em dados quantitativos, o que nos propicia análises estatísticas bastante sólidas quando construída sobre base fidedigna de dados e aplicada com rigor científico. Ainda, propicia, através de seus materiais de aplicação, a visão qualitativa do sistema abordado, onde se permite extrair conclusões mais aprofundadas sobre os quesitos de usabilidade disponíveis.

Limitações de Uso

Dentre as limitações, citamos:

O Percurso Cognitivo tem como foco a aprendizagem através da execução de uma atividade e a falta da disponibilidade do serviços de 3G é o que mais limitou a sua execução.

O teste de usabilidade demanda tempo para suas etapas (elaboração, aplicação e, principalmente, a análise dos dados coletados), o que torna onerosa em um projeto sua aplicação.

Percepções

No que diz respeito à aplicabilidade dos métodos, podemos destacar que o teste de usabilidade se mostra de grande complexidade pelo fato de haver dificuldade na visualização das ações do usuário quanto à manipulação dos dispositivos, principalmente na aplicação com o smartphone. Isso é relativo, também, a condução desse tipo de teste, quanto a sua aplicabilidade e obtenção de dados fidedignos. Já ao percurso cognitivo, não encontramos maiores dificuldades, por se tratar de uma ação totalmente controlada pelo especialista, porém, pode não retratar a real situação de usuários “não especialistas”.

ReferênciasPolson, P., Lewis, C., Rieman, J., and Wharton, C. (1992). Cognitive walkthroughs: A method for theory-based evaluation of user interfaces. International Journal of Man- Machine Studies, 36 (5). 741-773. Wharton, C., Rieman, J., Lewis, C., and Polson, P. (1994). The cognitive walkthrough method: A practitioner's guide. In Nielsen, J., and Mack, R. L. (Eds.), Usability Inspection Methods. New York. John Wiley & Sons. 105-140. Norman, D.A. (1986). Cognitive Engineering. In D. A. Norman and S. W. Draper (Eds.) User Centered System Design. 1986. Hillsdale. 31-61. Rogers, Yvonne; Helen Sharp; Jennifer Preece: Design de Interação. Editora Bookman, Porto Alegre (2013).

ReferênciasRUBIN, J. Handbook of Usability Testing. New York, NY: John Wiley & Sons. 1994. HIX, Deborah, HARTSON, H. Rex. Developing User Interfaces, Ensuring Usability Through Product & Process. New York: John Wiley & Sons, Inc., 1993. p. 3. Bruno, Silva; Simone Barbosa : Interação Humano Computador. Editora Elsevier, Rio de Janeiro (2010) http://corais.org/node/98 Percurso Cognitivohttp://corais.org/node/97 Teste de Usabilidade

Dúvidas