avaliação de interfaces: heurística e teste de usabilidade

Avaliação de Interfaces:Avaliação de Interfaces:Heurística e Teste de UsabilidadeHeurística e Teste de Usabilidade

Unisinos – Centro 6

Projeto de Interfaces – 2003/02

Profª: Renata Vieira

Comentado por: Cássia T. dos Santos

2 - 57

RoteiroRoteiro

• Parte I– Considerações Iniciais

– Classificação dos Métodos de Avaliação

• Parte II– Avaliação Heurística

– Teste de Usabilidade

– Comparativo

• Referências Bibliográficas

3 - 57

AvaliaçãoAvaliação

• Coletar informações sobre um projeto ou produto em relação a funcionalidade e a interação;

• Estimativa do sucesso ou insucesso das hipóteses do projetista sobre a solução que está propondo;

• Envolve desde “o que você acha desta idéia” até avaliações rigorosas (experimentos em laboratório e questionários em larga escala).

4 - 57

AvaliaçãoAvaliação

• Obtenção de interfaces com melhor usabilidade;

• Garante melhores decisões de projeto;

• Evita custos de fazer e distribuir correções;

• Vantagens indiscutíveis: modificação do projeto nas fases iniciais são melhores que nas fases finais!

5 - 57

Por quê avaliar?Por quê avaliar?

• Conhecer o que os usuários querem e problemas que experimentam;

• Verificar se idéias estão de acordo com as necessidades e os desejos dos usuários;

• Responder dúvidas que surgem durante o projeto e desenvolvimento.

6 - 57

Por quê avaliar?Por quê avaliar?

• Verificar o sistema na situação real de uso;

• Comparar alternativas de design;

• Marketing:– comparação entre produtos (funcionalidade, aceitação)

• Adequação a normas:– produtos estão de acordo com padrões específicos

(exemplo ISO)?

7 - 57

O que avaliar?O que avaliar?

• Funcionalidade do sistema– qualidade da adequação aos problemas do usuário;

– design permite que usuário efetue as tarefas pretendidas de modo fácil e eficiente;

• Usabilidade da interface– qualidade da interação usuário/sistema;

– fácil aprender usar o sistema, uso agradável e eficiente.

8 - 57

O que avaliar?O que avaliar?

• Comunicabilidade– qualidade da comunicação projetista/usuário;

– interface expressa o modelo de interação previsto pelos projetistas;

• Aprendizado do usuário– conhecimento do usuário evolui através da interação.

9 - 57

Quando?Quando?

• Deve ocorrer durante o ciclo de vida do sistema:– resultados utilizados para melhorias gradativas da interface.

• Nas primeiras fases:– verificar compreensão dos projetistas sobre as necessidades dos

usuários (estudo de um sistema existente);

– testar idéias (possibilidades de layout).

• Nas fases finais:– identificar dificuldades do usuário;

– melhorar produto.

10 - 57

Tipos de AvaliaçãoTipos de Avaliação

• FormativaFormativa– feita durante o processo de projeto e desenvolvimento;

– permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada;

– uso de modelos, protótipos, storyboards.

• SomativaSomativa– avaliar o produto já terminado;

– testar se produto está de acordo com o estilo padrão da empresa.

11 - 57

ConsideraçõesConsiderações

• Características dos usuários– experiência, idade, gênero;

• Tipo de atividade a ser realizada– atividades específicas controladas ou livres, de acordo

com a vontade do usuário;

12 - 57

• Ambiente do estudo– laboratório, ambiente natural de trabalho (estudo de

campo);

• Natureza do artefato– projeto gráfico não implementado, protótipo em

desenvolvimento, produto terminado.

ConsideraçõesConsiderações

13 - 57

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação

• Envolvem:

– observação e monitoração das interações do usuário;

– coleta de opiniões dos usuários;– experimentos;– interpretação de interações naturais;– predição de usabilidade de um produto.

14 - 57


• Classificação (Rocha e Baranaukas, 2000)

– Inspeção de usabilidade

– Teste de usabilidade

– Experimento controlado

– Método interpretativo

15 - 57







16 - 57

Inspeção de UsabilidadeInspeção de Usabilidade

• Conjunto de métodos baseados em se ter avaliadores inspecionando ou examinando aspectos de usabilidade de uma interface;

• Avaliadores: – especialistas em usabilidade ou em determinado padrão

de interface, consultores de software, usuários finais.

17 - 57


• Visa encontrar problemas de usabilidade no projeto de uma interface e fazer recomendações para eliminação destes problemas;

• Utiliza a habilidade e a experiência de avaliadores;

• Pode ser aplicada em fases iniciais e finais do projeto e desenvolvimento.

18 - 57


• Métodos:– Avaliação Heurística: uso de lista de heurísticas;

– Revisão de Guidelines: verificação da conformidade com guidelines;

– Inspeção de Consistência: consistência dentro de uma família de interfaces (terminologia, cores, layout, formatos entrada/saída);

– Percurso Cognitivo (predição de uso): análise do “caminho” percorrido na execução de uma tarefa (modelagem psicológica); especialistas revisam o sistema para predizer problemas que usuários podem encontrar.

19 - 57







20 - 57

Teste de UsabilidadeTeste de Usabilidade

• Método centrado no usuário;

• Inclui– Métodos experimentais ou empíricos;– Métodos observacionais;– Técnicas de questionamento.

• Necessária existência de uma implementação real (simulação, protótipo básico, cenário, implementação completa).

21 - 57







22 - 57

Experimento ControladoExperimento Controlado

• Envolve a execução de um bem projetado experimento de laboratório;

• Tem-se uma hipótese a ser testada e variáveis de interesse devem ser controladas;

• Uso de métodos estatísticos: necessário conhecimento estatístico para validação dos resultados.

23 - 57


• Controle de variáveis em interações complexas envolvendo humanos pode ser difícil e de validade questionável;

• São feitos em laboratórios especialmente construídos;

• Coleta de dados através de observação e monitoramento;

• Avaliação rigorosa e dados coletados analisados quantitativamente, de modo a produzir métricas que guiem o projeto.

24 - 57


• No planejamento, observar:

– propósito do experimento;– o que se mantém constante, o que é alterado;– hipótese (estabelecida de forma a ser testada);– quais testes estatísticos e por que?

25 - 57


• Exemplo:

- avaliação da eficiência relativa dos usuários utilizando teclas de função ou menus num sistema de controle de processos estabelecida em termos dos elementos comparados, constantes (experiência dos usuários e tarefa de controle) e medidas de performance (velocidade na execução dos comandos ou percentual de erros).

26 - 57


• Exemplo

• Hipótese possível- Teclas de função são mais eficientes (produzem execução mais

rápida dos comandos);

• Grupos usarão duas interfaces;

• Significância estatística entre as diferenças serão determinadas.

27 - 57


• Classificação (Rocha e Baranauskas, 2000)





28 - 57

Método InterpretativoMétodo Interpretativo

• Objetiva proporcionar ao projetista um melhor entendimento

– das condições naturais de trabalho do usuário;

– de como o uso do sistema se integra as outras atividades do usuário.

29 - 57

• Coleção de dados é informal

– deve causar pouca interferência ao trabalho do usuário;

– participação do usuário na coleta, análise e interpretação dos dados;

– formas de registro como vídeos e áudio podem ser adotadas.

• Incluem avaliação participativa e etnográfica (pesquisadores inseridos no contexto de trabalho).

Método InterpretativoMétodo Interpretativo

30 - 57

Qual método utilizar?

• Fatores determinantes:– o que se deseja avaliar;– etapa do desenvolvimento;– disponibilidade de especialistas;– ambiente e recursos necessários;– tempo disponíveis para avaliação.

• Técnica ideal: misturar e adaptar métodos.

31 - 57


• Técnicas representativas:Técnicas representativas:

– Avaliação HeurísticaAvaliação Heurística

– Teste de UsabilidadeTeste de Usabilidade

32 - 57

Avaliação HeurísticaAvaliação Heurística

• Engenharia Econômica de Usabilidade proposta por Nielsen (1989,1993);

• Envolve pequeno conjunto de avaliadores, examinando a interface e julgando suas características em face de reconhecidos princípios de usabilidade (heurísticas).

33 - 57

• Heurística: regra geral que descreve uma propriedade comum em interfaces usáveis;

• Avaliadores, por experiência, estudam e observam a interface;

• Não deve ser feita por um único avaliador (3-5).


34 - 57


• Metodologia:

– feita, em primeiro momento, individualmente;– avaliadores percorrem a interface e relatam

problemas encontrados, junto as heurísticas violadas;– posteriormente, as listas de problemas dos

avaliadores são consolidadas;– discussão final: equipe de desenvolvimento e

sugestões de re-design.

35 - 57

• Avaliadores não estarão usando o sistema de fato: interfaces não implementadas;

• Resultado: lista de problemas de usabilidade da interface com referências aos princípios de usabilidade violados;

• Uso de heurísticas específicas: derivadas da análise de produtos similares e de resultados de uso (Ex.: formulários).


36 - 57

Algumas Heurísticas Algumas Heurísticas (Nielsen, 1990/93)(Nielsen, 1990/93)

• Diálogo simples e natural;• Falar na linguagem do usuário;• Minimizar a carga de memória do usuário;• Ser consistente;• Prover feedback;• Saídas claras marcadas;• Prover shortcuts;• Mensagens de erro construtivas e precisas;• Prevenir erros;• Help e documentação.

37 - 57


(Rocha e Baranauskas, 2000, pág. 177)

38 - 57


• Diagnóstico de um problema associado as heurísticas: possibilidades concretas de re-design;

• Pode ser usada para avaliar a gravidade de cada problema: atribuição de graus de severidade;

• Método básico da engenharia da usabilidade, relativamente fácil de ser usado e aprendido.

39 - 57


• Observação da interação de usuários no mundo real ou sob condições controladas;

• Avaliadores coletam dados e verificam se a interface suporta as tarefas do usuário;

• Importância do teste: impossibilidade do projetista em prever o comportamento dos usuários diante da interface;

• Ferramentas de registro: áudio, vídeo, software para registro da interação, outras;

• Importante coleta da opinião do usuário.

40 - 57

• Resultados práticos: testes têm acelerado desenvolvimento e produzido redução de custos;

• Vantagens (Matias, 1995):

– indicar reações dos usuários potenciais;

– mostrar os problemas e falhas no sistema;

– mostrar onde o sistema funciona bem;

– fornecer idéias ao projeto através das sugestões dos usuários;

– fornecer meios para comparar múltiplos usuários;

– promover a participação do usuário.


41 - 57

• Observação dos usuários:– direta

• usuários podem ser observados diretamente em seu local de trabalho;

• observador toma nota sobre o comportamento do usuário, como seqüência de ações (escolher o que é importante ser anotado);

• usuários podem alterar comportamento pelo fato de estarem sendo observados;


42 - 57

• Observação dos usuários:– direta

• técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist;

• para registro permanente, vídeo, áudio ou logging de interação é necessário.


43 - 57

• Observação dos usuários:– indireta

• software logging:

– coleta é automática e não interfere no trabalho do usuário;

– ferramentas disponíveis para software logging;

– tempo de digitação: grava seqüência e os intervalos de tempo.


44 - 57

• Observação dos usuários:– indireta

• vídeo: – uso de diferentes câmeras;– usuários têm noção de que estão sendo filmados;– reduzir impacto da presença da câmera: coloca-la

dias antes do início das filmagens;– análise é difícil e consome tempo;– podem ser usados para convencer gerentes e

projetistas dos problemas no sistema.


45 - 57

• Coleta da opinião dos usuários:

– além da performance é importante saber o que ele pensa sobre o uso que faz da tecnologia;

– impressão dos usuários sobre o software;

– performance pode ser boa, mas usuário não gostar do sistema;

– detalhes para os projetistas podem ser desagradáveis ao usuário.


46 - 57

• Coleta da opinião dos usuários:

– protocolo verbal: usuários “pensam em voz alta”;– usuários podem ver vídeos e comentar sobre suas

ações;– dois usuários podem testar uma interface e comentar; – entrevistas e questionários podem ser utilizados.


47 - 57

• Entrevistas e questionários:

– dados de entrevistas: qualitativos;

– dados de questionários: quantitativos;

– questionários podem ser aplicados a um grande número de pessoas, possibilitando a obtenção de resultados estatisticamente validados;

– questionário deve ser planejado de forma a garantir que perguntas sejam relevantes às questões analisadas.


48 - 57


– entrevistas flexíveis podem ser moldadas se acordo com a reação dos entrevistados (uso de um plano básico);

– entrevistado deve se sentir seguro e a vontade: podem ter vergonha de criticar o sistema;

– entrevistador responsável por criar um clima agradável de conversação.


49 - 57


– questionários podem conter respostas fechadas ou abertas;

– fechadas• checklists (sim, não, não sei);• escalas (muito útil ... Inútil; concordo plenamente ... discordo

plenamente);

– questionários devem ser breves;

– estudos pilotos: antes de distribuir um questionário para 500 pessoas, distribuir um rascunho para 20.


50 - 57


• Testes realizados em laboratório;

• Problemas:– limitações de tempo e de recursos;

– dificuldade em conseguir usuários representativos;

– contexto do trabalho dificilmente consegue ser reproduzido;

• Saídas:– testes remotos (tele-conferência);

– testes de campo: ambientes reais de uso (resposta do usuário, logs, comandos usados, freqüência de acesso ao help).

51 - 57


• Plano detalhado de teste: objetivo, quando e onde, duração, recursos necessários, experimentadores, usuários, tarefas a serem avaliadas;

• Etapas:– Preparação dos recursos;

– Apresentação usuários as tarefas de teste;

– Teste (evitar auxiliar o usuário);

– Sessão final: usuários convidados a comentar, sugerir e comentar ou responder questionário;

52 - 57


• Usuários:– Representativos em relação aos usuários aos reais:

• se não forem usuário reais: características similares (idade, conhecimento, experiência com sistema, outras);

• evitar influências: – Ex.: determinar um conjunto de ícones que é mais rapidamente

reconhecido por crianças entre 7 e 10 anos

» selecionar crianças que cubram todas as idades;

» número igual de meninos e meninas;

» mesmo nível de experiência;

» notas escolares semelhantes.

53 - 57

• Equipe experimentadores:

- conhecimento da aplicação e interface;

- saber lidar com problemas que afetem o teste;

- isenção na avaliação.


54 - 57


• Comentar com usuário:

– importância do teste: melhorias na interface;– sistema é confidencial e resultados não serão colocados

publicamente;– participação é voluntária (usuários tem outras coisas

para fazer);– explicar gravações de vídeo ou áudio;– informa-los dos objetivos do teste, tarefas a serem

realizadas e que podem ser livres para abandonar o teste se assim desejarem.

55 - 57

ComparativoComparativo

• Testes de laboratório são caros;

• Abordagem heurística proposta para oferecer informação de usabilidade de modo mais rápido e barato– não substituem os testes: uso em conjunto;

• Avaliação heurística melhor quando aplicada por especialistas em avaliação;

– permite avaliação global da interface, menor custo, detecção de erros;

56 - 57

• Testes são mais eficazes, mas caros (50x);

• Avaliação heurística detectou mais problemas ao custo mais baixo, mas necessita de pessoas com conhecimento e experiência para aplica-la (Jeffries);

• Não se pode afirmar qual o melhor método: cada situação de projeto irá requerer uma forma de avaliação.

ComparativoComparativo

57 - 57

• Rocha, Heloísa; Baranauskas, Maria. Design e avaliação de interfaces humano-computador. São Paulo, IME-USP, 2000 (Escola de Computação, 2000), 242 p.

• Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliação ergonômica de interfaces. Florianópolis, 1995 (dissertação de mestrado).

• Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projeto de Interfaces de Usuário: Perspectivas Cognitivas e Semióticas. In: XIX Congresso Nacional da Sociedade Brasileira de Computação, 1999, Rio de Janeiro. Anais do XIX Congresso Nacional da Sociedade Brasileira de Computação;

• Material disponibilizado pela Profª Renata Vieira.

Referências

avaliação de interfaces: heurística e teste de usabilidade

Documents