AgendaAgenda� Considerações Iniciais

� Classificação dos Métodos de Avaliação

� Avaliação Heurística

� Teste de Usabilidade� Teste de Usabilidade

� Comparativo

� Referências Bibliográficas

2 - 57

3 - 57

4 - 57

AvaliaçãoAvaliação� Coletar informações sobre um projeto ou produto

em relação a funcionalidade e a interação;

� Estimativa do sucesso ou insucesso das hipóteses� Estimativa do sucesso ou insucesso das hipótesesdo projetista sobre a solução que está propondo;

� Envolve desde “o que você acha desta idéia” atéavaliações rigorosas (experimentos em laboratórioe questionários em larga escala).

5 - 57

AvaliaçãoAvaliação�Obtenção de interfaces com melhor usabilidade;

� Garante melhores decisões de projeto;

� Evita custos de fazer e distribuir correções;

� Vantagens indiscutíveis: modificação do projetonas fases iniciais são melhores que nas fases finais!

6 - 57

Por quê avaliar?Por quê avaliar?� Conhecer o que os usuários querem e problemas

que experimentam;

� Verificar se idéias estão de acordo com as� Verificar se idéias estão de acordo com asnecessidades e os desejos dos usuários;

� Responder dúvidas que surgem durante o projeto edesenvolvimento.

7 - 57

Por quê avaliar?Por quê avaliar?� Verificar o sistema na situação real de uso;

� Comparar alternativas de design;

�Marketing:

� comparação entre produtos (funcionalidade, aceitação)

� Adequação a normas:

� produtos estão de acordo com padrões específicos(exemplo ISO)?

8 - 57

O que avaliar?O que avaliar?� Funcionalidade do sistema

� qualidade da adequação aos problemas do usuário;

� design permite que usuário efetue as tarefas pretendidasde modo fácil e eficiente;de modo fácil e eficiente;

� Usabilidade da interface

� qualidade da interação usuário/sistema;

� fácil aprender usar o sistema, uso agradável e eficiente.

9 - 57

O que avaliar?O que avaliar?� Comunicabilidade

� qualidade da comunicação projetista/usuário;

� interface expressa o modelo de interação previsto pelos projetistas;projetistas;

� Aprendizado do usuário

� conhecimento do usuário evolui através da interação.

10 - 57

Quando?Quando?� Deve ocorrer durante o ciclo de vida do sistema:� resultados utilizados para melhorias gradativas da interface.

� Nas primeiras fases:verificar compreensão dos projetistas sobre as necessidades dos� verificar compreensão dos projetistas sobre as necessidades dosusuários (estudo de um sistema existente);

� testar idéias (possibilidades de layout).

� Nas fases finais:� identificar dificuldades do usuário;

� melhorar produto.

11 - 57

Tipos de AvaliaçãoTipos de Avaliação�� FormativaFormativa� feita durante o processo de projeto e desenvolvimento;

� permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada;a aplicação seja implementada ou terminada;

� uso de modelos, protótipos, storyboards.

�� SomativaSomativa� avaliar o produto já terminado;

� testar se produto está de acordo com o estilo padrão da empresa.

12 - 57

ConsideraçõesConsiderações� Características dos usuários

� experiência, idade, gênero;

� Tipo de atividade a ser realizada� Tipo de atividade a ser realizada

� atividades específicas controladas ou livres, de acordo com a vontade do usuário;

13 - 57

ConsideraçõesConsiderações

• Ambiente do estudo– laboratório, ambiente natural de trabalho (estudo de

campo);

14 - 57

• Natureza do artefato– projeto gráfico não implementado, protótipo em

desenvolvimento, produto terminado.

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Envolvem:

� observação e monitoração das interações do usuário;

� coleta de opiniões dos usuários;� coleta de opiniões dos usuários;

� experimentos;

� interpretação de interações naturais;

� predição de usabilidade de um produto.

15 - 57

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)

� Inspeção de usabilidade

� Teste de usabilidade� Teste de usabilidade

� Experimento controlado

� Método interpretativo

16 - 57

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)

� Inspeção de usabilidade

� Teste de usabilidade� Teste de usabilidade

� Experimento controlado

� Método interpretativo

17 - 57

Inspeção de UsabilidadeInspeção de Usabilidade� Conjunto de métodos baseados em se ter

avaliadores inspecionando ou examinandoaspectos de usabilidade de uma interface;

� Avaliadores:

� especialistas em usabilidade ou em determinado padrãode interface, consultores de software, usuários finais.

18 - 57

Inspeção de UsabilidadeInspeção de Usabilidade� Visa encontrar problemas de usabilidade no

projeto de uma interface e fazer recomendaçõespara eliminação destes problemas;

� Utiliza a habilidade e a experiência de avaliadores;

� Pode ser aplicada em fases iniciais e finais doprojeto e desenvolvimento.

19 - 57

Inspeção de UsabilidadeInspeção de Usabilidade�Métodos:

� Avaliação Heurística: uso de lista de heurísticas;

� Revisão de Guidelines: verificação da conformidade com guidelines;

� Inspeção de Consistência: consistência dentro de uma família de

interfaces (terminologia, cores, layout, formatos entrada/saída);

� Percurso Cognitivo (predição de uso): análise do “caminho”

percorrido na execução de uma tarefa (modelagem psicológica);especialistas revisam o sistema para predizer problemas que usuáriospodem encontrar.

20 - 57

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)

� Inspeção de usabilidade

� Teste de usabilidade� Teste de usabilidade

� Experimento controlado

� Método interpretativo

21 - 57

Teste de UsabilidadeTeste de Usabilidade� Método centrado no usuário;

� Inclui

� Métodos experimentais ou empíricos;� Métodos experimentais ou empíricos;

� Métodos observacionais;

� Técnicas de questionamento.

� Necessária existência de uma implementação real(simulação, protótipo básico, cenário, implementação completa).

22 - 57

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranaukas, 2000)

� Inspeção de usabilidade

� Teste de usabilidade� Teste de usabilidade

� Experimento controlado

� Método interpretativo

23 - 57

Experimento ControladoExperimento Controlado� Envolve a execução de um bem projetado

experimento de laboratório;

� Tem-se uma hipótese a ser testada e variáveis de� Tem-se uma hipótese a ser testada e variáveis deinteresse devem ser controladas;

� Uso de métodos estatísticos: necessárioconhecimento estatístico para validação dosresultados.

24 - 57

Experimento ControladoExperimento Controlado� Controle de variáveis em interações complexasenvolvendo humanos pode ser difícil e de validadequestionável;

São feitos em laboratórios especialmente construídos;� São feitos em laboratórios especialmente construídos;

� Coleta de dados através de observação e monitoramento;

� Avaliação rigorosa e dados coletados analisadosquantitativamente, de modo a produzir métricas queguiem o projeto.

25 - 57

Experimento ControladoExperimento Controlado� No planejamento, observar:

� propósito do experimento;

� o que se mantém constante, o que é alterado;� o que se mantém constante, o que é alterado;

� hipótese (estabelecida de forma a ser testada);

� quais testes estatísticos e por que?

26 - 57

Experimento ControladoExperimento Controlado

• Exemplo:

- avaliação da eficiência relativa dos usuáriosutilizandoteclasdefunçãoou menusnumsistemade

27 - 57

utilizandoteclasdefunçãoou menusnumsistemadecontrole de processos estabelecida emtermos doselementos comparados, constantes (experiência dosusuários e tarefa de controle) e medidas deperformance (velocidade na execução dos comandosou percentual de erros).

Experimento ControladoExperimento Controlado

• Exemplo

• Hipótese possível- Teclasdefunçãosãomaiseficientes(produzemexecuçãomais

28 - 57

- Teclasdefunçãosãomaiseficientes(produzemexecuçãomaisrápida dos comandos);

• Grupos usarão duas interfaces;

• Significância estatística entre as diferenças serãodeterminadas.

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação� Classificação (Rocha e Baranauskas, 2000)

� Inspeção de usabilidade

� Teste de usabilidade� Teste de usabilidade

� Experimento controlado

� Método interpretativo

29 - 57

Método InterpretativoMétodo Interpretativo� Objetiva proporcionar ao projetista um melhor

entendimento

� das condições naturais de trabalho do usuário;das condições naturais de trabalho do usuário;

� de como o uso do sistema se integra as outras atividadesdo usuário.

30 - 57

Método InterpretativoMétodo Interpretativo� Coleção de dados é informal

� deve causar pouca interferência ao trabalho do usuário;

� participação do usuário na coleta, análise e interpretaçãodos dados;participação do usuário na coleta, análise e interpretaçãodos dados;

� formas de registro como vídeos e áudio podem seradotadas.

� Incluem avaliação participativa e etnográfica(pesquisadores inseridos no contexto de trabalho).

31 - 57

Qual método utilizar?� Fatores determinantes:� o que se deseja avaliar;

� etapa do desenvolvimento;

� disponibilidade de especialistas;� disponibilidade de especialistas;

� ambiente e recursos necessários;

� tempo disponíveis para avaliação.

� Técnica ideal: misturar e adaptar métodos.

32 - 57

Métodos e Técnicas de AvaliaçãoMétodos e Técnicas de Avaliação

��Técnicas representativas:Técnicas representativas:

��Avaliação HeurísticaAvaliação Heurística

��Teste de UsabilidadeTeste de Usabilidade

33 - 57

Avaliação HeurísticaAvaliação Heurística� Engenharia Econômica de Usabilidade proposta por

Nielsen (1989,1993);

� Envolve pequeno conjunto de avaliadores, examinando� Envolve pequeno conjunto de avaliadores, examinandoa interface e julgando suas características em face dereconhecidos princípios de usabilidade (heurísticas).

34 - 57

Avaliação HeurísticaAvaliação Heurística� Heurística: regra geral que descreve uma

propriedade comum em interfaces usáveis;

� Avaliadores, por experiência, estudam e observam� Avaliadores, por experiência, estudam e observama interface;

� Não deve ser feita por um único avaliador (3-5).

35 - 57

Avaliação HeurísticaAvaliação Heurística� Metodologia:

� feita, em primeiro momento, individualmente;

� avaliadores percorrem a interface e relatam problemas� avaliadores percorrem a interface e relatam problemasencontrados, junto as heurísticas violadas;

� posteriormente, as listas de problemas dos avaliadoressão consolidadas;

� discussão final: equipe de desenvolvimento esugestões de re-design.

36 - 57

Avaliação HeurísticaAvaliação Heurística� Avaliadores não estarão usando o sistema de fato:

interfaces não implementadas;

� Resultado: lista de problemas de usabilidade da interface� Resultado: lista de problemas de usabilidade da interfacecom referências aos princípios de usabilidade violados;

� Uso de heurísticas específicas: derivadas da análisede produtos similares e de resultados de uso (Ex.:formulários).

37 - 57

Algumas Heurísticas Algumas Heurísticas (Nielsen, 1990/93)(Nielsen, 1990/93)

� Diálogo simples e natural;

� Falar na linguagem do usuário;

� Minimizar a carga de memória do usuário;

� Ser consistente;� Ser consistente;

� Prover feedback;

� Saídas claras marcadas;

� Prover shortcuts;

� Mensagens de erro construtivas e precisas;

� Prevenir erros;

� Help e documentação.

38 - 57

Avaliação HeurísticaAvaliação Heurística

39 - 57

(Rocha e Baranauskas, 2000, pág. 177)

Avaliação HeurísticaAvaliação Heurística� Diagnóstico de um problema associado as heurísticas:

possibilidades concretas de re-design;

� Pode ser usada para avaliar a gravidade de cada� Pode ser usada para avaliar a gravidade de cadaproblema: atribuição de graus de severidade;

� Método básico da engenharia da usabilidade,relativamente fácil de ser usado e aprendido.

40 - 57

Teste de UsabilidadeTeste de Usabilidade� Observação da interação de usuários no mundo real ou sob

condições controladas;

� Avaliadores coletam dados e verificam se a interfacesuporta as tarefas do usuário;suporta as tarefas do usuário;

� Importância do teste: impossibilidade do projetista emprever o comportamento dos usuários diante da interface;

� Ferramentas de registro: áudio, vídeo, software pararegistro da interação, outras;

� Importante coleta da opinião do usuário.

41 - 57

Teste de Usabilidade

42 - 57

Teste de UsabilidadeTeste de Usabilidade� Resultados práticos: testes têm acelerado desenvolvimento

e produzido redução de custos;

� Vantagens (Matias, 1995):

� indicar reações dos usuários potenciais;

� mostrar os problemas e falhas no sistema;

� mostrar onde o sistema funciona bem;

� fornecer idéias ao projeto através das sugestões dos usuários;

� fornecer meios para comparar múltiplos usuários;

� promover a participação do usuário.

43 - 57

Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:

� direta

� usuários podem ser observados diretamente em seu local detrabalho;trabalho;

� observador toma nota sobre o comportamento do usuário,como seqüência de ações (escolher o que é importante seranotado);

� usuários podem alterar comportamento pelo fato de estaremsendo observados;

44 - 57

Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:

� direta

� técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist;desenvolvidas, do tipo checklist;

� para registro permanente, vídeo, áudio ou logging de interação é necessário.

45 - 57

Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:

� indireta

� software logging:

� coleta é automática e não interfere no trabalho do� coleta é automática e não interfere no trabalho dousuário;

� ferramentas disponíveis para software logging;

� tempo de digitação: grava seqüência e os intervalosde tempo.

46 - 57

Teste de UsabilidadeTeste de Usabilidade� Observação dos usuários:� indireta� vídeo:

� uso de diferentes câmeras;uso de diferentes câmeras;

� usuários têm noção de que estão sendo filmados;

� reduzir impacto da presença da câmera: coloca-la diasantes do início das filmagens;

� análise é difícil e consome tempo;

� podem ser usados para convencer gerentes e projetistasdos problemas no sistema.

47 - 57

Teste de UsabilidadeTeste de Usabilidade� Coleta da opinião dos usuários:

� além da performance é importante saber o que ele pensasobre o uso que faz da tecnologia;

� impressão dos usuários sobre o software;

� performance pode ser boa, mas usuário não gostar dosistema;

� detalhes para os projetistas podem ser desagradáveis aousuário.

48 - 57

Teste de UsabilidadeTeste de Usabilidade� Coleta da opinião dos usuários:

� protocolo verbal: usuários “pensam em voz alta”;

� usuários podem ver vídeos e comentar sobre suas� usuários podem ver vídeos e comentar sobre suasações;

� dois usuários podem testar uma interface e comentar;

� entrevistas e questionários podem ser utilizados.

49 - 57

Teste de UsabilidadeTeste de Usabilidade� Entrevistas e questionários:

� dados de entrevistas: qualitativos;

� dados de questionários: quantitativos;� dados de questionários: quantitativos;

� questionários podem ser aplicados a um grande númerode pessoas, possibilitando a obtenção de resultadosestatisticamente validados;

� questionário deve ser planejado de forma a garantir queperguntas sejam relevantes às questões analisadas.

50 - 57

Teste de UsabilidadeTeste de Usabilidade� Entrevistas e questionários:

� entrevistas flexíveis podem ser moldadas se acordo coma reação dos entrevistados (uso de um plano básico);

� entrevistado deve se sentir seguro e a vontade: podemter vergonha de criticar o sistema;

� entrevistador responsável por criar um clima agradávelde conversação.

51 - 57

Teste de UsabilidadeTeste de Usabilidade� Entrevistas e questionários:

� questionários podem conter respostas fechadas ouabertas;

� fechadas� fechadas� checklists (sim, não, não sei);

� escalas (muito útil ... Inútil; concordo plenamente ... discordoplenamente);

� questionários devem ser breves;

� estudos pilotos: antes de distribuir um questionário para500 pessoas, distribuir um rascunho para 20.

52 - 57

Teste de UsabilidadeTeste de Usabilidade� Testes realizados em laboratório;

� Problemas:

� limitações de tempo e de recursos;limitações de tempo e de recursos;

� dificuldade em conseguir usuários representativos;

� contexto do trabalho dificilmente consegue ser reproduzido;

� Saídas:

� testes remotos (tele-conferência);

� testes de campo: ambientes reais de uso (resposta do usuário, logs,comandos usados, freqüência de acesso ao help).

53 - 57

Teste de UsabilidadeTeste de Usabilidade� Plano detalhado de teste: objetivo, quando e onde, duração,

recursos necessários, experimentadores, usuários, tarefas aserem avaliadas;

� Etapas:� Etapas:

� Preparação dos recursos;

� Apresentação usuários as tarefas de teste;

� Teste (evitar auxiliar o usuário);

� Sessão final: usuários convidados a comentar, sugerir ecomentar ou responder questionário;

54 - 57

Teste de UsabilidadeTeste de Usabilidade� Usuários:� Representativos em relação aos usuários aos reais:

� se não forem usuário reais: características similares (idade,conhecimento, experiência com sistema, outras);

� evitar influências:

� Ex.: determinar um conjunto de ícones que é mais rapidamentereconhecido por crianças entre 7 e 10 anos

� selecionar crianças que cubram todas as idades;

� número igual de meninos e meninas;

� mesmo nível de experiência;

� notas escolares semelhantes.

55 - 57

Teste de UsabilidadeTeste de Usabilidade

� Equipe experimentadores:

- conhecimento da aplicação e interface;- conhecimento da aplicação e interface;

- saber lidar com problemas que afetem o teste;

- isenção na avaliação.

56 - 57

Teste de UsabilidadeTeste de Usabilidade� Comentar com usuário:

� importância do teste: melhorias na interface;

� sistema é confidencial e resultados não serão colocadospublicamente;publicamente;

� participação é voluntária (usuários tem outras coisaspara fazer);

� explicar gravações de vídeo ou áudio;

� informa-los dos objetivos do teste, tarefas a seremrealizadas e que podem ser livres para abandonar o testese assim desejarem.

57 - 57

ComparativoComparativo� Testes de laboratório são caros;

� Abordagem heurística proposta para oferecer informaçãode usabilidade de modo mais rápido e barato� não substituem os testes: uso em conjunto;� não substituem os testes: uso em conjunto;

� Avaliação heurística melhor quando aplicada porespecialistas em avaliação;

� permite avaliação global da interface, menor custo, detecção deerros;

58 - 57

ComparativoComparativo� Testes são mais eficazes, mas caros (50x);

� Avaliação heurística detectou mais problemas ao customais baixo, mas necessita de pessoas com conhecimentoe experiência para aplica-la (Jeffries);e experiência para aplica-la (Jeffries);

� Não se pode afirmar qual o melhor método: cadasituação de projeto irá requerer uma forma de avaliação.

59 - 57

Referências� Rocha, Heloísa; Baranauskas, Maria. Design e avaliação de

interfaces humano-computador. São Paulo, IME-USP, 2000 (Escolade Computação, 2000), 242 p.

� Matias, Márcio. Checklist: Uma ferramenta de suporte à avaliaçãoergonômica de interfaces. Florianópolis, 1995 (dissertação deergonômica de interfaces. Florianópolis, 1995 (dissertação demestrado).

� Souza, Clarisse; Leite, Jair; Prates, Raquel; Barbosa, Simone. Projetode Interfaces de Usuário: Perspectivas Cognitivas e Semióticas.In: XIX Congresso Nacional da Sociedade Brasileira de Computação,1999, Rio de Janeiro. Anais do XIX Congresso Nacional da SociedadeBrasileira de Computação;

� Material disponibilizado pela Profª Renata Vieira - Internet.

60 - 57