Transcript
Page 1: 81221835 ergoihc-teste-de-usabilidade-ariel

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Joseph S. Dumas

Janice C. Redish

Page 2: 81221835 ergoihc-teste-de-usabilidade-ariel

O capítulo 7 do livro aborda algumas atividades envolvidas na fase do planejamento do teste de usabilidade.

São abordadas as seguintes questões:

- Quanto tempo dura um teste de usabilidade?- que tipo de influência o tempo exerce?- testes em diferentes empresas ( 8 a 12 semanas)- diminuindo o tempo de teste ( 4 a 6 semanas)- testes de pequenos pedaços (1 semana)- teste “just in time” (1 dia e meio)- noções de tempo de teste que devem ser passadas para os desenvolvedores e gerentes.

- Planejamento é fator crítico de sucesso- Planejamento envolve uma série de passos- Planejamento requer trabalho de equipe- Planejamento precisa ser gerenciado e acompanhado.

Vamos ao primeiro ponto…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 3: 81221835 ergoihc-teste-de-usabilidade-ariel

- Quanto tempo dura um teste de usabilidade?

É a primeira pergunta feita pelos clientes e gerentes… É uma pergunta relevante, já que tempo implica:

custo e cronograma.

Os testes devem durar o mínimo de tempo possível e é importante considerar que:

- O desenvolvimento não pára enquanto os testes acontecem!

A fase de planejamento dos testes, por exemplo, pode começar junto com o desenvolvimento.

As empresas que já trabalham com os testes de usabilidade, o prevêem no custo e no cronograma do projeto – isso é o ideal!

- Mas se o ideal é fazer no menor tempo possível? - Que tempo ideal é esse?

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 4: 81221835 ergoihc-teste-de-usabilidade-ariel

O planejamento do tempo de duração de um teste deve levar em consideração os seguintes fatores:

- Quanto de teste de usabilidade já foi feito no projeto? Os usuários já foram consultados alguma vez?

- Complexidade do produto - Quanto do produto será testado (partes ou todo?)

- O que será preciso de infra-estrutura / set-up? - Você já tem um grupo de usuários pré-selecionado?

- número de participantes / tempo esperado de ação de cada participante

- nível de experiência, treinamento e engajamento da equipe que realizará o teste e desta com a equipe de desenvolvimento

- nível de atividades simultâneas que estão sendo realizadas pelos desenvolvedores e equipe do teste de usabilidade

- nível de detalhamento/formalidade do relatório a ser gerado

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 5: 81221835 ergoihc-teste-de-usabilidade-ariel

Testes realizados em grandes empresas (8 a 12 semanas)

A Microsoft realiza testes de mais de 8 semanas.

A primeira é dedicada à definição dos objetivos do teste e serve também para treinamento e entrosamento da equipe de realização dos testes com a equipe de desenvolvimento.

Pode ser que a empresa gaste algumas semanas para chegar a um consenso sobre os objetivos e foco do teste de usabilidade.

No caso da Microsoft, são gerados relatórios formais e são editadas fitas com os principais pontos. Essas informações auxiliam os próximos testes.

Os desenvolvedores, em geral, acreditam mais nas informações que falam por si próprias. Com isso, os relatórios e as análises devem mostrar esse tipo de informação.

Quanto maior o número de participantes do teste, maior será o tempo gasto…

Testes mais rápidos realizados pela Microsoft envolvem de 6 a 8 participantes que realizam as tarefas durante 1 hora.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 6: 81221835 ergoihc-teste-de-usabilidade-ariel

Testes realizados em grandes empresas (8 a 12 semanas)

A HP encomendou um teste para um grupo de pesquisas e fez as seguintes exigências:

- queriam realizar os testes com grupos de usuários distintos- cada grupo deveria ter pelo menos 10 participantes- deveria ser apresentado um relatório final formal à equipe gerencial da HP

Esse teste levou mais de 8 semanas. Só o período de recrutamento de pessoas gastou muito tempo…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 7: 81221835 ergoihc-teste-de-usabilidade-ariel

Reduzindo o tempo dos testes (4 a 6 semanas)

Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos.

Vejamos o exemplo de um teste realizado em 6 semanas…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Semana 1Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste.

Fim da 1 e semana 2Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA!

Page 8: 81221835 ergoihc-teste-de-usabilidade-ariel

Reduzindo o tempo dos testes (4 a 6 semanas)

Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos.

Vejamos o exemplo de um teste realizado em 6 semanas…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Para ganhar tempo, você podo solicitar ao cliente uma lista de possíveis usuários e participantes.

O desenvolvedor, em geral, conhece seu público-alvo.

Semana 1Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste.

Fim da 1 e semana 2Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA!

Page 9: 81221835 ergoihc-teste-de-usabilidade-ariel

Reduzindo o tempo dos testes (4 a 6 semanas)

Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos.

Vejamos o exemplo de um teste realizado em 6 semanas…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Semana 1Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste.

Fim da 1 e semana 2Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA!

Final da semana 2Equipe de teste faz o teste piloto.

Semanas 3 e 4A realização dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usuários e 6 eram administradores do sistema, pessoas que fariam a configuração do mesmo. DICA!

Page 10: 81221835 ergoihc-teste-de-usabilidade-ariel

Reduzindo o tempo dos testes (4 a 6 semanas)

Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos.

Vejamos o exemplo de um teste realizado em 6 semanas…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Semana 1Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste.

Fim da 1 e semana 2Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA!

Final da semana 2Equipe de teste faz o teste piloto.

Semanas 3 e 4A realização dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usuários e 6 eram administradores do sistema, pessoas que fariam a configuração do mesmo. DICA!

O ideal é realizar os testes de usabilidade cedo, com o produto ainda não terminado.Nesses casos, é muito comum o aparecimento de bugs e outros problemas.

Ter pessoas da equipe de desenvolvimento participando do teste é muito bom, pois alguns problemas são resolvidos na hora, não interrompendo a realização dos testes.

Page 11: 81221835 ergoihc-teste-de-usabilidade-ariel

Reduzindo o tempo dos testes (4 a 6 semanas)

Reduzir o tempo de realização dos testes requer forte esforço de colaboração entre os envolvidos.

Vejamos o exemplo de um teste realizado em 6 semanas…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Semana 1Equipe de testes e designers - 3 dias para determinar população, recrutamento e tarefas do teste.

Fim da 1 e semana 2Recrutamento; treinamento do produto pela equipe de testes, elaboração dos cenários e do questionário. DICA!

Final da semana 2Equipe de teste faz o teste piloto.

Semanas 3 e 4A realização dos testes durou 2 semanas. Seis pessoas avaliaram o produto como usuários e 6 eram administradores do sistema, pessoas que fariam a configuração do mesmo. DICA!Final da semana 4

O administrador dos testes passava, diariamente, uma lista dos principais problemas encontrados para ajudar o trabalho dos desenvolvedores.

Semana 5A equipe de testes analisou as informações e começou a fazer o relatório.

Semana 6Término do relatório e edição da fita com os principais pontos.

Page 12: 81221835 ergoihc-teste-de-usabilidade-ariel

Reduzindo o tempo dos testes (4 a 6 semanas)

É possível fazer testes em até menos tempo.Testes válidos, com usuários reais e tarefas reais, são realizados em até 4 semanas.

Isso depende do número de participantes, do número de tarefas e da análise do material que será feita. Significa, de repente, não ter um relatório completo, mas obter as informações necessárias para melhorar o produto.

A realização de testes mais rápidos e eficientes ajuda a ganhar a credibilidade do time gerencial.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 13: 81221835 ergoihc-teste-de-usabilidade-ariel

Testes de pequenos pedaços / fases do produto

Na empresa Word Perfect, por exemplo, os testes são realizados em 1 semana.

Para tanto, a empresa conta com:

- especialistas internos em realização de testes;- especialistas que estão familiarizados com o produto;- testes específicos para cada etapa do projeto;- recrutador experiente que já tem um grupo de usuários cadastrados;- tarefas que gastem apenas 1 hora;- relatório rápido, pois as informações são transmitidas aos desenvolvedores em reuniões informais.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 14: 81221835 ergoihc-teste-de-usabilidade-ariel

Teste “just in time”

Uma empresa realizou um teste em 1 dia e meio. Como?

Um grupo de 5 especialistas em ergonomia e usabilidade trabalhou em paralelo. Enquanto um recrutava, outro selecionava a tarefa e organizava a infra-estrutura. Cada especialista recebeu um participante num laboratório.Com isso, os teste foram feitos simultaneamente.

No final, a equipe de especialistas se reuniu para analisar os dados.

Isso funcionou porque a empresa Silicon Graphics tinha diversos laboratórios funcionando 99,9% do tempo, os especialistas já tinham habilidade em realizar testes, alguns usuários internos foram recrutados (6) e os demais foram trazidos por uma agência (6).

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 15: 81221835 ergoihc-teste-de-usabilidade-ariel

Noções de tempo de teste que devem ser passadas para os desenvolvedores e gerentes

É comum que os desenvolvedores e os gerentes pressionem com relação ao tempo dos testes.

Isso acontece exatamente nos casos em que o teste é realizado quando o produto está praticamente finalizado.

A empresa desenvolvedora não deve ter especialistas para realizar os testes e às vezes nem conhece o público-alvo e as tarefas que serão realizadas por esses.

Conseqüentemente, são os testes que demoram mais tempo e geram uma enorme quantidade de informações e retrabalhos.

É importante aproveitar essas oportunidades para mostrar a importância da realização de testes intermediários, de foco na usabilidade desde o início.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 16: 81221835 ergoihc-teste-de-usabilidade-ariel

Planejamento como fator crítico de sucesso

Reunir um grupo de pessoas para ver como eles usam o produto pode ser perda de tempo, caso os seguintes fatores sejam ignorados…

- Que aspectos do produto requerem maior atenção de usabilidade?- As pessoas recrutadas representam os atuais usuários do produto?- Que tarefas e tempo serão dados às pessoas?- Que tipo de informação você espera coletar?- Como você vai analisar a informação coletada?- O que você vai fazer com a informação coletada?

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 17: 81221835 ergoihc-teste-de-usabilidade-ariel

Planejamento envolve uma série de passos

1. definir objetivos e pressupostos do teste2. definir quais serão os participantes3. recrutar os participantes4. selecionar e organizar as tarefas do teste5. criar o cenário das tarefas6. decidir como medir a usabilidade7. preparar os outros materiais do teste8. preparar o ambiente do teste9. preparar a equipe que conduzirá o teste10. realizar um teste piloto e fazer os ajustes necessários

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 18: 81221835 ergoihc-teste-de-usabilidade-ariel

Planejamento envolve trabalho de equipe

O teste deve ser realizado por um especialista, mas essa pessoa tem de trabalhar de perto com os demais membros da equipe.

Cada profissional tem uma contribuição a dar. Por exemplo:

- o especialista sabe conduzir o teste e conhece os possíveis problemas;

- o desenvolvedor conhece o produto e pode ajudar a definir as tarefas

- o help desk conhece os principais problemas de produtos similares;

- o pessoal de marketing sabe quais são os usuários que devem ser chamados para o teste…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 19: 81221835 ergoihc-teste-de-usabilidade-ariel

Planejamento deve ser gerenciado e acompanhado cuidadosamente

Como em qualquer projeto, o teste deve ser gerenciado a partir de um sistema que inclua agenda, definição de responsabilidade, acompanhamento do andamento e documentação.

É importante guardar um histórico das decisões tomadas ao longo do projeto.

Escrever o plano do teste também ajuda a organizar as idéias.

Ao mostrar esse plano a outras pessoas, novas idéias interessantes podem surgir e, envolver um grande número de pessoas ajuda a vender o teste e seus resultados.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability testCap. 8 – Defining goals and concerns

Page 20: 81221835 ergoihc-teste-de-usabilidade-ariel

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Joseph S. Dumas

Janice C. Redish

Page 21: 81221835 ergoihc-teste-de-usabilidade-ariel

Passemos ao capítulo 8…

Muitos produtos são complexos demais para que todos os seus potenciais usuários e interesses sejam testados…

Mesmo no caso de produtos mais simples…

Acontecem tantas coisas durante um teste de usabilidade que, se os objetivos e os pontos de interesse não estiverem bem definidos, aspectos importantes podem ser perdidos.

Definir os objetivos e os pontos de interesse é fundamental e facilita até a seleção dos usuários do teste, as tarefas e os demais aspectos do planejamento.

Para exemplificar, um objetivo pode ser definido da seguinte forma: “Usuários serão capazes de selecionar o ícone correto em menos de 30 segundos, sem cometer qualquer erro.”

Um ponto de interesse pode ser definido da seguinte forma:“Serão os usuários capazes de selecionar o ícone correto de forma rápida e precisa?”

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 22: 81221835 ergoihc-teste-de-usabilidade-ariel

Escolhendo os objetivos e os pontos de interesse…

Durante o planejamento de testes de usabilidade, é inevitável ter de fazer escolhas.

Por exemplo:

Seu principal interesse é saber se as pessoas vão usar o manual ou se as pessoas vão achar fácil o uso do manual?

Obter a resposta de todas as perguntas é muito difícil e por isso é importante estabelecer um foco…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 23: 81221835 ergoihc-teste-de-usabilidade-ariel

Passando de pontos de interesse genéricos para específicos…

Fazendo isso, você conseguirá planejar o teste.

Dizendo: “gostaríamos de saber se o produto é fácil para os usuários”… É um bom começo, mas uma pergunta vaga demais.

Seria importante definir:- Que aspectos do produto te preocupam?- Que grupos de usuários específicos te preocupam?- Que tarefas permitiriam que você verificasse se suas preocupações são válidas?- Como você pode medir isso?

Isso ajudará no recrutamento, na seleção das tarefas etc.

Mas como definir os pontos de interesse específicos?

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 24: 81221835 ergoihc-teste-de-usabilidade-ariel

Fontes de informação…

Você pode obter informações interessantes a partir de:

- análise de tarefas e objetivos de usabilidade quantitativos;- dúvidas específicas de uma fase;- avaliação heurística;- testes anteriores do próprio produto ou de produtos similares.

Vejamos como cada uma dessas fontes pode nos ajudar…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 25: 81221835 ergoihc-teste-de-usabilidade-ariel

Fontes de informação…

Análise de tarefas e objetivos de usabilidade quantitativos

Do próprio projeto do sistema, devem surgir essas questões.Por exemplo:

Um objetivo geral do produto seria:- Menus devem ser de fácil navegação.

Objetivo quantitativo de usabilidade:- Usuários serão capazes de achar o item de menu que querem em menos de 2 minutos, sem terem cometido erros.

Ponto de interesse genérico:- Será que as pessoas que estão mudando de programa conseguem encontrar o que precisam?

Ponto de interesse específico:- Será que os usuários conseguirão adicionar um rodapé no documento (a partir do menu)?

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 26: 81221835 ergoihc-teste-de-usabilidade-ariel

Fontes de informação…

Dúvidas específicas de uma fase

Em cada fase do projeto, uma nova dúvida pode surgir. Essas dúvidas podem ser facilmente resolvidas a partir de testes de usabilidade.

Por exemplo:

Suponha que, num dado momento, ocorra um impasse sobre uma filosofia de design e duas opções estejam concorrendo. A equipe pode gastar meses discutindo para chegar a uma conclusão, que pode não ser a melhor.Uma saída mais inteligente seria fazer um teste onde os usuários pudessem decidir a filosofia mais conveniente.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 27: 81221835 ergoihc-teste-de-usabilidade-ariel

Fontes de informação…

Avaliação heurística

Todos os problemas que tenham sido apontados numa avaliação heurística devem ser alvo de teste de usabilidade.

Por exemplo…Numa avaliação heurística de um manual, os especialistas acharam que a explicação da limpeza das partes de uma máquina estava técnica demais e sem ilustrações.

Apesar de os desenvolvedores acharem que todos conhecem esses nomes, antes de distribuir o manual, seria bom chamar um grupo de usuários para pedir que fizessem a limpeza da máquina a partir do manual.

Com isso, conseguiriam identificar se o manual está claro o suficiente ou precisa de ajustes.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 28: 81221835 ergoihc-teste-de-usabilidade-ariel

Fontes de informação…

Testes anteriores ou de produtos semelhantes

Como os testes devem ser feitos desde o início, um teste deve alimentar o outro. Problemas já resolvidos devem ser novamente testados…

Ouvir os problemas mais comuns de produtos semelhantes também ajuda a orientar o teste. Seu produto não deve incorrer nos mesmos erros.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 29: 81221835 ergoihc-teste-de-usabilidade-ariel

EXEMPLO QUE SERVIRÁ PARA O LIVRO TODO…

Testando um programa de e-mail

O programa (fictício) é usado internamente numa empresa, para relacionamento entre funcionários.

Infelizmente só pediram para fazer o teste de usabilidade do produto numa fase final de desenvolvimento e quase nenhum teste de engenharia foi feito anteriormente.

Alguns dos principais aspectos a serem testados foram listados.

Vejamos…

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 30: 81221835 ergoihc-teste-de-usabilidade-ariel

EXEMPLO do teste do programa de e-mail…

Questão geral: Será que os novos usuários conseguirão trabalhar com ele rapidamente? (Obs.: ao trabalhar com usuários novos, conseguimos mapear o público que mais pode ter dificuldades)

Questão geral: Será que os novos usuários conseguirão navegar pelos menus fácil e rapidamente?

Questões específicas: Será que os novos usuários acharão o item de menu correto para:- ler uma mensagem?- escrever e enviar uma mensagem?- responder uma mensagem?- encaminhar uma mensagem?- salvar e deletar mensagens da lista?- resgatar uma mensagem antiga para responder?- configurar uma lista de distribuição?

Formas de medir as questões de navegação:- a partir de escolhas erradas no menu;- tempo gasto para completar as tarefas.

A Practical Guide to Usability TestingUsability Testing

Cap. 7 – Planning a usability test

Cap. 8 – Defining goals and concerns

Page 31: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Joseph S. Dumas

Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Page 32: 81221835 ergoihc-teste-de-usabilidade-ariel

No capítulo 11 do livro os autores consideram que o “Teste de Usabilidade” é como um processo de amostragem, sendo complicado testar todas as tarefas realizadas pelo usuário em um produto.

Quais são os tipos de tarefas que poderiam estar contidas na amostra?

-Tarefas que sondam problemas potenciais de

usabilidade;

- Tarefas vindas da sua experiência e dos seus

interesses;

- Tarefas que os usuários devem executar no produto.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 33: 81221835 ergoihc-teste-de-usabilidade-ariel

Tarefas que sondam problemas potenciais de usabilidade

Quanto mais problemas forem encontrados no tempo disponível para o teste, melhor sucedido será o seu procedimento.

Você deve lembrar aos projetistas e desenvolvedores que o objetivo principal de um teste de qualidade de software é revelar os “bugs” antes do lançamento do produto.

Os objetivos do “Teste de Usabilidade” são similares aos do teste de qualidade de software, pois se trata de um procedimento que visa desvendar os problemas de usabilidade mais sérios de um produto. Sendo assim, a meta é criar tarefas para sondar áreas que tenham potencias problemas de usabilidade.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 34: 81221835 ergoihc-teste-de-usabilidade-ariel

Uma boa tarefa é toda aquela que tem o potencial para descobrir um problema de usabilidade.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 35: 81221835 ergoihc-teste-de-usabilidade-ariel

Tarefas vindas da sua experiência e dos seus interesses

Uma outra fonte usada para identificar as tarefas é uma lista de interesses escrita em conjunto com os projetistas.

Nesta lista estariam todas as partes ou os componentes que foram projetados com dificuldade e as áreas em que a equipe discordou sobre a melhor abordagem.

Os projetistas podem ter idéias úteis sobre onde os usuários vão encontrar problemas de usabilidade, embora eles ignorem às dificuldades mais básicas destas pessoas ao interagirem com o produto.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 36: 81221835 ergoihc-teste-de-usabilidade-ariel

Os profissionais que desenvolvem o produto sempre têm noção das áreas onde podem existir potenciais problemas usabilidade.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 37: 81221835 ergoihc-teste-de-usabilidade-ariel

Tarefas vindas da sua experiência e dos seus interesses

Com a lista preliminar dos problemas feita será necessário criar tarefas para desvendar os problemas no produto. Por exemplo:

No caso de um programa de e-mail, onde os usuários têm dificuldade para identificar e ler uma mensagem nova.

Conseqüentemente pode-se incluir uma tarefa que solicite aos usuários a seleção e, em sequência, a leitura da mensagem mais nova do correio eletrônico dentre todas as listadas nos itens recebidos.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 38: 81221835 ergoihc-teste-de-usabilidade-ariel

Tarefas que os usuários devem executar no produto

Existem outras tarefas relacionadas com os problemas de usabilidade, interesses e os objetivos do produto que podem complementar lista já feita, tais como:

- novas ou modificadas;

- críticas para operação do produto;

- feitas com freqüência;

-feitas sobre pressão.

Caso a equipe de desenvolvimento tenha feito uma análise da

tarefa, pode ser possível extrair uma lista de tarefas desta técnica.

Uma outra opção é realizar reuniões com os usuários e os

desenvolvedores, objetivando criar a lista com as tarefas.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 39: 81221835 ergoihc-teste-de-usabilidade-ariel

Tarefas que os usuários devem executar no produto

Segue abaixo uma lista resumida com tarefas para o teste do programa de e-mail.

-Configure uma senha para conta de e-mail;-Crie uma lista pessoal de e-mail;-Mova as mensagens entre as pastas (diretórios);-Liste os itens contidos na pasta;-Leia os e-mails novos;-Leia a mensagem selecionada;-Crie e envie um e-mail;-Edite a mensagem;-Coloque um arquivo na mensagem;-Crie uma pasta;-Faça um “forward” da mensagem;-“Delete” o e-mail;-“Delete” a pasta;-Busque uma mensagem;-Envie uma cópia do tipo “CC”.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 40: 81221835 ergoihc-teste-de-usabilidade-ariel

Redução da lista de tarefas

Para se reudzir a lista deve-se considera:

- a duração do teste;

- quais são recurso disponíveis para o teste (hardware,

software, procedimentos e outros recursos para executar as

tarefas).

A lista de tarefas pode ser usada como um checklist para auxliar na organização do teste.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 41: 81221835 ergoihc-teste-de-usabilidade-ariel

Tempo das tarefas

Existem dois tipos de tempos que devem ser estimados para o teste:

- o tempo que levará para a tarefa ser feito durante o teste;

- o tempo que os usuários consideram aceitável para completar

a tarefa.

A duração do teste está relacionada com os tempos estimados para

cada uma das tarefas.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 42: 81221835 ergoihc-teste-de-usabilidade-ariel

Tempo das tarefas

Para estimar o tempo se deve considerar:

- o tempo que um usuário experiente levaria para completar a tarefa pode servir como uma estimativa base;

- os problemas e o tempo de resposta de um usuário típico nesta situação;

- o tempo necessário para configurar a tarefa e o adicional para preparar a seguinte.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 43: 81221835 ergoihc-teste-de-usabilidade-ariel

Elimando tarefas

A ação de eliminar algumas tarefas tem como objetivo garantir que o usuário irá acabar no horário estimado e com todas as tarefas completas. Sendo assim, considere os critérios abaixo para eliminar algumas tarefas:

- o objetivo de cada tarefa e a possibilidade de unir algumas em uma

única;

- o valor em termos de custos financeiros de uma tarefa devido ao uso de

um recurso caro.

Ex: Equipamento caro de registro ou uma máquina para rastrear os

movimentos dos olhos;

- o tempo de uma tarefa de maior importância em detrimento de outras

de menor relevância.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 44: 81221835 ergoihc-teste-de-usabilidade-ariel

Lista final com as tarefas para o teste

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Tempo

Hardware

3 -12 minutos

Tabela 1: Lista de recursos para uma tarefa (Dumas & Redish, 1999).

Dois PC’s com acesso Internet

Texto do”Reply” (além da informação para

escrever o texto). Os procedimentos para

restaurar o ambiente para à próxima tarefa.

Programa de e-mail, contas de e-mail para

os colaboradores, mensagens recebidas para

o “Reply” e conta existente para receber o

e-mail.

Instruções e

procedimentos

Softwares e

arquivos

Page 45: 81221835 ergoihc-teste-de-usabilidade-ariel

Ordenando as tarefas

A etapa final é ordenar a sua lista de tarefas:

- as tarefas devem fluir em uma ordem natural, tendo relação com ações

do usuário em uma situação real;

- as tarefas de maior relevância devem vir no início e não no final. No caso

do tempo acabar para um colaborador e as tarefas mais importantes

estarem no final, o teste ficará prejudicado e não terá os dados principais

para o estudo;

- coloque no início da sua lista as tarefas mais frequentes.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to TestCap. 12– Creating Task Scenarios

Page 46: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Joseph S. Dumas

Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Page 47: 81221835 ergoihc-teste-de-usabilidade-ariel

O que é um cenário?

Os cenários são usados para informar aos participantes o que nós queremos que eles façam durante o teste. Está técnica descreve as tarefas de uma maneira que retira a artificialidade do teste.

Exemplo:Você acabou de retornar ao seu trabalho após as suas férias. Verifique quantos e-mails você tem para ler e caso tenha recebido alguma mensagem do Sr. Green, o Vice-Presidente da empresa, leia antes das demais.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 48: 81221835 ergoihc-teste-de-usabilidade-ariel

Como deve ser um bom cenário?

Um cenário de boa qualidade deve ser:

- pequeno;- com as palavras do usuário e não do produto;

-claro - para que todos os participantes não tenham dúvidas;

Um bom cenário deve:

-dar aos usuários as informações necessárias (nem demais ou

de menos) para realizarem as tarefas;

-estar relacionado diretamente com as suas tarefas e

interesses.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 49: 81221835 ergoihc-teste-de-usabilidade-ariel

Os participantes devem sempre receber cenários escritos?

Não é necessário sempre usar os cenários de forma escrita. O pesquisador para tornar o teste mais realista pode tomar as seguintes medidas:

-Faça com que os membros da equipe de teste interpretem

diversos papeis, sendo clientes, supervisores ou até colegas

que entram na sala para passar a tarefa contida nos cenários.

-Utilize o produto para apresentar os cenários.

-Combine tanto cenários escritos com ligações ou visitas.

Exemplo:

Os cenários feitos para os testes de telefone poderiam incluir

ligações para os participantes ou telefonemas feitos por eles.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 50: 81221835 ergoihc-teste-de-usabilidade-ariel

Os participantes devem sempre receber cenários escritos?

O seu plano de teste deve conter todos os cenários escritos, mesmo que os participantes não vejam esta informação. Esta informação escrita serve para garantir que a sua equipe de testes não mudará as palavras e por consegüinte o sentido da tarefa.

Os cenário devem ser sempre apresentados da mesma forma e com o mesmo conteúdo.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 51: 81221835 ergoihc-teste-de-usabilidade-ariel

Como se dividem os cenários e as tarefas?

Caso você tenha 15 tarefas para o teste, não é necessário criar o mesmo número de cenário. Não é preciso ter uma correspondência idêntica de cenários e tarefas.

É possível ter um número maior de cenário do que tarefas, quando se deseja testar uma tarefa mais de uma vez.

Ex: Caso o teste tenha como objetivo verificar a velocidade com que os usuários executam uma tarefa. Sendo assim, o teste pode ter a flexibilidade de permitir que o usuário explore a interface para compreender como ela funciona.

O estudo pode ter um número menor de cenários do que tarefas, quando se combina duas ou três tarefas em um mesmo cenário.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 52: 81221835 ergoihc-teste-de-usabilidade-ariel

Como se cria um intervalo de tempo entre uma tarefa e outra?

Caso o pesquisador tenha como objetivo estabelecer um intervalo de tempo entre as tarefas, será necessário fazer com que o colaborador pare entre uma tarefa e outra.

Em algumas empresas o mediador fornece uma tarefa por vez para o usuário, logo ele só irá passar para próxima etapa quando terminar a tarefa atual. Sendo assim, é possível perguntar sobre a tarefa realizada ou aplicar um pequeno questionário entre uma tarefa e outra.

O teste pode ser montado da seguinte forma:

-como um livreto tendo uma tarefa por página;-com a marcação tarefa e não cenário nas páginas, pois a segunda indicação pode não ser clara para o usuário;-com a indicação no final da página, lembrando aos usuários para “avisar quando tiverem acabado a tarefa” e “espere o pedido para mudar de página”.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 53: 81221835 ergoihc-teste-de-usabilidade-ariel

Como se cria outros tipos de intervalo de tempo durante o teste?

No início do teste o pesquisador deve lembrar o colaborador:

-de esperar pelo aviso do pesquisador para começar uma tarefa;-de avisar de forma clara e audível o final de uma tarefa;- de esperar entre uma tarefa e outra pela autorização de prosseguir.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 54: 81221835 ergoihc-teste-de-usabilidade-ariel

Tarefa 1

Você é o gerente de projetos de uma nova edição do livro da Professora Anamaria de Moares. Na última hora, você foi informado que a equipe e o cronograma foram modificados.

-Abra o projeto do novo livro na tela para fazer a mudança.

-A entrega do terceiro volume terá um atraso de três semanas. Portanto, altere o arquivo para refletir o novo prazo.

-Com o objetivo de atingir esta nova meta a sua orientadora, Professora Anamaria, autorizou a contratação de um novo designer. O profissional selecionado foi o Eduardo Brandão que terá um jornada diária de seis horas de trabalho com o mesmo salário do Eduardo Ariel. Sendo assim, adicione o novo designer na equipe do projeto.

A Practical Guide to Usability TestingUsability Testing

Cap. 11 – Selecting and Organizing Tasks to Test

Cap. 12– Creating Task Scenarios

Page 55: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Joseph S. Dumas

Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Page 56: 81221835 ergoihc-teste-de-usabilidade-ariel

O capítulo 15 do livro aborda algumas atividades envolvidas na fase do ambiente de teste.

São abordadas as seguintes questões:

- Providenciar o equipamento e os objetos do entorno

- Preparar o produto- gerar informações (conteúdo) necessário- planejar para o desastre- preparar manuais

- Ajustar controle de audio e vídeo

- Preparar materiais para os registros

- Etiquetar todas as fitas de registro

Vamos à primeira…

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 57: 81221835 ergoihc-teste-de-usabilidade-ariel

Providenciar o equipamento e os objetos do entorno

Durante a fase de planejamento, você identifica o equipamento apropriado para o teste.

Neste momento, já é a hora de prepará-lo, providenciando as configurações e os ajustes necessários para garantir que ele vá funcionar na hora do teste.

Por exemplo:

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Se estivermos testando o programa de e-mail, você provavelmente terá de ter um computador a mais na sala para que a comunicação possa se concretizar. Seria preciso, então, testar se a conexão entre os dois computadores está funcionando.

No caso de um teste que envolvesse impressão, seria importante checar se a impressora está corretamente configurada, com papel, tinta, enfim, em perfeito funcionamento.

Page 58: 81221835 ergoihc-teste-de-usabilidade-ariel

Providenciar o equipamento e os objetos do entorno

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Não só os equipamentos precisam estar preparados...

O ambiente também!

Para estimular / simular um ambiente real, é preciso providenciar os objetos do entorno.

Às vezes, basta incluir uma lata de lixo, um quadro ou um vaso...

Mas não podemos deixar de pensar nesses detalhes.

Page 59: 81221835 ergoihc-teste-de-usabilidade-ariel

Preparar o produto

Além de cuidar do set up do equipamento, o preparo do produto envolve...

… gerar informações

Determinadas tarefas, para serem executadas, precisam que algumas informações já estejam disponíveis.

Por exemplo:

Se o teste for do e-mail, a lista de usuários fictícios já deve ter sido criada, o corpo do texto também.Isso é feito rapidamente por você, mas deve estar preparado antes do teste.

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 60: 81221835 ergoihc-teste-de-usabilidade-ariel

Preparar o produto

Além de cuidar do set up do equipamento, o preparo do produto envolve...

… planejar para o desastre

É importante estar preparado para o mal funcionamento do teste. Principalmente se você estiver fazendo o teste de um protótipo.

Você pode economizar tempo, se tiver as atividades prontas por fase.

Por exemplo:Imagine que você esteja testando um programa tipo o Excel. A primeira atividade seria inserir dados em uma coluna e formatar as células.

A segunda atividade precisaria das informações da primeira tarefa para que uma função fosse testada. Entretanto, assim que a pessoa terminou de executar a primeira tarefa, o sistema travou...

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 61: 81221835 ergoihc-teste-de-usabilidade-ariel

Preparar o produto

Se você não estiver preparado para uma situação como essa, a pessoa terá de realizar a primeira tarefa novamente, o que não é nada bom...

Entretanto, se você tiver feito um bom planejamento, já tem o arquivo da primeira tarefa prontinho para disponibilizar para a pessoa.

Assim, tenha tudo que for preciso para cada tarefa, independentemente.

Se nada der problema, a pessoa pode usar os dados construídos por ela. Entretanto, numa eventualidade, você não perderá tempo.

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 62: 81221835 ergoihc-teste-de-usabilidade-ariel

Preparar o produto

Além de cuidar do set up do equipamento, o preparo do produto envolve...

… preparar os manuais

Se o teste envolver consulta a manuais, você deverá se certificar que estes estão prontos para serem utilizados.Mesmo que não estejam na versão final, com capa e tudo mais, garanta que as informações estejam legíveis.

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 63: 81221835 ergoihc-teste-de-usabilidade-ariel

Ajustar controle de audio e vídeo

A qualidade de sua gravação depende do ângulo de visão de sua camera e do som que o microfone consegue captar.

Geralmente são gastos em torno de 30 minutos para se conseguir um ajuste adequado desses equipamentos num laboratório.

Numa gravação típica, são usadas 3 cameras:-uma com o foco na tela;-uma com foco no participante;-uma com foco nos movimentos do participante.

É preciso ajustar as 3 cameras para conseguir pegar boas imagens.

Tome alguns cuidados...

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 64: 81221835 ergoihc-teste-de-usabilidade-ariel

Ajustar controle de audio e vídeo (cuidados)

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

1) Tome cuidado com os reflexos. O ideal é fazer os ajustes num horário próximo ao do teste para que você possa ver se há algum reflexo de sol / luz que possa atrapalhar a imagem. Às vezes, virar um pouquinho a tela do computado resolve tudo, mas a câmera também terá de ser reposicionada.

2) Imagine que a pessoa estará em frente ao computador. Para que você não seja surpreendido com a cabeça do participante tampando a visão da tela, convide um colega para participar desse momento de set up. Ele pode ficar no lugar do participante para que você possa ter um cenário mais próximo do dia do teste. Ele deve, inclusive, se mexer, pois ninguém fica parado durante um teste.

Page 65: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

3) Se você tiver alguma câmera focando no manual que está em cima da mesa, tome o cuidado de fixá-lo com um fita adesiva, para que a pessoa não seja tentada a tirá-lo da posição original.

Se isso não for feito, adeus imagens do manual...

4) Se você precisar saber qual a página que está sendo consultada, coloque números bem grandes no canto inferior de cada página para que os números também fiquem nítidos na filmagem.

Ajustar controle de audio e vídeo (cuidados)

Page 66: 81221835 ergoihc-teste-de-usabilidade-ariel

Ajustar controle de audio e vídeo

Nem sempre os testes são feitos em laboratórios com 3 câmeras.

Se você só tiver uma, terá de escolher o que deverá ser filmado. Pensar que é possível mudar rapidamente o foco da câmera durante o teste é um erro.

Por exemplo: no momento em que você tirou a câmera da tela para filmar o participante, ele digitou algo importante.

Escolha um foco único e esqueça a câmera lá.

Se você estiver testando um software, por exemplo, o foco deve estar na tela.

Se você tiver 2 câmeras, você pode focar na tela e no participante ou na tela e no teclado.

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 67: 81221835 ergoihc-teste-de-usabilidade-ariel

Ajustar controle de audio e vídeo

Controlar o áudio também é importante. Preocupe-se em conseguir captar o som de sua conversa com o participante.

Mas uma vez, seria bom ter um colega neste momento para que o teste pudesse ser feito.

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 68: 81221835 ergoihc-teste-de-usabilidade-ariel

Preparar materiais para registro

A chave para a obtenção de medidas quantitativas de performance está no registro da duração e freqüência de cada evento do teste.

Esse registro pode ser feito a partir de softwares que gravam todos os cliques, toques e paradas do participante.

Em geral, existe uma tela de log com os códigos de cada evento e isso é registrado. No canto da tela, há um espaço para que sejam feitos comentários sobre cada evento.

Essa tela deve ser controlada pela pessoa que está conduzindo o teste.

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 69: 81221835 ergoihc-teste-de-usabilidade-ariel

Preparar materiais para registro

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

E se você não tiver esse software?

Você pode usar a estrutura dele para organizar uma folha de registros para você. Basta ter um cronômetro na mão e uma folha...

Por exemplo:

Data: __/__/__

Legenda de códigos de eventos

M – menuE – erroH – help

P – parou de digitarF – finalizou a tarefaI – intervalo (pausa)R – repetiu a tarefa

F – frustradoO – observação Q – questionou algo

Código do evento em

questão

F Hora (min/seg):

Comentário:

Page 70: 81221835 ergoihc-teste-de-usabilidade-ariel

Etiquetar todas as fitas de registro

É crítico que você prepare uma etiqueta para cada material de registro.

A melhor estratégia para estar organizado durante o teste é preparar as etiquetas de todas as fitas que você vai usar antes da gravação.

Por exemplo: se você sabe que terá 16 participantes no teste e que cada um gastará em torno de 3 ou 4 horas para realizar o teste, prepare 32 etiquetas...

Coloque nas etiquetas:- Nome do teste- nome ou número do participante- número da fita (fita 1, fita 2, fita 3, fita 4)

Exemplo: E-mail, João Carlos, fita 1

Isso serve para fitas, disquetes, arquivos ou outros registros!

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing EnvironmentCap. 16 – Preparing the Test Team

Page 71: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Joseph S. Dumas

Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Page 72: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

O capítulo 16 do livro aborda os papéis que são desempenhados pelas pessoas que vão conduzir o teste.

São abordadas as seguintes questões:

- Quantas pessoas são necessárias para conduzir um teste?

- As pessoas podem trocar de papel durante o teste?

- Quem deve estar no time?

- Como outros interessados podem participar?

- Quais são os principais papéis a serem assumidos?

- Alguns checklists...

Vamos à primeira…

Page 73: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quantas pessoas são necessárias para conduzir um teste?

O ideal é ter 3 pessoas no time. Dois especialistas em usabilidade e 1 uma pessoa técnica representando o cliente.

O teste pode, entretanto, ser conduzido por mais ou menos gente.

Um número muito grande de pessoas pode atrapalhar.

E se só tiver uma pessoa para realizar o teste?

Isso é possível, mas essa pessoa terá de desempenhar diversos papéis simultaneamente e, muito provavelmente, terá de decidir, de antemão, alguns papéis (ou informações) que terão de ser sacrificadas.

Um boa saída para esses casos é ter uma filmadora registrando aquilo que ela não conseguirá captar na correria.

Não será possível cronometrar tudo. Numa situação dessas, anote apenas os principais momentos de início e fim das tarefas.

Para compensar a impossibilidade de anotar todas as observações, será bom planejar um tempo maior para assistir as gravações.

Page 74: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quantas pessoas são necessárias para conduzir um teste?

E se você não tiver um laboratório?

Se você não tiver um laboratório e o time todo tiver de ficar na mesma sala em que o participante estiver realizando o teste...

… seu time terá de ser o menor possível!

Caso contrário, o participante poderá sentir-se intimidado.

Se você tiver um laboratório com a parede de vidro que só permite que as pessoas de fora vejam o ambiente do teste, você pode ter outras pessoas nessa sala.

Page 75: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

As pessoas podem trocar de papéis durante o teste?

Isso não é aconselhável.

O ideal é que a pessoa desempenhe o mesmo papel ao longo de todos os testes, isto é, o mesmo papel com cada um dos participantes do teste.

Se isso não é assegurado, muitas informações mais subjetivas são registradas de forma diferente, atrapalhando os resultados.

Page 76: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quem deve estar no time?

Em primeiro lugar é importante ter em mente que todo mundo que for conduzir o teste deve fazer participar do planejamento.

Entretanto, nem todos que estiverem participando do planejamento precisam estar conduzindo o teste.

Mas quem deve compor o time?

- Apenas especialistas em teste de usabilidade?- Apenas os desenvolvedores?- Um equipe mista?

Os 3 casos são possíveis e ambos tem vantagens e desvantagens.

Vejamos...

Page 77: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quem deve estar no time?

Se o teste for conduzido apenas por especialistas em usabilidade...

-Eles sabem planejar e conduzir o teste;-Sabem o que deve ser observado;-Sabem analisar as informações coletadas;-Sabem lidar com o laboratório e os diversos equipamentos

Mas não são especialistas no produto nem sabem como os usuários usam o produto no dia-a-dia.

Alguém do time deve conhecer bem o produto para saber quando o usuário está tendo problemas.

Vantagens

Desvantagens

Page 78: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quem deve estar no time?

Se o teste for conduzido apenas pelos desenvolvedores...

- Eles podem ver os usuários testando o produto que desenvolveram;- Aprendem a pensar em questões de usabilidade, tarefas e medidas.

- Aprender a usar as ferramentas de usabilidade requer tempo e dedicação;- Desenvolvedores, em geral, não são bons observadores e podem ter dificuldade em analisar as informações;- Os testes gastam um tempo que poderia estar sendo dedicado ao desenvolvimento do produto.

O mais importante fator a ser considerado é que, quando o desenvolvedor participa, ele tem a oportunidade de ver seu produto sendo usado e dá mais credibilidade aos resultados do teste.

Ele também pode ajudar a resolver pequenos bugs que aconteçam durante o teste...

Vantagens

Desvantagens

Page 79: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Como outros interessados podem participar?

As pessoas que não fazem parte do time podem participar de algumas formas...

- Você pode deixar um monitor de vídeo numa sala onde as pessoas podem acompanhar o teste;- Se você tiver um laboratório com aquela parede de vidro que permite que a sala ao lado veja a sala do teste sem que o usuário perceba, eles podem ficar lá.

Sempre que houver condições, os interessados (gerentes, desenvolvedores, clientes) devem ser convidados a observar o teste.

Page 80: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Os principais papéis são:

- Administrador do teste- Instrutor (condutor do teste)- Operador de filmagem- Responsável pelo registro das informações- Help desk- Especialista no produto- Narrador

Alguns papéis podem ser combinados e exercidos por uma única pessoa!!!

Vejamos cada um desses papéis...

Page 81: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Administrador do teste

Em geral, a pessoa que assume o papel de administrador também é o instrutor (condutor do teste).

Ele é o líder da equipe e deve...- definir o papel de cada um e delegar as responsabilidades- ser o responsável por comunicar tudo a todos- garantir que tudo estará funcionando- conduzir as reuniões do time no final das seções- redigir e apresentar o relatório final

Page 82: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Instrutor (condutor do teste)

Em geral é o próprio administrador que assume esse papel.

É a única pessoa que interage com o participante durante o teste.

Deve prezar para que o participante esteja confortável, deve ter boa habilidade de relacionamento.

Ele deve...-Explicar o teste-Entender o perfil do participante-Mostrar o ambiente-Dar o treinamento necessário-Passar as tarefas ao participante-Dar todas as orientações necessárias-Responder às dúvidas-Conduzir o encerramento do teste (com pós-teste, agradecimento, pagamento do participante...)

Deve ainda...-Certificar-se de que todo o material necessário está na sala e que o equipamento está ok.

Page 83: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Operador de filmagem

É o responsável por gravar o teste e por isso deve saber operar a filmadora.

Ele não precisa ser especialista no produto, mas deve conhecer o básico como, por exemplo, os objetivos do teste, para saber o que deve ser focado (se é a expressão da pessoa, o manual, a tela...).

Ele deve...

checar antes do teste durante o teste depois do teste

-se a filmadora (e o áudio) estão ok;-se os equipamentos estão na posição correta;-se há fitas suficientes para toda a filmagem;-se está tudo com etiqueta;-se o equipamento está ligado;-se o relógio do computador e da filmadora estão sincronizados, para que os registros fiquem casados.

-fazer a filmagem;-ajustar o som, se necessário;-selecionar as cenas que devem ser gravadas;-trocar as fitas

-voltar as fitas;-desligar os equipamentos

Page 84: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Responsável pelo registro da informação

É o responsável por registrar todas as ações e comentários do participante ao longo do teste.

É o papel que consome mais tempo e por isso não deve ser combinado com outros.

A pessoa que ficar responsável pelos registros deve desempenhar apenas esse papel e deve...

-saber trabalhar sobre pressão;-ser detalhista;-ter facilidade para escrever (digitar);-conhecer bem os códigos (do software ou da ficha de registro)-ser bom observador (para incluir comentários relevantes para os códigos registrados);-saber operar os software de registro (data-logging);-fazer a edição dos logs (no final do teste);-criar uma cópia (backup) dos registros.

Esses registros poderiam ser feitos a partir do material filmado?Sim, mas em geral não há tempo hábil para isso nos testes de usabilidade.

Page 85: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Help desk

É o responsável por dar assistência ao usuário em caso de problemas.

Que tipo de ajuda deve ser dada, é algo que tem de ser definido antes do teste.

O help desk pode ser o próprio condutor do teste ou pode ser alguém que possa estar num outro local, disponível pelo telefone.

Geralmente esse papel pode ser combinado com outros, como o do filmador, o do especialista no produto ou do narrador.

Se você for usar o recurso do telefone, é importante checar...-se o aparelho está funcionando;-se o número do telefone do help desk está disponível.

Page 86: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Help desk

É o responsável por dar assistência ao usuário em caso de problemas.

Que tipo de ajuda deve ser dada, é algo que tem de ser definido antes do teste.

O help desk pode ser o próprio condutor do teste ou pode ser alguém que possa estar num outro local, disponível pelo telefone.

Geralmente esse papel pode ser combinado com outros, como o do filmador, o do especialista no produto ou do narrador.

Se você for usar o recurso do telefone, é importante checar...-se o aparelho está funcionando;-se o número do telefone do help desk está disponível.

Importante!

Espere o participante pedir ajuda – não fique oferecendo isso.Atenda o telefone como se fosse um help desk profissional.Dê o mínimo de informação para tirar a dúvida do participante.

Page 87: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Especialista no produto

Deve estar presente para ver a condução do teste e também dar uma assistência específica em caso de bugs.

Ele pode ter outros papéis durante o teste ou então pode ser um observador.

Page 88: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 15 – Preparing the Testing Environment

Cap. 16 – Preparing the Test Team

Quais são os principais papéis a serem assumidos?

Narrador

Serve como os “olhos” da pessoa que está fazendo o registro.

Se você não tiver alguém para fazer isso, pode pedir que o participante fale em voz alta o que está fazendo.

De qualquer forma, é bom contar com um narrador que possa ficar atento ao responsável pelo registro e ao participante.

O narrador deve conhecer bem o produto para poder explicar o que o participante está fazendo, mas deve manter uma postura neutra, para não atrapalhar o participante, principalmente quando este estiver cometendo algum erro.

Se você não tiver um narrador, é importante ter um observador que ajude você a captar alguns detalhes que você pode não ter tempo para fazer ou registrar.

Page 89: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Joseph S. Dumas

Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Page 90: 81221835 ergoihc-teste-de-usabilidade-ariel

Como deve ser o dia de teste?

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

8:15-8:301. Chegar no trabalho;2. Fazer o café;3. Ligar a copiadora;4. Fazer as cópias dos materias para o

teste para os colaboradores;5. Colocar o número (código) dos

participantes nos materiais.

8:30-9:001. Notificar ao recepcionista a agenda de teste;2. Abrir os laboratórios e salas;3. Acender as luzes das salas de teste e de observação;4. Ligar o protótipo (hardware e software);5. Ligar os equipamentos de vídeo de áudio;6. Ligar o computador e abrir o programa de registro;7. Fazer as etiquetas de rotulagem das fitas de vídeo;8. Gravar as barras de cores no início da fita (verificar a regulagem das cores

na fita);9. Avance 10 segundos na primeira fita;10. Verifique a captura de som e vídeo;11. Ajustar o enquadramento da filmagem;12. Prepare o lanche e as bebidas;13. Cumprimente os visitantes quando estes chegarem, indique um lugar para

eles na sala de observação, entregue os materias do teste e ofereça o café; 14. Cumprimente o participante quando este chegar, indique quando será o

início do teste e entregue os materias de leitura.

9:00-9:251. Verifique a sala de observação, diminua

as luzes e feche a porta;2. Verfique a sala de teste;3. Leve os participantes para a sala de

teste;4. Comece a gravar o vídeo;5. Ligue o programa de captura;6. Ajuste o ângulo das filmadoras;7. Forneça as orientações aos participantes

e os formulários;8. Insrua os usuário de forma breve sobre

o uso dos equipamentos (Mouse, Teclado e etc.)

9:25-10:301. Aplique a primeira lista de tarefas;2. Anote os problamas na folha correspondente.

Page 91: 81221835 ergoihc-teste-de-usabilidade-ariel

Como deve ser o dia de teste?

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

10:30-10:401. Hora do intervalo (leve o usuário para a sala do café);2. Pare a gravação dos equipamentos;3. Prepare o protótipo para a segunda parte do teste;4. Coloque uma nova fita de vídeo, adiantando 10 segundos;5. Faça o pedido para o almoço da sua equipe e dos visitantes;

10:40-11:301. Convide os usuários de volta para a sala de testes;2. Ligue a filmadora;3. Aplique o conjunto de tarefas restantes;4. Escreva os problemas.

11:30-12:001. Pare o teste;2. Aplique o questionário;3. Conduza o fechamento do teste com o usuário;4. Realize o pagamento dos usuários;5. Conduza os usuários até a saída;6. Coloque o número (código) no material do participante;7. Coloque o material do usuário em uma pasta.

12:00-13:001. Almoço com os visitantes e conversa sobre os teste do

turno manhã;2. Saque no banco o pagamento dos participantes do turno

da tarde;3. Prepare os dispositivos de registro;4. Faça as cópias do material para os participantes;5. Coloque o número dos participantes nos materiais;6. Receba o participante;7. Leve os visitantes para a sala de observação;8. Prepare o protótipo para o início do teste.

13:00-13:251. Leve o participante para a sala de teste;2. Avance 10 segundos a fita;3. Comece o registro; 4. Ligue o programa de captura;5. Ajuste o ângulo das filmadoras;6. Forneça as orientações aos participantes e os formulários;7. Instrua os usuário de forma breve sobre o uso dos equipamentos (Mouse, Teclado e etc.)

Page 92: 81221835 ergoihc-teste-de-usabilidade-ariel

Como deve ser o dia de teste?

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

13:25-14:301. Aplique o conjunto de tarefas;2. Escreva os problemas.

14:30-14:401. Hora do intervalo (leve o usuário para a sala do café);2. Pare a gravação dos equipamentos;3. Prepare o protótipo para a segunda parte do teste;4. Coloque uma nova fita de vídeo, adiantando 10 segundos;

14:40-15:301. Convide os usuários de volta para a sala de testes;2. Ligue a filmadora e os equipamentos de registro;3. Aplique o conjunto de tarefas restantes;4. Escreva os problemas.

15:30-16:001. Pare o teste;2. Aplique o questionário;3. Conduza o fechamento do teste com o usuário;4. Realize o pagamento dos usuários;5. Conduza os usuários até a saída;6. Coloque o número (código) no material do participante;7. Coloque o material do usuário em uma pasta.

16:00-17:001. Discussão das observações com os visitantes;2. Conduza os visitantes até a saída;3. Discuta as observações com a equipe de teste;4. Finalize a folha de problema;5. Coloque a folha de problema na pasta do usuário;6. Edite o arquivo de registro e limpo o equipamento;7. Coloque este material na pasta do usuário;8. Crie uma cópia de segurança dos arquivos do dia;9. Verifique as fitas novas para o dia seguinte;10. Limpe as salas de teste e de observação;11. Leve o lixo para fora;12. Desligue os equipamentos;13. Deslique as luzes;14. Feche as salas.

Page 93: 81221835 ergoihc-teste-de-usabilidade-ariel

Siga de maneira compulsiva o seu checklist durante os dias dos testes.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 94: 81221835 ergoihc-teste-de-usabilidade-ariel

Checklists

A qualidade do teste de usabilidade com o passar dos dias pode ser perdida se não for usado um checklist.

Quando os erros surgem o pesquisador tenta se desculpar, embora a dúvida sobre a importância do teste possa ficar. Sendo assim, os usuários podem considerar que o teste não é tão relevante para o pesquisador, embora ela tenha dito contrário no início.

Só existe uma forma de garantir a qualidade do teste e esta é seguir de maneira compulsiva o checklist.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 95: 81221835 ergoihc-teste-de-usabilidade-ariel

Observando os problemas e criando uma lista

Assim como qualquer método empírico, a chave para o sucesso está nas observações feitas durante o procedimento. Portanto, não esqueça de fazer as anotações, usar dispositivos de registro para pontuar a frequência com que os problemas ocorrem e o seu impacto nos seus colaboradores.

O Registro deve ser feito considerando as suas observações (o que você está vendo) e as suas inferências (passagem da hipótese à conclusão).

Caso você não tenha experiência como este tipo de teste será necessário fazer primeiro as observações, deixando a fase de interpretação para depois do teste com o usuário. Esta recomendação indica uma conversa com a sua equipe de teste antes de formular os problemas.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 96: 81221835 ergoihc-teste-de-usabilidade-ariel

O que se espera compreender ao final do teste?

Desvendar problemas! Todos aqueles que devem ser corrigidos.

Os comportamentos que nós observamos podem ser sintomas destes problemas. Nossas hipóteses e interpretações ajudam-nos a compreender o escopo e a gravidade destes problemas, provendo os insights para criar boas soluções.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 97: 81221835 ergoihc-teste-de-usabilidade-ariel

Lição (1): Respeite o usuário

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 98: 81221835 ergoihc-teste-de-usabilidade-ariel

Lição (2): Domine os objetivos da tarefa realizada pelo usuário

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 99: 81221835 ergoihc-teste-de-usabilidade-ariel

Lição (3): Aceite as várias oportunidades para melhorar o seu projeto

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 100: 81221835 ergoihc-teste-de-usabilidade-ariel

Lição (4): Seja curioso

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 101: 81221835 ergoihc-teste-de-usabilidade-ariel

Lição (5): Jogue fora os seus preconceitos

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 102: 81221835 ergoihc-teste-de-usabilidade-ariel

Lição (6): Imagine que você é um antropologista

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 103: 81221835 ergoihc-teste-de-usabilidade-ariel

Interação com os participantes

Defina as tarefas de cada membro da sua equipe, objetivando restringir ao máximo a interação deles com os seus colaboradores.

A interação deve ser planejada em função das atribuições de cada membro da equipe.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 104: 81221835 ergoihc-teste-de-usabilidade-ariel

Você não estará no local de trabalho ou na casa do usuário para ajudá-lo

quando ele precisar.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 105: 81221835 ergoihc-teste-de-usabilidade-ariel

Quando e como a interrupção deve ser feita?

No início ou no final de cada tarefa você pode dizer:-palavras de incentivo;-palavras para lembrar dos procedimentos (avise ao usuário que ele deverá indicar verbalmente o final da tarefa);-palavras que indicam o final de uma tarefa;-palavras que indicam o início de mais uma tarefa;-palavars de instrução;-palavras de apoio.

Não influencie os participantes com as suas perguntas e com as suas respostas para eles.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 106: 81221835 ergoihc-teste-de-usabilidade-ariel

Use palavras neutras nas suas questões

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 107: 81221835 ergoihc-teste-de-usabilidade-ariel

Respondendo o usuário

Quando o moderador se sentir em uma posição desconfortável ouaté mesmo pressionado, ele deverá:

1. devolva a questão para o usuário;2. não responde de forma direta.

Exemplo:

Colaborador - Algum usuário deve tanta dificuldade como eu?

Moderador - Você teve mais dificuldades do que tinha previsto?

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 108: 81221835 ergoihc-teste-de-usabilidade-ariel

Fornecendo ajuda ao participante

Existe duas guidelines para fornecer ajuda aosparticipantes:

1- Seja amigável e paciente sem importar a situação em que você se encontre, mesmo com comentários inesperados sobre o produto, você ou o teste;

2- Forneça o mesmo nível de ajuda em situações semelhantes para os seus usuários, logo será possível criar as suas recomendações para este tipo de situação.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 109: 81221835 ergoihc-teste-de-usabilidade-ariel

Lidando com designers e gerentes

Siga as orientações seguintes para lidar com os designers e os gerentes,mesmo que eles não estejam na sala de observação.

• Ajude os projetistas a lidarem com os seus egos;• Indique uma perspectiva gerencial;• Mantenha a disciplina durante os teste.

A Practical Guide to Usability TestingUsability Testing

Cap. 19– Conducting the Test

Page 110: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Joseph S. Dumas

Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Page 111: 81221835 ergoihc-teste-de-usabilidade-ariel

Qual é o foco?

O foco do teste de usabilidade é encontrar problemas reais com o produto, e com processo que foi usado para desenvolver o produto. Problemas reais são aqueles que causam dificuldade para usuários quando estes interagem com o produto em sua casa, escritório, etc.

A grande questão é: Como encontrar problemas reais entre todos os dados que possui? Em testes de usabilidade, geralmente você tem uma grande quantidade de dados sobre um pequeno número de participantes. Uma técnica útil para manipular essa rica quantidade de dados de várias fontes é a “triangulação”.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 112: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Lista de problemas

Problemas de usabilidade

Dados quantitativos dos registros e dos questionários

Comentários dos participantes e observações da equipe de teste

Page 113: 81221835 ergoihc-teste-de-usabilidade-ariel

Qual é o foco?

Você olha para todos os dados em conjunto para ver como cada grupo de dados se relaciona com outros. Por exemplo: um tempo de tarefa longo, freqüência de erros, comentários dos participantes podem todos apontar para o mesmo problema. Quando você triangular os três tipos de dados, você se sentirá mais confiante que há um problema e que você entende ele. O conceito de triangulação dá a você uma estrutura para pensar sobre todos os dados juntos.

Desenvolver uma lista de problemas durante o teste é muito útil para agilizar a sua análise. Ela dá a você uma direção (caminho) para procurar.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 114: 81221835 ergoihc-teste-de-usabilidade-ariel

Tabulando e resumindo dados quantitativos

O primeiro passo para se manipular os dados do teste é fazendo folhas de resumos sobre o desempenho e medidas subjetivas. Para as medidas de desempenho, será necessário tabulá-las para cada tarefa para cada participante. Por exemplo: para cada tarefa você geralmente irá tabular, o tempo, o número de erros de vários tipos, e outras medidas como o número de ajudas que o participante precisou.

Também são feitas separadamente planilhas eletrônicas para os itens do questionário de pré-teste e para itens dos questionários de pós-tarefa e pós-teste.

Os itens do pré-teste nos dá um perfil demográfico do participante.

Os itens do pós-tarefa e pós-teste dão medidas subjetivas que podem ser tabuladas.

Além disto, é feito uma lista com os comentários importantes que os participantes fizeram. Estes comentários vêm dos questionários e das folhas de registros de dados. Finalmente, é feita uma lista de comentários que os membros da equipe de teste fizeram durante o teste.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 115: 81221835 ergoihc-teste-de-usabilidade-ariel

Olhando para tendências e surpresas nos dados

Um teste de usabilidade é um método de avaliação empírico.

Como tal, você terá que justificar os problemas que relatou com os dados que você coletou.

Antes de voltar à folha de problemas, olhe nos dados tabulados para tendências que pareçam surpreendentes. Pode haver resultados que não tão óbvios quando foram vistos em cada participante separadamente, mas que se destacam quando você olha para os números de vários participantes juntos.

O autor cita a importância de triangular os dados para identificar (o que) qual é o problema.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 116: 81221835 ergoihc-teste-de-usabilidade-ariel

Lidando com “outliers” nos dados

Outro lugar para se ver resultados interessantes são os “outliers”.

Um “outlier” é um valor muito diferente (discrepante) do resto dos valores. É interessante analisar casa um dos “outliers” a fim de entender a sua causa. Algumas vezes suas causas podem não ser um problema de usabilidade.

Por exemplo, o tempo pode ter sido gravado incorretamente ou o seu equipamento pode ter dado um defeito.

Em outros casos, estes tempos podem gerar indícios para problemas de usabilidade. O autor cita novamente a importância de triangular outras medidas a fim de apontar o problema real.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 117: 81221835 ergoihc-teste-de-usabilidade-ariel

Levando “outliers” seriamente

O que acontece quando o problema acontece somente com um participante? Nós o ignoramos, pois ninguém mais teve o problema? E se essa pessoa representa 20% dos usuários?

Qualquer problema com qualquer usuário é seriamente considerado. Primeiro você olha as razões para o resultado incomum. O problema é resultado de uma tarefa ou uma série de tarefas? Há algo nas características (experiência) do participante que o torna suscetível?

Quando você tem pouco participantes num teste, um participante que tenha tido um problema pode representar um grande subconjunto de usuários que também irão ter este problema. Algumas vezes não há como saber, sem testar mais adiante, se o “outlier” é uma anomalia ou um indicador de algo sério.

Se você encontrar um “outlier” que pode representar um grande ou importante grupo de usuários potenciais, você pode trazer mais pessoas que tenham o mesmo perfil. Se você fixa em problemas que um ou poucos participantes tem, você pode tentar uma nova versão e ter certeza de que as dificuldades para aquelas pessoas não causam problemas para outros usuários.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 118: 81221835 ergoihc-teste-de-usabilidade-ariel

Examinando os dados para problemas

Após ter olhado para os dados para ver se haviam problemas de usabilidade, é hora de examinar os dados para ver se eles são consistentes com as hipóteses que você tinha antes de iniciar o teste.

Você quer olhar pra ver se:

- preocupações de usabilidade que você tinha com o produtotêm sido levado em conta no design.

- metas de usabilidades fixadas têm sido alcançadas.

- critérios quantitativos fixados para as tarefas têm sidoencontrados ou excedidos.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 119: 81221835 ergoihc-teste-de-usabilidade-ariel

Examinando suas preocupações de usabilidade

Considere o que os dados dizem sobre as preocupações que você listou enquanto planejava o teste.

Por que as preocupações guiaram você a selecionar a tarefa para o participante fazer, cada tarefa é ligada em uma ou mais preocupações.

Você pode olhar para a folha de problema e dados tabulados para ver se a preocupação é justificada.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 120: 81221835 ergoihc-teste-de-usabilidade-ariel

Examinando metas de usabilidade

Se você estipulou metas de usabilidade para o produto, agora é a hora de ver se o produto as tem alcançado.

Por exemplo: Estipular o tempo de 5 minutos para ler o primeiro e-mail.

Você pode ver que a vantagem de estipular metas de usabilidade é de tornar a analise dos dados muito mais fácil, por que ela permite isolar problemas importantes sem ter que vasculhar (peneirar) os dados para descobri-los.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 121: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Usabilidade significa fazer usuários produtivos e felizes.

Portanto, ao estabelecer critérios quantitativos para o teste de usabilidade, você deve focar no usuário e não no sistema ou produto. Analises das tarefas, entrevistas, focus group, testes de usabilidades anteriores ou outras interações com o usuário, podem ajudá-lo a estabelecer critérios para as medidas do teste de usabilidade. Para muitas medidas de desempenho, se pondo no lugar do usuário e o senso comum pode permitir a você estabelecer critérios.

Page 122: 81221835 ergoihc-teste-de-usabilidade-ariel

Examinando critérios quantitativos

No capitulo 13 foi descrito como estabelecer critérios para as medidas de desempenho para cada tarefa, agora depois de estabelecido estes critérios é a hora de examinar eles.

Exemplo: Para a tabela 20-1 na tarefa de “criar e enviar uma mensagem dee-mail”

-Excelente – menos que 10 minutos-Aceitável – menos que 15 minutos-Inaceitável – mais que 15 minutos

Encontrada algum problema é necessário que você olhe outras medidas quantitativas, avaliações dos participantes e comentários, e sua lista de problemas para triangular sobre o que é o problema.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 123: 81221835 ergoihc-teste-de-usabilidade-ariel

Usando Estatística

A estatística discutida ao longo deste capitulo se chama estatística “descritiva”. Como o próprio nome já diz, ela você a usa para descrever as propriedades de um grupo de dados.

A analise de dados de qualquer teste de usabilidade sempre começa com uma descrição das características dos dados. Há medidas de:

- freqüência de registros, tal como o número de erros queocorrem numa tarefa.

- registros simples, tal como a média ou mediana de tempopor tarefa.

- uma quantidade de registros variados, tal como o tempopara a tarefa.

A maioria dos testes de usabilidade que o autor tem conduzido foi necessário apenas o uso da estatística descritiva junto com os dados qualitativos, tal como os comentários dos participantes, para documentar no caso da presença de problemas de usabilidade.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 124: 81221835 ergoihc-teste-de-usabilidade-ariel

Usando Estatística

Mas o que acontece quando o gerente de produção pergunta se os valores são estaticamente significantes?

A resposta para essa questão requer o uso de um diferente tipo de estatística chamada de “inferential” (dedutiva).

Na estatística de cunho indutiva, você olha para os seus dados como uma amostra de um grupo maior de dados. Você pergunta o que você pode deduzir sobre o grande grupo de dados da amostra.

A posição do autor é contra o uso indutivo da estatística na maioria dos casos. E ele aconselha a somente usar a estatística inferential se você entende bem como aplicá-la e interpretá-la e a explicar cuidadosamente os resultados do teste estatístico.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 125: 81221835 ergoihc-teste-de-usabilidade-ariel

Organizando problemas por extensão e gravidade

Você necessita de um caminho para organizar os problemas que encontrados em um teste.

A organização que mais faz sentido é em relação à importância. Mas o que torna um problema importante? Importância segue para duas dimensões:

- extensão – Quanto difundido é o problema?- gravidade - Quão critico é o problema?

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 126: 81221835 ergoihc-teste-de-usabilidade-ariel

Organizando o problema por extensão

Problemas globais são mais importantes que problemas locais. A magnitude de problemas locais é restrita. Em suas formas simples, eles se aplicam a apenas uma tela ou caixa de dialogo ou janela ou pagina do manual. A seguir um exemplo de problemas locais.

- O conteúdo de um menu de opções não é tão claro aos usuários. Quando participantes selecionam ele, observa-se que eles estão adivinhando qual é a escolha correta. Se o problema é restrito para uma ou duas opções, ele é um problema local.

Problemas globais têm uma magnitude maior do que uma tela ou pagina. A seguir um exemplo de problema global.

- Os itens de um menu hierarquizado em um aplicativo são difíceis de serem encontrados. Participantes gastam muito tempo à toa buscando no menu o item desejado. Além disso, o número de escolhas incorretas não diminui durante a segunda metade do teste.

Novatos em testes de usabilidade e muitos designers tendem a ver os sintomas de um problema global como uma série de problemas locais. Em muitos casos a conexão entre os problemas locais não é tão óbvia para pessoas sem treinamento e experiência com interação humano computador.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 127: 81221835 ergoihc-teste-de-usabilidade-ariel

Organizando o problema por extensão

Exemplo (teste de um software de gerenciamento de e-mails):

- Muitos participantes reclamaram se de fato que eles não sabem se o que eles escreveram foi de fato enviado.

- Vários participantes respondem a mesma mensagem mais de uma vez. Eles não têm certeza se suas respostas tem sido enviadas com sucesso.

- Muitos participantes armazenaram a mesma mensagem cinco ou seis vezes seguidas, porque eles dizem que não conseguem saber se elas estão armazenadas. Elas permanecem na tela e não há uma mensagem dizendo que elas foram salvas naquele momento.

Estes não são problemas locais. Eles são sintomas de uma falta de feedback para as ações realizadas, e há provavelmente vários mais exemplos disto no software.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 128: 81221835 ergoihc-teste-de-usabilidade-ariel

Organizando por nível de gravidade

Ordenar problemas em categorias locais ou globais é útil para entender se o problema tem uma finalidade mais ampla. Porém, não é suficiente para identificar que problemas deveriam ser corrigidos (ter atenção) primeiro (nível de prioridade).

O autor descreve uma tabela com quatro níveis de gravidade para os problemas.

Nível 1: Problemas que impeçam a conclusão de uma tarefa.

Exemplo: Usuários selecionam a opção errada no menu e depois não sabem mais para onde ir.

Nível 2: Problemas que geram uma demora e frustração significantes.

Exemplo: A falta de feedback em uma determinada tarefa.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 129: 81221835 ergoihc-teste-de-usabilidade-ariel

Organizando por nível de gravidade

Nível 3: Problemas que tem efeitos menores sobre a usabilidade.

Exemplo: Usando a mesma palavra para significar duas ações diferentes provocam questionamentos nos usuários sobre a escolha correta.

Nível 4: Problemas que são mais sutis e freqüentemente apontam para um encarecimento que podem ser adicionados no futuro.

Exemplo: O participante sugere uma determinada função que ele considera interessante. Porém se o participante dizer que não usa o produto sem esta determinada função, este problema pode passar a ser de nível 1 para o produto.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 130: 81221835 ergoihc-teste-de-usabilidade-ariel

Organizando por nível de gravidade

O autor chama este método de ordenar problemas por gravidade como “scale” (escala), mas ele não quer dar a impressão de que eles medem a gravidade precisamente. Além disso, ele descreve que se for interessante você pode modificar a escala de acordo com a sua necessidade.

Para muitas organizações, a taxa de gravidade serve simplesmente como um caminho conveniente para ajudar a organizar os problemas de usabilidade.

Uma vez que você tenha ordenado os problemas por extensão e por nível de gravidade, você está pronto para por os problemas encontrados em ordem de importância. Ordene eles primeiro por nível de gravidade, depois em global e local.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 131: 81221835 ergoihc-teste-de-usabilidade-ariel

Organizando por nível de gravidade

Há um interessante dilema, que pode ocorrer quando você ordena todos os seus problemas: Problemas locais de Nível 1 são muito mais fáceis de fixar que problemas globais de Nível 1.

Por exemplo: Adicionar um passo perdido em um procedimento no manual é mais fácil corrigir do que reorganizar um manual que confunde os usuários por ser organizado em torno do produto ao invés de tarefas

do usuário.

Por que problemas locais são facilmente entendidos e corrigidos, pois existe uma tendência dos designers focarem neles.

Corrigir vários problemas globais envolve um esforço de redesign substancial. Se você está testando o produto numa etapa tardia do processo de design, designers serão facilmente mais resistentes a mudanças. O que os designers decidem sobre os problemas que você encontrou durante o teste não o deveria impedir de descrever a gravidade de problemas de acordo com esta escala de classificação. Force a ter os problemas globais considerados, futuramente eles farão a diferença.

Esta resistência por parte dos designers é mais uma razão pela qual os testes devem começar cedo.

A Practical Guide to Usability TestingUsability Testing

Cap. 20– Tabulating and Analyzing Data

Page 132: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Joseph S. Dumas

Janice C. Redish

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Page 133: 81221835 ergoihc-teste-de-usabilidade-ariel

Quando um teste de usabilidade é realizado, as pessoas esperam um retorno que os diga quais são os problemas que precisam ser corrigidos.

No capítulo 21 do livro, são apontadas as formas de identificar e recomendar os problemas aos desenvolvedores.

No capítulo 22, são abordadas as formas mais apropriadas de comunicação dessas recomendações.

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Page 134: 81221835 ergoihc-teste-de-usabilidade-ariel

Antes de pensar em qualquer recomendação, é preciso distingüir quais são os problemas complexos e quais são os mais simples.

Você pode dar uma série de recomendações e soluções para um mesmo problema.

Algumas soluções vão atacar apenas os sintomas, enquanto outras mergulham nas causas dos problemas.

É preciso, portanto, considerar dois fatores:

-olhar para o produto como um todo;-focar nos problemas globais.

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Page 135: 81221835 ergoihc-teste-de-usabilidade-ariel

É preciso, portanto, considerar dois fatores:

- olhar para o produto como um todo;- focar nos problemas globais.

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

A maneira mais rápida de dar uma solução para um problema pode não ser a melhor.

Por exemplo:

Muitos usuários sequer olham os manuais. Só o fazem quando têm um problema.

Acrescentar explicações para um determinado problema, no lugar de resolvê-lo pode ser mais fácil, porém não vai adiantar... Seria preferível melhorar a usabilidade do produto.

Page 136: 81221835 ergoihc-teste-de-usabilidade-ariel

É preciso, portanto, considerar dois fatores:

- olhar para o produto como um todo;- focar nos problemas globais.

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Resolver problemas globais requer muito mais conhecimento do que resolver os específicos.

Primeiro, porque os problemas globais afetam diversos aspectos da interface.

Segundo, porque os problemas globais apresentam uma série de sintomas, mas os testes de usabilidade só conseguem identificar alguns deles, já que trabalham a partir de amostras e tarefas específicas.

Page 137: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Considerando os problemas globais, é preciso buscar as soluções em equipe.

Desenvolver programas com boa usabilidade exige esforço de equipe. Logo, a resolução dos problemas também deve envolver a equipe como um todo.

É preciso, portanto, envolver:- os designers / desenvolvedores;- os especialistas em comunicação;- os especialistas em usabilidade.

Page 138: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

É preciso, portanto, envolver:-os designers / desenvolvedores;-os especialistas em comunicação;-os especialistas em usabilidade.

Você deve incluí-los nas reuniões de discussão das soluções.

Chamá-los apenas quando o relatório estiver pronto não é uma boa estratégia.

Além de poder contar com a experiência deles no momento do desenho da solução, é muito mais fácil conquistar o apoio deles para a resolução do problema quando eles participam da solução.

Saiba lidar com essa equipe. A tendência é que queiram atacar apenas os sintomas por falta de tempo mas se tiverem noção do todo, a resistência será menor e a credibilidade maior.

Page 139: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

É preciso, portanto, envolver:-os designers / desenvolvedores;-os especialistas em comunicação;-os especialistas em usabilidade.

Se o teste estiver envolvendo a análise de documentação ou manual, é bom envolver o pessoal de comunicação na equipe.

A estrutura dos menus, as palavras a serem escolhidas para títulos, mensagens e opções podem ser melhor definidas com a participação dessa equipe de profissionais.

Em geral nem os desenvolvedores nem os especialistas em usabilidade têm essa competência comunicacional / lingüística.

Page 140: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

É preciso, portanto, envolver:-os designers / desenvolvedores;-os especialistas em comunicação;-os especialistas em usabilidade.

Mudanças custam tempo e dinheiro. Antes de dar início à execução das mesmas, é preciso ter certeza de que são necessárias.

Para tanto, a presença do especialista em usabilidade é essencial.

Page 141: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Qualquer que seja a situação, é preciso buscar a melhor...

...RELAÇÃO CUSTO-BENEFÍCIO

É muito raro encontrar apenas uma solução para um problema de usabilidade.

Vejamos um exemplo: numa simples tarefa de um teste, quase todos os usuários se esqueceram de fechar a porta de um drive. Com isso, o sistema apresentava a seguinte mensagem:

Cannot read from Drive A: Abort, Retry, Ignore?

Todos gastaram uns 5 minutos testando as opções apresentadas.

Há várias formas de resolver esse problema.

Page 142: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Qualquer que seja a situação, é preciso buscar a melhor...

...RELAÇÃO CUSTO-BENEFÍCIO

É muito raro encontrar apenas uma solução para um problema de usabilidade.

Vejamos um exemplo: numa simples tarefa de um teste, quase todos os usuários se esqueceram de fechar a porta de um drive. Com isso, o sistema apresentava a seguinte mensagem:

Cannot read from Drive A: Abort, Retry, Ignore?

Todos gastaram uns 5 minutos testando as opções apresentadas.

Há várias formas de resolver esse problema.

1) Não realizar mudanças. Treinar o help desk para esse tipo de suporte.

2) Melhorar os manuais de instrução. Acrescentar uma linha contendo “insira o disquete no drive A e certifique-se de travar a portinha”

3) Reescrever a mensagem da tela:

Cannot read from Drive A.Is there a disk in Drive A?Is the drive latch closed?Fix the problem and press Enter to tryagain.

4) Mudar o produto para que os usuários não tenham mais esse problema.

Page 143: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

É preciso buscar a melhor...

…relação custo-benefício

É importante testar o produto quando ele ainda estiver em desenvolvimento, para que as correções não impliquem retrabalhos muito grandes.

1) Não realizar mudanças. Treinar o help desk para esse tipo de suporte.

2) Melhorar os manuais de instrução. Acrescentar uma linha contendo “insira o disquete no drive A e certifique-se de travar a portinha”

3) Reescrever a mensagem da tela:

Cannot read from Drive A.Is there a disk in Drive A?Is the drive latch closed?Fix the problem and press Enter to tryagain.

4) Mudar o produto para que os usuários não tenham mais esse problema.

Page 144: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changesCap. 22 – Communicating the results

Uma vez realizada a correção, é hora de testar para ver se os problemas realmente foram solucionados...

Qualquer que seja a mudança, é preciso planejar um novo teste.

Felizmente o novo teste demandará menos tempo.

Aqui vão razões para a economia de tempo:-você já tem clareza dos objetivos;-você já conhece os participantes;-você já tem os cenários, as tarefas, os materiais necessários;-você sabe o que quer medir.

Basta aplicar o teste a alguns participantes e comparar com os resultados do primeiro.Se a performance for melhor, significa que as mudanças foram bem sucedidas.

Page 145: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Eduardo Ariel, Claudia Stamato, Renato Casseb, Sophia Roslindo

Joseph S. Dumas

Janice C. Redish

Page 146: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Neste capítulo são abordadas questões como:

Qual a melhor mídia a ser usada para comunicar os resultados do teste?

O que deve entrar no relatório para que as pessoas o utilizem?

Como planejar um relatório?

Como organizar, formatar e distribuir o relatório?

Page 147: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

A melhor mídia, a forma, o conteúdo, enfim, a estrutura de seu relatório dependerá do teste realizado e da organização em questão.

Se as pessoas que terão de ler o relatório foram envolvidas desde o início, bastará um memorando com uma lista das recomendações...

Um relatório completo, entretanto, é sempre bom, pois serve como documentação para outros testes.

Se você tiver preparando o relatório para um cliente, o documento deverá ser o mais completo possível.

Deve considerar até uma parte educativa, isto é, que mostre a importância e os porquês de cada item.

Vejamos como essa estrutura pode variar em função da audiência e da mídia...

Page 148: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Qual a melhor mídia?

-Verbal-Escrita-Visual

Feedback verbal sempre deve fazer parte da comunicação dos resultados.

Entretanto, nunca deve estar sozinho...

Mesmo que os desenvolvedores tenham acompanhado o teste, é importante que você converse com eles sobre os resultados.

Page 149: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Qual a melhor mídia?

-Verbal-Escrita-Visual

Planeje algum nível de feedback por escrito.

Não dá para confiar na memorização de todos os itens... Ao menos uma lista de recomendações deve ser passada por escrito aos envolvidos.

Page 150: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Qual a melhor mídia?

-Verbal-Escrita-Visual

Se você tiver de convencer algum grupo sobre determinados aspectos, o apoio da mídia visual pode ser importante.

Edite uma fita de vídeo com os principais pontos do teste e mostre ao grupo.

A fita não substitui o relatório escrito, apenas o complementa.

Se o relatório é tão importante e indispensável, como fazê-lo de forma que as pessoas o usem?

Page 151: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Se o relatório é tão importante e indispensável, como fazê-lo de forma que as pessoas o usem?

Há três pontos fundamentais:

1) As pessoas que trabalham não têm tempo. Por isso, faça-o da forma mais simples possível. Use listas, tabelas ajude as pessoas a encontrarem rapidamente a informação desejada.

2) Busque alguém que faça uma revisão do documento.

3) Antes de escrever, analise os resultados, considere a natureza e a complexidade dos problemas. É preciso planejar as recomendações antes de escrevê-las.

Page 152: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Escrever um relatório é como desenvolver um software...

É preciso:- planejar;- organizar;- fazer um rascunho;- formatar;- rever;- produzir cópias e distribuir.

Entretanto, esse processo não deve ser muito demorado. Em geral, você tem em torno de uma semana para fazê-lo, apesar de ter de seguir todos os passos.

Page 153: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Na fase de planejamento, é preciso pensar em aspectos como:

- Quem vai ler (usar) o documento?- Por que você está escrevendo aquilo?- O que vão fazer com o que está escrito?- O que deve ser incluído?- Como organizar as informações para facilitar a leitura?

O primeiro aspecto, que definirá as escolhas para os demais itens é o público-alvo.

Page 154: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

sQuem vai ler (usar) o documento?

Em geral os relatórios são escritos para 2 públicos distintos:

- time gerencial;- desenvolvedores.

É preciso, pois, separar a mensagem em função de cada público.

Provavelmente você não conseguirá escrever um único documento que sirva aos dois públicos.

Para o time gerencial, de repente basta um memorando, enquanto que para os desenvolvedores será preciso algo mais detalhado.

Page 155: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Quem vai ler (usar) o documento?

O que você espera de cada público?

Todos os documentos que circulam num ambiente de trabalho devem ser funcionais.

Portanto, você precisa escrever buscando atingir seus objetivos de forma clara e precisa.

Faça escolhas conscientes de conteúdo, organização e formato.

Page 156: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Quem vai ler (usar) o documento?

O que você espera DOS GERENTES?

Ao escrever para o time gerencial, você espera que eles tomem algumas decisões, tais como:

-aceitar que o produto precise de mais tempo para ser finalizado;-mudar a data de lançamento do produto;-pagar por mudanças necessárias;-concordar com a realização de novos testes etc.

Como atingir tais objetivos?É preciso que os principais pontos venham logo no início do relatório, numa espécie de resumo executivo, pois só isso será lido por esse público...

Page 157: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Quem vai ler (usar) o documento?

O que você espera DOS DESENVOLVEDORES?

Como eles precisarão obter mais detalhes sobre os pontos a serem corrigidos, é prudente que você separe uma seção de resultados e recomendações.

Seria interessante também criar um checklist com parágrafos curtos ou bullet points que os orientasse.

Page 158: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

O quão persuasivo você deve ser?

O tom do relatório deve ser adequado. Você precisará perceber o que deve ser justificado e o quanto de motivação deve ser dada para que as mudanças sejam realizadas.

Se você simplesmente diz: “Sou um cientista objetivo. Estou apenas relatando os fatos.”,

...você deve esperar que os desenvolvedores digam:

“Sou um profissional de programação. Estou apenas criando os códigos necessários para que o programa funcione.”

Não estamos sugerindo que você distorça os fatos, mas é preciso dizer as coisas de uma forma que ajude que os outros acreditem nos resultados e queiram mudar o que for preciso...

Page 159: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Num relatório desses devemos incluir aspectos positivos do teste?

O foco do relatório está na identificação dos pontos que precisam ser corrigidos.

Entretanto, os educadores sabem bem que, a melhor maneira de fazer com que o outro escute os pontos negativos é começar mencionando os aspectos positivos.

Se há pontos positivos, mencione-os.

Só não se esqueça do objetivo do relatório... Não vá gastar todo o espaço com os aspectos positivos, deixando os negativos para segundo plano.

Page 160: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

A organização do relatório...

Antes de mais nada, um ponto importante:

Se diferentes grupos vão se encarregar das soluções/recomendações, ajude-os, dividindo o relatório em seções.

As mais comuns são:

-Problemas de hardware; de software-Problemas de software que se relacionam com os manuais;-Problemas de instalação.

Exemplo de estrutura de relatório...

Page 161: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

1) Sumário executivo

Exemplo de estrutura de relatório...

Relatório do teste de usabilidade ABC

Dois ou três parágrafos que falem sobre o produto testado, período do teste, quem fez o teste, quais foram os objetivos, os participantes (quantos, de que grupos), principais resultados, plano para a correção dos problemas.

2) Descrição do testeDois ou três parágrafos que falem sobre o produto testado, período do teste, quem fez o teste, quais foram os objetivos, os participantes (tabelas que caracterizem os grupos), descrição das tarefas e cenários e os métodos adotados.

3) Descrição dos resultadosBreve introdução acompanhada de algumas páginas com tabelas de registros de dados das tarefas, resultados dos questionários e lista de descobertas.

4) Conclusões e recomendaçõesPonto chave do relatório, contendo: descobertas, explicações e justificativas, além das recomendações.

5) Anexos

Page 162: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

A organização do relatório...

Mesmo considerando a estrutura apresentada, é fundamental saber ordenar os pontos por importância.

Os problemas mais graves devem vir primeiro, assim como os problemas mais globais devem vir antes dos específicos.

Uma vez adotada um estrutura, o ideal é mantê-la em todo relatório...

Por exemplo – descrever todos os problemas da mesma forma:

Problema:

Explicação:

Recomendação:

Page 163: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

A organização do relatório...

Não se esqueça de que o relatório deve ser breve e objetivo.

Seguem, abaixo, algumas dicas;

-Escrever na voz ativa;-Escrever parágrafos curtos-Usar listas e tabelas

Para dar consistência, inclua alguns depoimentos de participantes que possam reforçar os principais pontos apontados.

Por fim, vejamos aspectos de layout, revisão e impressão e distribuição...

Page 164: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Formatação, revisão, impressão e distribuição

O layout é quase tão importante quanto o conteúdo do relatório.

Se você quer que as pessoas leiam o relatório, faça-o convidativo e fácil.

Formate o relatório de modo que as pessoas possam rapidamente encontrar as informações que buscam.

Use títulos, listas, deixe espaços em branco para separar os itens.

Page 165: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Formatação, revisão, impressão e distribuição

Os demais colaboradores da organização do teste devem ajudá-lo a rever o relatório.

Quando for compartilhar o documento, espere sugestões. Esteja aberto para ouví-las.

É óbvio que você não precisa acatar todas elas, mas algumas sugestões podem ser interessantes.

Page 166: 81221835 ergoihc-teste-de-usabilidade-ariel

A Practical Guide to Usability TestingUsability Testing

Cap. 21 – Recommending changes

Cap. 22 – Communicating the results

Formatação, revisão, impressão e distribuição

Antes de distribuir qualquer versão do relatório, faça uma edição do mesmo.

Confira erros gramaticais, de ortografia e coisas desse tipo, pois erros assim desviam a atenção do leitor e diminuem a credibilidade do documento.

Distribua o relatório pelos canais apropriados, mas certifique-se de que as pessoas que precisam recebê-lo tiverem acesso ao mesmo.

Page 167: 81221835 ergoihc-teste-de-usabilidade-ariel

Obrigado! Sentirei saudades de vocês...


Top Related