teste de usabilidade - debriefing

Debriefing

Caroline Zambon, Denise Silveira e Thainá Zanotti

Introdução

O Debriefing é um estágio do teste de usabilidade em que há a exploração e análise das ações dos participantes durante o teste de usabilidade ou após este ter sido finalizado. Ou seja, o debriefing é a extensão do processo de teste onde o entrevistador observa a performance dos entrevistados e faz algumas perguntas durante as tarefas ou após as tarefas tenham sido completadas. Esta sessão do teste de usabilidade é feita de forma informal com o objetivo de esclarecer alguns problemas e como eles podem ser corrigidos.

Por que rever o teste com participantes e observadores?

O objetivo de cada teste deveria ser entender cada erro, dificuldade e omissão que ocorra para cada participante em cada teste. Debriefing com o participante é a oportunidade final de conseguir esse objetivo antes que o usuário vá embora.

Pretende-se trazer à tona o pensamento e a racionalização por trás da ação de cada usuário, principalmente quando não está claro para o moderador. A tarefa indica o “o que”, e o debriefing o “por que”, ainda mais quando não tem durante o teste, a técnica do “think aloud”. O debriefing ajuda a ver por diferentes pontos de vista o que está acontecendo no teste. Quando os observadores são incluídos no processo, sentem-se mais engajados.

Técnicas para revisar com participantes

�  Nunca faça com que o participante se sinta na defensiva sobre suas ações ou opiniões: o participante não pode se sentir acuado ou pensar que está respondendo “errado”.

�  Enquanto questionar um participante, não reaja às respostas do participante de forma alguma: quando se tem ligação com o produto, principalmente, é difícil não reagir a algumas opiniões. Se ele ficar na defensiva, suas respostas podem ser suspeitas, ele pode responder para agradar ao moderador. Um bom debriefing vai depender das competências e experiências do moderador: fazem toda a diferença.

O Debriefing deve acontecer na mesma sala ou em local diferente, depende do conforto que o participante estiver demonstrando ao final do teste.

Diretrizes básicas do debriefing

As diretrizes básicas consideram as necessidades tanto do moderador quanto do participante:

�  Reunir os seus pensamentos enquanto o participante preenche todos os questionários pós-teste: Após o teste, aplique em seguida qualquer questionário, e faça-o saber que está chegando ao final, que tem apenas mais algumas duvidas para tirar. Aproveite o tempo para organizar suas dúvidas.

�  Reveja o questionário pós-teste: isso pode ser usado como insumo no debriefing. Se não houver questionário, reveja suas anotações ou as dos observadores. Procure por respostas inesperadas que possam beneficiar a exploração.

�  Comece deixando o participante falar o que quer que esteja na cabeça dele: utilizando uma pergunta bem aberta. Primeiro porque permite que ele revele alguma frustração, e segundo porque ele tende a fala, dessa forma, sobre o que foi mais importante para ele, ou o que mais marcou, durante o teste.


�  Comece suas questões por questões gerais de nível alto: use o debriefing para te ajudar a lembrar da questão principal do teste, foque nas questões principais da pesquisa.

�  Siga para questões específicas: depois do momento geral, procure explorar as dúvidas que assinalou durante o teste, que pode ser uma ação ou comentário do participante.

�  Reveja no questionário pós-teste outras questões que tenha marcado previamente para explorar: Tome seu tempo, e dê tempo paa o participante pensar nas respostas e nas questões, e como se relaciona com elas. Fique na questão até ter realmente sanado suas dúvidas.


�  Foque no entendimento e nas dificuldades dos problemas, e não na solução do problema. Um erro muito comum no uso do debriefing é vê-lo como um momento para resolver os problemas descobertos no teste. Assim, pode deixar de ter soluções assertivas no momento adequado. Outro erro é solicitar ideias de design do participante: por não entenderem, algumas ideias são boas, mas impraticáveis. Há profissionais para isso, e não deve ser o foco do debriefing.

�  Termine seus questionamentos completamente antes de conversar com os observadores: isso deve ocorrer de uma maneira estruturada que permita que você mantenha o controle do processo. Não se deve permitir que questionamentos sejam feitos de forma desestruturada ao participante.

�  Se apropriado, deixa a porta aberta para um contato futuro: depois de terminada a sessão, sugira a possibilidade de entrar em contato para esclarecer eventuais dúvidas. Agradeça-o, depois presenteio-o com alguma remuneração antes que ele saia.

Diretrizes e técnicas de debriefing avançadas

Rever o teste de usabilidade

Para ajudar o usuário a relembrar partes do teste que ele deixou de mencionar. Pode ser manualmente ou por vídeo

• Método manual:

O moderador escolhe um tópico de suas anotações e descreve com detalhes como o usuário realizou a tarefa. Em seguida, faz as perguntas necessárias.

Para esta técninca, o moderador precisa ter prestado atenção ao teste, feito anotações relevantes e ter boa memória.

• Método por vídeo:

O moderador apresenta ao usuário o trecho da gravação do teste com a tarefa que deseja obter mais informações.

É mais fácil para o usuário relembrar o que aconteceu

Analisar designs alternativos

Nas primeiras etapas de desenvolvimento, o debriefing pode ser utilizado para apresentar duas ou tres versões alternativas de design e saber quais as preferências do usuário.


Gravar o áudio da sessão de debriefing

O moderador pode dar mais atenção ao usuário e depois ouvir a gravação para anotar suas conclusões.

Técnica do “você lembra?”

Para determinar se um elemento específico do design (uma mensagem de erro, por exemplo) está contribuindo, inibindo ou não tendo nenhum efeito para o usuário.

Durante o debriefing, mostre ao usuário a página do site com o elemento em questão tampado ou removido. Pergunte se ele lembra o que estava naquele ponto.


Técnica do "Advogado do diabo"

O moderador deixa de ser neutro e assume uma opinião contrária aos comentários do participante, a fim de confirmar se ele está realmente sendo sincero.

Quando utilizar:

- O usuário ameniza as dificuldades encontradas durante o teste de usabilidade e parece relutante em criticar o produto.

- É preciso testar uma funcionalidade específica e ter certeza de apontar todos seus pontos negativos antes do lançamento do produto.


Aplicando a técnica:

Seja discreto e cuidadoso. Você não deve influenciar a opinião do usuário, apenas deixá-lo mais à vontade para expressar suas reais críticas e opiniões.

O que pode ser dito ao usuário:

- Interessante você dizer que gostou quando teve tanta dificuldade no teste

- Engraçado, outros usuários tiveram uma opinião totalmente diferente

- Você é o primeiro a achar isso


Observações:

Não utilizar esta técnica com participantes facilmente manipuláveis como pessoas muito jovens ou muito idosas e que tenham dificuldade para formular conclusões. Tampouco com aqueles que acham que podem conseguir uma oportunidade de trabalho se agradarem o moderador.

Avise previamente a equipe de teste que usará esta técnica, para não pensarem que você está influenciando o usuário.


Revisando e alcançando o consenso com os observadores

No final da sessão é interessante conversar com os observadores.

Pontos positivos:

�  Os observadores são mais engajados no teste se eles souberem que haverá uma conversa sobre o teste de usabilidade;

�  O entrevistador ordena os problemas/soluções de acordo com o que o time considera de alta prioridade, ajudando a ordenar o relatório final;

�  Através da conversa com o time, os problemas tendem a se tornar mais fáceis de serem solucionados.


Entre sessões

10 minutos devem ser destinados para conversar com os observadores sobre como foi o teste e o que surpreendeu a todos. A idéia é conversar rapidamente sobre as impressões relacionadas ao teste antes que os observadores se envolvam com outros trabalhos (ler emails, acessar internet, etc). As idéias e observações são escritas em um quadro ou papel com o objetivo de criar uma lista de questões a serem observadas e/ou solucionadas.

Depois de todos terem falado, deve-se voltar às observações feitas e perguntar tarefa por tarefa quais aquelas que os observadores julgam mais importantes e descrevê-las. É extremamente importante que todos entrem em consenso com o que foi anotado.

Na lista de observações, anotar quais usuários disseram cada uma delas.


No final do estudo

Quando todas as sessões de testes estiverem sido completadas, é necessário apenas mais uma sessão de debriefing com os observadores. A lista de questões deve ser lida novamente para que todos os observadores façam a última revisão das questões analisadas e entrem em consenso. Dessa forma, o time ordena as questões em ordem de prioridade: Essa lista pode ser feita pedindo aos observadores para falar o "top 10 de itens", através de votação ou são feitas cartas para os observadores ordenarem de acordo com a prioridade. É importante que os observadores façam parte do processo de classificação das prioridades para que não ocorra nenhuma surpresa com relação ao relatório final.


No final do estudo

O entrevistador deve parar qualquer conversa que esteja relacionada a como redesenhar a interface nesta sessão, já que a maioria dos observadores não viram todas os testes de usabilidade. Apesar de todos concordarem com as questões abordadas, elas são somente impressões acumuladas e memórias, não são dados. O entrevistador deve pensar nos dados coletados e analisá-lo com o objetivo de sutilmente revelar respostas ou mesmo de conflitos com as conversas com os observadores.

Obrigada J

teste de usabilidade - debriefing

Design