testes de usabilidade festock -...

TESTES DE USABILIDADEFESTOCK9 DE JUNHO DE 2011

VERSÃO 1.0

http://www.festock.com


Índice

Testes de usabilidadeUsabilidadeHuman-Conputer Interaction (HCI)Teste de usabilidadeAvaliadorCaracterísticas de um avaliadorMétodos de avaliação e técnicas de recolha de dadosPer�l de utilizadorNúmero de utilizadoresPer�l ideal do utilizadorLista de tarefas (guião)Questionário pré-testeQuestionário pós-testeAnálise/avaliação dos testes realizados Avaliação quantitativa do teste Análise dos resultadosObservações

0405060708091012121314151617171719


Testes de usabilidade

A necessidade de interacção com computadores está cada vez mais presente no nosso quotidiano.

A realização dos testes de usabilidade é parte do processo de desenvolvimento de um produto e traz melhorias signi�cati-vas à qualidade de qualquer produto. A preocupação com os teste [de usabilidade] é crescente, pois os utilizadores estão cada vez mais exigentes. A ênfase deste trabalho está na apresentação de procedimentos e materiais que envolvem a condução do teste de usabilidade e análise dos resultados.

Testes de Usabilidade / Festock | 04


Usabilidade

Usabilidade é o conceito utilizado para descrever a qualidade da interacção de uma interface diante de seus utilizadores.

Esta qualidade está associada, segundo Shneiderman, com os seguintes princípios: - facilidade de aprendizagem - facilidade de memorização de tarefas no caso de uso intermitente - produtividade dos utilizadores na execução de tarefas - prevenção, por forma a reduzir os erros por parte do utilizadores - satisfação subjectiva dos utilizadores

A usabilidade é relacionada à e�cácia e e�ciência da interface diante dos utilizadores e pela reacção destes diante a inter-face.

A usabilidade está directamente relacionada com a e�cácia e e�ciência da aplicação diante do publico-alvo, tanto a nível grá�co como técnico.



Human-Conputer Interaction (HCI)

O comportamento humano é repleto de “surpresas”, o que di�culta o estabelecimento de “simples verdades” sobre o que esperar das pessoas em determinadas situações.Este facto levou ao estudo do HCI - Human-Computer Interaction (Interação Homem-Computador) que procura desen-volver um modelo teórico de performance humana, bem como criar ferramentas capazes de medir a facilidade de uso. O HCI constitui um campo multidisciplinar que envolve aspectos de psicologia, ergonomia, informática, entre outros, com o objectivo de facilitar o projecto, a execução e a avaliação de ambientes computacionais.

A interface de um sistema é o meio responsável por assegurar o dialogo entre o programa e o ser humano. Quando factores humanos são considerados, este diálogo acontece em harmonia. Assim, a interface é considerada a “embalagem do soft-ware de um computador”, portanto, se ela for fácil de aprender, simples de usar, directa e “amigável”, o utilizador terá facili-dade em fazer bom uso da mesma. Se essas características forem negligenciadas, possivelmente irão surgir problemas de usabilidade.

Os problemas de usabilidade ocorrem quando um utilizador encontra di�culdades ao executar uma dada tarefa mediante uma interface. Tais di�culdades podem ter origens variadas e ocasionar perda de dados, diminuição da produtividade, podendo chegar à rejeição total do software por parte dos utilizadores.



Teste de usabilidade

O teste de usabilidade é um processo no qual alguns participantes representativos avaliam o grau que um produto se encontra em relação a critérios especí�cos de usabilidade.O referido teste pode servir para diferentes propósitos que envolvem variados tipos de tarefas, medidas de performance e disposição de escalas, entrevistas ou inspecções a serem aplicadas, sempre em “busca” de problemas de usabilidade e de fazer recomendações no sentido de eliminar os problemas e melhorar a usabilidade do produto.

Os testes de usabilidade são mais e�cientes quando implementados como parte do processo de desenvolvimento de um produto. Portanto, uma forma interessante de determinar os tipos de testes é através do “ciclo de vida” de desenvolvimento de um produto.



Avaliador

O avaliador é o responsável por tudo o que ocorre durante uma sessão de “teste de usabilidade”. A sua função passa por interagir com o(s) participante(s), “reter” informações, compilar e partilhar os resultados dos testes com os membros que compõem a equipa de desenvolvimento.O avaliador é também responsável por toda a preparação dos testes, “arranjo” de todo o material a utilizar nos mesmos e, ainda, a coordenação de esforços por forma a tornar os testes reais e �dedignos.

O avaliador pode ser um especialista em factores humanos (psicólogos, engenheiros industriais), especialistas de mercado (clientes, utilizadores), comunicadores (escritores, especialistas em preparação), colegas de outros projectos ou consultores externos.

O avaliador não deve ser o “dono do produto” que está em avaliação, pois, se tal acontecer, correndo o risco de conduzir os participantes na direcção que deseja em vez de continuar neutro no processo in�uenciando assim os resultados.



Características de um avaliador

- conhecimento dos fundamentos básicos de engenharia de usabilidade; - capacidade de absorver novos conceitos a �m de entender melhor as acções e comentários dos utilizadores participantes; - ter boa memória de modo a se lembrar dos acontecimentos ocorridos durante o teste; - absorver a subtileza do tom da fala e a ênfase dos comentários dos utilizadores participantes; - sentir-se confortável diante de variações e observações con�ituantes, como por exemplo, quando o participante “descobre” outra forma de realizar uma determinada tarefa; - ter �exibilidade para lidar com o participante, bem como para dar o feedback ao grupo responsável pele concep-ção do produto; - manter o nível de atenção em todos os momentos do teste; - ser bom comunicador com todos os integrantes do teste (participantes e membros da equipa de teste); - ser bom organizador e coordenador, pois mesmo um simples teste de usabilidade requer uma organização bem elaborada acerca dos eventos, materiais e membros. - ter um comportamento neutro por forma a utilizar, apenas, sugestões subtis acerca do teste.



Métodos de avaliação e técnicas de recolha de dados

Para avaliarmos a usabilidade da plataforma Festock recorremos a várias técnicas de recolha de dados (nestes participaram utilizadores reais):

Avaliação heurística - envolve especialistas com o intuito de avaliarem o design, com base num conjunto de critérios de usabilidade ou heurísticas. O design é “examinado” por forma a encontrar instâncias que violem esses critérios. Os critérios são relacionados a princípios e guidelines e podem ser seleccionados ou derivados deles. Um conjunto de crité-rios, conforme proposto por Nielsen e Molich (1990) inclui:

o ter diálogo simples e natural; o falar a língua do utilizador; o minimizar a carga cognitiva do utilizador; o ter consistência; o manter feedback; o prevenir erros; o elaborar documentação de apoio/ajuda; o elaborar mensagens de erros precisas e construtivas; o marcar” as saídas e retrocessos de forma clara; o de�nir bem os atalhos a implementar.

Observação - feita num laboratório, pode ser directa, mas aí pode ocorrer o efeito de Hawthorne, ou indirecta, utilizando-se para o efeito câmaras de vídeo de modo a captar a interacção do utilizador com o software ou possibilitando ao observador uma situação de “observação sem ser visto”. Essa interacção do utilizador pode ser registada de modo



automático através de um software de logging e que é acoplado ao software multimédia. Pode-se, ainda, solicitar ao utilizador que verbalize o que pensa em determinadas instancias através da técnica think aloud. Esta verbalização pode ser pedida a um utilizador, mas é pouco natural, ou a pares de utilizadores enquanto interagem. Ao utilizar o método de observação, é impre-scindível que o observador use um guião/lista de tarefas, assim, sabe o que vai observar e o que se pretende que seja observado em particular.

- Sondagem - neste processo (“survey”) podem ser utilizadas, basicamente, duas técnicas de recolha de dados: question-ários ou entrevistas.



Considerações na criação do per�l de utilizador

Segunda a especialista Dana Chisnell, da UsabilityWorks, co-autora do livro Handbook of Usability deve-se evitar o uso de dados demográ�cos como descrição de per�l de utilizador; até porque a idade não é necessariamente um indicador de comporta-mento, desempenho ou especialização. Se quisermos saber como os diferentes comportamentos e experiências afectam a maneira como as pessoas irão utilizar uma determinada aplicação, precisamos olhar para além da idade. Ao de�nir o per�l, deve-se considerar a experiência do utilizador com uma determinada funcionalidade ou actividade, frequência de uso de uma plataforma, software ou internet de acordo com os objectivos do estudo. Em síntese, deve-se ter em consideração os seguintes aspectos: de�nir com clareza o per�l adequado para o teste a realizar; não restringir a de�nição de per�l a dados demográ�cos.

Número de utilizadores

Segundo Jackob Nilson, devemos fazer os testes de usabilidade com pelo menos 5 utilizadores por per�l. Segundo Nilson, com esses números de utilizadores é possível encontrar pelo menos 75% dos problemas. Sendo assim, e seguindo as “recomendações” de Jackob Nilson, o nosso estudo seguirá o seu modelo, utilizando uma amostra de 5 utilizadores por per�l de�nido.



Per�l ideal do utilizador

Os participantes deste teste devem compreender alguns requisitos no que respeita às suas competências, tais como: (1) experiência em informática na óptica do utilizador, nomeadamente no uso da WEB 2.0 e na gestão e partilha de �cheiros (imagens, dados, e vídeos, etc.). (2) ter alguma ligação com o “mundo cinematográ�co” para que seja capaz de apresentar criticas/sugestões naquilo que seriam as suas expectativas de uso da plataforma numa situação dita normal.

Para o nosso estudo (teste de usabilidade sobre o site festock.com), procuramos albergar um grupo, fundamental, de utilizadores: alunos. Nesse sentido, e em consonância com os teóricos, referidos anteriormente, solicitamos a colaboração de 5 utilizadores tipo - 5 alunos.

Re�ra-se que, além dos testes de usabilidade, os utilizadores participaram dois questionários -questionário pré-teste e questionário pós-teste (estes estarão disponíveis mais à frente).



Lista de tarefas (guião)

No presente teste de usabilidade deves executar a lista de tarefas a seguir exposta. Se possível, expressa-te (em voz alta) sobre todos os teus passos durante a utilização da plataforma festock (comentários sobre uma determinada página, antes e depois de a visitares).Este teste é composto por três momentos, sendo que deves executa-los pela seguinte ordem.

Nota: após efectuares o login será disponibilizado um menu adicional a partir do qual terás acesso a novas funcionalidades.

Momento 1 - efectua um registo (utiliza o teu mail); - valida o teu registo (com recurso ao teu mail); - efectua o login; - insere um �lme (utiliza um dos �lmes e respectivos dados que estão no ambiente de trabalho); - visualiza o �lme que submeteste.

Momento 2 - inscreve o �lme que acabaste de inserir num festival; - cria um festival (utiliza os dados que estão no ambiente de trabalho e valida a criação do festival no teu email de registo);

Momento 3 - faz um “tour” pelo site e explora todas as funcionalidades disponíveis; - efectua o logout; - efectua um novo “tour” pelo site e confere as opções disponíveis.




Questionário pré-teste

Pro�ssão _____________

Frequência de uso da internet: - pouco frequente ___ - frequente ___ - muito frequente ___



Questionário pós-teste

Impressão geral sobre o sistema (1 a 5*) ___Grau de clareza dos textos e imagens apresentados (1 a 5*) ___Grau de facilidade para execução de cada tarefa (1 a 5*) ___

Funcionalidades que mais e menos gostaste (1 a 5*) - Menu de utilizador (mascote) ___ - Float menu ___ - Look do site (gra�smo no geral) ___ - Interação do site (interação no geral) ___ - Outra(s). Qual(ais)? ________________________

Di�culdades que encontraste (assinala com um ‘X’) - Registo ___ - Login ___ - Inserir �lme ___ - Associar �lme a festival ___ - Criar festival ___ - Logout ___ - Navegar no site ___ - Outro(s). Qual(ais)? ________________________

Sugestões para melhoria__________________________________________________________________________________________________

*Tabela referencial1 - Incompreensível2 - Não satisfaz3 - Satisfaz4 - Bom5 - Muito bom



Análise/avaliação dos testes realizados

Avaliação quantitativa dos testes - Tempo de execução de cada passo (média) - Número de erros cometidos por tarefa e por momento de avaliação (média) - Número de tarefas completas e incompletas com respectivo total e sub-total para cada momento de avaliação (média)

Análise dos resultadosCom o término dos testes de usabilidade foi possível detectar algumas lacunas e/ou falhas mas, também, virtudes que o site festock.com detém até ao momento.

Veja-se, então, os seguintes resultados (média):Os testes, no geral, decorreram de uma forma “paci�ca” e bem sucedida. Durante os mesmos, nenhum dos utilizadores precisou de recorrer a ajuda externa para “conseguir” executar as tarefas que foram delineadas.Respeitante aos tempos, estes foram +- uniformes, sendo que, a variação nos diferentes “momentos de avaliação” foi visível. Médias dos momentos: 1º momento – 3,096 minutos 2º momento – 6,282 minutos 3º momento – 3,024 minutos



Veri�que-se, que no total, os utilizadores demoraram, em média, 12,402 minutos a efectuar todos o “percurso” pelo site. Saliente-se que este percurso envolver algumas acções demoradas, bem como um “tour” livre pelo site, pelo que é “um pouco redondante”.

Quanto à satisfação, obtemos, em média, nota 4 (Bom), sendo que as notas andaram entre o 4 e o 5 (Bom e Muito bom). Esta que nos incentiva a continuar este desa�o que ainda temos pela frante.

Quanto a di�culdades, as referencias foram, mais uma vez, unânimes, sendo que os utilizadores “sentiram” di�culdades em encontrar os locais de “upload de �lme” e logout, isto porque, segundo eles, não estavam, ainda, ambientados ao “design” do site. No entanto, após “afeição”, não sentiram di�culdades.

Por último, os utilizadores sugeriram que continuasse-mos com o site, pois, apesar de estar com algumas funcionalidades por acabar, já apresenta com um look arrojado e adequado aos seus “requisitos”.

Realce-se que, apesar de as tarefas terem corrido “bem”, não signi�ca que o site esteja bom, no seu todo, no entanto dá-nos boas perspectivas para desenvolvimentos futuros.

[Dados recolhidos presentes em anexo - Anexo1]



Referências

Portfólio de ICPMhttp://portal.acm.org/citation.cfm?id=355549http://www.useit.com/http://www.intuitive.com/blog/jakob_nielsen_on_web_usability_problems_again.html


45571 - Domingos Martins46852 - Luís Jesus46132 - Márcio Reis47162 - Paulo Figueiredo

testes de usabilidade festock -...

Documents