11

INF1403 INF1403 –– Introdução a Interação Introdução a Interação

serg

INF1403 INF1403 –– Introdução a Interação Introdução a Interação HumanoHumano--Computador (IHC)Computador (IHC)

TurmaTurma 3WB3WBProfessor: Alberto B. Professor: Alberto B. RaposoRaposo

Avaliação de IHC: Paradigmas, Métodos e TécnicasAvaliação de IHC: Paradigmas, Métodos e Técnicas

1414/Mar/2011/Mar/2011

serg

serg

serg

serg

serg

serg

serg

Avaliação de IHCAvaliação de IHC

•• O que é?O que é?

– Chamamos de avaliação de IHC a atividade profissional especializada que tem por objetivo julgar a qualidade de interação que um sistema ou artefato computacional oferece

serg

interação que um sistema ou artefato computacional oferece aos seus usuários.

1. Avaliação é uma atividade profissional. Não é uma emissão de opinião baseada em preferências ou conjecturas pessoais.

2. Usuários sempre têm opiniões e julgamentos sobre a qualidade dos sistemas com que interagem: mas isto não é uma “avaliação de IHC”, a menos que os usuários sejam também profissionais.

O que define uma ‘atividade profissional’?O que define uma ‘atividade profissional’?

•• Neste contexto, uma ‘atividade profissional’ é aquela Neste contexto, uma ‘atividade profissional’ é aquela cuja realização utiliza e depende de conhecimentos cuja realização utiliza e depende de conhecimentos técnicos, tais como, por exemplo:técnicos, tais como, por exemplo:

serg

– Conceitos de IHC– Métodos de avaliação– Modos e meios de aplicação de conceitos e métodos a

instâncias específicas de interação– Disciplina e rigor para realizar procedimentos de coleta de

dados e análise– Cuidados éticos

Paradigmas, Métodos e TécnicasParadigmas, Métodos e Técnicas

•• Paradigma?Paradigma?– É um modelo ou forma de conceber a atividade, normalmente atrelado

ao objetivo que se quer atingir com ela.– Toda avaliação é guiada explícita ou implicitamente por uma série de

crenças e expectativas. Várias vezes elas têm origem em teorias.

serg

• Estas crenças e expectativas, juntamente com as teorias a que podem se referir, constituem o paradigma de avaliação.

•• Método?Método?– É um conjunto claramente definido de passos, que são sistematica e

rigorosamente repetidos, para se realizar um procedimento.

•• Técnica?Técnica?– É uma forma de realizar uma tarefa ou atividade.

4 paradigmas para a avaliação de IHC4 paradigmas para a avaliação de IHC

1.1. O O rápido e rasteirorápido e rasteiro (que prima pela informalidade)(que prima pela informalidade)

2.2. Os Os testes de usabilidadetestes de usabilidade (experimentos controlados em (experimentos controlados em laboratórios)laboratórios)

serg

3.3. Os Os estudos em campoestudos em campo (que se realizam nos contextos (que se realizam nos contextos naturais de uso das tecnologias avaliadas e são mais difíceis de naturais de uso das tecnologias avaliadas e são mais difíceis de controlar e registrar do que os testes de usabilidade)controlar e registrar do que os testes de usabilidade)

4.4. A A avaliação preditivaavaliação preditiva (que se baseia em conhecimento (que se baseia em conhecimento heurístico ou teórico de um avaliador especializado)heurístico ou teórico de um avaliador especializado)

O paradigma O paradigma rápido e rasteirorápido e rasteiro

•• É uma prática comum no É uma prática comum no designdesign de IHC.de IHC.

•• Os Os designersdesigners pedem apreciações informais do que fizeram ou estão pedem apreciações informais do que fizeram ou estão fazendo a:fazendo a:

serg

– pessoas que tenham maior conhecimento sobre usabilidade, ou

– pessoas sejam destinatárias da tecnologia que está sendo produzida.

•• São avaliações literalmente São avaliações literalmente rápidas rápidas e e rasteirasrasteiras, que podem se , que podem se repetir em vários pontos do ciclo de desenvolvimento.repetir em vários pontos do ciclo de desenvolvimento.

•• A idéia é que a avaliação ofereça o A idéia é que a avaliação ofereça o feedbackfeedback mais imediato mais imediato possível, e não a de que seja a mais cuidadosa e informativa.possível, e não a de que seja a mais cuidadosa e informativa.

Testes de Usabilidade (1/2)Testes de Usabilidade (1/2)

•• Testes de usabilidade têm Testes de usabilidade têm de envolver usuários (reais de envolver usuários (reais ou potenciais) e um ou potenciais) e um registro de sua atuação.registro de sua atuação.

serg

•• Podem ser feitos em Podem ser feitos em laboratório ou em campo laboratório ou em campo (ver próximo paradigma).(ver próximo paradigma).

•• Os participantes (usuários) Os participantes (usuários) devem realizar certas devem realizar certas atividades controladas atividades controladas (tarefas), o que permite (tarefas), o que permite avaliar o seu desempenho.avaliar o seu desempenho.

Testes de Usabilidade (2/2)Testes de Usabilidade (2/2)

•• Os registros podem capturar uma ampla gama do comportamento do Os registros podem capturar uma ampla gama do comportamento do usuário: vídeo do usuário+ tecnologia, usuário: vídeo do usuário+ tecnologia, loglog da interação na interface da interação na interface (movimentos mouse, cursor, teclas apertadas, etc.), áudio de (movimentos mouse, cursor, teclas apertadas, etc.), áudio de comentários ou interjeições do usuário, e até mesmo certos sinais comentários ou interjeições do usuário, e até mesmo certos sinais sensóriosensório--motores (direção do olhar, tensão muscular, etc.).motores (direção do olhar, tensão muscular, etc.).

serg

•• Os registros podem ser usados para prever e explicar certas Os registros podem ser usados para prever e explicar certas ocorrências de desempenho, bem como para ajudar a corrigir e ocorrências de desempenho, bem como para ajudar a corrigir e prevenir erros de interação.prevenir erros de interação.

•• Através de entrevistas e questionários podeAtravés de entrevistas e questionários pode--se descobrir o grau de se descobrir o grau de satisfação dos participantes, bem como outros aspectos psicológicos.satisfação dos participantes, bem como outros aspectos psicológicos.

Estudos de CampoEstudos de Campo

•• Os estudos de campo, ao contrário dos testes de usabilidade, são Os estudos de campo, ao contrário dos testes de usabilidade, são feitos feitos exclusivamente no ambiente “natural” dos exclusivamente no ambiente “natural” dos usuários/participantes.usuários/participantes.

•• O objetivo destes estudos é observar O objetivo destes estudos é observar sem qualquer interferênciasem qualquer interferência

serg

(sem propor tarefas específicas) como as pessoas usam e se (sem propor tarefas específicas) como as pessoas usam e se relacionam com artefatos tecnológicos.relacionam com artefatos tecnológicos.

•• Tais estudos são bons para:Tais estudos são bons para:

– Prospectar a introdução de novas tecnologias

– Determinar requisitos de projeto

– Decidir estratégias para promover a adoção de tecnologias

– Descobrir como uma tecnologia é de fato usada

Avaliação preditivaAvaliação preditiva

•• EspecialistasEspecialistas utilizam o conhecimento utilizam o conhecimento que já têmque já têm sobre usuários e sobre usuários e situações típicas de uso de uma série de tecnologias para situações típicas de uso de uma série de tecnologias para preverprever o o efeito de determinado produto ou tecnologia sobre os seus efeito de determinado produto ou tecnologia sobre os seus usuários.usuários.

serg

– Note que não é preciso envolver os usuários! Na maioria dos casos, um especialista advoga em nome dos usuários, indicando o que os usuários achariam ou fariam da tecnologia.

•• Outra alternativa é utilizar Outra alternativa é utilizar modelosmodelos para guiar uma inspeção da para guiar uma inspeção da tecnologia e prever a ocorrência de problemas.tecnologia e prever a ocorrência de problemas.

•• As avaliações neste paradigma são atraentes em termos de custo.As avaliações neste paradigma são atraentes em termos de custo.

Exemplo de uma avaliação preditiva: a Lei de FittsExemplo de uma avaliação preditiva: a Lei de Fitts

•• O que é a Lei de Fitts?O que é a Lei de Fitts?

– Um modelo do comportamento psicomotor humano.

– Ela diz essencialmente que a velocidade/precisão para acertar um ALVO com um movimento rápido é uma FUNÇÃO da DISTÂNCIA a

serg

que se está do alvo e do TAMANHO dele.

• Quanto maior e mais próximo o alvo, mais rápido de ser atingido.

•• Aplicação: Comparar diferentes Aplicação: Comparar diferentes layoutslayouts de telasde telas

– Um com botões de tamanho e distâncias padronizadas de uma área central de trabalho

– Outro com botões de tamanho e distância variáveis, conforme sejam mais ou menos utilizados na execução de tarefas do usuário

O que é melhor para o desempenho do usuário?O que é melhor para o desempenho do usuário?

Este?Layout combotões padronizados.

serg

Ou este?Botões queacionam tarefasmais frequentessão maiores.

Técnicas de avaliação de IHCTécnicas de avaliação de IHC

Há diferentes Há diferentes técnicastécnicas de de avaliação.avaliação.

• Cada técnica se aplica melhor ou pior (ou não se

RRáápido e pido e

RasteiroRasteiro

Testes de Testes de

UsabilidUsabilidaa

dede

Estudos Estudos

de Campode Campo

AvaliaAvaliaççãoão

PreditivaPreditiva

TTéécnica 1cnica 1

serg

melhor ou pior (ou não se aplica) conforme o paradigma em que nos encontramos.

• Logo o que queremos fazer é saber como preencher as colunas de uma tabela como esta ao lado. (Por quê?)(Por quê?)

TTéécnica 2cnica 2

……

TTéécnica ncnica n

Antes de começar qualquer avaliação, pergunte:Antes de começar qualquer avaliação, pergunte:

•• Qual o meu objetivo?Qual o meu objetivo?– Por que e para que estou fazendo a avaliação?

• Me encomendaram?• Estou fazendo uma pesquisa?• Estou fazendo um exercício?

serg

• Estou fazendo um exercício?• ?

•• Quais os meus recursos?Quais os meus recursos?– Tenho prazos, orçamento, infraestrutura?– Preciso observar pessoas? Onde? Como?

•• Qual o objeto da minha avaliação?Qual o objeto da minha avaliação?– Tenho um sistema plenamente implementado? Parcialmente

implementado? Apenas uma maquete? Completa? Parcial?

DECIDE DECIDE –– Guia para o planejamento de uma avaliação Guia para o planejamento de uma avaliação (Preece et al., 2002)(Preece et al., 2002)

•• DDeterminar os objetivos gerais que a avaliação deverá eterminar os objetivos gerais que a avaliação deverá tratartratar

•• EExplorar perguntas específicas a serem respondidasxplorar perguntas específicas a serem respondidas•• Escolher (Escolher (CChoose) o paradigma e as técnicas de hoose) o paradigma e as técnicas de

serg

•• Escolher (Escolher (CChoose) o paradigma e as técnicas de hoose) o paradigma e as técnicas de avaliação que responderão as perguntasavaliação que responderão as perguntas

•• IIdentificar questões práticas que devem ser tratadasdentificar questões práticas que devem ser tratadas•• DDecidir como lidar com questões éticasecidir como lidar com questões éticas•• Avaliar (Avaliar (EEvaluate), interpretar e apresentar os dadosvaluate), interpretar e apresentar os dados

DECIDE DECIDE –– Guia para o planejamento de uma avaliação (Preece et Guia para o planejamento de uma avaliação (Preece et al., 2002)al., 2002)

•• DDeterminar os objetivos gerais que a avaliação eterminar os objetivos gerais que a avaliação deverá tratardeverá tratar– quais são os objetivos gerais da avaliação

serg

– quais são os objetivos gerais da avaliação– quem solicitou a avaliação, e por quê

– Os objetivos influenciam a escolha de paradigma e técnica. Por quê?

DECIDE DECIDE –– Guia para o planejamento de uma avaliação (Preece et Guia para o planejamento de uma avaliação (Preece et al., 2002)al., 2002)

•• EExplorar perguntas específicas a serem respondidasxplorar perguntas específicas a serem respondidas– Quem são os usuários-alvo?– Quais são suas atividades?– Em quais tarefas ocorrem mais erros?

serg

– Em quais tarefas ocorrem mais erros?– Quais tarefas apresentam problemas mais graves de desempenho?– A proposta A é melhor do que a proposta B em algum aspecto?

Qual(is)?•• Toda boa avaliação tem de ser guiada por objetivos e questões Toda boa avaliação tem de ser guiada por objetivos e questões

claras; se não for, vira uma perda de tempo.claras; se não for, vira uma perda de tempo.

DECIDE DECIDE –– Guia para o planejamento de uma avaliação (Preece et Guia para o planejamento de uma avaliação (Preece et al., 2002)al., 2002)

•• Escolher (Escolher (CChoose) o paradigma e as técnicas de hoose) o paradigma e as técnicas de avaliação que responderão as perguntasavaliação que responderão as perguntas– prazo, custo, equipamentos necessários, e grau de

conhecimento e experiência dos avaliadores exigidos por cada

serg

– prazo, custo, equipamentos necessários, e grau de conhecimento e experiência dos avaliadores exigidos por cada técnica

•• Alguns paradigmas são incompatíveis com certas Alguns paradigmas são incompatíveis com certas técnicas.técnicas.– Por exemplo, estudos de campo não são compatíveis com

testes ou com modelagem. Por quê?

DECIDE DECIDE –– Guia para o planejamento de uma avaliação (Preece et Guia para o planejamento de uma avaliação (Preece et al., 2002)al., 2002)

•• IIdentificar questões práticas que devem ser tratadasdentificar questões práticas que devem ser tratadas

– Como selecionar os usuários?• perfil e número de usuários

serg

• perfil e número de usuários

– Como ficar dentro de um orçamento apertado?– Como não extrapolar o cronograma?– Como encontrar avaliadores?

• alocação de pessoal para a realização da avaliação

– Como selecionar e preparar equipamentos?– Quais tarefas serão avaliadas?– Que material deve ser preparado para a avaliação?

DECIDE DECIDE –– Guia para o planejamento de uma avaliação (Preece et Guia para o planejamento de uma avaliação (Preece et al., 2002)al., 2002)

•• DDecidir como lidar com questões éticasecidir como lidar com questões éticas– os avaliadores devem se certificar que os direitos dos participantes do teste

estão sendo respeitados

•• Preparar um termo de consentimentoPreparar um termo de consentimento

serg

•• Preparar um termo de consentimentoPreparar um termo de consentimento

•• Todo participante tem o direito de:Todo participante tem o direito de:– saber exatamente o objetivo do estudo– saber exatamente o que vai ser feito com os dados– ter garantias de seus dados pessoais e privativos– não ser citado ou mostrado em qualquer situação sem seu consentimento prévio– abandonar o estudo quando e por que bem entender– exigir ser tratado com toda educação

DECIDE DECIDE –– Guia para o planejamento de uma avaliação (Preece et Guia para o planejamento de uma avaliação (Preece et al., 2002)al., 2002)

•• Avaliar (Avaliar (EEvaluate), interpretar e apresentar os dadosvaluate), interpretar e apresentar os dados– confiabilidade dos dados: a técnica produz os mesmos resultados nas

mesmas circunstâncias?– validade dos dados: a técnica permite medir o que deveria?

serg

– potenciais distorções: existe algum viés oculto?– escopo: o que pode ser generalizado?– validade “ecológica”: o quanto o ambiente em que a avaliação é feita

influencia ou distorce os resultados?

•• Análise e apresentação dependem de paradigma e técnica.Análise e apresentação dependem de paradigma e técnica.

EstudosEstudos--pilotopiloto

•• Servem de teste para o “teste pra valer”.Servem de teste para o “teste pra valer”.•• Visam avaliarVisam avaliar

– O estudo/experimento é viável?– Você consegue conduzir o procedimento inteiro e bem?– Os scripts, entrevistas, questionários estão claros e sem “bugs”?

serg

– Os scripts, entrevistas, questionários estão claros e sem “bugs”?•• Quantos estudosQuantos estudos--piloto se deve fazer?piloto se deve fazer?

– quantos forem necessários para ajustar a qualidade do experimento– pelo menos um é indispensável

•• E se não tiver usuários “sobrando”?E se não tiver usuários “sobrando”?– Procurar pessoas com perfil semelhante. Vale até usar seus próprios

conhecidos.

Conhecimentos necessários a um avaliadorConhecimentos necessários a um avaliador

•• Conhecimento sobre o domínioConhecimento sobre o domínio– necessário para determinar o que os usuários querem, do que eles

precisam, quais são as tarefas mais freqüentes e quais as mais importantes

•• Conhecimento Conhecimento sobre o projeto de interfaces de usuáriosobre o projeto de interfaces de usuário

serg

•• Conhecimento Conhecimento sobre o projeto de interfaces de usuáriosobre o projeto de interfaces de usuário– avaliador deve ser capaz de analisar os aspectos mais importantes de

um projeto de interfaces (e.g. navegação, terminologia, estruturas de controle, etc.) e conhecer os princípios e diretrizes disponíveis na literatura

•• Experiência de utilização do método de avaliaçãoExperiência de utilização do método de avaliação– permite ao avaliador ao representar um cliente, bem como o

conhecimento sobre o que procurar e o que relatar como resultado da avaliação

Sobre os dados coletados (1/2)Sobre os dados coletados (1/2)

•• Avaliação quantitativaAvaliação quantitativa– necessariamente envolve métricas e números

• métrica é a expressão numérica de uma qualidade

– requer conhecimentos de outras disciplinas, em especial de

serg

– requer conhecimentos de outras disciplinas, em especial de Estatística

– amostragens que podem ser muito volumosas– pode-se obter previsões bastante boas sobre o comportamento

dos usuários

Sobre os dados coletados (2/2)Sobre os dados coletados (2/2)

•• Avaliação qualitativaAvaliação qualitativa– normalmente não envolve métricas e números– requer conhecimentos teóricos e técnicos de várias disciplinas,

e também de conhecimentos práticos dos profissionais

serg

(heurísticas)– trabalha tipicamente com casos– fornece insumos para pesquisas quantitativas que poderão fazer

previsões– “entender” antes de “medir”