usabilidade de sistemas
TRANSCRIPT
ÉVERSON MATIAS DE MORAIS
UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MÉTODOS DE AVALIAÇÃO DE INTERFACES
MARINGÁ
2007
ÉVERSON MATIAS DE MORAIS
UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MÉTODOS DE AVALIAÇÃO DE INTERFACES
Dissertação apresentada ao Programa de Pós-Graduação em Ciência da Computação da Universidade Estadual de Maringá, como requisito parcial para obtenção do grau de Mestre em Ciência da Computação. Orientador: Prof. Dr. Dante Alves Medeiros
Filho
MARINGÁ
2007
AUTORIZO A REPRODUÇÃO TOTAL OU PARCIAL DESTE TRABALHO, POR QUALQUER MEIO CONVENCIONAL OU ELETRÔNICO, PARA FINS DE ESTUDO E PESQUISA, DESDE QUE CITADA A FONTE.
Dados Internacionais de catalogação-na-publicação
Universidade Norte do Paraná Biblioteca Central
Ana Cristina Gasparini Freitas Bibliotecária CRB9/792
Morais, Everson Matias de. M825e Um estudo sobre a validade e fidedignidade de métodos de
avaliação de interfaces / Everson Matias de Morais. Maringá: [s.n], 2007.
xii; 114p. Dissertação (Mestrado). Ciência da computação. Universidade
Estadual de Maringá. Orientador: Profº Drº Dante Alves Medeiros Filho 1- Ciência da Computação - dissertação de mestrado – UEM 2-
Interação humano-computador 3- Avaliação de interfaces 4- Validade 5- Fidedignidade I- Medeiros, Dante Alves, orient. II- Universidade Estadual de Maringá III- UEM
CDU 004.5
ÉVERSON MATIAS DE MORAIS
UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MÉTODOS DE AVALIAÇÃO DE INTERFACES
Dissertação apresentada ao Programa de Pós-Graduação em Ciência da Computação da Universidade Estadual de Maringá, como requisito parcial para obtenção do grau de Mestre em Ciência da Computação.
Aprovado em 23/08/2007.
A toda minha família, que sempre me apoiou em todos
momentos da minha vida.
AGRADECIMENTOS
A Deus por sempre ter-me direcionado ao longo dessa vida.
A minha família: Vanir Morais, Sebastião Morais, Rosimeire Morais, Luciano
Amadei, Nivaldo Morais, Marli L. Morais, Sérgio Morais, Daniely Morais, Eduardo Cambuí,
Sylvia Morais, Antonio Amaral, Paulo Morais e Fernanda Pomini.
Ao meu orientador, Prof. Dr. Dante Alves Medeiros Filho, pelo grande apoio e
disponibilidade no decorrer deste processo.
Aos professores do Programa de Mestrado em Ciência da Computação da
Universidade Estadual de Maringá, especialmente a Tania Tait, Maria Madalena Dias, João
Ângelo Martini, Ronaldo Gonçalves, Itana Gimenes, Elisa Huzita e Márcia Samed.
Aos meus companheiros de mestrado, em especial a Adriana Herden, Jô Sato, Flávio
Schiavoni, Rafael Ragato, José Rafael, Lafaiete Leme, Adriano Heis, Jucimar Mendes,
Cristiane Y. H. de Castro, Daniela F. G. Trindade e Josiane M. P. Ferreira.
A todos os meus amigos, em especial a Márcia Cristina dos Reis, Aníbal B.
Nascimento, Adriana Barrozo, Vinícius Vieira, Lia H. Ukubata e Ana Cristina G. Freitas.
Ao pessoal do DIN, em especial a Maria Inês Davanço, por sua grande competência.
Aos meus professores desde o início da minha carreira estudantil, em especial: Alairde
Albino Canezim, Luis C. Perini, Alan Salvany Felinto, Pedro P. S. Ayrosa.
Às empresas em que trabalhei, por me auxiliarem em minha formação profissional,
especialmente: Gráfica Ipê, Exactus Software e Usina de Açúcar Santa Terezinha.
É, chegar até aqui, o que isto significa? Pode ser ultrapassar
grandes barreiras, vencer o medo e traumas, conquistar um
espaço, enfrentar más lembranças, atravessar a incapacidade,
olhar para trás e sentir-se orgulhoso, provar algo a alguém, ou
ser mais que antes! Não sei exatamente, também não me importa
muito, o que pensar dessa fase, mas sei o que quero ser:
continuar sendo o que sou, com um pouco mais de experiência,
vivendo cada momento da melhor forma possível, sem grandes
provas, sem rivalidades, sem ressentimentos, sem “coisinhas”
daqui ou de lá, mas sim com toda a força de vontade com que
Deus me tem alimentado, principalmente através das pessoas
maravilhosas que ele tem colocado em meu caminho, desde o
meu respirar.
(Everson Matias de Morais)
RESUMO
O estudo sobre Interação Humano-Computador (IHC) em Ciência da Computação vem sendo realizado há vários anos, visando facilitar a utilização de sistemas computacionais. Devido ao número crescente dos sistemas computacionais interativos, esses estudos foram-se intensificando. Nesse contexto, a partir das funcionalidades das aplicações, o foco geralmente está direcionado à satisfação do usuário. Essa satisfação pode ser definida através da qualidade de uma interação entre o ser humano e o computador. Para saber se uma interação possui boa qualidade, existem as técnicas de avaliação de IHC. Vários autores descrevem modelos diferentes dessas técnicas, mas muitas vezes estes modelos são elaborados de maneira que possibilitam uma certa subjetividade, comprometendo a validade e a fidedignidade de seus resultados. Diante disso, com base nas análises sobre fundamentos epistemológicos que estabelecem a relação da comunicação nas interações, e a partir das análises dos principais tipos de avaliações existentes, criou-se uma proposta para avaliação de IHC. Essa proposta está relacionada principalmente aos atributos de qualidade das avaliações, permite uma análise mais detalhada, mostra um caminho para eliminar a subjetividade e possibilita que a avaliação atinja resultados válidos e fidedignos. Palavras-Chave: Interação Humano-Computador, Avaliação de Interfaces, Validade, Fidedignidade.
ABSTRACT
The study about Human-Computer Interaction (HCI) in Science of the Computation has been accomplished for several years, seeking to facilitate the use of computational systems. Due to the growing number of the computational interactive systems, those studies went intensifying. In that context, starting from the functionalities of the applications, the focus is usually addressed to the user's satisfaction. That satisfaction can be defined through the quality of an interaction between the human being and the computer. To know if an interaction possesses good quality, exists some evaluation techniques of HCI. Several authors describe models different from those techniques, but a lot of times these models are elaborated so that they make possible a certain subjectivity, committing the validity and the trustworthiness of their results. Before that, with base in the analysis on epistemological foundations that establish the relationship of the communication in the interactions, and starting from the analysis of the main types of existent evaluations, it came up for a proposal for evaluation of HCI. That proposal is related mainly to the attributes of quality of the evaluations, it allows a more detailed analysis, display a road to eliminate the subjectivity and it makes possible that the evaluation reaches valid and trustworthy results. Key words: Human-Computer Interaction, Evaluation of Interfaces, Validity, Trustworthiness.
SUMÁRIO
LISTA DE FIGURAS ..............................................................................................................25
LISTA DE TABELAS E QUADROS......................................................................................26
1 INTRODUÇÃO ..............................................................................................................13
1.1 Estrutura do Trabalho ...............................................................................................14
2 FUNDAMENTAÇÃO TEÓRICA.................................................................................15
2.1 Conceitos sobre IHC.................................................................................................15
2.2 Avaliação..................................................................................................................16
2.3 Conceitos sobre Qualidade de Uso...........................................................................20
2.3.1 Usabilidade .......................................................................................................20
2.3.2 Comunicabilidade.............................................................................................23
2.3.3 Aplicabilidade...................................................................................................24
2.4 Avaliação de IHC .....................................................................................................25
2.4.1 Interpretações sobre Avaliação de IHC............................................................26
2.4.2 Detalhamento dos Métodos de Avaliações de IHC..........................................28
2.4.2.1 Métodos de Avaliação Analíticos.............................................................28
2.4.2.1.1 Avaliação Heurística .............................................................................29
2.4.2.1.2 Inspeções Ergonômicas via Checklists .................................................32
2.4.2.1.3 Percurso Cognitivo................................................................................34
2.4.2.2 Métodos de Avaliação Empíricos.............................................................36
2.4.2.2.1 Ensaios de Interação ou Testes de Usabilidade ....................................36
2.4.2.2.2 Sistemas de Monitoramento ou Espiões ...............................................41
2.4.2.3 Testes Focados na Usabilidade e Comunicabilidade................................41
2.5 Avaliação de Interfaces segundo a Norma ISO 9241...............................................45
2.6 Critérios Ergonômicos segundo Bastien e Scapin....................................................50
2.6.1 Condução..........................................................................................................50
2.6.2 Carga de Trabalho ............................................................................................52
2.6.3 Controle Explícito ............................................................................................52
2.6.4 Adaptabilidade..................................................................................................53
2.6.5 Gestão de Erros.................................................................................................54
2.6.6 Consistência......................................................................................................54
2.6.7 Significado dos Códigos e Denominações .......................................................55
2.6.8 Compatibilidade ...............................................................................................55
2.7 Quanto à Escolha das Técnicas ................................................................................55
3 CONTEXTUALIZAÇÃO DO ESTUDO SOBRE AVALIAÇÃO DE IHC ..............59
4 UMA PROPOSTA PARA AVALIAÇÃO DE IHC.....................................................67
4.1 O processo de Avaliação ..........................................................................................68
4.1.1 Classificação dos Métodos de Avaliação de Interfaces Humano-Computador 69
4.1.2 Critérios para a Avaliação ................................................................................70
4.1.3 Validade e Fidedignidade nos Delineamentos de Pesquisas de Avaliação ......70
4.1.3.1 Validade Interna .......................................................................................71
4.1.3.2 Validade de Constructo ............................................................................71
4.1.3.3 Validade Externa ......................................................................................72
4.1.3.4 Fidedignidade ...........................................................................................72
4.1.4 Ameaças à Validade .........................................................................................73
4.2 Requisitos do Processo de Avaliação .......................................................................74
4.3 Definição da Proposta para Avaliação de IHC.........................................................76
4.3.1 Definição dos Objetivos da Avaliação .............................................................77
4.3.2 Planejamento e Definição do Delineamento da Avaliação ..............................77
4.3.3 Determinação dos Atributos de Qualidade segundo os Objetivos Propostos...77
4.3.4 Determinação dos Pesos dos Atributos ............................................................78
4.3.5 Determinação dos Indicadores Quantificáveis e Mensuráveis .........................78
4.3.6 Determinação dos Pesos dos Indicadores.........................................................79
4.3.7 Determinação dos Instrumentos de Medida dos Indicadores ...........................79
4.3.7.1 Tipos de Medidas .....................................................................................82
4.3.7.2 Dimensões a serem Medidas ....................................................................83
4.3.7.3 Classificação dos Instrumentos de Medida ..............................................83
4.3.8 Validade, Fidedignidade e Calibração dos Instrumentos de Medida ...............86
4.3.8.1 Validade de Conteúdo ..............................................................................86
4.3.8.2 Validade de Constructo, de Conceito ou Teórica .....................................87
4.3.8.3 Validade Aparente ....................................................................................87
4.3.9 Determinação das Escalas de Referência .........................................................88
4.3.9.1 Tipos de Escalas de Avaliação .................................................................88
4.3.10 Validação do Delineamento de Avaliação........................................................90
4.4 Aplicação da Proposta para Análise de Alguns Métodos de Avaliação de Interface
Humano-Computador ..........................................................................................................91
4.4.1 Análise da Norma 9241-11/2002......................................................................91
4.4.1.1 Objetivo ....................................................................................................91
4.4.1.2 Características...........................................................................................92
4.4.1.3 Análise ......................................................................................................93
4.4.2 Análise das Heurísticas de Nielsen...................................................................94
4.4.2.1 Objetivo ....................................................................................................94
4.4.2.2 Características...........................................................................................95
4.4.2.3 Análise ......................................................................................................96
4.4.3 Análise dos Critérios Ergonômicos Propostos por Bastien e Scapin ...............99
4.4.3.1 Objetivo ....................................................................................................99
4.4.3.2 Características...........................................................................................99
4.4.3.3 Análise ....................................................................................................101
5 CONCLUSÕES.............................................................................................................105
5.1 Recomendações para Trabalhos Futuros ................................................................105
5.1.1 Discriminar os Atributos em Indicadores.......................................................106
5.1.2 Criar Instrumentos e Escalas para os Indicadores ..........................................106
REFERÊNCIAS ...................................................................................................................107
ANEXOS ...............................................................................................................................111
ANEXO I. Avaliação Heurística ............................................................................................112
ANEXO II. Análise de Características ...................................................................................114
LISTA DE FIGURAS
Figura 1. O Processo de Interação Humano-Computador........................................................16
Figura 2. Estrutura de Usabilidade ...........................................................................................47
Figura 3. O Processo de Mediação entre Sujeito Cognoscente e Objeto Cognoscível ............60
Figura 4. Esquema Geral da Comunicação ..............................................................................61
Figura 5. Modelo de Comunicação...........................................................................................62
Figura 6. Fatores de uma Interação X Comunicação................................................................64
Figura 7. Interpretação do Processo de IHC.............................................................................65
Figura 8. Classificação de Métodos de Avaliação da Experimentação e Análise....................69
Figura 9. Classificação de Métodos de Avaliação em Relação à Participação do Usuário......70
Figura 10. Etapas do Processo de Avaliação............................................................................90
Figura 11. Análise dos Indicadores da Norma 9241-1/2002....................................................94
Figura 12. Análise dos Indicadores das Heurísticas de Nielsen...............................................98
Figura 13 Análise dos Indicadores dos Critérios Ergonômicos de Bastien e Scapin .............103
LISTA DE TABELAS E QUADROS
Quadro 1. Vantagens e Limitações de Observações.................................................................84
Tabela 1. Associação entre expressões e classes de problemas ...............................................45
Quadro 2. Vantagens e Limitações de Questionários...............................................................85
Tabela 2. Exemplo de Medidas de Usabilidade .......................................................................48
Quadro 3. Vantagens e Limitações de Entrevistas ...................................................................85
Tabela 3. Exemplo de Medidas para Propriedades Desejáveis do Produto..............................49
Tabela 4. Grau de Severidade dos Problemas de Usabilidade .................................................96
13
1 INTRODUÇÃO
O estudo sobre Interação Humano-Computador (IHC) em Ciência da Computação
vem sendo realizado há vários anos, visando facilitar a utilização de sistemas computacionais.
Atualmente, diversas pesquisas são produzidas nas áreas que envolvem IHC, buscando
desenvolver interfaces que interajam cada vez mais com o ser humano.
A proliferação dos computadores nos mais diversos setores da vida humana exige que
haja facilidade na sua utilização. A cada dia surgem novos recursos computacionais que estão
sendo colocados à disposição da sociedade, gerando, assim, maior demanda por sua
utilização. O estudo sobre interação humano-computador não é tão recente, mas acentuou-se
nos últimos anos com a evolução dos microcomputadores.
Essa crescente demanda pela utilização de sistemas computacionais e de estudos sobre
a interação humano-computador, criou a necessidade de prover métodos apropriados de
avaliação dessa interação e das interfaces existentes. A avaliação torna-se particularmente
imprescindível, máxime por ser um elemento de retroalimentação do processo de
desenvolvimento.
Apesar da importância do processo de avaliação nesta linha de pesquisa, ele é muitas
vezes negligenciado ou realizado de forma insipiente, subjetiva, produzindo resultados que
não são representativos da realidade.
Esta situação mostra a necessidade de obter métodos de avaliação de interfaces
humano-computador mais precisos, menos subjetivos que, quando empregados, possuam
validade e fidedignidade. Assim, procurando mostrar que é possível o desenvolvimento de
14
métodos consistentes de avaliação de interfaces humano-computador é que nasceu a
motivação para a realização do presente trabalho que apresenta um estudo sobre a validade e
fidedignidade de alguns métodos de avaliação de interface humano-computador.
Desta forma, o presente trabalho tem como objetivo apresentar uma metodologia para
avaliação de interfaces humano-computador. A idéia é mostrar conceitos e definições que
envolvem o processo de avaliação de interfaces, bem como as etapas necessárias para que
uma avaliação seja representativa, válida e fidedigna.
1.1 Estrutura do Trabalho
O capítulo 2 apresenta a fundamentação teórica, com informações sobre questões que
envolvem o campo de IHC, avaliações de IHC: conceitos, objetivos, técnicas e tipos de
avaliações e, ainda, noções sobre medidas ditadas pela norma ISO 9241. O objetivo desta
seção é identificar os principais conceitos que influenciarão no desenvolvimento deste
trabalho, com base nos trabalhos de vários autores envolvidos nessa área.
O capítulo 3 apresenta uma contextualização do estudo sobre avaliação de IHC,
abordando um entorno sobre os objetivos deste trabalho.
O capítulo 4 apresenta uma proposta para avaliação de IHC, que é o objetivo principal
desta dissertação.
No capítulo 5 está a descrição das conclusões do contexto apresentado.
Em seguida, estão as referências e os anexos.
15
2 FUNDAMENTAÇÃO TEÓRICA
2.1 Conceitos sobre IHC
Quando começou a ser difundido na área da informática, o conceito de interface
significou apenas o hardware e o software com o qual o ser humano e o computador podiam
se comunicar. No entanto, com a evolução desse conceito, foi introduzido nos estudos
abordagens que levam em consideração aspectos multidimensionais, tais como os cognitivos e
os emocionais do usuário durante a comunicação (ROCHA e BARANAUSKAS, 2000).
A partir desse conceito, surgiram novas interpretações a respeito dos aspectos que
englobam interfaces. Segundo Moran (1981), “a interface de usuário deve ser entendida como
sendo uma parte do sistema computacional com a qual uma pessoa entra em contato física,
perceptiva e conceitualmente”. Diante disso, Prates e Barbosa (2003, p. 246) complementam
que a dimensão física inclui os elementos de interface que o usuário pode manipular,
enquanto a dimensão perceptiva engloba aqueles que o usuário pode perceber. A dimensão
conceitual resulta de processos de interpretação e raciocínio do usuário, desencadeados pela
sua interação com o sistema, com base em suas características físicas e cognitivas, seus
objetivos e seu ambiente de trabalho.
Em seguida, é ilustrada uma representação gráfica de um modelo básico de interação
humano-computador (Figura 1):
16
Processo de Interação Humano-Computador
Figura 1 – O Processo de Interação Humano-Computador, segundo Prates e Barbosa (2003, p. 246)
No contexto do processo de interação humano-computador, segundo Preece et al
(1994), o objetivo de IHC é produzir sistemas utilizáveis e seguros, como também sistemas
funcionais. Para Preece et al (1994 apud Interacting with Computers, 1989, p. 3), essas metas
podem ser resumidas em desenvolver ou melhorar segurança, utilidade, efetividade,
eficiência, e usabilidade de sistemas no meio computacional. Nesse caso, para alcançar as
metas estabelecidas, é necessário que o processo de interação humano-computador passe por
um processo de avaliação, a fim de identificar possíveis problemas, bem como servir de
retroalimentação para o desenvolvimento.
2.2 Avaliação
No plano de uma avaliação de IHC, alguns conceitos são essenciais para seu
entendimento, sendo necessário esclarecer fundamentos sobre conceitos gerais de avaliação.
Do ponto de vista de Raupp e Reichle (2003), o processo de avaliação é uma ferramenta
capaz de aumentar a eficácia de projetos e programas, não importando em qual fase se
encontra e se o resultado das informações de uma avaliação pode:
17
a) Revelar problemas ocultos;
b) Confirmar suposições;
c) Retroalimentar a equipe do projeto sobre os efeitos das atividades implementadas;
d) Iluminar áreas quanto à necessidade de mudanças;
e) Convencer as pessoas sobre mudanças;
f) Habilitar a liderança de um projeto a prestar contas dos recursos obtidos;
g) Dar origem a uma cultura organizacional que preze a utilização da informação e a
melhoria continuada.
Para chegar aos resultados acima, um processo de avaliação deve atender a alguns
critérios, como: relevância, significância, validade, confiabilidade, objetividade e
pontualidade (Raupp e Reichle, 2003).
Seguindo esses conceitos, uma avaliação pode ser aplicada em qualquer momento da
etapa de um projeto, podendo ela, sempre, contribuir para um aperfeiçoamento. Mas, para um
bom resultado, deve-se escolher o tipo mais adequado em cada aplicação. Nesse seguimento,
Scriven (1996) relaciona as avaliações formativa e somativa, e Raupp e Reichle (2003),
acrescentam a este contexto a avaliação diagnóstica, como se descreve a seguir:
a) Avaliação formativa: comprova se as atividades estão sendo desenvolvidas de
acordo com o planejado, documenta como estão ocorrendo, aponta sucessos e
fracassos, identifica áreas problemáticas e faz recomendações que possam tornar o
programa mais eficiente;
b) Avaliação somativa: trabalha com a quantificação nos termos dos resultados
obtidos e converte-se no principal indicador de eficácia de um projeto, com o
objetivo de identificar melhorias seguindo decisões;
18
c) Avaliação diagnóstica: precede o desenho de um projeto, e, identifica um
problema e, como conseqüência, um projeto é desenhado para solucioná-lo.
Complementando, Nevo (1986) destaca os seguintes tipos de avaliações:
a) Psicológica ou sóciopolítica: esse tipo de avaliação é usado para informar os
avaliados sobre atividades especiais e motivar-lhes comportamentos desejáveis ou
promover relações públicas;
b) Exercício de autoridade: é exercida em organizações por pessoas que detêm
posição de poder e a quem é atribuído o privilégio de avaliar os subordinados,
demonstrando assim sua autoridade sobre eles.
Já, os dados coletados com base em uma avaliação podem ser quantitativos e
qualitativos, de acordo com Prates e Barbosa (2003); os dados quantitativos são os numéricos
e os qualitativos são os não-numéricos, como: observações, entrevistas, grupos de enfoque ou
similares, casos em que a narrativa substitui os dados numéricos. Esses dados podem ser
analisados através da análise preditiva ou interpretativa. A parte preditiva refere-se à análise
derivada de dados coletados de especialistas, e, a interpretativa representa os dados coletados
da interação do usuário com o sistema.
Em todo processo de avaliação deve ser verificada a sua consistência e validade. Então
é necessário conhecer parâmetros para identificar se uma avaliação teve seu êxito alcançado
ou não. Diante disso, Raupp e Reichle (2003) demonstram alguns critérios a serem seguidos,
referentes a:
a) Eficácia: que expressa o grau em que o projeto atinge os seus objetivos
específicos;
19
b) Eficiência: que é a menor relação possível entre custo e benefício para atingir os
objetivos de um projeto;
c) Impacto: que identifica o grau da eficiência com que o projeto está contribuindo
para o alcance do objetivo geral;
d) Sustentabilidade: que mede a capacidade de continuidade dos efeitos benéficos
alcançados após o término de um projeto;
e) Custo-efetividade: que é realizado através da comparação de formas alternativas
da ação para a obtenção de determinados impactos, com vistas a identificar ações
que atendem àqueles objetivos pelo menor custo.
De um modo geral, as avaliações são necessárias para responder a dúvidas no processo
de design e desenvolvimento de um produto, verificando se as idéias de um projetista são
realmente o que os usuários necessitam ou desejam e auxiliando na criação de um produto útil
e usável (ROCHA e BARANAUSKAS, 2000).
Segundo Rocha e Baranauskas (2000), a avaliação tem três grandes objetivos:
a) Avaliar a funcionalidade do sistema: o design do sistema deve permitir ao usuário
efetuar a tarefa pretendida de modo mais fácil e eficiente;
b) Avaliar o efeito da interface junto ao usuário: a facilidade com que se pode
aprender a usar o sistema; a atitude do usuário com relação ao sistema e identificar
áreas do design que sobrecarregam o usuário;
c) Identificar problemas específicos com o design: identificar aspectos do design
que, quando usados no contexto alvo, causam resultados inesperados ou confusão
entre os usuários.
Em síntese, os objetivos apresentados por Rocha e Baranauskas (2000) estão
20
relacionados com a qualidade de uso de um software, como apresentados na seção seguinte.
2.3 Conceitos sobre Qualidade de Uso
No dizer de Prates e Barbosa (2003), o conceito geral de qualidade de uso está
relacionado com a capacidade e a facilidade de os usuários atingirem suas metas com
eficiência e satisfação. E isso servirá para um usuário tomar a decisão de forma espontânea,
para o uso freqüente de um determinado sistema.
Alguns dos conceitos que envolvem a qualidade de uso estão identificados nas
próximas etapas.
2.3.1 Usabilidade
De acordo com Prates e Barbosa (2003, p.275 apud NIELSEN, 1993; PREECE et al.,
2002), a usabilidade é o conceito de qualidade de uso mais amplamente utilizado, relacionado
à facilidade e eficiência de aprendizado e de uso, bem como à satisfação do usuário.
De acordo com Cybis (2003 apud ISO 9241), usabilidade define-se como a
operacionalidade eficiente e agradável de um sistema interativo, para a realização das tarefas
de um usuário.
Por sua vez, Benyon (1993 apud WHITESIDE, BENNETT e HOLTZBLATT, 1988),
define usabilidade como uma coleção de técnicas para apoiar o gerenciamento de recursos,
com vistas ao desenvolvimento de interfaces de usuários e sistemas de computador.
Assim, a usabilidade está centrada no usuário, ou seja, as adequações terão de ser a
21
favor dele. Dentro deste contexto, existem fatores importantes a serem analisados, como
(PRATES e BARBOSA 2003 apud NIELSEN, 1993; PREECE et al.,2002):
a) Facilidade de aprendizado: relaciona-se ao tempo e esforço necessários para que
os usuários aprendam a utilizar uma determinada porção do sistema com
determinado nível de competência e desempenho;
b) Facilidade de uso: refere-se ao esforço cognitivo para interagir com o sistema e,
também, contornar erros cometidos durante a interação;
c) Eficiência de uso: serve para analisar se o sistema faz bem aquilo a que se destina;
d) Eficiência de produtividade: serve para avaliar se o usuário consegue fazer de
forma rápida e eficaz o que precisa fazer;
e) Satisfação do usuário: enfatiza a avaliação subjetiva do sistema feita por seus
usuários, incluindo emoções que possam surgir durante a interação;
f) Flexibilidade: considera quanto um sistema é capaz de acomodar idiossincrasias,
ou seja, se pessoas diferentes podem seguir caminhos distintos para um mesmo
objetivo;
g) Utilidade: refere-se à quantidade de funções necessárias que um sistema
disponibiliza para os usuários realizarem suas tarefas;
h) Segurança no uso: relaciona-se ao grau de proteção de um sistema contra
condições desfavoráveis para os usuários.
Os fatores acima relacionados comprovam a importância e abrangência da usabilidade.
Mas, para chegar aos resultados desejados, devem conhecer os tipos de problemas de
usabilidade.
Como descrito em Cybis (2003), os tipos de problemas referentes à usabilidade, que se
22
conhecem pela análise da sua natureza, são os seguintes:
a) Barreira: está ligado ao aspecto da interface com o qual o usuário se defronta,
sucessivas vezes, e não aprende a dominá-lo;
b) Obstáculo: está ligado ao aspecto da interface com o qual o usuário esbarra,
sucessivas vezes, e aprende a dominá-lo;
c) Ruído: o que há na interação, o qual é responsável pela diminuição do
desempenho em uma tarefa; sem se consistir nos aspectos de barreira ou
obstáculo.
Os problemas de usabilidade, causados pelo tipo de tarefa em que se manifestam, são
(CYBIS, 2003):
a) Principais: são aspectos da interface que comprometem a realização de tarefas
freqüentes ou importantes;
b) Secundários: são aspectos da interface que comprometem a realização de tarefas
pouco freqüentes ou pouco importantes.
Os tipos de problemas de usabilidade, no aspecto da interface, dependendo do tipo de
usuário que afetam, podem ser (CYBIS, 2003):
a) Gerais: quando atrapalham qualquer tipo de usuário durante a realização da tarefa;
b) De iniciação: que atrapalham o usuário novato ou de prática intermitente durante a
realização de sua tarefa;
c) Avançados: que atrapalham o usuário especialista durante a realização da tarefa;
d) Especiais: quando atrapalham usuários especiais, ou seja, os portadores de
deficiência.
23
Por fim, existem os problemas de usabilidade próprios de um aspecto da interface, os
ortogonais, relacionados ao sistema de classificação proposto, responsáveis pelos possíveis
efeitos de uma revisão de projeto equivocada, que são os (CYBIS, 2003):
a) Falsos: trata-se de enganos decorrentes da falta de experiência do avaliador ou de
deficiência em sua ferramenta de avaliação;
b) Novos: representam um obstáculo, conseqüente a uma revisão de usabilidade
equivocada.
Com a visualização dos problemas de usabilidade, será possível chegar a uma melhor
interação.
2.3.2 Comunicabilidade
A Comunicabilidade baseia-se na capacidade de os usuários entenderem o design da
mesma maneira como é entendido pelos projetistas, possibilitando-lhes interagir com o
sistema e transmitir, de maneira eficaz, as intenções projetadas.
Segundo de Souza et al. (2001), a comunicabilidade de um sistema é a propriedade de
transmitir ao usuário, de forma eficaz e eficiente, as intenções e princípios de interação que
guiaram o seu design. Da mesma forma, o objetivo da comunicabilidade é permitir que o
usuário, através da sua interação com a aplicação, seja capaz de compreender as premissas,
intenções e decisões tomadas pelo projetista durante o processo de design. Quanto maior o
conhecimento que o usuário, tem da lógica do designer que há na aplicação, maiores são suas
chances de conseguir fazer uso criativo, eficiente e produtivo da aplicação.
Em sistemas com alta comunicabilidade, os usuários são capazes de responder
24
(PRATES E BARBOSA 2003, p.249 apud DE SOUZA et al, 1999; PRATES ET AL, 2000b):
a) Para que o sistema serve;
b) Qual é a vantagem de utilizá-lo;
c) Como funciona;
d) Quais são os princípios gerais de interação com o sistema.
Assim, um projeto de interface, de concepção mais próxima do processo cognitivo do
usuário, pode ter maior eficiência na comunicabilidade.
2.3.3 Aplicabilidade
A qualidade dos sistemas que podem ser usados com sucesso em uma ampla variedade
de contextos, incluindo até mesmo aqueles em que o objetivo do usuário não é o objetivo
original concebido pelos seus designers, depende da sua utilidade na resolução de problemas
variados. Assim, Fischer (1998) define a aplicabilidade.
Dentro desse conceito, para Prates e Barbosa (2003), a aplicabilidade permite
determinar:
a) Quanto o sistema é útil para o contexto para o qual foi projetado;
b) Em que outros contextos o sistema pode ser útil.
Segundo Fischer (1998), a idéia é aumentar a participação do usuário nas decisões dos
sistemas, para que ele tenha um sistema mais aberto, e seja mais participativo, com maior
poder de decisão.
Nesse caso, uma boa aplicabilidade está relacionada com aplicações de um sistema
25
que sejam mais condizentes com a realidade de um usuário.
Diversos pesquisadores afirmam que é necessário desenvolver sistemas que ampliem
as capacidades dos usuários, em vez de tentar substituí-los, possibilitando que eles ajam de
forma mais inteligente e eficiente (PRATES e BARBOSA 2003 apud ADLER &
WINOGRAD, 1992).
A baixa qualidade de uso de sistemas pode trazer diversos problemas, destacados por
Prates e Barbosa (2003):
a) Requer treinamento excessivo;
b) Desmotiva a exploração;
c) Confunde os usuários;
d) Induz os usuários ao erro;
e) Gera Insatisfação;
f) Diminui a produtividade;
g) Não traz o retorno do investimento previsto.
Até aqui foram identificados alguns estudos sobre avaliação de IHC, que são
importantes questões para a próxima seção.
2.4 Avaliação de IHC
Conforme já explanado, o campo de IHC está relacionado à qualidade de um sistema
de computador, ou seja, à qualidade de uso de um software. Para medir essa qualidade, e
identificar possíveis problemas de interação, existem várias técnicas e métodos de diferentes
aspectos. Essas técnicas e métodos estão relacionados ao objetivo do contexto a ser avaliado,
26
havendo a necessidade de entender suas características, para aumentar a eficiência de uma
avaliação, como se exporá na próxima seção.
2.4.1 Interpretações sobre Avaliação de IHC
Iniciando alguns aspectos sobre as técnicas e métodos de avaliações de IHC, cujo
objetivo é conhecer problemas de interface de usuário, esta seção apresentará algumas
classificações das técnicas e métodos mais utilizados pelos principais autores da área.
Cybis (2003) classifica as técnicas como: prospectivas, diagnósticas
(preditivas/analíticas) e definitivas (objetivas/empíricas).
Nas técnicas prospectivas utiliza-se uma metodologia baseada na aplicação de
questionários e entrevistas com o usuário para avaliar sua satisfação em relação ao sistema e a
sua operação. Essas técnicas podem ser empregadas para auxiliar nas avaliações analíticas.
Enquanto as técnicas diagnósticas (preditivas/analíticas) baseiam-se em verificações e
inspeções de versões intermediárias ou acabadas de software, feitas por especialistas e nas
quais se dispensa a participação direta de usuários; como são as avaliações heurísticas e
inspeções ergonômicas, via checklists.
As técnicas definitivas (objetivas/empíricas) referem-se basicamente aos ensaios de
interação e às sessões com sistemas espiões, e contam com a participação direta de usuários.
Como exemplo têm-se as técnicas de ensaios de interação e sistemas de monitoramento.
Rocha e Baranauskas (2000) agrupam os métodos de avaliação da seguinte forma:
a) De inspeção de usabilidade: não envolve o usuário e pode ser usado em qualquer
27
fase do desenvolvimento de um sistema (ROCHA E BARANAUSKAS, 2000
apud WHITEFIELD et al, 1991);
b) Testes de usabilidade: métodos centrados no usuário, incluindo-se os métodos
experimentais ou empíricos, observacionais e técnicas de questionamento. Para o
uso desses métodos, faz-se necessária uma implementação (ROCHA E
BARANAUSKAS, 2000 apud WHITEFIELD et al, 1991);
c) Experimentos controlados: são experimentos de laboratório, em que, se define
uma hipótese a ser testada e todas variáveis de interesse são controladas. Os dados
coletados são analisados quantitativamente e os resultados são validados por
conhecimentos estatísticos (ROCHA E BARANAUSKAS, 2000 apud PREECE et
al, 1994; DIX et al, 1998);
d) Métodos de avaliação interpretativos: o objetivo neste é propiciar, aos designers,
um melhor entendimento sobre como os usuários utilizam os sistemas em seu
ambiente natural e como o uso destes sistemas se integra com outras atividades.
Geralmente, o usuário é atuante neste processo de avaliação. Os métodos deste
grupo incluem as avaliações participativa, conceitual e etnográfica (ROCHA E
BARANAUSKAS, 2000 apud PREECE et al, 1994; MONK et al, 1993;
GREENBAUM e KYING, 1991).
Em Nielsen e Mack (1994) encontra-se a seguinte classificação de avaliação:
a) Automática: a usabilidade é avaliada por softwares que comparam a interface e
suas especificações;
b) Empírica: a usabilidade é avaliada a partir da observação dos testes feitos com
usuários reais, sendo esta a forma de avaliação mais utilizada, é, porém, de custo
elevado;
28
c) Formal: a usabilidade é medida a partir de modelos e fórmulas e, é de difícil
aplicação, sendo problemática no caso de interfaces altamente interativas e
complexas;
d) Informal: a avaliação da usabilidade baseia-se em regras heurísticas e de
experiências, conhecimentos ou habilidades pessoais ou de grupos.
Na continuidade, serão descritos os principais métodos de avaliações de IHC.
2.4.2 Detalhamento dos Métodos de Avaliações de IHC
Devido à importância dos métodos de avaliação de IHC, faz-se necessário um
conhecimento detalhado dos principais métodos utilizados, a fim de se identificar a escolha de
acordo com o objetivo de cada avaliação, lembrando-se que pode ser utilizado mais de um
método em uma mesma avaliação. Esses métodos são classificados como analíticos e
empíricos, como será especificado nas próximas seções.
2.4.2.1 Métodos de Avaliação Analíticos
As avaliações analíticas são geralmente empregadas nas primeiras etapas da
concepção de interfaces humano-computador, permitindo verificar questões como a
consistência, a carga de trabalho e o controle do usuário sobre o diálogo proposto (CYBIS,
2003).
Prates e Barbosa (2003 apud Mack & Nielsen, 1994), ensinam que os métodos de
avaliação analíticos estão relacionados à inspeção de aspectos de uma interface de usuário
com base na usabilidade, e esclarecem sobre seus principais objetivos que são:
29
a) Identificar problemas de usabilidade: identificar, classificar e contar o número de
problemas de usabilidade encontrados durante a inspeção;
b) Selecionar os problemas quem devem ser corrigidos: após identificar os
problemas, a equipe de projeto deve reprojetar a interface para corrigir o maior
número possível de problemas. Os problemas a serem corrigidos são priorizados
de acordo com a gravidade do problema e o custo associado à correção.
As avaliações analíticas dispensam a participação direta de usuários nas avaliações e
inspeções, que se baseiam em verificações e inspeções de versões intermediárias ou acabadas
de softwares interativos, feitos pelos projetistas ou por especialistas em usabilidade.
2.4.2.1.1 Avaliação Heurística
As avaliações heurísticas representam um julgamento de valor sobre as qualidades
ergonômicas das interfaces e são realizadas por especialistas em ergonomia, que examinam o
sistema interativo e diagnosticam problemas que o usuário poderá ter em uma interação
(CYBIS et al, 1998);
Nesta dimensão Nielsen (2006) apresenta um conjunto básico de heurísticas:
a) De visibilidade do status do sistema: o sistema precisa manter o usuário
informado sobre o que está acontecendo, fornecendo-lhe um feedback dentro de
um tempo razoável;
b) De compatibilidade do sistema com o mundo real: O sistema deve falar a
linguagem do usuário, com palavras, frases e conceitos familiares a ele, em vez de
usar termos técnicos. Deve seguir convenções do mundo real, dando-lhe uma
30
informação numa ordem natural e lógica;
c) De controle e liberdade do usuário: os usuários escolhem, freqüentemente e por
engano, funções do sistema e precisam ter saídas de emergência claramente
marcadas, para abandonar a operação sem ter que percorrer um extenso diálogo,
possibilitando funções undo e redo;
d) De consistência e padrões: os usuários não precisam saber que diferentes palavras,
situações ou ações significam a mesma coisa. Devem seguir convenções de
plataforma computacional;
e) De prevenção de erro: é melhor projetar um design cuidadoso, no qual se previne
o erro antes dele acontecer, do que, uma boa mensagem de erro;
f) De reconhecimento em vez de lembrança: minimize o uso da memória do usuário,
disponibilizando objetos, ações e opções visíveis. O usuário, na passagem de uma
operação para outra não precisa lembrar-se da informação anterior. Instruções para
uso do sistema devem estar visíveis e facilmente recuperáveis, sempre que
oportuna;
g) De flexibilidade e eficiência de uso: aceleradores não vistos por usuários novatos
podem acelerar freqüentemente a interação de usuários especialistas, de modo que
o sistema possa suprir necessidades de usuários sem experiência e experientes.
Permitir a usuários experientes costurar ações, freqüentemente;
h) Do design estético e minimalista: diálogos não devem conter informação
irrelevante ou utilizada raramente. Toda unidade extra de informação, em um
diálogo, compete com as unidades pertinentes de informação, e diminui a
visibilidade relativa;
i) Para ajudar os usuários a reconhecer, diagnosticar erros e recuperar-se deles:
mensagens de erro devem ser expressas em linguagem clara (sem código)
31
indicando precisamente o problema e sugerindo uma solução;
j) Ajuda e documentação: embora seja melhor um sistema que possa ser usado sem
documentação, seria bom disponibilizar ajuda e documentação. Essas informações
devem ser fáceis de encontrar, focalizadas na tarefa do usuário, com uma lista de
passos concretos, e não muito extensas.
Portanto, para cada elemento de interface deve ser feita uma análise de sua
conformidade com cada uma das heurísticas apresentadas.
Já, a severidade de um problema de usabilidade consiste na combinação de três fatores
(NIELSEN, 2007):
a) Freqüência com que o problema acontece: se é comum ou raro?
b) Impacto do problema: será fácil ou difícil de solução caso aconteça?
c) Persistência do problema: o problema não é superado, ou, ele causa aborrecimento
constante?
Para medir a severidade de um problema, Nielsen (2007) sugere a seguinte escala:
a) 0 = eu não concordo que este seja um problema de usabilidade;
b) 1 = problema cosmético de usabilidade: não é necessário consertar o problema, a
menos que haja tempo disponível no projeto;
c) 2 = problema de usabilidade secundário (sem importância): o conserto deste
problema não deve ser prioritário;
d) 3 = problema de usabilidade principal (importante): o conserto deste problema é
de bastante prioridade;
e) 4 = problema catastrófico de usabilidade: é imperativo consertar este problema
32
antes que o produto seja liberado.
A seguir, as inspeções ergonômicas via checklists.
2.4.2.1.2 Inspeções Ergonômicas via Checklists
As inspeções ergonômicas via checklists são vistorias com base em listas de
verificação, para diagnosticar problemas de interface. Essas listas são usadas pelos
avaliadores como roteiro de princípios básicos, desejáveis em uma interface, para identificar
problemas, reduzir a subjetividade e custos. Como em uma lista já estão presentes
conhecimentos ergonômicos, não se faz necessária a aplicação destes questionários por
especialistas em usabilidade e ergonomia. A ferramenta ErgoList relaciona uma lista de
checklists, técnica de avaliação rápida, que se destina a apoiar a inspeção da interface e
descobrir seus defeitos ergonômicos mais explícitos. Essa lista contém os seguintes itens
(LABIUTIL, 2006):
a) Presteza: verifique se o sistema informa e conduz o usuário durante a interação;
b) Agrupamento por localização: verifique se a distribuição espacial dos itens traduz
as relações entre as informações;
c) Agrupamento por formato: verifique os formatos dos itens como meio de
transmitir associações e diferenças;
d) Feedback: avalie a qualidade do feedback imediato às ações do usuário;
e) Legibilidade: verifique a legibilidade das informações apresentadas nas telas do
sistema;
f) Concisão: verifique o tamanho dos códigos e termos apresentados e introduzidos
no sistema;
33
g) Ações mínimas: verifique a extensão dos diálogos estabelecidos para a realização
dos objetivos do usuário;
h) Densidade informacional: avalie a densidade informacional das telas apresentadas
pelo sistema;
i) Ações explícitas: verifique se é o usuário quem comanda explicitamente as ações
do sistema;
j) Controle do usuário: avalie as possibilidades do usuário controlar o encadeamento
e a realização das ações;
k) Flexibilidade: verifique se o sistema permite personalizar as apresentações e os
diálogos;
l) Experiência do usuário: avalie se usuários com diferentes níveis de experiência
têm iguais possibilidades de obter sucesso em seus objetivos;
m) Proteção contra erros: verifique se o sistema oferece as oportunidades para o
usuário prevenir eventuais erros;
n) Mensagens de erro: avalie a qualidade das mensagens de erro enviadas aos
usuários em dificuldades;
o) Correção de erros: verifique as facilidades oferecidas para que o usuário possa
corrigir os erros cometidos;
p) Consistência: avalie se é mantida uma coerência no projeto de códigos, telas e
diálogos com o usuário;
q) Significados: avalie se os códigos e denominações são claros e significativos para
os usuários do sistema;
r) Compatibilidade: verifique a compatibilidade do sistema com as expectativas e
necessidades do usuário em sua tarefa.
34
Com essas orientações é possível chegar a uma análise prática e ágil, possibilitando
uma avaliação com um baixo custo.
2.4.2.1.3 Percurso Cognitivo
O percurso cognitivo tem o objetivo de identificar problemas de usabilidade, para
avaliar a facilidade de aprendizado do sistema através da exploração do usuário, que se
justifica, para os usuários adquirirem conhecimento sobre novas características ou funções,
apenas quando requeridas em seu trabalho. Esse método examina principalmente (PRATES E
BARBOSA, 2003):
a) A correspondência entre a conceitualização de uma tarefa dos usuários e a dos
designers;
b) Escolha adequada ou não-adequada de termos ou do vocabulário utilizado;
c) Feedback adequado ou não, para os resultados de uma ação.
De acordo com Prates e Barbosa (2003), nessa avaliação é necessária, uma fase de
preparação para a definição de:
a) Hipóteses sobre os usuários e sobre o conhecimento que eles têm sobre a tarefa e a
interface;
b) Cenários de tarefas, construídos a partir de uma seleção de tarefas importantes e
freqüentes;
c) Seqüência correta de ações para completar cada tarefa, definida pelo projetista;
d) Proposta de design em papel ou protótipo ilustrando cada passo e indicando o
estado da interface antes e depois de cada passo.
35
Para o procedimento de uma execução dessa avaliação são relacionados os seguintes
passos (PRATES E BARBOSA, 2003):
a) O projetista apresenta uma proposta de design;
b) Os avaliadores constroem histórias sobre a interação de um usuário com a
interface, com base nos cenários de tarefas selecionados;
c) Os avaliadores simulam a execução da tarefa, efetuando uma série de perguntas
sobre cada passo;
d) Os avaliadores anotam pontos-chave, sobre os quais o usuário:
Precisa saber antes de realizar a tarefa;
Deve aprender ao realizar a tarefa.
São necessárias perguntas básicas, feitas pelos avaliadores, em cada passo das tarefas
as quais orientam para identificar problemas que poderiam ocorrer no processo de interação.
Algumas dessas perguntas são relatadas a seguir (PRATES E BARBOSA, 2003):
a) O usuário tentará atingir a meta correta?
Dada a decomposição de tarefa em subtarefas, o usuário saberá por onde
começar e qual é o próximo passo?
O que o usuário vai tentar fazer a cada momento?
b) O usuário perceberá que a ação correta está disponível?
Onde está o elemento de interface correspondente ao próximo passo?
Que ações a interface torna disponíveis?
c) O usuário associará o elemento de interface correto à meta a ser atingida?
O elemento de interface revela seu propósito e comportamento?
O usuário consegue identificar os elementos de interface?
36
d) Se a ação correta é tomada, o usuário perceberá que progrediu em direção à
solução da tarefa?
Como a interface apresenta o resultado de cada ação?
O resultado apresentado tem correspondência com o objetivo do usuário?
De acordo com as descrições das etapas do percurso cognitivo, seu conceito baseia-se
em um processo em que os usuários aprendem por tentativas e sem treinamento, sendo de
fácil uso e de baixo custo.
Na continuação são destacados os métodos de avaliação empíricos.
2.4.2.2 Métodos de Avaliação Empíricos
As avaliações empíricas são métodos baseados em experiências que se relacionam
basicamente aos ensaios de interação e a monitoramentos (sistemas espiões). Geralmente essa
técnica envolve a participação de usuários na coleta de dados, dados que são diagnosticados
por especialistas, a fim de identificar problemas de usabilidade e comunicabilidade. As
próximas seções relatam as principais avaliações empíricas.
2.4.2.2.1 Ensaios de Interação ou Testes de Usabilidade
Os ensaios de interação consistem em uma simulação de uso do sistema da qual
participam pessoas representativas da sua população-alvo, que tenta fazer suas tarefas típicas,
com uma versão do sistema pretendido, sendo necessário um trabalho detalhado de
reconhecimento dos elementos envolvidos (CYBIS, 2003).
37
Na visão de Cybis (2003), para se ter uma noção da complexidade de cada teste, é
necessário fazer uma análise das seguintes características dos ensaios de interação:
a) O constrangimento é inerente aos testes e, portanto, algumas medidas devem ser
seguidas:
Esclarecer o usuário sobre o teste, enfatizando a finalidade do ensaio e da sua
participação;
Não pressionar os usuários a participar dos ensaios;
Não expor os usuários a comentários de colegas;
Caso o participante se sinta cansado ou constrangido diante de uma
determinada situação, é preferível parar a realização do ensaio de uma forma
tranqüila;
Os ensaios devem ser planejados cuidadosamente quanto à divulgação dos
resultados, evitando-se invadir a privacidade dos participantes, realizando-se
de preferência, uma coleta anônima.
b) Para uma melhor informação faz-se necessário que o usuário verbalize durante ou
após a interação com o software, onde se identifica:
Verbalização simultânea: é realizada durante o ensaio de interação, no qual o
analista deve controlar a verbalização de acordo com o que o usuário está
pensando, tentando fazer ou, lendo ou de acordo com a maneira como o
trabalho está sendo apresentado;
Verbalização consecutiva: é feita uma entrevista com o usuário no final do
ensaio de interação e, se necessário, pode-se repassar a gravação do vídeo que
registrou o teste.
c) O local do teste pode ser no ambiente usual da tarefa, ou em um laboratório:
38
Teste no local: é mais trabalhoso, mas pode trazer informações mais ricas por
estar no seu ambiente com as variantes do dia-a-dia, como, por exemplo, parar
para atender um telefonema, suportar pressão de superiores, entre outras;
Teste em laboratório: deve ser equipado com recursos e aparelhos sofisticados,
que permitiam observar a interação humano-computador de forma contínua,
possibilitando ao analista maior controle da situação. Para softwares na fase de
concepção, este tipo pode ser mais viável, pois o analista pode testar uma
função, fazer correções e testar o sistema.
d) Registro e coleta de dados: é recomendado utilizar câmeras de vídeo para o
registro de tudo, sem filmar o rosto do usuário, realizando o ensaio da forma mais
conveniente para o usuário e em local e horário que lhe seja mais favorável.
Para a montagem de um ensaio de interação contam-se várias etapas, desde a análise
preliminar até a realização dos ensaios. Neste contexto Cybis (2003) descreve as etapas como
seguem:
a) Na etapa de análise preliminar os especialistas tomam conhecimento da
composição do software, realizando duas fases:
Reconhecimento de software: faz-se uma entrevista com a equipe que
desenvolveu o software, abrangendo questões como a população-alvo do
software, o tipo de tarefa que o software visa atender, as funções principais do
produto, quantas pessoas foram envolvidas no desenvolvimento e se houver
ergonomistas, o tempo de desenvolvimento, o ambiente de programação do
sistema, as versões, a situação na área comercial e também sobre o suporte;
Pré-diagnóstico: pode ser obtido através de uma técnica de avaliação do tipo
heurística ou checklists para inspeção ergonômica, de que resulta um conjunto
39
de hipóteses sobre problemas de usabilidade que serão testados nos ensaios de
interação.
b) Nesta fase são definidos os scripts, os cenários e a amostra de usuários, a saber:
Reconhecimento do perfil do usuário: os projetistas selecionam as pessoas
(público-alvo), que poderão vir a participar dos ensaios;
Coleta de informações sobre o usuário e sua tarefa: o analista deve elaborar
questionários destinados a buscar os dados de uma amostra de usuários. Estes
questionários devem conter os dados a respeito dos recursos disponíveis, do
contexto da tarefa, do nível dos usuários, da utilização do sistema;
Definição dos scripts de tarefas para os ensaios: um script nasce a partir da
combinação dos parâmetros levantados, como os objetivos principais do
software, as hipóteses dos ergonomistas, as amostras de tarefa dos usuários, a
funcionalidade do sistema considerada mais e menos importante pelo usuário
e, também, as operações mais freqüentes do usuário.
c) Enfim, a realização dos ensaios deve durar no máximo 1 hora, com a participação
do usuário, de 1 ou 2 ergonomistas observadores e de 1 assistente técnico
responsável pelo funcionamento dos equipamentos. Os ensaios são controlados
pelos ergonomistas que devem planejar como proceder nos casos de interrupções,
retomadas e encerramento precoce do teste e, também, fazer anotações em tempo
real sobre o desempenho do usuário, erros e incidentes. Na seqüência
complementa-se a caracterização desta etapa:
Obtenção da amostra dos usuários: é necessário selecionar alguém da amostra
de usuários que realiza efetivamente as tarefas dos scripts, e que seja
experiente na tarefa, alguém que realmente exerça suas atividades com o
40
auxílio do software, separando novatos de experientes.
Ajustes nos scripts e cenários: com cada participante deve ser realizada uma
nova entrevista para buscar informações visando os ajustes nos scripts e
cenários.
Planejamento dos ensaios: envolve a tomada de decisão e a adoção de
providências relativas ao local dos ensaios, ao equipamento para registro dos
acontecimentos, à escolha das técnicas de verbalização e à definição das
estratégias de intervenção, em caso de impasse. Para lidar com as situações,
sugere-se deixar o usuário tentar resolver sozinho qualquer tarefa, nunca ser
grosseiro, propor ao usuário a realização de uma tarefa alternativa na
persistência do impasse, e, caso os usuários se encontrem constrangidos ou
nervosos, os ensaios devem ser interrompidos.
Análise e interpretação dos dados obtidos: a equipe de analistas deve rever
todas as gravações buscando dados relevantes que comprovem ou não as
hipóteses estabelecidas. Os resultados são relatados e entregues aos projetistas
do sistema, com a descrição dos incidentes havidos durante a interação,
relacionando-os com um aspecto do software e, também, definindo a
prioridade dos problemas.
Conclui-se que a utilização da técnica de ensaios de interação, por utilizar a
participação direta do usuário, se mostra capaz de identificar problemas específicos referentes
à realização das tarefas que por outras técnicas não se conseguem identificar. Esta técnica
pode utilizar uma série de outras técnicas, como entrevistas, questionários, checklists,
sistemas espiões que, em conjunto, caminham para um diagnóstico final que busca a
satisfação do usuário.
41
2.4.2.2.2 Sistemas de Monitoramento ou Espiões
Cybis (2003), diz que os sistemas de monitoramento são softwares “espiões” que
permanecem na máquina do usuário simultâneos ao aplicativo em teste, os quais capturam e
registram aspectos das interações do usuário com seu aplicativo em sua própria realidade de
trabalho. A quantidade de dados registrados pode tornar-se muito grande, e, devendo dessa
forma a duração dos testes ser bem planejada pelos analistas.
Esta técnica não causa constrangimento ao usuário e ao mesmo tempo captura as
interferências causadas por sua realidade de trabalho. Na parte negativa, constata-se que não
há como incentivar ou registrar as verbalizações dos usuários que apresentam limitações de
ordem técnica, relacionadas principalmente à portabilidade das ferramentas de espionagem.
Assim, um sistema de monitoramento pode auxiliar outras técnicas de avaliações,
contribuindo para um melhor resultado de uma avaliação.
A abordagem dos próximos parágrafos, será feita sobre os testes focados na
usabilidade e comunicabilidade.
2.4.2.3 Testes Focados na Usabilidade e Comunicabilidade
Para testar a usabilidade, são envolvidas as seguintes questões: facilidade de
aprendizado e uso, eficiência de uso e produtividade, satisfação, flexibilidade, utilidade e
segurança. Dessa forma, objetiva-se quantificar o desempenho do usuário. Para a preparação
do teste, devem ser definidos os limites mínimos aceitáveis, os máximos possíveis e, também,
o valor almejado para a medida do projeto (PRATES E BARBOSA, 2003).
42
Cybis (2003), define que se deve propor a elaboração de um plano de testes de
usabilidade, cuja composição será uma seqüência estruturada de avaliação, com base nos
objetivos a serem atingidos, como se relata a seguir:
a) Constatar, observar e registrar, problemas efetivos de usabilidade durante a
interação;
b) Calcular métricas objetivas para eficácia, eficiência e produtividade do usuário na
interação com o sistema;
c) Diagnosticar as características do projeto que provavelmente atrapalhem a
interação por estarem em desconformidade com padrões implícitos e explícitos de
usabilidade;
d) Prever dificuldades de aprendizado na operação do sistema;
e) Prever os tempos de execução de tarefas informatizadas;
f) Conhecer a opinião do usuário em relação ao sistema;
g) Sugerir as ações de re-projeto mais evidentes em face dos problemas de interação
efetivos ou diagnosticados.
O objetivo da comunicabilidade é revelar qualitativamente as falhas de comunicação
potenciais, que podem ocorrer durante a interação.
Segundo Prates e Barbosa (2003), a análise dos dados é dividida em 3 passos:
a) Etiquetagem: o avaliador deve identificar as rupturas da interação, por meio de um
conjunto de expressões, com o objetivo de ser o conjunto mínimo capaz de
caracterizar suficientemente as rupturas de interação que acontecem durante o uso
de uma aplicação. Estas expressões são relacionadas com o usuário, como
caracterizadas a seguir:
43
Onde está? O usuário sabe o que deseja executar, mas não o encontra de
imediato;
E agora? O usuário não sabe o que significa e procura descobrir qual é o seu
próximo passo;
O que é isto? O usuário não sabe o que significa um elemento na interface;
Epa! O usuário realizou uma ação indesejada e percebe imediatamente;
Onde estou? O usuário efetua operações que são apropriadas para outros
contextos, e não para o atual;
Assim não dá! O usuário efetuou uma seqüência longa de operações, antes de
perceber que estava seguindo um caminho improdutivo;
Por que não funciona? A operação efetuada não produz o resultado esperado,
mas o usuário não entende;
Ué, o que houve? O usuário não entende a resposta dada pelo sistema para a
sua ação;
Para mim está bom... O usuário acha equivocadamente que concluiu uma
tarefa com sucesso;
Desisto. O usuário não consegue fazer a tarefa e desiste;
Vai de outro jeito. O usuário não consegue realizar a tarefa como o projetista
gostaria, e resolve seguir outro caminho;
Não, obrigado. O usuário já conhece a solução preferencial do designer, mas
opta por uma outra forma de interação;
Socorro! O usuário não consegue realizar sua tarefa.
b) Interpretação: o avaliador deve associar as expressões identificadas a
classificações de problemas de interação ou diretrizes de design. Como exemplo
veja-se a seguinte classificação genérica dos problemas:
44
Execução: o usuário não consegue atingir o objetivo;
Navegação: o usuário se perde durante a interação;
Atribuição de significado: o usuário não é capaz de atribuir um significado
relevante a signos da interface;
Percepção: o usuário não consegue perceber alguma resposta ou estado do
sistema;
Incompreensão de affordance: o usuário não entende uma solução oferecida
pelo designer e executa de uma forma mais complicada;
Recusa de affordance: o usuário entende a solução principal oferecida, mas
escolhe outra.
c) Perfil semiótico: neste passo o especialista interpreta a etiquetagem e tabulação
realizada nos passos anteriores, tentando reconstruir a meta-mensagem que é
transmitida pelo designer ao usuário através da interface. Assim, este passo
acrescenta à avaliação os problemas identificados, podendo fazer considerações
sobre possíveis premissas de design e conhecimentos táticos.
Abaixo é apresentada uma tabela de associação entre expressões e classes de
problemas (Tabela 1):
45
Tabela 1. Associação entre expressões e classes de problemasAssociação entre expressões e classes de problemas
Problemas de Interação
Expressão de Comunicabilidade
Execução Navegação Atribuição de significado
Percepção Incompreensão de affordance
Recusa de affordance
Onde está? X E agora? X X X O que é isto? X Epa! X X Onde estou? X X X Assim não dá. X X X Por que não funciona?
X X
Ué, o que houve? X X Para mim está bom. X X Não, dá. X Vai de outro jeito X Não, obrigado. X Socorro! X X X Fonte: Prates e Barbosa (2003)
Após alguns aspectos e tipos de técnicas no campo de avaliação de IHC, a próxima
etapa enriquece este estudo com noções sobre medidas da norma ISO 9241.
2.5 Avaliação de Interfaces segundo a Norma ISO 9241
A norma ISO 9241-11 de 1998, de acordo com ISO (2007), foi criada pela
International Standard Organization e consideradas como requisitos ergonômicos para
trabalho de escritórios com computadores. Essa norma objetiva promover a saúde e a
segurança de usuários de computadores, garantindo eficiência e conforto, e descreve os
benefícios de medir usabilidade em termos de desempenho e satisfação do usuário,
considerando o contexto de uso: usuários, tarefas, equipamentos, ambiente físico e social,
possibilitando que os usuários alcancem seus objetivos e satisfaçam suas necessidades.
As definições dos termos que envolvem a norma ISO 9241-11 são descritas como
46
segue (ISO, 2007):
a) Usabilidade: é a medida na qual um produto pode ser usado por usuários
específicos para alcançar objetivos específicos com eficácia, eficiência e
satisfação em um contexto específico de uso;
b) Eficácia: está ligada à acurácia e completude com as quais os usuários alcançam
objetivos específicos;
c) Eficiência: relaciona-se com o nível de eficácia alcançada no consumo de recursos
relevantes, como esforço mental ou físico, tempo, custos materiais ou financeiros;
d) Satisfação: tem a ver com o conforto e com atitudes positivas em relação ao uso
de um produto, podendo ser medida pela avaliação subjetiva em escalas de
desconforto experimentado, gosto pelo produto, satisfação com o uso do produto
ou aceitação da carga de trabalho, quando da realização de diferentes tarefas, ou a
extensão dos objetivos de usabilidade que foram alcançados;
e) Contexto de uso: refere-se a usuários, tarefas, equipamentos (hardware, software e
materiais) e ao ambiente físico e social no qual um produto é usado;
f) Sistema de trabalho: envolve o sistema, composto de usuários, equipamento,
tarefas e o ambiente físico e social, com o propósito de alcançar objetivos
específicos.
Com esses termos, a ISO (2007) traz uma estrutura de usabilidade, ilustrado na Figura
2:
47
Estrutura de Usabilidade
eficácia
tarefa
ambiente
equipamento
usuário
produto
eficiência
satisfação
objetivos
Contexto de uso
resultadopretendido
Usabilidade: medida na qual objetivos são alcançados com eficácia, eficiência e satisfação.
Medidas de usabilidade
resultadode uso
Figura 2 – Estrutura de Usabilidade (ISO, 2007).
Na especificação de usabilidade devem descrever os objetivos pretendidos e os
componentes do contexto de uso como usuários, tarefas, equipamento e ambientes,
detalhando-se os aspectos que influenciam a usabilidade e, descrevem-se, também os valores
reais ou desejados de eficácia, eficiência e satisfação para o objetivo do contexto que são
necessários.
Segundo ISO (2007), no campo de usabilidade, é necessário ter as medidas de
eficácia, eficiência e satisfação, de acordo com o contexto de uso e das propostas. O nível de
detalhes de cada medida dependem dos objetivos das partes envolvidas na medição, devendo
ser considerada a importância relativa de cada medida para os objetivos. Essas medidas
podem ser especificadas para objetivos globais ou para objetivos menores. Um exemplo de
objetivos globais é ilustrado na Tabela 2.
48
Tabela 2. Exemplo de Medidas de Usabilidade Medidas de Usabilidade Objetivos de Usabilidade
Medidas de Eficácia
Medidas de Eficiência
Medidas de satisfação
Usabilidade global
Porcentagem de objetivos alcançados; Porcentagem de usuários que completam a tarefa com sucesso; Média da acurácia de tarefas completadas.
Tempo para completar uma tarefa; Tarefas completadas por unidade de tempo; Custo monetário de realização da tarefa.
Escala de satisfação; Freqüência de uso; Freqüência de reclamações
Fonte: ISO (2007)
Porém, podem ser necessárias algumas medidas adicionais para propriedades
particulares do produto que contribuam para a usabilidade, conforme a Tabela 3:
49
Tabela 3. Exemplo de Medidas para Propriedades Desejáveis do Produto. Medidas para Propriedades Desejáveis do Produto Objetivos de Usabilidade
Medidas de Eficácia
Medidas de Eficiência
Medidas de satisfação
Adequados às necessidades de usuários treinados
Número de tarefas importantes realizadas; Porcentagem de funções relevantes usadas
Eficiência relativa comparada com um usuário experiente
Escala para satisfação com características importantes
Adequados às necessidades para usar facilmente
Porcentagem de tarefas completadas com sucesso na primeira tentativa
Tempo gasto na primeira tentativa 1) ; Eficiência relativa na primeira tentativa
Taxa de uso voluntário
Adequados às necessidades para uso não-freqüente ou intermitente
Porcentagem de tarefas completadas com sucesso depois de um período específico sem uso
Tempo gasto reaprendendo funções 1) ; Número de erros persistentes
Freqüência de reuso
Redução de necessidade de suporte
Número de referências para documentação; Número de chamadas ao suporte; Número de acessos para obter ajuda
Tempo produtivo 1) ; Tempo para aprender por critério 1)
Escala para satisfação com recursos de apoio
Facilidade de Aprender
Número de funções aprendidas; Porcentagem de usuários que conseguem aprender por critério
Tempo para aprender por critério 1) ; Tempo para reaprender por critério 1) ;
Escala para facilidade de aprendizado
Tolerância a erros
Porcentagem de erros corrigidos ou apresentados pelo sistema; Número tolerado de erros do usuário
Tempo gasto na correção de erros
Escala para verificar erros
Legibilidade Porcentagem de palavras lidas corretamente em uma distância normal de visualização
Tempo para ler corretamente um número especificado de caracteres
Escala para desconforto visual
1) Convém que nesses exemplos os recursos sejam medidos em relação a um nível especificado de eficácia. Fonte: ISO (2007)
De acordo com ISO (2007), as medidas de usabilidade dependem dos requisitos do
produto e das necessidades da organização. Os objetivos de usabilidade podem ser: primários,
menores, ou secundários, em que, determinar objetivos menores pode permitir uma avaliação
antecipada no processo de desenvolvimento. Em relação aos critérios, estes podem reduzir-se
ao menor nível aceitável, ou para o nível esperado de usabilidade, e seus valores para um
grupo de usuários podem ser uma média, para todos indivíduos ou para uma porcentagem de
usuários, tomando-se cuidado para que seja dado o peso apropriado para cada item de medida.
50
Uma outra fonte de informações importante sobre ergonomia são os critérios
estabelecidos pelos pesquisadores Bastien e Scapin (1993), descritos na seguinte seção.
2.6 Critérios Ergonômicos segundo Bastien e Scapin
Os critérios ergonômicos é um conjunto de qualidades ergonômicas que auxiliam nas
avaliações de IHC, para verificação de possíveis problemas. Esses critérios foram definidos
por Bastien e Scapin (1993), e são formados por oito divisões. Tais critérios representam as
características mínimas que um sistema interativo deve ter para apresentar um nível razoável
de usabilidade. As divisões junto com as subdivisões dos critérios relacionados nas próximas
etapas são definidas por Bastien e Scapin (1997).
2.6.1 Condução
A condução refere-se aos meios disponíveis para aconselhar, orientar, informar e
conduzir o usuário na interação com o computador, por exemplo: mensagens, alarmes,
rótulos, etc. São necessários quatro critérios:
a) Presteza: relaciona-se com as informações que permitem ao usuário identificar o
estado ou contexto no qual se encontra, bem como as ferramentas de ajuda e o
modo de acesso, incluindo-se os mecanismos ou meios que permitem ao usuário
conhecer as alternativas, no que se refere a ações. Esse critério engloba os meios
utilizados para levar o usuário a realizar determinadas ações, como, por exemplo,
entrada de dados, na qual, sua finalidade é facilitar a navegação do aplicativo e
diminuir a ocorrência de erros;
b) Agrupamento/distinção de itens: diz respeito à organização visual dos itens de
51
informação, relacionados uns com os outros, mostrando se esses itens pertencem
ou não a uma classe, ou se indicam as diferenças entre as classes. Considera-se a
topologia e algumas características gráficas que podem indicar as relações entre os
itens, dependendo, da compreensão do usuário, entre outras coisas, da ordenação,
do posicionamento, e da distinção dos objetos de uma interface. Esse critério está
subdividido em outros 2 critérios elementares:
Agrupamento/distinção por localização: tem relação com o posicionamento
relativo dos itens, indicando as diferenças entre as classes, se os itens
pertencem ou não a uma determinada classe, e o posicionamento relativo dos
itens de uma classe;
Agrupamento/distinção por formato: está relacionado com as características
gráficas por exemplo, formato e cor e indicam se os itens pertencem ou não a
uma classe as distinções entre classes diferentes e as distinções entre itens de
uma classe.
c) Feedback imediato: a qualidade e rapidez do feedback são fatores importantes
para a satisfação e confiança do usuário. Esse critério diz respeito às respostas do
sistema às ações do usuário. Essas entradas podem ir do simples pressionar de
uma tecla até uma lista de comandos. As respostas do computador devem ser
fornecidas, de forma rápida, com um tempo de resposta condizente e consistente;
d) Legibilidade: no que tange às características cognitivas e perceptivas dos usuários,
a legibilidade diz respeito aos aspectos lexicais das informações apresentadas na
tela, que possam dificultar ou facilitar a leitura desta informação. Citam-se como
exemplo: brilho do caractere, contraste entre letra e fundo, tamanho da fonte,
espaçamento entre palavras, espaçamento entre linhas, espaçamento de parágrafos,
comprimento da linha, entre outros.
52
2.6.2 Carga de Trabalho
A carga de trabalho diz respeito a todos elementos da interface que têm um papel
importante na redução da carga cognitiva e perceptiva do usuário e no aumento da eficiência
do diálogo, e comporta:
a) Brevidade: corresponde ao objetivo de limitar a carga de trabalho de leitura e
entradas e o número de passos, com base na carga de trabalho perceptiva e
cognitiva, para as entradas e saídas ou para os conjuntos de entradas. Esse critério
supõe duas qualidades:
Concisão: diz respeito à carga perceptiva e cognitiva de saídas e entradas
individuais, e por definição não se refere às mensagens de erro e feedback;
Ações mínimas: procura-se limitar o número de passos pelos quais o usuário
deve passar para a realização de uma tarefa, tentando diminuir a carga de
trabalho e a probabilidade de ocorrência de erros.
b) Densidade informacional: essa qualidade relaciona-se com a carga de trabalho do
usuário, de um ponto de vista perceptivo e cognitivo, com relação ao conjunto
total de itens de informação apresentados aos usuários, e não ao item individual,
objetivando minimizar a carga de memorização.
2.6.3 Controle Explícito
O controle explícito refere-se tanto ao processamento das ações do usuário pelo
sistema, quanto ao controle que os usuários têm do processamento de suas ações pelo sistema,
e subdivide-se em dois critérios:
53
a) Ações explícitas do usuário: referem-se às relações entre o que se processa pelo
computador e as ações do usuário, devendo, o computador processar somente
aquelas ações solicitadas pelo usuário e somente quando solicitado a fazê-lo.
Dessa forma, o usuário aprende e entende melhor o funcionamento da aplicação,
ficando menos sujeito a erros;
b) Controle do usuário: os usários devem estar sempre no controle do sistema, ou
seja, eles podem interromper, cancelar, suspender e continuar uma determinada
ação. E cada ação possível do usuário deve ser antecipada, e disponibilizadas
opções apropriadas. Assim, o computador se torna mais previsível.
2.6.4 Adaptabilidade
A adaptabilidade de um sistema diz respeito a sua capacidade de reagir conforme o
contexto e conforme as necessidades e preferências do usuário. Dois subcritérios constam na
adaptabilidade:
a) Flexibilidade: corresponde aos meios colocados à disposição do usuário que
permitem personalizar a interface levando-se em conta as exigências da tarefa, de
suas estratégias ou seus hábitos de trabalho com vistas a possibilitar ao usuário
várias maneiras para alcançar seu objetivo;
b) Consideração da experiência do usuário: a interface deve ser concebida para lidar
com as variações dos níveis de experiência, de novatos a experientes. Através dos
meios implementados, as opções possíveis do sistema devem ser mostradas de
maneiras diferentes, de acordo com o tipo de usuário.
54
2.6.5 Gestão de Erros
A gestão de erros compreende todos os mecanismos que permitem evitar ou reduzir a
ocorrência de erros e, quando eles ocorrem, favorecer sua correção. Os erros são aqui
considerados como entradas de dados incorretos, entradas com formatos inadequados,
entradas de comandos com sintaxes incorretas etc. Três subcritérios participam da
manutenção dos erros:
a) Proteção contra os erros: refere-se aos mecanismos empregados para detectar e
prevenir os erros de entradas de dados ou comandos, ou possíveis ações de
conseqüências desastrosas e/ou não sanáveis;
b) Qualidade das mensagens de erros: fundamenta-se na pertinência, legibilidade e
exatidão da informação dada ao usuário sobre a natureza do erro cometido e sobre
as ações que se devem executar para corrigi-lo. Este critério favorece o
aprendizado do sistema indicando ao usuário a razão ou a natureza do erro
cometido, o que ele fez de errado, o que ele deveria ter feito e o que ele deve
fazer;
c) Correção dos erros: diz respeito aos meios colocados à disposição do usuário com
o objetivo de permitir a correção de seus erros para tornar mais ágil essa correção.
2.6.6 Consistência
O critério da consistência, também chamado de homogeneidade ou coerência, refere-
se à forma pela qual as escolhas, na concepção da interface, são conservadas idênticas em
contextos idênticos, e diferentes em contextos diferentes. Essas escolhas podem ser códigos,
denominações, formatos, procedimentos etc.
55
2.6.7 Significado dos Códigos e Denominações
O significado dos códigos e denominações diz respeito à adequação entre o objeto ou
a informação apresentada ou pedida e sua referência. Códigos e denominações significativas
possuem uma forte relação semântica com seu referente. Termos pouco expressivos para o
usuário podem ocasionar problemas de condução podendo ele ser levado a fazer uma opção
errada.
2.6.8 Compatibilidade
A compatibilidade refere-se ao acordo que possa existir entre as características do
usuário, como: memória, percepção, hábitos, competências, idade, expectativas etc. As tarefas
por um lado, e por outro a organização das saídas, das entradas e do diálogo de uma dada
aplicação. Diz respeito também ao grau de similaridade entre diferentes ambientes e
aplicações.
2.7 Quanto à Escolha das Técnicas
Nas seções anteriores expressaram-se questões essenciais sobre as técnicas de
avaliações de IHC, mas não se pode esquecer que o sucesso de uma avaliação depende, e
muito, da escolha correta da técnica utilizada no contexto a ser avaliado.
Para a determinação de uma técnica de avaliação, faz-se necessário o entendimento do
objetivo particular de um ambiente a ser avaliado, considerando-se os recursos disponíveis e
as expectativas dos resultados da avaliação. Em Cybis (2003), são relatadas algumas
características importantes para a escolha de uma avaliação:
56
a) Efetividade: refere-se à quantidade de problemas sérios identificados - técnicas
indicadas: avaliação heurística e ensaios de interação;
b) Abrangência: refere-se à quantidade de problemas reais de todos os tipos
identificados – técnicas indicadas: inspeções por checklist e avaliação heurística;
c) Eficiência: é a razão da quantidade de problemas sérios identificados em, face da
quantidade de problemas reais identificados de todos os tipos – técnica indicada:
ensaios de interação;
d) Produtividade: refere-se à razão entre a quantidade de problemas reais de todos os
tipos identificados e a quantidade de recursos financeiros necessários;
e) Sistematização: para esta qualidade concorrem dois fatores igualmente
importantes: repetitividade e reproduzibilidade. A repetitividade relaciona-se à
medida pela qual os resultados produzidos pela técnica se repetem, quando o
mesmo avaliador examina o mesmo software algum tempo depois da primeira
avaliação. A reproduzibilidade está relacionada com a medida pela qual dois
avaliadores diferentes, examinando um mesmo software, produzem os mesmos
resultados – técnica indicada: inspeções por checklist;
f) Facilidade de aplicação: refere-se à qualidade da técnica que não exige formação
ou competências específicas para a realização da tarefa - técnica indicada:
inspeções por checklist;
g) Poder de persuasão: refere-se a qualidade da técnica de produzir resultados
capazes de convencer os projetistas da gravidade dos problemas de usabilidade
identificados – técnicas indicadas: ensaios de interação e avaliações heurísticas;
h) Poder de desobstrução – refere-se à qualidade da técnica produzir indicações de
melhorias na usabilidade dos sistemas.
57
Neste capítulo, foram descritas várias questões relacionadas ao campo de IHC, para
um melhor entendimento do estudo deste trabalho. O passo seguinte será contextualizar o
estudo sobre avaliação de IHC.
58
59
3 CONTEXTUALIZAÇÃO DO ESTUDO SOBRE AVALIAÇÃO DE IHC
Com a proliferação dos computadores, existe uma grande demanda pelo
desenvolvimento de interfaces intuitivas e amigáveis. Muitas pesquisas têm sido
desenvolvidas procurando avaliar propostas de interfaces. Apesar disso, é possível notar na
literatura trabalhos que tratam superficialmente o tema avaliação, quando não confundem
avaliação com a extração de dados.
Assim, com o objetivo de contribuir para o estudo da avaliação de interfaces é que
surgiu a motivação para o desenvolvimento do presente trabalho, dedicado a mostrar um
conjunto de procedimentos que constituem uma metodologia para avaliação de interfaces
humano-computador. Em seguida analisam-se alguns métodos de avaliação consagrados na
literatura.
O processo de interação humano-computador é multidimensinal e envolve vários
fatores, o que o torna complexo e difícil de formalizar. Apesar dessa dificuldade é preciso
traduzi-lo de forma pragmática e operacional. Diante dessa situação, o presente trabalho
inicia-se interpretando o processo de interação humano computador, para depois, através de
uma análise, elencar quais os atributos que maximizam este processo. Não há como avaliar
algo sem antes conhecer o que se está avaliando.
Neste contexto, o presente trabalho optou por interpretar a interação humano-
computador a analogia de que este funciona como um processo comunicacional. Para tanto,
inicia-se uma análise dos fundamentos epistemológicos que estabelecem a relação de
comunicação, ou seja, a relação entre um sujeito cognoscente e um objetivo cognoscível
veiculado através de uma interface humano computador.
60
De acordo com este conceito, a interface é um elemento de mediação entre o sujeito e
o objeto de conhecimento, podendo ser assim expressa (Figura 3):
Processo de Mediação entre Sujeito e Objeto As Raízes Epistemológicas
INTERFACE (MEDIAÇÃO)
SUJEITO COGNOSCENTE
OBJETO COGNOSCÍVEL
Figura 3 – O Processo de Mediação entre Sujeito Cognoscente e Objeto Cognoscível.
O processo de avaliar interfaces requer inicialmente a definição clara dos objetivos da
avaliação e em seguida criar situações factíveis de medição para posterior avaliação. A grande
preocupação deste trabalho reside no fato de que no processo de avaliação estão presentes
aspectos humanos tais como motivação, entendimento, compreensão, percepção, entre outros
que são de difícil classificação e mensuração.
Dentro desse processo, um fundamento importante é o entendimento da comunicação,
e nesse sentido Fernandes et al (1996) definem comunicação como efeito ou meio de
comunicar, e conceituam comunicar como: fazer saber, participar, transmitir, estabelecer
comunicação entre, corresponder-se. Nesse conceito, a comunicação é um meio de expressão.
Gomes (1988) nos ensina que o ser humano possui uma grande riqueza: a
comunicação. A semiologia se encarrega de estudar e compreender os signos que compõem
os diferentes tipos de linguagens usados na comunicação.
61
De acordo com Hoelzel (2004 apud MASER, 1975), são descritos dois tipos básicos
de comunicação: verbal e não-verbal. O tipo verbal é através da linguagem escrita ou oral, no
não-verbal insere-se, a comunicação visual constituído pelos recursos de ordem gráfica ou
pictórica. Abaixo expõe-se um esquema da comunicação (Figura 4):
Esquema Geral da Comunicação
RepertóriosEmissor
RepertóriosReceptor
Figura 4 – Esquema Geral da Comunicação (HOELZEL 2004 apud SHANNON e WEAVER, 1949).
Esse esquema identifica os elementos de uma comunicação e como se relacionam. A fonte da mensagem é construída por vários elementos (palavras, números, letras, pictogramas, cores, texturas, intermitências, entre outros) que são repertórios do emissor (REPE) expresso durante a comunicação por um sistema de regras que transforma informação em mensagem. Repertório e sistema de regras organizam a informação e formam a ‘linguagem’ do emissor. O receptor é o ponto de chegada da mensagem. Ele, por sua vez, também tem repertório (RepR) que, embora seja diverso do emissor, deve ter uma parte em comum a fim de que haja comunicação. A comunicação apenas se torna um fato quando o emitente e o recipiente têm domínio da mesma linguagem. Ao emitente cabe a codificação da mensagem que tem a intenção de transmitir, e ao recipiente, a decodificação com base numa mesma linguagem. Nessa interação, os ruídos são interferências que podem modificar os sinais ou a mensagem transmitidos pelo canal e impedir a comunicação efetiva e eficiente (HOELZEL, 2004).
Uma ilustração do processo comunicativo, que integra elementos cognitivos da
recepção do sinal e considera aspectos socioculturais, é apresentada por Hoelzel (2004 apud
PETTERSSON, 1982), na Figura 5:
62
Modelo de Comunicação
Figura 5 – Modelo de Comunicação (HOELZEL 2004 apud PETTERSSON, 1982).
Portanto, salienta-se a grande importância da comunicação em uma interação. Nesse
contexto, existem variáveis subjetivas que são difíceis de classificar ou medir, como por
exemplo o aprendizado, que envolve questões socioculturais e o tempo.
Como auxílio de uma avaliação de IHC, pode-se ainda contar com o estudo sobre a
teoria da atividade. De acordo com Hoelzel (2004 apud NARDI, 1997), esta teoria oferece um
quadro conceitual para descrever a estrutura, o desenvolvimento e o contexto de atividades
apoiadas por um computador, com os seguintes princípios:
a) Princípio da unidade entre consciência e atividade: a atividade e a interação
humana com sua realidade objetiva. A mente humana emerge e existe como um
63
componente especial de interação humana com o ambiente. É esse processo de
interação, que permite a atividade, a evolução e a sobrevivência num contexto.
Logo, a observação da atividade só tem sentido se contextualizada;
b) Princípio de orientação a objetos: foca a teoria da atividade para o ambiente com o
qual os seres humanos interagem. O ambiente é significativo para o ser que o
habita. O ambiente contém entidades que combinam várias características
objetivas, e pode determinar, em grande parte, como as pessoas agem sobre estas
entidades. Por outro lado, a forma, a organização e o uso dessas entidades, que
estão contidas no ambiente, também podem servir de indícios do comportamento
humano;
c) Princípio de estrutura hierárquica da atividade: os procedimentos humanos são
diferenciados em atividade, ação e operação, levando em conta os objetivos aos
quais estes procedimentos se orientam. É útil para prever o comportamento
humano em situações reais. São associados em três níveis: atividade, ação e
operação;
d) Princípios de internalização e externalização: descrevem os mecanismos básicos
da origem dos processos mentais. Internalização é o processo de absorção de
informação que ocorre a partir do contato com o ambiente, e externalização é
oposto à internalização, é a manifestação através dos atos, de forma que eles
possam ser verificados e analisados;
e) Princípio da mediação: a atividade humana é mediada por ferramentas externas e
internas. As internas, como mapas mentais e as heurísticas, as externas, como
computador, lápis, interfaces. As ferramentas são "veículos" da experiência social
e do conhecimento cultural. Pode-se inferir que elas apresentam uma função, uma
forma de uso, uma representação, eficiência e efetividade;
64
f) Princípio do desenvolvimento: entender o fenômeno significa conhecer como ele
se desenvolveu através do tempo até sua forma atual. Ao longo do tempo, o
trabalho sofre alterações as quais, compreendidas, possibilitam entender o estado
atual e as demandas de um novo desenho.
Com base nesses estudos, pode-se fazer uma análise dos fatores que envolvem a
comunicação em uma interação, de acordo com a codificação e decodificação da mensagem,
na qual são: icônicos, lingüísticos, cinéticos e sonoros (Figura 6).
Fatores de uma Interação X Comunicação
FATORES:
ICÔNICO
LINGUÍSTICO
CINÉTICO
SONOROS
Codifica mensagem:Código Comunicação
Codifica mensagem:Código Comunicação
Decodifica mensagem
Decodifica mensagem
Figura 6 – Fatores de uma Interação X Comunicação.
Até o presente momento foram apresentados modelos gerais de uma comunicação. Em
síntese, estes modelos são um meio essencial para identificar um problema de interface. A
importância desta parte do estudo está em identificar fatores não abordados por diversas
técnicas de avaliação de IHC. A aplicação dessas técnicas é uma parte do processo para uma
solução em IHC, mas não se pode esquecer que o processo em si começa com a detecção dos
problemas e com o estágio de formulação, com vistas a chegar no fim desejado, que é fazer
uma avaliação válida e fidedigna. Nesse contexto, faz-se necessário interpretar o processo de
interação, detectando suas fases, com o objetivo de encontrar soluções para as medidas que
são de difícil classificação e mensuração, e se representam de modo simbólico na Figura 7.
65
Interpretação do Processo de IHC
Figura 7 – Interpretação do Processo de IHC.
Conforme a Figura 7 pode-se conhecer como o usuário executa uma ação através de
uma interface, que recebe a codificação do objeto X, elaborada pelo designer. Essa
codificação chega ao usuário através de uma interpretação, que, até o seu destino final, passa
por um meio, representado por um filtro, o qual depende de variações baseadas em
características físicas, cognitivas e emocionais, em razão de aspectos como cultura, tempo, e
outros.
Em relação aos aspectos que envolvem o filtro de uma comunicação, Raupp e Reichle
(2003 apud CAMPBELL e STANLEY, 1966) relacionam os fatores mais comuns de
interferências e imperfeições encontradas na vida real:
Interface
interpretação
Filtro
Características: Físicas Cognitivas Emocionais
Ação
Designer
Codificação
Objeto X
Usuário
66
a) História: a influência dos acontecimentos do mundo exterior, por exemplo, uma
eleição, um desastre natural, a situação econômica e a mudança de liderança;
b) Maturação: tem a ver com o crescimento pessoal dos participantes ou
beneficiários, dissociado daquilo que está ocorrendo no projeto;
c) Instrumentação: a ameaça à credibilidade de uma avaliação também está ligada à
credibilidade dos instrumentos e procedimentos utilizados para a coleta de dados,
que devem ser válidos e confiáveis.
Com base na interpretação do processo de interação humano-computador, fica
evidente, a complexidade de classificar e mensurar os fatores envolvidos, mas, apesar disso,
deve-se procurar a solução mais próxima possível de um valor confiável em uma avaliação.
Essa solução poderá ser encontrada por meio das análises qualitativas e dos julgamentos das
situações, pelas quais se chega a dados quantificáveis. Essas análises devem estabelecer os
fatores envolvidos, bem como fornecer condições e prever situações que mostram como
mensurá-los de forma válida e fidedigna, subsidiando um processo de avaliação mais preciso
e menos subjetivo. É preciso definir cada atributo de modo inequívoco, objetivo e funcional,
esclarecendo como se manifesta. É preciso identificar comportamentos que reflitam níveis
diferentes de intensidade, ou seja, estabelecer indicadores e suas gradações. É necessário
montar escalas de mensuração marcando seus limites e entre eles os pontos que correspondem
aos graus de intensidade. A abordagem aprofundada sobre essas questões será apresentada na
proposta deste estudo, relacionada na seção seguinte.
67
4 UMA PROPOSTA PARA AVALIAÇÃO DE IHC
Como relacionado nos capítulos anteriores, existe uma série de trabalhos sobre
avaliação de interfaces humano-computador tais como o de Nielsen (2006 e 2007), o de
Bastien e Scapin (1997) ou mesmo o exposto na norma ISO-9241 (2007).
Apesar do esforço empreendido por muitos pesquisadores, é difícil encontrar na
literatura uma classificação clara e representativa dos métodos de avaliação de interfaces
humano-computador. Além disso, as propostas de avaliação apresentam baixa fidedignidade,
ou seja, quando o processo é replicado o resultado não é o mesmo. É bem verdade que é
preciso considerar que qualquer avaliação ou medida está sujeita a erro, mas este deve ser
controlado e estar dentro de padrões aceitáveis. O fato a se destacar é que os métodos
possuem grande carga de subjetividade em vários pontos, prejudicando a validade dos
métodos e por conseguinte a fidedignidade.
Diante desse problema, o presente trabalho apresentou, em capítulos anteriores, um
arcabouço teórico sobre o processo de avaliação que deve ser utilizado quando da avaliação
de interfaces. São questões básicas que são negligenciadas, ou mesmo desprezadas, mas não
podem faltar num processo de avaliação, se bem que, não aparecem na maioria dos métodos
utilizados.
Assim, com a preocupação de fornecer uma análise critica sobre a avaliação de
interfaces humano-computador, o presente trabalho propõe um conjunto de procedimentos
que devem ser realizados para minimizar a subjetividade da avaliação de interfaces, bem
como melhorar a precisão e exatidão dos resultados. Além disso, vale lembrar que avaliar não
é algo que ocorra aleatoriamente, requer fundamentação, pois se vale de técnicas e métodos
68
apropriados, apreciação segura da realidade, controle do erro e preocupação constante com a
exatidão e consistência, e ainda a validade e fidedignidade do processo. Em vista disso é que
o presente estudo vem dar uma contribuição, procurando mostrar que a avaliação de interfaces
humano-computador pode ser realizada respeitando-se esses princípios.
Para tanto, serão apresentados os requisitos que envolvem o processo avaliatório.
Após, será realizado um mapeamento desses requisitos para o processo de avaliação de
interfaces humano-computador, que resulta um delineamento que deve nortear a avaliação de
interfaces, para assim se chegar na análise dos métodos existentes, ou dos mais utilizados.
4.1 O processo de Avaliação
Como já visto, avaliação é o exame sistemático e objetivo de um projeto ou programa,
finalizado ou em curso, que contemple o seu delineamento, implementação e resultados, com
vistas à determinação do seu impacto, eficácia, eficiência e sustentabilidade (UNICEF, 1991).
A palavra avaliar a uma primeira vista está geralmente, relacionada com a idéia de
fazer juízo de valor em relação a alguma coisa, classificando-a como boa, suficiente, melhor
ou pior que outra. Pode-se dizer que avaliar é determinar até que ponto uma característica ou
fenômeno obedece a certos padrões desejados. Para se emitir um juízo de valor,
primeiramente é necessário conhecer bem aquilo que se está julgando. Em seguida é essencial
contar com um padrão de comparação, uma norma, um critério, que permita fazer
comparações (RAUPP e REICHLE, 2003).
O principal objetivo de uma avaliação é responder à seguinte pergunta:
A combinação de materiais, métodos, atividades, procedimentos, tarefas e pessoas
69
que formam um projeto ou programa leva aos objetivos propostos?
4.1.1 Classificação dos Métodos de Avaliação de Interfaces Humano-Computador
Avaliação não é uma atividade isolada e auto-suficiente, mas é parte do planejamento
de um projeto ou programa, que gera um processo de retro-alimentação, ou seja, cria a
possibilidade de retificar as ações e reorientá-las na direção do fim desejado.
Os métodos de avaliação de interfaces, podem basicamente podem ser classificados
segundo duas grandes linhas: analíticos/empíricos ou em relação ao papel do usuário no
processo de avaliação. A Figura 8 mostra um esquema de classificação para os métodos
quando classificados com base na experimentação e análise, como se vê abaixo:
Classificação de Métodos de Avaliação: experimentação e análise
Críticas Incidentes
Questionários
Monitoramento
Diagnósticode Uso
Figura 8 – Classificação de Métodos de Avaliação da Experimentação e Análise (OLIVER, 2001).
Já o esquema mostrado na Figura 9 mostra uma classificação baseada na participação
Método Cognitivo
Método de Otimização
Modelo de Tarefas
Modelo Lingüístico
Complexidade Cognitiva
Seleção de Alternativa
Avaliação Interativa
Banco de Testes
Métodos Informais
Testes de Concepção
Métodos Analíticos
Métodos Empíricos
Modelos Formais
Modelo Preditivo
Modelo de Qualidade
Especialistas
Planilha de Avaliação
Prototipagem
Engenharia de Avaliação Avaliação de
Interfaces Estação de Avaliação
Metodologia Geral
70
do usuário, como segue:
Classificação de Métodos de Avaliação: participação do usuário
Métodos Empíricos
Estimativa da Carga de Trabalho
Métodos Centrados no Usuário
Figura 9 – Classificação de Métodos de Avaliação em relação à Participação do Usuário (OLIVER, 2001).
4.1.2 Critérios para a Avaliação
Raupp e Reichle (2003) descrevem que, como em qualquer outra atividade, a
definição de critérios ou parâmetros que permitam dizer se um projeto ou programa teve ou
não êxito é um passo fundamental em um processo de avaliação.
Ao avaliar um projeto ou programa é necessário estabelecer critérios ou parâmetros
que, se atendidos, permitam dizer que o projeto teve sucesso. No caso de interfaces humano-
computador, esses parâmetros incluem: eficácia, eficiência, impacto (ou efetividade),
sustentabilidade e custo-efetividade.
4.1.3 Validade e Fidedignidade nos Delineamentos de Pesquisas de Avaliação
O processo avaliatório é valido quando suas conclusões são corretas. É fidedigno
Testes de Concepção
Métodos Centrados sobre uma Modelização de IHC
Métodos Centrados em Especialistas
Avaliação de
Interfaces Modelos Formais Preditivos
Avaliação Automática
Generalização Automática
Modelos Formais de Qualidade
71
quando seus resultados são replicáveis. Fidedignidade e validade são requisitos que se
aplicam tanto ao delineamento quanto à mensuração da pesquisa de avaliação. No nível do
delinea
in (1989) e Sykes (1990). Para este
estudo, a escolha abrange as seguintes classificações: validade interna, validade de constructo
e valida
Uma pesquisa de avaliação tem validade interna quando identifica relações causais
estratégias cujo o objeto é eliminar a ambigüidade e a
contradição. Quem queira afirmar que um evento foi causa de outro deverá estar apto a
descart
4.1.3.2 Validade de Constructo
Uma pesquisa de avaliação possui validade de constructo quando identifica ou nomeia
do, estabelecendo definições conceituais e operacionais
dos principais termos e variáveis do estudo, para que se saiba exatamente o que se quer
estudar
mento do processo de avaliação são examinadas as conclusões, e a pergunta é se estão
corretas e aplicáveis. No nível de mensuração são examinados os escores (resultados) ou
observações, e a pergunta é se são precisos e replicáveis.
Há muitas maneiras de classificar a validade de delineamentos de pesquisa de
avaliação, conforme explicam Cook e Campbell (1979), Y
de externa.
4.1.3.1 Validade Interna
com precisão, que garantem
ar as explicações rivais e demonstrar que sua conclusão é válida.
adequadamente as variáveis em estu
, medir ou descrever.
72
4.1.3.3 Validade Externa
aliação demonstra algo que é verdadeiro
para além dos estreitos limites do seu estudo. Se os resultados forem verdadeiros não apenas
para o
a pesquisa de avaliação fidedigna são replicáveis: as conclusões
podem ser generalizadas para além das condições especificas da pesquisa original. Para
demons
general
Há validade externa quando a pesquisa de av
momento, lugar e pessoas de um certo estudo, mas também o forem para outros
momentos lugares e pessoas, o estudo possuirá validade externa. Esta pode ser obtida pela
replicação da pesquisa, testando-se a coerência entre os achados do estudo e os resultados de
outras investigações semelhantes.
4.1.3.4 Fidedignidade
Os resultados de um
trar que a avaliação é fidedigna, é preciso demonstrar que ela pode ser repetida ou
replicada. Contudo, os pesquisadores raramente são recompensados por simplesmente repetir
uma pesquisa, seja sua ou de autor. Replicações fiéis são menos criativas e interessantes que
novas descobertas; conseqüentemente os investigadores acham difícil publicar trabalhos que
replicam uma pesquisa anterior ou receber reconhecimento por eles.
Replicar um resultado em uma situação diferente e com diferentes procedimentos é o
mesmo que demonstrar que uma pesquisa de avaliação tem validade externa e pode ser
izada para diferentes pessoas, lugares e condições. Replicações exatas de
procedimentos e resultados demonstram que os resultados são fidedignos. Replicações
conceituais de idéias e conclusões demonstram que a pesquisa tem validade externa.
73
4.1.4 Ameaças à Validade
Muitos fatores colocam em risco a validade interna de estudos de avaliação
experimentais, entre os quais destacam-se (AIRASIAN et al., 1977):
a) História: refere-se aos acontecimentos exteriores ao programa, método ou
atividade de investigar, ocorridos durante o processo de avaliação, alterando seus
resultados;
b) Maturação: é o desenvolvimento natural, biológico, psicológico ou sociológico,
que pode ocorrer durante o processo de avaliação;
c) Instabilidade: é a falta de fidedignidade das medidas que vai causar flutuações nos
escores, independentemente do programa, método ou atividade a ser em
estudados;
d) Testagem: diz respeito à influência da aplicação de um teste, em determinado
momento, sobre a aplicação posterior do mesmo teste;
e) Instrumentação: uma grande ameaça à credibilidade de uma avaliação são os
instrumentos e procedimentos utilizados para a coleta de dados. Para reduzir essa
ameaça é essencial estabelecer a validade e a confiabilidade das informações
coletadas;
f) Seleção: inclui aspectos tendenciosos, resultantes das diferenças entre os tipos de
indivíduos recrutados para compor amostras ou grupos;
g) Mortalidade experimental: consiste na perda de indivíduos em proporções
diferentes quando a avaliação se vale de comparação de amostras;
h) Regressão estatística: refere-se ao efeito decorrente da seleção de indivíduos com
base em escores extremamente baixos ou altos em determinados instrumentos de
74
medida. Os escores situados nos extremos de uma distribuição não são fidedignos
e no reteste observa-se, geralmente, que as pessoas que apresentam escores
extremamente altos passam a produzir resultados mais baixos e daí a regressão
em sentido descendente dos escores no teste; por outro lado, os que obtiveram
escores extremamente baixos passam a apresentá-los relativamente mais altos, e
daí a regressão em sentido ascendente. A falta de fidedignidade dos escores
situados nos extremos da distribuição causam por si mesmos modificações nos
resultados do reteste.
4.2 Requisitos do Processo de Avaliação
Avaliar é uma prática que permeia a vida humana; a todo instante avalia-se ou se é
avaliado. Ajuízam-se as características de objetos e pessoas, que são ditos como incomuns ou
vulgares, simples ou complicados, flexíveis ou rígidos, atraentes ou desinteressantes, e assim
por diante.
Embora medida e avaliação se complementem, elas guardam diferenças marcantes,
que é preciso observar. Na mensuração, verifica-se a extensão, a quantidade, a massa ou grau
de intensidade dos atributos de algum ser, comparando-se tais dados com determinada
grandeza, adotada como unidade. Na avaliação, as pessoas atribuem um valor ao observado,
conforme seus propósitos. O resultado na mensuração é um número igual para todos os
examinadores, já o resultado da avaliação representa uma tomada pessoal de posição diante
dos dados colhidos na realidade. Na avaliação há mais risco de erro que na medida, porque ela
exige o julgamento de valor. Cada pessoa percebe e interpreta a realidade de acordo com a
própria ótica que, por sua vez, depende da experiência de cada um. Dessa forma, as avaliações
75
refletem os quadros pessoais como referência. Daí a recomendação de apoiá-las o máximo
possível com fatos.
Dos dois processos, o mais complexo é a avaliação, porém ambos se subordinam aos
fins visados, que condicionam: o ângulo a que o observador se situa; a ordem de prioridade
dos valores que orientam o seu julgamento (quem avalia um quadro aprecia-o diferentemente
de quem o pintou, de quem quer comprá-lo ou vendê-lo), e o grau de precisão exigido da
medida.
Sabe-se que algo pode ser muito valioso para uma pessoa (certo emprego, por
exemplo no caso de quem depende inteiramente dele), mas secundário ou até indesejável para
a outra, que aspira situação melhor (ou já a tem assegurada). Assim, antes de avaliar uma
jóia, é preciso definir o que se pretende fazer dela para, a seguir, examinar os seus aspectos
materiais. O valor final que lhe será atribuído vai depender de tudo isso, mas também do
apreço que merece e da beleza nela percebida. Não raro o valor estimativo de um objeto
supera os dados desapaixonados da medida. Daí define-se a avaliação como o processo de
conferir valor a pessoas, objetos ou fatos, conforme se afigurem ao avaliador mais ou menos
importantes (pertinentes, necessários, adequados, úteis, etc.) para os fins visados.
Em razão disso, qualquer avaliação requer a explicitação prévia do seguinte:
a) Os propósitos visados, ordenados por seu grau de importância para o caso;
b) A definição funcional da característica a apreciar;
c) Os valores que deverão orientar os julgamentos traduzidos nos critérios a adotar;
d) A escala de propriedade desses valores ou, na prática, a hierarquização dos
critérios que presidirão o julgamento.
76
Diversamente do processo metódico da avaliação, a opinião situa-se em uma esfera de
intenso colorido afetivo, onde cada qual ouve somente o coração, e confia no seu próprio
parecer.
Com os requisitos estabelecidos, pode-se aplicá-los ao processo de avaliação de
interfaces humano-computador, pois é antes de qualquer coisa um processo de avaliação.
4.3 Definição da Proposta para Avaliação de IHC
O processo de avaliação possui certos requisitos e certamente estes não podem ser
desprezados no momento de avaliar uma interface. Nesse sentido podem ser definidas as
seguintes etapas para o processo de avaliação de interfaces humano-computador, formando
assim uma proposta de delineamento para avaliação:
a) Definição dos objetivos da avaliação;
b) Planejamento e definição do delineamento de avaliação;
c) Determinação dos atributos de qualidade segundo os objetivos propostos;
d) Determinação dos pesos dos atributos;
e) Determinação de indicadores quantificáveis e mensuráveis para os atributos
previamente estabelecidos;
f) Determinação dos pesos dos indicadores;
g) Determinação dos instrumentos de medida dos indicadores;
h) Determinação da validade, fidedignidade e calibração dos instrumentos de
medida;
i) Determinação das escalas de referência;
j) Validação do delineamento de avaliação;
77
k) Avaliação.
4.3.1 Definição dos Objetivos da Avaliação
A definição precisa dos objetivos facilita o processo de avaliação. É com a definição
dos objetivos que se construirá o design do processo de avaliação, bem como os atributos que
deverão ser considerados. A avaliação pode ser desenhada para comparar desempenho, fazer
prognósticos, para prospecção de uma determinada linha de raciocínio, entre outras.
4.3.2 Planejamento e Definição do Delineamento da Avaliação
Aqui chama-se de delineamento o design, o planejamento da situação de avaliação. O
delineamento deve contemplar os objetivos de forma a criar situações que permitam a sua
verificação. Além disso, é preciso que o planejamento das situações de avaliação também
permita a mensuração dos indicadores. Fazem parte do delineamento todas as etapas de
avaliação, ou seja, desde a determinação dos objetivos até a efetivação do juízo de valor.
4.3.3 Determinação dos Atributos de Qualidade segundo os Objetivos Propostos
Todo processo de avaliação determina atributos para julgamento. No processo de
avaliação de interfaces não é diferente; no entanto, o grande problema da avaliação de
interfaces humano-computador é a definição dos atributos com a finalidade de contribuir para
o cumprimento dos objetivos da avaliação. Os atributos têm de ser representativos no
processo avaliatório. Ocorre que o processo de avaliação de interfaces é complexo, por
envolver várias áreas de conhecimento e nem sempre os atributos são de fácil determinação e
78
mensuração. Por exemplo, o atributo: satisfação do usuário. Como definir satisfação? Como
medir satisfação? Como definir níveis de medição de satisfação? Assim, é preciso muita
cautela na determinação dos atributos.
4.3.4 Determinação dos Pesos dos Atributos
Uma vez determinados os atributos, é preciso realizar um balanceamento graças ao
qual se possa verificar qual a contribuição de cada um deles para o processo de avaliação. Por
exemplo: tomam-se como atributos de um processo de avaliação dois deles indicados pela
norma 9241 – eficácia e eficiência. Pergunta-se: todos possuem o mesmo peso, ou seja, a
mesma importância para o processo de avaliação de acordo com os objetivos a serem
verificados? A eficácia é mais importante que a eficiência?
É bem verdade que a determinação de qual atributo é mais importante, bem como
quanto é mais importante, depende dos objetivos, e isso mostra a importância do
planejamento do delineamento do processo de avaliação. Exemplificando, Pfleeger (2004)
utiliza o termo importância para uma escala de pesos, com variação de 1 a 5, para cada
atributo, em um estudo de caso sobre avaliação de ferramentas de projeto, conforme Anexo II.
4.3.5 Determinação dos Indicadores Quantificáveis e Mensuráveis
Muitos atributos não são quantificáveis e mensuráveis diretamente. Além disso, cabe
destacar que mesmo indicadores qualitativos devem ser de alguma forma contabilizados para
subsidiar o processo de avaliação. Quando não permitem a quantificação e mensuração de
forma direta, os atributos devem ser explicitados em indicadores que possam atender, a esses
requisitos. É possível que seja necessário em alguns casos discriminar indicadores, assim
79
como foi necessário fazer com os atributos até se chegar a indicadores quantificáveis e
mensuráveis.
4.3.6 Determinação dos Pesos dos Indicadores
Assim como os atributos possuem certo grau de importância diante de seus pares, um
atributo pode ser discretizado em vários indicadores, que podem receber contribuições
diferenciadas para representar o atributo em questão. Dessa forma, cada indicador pode
possuir um determinado peso diante de outros indicadores.
4.3.7 Determinação dos Instrumentos de Medida dos Indicadores
Medir significa atribuir magnitudes a certa propriedade de um objeto ou classe de
objetos, de acordo com certas regras preestabelecidas e com a ajuda de um sistema numérico,
de forma que sua validade possa ser comprovada empiricamente.
Existem algumas características importantes quanto ao processo de medir. Em
primeiro lugar, ele implica sempre um resultado numérico e não frases descritivas. Assim diz-
se que o processo de mensuração é sempre quantitativo.
Em segundo lugar, apresenta-se em unidades relativamente constantes, desde que as
condições de mensuração também o sejam. O sistema métrico é um exemplo dessa
característica: no tempo em que o metro não existia, a jarda, o palmo, o pé etc serviam de
medição e, evidentemente, não havia unidade constante, pois essa medida dependia das
características das pessoas que realizavam tal procedimento (tamanho do braço, do pé, etc.)
Essas implicações da medida levaram à busca da uniformidade.
80
Em terceiro lugar, especificamente no caso da psicologia, a medida é relativa por não
dispor de um ponto zero absoluto, como certas variáveis físicas. Não existe um ponto zero de
inteligência ou um ponto zero de aptidão, embora exista um ponto zero para a variável
distância ou para a velocidade de um corpo em repouso. Dessa forma, é preciso exprimir os
resultados em dependência de algum outro quadro de referência a média, por exemplo, que
sirva, arbitrariamente, como ponto de partida.
Se a mensuração é o processo de atribuir símbolos a objetos de acordo com as regras,
os números atribuídos a esses objetos, ou eventos, devem representar quantidades de
atributos. No intuito de esclarecimento, são definidos abaixo os principais termos:
a) Símbolo: é o que representa o atributo medido. Exemplo: número, letra, palavra,
etc;
b) Objeto: elemento para o qual a mensuração se dirige. Exemplo: em psicologia,
pessoas, animais, etc;
c) Atributo: característica do objeto deduzida pela mensuração. Exemplo:
inteligência, atitude, tempo de reação, satisfação;
d) Instrumento: meio utilizado para medir o atributo do objeto. Exemplo: teste,
polígrafo (detector de mentiras), questionário, etc;
e) Regras: formulações previamente estabelecidas, indicadoras dos procedimentos
para a atribuição de símbolos aos atributos dos objetos que determinam as
relações entre o objeto e o símbolo. Exemplo: atribuição de percentil em um teste
de inteligência de acordo com o número de pontos atingidos;
f) Situação padrão: diz respeito ao controle de variáveis que podem interferir no
resultado da mensuração, chamada medida. Exemplo: instruções padronizadas de
aplicação de um teste de atributo.
81
A medida desempenha um papel fundamental na investigação científica, mas não é um
fim em si mesma. Seu valor somente pode ser avaliado sob uma perspectiva instrumentalista,
pois do contrário se exagera o valor atribuído aos números, concedendo-se atenção demasiada
à objetividade, sem se considerar o que possa ser feito posteriormente com a medida. É como
se o número tivesse um valor científico intrínseco. De acordo com Kaplan (1975), a essa
distorção costuma-se denominar: “mística da quantidade”.
De acordo com ERTHAL (2003), são quatro as funções que a medida desempenha:
quantificação, comunicação, padronização e objetividade.
Por quantificação entende-se que a medida permite uma descrição precisa do
fenômeno. Considerando-se tudo que existe, existe em certa quantidade, uma descrição que
inclua uma referência à magnitude com que o fenômeno se mostra é uma descrição mais
completa e precisa, pois permite, inclusive, compará-lo com outros. A precisão será tão
maior, quanto maior tiver sido o cuidado mantido na mensuração e quanto mais adequado
tiver sido o símbolo. O símbolo que garante maior precisão é o número.
A medida também permite uma melhor comunicação e porque condensa informações,
é mais precisa e objetiva. Ao dizer que a medida de uma mesa é de três metros, não se precisa
com isso dizer que a mesa é grande, pois isso já está implícito, uma vez que foge ao padrão.
Pode ser um instrumento de padronização porque assegura a equivalência entre
objetos com características diversas. O uso do percentil permite, por exemplo, a formalização
na expressão dos resultados de um teste. Há uma unificação da linguagem, o que facilita a
comunicação.
A função da objetividade é a que permite classificações com menor ambigüidade.
82
Utilizam-se numerais para objetivar características que são diferentes, mas são próximas. Ao
se empregar, em uma pesquisa, a expressão “idoso” em lugar de seu correspondente numérico
relacionado à idade, a descrição torna-se cientificamente ambígua. Apenas classificações
livres de ambigüidade podem permitir ao pesquisador enunciar leis sobre o que está medindo.
Lembra-se, ainda, que é essencial a construção de um instrumento de medida,
relacionando a sua fidedignidade com a sua validade. Como exemplo, tem-se a régua, que
caso em sua construção, ela tiver os centímetros demarcados com imprecisão, será um
instrumento fidedigno porque sempre replicará as mesmas medidas, mas não será válido
porque suas medidas não estão corretas.
4.3.7.1 Tipos de Medidas
Existem dois tipos de medida: a fundamental e a derivada. A medida fundamental é
aquela que é obtida como resultado da mensuração direta, ou seja:
“o atributo de um objeto é alcançado através de uma comparação simples e direta com outro objeto que apresenta uma quantidade padronizada dessa propriedade” (HAYS, 1970).
Por exemplo, o peso e o comprimento podem ser medidos diretamente através de
comparações com padrões. As características dos objetos mensurados através desse tipo de
medida são chamadas extensivas.
A medida derivada é o produto de uma operação de mensuração baseada em indícios
que se supõe estarem relacionados com o atributo do objeto medido. Cita-se como exemplo, a
temperatura de um objeto com mercúrio: o que diz que a temperatura está alta ou baixa é o
movimento ascendente ou descendente do mercúrio, pois existe a comprovação de que, com
83
temperaturas altas, esse metal apresenta dilatação, o contrário ocorrendo com temperaturas
baixas. As características dos objetos alcançados por essa medida são chamadas intensivas.
A medida de fenômenos psicológicos é, em geral, do tipo derivado, e por isso é
necessário estabelecer os indícios associados a essas medidas. Por exemplo: como medir
moral de um grupo? A freqüência e rapidez com que o êxito é alcançado no desempenho de
uma tarefa pelo grupo podem ser um índice adequado para uma medida derivada relativa à
moral do grupo.
4.3.7.2 Dimensões a serem Medidas
As dimensões são chamadas atributos quando discretas (sexo, estado civil, etc.) e são
chamadas variáveis quando são contínuas (peso, altura, etc.).
A diferença entre uma dimensão contínua e uma dimensão discreta pode ser explicada
quando se consideram altura e estado civil como exemplos. Teoricamente, pode-se passar de
uma estatura a outra por gradações mínimas, e somente devido à imperfeição de instrumentos
é que essas gradações são alcançadas. No caso do estado civil, não há grau intermediário entre
um estado e outro. Suas categorias são qualitativamente distintas (solteiro, casado, etc.).
4.3.7.3 Classificação dos Instrumentos de Medida
De acordo com BABBIE (1999), existem, basicamente três técnicas de coleta de
informações:
a) Observação;
Registros de comportamentos;
84
Escalas de classificação.
b) Inquirição;
Questionários: inventários, escala de atitudes e levantamento de opiniões;
Entrevistas.
c) Testagem.
Testes não-padronizados;
Testes padronizados.
Algumas características sobre observações são relacionadas no Quadro 1.
Quadro 1. Vantagens e Limitações de Observações. Observações Vantagens Limitações
Requer-se que um ou mais
observadores voltem sua
atenção, por um terminado
período para certos
acontecimentos no momento em
que estão ocorrendo. Aos
observadores são dadas
instruções detalhadas de como
realizar a observação e como
utilizar um instrumento elaborado
para esse fim. Ou em uma
observação não estruturada se
pede que se observe e em
seguida se escreva um relato do
que ocorreu durante a
observação
• Há alta credibilidade porque os
acontecimentos são registrados
no momento em que ocorrem
por um individuo imparcial e
capacitado;
• Os observadores representam
um ponto de vista distinto das
pessoas mais próximas das
atividades do projeto.
• A presença do observador pode
modificar os comportamento ou as
situações;
• Para que a observação seja imparcial,
é necessário contar com indivíduos
competentes e bem capacitados;
• Elaboração do instrumento e
capacitação dos observadores
demandam tempo;
• Pode ser necessário fazer diversas
observações;
• Demanda-se a elaboração cuidadosa
de um calendário
Fonte: (Raupp e Reichle, 2003).
As principais vantagens e limitações dos questionários são demonstradas no Quadro 2.
85
Quadro 2. Vantagens e Limitações de Questionários. Questionários Vantagens Limitações
Questionários são instrumentos que
apresentam a informação aos
respondentes por escrito e pedem
uma resposta escrita fechada ou
aberta. As perguntas com respostas
abertas ou fechadas (múltipla
escolha) podem incluir informação
demográfica (idade, formação, tempo
de experiência, etc.), informação
factual (liste ou selecione na lista
abaixo as tarefas que você executa
em um dia típico de trabalho) ou
opiniões (você considera que seu
gerente utiliza da melhor maneira as
habilidades que você possui?) Aos
respondentes são dadas instruções
detalhadas de como utilizar o
instrumento.
• É possível examinar vários aspectos
de um projeto utilizando apenas um
instrumento;
• Por ser anônimo permite que o
respondente seja sincero e expresse
sua verdadeira opinião;
• As perguntas são as mesmas para
todos os respondentes;
• Permite que o respondente reflita
sobre a pergunta e a resposta;
• Não inibe o respondente;
• Permite utilização de folhas de
resposta próprias para a leitura ótica;
• Baixo custo.
• Não é tão flexível quanto a
entrevista;
• A maioria das pessoas se
expressa melhor oralmente
do que por escrito;
• A informação pode ser
superficial;
• Requer que o instrumento
seja enviado ou entregue
aos respondentes;
• Muitas pessoas se
esquecem e devolver os
questionários preenchidos
ameaçando assim a
validade de informação.
Fonte: (Raupp e Reichle, 2003).
No Quadro 3 encontra-se aspectos que envolvem as entrevistas.
Quadro 3. Vantagens e Limitações de Entrevistas. Entrevistas Vantagens Limitações
Entrevistas supõem um
encontro entre duas ou mais
pessoas durante o qual o
entrevistado responde às
perguntas feitas pelo
entrevistador. As perguntas
podem ser predeterminadas e,
nesse caso, um protocolo de
entrevistas é elaborado, mas o
entrevistador pode investigar
com a maior profundidade,
explorar temas interessantes ou
esclarecer dúvidas surgidas.
• Entrevistas podem ser feitas por telefone
e em horário conveniente para o
entrevistado e entrevistador;
• Têm um alto grau de flexibilidade, pois
permitem que o entrevistador explore
caminhos adicionais;
• Permitem que o entrevistador se
aprofunde em questões de maior
interesse;
• Deixam mais a vontade pessoas que não
de expressam bem por escrito;
• Não há perda de sujeitos como ocorre
com os questionários.
• Demandam tempo e esforço,
possuindo, assim, custo alto;
• O entrevistador pode
influenciar as respostas do
entrevistado;
• Elaborar um protocolo de
entrevistas é um processo
complexo;
• É necessário capacitar os
entrevistadores;
• Transcrever a informação
obtida é uma tarefa muitas
vezes árdua.
Fonte: (Raupp e Reichle, 2003).
86
4.3.8 Validade, Fidedignidade e Calibração dos Instrumentos de Medida
A utilização de instrumentos de medida em situações práticas requer a satisfação de
pelo menos dois requisitos básicos: primeiramente, o instrumento de medida deve fornecer
medidas confiáveis, de modo que se obtenham os mesmos resultados ao tornar a medir o
atributo em condições similares às do objeto ou indivíduo em questão. Em segundo lugar, os
instrumentos usados devem realmente medir aquilo a que se propõem.
Os resultados obtidos por meio do instrumento de medida devem, então, ser
reproduzíveis e significativos. Assim, quanto à fidedignidade tem-se o mesmo instrumento,
aplicado ao mesmo grupo, em ocasiões iguais ou diferentes, possibilitando que uma avaliação
possa ter confiabilidade nos resultados obtidos.
Quanto à validade, observa-se a concordância de resultados obtidos por métodos
muito diferentes no mesmo grupo. Na determinação da validade, a questão essencial é; Para
quem e para que é válido o teste? Assim, sempre que possível, o teste deve ser validado na
situação específica em que vai ser utilizado.
Outro aspecto a ser assinalado é que uma alta fidedignidade não indica uma alta
validade. A fidedignidade é condição necessária, mas não suficiente para que um instrumento
seja válido.
4.3.8.1 Validade de Conteúdo
O teste é uma amostra do universo de observações em que se está interessado. A
validade de conteúdo consiste no exame sistemático do conteúdo do teste, e tem por fim
assegurar a representatividade dessa amostra, isto é, que todos os aspectos fundamentais do
87
comportamento sejam, adequadamente e em proporções corretas, abrangidos pelos itens do
teste. A validade de conteúdo é muito utilizada em testes de rendimento escolar e profissional.
É também utilizada na etapa inicial de elaboração de outros instrumentos objetivos.
4.3.8.2 Validade de Constructo, de Conceito ou Teórica
Os tipos de validade mencionados anteriormente são utilizados quando um teste vai ter
uma aplicação prática. Algumas vezes, porém, o teste é analisado em termos de significado de
seus resultados e expresso em conceitos psicológicos. Assim, ao invés de falar sobre os
escores de uma pessoa em determinado teste, fala-se acerca de sua inteligência, aptidão
mecânica, ansiedade, depressão etc. Estas são qualidades hipotéticas, denominadas
constructos. A validade de constructo é, então, a demonstração de que o instrumento de
medida avalia determinado constructo.
4.3.8.3 Validade Aparente
A validade aparente não é validade em sentido técnico, refere-se ao que o teste
aparenta medir e não ao que realmente mede. Consiste em uma forma de adequação do
material do teste ao seu objetivo, visando uma maior cooperação e motivação por parte dos
dois sujeitos. Por exemplo: testes inicialmente elaborados para crianças e adolescentes,
quando tiveram seu uso ampliado para adultos, sofreram resistência e crítica devido à falta de
validade aparente.
Assim, não é suficiente a validade objetiva ou científica para que o instrumento de
medida funcione em situações práticas; é preciso, também, que o sujeito aceite como válidos
os objetivos do teste, ou seja, sua validade aparente.
88
4.3.9 Determinação das Escalas de Referência
Escala de avaliação é um instrumento de medida psicológica, na qual, se ordenam
aspectos qualitativos de indivíduos ou objetos, para que haja uma correspondência numérica.
O avaliador deve posicionar o indivíduo ou objeto cujas características estão sendo julgadas
em determinado ponto de um contínuo ou numa categoria pertencente a uma série ordenada
de categorias.
As medidas escalares são utilizadas mais freqüentemente na mensuração de atitudes,
de traços de personalidade e nas avaliações de desempenho.
Pfleeger (2004), para medir os principais aspectos dos produtos, processos e recursos e
determinar a satisfação em relação aos objetivos de produtividade, desempenho, qualidade e
outros atributos desejáveis, descreve uma escala de 1 a 5, para análise de características. Essa
escala inicia em 1 caracterizando o atributo como “não satisfaz”, até atingir o nível 5 como
“satisfaz completamente”. Um exemplo dessa escala é apresentado no Anexo II.
4.3.9.1 Tipos de Escalas de Avaliação
Em qualquer atividade que utilize o planejamento, os resultados obtidos são
considerados bons desde que alcancem os objetivos propostos. Neste caso, utiliza-se um
indicador daquilo que se havia estabelecido como desejável. O desafio está em expressar os
objetivos de maneira que possam ser medidos e em selecionar os indicadores que demonstrem
que se alcançou o nível que se desejava.
a) Escala nominal: a medição nominal apenas distingue as categorias que compõem
uma variável. Sexo, por exemplo, é uma variável composta das categorias
89
masculino e feminino. Outros exemplos são filiação religiosa, região do país e tipo
de curso superior. As categorias que compõem uma variável nominal são
mutuamente excludentes, não tem qualquer outra relação entre si;
b) Escala ordinal: a medição ordinal reflete uma ordenação entre as categorias que
compõem uma variável. Classe social é um exemplo de variável ordinal,
geralmente composta das categorias: classe baixa, classe média e classe alta.
Embora tais medidas sejam muitas vezes representadas por números num índice
ou escala, estes números não têm outro significado além da indicação da ordem;
c) Escala intervalar: A medição de intervalo também usa números para descrever
condições, mas eles têm mais sentido do que na medição ordinal, porque as
distâncias entre os pontos têm significado real. O exemplo mais comum é a escala
de temperatura Fahrenheit. A diferença entre 80 e 90 graus é a mesma que a
diferença entre 60 e 70 graus. Observe que na escala ordinal esta diferença não
teria a mesma relação;
d) Escala razão: a medição de razão tem as mesmas características da de intervalo,
com a característica adicional de ter um zero real. Em comparação com a escala
Fahrenheit (uma medida intervalar), a escala de temperatura Kelvin (baseada em
graus de temperatura de zero absoluto) é uma medida de razão: enquanto 40 graus
Fahrenheit não são necessariamente duas vezes mais quentes do que 20 graus
Fahrenheit, 200 graus Kelvin são duas vezes mais quentes do que 100 Kelvins.
Outros exemplos de escala de razão são: idade, altura, peso, tempo de moradia
numa cidade, entre outros.
90
4.3.10 Validação do Delineamento de Avaliação
A validade do delineamento verifica se a situação criada para realizar o processo de
avaliação é capaz de revelar as questões que surgem na busca dos objetivos. O método, ou
caminho escolhido, deve ser capaz de mostrar as respostas que subsidiarão o processo de
avaliação, deve além disso, criar situações e condições que possibilitem mensurar o processo.
A validação do delineamento implica uma análise de toda a situação, bem como do
método utilizado e sua capacidade de criar situações de quantificação e mensuração dos
indicadores (também válidos) que formam a correspondência com o que se pretende elucidar,
responder ou explicar.
A Figura 10 sintetiza a proposta de avaliação de interfaces humano-computador
mostrando suas etapas:
Etapas do Processo de Avaliação
Figura 10 – Etapas do Processo de Avaliação
Indicador: X
Peso: X
.
.
.
AVALIAR
OBJETO
Escala Y
Escala X
Instrumento Y
Instrumento X Indicador: X
Peso: X
Indicador: Y
Peso: Y
.
.
.
Atributo: X
Peso: X
Atributo: Y
Peso: Y
- Criar
- Validar
- Certificar sua Fidedignidade
- Calibrar
Indicador: Y
Peso: Y
.
.
.
Instrumento Y
Instrumento X Escala X
Escala Y
91
4.4 Aplicação da Proposta para Análise de Alguns Métodos de Avaliação de
Interface Humano-Computador
Atualmente muito se têm falado e escrito sobre o processo de avaliação de interfaces
humano-computador. Conforme já descrito, acredita-se que esses métodos em sua grande
maioria ainda não conseguem responder adequadamente ou cientificamente aos objetivos
propostos. Para ilustrar essa assertiva analisar-se-ão alguns métodos que de certa forma são
utilizados com grande freqüência e referidos na literatura, utilizando-se como base a proposta
apresentada neste trabalho. Dentre diversos métodos ou técnicas apresentadas na literatura,
nesta seção serão analisados os seguintes:
a) A Norma 9241-11 de 2002 que trata de Requisitos Ergonômicos para o Trabalho
de Escritórios com Computadores. Parte 11 – Orientações sobre Usabilidade (ISO,
2007);
b) Avaliação heurística proposta por Nielsen (2006);
c) Critérios ergonômicos propostos por Bastien e Scapin (1993).
4.4.1 Análise da Norma 9241-11/2002
4.4.1.1 Objetivo
O objetivo de projetar e avaliar computadores buscando usabilidade é dar condição
aos usuários para que alcancem seus objetivos e satisfaçam suas necessidades em um contexto
particular de uso.
A ISO 9241-11 esclarece os benefícios que há em medir usabilidade no respeitante a
92
desempenho e satisfação do usuário. Esses são medidos pela extensão do alcance dos
objetivos de uso pretendidos, pelos recursos gastos para alcançar os objetivos pretendidos e
pelo tanto de uso do produto que o usuário considera aceitável (ISO, 2007).
É importante destacar que a norma tem como objetivo principal a mensuração da
usabilidade e para tanto enfatiza-se que se trata de medir a usabilidade no que diz respeito a
desempenho e satisfação do usuário.
4.4.1.2 Características
Princípio utilizado para interpretar o processo de IHC: Usabilidade;
Princípio de Avaliação referente ao Usuário: Centrada no Usuário;
Tipo de Avaliação suportada: Empírica;
Explicitação dos Atributos: Usabilidade;
Indicadores:
o Satisfação:
Freqüência de uso;
Freqüência de reclamações.
o Eficácia:
Porcentagem dos objetivos alcançados;
Porcentagem de usuários que realizam tarefas com sucesso;
Média da acurácia das tarefas completadas.
o Eficiência
Tempo gasto para completar uma tarefa;
Tarefas completadas por unidade de tempo;
93
Custo monetário para realização da tarefa.
Instrumentos de Medida:
o Planilha de Observação;
o Questionário de Opiniões;
o Testes de Desempenho;
o Entrevistas.
Níveis de Medida: O avaliador deverá construir os níveis de medida para cada
processo de acordo com as características do uso.
4.4.1.3 Análise
A Norma 9241-11 mostra-se consistente na sua proposta quanto ao aspecto formal do
processo avaliatório, pois indica claramente seus requisitos, ou seja: explicita o principio da
avaliação que é o da usabilidade e que sua mensuração será feita através de atributos.
Porém, a norma é genérica e fala pouco sobre o rigor necessário para relacionar
indicadores com o objetivo da avaliação e, também, sobre os instrumentos de medida e o
delineamento escolhido para avaliação, nos quais o cuidado é importante para a validade e
fidedignidade.
Além disso, seus atributos devem ser discretizados em indicadores quantificáveis e
mensuráveis.
A Figura 11 ilustra uma síntese da análise.
94
Análise dos Indicadores: Norma 9241-11/2002
Figura 11 – Análise dos Indicadores da Norma 9241-11/2002
4.4.2 Análise das Heurísticas de Nielsen
4.4.2.1 Objetivo
Avaliação heurística, definida por Nielsen (2006), é um método de avaliação de
usabilidade pela qual um avaliador procura problemas de usabilidade em uma interface com o
usuário através da análise e interpretação de um conjunto de princípios ou heurísticas. Esse
método de avaliação é baseado no julgamento do avaliador.
Neste método é importante destacar o significado da palavra heurística que, segundo
Ferreira (2004), é: metodologia, ou algoritmo, usado para resolver problemas por métodos
que, embora não rigorosos, geralmente refletem o conhecimento humano e permitem obter
Eficácia
Peso: ?
Eficiência
Peso: ?
Tarefas completadas por unidade de tempo
Peso: ? Instrumento: X Escala: ?
Custo monetário para realização da tarefa
Peso: ? Instrumento: X Escala: ?
Porcentagem de usuários realizando tarefas com sucesso
Peso: ? Instrumento: X Escala: ?
Média da acurácia das tarefas completadas
Peso: ? Instrumento: X Escala: ?
Porcentagem dos objetivos alcançados
Peso: ? Instrumento: X Escala: ?
Freqüência de uso
Peso: ?
Freqüência de reclamações
Peso: ? Instrumento: X Escala: ?
I NDI CADORES
Instrumento: X Escala: ?
Satisfação
Peso: ?
Tempo gasto para completar uma tarefa
Peso: ? Instrumento: X Escala: ? ?: significa ausência
Instrumentos X:
- Planilha de Observação - Questionário de Opiniões - Testes de Desempenho - Entrevistas
95
uma solução satisfatória.
Por seu significado a palavra heurística indica que o método de avaliação de interfaces
proposto por Nielsen (2006) não é rigoroso, ou seja, não é preciso e deve ser utilizado
levando-se em conta esta premissa.
4.4.2.2 Características
Princípio utilizado para interpretar o processo de IHC: Usabilidade;
Princípio de Avaliação referente ao Usuário: Centrada no Avaliador;
Tipo de Avaliação suportada: Analítica;
Explicitação dos Atributos: Usabilidade;
Indicadores:
o Visibilidade do status do sistema;
o Compatibilidade do sistema com o mundo real;
o Controle e liberdade do usuário;
o Consistência e padrões;
o Prevenção de erro;
o Reconhecimento em vez de relembrança;
o Flexibilidade e eficiência de uso;
o Design estético e minimalista;
o Ajudar os usuários a reconhecer, diagnosticar erros e saná-los;
o Ajuda e documentação.
Instrumentos de Medida:
o Planilha de Observação.
96
Níveis de Medida: Nielsen (2007) cria uma regra que funciona como escala
nominal aplicada a cada atributo. Essa regra é mostrada na Tabela 4.
Tabela 4. Grau de Severidade dos Problemas de Usabilidade. Grau de Severidade dos Problemas de Usabilidade Grau de Severidade
Tipo Descrição
0 Sem importância Não afeta a operação da interface 1 Cosmético Não há necessidade imediata de solução 2 Simples Problema de baixa prioridade (pode ser reparado) 3 Grave Problema de alta prioridade (deve ser reparado) 4 Catastrófico Muito grave (deve ser reparado com urgência)
Fonte: Nielsen (2007)
4.4.2.3 Análise
Conforme as análises do conjunto básico de heurísticas de Nielsen (2006), numa
avaliação, verifica-se a inexistência de alguns princípios essenciais para um bom desempenho,
como a precisão e a exatidão, devendo esses princípios ser utilizados apenas de maneira
prospectiva para indicar que caminho avançar com métodos mais rigorosos.
Este método não possui a definição de instrumentos de medidas apropriados e não
estabelece escalas para comparação, caracterizando-se como um método rudimentar que
carece de validação desde seu delineamento até a definição dos instrumentos de medida. Por
exemplo, o indicador “visibilidade do status do sistema”, sugere verificar essa qualidade,
diretamente sem ressaltar a necessidade de questões básicas e importantes, como:
a) Não demonstra o peso relacionado aos termos de seu indicador;
b) O atributo não é mensurável, nem discretizado em indicadores;
c) O indicador não é quantificável;
d) Os instrumentos de medida são subjetivos, podendo comprometer sua validade e
97
sua fidedignidade.
Complementando a análise das heurísticas, Nielsen (2007) apresenta uma escala
relacionada à severidade de um problema de usabilidade. Para chegar até as escalas
apresentadas, Nielsen (2007), baseia-se na freqüência, no impacto e na persistência do
problema. No entanto, não se sabe até que ponto essas escalas apresentam um nível de
validade em uma avaliação.
E, ainda, a sua planilha de observação não apresenta validação, é de difícil
interpretação e configura-se de baixa fidedignidade. A baixa fidedignidade significa que,
aplicando-se a planilha por diversos avaliadores, os resultados são diversos e mostram assim
variabilidade nos resultados do instrumento. É como se uma balança indicasse valores
diferentes a cada vez que fosse utilizada, quando diversos avaliadores mensuram um mesmo
objeto. Além disso, os indicadores não são precisos e quantificáveis o que depõe contra a
fidedignidade.
De acordo com a análise acima, fica evidente a falta de um esclarecimento mais
detalhado, podendo ela dar com resultado uma avaliação não confiável. Pois, qual é a garantia
de que uma mesma avaliação, baseada nessas heurísticas tenha o mesmo resultado quando
feita por vários avaliadores, levando-se em consideração, que muitos itens ficam relacionados
com o que cada pessoa entende. Essa confirmação é feita por Bastien e Scapin (1993), que,
relatam que 5 avaliadores produzem relatórios com apenas 10% de diagnósticos idênticos,
utilizando essas heurísticas.
Acredita-se que o sucesso deste método se deve à pretensa facilidade de aplicação
sendo aparado e utilizado por leigos ou iniciantes na área. É um processo modesto de
avaliação ancorado em pálidos critérios de cientificidade.
98
Os detalhes da análise das heurísticas estão demonstrados na Figura 12.
Análise dos Indicadores: Heurísticas por Nielsen
Figura 12 – Análise dos Indicadores das Heurísticas de Nielsen
O exemplo de avaliação do Anexo I do projeto Oré, por Prates e Barbosa (2003), é
uma afirmação desta análise. A primeira consideração do Quadro 3 do Anexo I é sobre a
heurística violada: correspondência entre o sistema e o mundo real, que identifica um
problema de gravidade 4 (catastrófico). A segunda heurística violada é o reconhecimento, que
sua identificação foi como gravidade 3 (grave). Já a terceira heurística, é a correspondência
entre o sistema e o mundo real.
A grande dúvida sobre as três violações enquadradas na escala de gravidade de
Flexibilidade e eficiência de uso
Peso: ? Instrumento: X Escala: ?
Design estético e minimalista
Peso: ? Instrumento: X Escala: ?
Consistência e padrões
Peso: ? Instrumento: X Escala: ?
Prevenção de erro
Peso: ? Instrumento: X Escala: ?
Controle e Liberdade do usuário
Peso: ? Instrumento: X Escala: ?
Visibilidade do status do sistema
Peso: ?
Compatibilidade do sistema com o mundo real
Peso: ? Instrumento: X Escala: ?
INDICADORES
Instrumento: X Escala: ?
Reconhecimento ao invés de relembrança
Peso: ? Instrumento: X Escala: ?
Ajudar os usuários a reconhecer, diagnosticar e recuperar de erros
Peso: ? Instrumento: X Escala: ?
Ajuda e documentação
Peso: ? Instrumento: X Escala: ?
?: significa ausência
Instrumentos X:
- Planilha de Observação
99
Nielsen, é que, para chegar nesta escala, o autor não teve como auxílio nenhum indicador
mais consistente, a não ser o seu próprio entendimento em relação a essas heurísticas. Isso
pode comprometer o resultado de uma avaliação, por caracterizar subjetivismo.
4.4.3 Análise dos Critérios Ergonômicos Propostos por Bastien e Scapin
4.4.3.1 Objetivo
Os critérios ergonômicos definidos por Bastien e Scapin (1993), pesquisadores do
INRIA (Institut National de Recherche em Informatique et em Automatique da França), têm
por objetivo incorporar considerações de ergonomia dentro do processo de design e de
avaliação da interface humano-computador. Sendo essas considerações vistas como definição
e operacionalização de dimensões de usabilidade, para dar origem a um caminho de melhoria
da finalização e exposição da diagnose de padronização do formato, e uma melhor
documentação da avaliação.
Neste método, a ênfase está na ergonomia apresentada pela interface de interação
humano-computador.
4.4.3.2 Características
Princípio utilizado para interpretar o processo de IHC: Ergonomia;
Princípio de avaliação em relação ao usuário: Modelização de IHC;
Tipo de avaliação suportada: Analítica e Empírica;
Explicitação dos atributos:
100
o Condução;
o Carga de trabalho;
o Controle explícito;
o Adaptabilidade;
o Gestão de erros;
o Homogeneidade/coerência;
o Significado dos códigos e denominações;
o Compatibilidade.
Indicadores:
o Condução:
Presteza;
Agrupamento/distinção de itens:
• Por localização;
• Por formato.
Feedback imediato;
Legibilidade.
o Carga de trabalho:
Brevidade:
• Concisão;
• Ações mínimas.
Densidade informacional.
o Controle explícito:
Ações explícitas do usuário;
Controle do usuário.
101
o Adaptabilidade:
Flexibilidade;
Consideração da experiência do usuário.
o Gestão de erros:
Proteção contra erros;
Qualidade das mensagens de erros;
Correção de erros.
o Consistência;
o Significado dos códigos e denominações;
o Compatibilidade.
Instrumentos de medida: planilha de observação;
Níveis de medida: o avaliador baseia-se nos conceitos de usabilidade e ergonomia.
4.4.3.3 Análise
Os atributos encontrados em Bastien e Scapin (1993), já possuem uma característica
importante, que é o início da alternativa em discriminar os indicadores primários. Mas mesmo
assim, encontra-se com uma certa subjetividade, dificultando uma possível mensuração. Isto
pode comprometer uma avaliação; por isso faz-se necessário possibilitar que os indicadores
sejam mensuráveis, para se criar em escalas. Dessa forma, resultará um processo de avaliação
mais confiável.
Esta análise permite identificar a falta de importantes componentes do processo de
avaliação, relacionados no design elaborado por este trabalho, como:
Determinação dos pesos dos atributos;
102
Indicadores mensuráveis;
Determinação dos pesos dos indicadores;
Escalas de referência.
Segundo Cybis et al (1998), os princípios ergonômicos, por não serem processos
algorítmicos e sua formulação ser o resultado de uma experiência coletiva acumulada pela
comunidade de ergonomia e de IHC, que examinam as práticas bem ou mal sucedidas, são
apresentados na forma de critérios, recomendações ou norma. Dessa forma, como são
apresentados raramente, são associados a algum método de concepção e por isso, são
altamente dependentes de quem os interpreta. Essa confirmação identifica a validade desta
análise e destaca a importância deste estudo.
A análise dos critérios ergonômicos é demonstrada graficamente na Figura 13.
103
Análise dos Indicadores: Critérios Ergonômicos por Bastien e Scapin
Figura 13 – Análise dos Indicadores dos Critérios Ergonômicos de Bastien e Scapin (1993).
Gestão de Erros
Controle Explícito
Agrupamento / Distinção de Itens
Por Formato Peso: ?
Por Localização Peso: ? Condução
Instrumento: X Escala:
Instrumento: X Escala: ?
Feedback Imediato Peso: ? XInstrumento: Escala: ?Legibilidade
XPeso: ? Instrumento: Escala: ?
Instrumentos X:
- Planilha de Observação
Brevidade Ações Mínimas Peso: ?
Concisão Peso: ?
Instrumento: X Escala:
Instrumento: X Escala: ?Carga de Trabalho
Densidade Informacional Peso: ? XInstrumento: Escala: ?
Ações Explícitas do Usuário Peso: ? Instrumento: X Escala: ?Controle do Usuário
XPeso: ? Instrumento: Escala: ?
Flexibilidade Peso: ? Adaptabilidade
XInstrumento: Escala: ?
Consideração da Experiência do Usuário XPeso: ? Instrumento: Escala: ?
Presteza Peso: ? Instrumento: X Escala: ?
I N D I C A D O R E S
Proteção Contra os Erros Peso: ? XInstrumento: Escala: ?Qualidade das Mensagens de Erros
XPeso: ? Instrumento: Escala: ?
Correção dos Erros Peso: ? Instrumento: X Escala: ?
Consistência Peso: ? Instrumento: X Escala: ?Significado dos Códigos e Denominações
Peso: ? Instrumento: X Escala: ?
Compatibilidade Peso: ? Instrumento: X Escala: ?
?: significa ausência
104
105
5 CONCLUSÕES
O presente trabalho mostrou que o processo de avaliação é complexo e precisa de
organização e planejamento para sua execução. Particularmente o processo de avaliação de
interfaces humano-computador envolve fatores multidimensionais e exige, para sua execução,
conhecimentos de ciência da computação, psicologia cognitiva, sociologia, design, entre
outros.
E também revelou que métodos de avaliação de interfaces largamente utilizados
possuem grande subjetividade, uma vez que seus resultados não são replicáveis com precisão.
Além disso, carecem de requisitos importantes indispensáveis a um processo avaliatório.
E ainda, identificou que é possível mitigar a subjetividade através da utilização dos
quesitos elementares de um genuíno processo de avaliação.
Apresentou uma seqüência lógica de procedimentos capaz de orientar processos de
avaliação de interfaces humano-computador e tornar preciso os resultados minimizando o erro
e a subjetividade. Estes procedimentos são válidos para todos os tipos de avaliação e, se forem
respeitados, trazem capacidade de replicação de resultados gerando estabilidade nas
mensurações obtendo, portando fidedignidade, além do que, orienta a determinação segura
dos atributos que devem compor o processo de avaliação e a criação de situações capazes de
revelar indicadores precisos, mensuráveis e quantificáveis que visam a validade do processo.
5.1 Recomendações para Trabalhos Futuros
Os aspectos apresentados neste estudo foram sobre questões que envolvem a validade
106
e a fidedignidade de uma avaliação de IHC. Essas questões foram ressaltadas nos capítulos 3
e 4, assinalando conceitos para uma melhor consistência nas avaliações. Nesse aspecto, a
sugestão para o complemento deste trabalho é relacionada a seguir.
5.1.1 Discriminar os Atributos em Indicadores
Como visto neste estudo, na maioria das avaliações existentes, para chegar a uma
mensuração, deve-se discriminar seus atributos em indicadores. Uma das propostas para
trabalhos futuros é em torno dos atributos das principais avaliações, devendo ser relacionados
todos os atributos e divididos em partes menores, para que assim seja possível mensurá-los.
5.1.2 Criar Instrumentos e Escalas para os Indicadores
Outra sugestão para a continuação do estudo proposto é, a partir dos indicadores
discriminados, criar instrumentos e escalas que possibilitem sua mensuração. Para a efetiva
criação destes instrumentos será necessária a sua validação, certificação de fidedignidade e
calibração.
107
REFERÊNCIAS
[Airasian et al, 1977] Airasian, P. W. et al; Avaliação educacional: planejamento, análise de dados, determinação de custos. Petrópolis: Vozes, 1977.
[Babbie, 1999] Babbie, E.; Métodos de Pesquisas de Survey. Belo Horizonte: Editora da UFMG, 1999.
[Bastien e Scapin, 1993] Bastien, C.; Scapin, D.; Human factors criteria, principles, and recommandations for HCI: methodological and standardisation issues. Internal Repport - INRIA, 1993.
[Bastien e Scapin, 1997] Bastien, C.; Scapin, D.; Ergonomic criteria for evaluating the ergonomic quality of interactive system. Behaviour and Information Technology 16 (4/5): 220-231, 1997.
[Benyon , 1993] Benyon, D.; Adaptive Systems: A Solution to Usability Problems. Computing Department, Open University, Milton Keynes, MK7 6AA UK, 1993.
[Cook e Campbell, 1979] Cook, T. D.; Campbell, D.T.; Quasi-experimentation: design and analysis issues for field settings. Chicago: Rand Mc Nally, 1979.
[Cybis, 2003] Cybis, W. A.; Engenharia de Usabilidade: uma abordagem ergonômica, Florianópolis: Universidade Federal de Santa Catarina, 2003.
[Cybis et al, 1998] Cybis, W. A. et al; Uma Abordagem Ergonômica para o Desenvolvimento de Sistemas Interativos, Florianópolis: Universidade Federal de Santa Catarina, 1998.
[de Souza et al, 2001] de Souza, C. S. et al; Projeto de Interfaces de Usuário – Perspectivas Cognitivas e Semióticas. Rio de Janeiro, 2001.
[Erthal, 2003] Erthal, T. C.; Manual de Psicometria. Rio de Janeiro: Jorge Zahar Ed., 2003.
[Fernandes et al, 1996] Fernandes, F. et al; Dicionário Brasileiro Globo. 43 ed. São Paulo: Globo, 1996.
[Ferreira, 2004] Ferreira, A. B. H.; Novo Dicionário Aurélio da Língua Portuguesa. 3 ed. Curitiba: Positivo, 2004.
108
[Fischer, 1998] Fischer, G.; "Beyond 'Couch Potatoes': From Consumers to Designers", Proceedings of the 3rd Asia Pacific Computer Human Interaction Conference, IEEE Computer Society, 1998.
[Hoelzel, 2004] Hoelzel, C. G. M.; Design Ergonômico de Interfaces Gráficas Humano-Computador: Um Modelo de Processo, Florianópolis: Universidade Federal de Santa Catarina, 2004.
[ISO, 2007] ISO 9241-11:1998; Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs), Part 11, Guidance on Usability. Disponível em: <http://www.inf.ufsc.br/~cybis/pg2003/iso9241-11F2.pdf>; acesso em: Abr. 2007
[Kaplan, 1975] Kaplan, A.; A conduta na pesquisa: metodologia para as ciências do comportamento. 2. ed. São Paulo: EPU, 1975.
[LabIUtil, 2006] Laboratório de Utilizabilidade, ErgoList, Universidade Federal de Santa Catarina, <http://www.labiutil.inf.ufsc.br/ergolist/>; acesso em: jan. 2006.
[Moran, 1981] Moran, T.; The Command Language Grammars: a representation for the user interface of interactive computer systems. International Journal of Machine Studies, 1981.
[Nevo, 1986] Nevo, D.; The conceptualization of educational evaluation: An analytical review of the literature. House, Ernest R. (editor). New directions in educational evaluation. Philadelphia, USA: The Falmer Press, 1986.
[Nielsen, 2007] Nielsen, J.; Severity Ratings for Usability Problems. Disponível em: <http://www.useit.com/papers/heuristic/ severityrating.html>; acesso em: 5 jan. 2007.
[Nielsen, 2006] Nielsen, J.; Ten Usability Heuristics. Disponível em: <http://www.useit.com/papers/heuristic/heuristic_list.html>; acesso em: 10 dez. 2006.
[Nielsen e Mack, 1994] Nielsen, J. & Mack, R.; Usability inspection methods. EUA: John Wiley & Sons, 1994.
[Oliver, 2001] Oliver, H..; Contribution à l’évaluation des logiciels multimédias pédagogiques, PhD Thesis, University of Technology of Compiegne, France, 2001.
[Pfleeger, 2004] Pfleeger, S. L.; Engenharia de Software: teoria e prática. 2. ed. São Paulo: Prentice Hall, 2004.
109
[Prates e Barbosa, 2003] Prates, R.O.; Barbosa, S.D.J.; Avaliação de Interfaces de Usuário – Conceitos e Métodos. Anais do XXIII Congresso Nacional da Sociedade Brasileira de Computação. XXII Jornadas de Atualização em Informática (JAI). SBC’2003. Agosto de 2003.
[Preece et al, 1994] Preece, J. et al; Human-Computer Interaction. Addison Wesley Longman Limited, England, 1994.
[Raupp e Reichle, 2003] Raupp, M.; Reichle, A.; Avaliação: ferramenta para melhores projetos. EDUNISC, Santa Cruz do Sul, 2003.
[Rocha e Baranauskas, 2000] Rocha, Heloisa V. da; Baranauskas, Maria C. C.; Design e avaliação de interfaces humano-computador. IME-SP, São Paulo, 2000.
[Scriven, 1996] SCRIVEN, M.; Types of evaluation and types of evaluators. Evaluation Pratice, v. 1, n.13, 1996, p.151-161.
[Sykes, 1990] Sykes, V.; Validity and Reliability in Qualitative Marketing Research : a Review of Literature. Journal of the Market Research Society, Vol. 32, nº 3, July, 1990.
[Unicef, 1991] A UNICEF guide for monitoring and evaluation: making a difference? Evaluation Office, 1991.
[Yin, 1989] Yin, R. K.; Case Study Research - Design and Methods. Newbury Park. Sage Publications, 1989.
110
111
ANEXOS
112
ANEXO I: Avaliação Heurística
Este anexo demonstra um exemplo de avaliação heurística aplicada no item Quadro de
Avisos do site do Projeto Ore, elaborado por Prates e Barbosa (2003).
113
114
ANEXO II: Análise de Características
O anexo II apresenta uma tabela desenvolvida por Pfleeger (2004), com o exemplo de
avaliação de ferramentas de projeto, com os valores e a importância dos critérios.
Avaliação de Ferramentas de Projeto: valores e importância de critérios Valores dos Critérios
Atributo Ferramenta 1: t-OO-1
Ferramenta 2: ObjectTool
Ferramenta 3: EasyDesign
Importância
Boa interface com o usuário 4 5 4 3 Projeto orientado a objetos 5 5 5 5 Verificação da consistência 5 3 1 3 Casos de uso 4 4 4 2 Execução em UNIX 5 4 5 5 Pontuação 85 77 73
Escala dos Valores dos Critérios: 1 (não satisfaz) até 5 (satisfaz completamente).
Escala da Importância: 1 a 5.
Regra do Cálculo da Pontuação: multiplica-se a importância pelo valor atribuído a
cada critério e, após, efetua-se a soma.