avaliac»ao de usabilidade nos~ sistemas ...livros01.livrosgratis.com.br/cp048192.pdfcomo objetivo...

KATIA ADRIANA ALVES LEITE

AVALIACAO DE USABILIDADE NOS

SISTEMAS COMPUTACIONAIS DOS SERVICOS

DE TELEMEDICINA DO BHTELESSAUDE

Dissertacao apresentada ao Programa dePos-Graduacao em Informatica da PontifıciaUniversidade Catolica de Minas Gerais comorequisito parcial para a obtencao do grau deMestre em Informatica.

Belo Horizonte

Novembro 2007

Livros Grátis

http://www.livrosgratis.com.br

Milhares de livros grátis para download.

Resumo

O BHtelessaude e um projeto de telessaude voltado para cuidados primarios e us-

ados por profissionais das areas da medicina, enfermagem e odontologia das Unidades

Basicas de Saude (UBS) da cidade de Belo Horizonte , Minas Gerais. Apesar da grande

importancia e variedade de servicos disponıveis do projeto, eles nao sao frequentemente

usados nas UBS´s. A literatura revisada mostra que problemas de usabilidade nas

aplicacoes da Telemedicina interferem em seu uso e aceitacao. Assim, este estudo tem

como objetivo avaliar a usabilidade dos sistemas computacionais usados nos servicos

da Telemedicina no BHTelessaude, conhecendo o perfil, as opinioes e os problemas

enfrentados pelos usuarios durante a ianteracao com estes sistemas. A organizacao

e direcao da avaliacao foi auxiliada pelo framework DECIDE, onde foram definidos

os metodos de avaliacao e a conducao pratica do trabalho. A avaliacao prditiva foi

realizada atraves da tecnica do Percurso Cognitivo e o estudo de campo por meio da

combinacao das tecnicas de avaliacao: entrevistas individuais, observacao, grupo focal

e questionario de definicao do perfil e satisfacao do usuario. Durante a analise dos

dados foram encontrados problemas com relacao a introducao da tecnologia, proble-

mas tecnicos e de usabilidade. Os resultados estao agrupados por tecnica utilizada e

apontam opinioes e a satisfacao dos usuarios com relacao aos sistemas.

iv

Abstract

The BHTelessaude is a telehealth project focusing on primary care and used by pro-

fessionals from areas like medicine, nursing and dentistry from the Basic Health Units

(BHU) of Belo Horizonte city, Minas Gerais. Despite the great importance and variety

of services available from the project, they are not often used by the health units. The

revised literature shows that usability problems in the Telemedicine applications di-

rectly interfere in its use and acceptance. Thus, this study aims to evaluate the usability

of computer systems used in the Telemedicine services of the BHTelessaude, knowing

the profile, the views and the problems faced by users during the interaction with these

systems. The organization and direction of the evaluation is assisted by the DECIDE

framework, that is responsible by the definition of the evaluation methods and the

practical guidance of the work. A predictive evaluation is realized through techniques

of Walkthrough Cognitive and field study by combining evaluation techniques, such as:

individual interviews, observation, focal group and questionnaires for the definition of

the user profile and satisfaction. During the analysis of the data problems were found

with respect to the introduction of technology, technical problems and usability. The

results are grouped by techniques and point the user’s reviews and satisfaction related

to the systems.

v

Agradecimentos

Agradeco a Deus por todo o carinho e cuidado, por toda a forca e coragem, por nao

desistir de mim e por me mostrar que “Tudo posso, Naquele que me fortalece!”

Ao Santo Inacio de Loyola e ao papa Joao Paulo II, pela intercessao junto a Jesus

Cristo durante minhas diversas dificuldades.

Ao amor da minha vida, Wagner, pela presenca amiga, por estudar comigo, por

todo carinho, amor e por sempre me motivar e mostrar que sou capaz!

A minha mae e minha irmazinha, Bel, pelo incentivo, apoio, amizade, oracoes, por

acreditar em mim e ter demonstrado o quanto me amam.

Ao grande amigo, pai, irmao... Padre Jacauna, grande incentivador de meus estudos

e a presenca da minha famılia durante o tempo em que fiquei longe de casa.

A minha orientadora professora Ana Maria Cardoso, que direcionou com sabedoria

meus trabalhos, me motivou e abriu novos caminhos.

A professora Raquel de Oliveira Prates que, com muita presteza, me forneceu in-

formacoes e conselhos que foram motivadores e essenciais para a realizacao deste tra-

balho; e a professora Lucila Ishitani por toda contribuicao.

A Giovana, por toda informacao e suporte.

A Secretaria Municipal de Saude de Belo Horizonte, especialmente aos gestores do

BHTelessaude, a Janaına e usuarios que contribuıram com suas informacoes.

Ao reitor da Unimontes, prof. Paulo Cesar Goncalves de Almeida, pelo apoio e

confianca; aos professores Reinaldo Teixeira, Wilson Atair Ramos, Tania Marta Maia

Fialho, Mario Melo e servidores da Diretoria de Desenvolvimento de Recursos Humanos

e da Pro-Reitoria de Pesquisa da Unimontes.

A Fundacao de Amparo a Pesquisa do Estado de Minas Gerais - FAPEMIG, pelo

apoio financeiro.

E a todos que foram a presenca e a voz de Deus para que eu nao desistisse em meio

as grandes dificuldades!

vi

Sumario

Lista de Figuras xiii

Lista de Tabelas xiv

Lista de Sımbolos e Abreviaturas xv

1 Introducao 11.1 Usabilidade e Sistemas de Telemedicina . . . . . . . . . . . . . . . . . . 21.2 Motivacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3 Objetivo do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.4 Abordagem Adotada e Organizacao do Texto . . . . . . . . . . . . . . 7

2 Revisao de Literatura 82.1 Interfaces Computacionais e a Interacao Humano Computador (IHC) . 82.2 Usabilidade de Sistemas Computacionais . . . . . . . . . . . . . . . . . 102.3 Avaliacao de Interfaces Computacionais . . . . . . . . . . . . . . . . . . 152.4 Metodos de Avaliacao de Usabilidade . . . . . . . . . . . . . . . . . . . 16

2.4.1 Metodos Analıticos . . . . . . . . . . . . . . . . . . . . . . . . . 192.4.1.1 Avaliacao Heurıstica . . . . . . . . . . . . . . . . . . . 192.4.1.2 Percurso Cognitivo . . . . . . . . . . . . . . . . . . . . 21

2.4.2 Metodos Empıricos . . . . . . . . . . . . . . . . . . . . . . . . . 222.4.2.1 Testes em Laboratorio . . . . . . . . . . . . . . . . . . 232.4.2.2 Estudo de Campo . . . . . . . . . . . . . . . . . . . . 25

3 Telemedicina e o BHTelessaude 323.1 Telemedicina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.1.1 Evolucao Historica da Telemedicina . . . . . . . . . . . . . . . . 333.1.2 Aplicacoes da Telemedicina . . . . . . . . . . . . . . . . . . . . 353.1.3 Teleconsultoria . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.2 BHTelessaude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383.2.1 Descricao dos servicos oferecidos pelo BHTelessaude . . . . . . . 393.2.2 Infra-estrutura Tecnologica . . . . . . . . . . . . . . . . . . . . . 41

vii

Sumario viii

4 Metodologia 434.1 Definicao do Metodo de Avaliacao de Usabilidade (UEM) . . . . . . . . 444.2 Definicoes praticas da Avaliacao Preditiva . . . . . . . . . . . . . . . . 46

4.2.1 Fase Preparatoria . . . . . . . . . . . . . . . . . . . . . . . . . . 464.2.2 Etapa de Analise . . . . . . . . . . . . . . . . . . . . . . . . . . 63

4.3 Definicoes Praticas do Estudo de Campo . . . . . . . . . . . . . . . . . 644.3.1 Entrevista em grupo (Grupo focal) . . . . . . . . . . . . . . . . 664.3.2 Entrevistas Individuais . . . . . . . . . . . . . . . . . . . . . . . 674.3.3 Observacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704.3.4 Questionarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

5 Resultados e Discussoes 735.1 Resultados decorrentes do Percurso Cognitivo . . . . . . . . . . . . . . 735.2 Resultados decorrentes do Grupo Focal . . . . . . . . . . . . . . . . . . 74

5.2.1 Problemas relacionados a introducao de tecnologia . . . . . . . . 755.2.2 Problemas Tecnicos . . . . . . . . . . . . . . . . . . . . . . . . . 755.2.3 Problemas de Usabilidade do Sistema . . . . . . . . . . . . . . . 75

5.3 Resultados decorrentes das entrevistas individuais . . . . . . . . . . . . 765.3.1 Analise dos Usuarios . . . . . . . . . . . . . . . . . . . . . . . . 765.3.2 Resultados decorrentes da Analise das Entrevistas . . . . . . . . 80

5.3.2.1 Introducao Tecnologica . . . . . . . . . . . . . . . . . . 805.3.2.2 Usabilidade do Sistema . . . . . . . . . . . . . . . . . 845.3.2.3 Problemas Tecnicos (uso do equipamento) . . . . . . . 85

5.4 Resultados decorrentes da Observacao . . . . . . . . . . . . . . . . . . 875.4.1 Introducao Tecnologica . . . . . . . . . . . . . . . . . . . . . . . 875.4.2 Usabilidade do Sistema . . . . . . . . . . . . . . . . . . . . . . . 875.4.3 Problemas Tecnicos (uso de equipamento) . . . . . . . . . . . . 87

5.5 Resultados decorrentes do Questionario de Satisfacao do Usuario . . . . 885.5.1 Analise da Categoria:Telas . . . . . . . . . . . . . . . . . . . . . 905.5.2 Analise da Categoria Terminologia e Informacao do Sistema . . 925.5.3 Analise da Categoria Aprendizagem e utilizacao do Sistema . . 945.5.4 Analise da Categoria Multimıdia e Teleconferencia . . . . . . . . 965.5.5 Nıvel Geral de Satisfacao com o sistema . . . . . . . . . . . . . 995.5.6 Media Geral dos Itens Avaliados por Categoria . . . . . . . . . 100

6 Consideracoes Finais e Trabalhos Futuros 103

A Termo de Consentimento 107

B Roteiro do Grupo Focal 108

C Questionarios 110

Sumario ix

Referencias Bibliograficas 117

Lista de Figuras

1.1 Resultados do uso de Teleconsultorias on-line nas UBS em Belo Horizonte. 5

2.1 Processo de Interacao Humano-Computador . . . . . . . . . . . . . . . 92.2 Atributos da aceitabilidade de um sistema computacional . . . . . . . . 112.3 Ciclo de Vida Estrela para desenvolvimento de IHC . . . . . . . . . . . 16

3.1 Distritos Sanitarios onde ja foram implantados o BHTelessaude. . . . . 393.2 Teleconsultoria on-line. . . . . . . . . . . . . . . . . . . . . . . . . . . 403.3 Estrutura fısica da rede de comunicacao do BHTelessaude. . . . . . . . 41

4.1 Fluxo de Tarefas para Solicitacao de Teleconsultorias off-line . . . . . 474.2 Menu Casos Clınicos. . . . . . . . . . . . . . . . . . . . . . . . . . . . 484.3 Interface do Gerenciamento de Casos Clınicos pronta para receber um

novo cadastro. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494.4 Interface para Pesquisar Casos Clınicos cadastrados. . . . . . . . . . . 504.5 Interface para Pesquisar Casos Clınicos apos encontrado o registro de-

sejado. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514.6 Interface de Gerenciamento de Casos Clınicos exibindo dados cadastra-

dos e pronta para receber solicitacao. . . . . . . . . . . . . . . . . . . 524.7 Interface de visualizacao das Teleconsultas off-line ja solicitadas para o

caso clınico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534.8 Interface do formulario de cadastro de solicitacao de Teleconsultas off-

line. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544.9 Interface do formulario de Solicitacao de Teleconsultas off-line com da-

dos preenchidos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554.10 Interface de confirmacao do envio da solicitacao de Teleconsultas off-line. 564.11 Interface de pesquisa de Prontuarios cadastrados. . . . . . . . . . . . . 574.12 Interface de Gerenciamento de Casos Clınicos apos recebimento de dados

de um novo caso clınico. . . . . . . . . . . . . . . . . . . . . . . . . . . 584.13 Interface de confirmacao do Cadastro do Caso Clınico. . . . . . . . . . 594.14 Interface do Menu principal do Sistema Gestao de Teleconsultorias. . . 604.15 Interface do formulario do Cadastro de Prontuario preenchido. . . . . 614.16 Interface do formulario do Cadastro de Prontuario preenchido. . . . . 62

Lista de Figuras xi

4.17 Interface da Pesquisa de Prontuario com mensagem de deteccao decadastro semelhante ao digitado pelo usuario. . . . . . . . . . . . . . . 63

4.18 Procedimentos do MEDS . . . . . . . . . . . . . . . . . . . . . . . . . . 70

5.1 Caracterizacao dos usuarios quanto a idade . . . . . . . . . . . . . . . 765.2 Experiencia do domınio (medicina) . . . . . . . . . . . . . . . . . . . . 775.3 Quantidade de uso das principais funcoes do BHTelessaude pelos usuarios

entrevistados. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785.4 Aplicativos utilizados pelos usuarios entrevistados. . . . . . . . . . . . 785.5 Utilizacao de servicos disponıveis na Internet pelos usuarios entrevista-

dos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 795.6 Definicao do Perfil dos usuarios. . . . . . . . . . . . . . . . . . . . . . 805.7 Comparacao das notas dadas entre novatos e experientes no uso de com-

putadores para os ıtens da categoria Tela. . . . . . . . . . . . . . . . . 915.8 Comparacao das notas dadas entre novatos e experientes no Uso do

Sistema para os ıtens da categoria Tela. . . . . . . . . . . . . . . . . . 915.9 Comparacao das notas dadas entre novatos e experientes no domınio da

aplicacao para os ıtens da categoria Tela. . . . . . . . . . . . . . . . . 925.10 Comparacao das notas dadas entre novatos e experientes no uso de com-

putadores para os ıtens da categoria Terminologia e Informacao do Sis-tema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

5.11 Comparacao das notas dadas entre novatos e experientes no uso do Sis-tema para os ıtens da categoria Terminologia e Informacao do Sistema.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

5.12 Comparacao das notas dadas entre novatos e experientes no Domınioda Aplicacao para os ıtens da categoria Terminologia e Informacao doSistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

5.13 Comparacao das notas dadas entre novatos e experientes no Uso deComputadores para os ıtens da categoria Aprendizagem e Utilizacao doSistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

5.14 Comparacao das notas dadas entre novatos e experientes no Uso do Sis-tema para os ıtens da categoria Aprendizagem e Utilizacao do Sistema.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

5.15 Comparacao das notas dadas entre novatos e experientes no Domınioda Aplicacao para os ıtens da categoria Aprendizagem e Utilizacao doSistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

5.16 Comparacao das notas dadas entre novatos e experientes no Uso deComputadores para os ıtens da categoria Multimıdia e Teleconferencia. 97

5.17 Comparacao das notas dadas entre novatos e experientes no Uso doSistema para os ıtens da categoria Multimıdia e Teleconferencia. . . . 98

5.18 Comparacao das notas dadas entre novatos e experientes no Domınio daAplicacao para os ıtens da categoria Multimıdia e Teleconferencia. . . 99

5.19 Comparacao das notas dadas entre novatos e experientes com relacao aonıvel de satisfacao com o sistema. . . . . . . . . . . . . . . . . . . . . 100

Lista de Figuras xii

5.20 Media geral dos ıtens avaliados da categoria Tela. . . . . . . . . . . . . 1005.21 Media geral dos ıtens avaliados da categoria Terminologia e Informacao

do Sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015.22 Media geral dos ıtens avaliados da categoria Aprendizagem e Utilizacao

do Sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015.23 Media geral dos ıtens avaliados da categoria Multimıdia e Videocon-

ferencia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

Lista de Tabelas

1.1 Distribuicao de Centros de Saude por Distrito Sanitario . . . . . . . . . 4

2.1 Evolucao da area de IHC . . . . . . . . . . . . . . . . . . . . . . . . . . 92.2 Conceitos que descrevem diferentes aspectos da usabilidade . . . . . . . 142.3 Comparacao entre tecnicas de coleta de dados utilizadas na observacao 26

4.1 Lista de Checagem do framework DECIDE . . . . . . . . . . . . . . . 444.2 Explorando questoes especıficas (E)xplore . . . . . . . . . . . . . . . . 444.3 Paradigmas e tecnicas escolhidas para a avaliacao da interface . . . . . 454.4 Resumo de definicao pratica do Estudo de Campo. . . . . . . . . . . . 644.5 Classificacao dos usuarios do BHTelessaude. . . . . . . . . . . . . . . . 654.6 Medicos-Usuarios por UBS da Regiao Centro-Sul. . . . . . . . . . . . . 664.7 Tarefas a serem avaliadas no Estudo de Campo. . . . . . . . . . . . . 664.8 Quantidade de Usuarios Entrevistados por UBS da Regiao Centro-Sul

de Belo Horizonte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684.9 Locais e usuarios observados. . . . . . . . . . . . . . . . . . . . . . . . 71

5.1 Comparacao das notas dos ıtens da Categoria Tela por perfis de usuario. 885.2 Comparacao das notas dos ıtens da Categoria Terminologia por perfis

de usuario. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895.3 Comparacao das notas dos ıtens da Categoria de Aprendizagem e Uti-

lizacao do Sistema por perfis de usuario. . . . . . . . . . . . . . . . . . 895.4 Comparacao das notas dos ıtens da Categoria Multimıdia e Telecon-

ferencia por perfis de usuario. . . . . . . . . . . . . . . . . . . . . . . . 905.5 Comparacao das notas do nıvel de satisfacao com o sistema por perfis

de usuario. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

Lista de Sımbolos e Abreviaturas

ACM Association Computing Machinery

ANA American Nurses’ Association

ATA American Telemedicine Association

CEM Centro de Especialidades Medicas

CENAPAD Centro Nacional de Pesquisa de Alto Desempenho

DECIDE Determine, Explore, Choose, Identify, Decide, Evaluate

FAFICH Faculdade de Filosofia e Ciencias Humanas

HC Hospital das Clınicas

IHC Interacao Humano-Computador

ISDN Integrated Service Digital Network

LCC Laboratorio de Computacao Cientıfica

MEDS Metodo de Explicitacao do Discurso Subjacente

NASA National Aeronautics and Space Administration

NGI Next Generation Internet

OSM Organizacao Mundial de Saude

PBH Prefeitura de Belo Horizonte

PSF Programa de Saude da Famılia

PUC Pontifıcia Universidade Catolica de Minas Gerais

QUIS Questionaire for User Interaction Satisfaction

REMAV Rede Metropolitana de Alta Velocidade

Lista de Tabelas xv

RMI Rede Municipal de Informatica

RNP Rede Nacional de Ensino e Pesquisa

RUTE Rede Universitaria de Telessaude

SIGCHI Special Interest Group in Computer-Human Interaction

SMSA Secretaria Municipal de Saude

SUMI Software Usability Measurement Invetory

TIC´s Tecnologias de Informacao e Comunicacao

UBS Unidades Basicas de Saude

UFMG Universidade Federal de Minas Gerais

UME Usability Evaluation Methods

UML Unified Modeling Language

Capıtulo 1

Introducao

Nesta dissertacao, e abordado o tema da avaliacao de usabilidade de sistemas de Tele-

medicina com base em metodos de avaliacao preditiva e de estudo de campo.

A Telemedicina vem sendo praticada ha varias decadas, tendo inıcio com o ad-

vento das telecomunicacoes. No entanto, faz somente alguns anos que o interesse pela

Telemedicina cresceu de forma significativa, demonstrado pelo crescente numero de

publicacoes na area [Lopes et al., 2005].

A Telemedicina tem um importante papel social. Um de seus maiores propositos e

atender situacoes onde barreiras fısicas dificultam e, as vezes, ate impedem o contato

entre pacientes e profissionais de saude. Por este motivo, uma das aplicacoes potenciais

da Telemedicina esta em areas de difıcil acesso como meios rurais, centros de detencao

e reabilitacao, e em areas urbanas, seja como aplicacao de educacao continuada para

profissionais de saude, ou para solucoes de problemas assistenciais ([Nacci et al., 2001];

[Martinez et al., 2004]; [Santos et al., 2006]; [Eha, 2007]; [Tel, 2007]; [HCN, 2007]).

Alem das necessidades sociais, o crescente avanco das tecnologias de sistemas de

informacao, telecomunicacao, robotica e multimıdia tem ajudado no progresso e dis-

seminacao dos sistemas de Telemedicina em geral. Dentre estes avancos podemos

destacar:

• O advento das tecnologias de sistemas de telecomunicacao, que fornece meios de

comunicacao de alta qualidade e velocidade;

• O crescente desenvolvimento da robotica e multimıdia que prove manipuladores

precisos e meios muito mais agradaveis de comunicacao e interacao homem-

maquina. Como por exemplo, os sistemas de videoconferencias e sistemas de

interface haptica com feedback visual e de sensacao de forca para o usuario; e,

1.1 Usabilidade e Sistemas de Telemedicina 2

• O surpreendente avanco da informatica em geral, tanto no que diz respeito ao

hardware (cada vez mais potente e mais barato) quanto ao desenvolvimento de

softwares (cada vez mais sofisticados e eficientes).

Entretanto, apesar de se ter esse grande avanco tecnologico, ainda ha uma grande

resistencia por parte dos profissionais de saude no uso de sistemas de Telemedicina

[Gaggioli, 2005]. Avaliar os fatores responsaveis por esta resistencia nao e uma tarefa

facil e, nestes casos, a primeira questao que surge esta diretamente relacionada a usa-

bilidade do sistema implantado.

1.1 Usabilidade e Sistemas de Telemedicina

A usabilidade analisa questoes relacionadas a facilidade de aprendizado e uso das fun-

cionalidades de um sistema. Ela e definida pela norma ISO 9241 como “a capacidade

que apresenta um sistema interativo de ser operado, de maneira eficaz, eficiente e

agradavel, em um determinado contexto de operacao, para a realizacao das tarefas de

seus usuarios” [Cybis, 1995].

Segundo Nielsen [Nielsen, 1993], a usabilidade e uma das caracterısticas que definem

a aceitabilidade de um sistema computacional e a sua ausencia pode comprometer a

utilizacao desse sistema. Usabilidade tambem pode ser definida como uma combinacao

de criterios como, facilidade de aprendizagem, facilidade de uso, eficiencia, minimizacao

de erros e satisfacao subjetiva [Nielsen, 1993]. Uma simples deficiencia em um desses

criterios pode causar grandes barreiras para que o usuario utilize um determinado

sistema.

Por exemplo, quando os usuarios de um novo sistema estao sempre muito ocupa-

dos para treinamento formal, leituras de manuais, ou sao tımidos em perguntar como

funciona, um criterio essencial de usabilidade e a facilidade de aprendizagem. Alem do

mais, os usuarios preferem aprender a usar um sistema a medida que necessitam dele,

enquanto trabalham em suas tarefas cotidianas, por exploracao [Lewis et al., 1990,

Lewis and Wharton, 1997]. Os fatores citados fazem com que a falta desse atributo

em um sistema seja decisiva para que os usuarios nao o utilizem.

O usuario ve a interface como o proprio sistema. Para ele e a interface que deter-

mina a qualidade do sistema e nao os seus algoritmos, arquitetura e modelo de dados

[Prates and Barbosa, 2003]. Por este motivo, os usuarios possuem grande dificuldade

em aceitar um sistema quando este nao possui uma interface que seja facil e agradavel

1.1 Usabilidade e Sistemas de Telemedicina 3

de usar e que garanta a eficiencia do uso. Deste modo, a falta de usabilidade de um

produto pode ser a causa de seu fracasso.

Este problema nao e diferente nos sistemas computacionais utilizados na Teleme-

dicina onde a interface de uso e, em muitos casos, o grande obstaculo a sua adocao

e expansao. Apesar das aplicacoes em Telemedicina terem proliferado, sua difusao

e aceitacao ainda permanecem baixas por parte de seus usuarios, sejam eles profis-

sionais de saude ou pacientes. Estudos mostram que um dos principais fatores que

contribui para isto e a dificuldade que os usuarios tem em utilizar a tecnologia implan-

tada nos projetos da area ([Tanriverdi and Iacono, 1999]; [Kaufmann et al., 2003b];

[Kaufmann et al., 2003a]; [Gaggioli, 2005]; [Ackerman et al., 2002]; [Allen et al., 2006];

[Johnson, 2003]).

O problema de difusao da Telemedicina por motivos de desconhecimento tecnico

pode ser percebido atraves do trabalho realizado por [Gaggioli, 2005], que examinou,

atraves de um questionario, as atitudes de 2950 medicos italianos em relacao ao uso

de sistemas de Telemedicina em geral. A pesquisa demonstrou grande resistencia dos

medicos na utilizacao dessa tecnologia. E apontou como uma das causas dessa re-

sistencia a falta de conhecimento sobre o assunto e a dificuldade no aprendizado e

utilizacao desses sistemas, que necessitam de maior usabilidade.

Problemas semelhantes tambem foram detectados por [Kaufmann et al., 2003b] em

seu estudo e avaliacao de usabilidade com sistemas de telemedicina utilizados por pa-

cientes com diabetes em suas proprias casas. O teste de usabilidade foi realizado com 25

pacientes. A avaliacao revelou aspectos da interface do sistema que foram mal projeta-

dos e impediam o melhor desempenho de algumas tarefas. Revelou tambem que, fatores

relacionados aos usuarios, como habilidades psicomotoras e cognitivas constituem uma

barreira para o uso produtivo do sistema.

Problemas de inseguranca na utilizacao de sistemas de Telemedicina nao so ameacam

a introducao dessa tecnologia como podem tambem impedir diagnosticos adequados

[Johnson, 2003]. Quando os operadores estao incertos sobre o que seus sistemas estao

de fato fazendo, eles frequentemente recorrem a estrategias. Essas estrategias podem

ameacar a seguranca dos pacientes em muitas aplicacoes de saude. Um exemplo disso e

quando clınicos reiniciam frequentemente o sistema para que este volte para um estado

reconhecido. Esse procedimento pode gerar problemas se os dados clınicos sao perdidos

no momento em que o dispositivo e reiniciado.

A criacao de um bom projeto de interface para os sistemas de Telemedicina pode

ser considerada duplamente importante. Isto porque, normalmente, o projeto requer

1.2 Motivacao 4

duas interfaces, uma para o paciente ou provedor remoto e outra para o consultor

[Ackerman et al., 2002]. Porem, os projetos de Telemedicina ainda tem seus desenhos

mais centrados na propria tecnologia do que nas necessidades concretas da populacao e

dos profissionais de saude [Martinez, 2000]. Isso faz com que as tecnologias, geralmente

empregadas nesses projetos, sejam de difıcil uso e nem sempre suportem as necessidades

de seus usuarios.

1.2 Motivacao

Em Belo Horizonte, os servicos de Telemedicina tem sido implantados atraves do pro-

jeto BHTelessaude. O BHTelessaude e uma rede dirigida para o suporte assistencial

e a educacao permanente dos profissionais da saude pertencentes as Unidades Basicas

de Saude (UBS) do municıpio. O seu modelo se baseia em teleconferencias e telecon-

sultorias.

A teleconsultoria medica e um servico utilizado para discussao de casos clınicos e

obtencao de uma segunda opiniao medica. Ele e usado pelos profissionais das Unidades

Basicas de Saude (UBS) e especialistas do Hospital das Clınicas (HC) da Universidade

Federal de Minas Gerais e do Centro de Especialidades Medicas (CEM). Os profissionais

das UBS agendam discussao de casos e compartilham imagens e informacoes contidas

no prontuario eletronico do paciente atraves de um software especıfico, em tempo real.

Distrito

Sanitario

No de Centros de

Saude Existentes

No de Centros de

Saude Interligados

Barreiro 20 20

Centro-Sul 12 11

Leste 14 14

Nordeste 20 18

Noroeste 19 5

Norte 17 16

Oeste 15 15

Pampulha 08 08

Venda Nova 16 14

TOTAL 141 121

Tabela 1.1: Distribuicao de Centros de Saude por Distrito Sanitario (Secretaria Mu-

nicipal de Saude de Belo Horizonte - abril/2007).

1.2 Motivacao 5

A sua implantacao teve inıcio no ano de 2004, no Distrito Sanitario da regiao Oeste

de Belo Horizonte, em 14 UBS. Em abril de 2007 ja se encontra implantado em 121

UBS, como mostra a Tabela 1.1.

Apesar da expansao e do tempo de implantacao do projeto, o numero de telecon-

sultorias realizadas ainda e muito pequeno. No perıodo de abril/2004 a junho/2006,

foram feitas apenas 127 teleconsultorias, uma media de 4,7 teleconsultas/mes. Assim

como na literatura revisada, a frequencia de utilizacao dos servicos de Telemedicina no

projeto BHTelessaude ainda e baixa.

No caso do projeto BHTelessaude, que e focado na atencao primaria, profissionais

da area da saude das Unidades Basicas de Saude (UBS) de Belo Horizonte, alem de

receberem capacitacao permanente atraves de teleconferencias, discutem casos clınicos

e obtem segunda opiniao por meio de servicos de teleconsultoria. Os servicos de

Telemedicina interferem diretamente no custo do cuidado ofertado. De acordo com

[Santos et al., 2006] a implantacao desse servico proporcionou uma reducao significa-

tiva de tempo e despesas com locomocao de pacientes, diminuindo as demandas para

assistencias secundarias e terciarias. A Figura 1.1 nos mostra que dentre todos os

casos discutidos nas teleconsultorias on-line a grande maioria permaneceu nas UBS,

sem a necessidade de serem encaminhadas a outros nıveis, como acontecia antes da

implantacao do sistema.

Figura 1.1: Resultados do uso de Teleconsultorias on-line nas UBS em Belo Hori-

zonte).Adaptado de [Santos et al., 2006].

1.3 Objetivo do Trabalho 6

Conhecer o que os usuarios querem e os problemas enfrentados por eles durante

a interacao com o sistema, ajudam a reduzir as barreiras e resistencias ao uso do

sistema. Neste contexto, torna-se indispensavel a avaliacao da interface dos sistemas

computacionais utilizados no BHTelessaude.

1.3 Objetivo do Trabalho

Diante das questoes apresentadas, este trabalho tem como objetivo geral avaliar a

usabilidade dos sistemas computacionais utilizados nos servicos de Telemedicina do

projeto BHTelessaude. Os objetivos especıficos sao:

• Conhecer o projeto de telessaude implantado nas Unidades Basicas de Saude de

Belo Horizonte - BHTelessaude;

• Conhecer e entender o funcionamento dos sistemas computacionais utilizados nos

servicos de Telemedicina do BHTelessaude;

• Conhecer as rotinas e processos de trabalho dos servicos de Telemedicina nas

UBS;

• Definir o perfil dos usuarios do BHTelessaude;

• Verificar o efeito das interfaces junto aos usuarios;

• Identificar problemas especıficos dos sistemas durante o seu uso;

• Identificar dificuldades enfrentadas pelos usuarios durante o uso do sistema;

O presente trabalho faz parte de um estudo mais abrangente, financiado com re-

cursos da FAPEMIG e conduzidos por pesquisadores da PUC Minas, cujo tıtulo e

“Avaliacao da Usabilidade das TIC’s e uso da informacao nos servicos de telessaude: a

experiencia de Belo Horizonte”1. Seu objetivo e avaliar a implantacao e implementacao

do servico de Telessaude nas dimensoes da usabilidade dos recursos tecnologicos e do

uso da informacao com vista a satisfacao do usuario e fomento do aprendizado indivi-

dual e coletivo.

1Relatorio ainda nao publicado e entregue a Fapemig em maio de 2007.

1.4 Abordagem Adotada e Organizacao do Texto 7

1.4 Abordagem Adotada e Organizacao do Texto

Para fundamentar o trabalho foi realizada uma revisao bibliografica sobre Interacao

Humano Computador (IHC), onde se buscou entender seus conceitos e metodos de

avaliacao. Este estudo se encontra descrito no Capıtulo 2.

Tambem houve a necessidade de uma revisao bibliografica sobre o tema Telemedi-

cina, visando compreender seu contexto e aplicacoes, que se encontra no Capıtulo 3,

juntamente com a exposicao do projeto BHTelessaude.

Para melhor direcionar o processo de avaliacao foi utilizado o framework DECIDE,

proposto por [Preece et al., 2002]. Ele nos auxiliou na identificacao dos metodos mais

apropriados para o trabalho e como tratar as questoes praticas e eticas do planejamento,

conducao, analise e apresentacao do resultado. A sua utilizacao e a descricao dos

metodos e tecnicas usados na avaliacao estao no Capıtulo 4.

No Capıtulo 5 exibimos os resultados obtidos com base na analise dos dados cole-

tados e resultados e discussoes gerais de nosso trabalho. Finalmente, no Capıtulo 6,

apresentamos as conclusoes e indicacoes para trabalhos futuros.

Capıtulo 2

Revisao de Literatura

2.1 Interfaces Computacionais e a Interacao Hu-

mano Computador (IHC)

A nocao de interface com usuario, conhecida como Interface Homem-Maquina, se

tornou objeto de interesse de pesquisa a partir dos anos 70, com a revolucao tec-

nologica. Neste perıodo o maior desafio era criar computadores que fossem acessıveis e

utilizaveis por usuarios que nao fossem especialistas [Preece et al., 2002]. Motivo pelo

qual fez crescer o interesse por estudos referentes aos aspectos do processamento da

informacao humana durante o design de sistemas computacionais pela Psicologia.

No inıcio dos anos 80, Moran definiu formalmente o termo interface como sendo “o

componente de um sistema computacional com a qual uma pessoa entra em contato -

fısico, perceptiva ou conceitualmente” (citado por [Prates and Barbosa, 2003]). Assim,

a interface pode ser entendida como um sistema de comunicacao que e utilizado no

processo de comunicacao entre o usuario e sistema. A este processo da-se o nome de

Interacao. Nele o usuario realiza acoes sobre a interface do sistema e interpreta as

respostas transmitidas por ela (Figura 2.1).

2.1 Interfaces Computacionais e a Interacao Humano Computador (IHC) 9

Figura 2.1: Processo de Interacao Humano-Computador (adaptado de

[Prates and Barbosa, 2007]).

Em meados dos anos 80 as preocupacoes com as capacidades e limitacoes hu-

manas durante a interacao entre o usuario e o sistema, fizeram surgir o termo In-

teracao Humano-Computador (IHC). Este termo foi adotado como tentativa de des-

crever esta nova area de estudo. Sua definicao formal e feita pelo Special Interest

Group in Computer-Human Interaction - SIGCHI-ACM [SIG, 1992]: “IHC e a disci-

plina preocupada com o design, avaliacao e implementacao de sistemas computacionais

interativos para o uso humano e com o estudo dos principais fenomenos envolvidos nesta

interacao”.

Decadas Caracterısticas

50 Interface no nıvel de hardware para engenheiros. Reunia varios paineis

com chaves e mostradores que controlavam conjunto de registros internos.

60-70 Interface no nıvel de programacao. Linguagem de programacao Cobol,

Fortran.

70-90 Interface no nıvel de terminais - linguagem de comando

80 Interface no nıvel de interacao de dialogo - GUIs, multimıdia

90 Interface na configuracao do trabalho - sistemas trabalhados em rede,

groupware

2000 Interface torna-se empregnada - tecnologia Bluetooth, dispositivos

moveis, telas interativas, tecnologia embutida, etc.

Tabela 2.1: Evolucao da area de IHC (adaptado de [Preece et al., 2002]).

2.2 Usabilidade de Sistemas Computacionais 10

Preece et al. [Preece et al., 2002] resumem a evolucao da area de IHC, caracteri-

zando cada decada desde os anos 50, como mostra a Tabela 2.1:

O objetivo da area de IHC e a “producao de sistemas utilizaveis, seguros e fun-

cionais” ([Rocha and Baranauskas, 2003], p.17). Para que esses objetivos sejam al-

cancados e necessario o envolvimento e a contribuicao de diversas areas de conhec-

imento. Dentre as principais destacamos ([Preece et al., 2002, Preece et al., 2005];

[SIG, 1992]; [Shneiderman, 1998]):

• Ciencia da Computacao: fornece metodos para a incorporacao de IHC nos sis-

temas e a construcao de ferramentas que auxiliam a criacao de softwares como:

linguagens de programacao, sistemas de gerenciamento de interfaces de usuarios,

ferramentas de testes, etc.;

• Psicologia: aplicacao de teorias dos processos cognitivos e analise empırica do

comportamento do usuario de computadores;

• Fatores Humanos ou Ergonomia: cria design de ferramentas e artefatos para

diferentes ambientes, adequando-os as capacidades e necessidades dos usuarios;

• Filosofia, sociologia e antropologia: buscam entender a comunicacao entre usuarios,

tecnologia, trabalho e ambiente, o que acontece antes e depois da interacao;

• Engenharia: ciencia aplicada e direcionada a construcao e testes empıricos de

modelos;

• Design: projeto grafico de telas de sistemas computacionais.

Portanto, a IHC e uma area de estudo interdisciplinar e envolve todos os aspectos

relacionados com a interacao entre usuarios e sistemas.

2.2 Usabilidade de Sistemas Computacionais

A qualidade de uso de um sistema computacional esta relacionada “com a capacidade

e a facilidade de os usuarios atingirem suas metas com eficiencia e satisfacao”

([Prates and Barbosa, 2003], p.3). A usabilidade e o conceito de qualidade de uso

mais encontrado na literatura revisada. Segundo [Rosenbaum, 1989], ela se traduz

na facilidade com que as pessoas em um grupo definido podem aprender e usar um


produto. Ela e determinada pelas caracterısticas e as relacoes entre as tarefas, os

usuarios e o produto.

A Norma ISO 9241 a define “como a capacidade que apresenta um sistema interativo

de ser operado, de maneira eficaz, eficiente e agradavel, em um determinado contexto

de operacao, para a realizacao das tarefas” ([ISO9241-11, ]).

Para Nielsen [Nielsen, 1993], a usabilidade e um dos componentes da aceitabilidade

geral de um sistema que e, basicamente, a questao do sistema ser suficientemente bom

para satisfazer todas as necessidades e requisitos dos usuarios. Aceitabilidade geral e

uma combinacao da aceitabilidade social e pratica de um sistema, conforme mostra a

Figura 2.2.

Figura 2.2: Atributos da aceitabilidade de um sistema computacional (adaptado de

[Nielsen, 1993]).

A Usabilidade, ainda de acordo com [Nielsen, 1993], pode ser definida como uma

combinacao de algumas caracterısticas, denominados atributos de usabilidade. Esses

atributos abordam basicamente dois aspectos: a tarefa e as caracterısticas individuais

dos usuarios. Sao eles:

• Facilidade de aprendizado (Learnability): o sistema tem que ser facil de apren-

der de forma que o usuario possa rapidamente comecar a interagir. Leva-se em

consideracao que o usuario nao aprende uma interface antes de comecar a usa-la.


• Eficiencia (Efficiency): uma vez aprendido o uso da interface, o usuario tem que

possuir um elevado nıvel de produtividade em sua utilizacao.

• Facilidade de relembrar (Memorability): tendo uma vez usada a interface, ao

voltar apos algum tempo a reusa-la nao deve haver necessidade de novo apren-

dizado.

• Erros1 (Errors): a taxa de erros do sistema deve ser a mınima possıvel e, caso

ocorra, estes devem ser de facil recuperacao, sem haver perda de trabalho.

• Satisfacao subjetiva (Satisfaction): o sistema deve ser agradavel de forma que o

usuario fique satisfeito ao usa-lo.

Outros fatores que apoiam o conceito de usabilidade descritos por [Dix et al., 2004]

e [Preece et al., 2005], sao:

• Utilidade: se refere ao quanto um sistema oferece no conjunto de funcionalidades

necessarias para os usuarios realizarem suas tarefas da maneira que desejam.

• Seguranca no uso: implica no grau de protecao de um sistema contra condicoes

desfavoraveis ou ate mesmo perigosas para os usuarios. Trata de como evitar

essas condicoes e permitir que o usuario se recupere de erro sem consequencias

serias para seu trabalho ou para sua saude.

• Flexibilidade: se refere a variedade de caminhos que o sistema da ao usuario para

que ele possa atingir seu objetivo.

• Robusteza: nıvel de suporte fornecido ao usuario.

Outra forma de conceituar a Usabilidade se da em termos de princıpios de design

que, segundo [Preece et al., 2005] “trata-se de abstracoes generalizaveis, destinadas a

orientar os designers a pensar sobre aspectos diferentes de seus designs”. Um dos

princıpios mais usados e disseminados e o affordance.

O conceito de affordance foi criado em 1979, pelo psicologo J. Gibson em sua

teoria sobre a percepcao humana e foi aplicada ao design por Donald Norman em 1988

(HCIRN, http://www.hcirn.com/atoz/atozq/ques.php, [Norman, 1999]). Norman a

propos como princıpio de design ao observar as frustracoes que as pessoas experimentam

ao interagir com objetos no dia-a-dia [Rocha and Baranauskas, 2003]. Affordance se

1Erro e definido como sendo a acao que nao leva ao resultado esperado.

http://www.hcirn.com/atoz/atozq/ques.php


refere as propriedades reais do objeto que sao percebidas e determinam como este objeto

pode ser usado, de maneira obvia, sem a necessidade de rotulos. Para [Norman, 1999]

existem dois tipos de affordance: a real, disponıvel nos objetos reais onde sao obvias e

nao precisam ser aprendidas; e a percebida, que sao as convencoes aprendidas, usadas

nas interfaces de usuario que estao na tela.

Outros princıpios de design empregados por Norman, e que estao totalmente in-

terligados sao ([Shneiderman, 1998]; [Rocha and Baranauskas, 2003]; [Norman, 1999];

[Preece et al., 2002, Preece et al., 2005]):

• Visibilidade: deixar visıveis as coisas necessarias que indicam quais as partes do

objeto que podem ser operadas e como.

• Bom modelo conceitual: possibilitar que o usuario consiga prever o efeito das

suas acoes junto ao objeto.

• Mapeamento: indicar o relacionamento entre os controles e seus movimentos e os

resultados no mundo. Para se ter um bom design, as acoes possıveis no objeto

devem ser visıveis e seus controles devem explorar o mapeamento natural.

• Feedback : retornar ao usuario informacoes sobre suas acoes junto ao objeto, ou

seja, os resultados obtidos com a interacao.

• Restricao: limitar as possıveis acoes a serem desempenhadas em um momento.

Estas limitacoes podem ser fısicas, logicas ou culturais. Sao fısicas, quando res-

tritas pelo formato do objeto; logicas, quando dependem do entendimento sobre

o funcionamento das coisas no mundo; e, culturais, quando sao as convencoes

aprendidas por um grupo. Este princıpio ajuda o usuario a selecionar opcoes

incorretas, diminuindo a possibilidade de erros.

• Consistencia: usar sequencias de acoes e elementos semelhantes para realizacao

de tarefas e situacoes similares.

Para descrever as orientacoes nos aspectos da usabilidade, varios autores propoem

diferentes termos, como: heurısticas, regras, princıpios de usabilidade, diretrizes (guide-

lines). A Tabela 2.2 descreve a utilizacao dos principais termos como descritos por

[Preece et al., 2005].


Conceito Tambem conhecido como: Utilizacao

Metas de

Usabilidade

- Estabelece criterios de usabilidade

para avaliar a aceitabilidade de um

sistema

Princıpios de

design

Heurıstica, quando usado na

pratica.

Lembretes do que fornecer e evitar

durante o projeto de interfaces

Princıpios de

usabilidade

Heurıstica, quando usado na

pratica

Verificar a aceitabilidade das inter-

faces durante a avaliacao

Regras - Determina se uma interface adere a

regra especıfica, quanto esta sendo

projetada e avaliada

Diretrizes Termo generico que referencia

todas as formas de orientacao

-

Tabela 2.2: Conceitos que descrevem diferentes aspectos da usabilidade (adaptado de

[Preece et al., 2005]).

Segundo Preece ([Preece et al., 2005]) “os princıpios de design sao utilizados para

informar um design, enquanto os princıpios de usabilidade sao utilizados especialmente

como base para avaliacao”. Esses princıpios quando aplicados a um problema sao

chamados de heurısticas. Eles serao descritos na Secao 2.4.1.1.

Quando operacionalizados de forma mais especıficas, os princıpios sao denominados

regras ([Preece et al., 2005]). Como exemplo, temos as Regras de Ouro para Projeto de

Interfaces (Eight Golden Rules of Interface Design), criadas por [Shneiderman, 1998],

que sao:

1. Esforco por manter a consistencia (usando mesma sequencia de acoes em situacoes

semelhantes, padronizando terminologias, cores, layout, fontes);

2. Utilizacao de atalhos para usuarios frequentes;

3. Prover feedback informativo;

4. Fornecer dialogos que indiquem termino da acao (agrupando as sequencias das

acoes em grupo com inıcio, meio e fim);

5. Prever erros e trata-los de forma simples;

2.3 Avaliacao de Interfaces Computacionais 15

6. Permitir a reversao de acoes de forma facil;

7. Permitir que o usuario experiente se sinta no controle do sistema, e

8. Reduzir a carga de memorizacao do usuario.

2.3 Avaliacao de Interfaces Computacionais

Seguir recomendacoes (guidelines) para garantir uma boa qualidade de uso de um

sistema nao e suficiente. Por melhor que seja o projeto da interface e necessario

certificar-se se a mesma corresponde ao esperado. Deste modo, a avaliacao de in-

terfaces se faz necessaria para medir a qualidade de uso de sistemas, a fim de evi-

tar problemas como: necessidade de treinamento excessivo, desmotivacao para a ex-

ploracao da interface, confusao do usuario durante a interacao, inducao a erros, in-

satisfacao, diminuicao da produtividade, e o baixo retorno do investimento previsto

([Dix et al., 2004], [Preece et al., 2005], [Prates and Barbosa, 2003]).

Segundo [Dix et al., 2004], a avaliacao de interfaces possui tres metas principais:

1. Avaliar a funcionalidade do sistema: verificar se o sistema esta de acordo com

os requisitos do usuario, permitindo que ele efetue a tarefa pretendida de forma

facil e eficiente.

2. Avaliar o efeito da interface junto ao usuario: verificar a usabilidade do sis-

tema, considerando os aspectos da facilidade de aprendizagem, facilidade de uso,

eficiencia e produtividade, utilidade, seguranca no uso e satisfacao dos usuarios

([Nielsen, 1993]; [Preece et al., 2005]); e,

3. Identificar problemas especıficos do projeto de interface: verificar aspectos do

design os quais, quando usados no contexto desejado, causam resultados inespe-

rados ou confusao entre os usuarios. Isto esta relacionado tanto com a funcional-

idade quanto com a usabilidade do projeto de interface (dependendo da causa do

problema).

A avaliacao nao pode ser vista apenas como uma etapa no processo de desenvolvi-

mento da interface. Ela deve ocorrer durante todo o ciclo de desenvolvimento, em um

processo iterativo, conforme mostra a Figura 2.3. Seus resultados devem ser utilizados

para a melhoria gradativa da interface ([Hartson and Hix, 1989]).

2.4 Metodos de Avaliacao de Usabilidade 16

Figura 2.3: Ciclo de Vida Estrela para desenvolvimento de Interface Humano-

Computador (adaptado de [Hartson and Hix, 1989]).

2.4 Metodos de Avaliacao de Usabilidade

Os metodos de avaliacao sao diversos e se distinguem por varios fatores. E, apesar

de cada um possuir pontos fortes e fracos, todos podem ser eficazes quando aplicados

apropriadamente.

As avaliacoes podem ser realizadas em campo ou em laboratorio. Algumas das

abordagens sao baseadas em avaliacao de especialistas e outras envolvem usuarios. A

escolha de um metodo apropriado depende do objetivo que se quer alcancar com a

avaliacao e dos recursos que se tem disponıveis para realiza-la, como por exemplo:

equipamentos (camara de vıdeo, gravador, etc), orcamento alocado, contexto em que a

avaliacao deve ser realizada, tempo disponıvel e experiencia dos avaliadores e projetistas

([Dix et al., 2004]; [Shneiderman, 1998]; [Jeffries and Desurvire, 1992]).

Algumas caracterısticas tambem devem ser observadas, como: a etapa do processo

de desenvolvimento da interface, a tecnica de coleta de dados utilizada pelo metodo, o

tipo de dado coletado e o tipo de analise requerida [Prates and Barbosa, 2003].

a) A etapa do processo de desenvolvimento da interface.


De acordo o estagio em que se encontra a interface ela pode ser formativa ou

somativa ([Preece et al., 2002]; [Nielsen, 1993]).

Segundo [Nielsen, 1993] a avaliacao formativa e aquela realizada durante o desen-

volvimento para melhorar o projeto de interface, enquanto a somativa e realizada

apos o desenvolvimento para avaliar uma interface.

As avaliacoes formativas sao realizadas antes da interface estar totalmente pronta,

durante as diferentes etapas de seu desenvolvimento. Seu objetivo e identificar

areas da interface que violam princıpios de usabilidade e que, por isso, poderao

ser causa de confusao ou dificuldade do usuario durante a interacao. Sua principal

vantagem e que os problemas de interacao sao descobertos e corrigidos antes da

interface ser colocada em uso, evitando custos com possıveis alteracoes.

As avaliacoes somativas sao realizadas quando ja existe uma interface pronta.

Este tipo de avaliacao tem o objetivo de verificar se o produto (interface) esta

de acordo com os padroes estabelecidos. Elas avaliam a qualidade da interface

pronta. De acordo a fase em que se encontra o projeto, a avaliacao pode requerer

nıveis diferentes de informacao. Em algumas fases havera a necessidade de uma

informacao mais especıfica (low-level information), como por exemplo, “Qual a

melhor fonte a ser usada?”. Em outras ira requerer uma informacao mais geral

(higher-level information), por exemplo, “O sistema e usavel?” [Dix et al., 2004].

b) A tecnica de coleta de dados.

As tecnicas mais utilizadas para coletar dados sao ([Prates and Barbosa, 2003] e

[Preece et al., 2002]):

• Coleta de opiniao de usuarios: maneira de se obter feedback do usuario,

identificando o seu nıvel de satisfacao com o sistema. Normalmente e reali-

zada atraves de questionarios e entrevistas.

• Coleta de opiniao de especialistas: a partir de heurısticas os especialistas

em IHC e/ou no domınio da aplicacao examinam a interface e identificam

possıveis dificuldades que os usuarios poderao ter. E uma abordagem rela-

tivamente barata e rapida.

• Observacao direta: envolve ver e ouvir o usuario interagindo com o sistema,

a fim de obter uma visao dos problemas de interacao. O usuario pode ser

observado em ambientes controlados ou naturais, podendo ser registrado


atraves de anotacoes, gravacao de vıdeo, audio ou da interacao, ou ainda

uma combinacao destas.

• Observacao indireta: permite rastrear as atividades dos usuarios, regis-

trando como eles utilizam o sistema, sem a presenca do avaliador. Pode

ser realizado atraves da gravacao dos logs da interacao.

c) O tipo de dados coletado.

O tipo de dado coletado pode ser quantitativo ou qualitativo ([Dix et al., 2004],

[Preece et al., 2005] e [Prates and Barbosa, 2003]). O dado quantitativo e geral-

mente representado por numeros e pode ser facilmente analisado usando tecnicas

estatısticas.

O dado qualitativo nao e numerico. Envolve descricoes e relatos de problemas,

alem de sugestoes dos usuarios. Sua analise e interpretativa e mais difıcil. Em

alguns casos, estes dados podem ser categorizados e assim quantificados utilizando

tecnicas como analise de conteudo.

d) A analise do dado coletado.

A analise do dado coletado pode ser preditiva, interpretativa ou experimental

[Prates and Barbosa, 2003]. Preditiva e feita quando os avaliadores, ao analisa-

rem os dados coletados de especialistas, tentam prever que tipo de problemas os

usuarios enfrentarao. A interpretativa e realizada quando, ao analisar os dados

coletados a partir da interacao do usuario com o sistema, os avaliadores procuram

explicar os fenomenos que ocorreram durante essa interacao. E a experimental e

realizada quando os dados coletados provem de ambientes controlados, como os

laboratorios e, por isso, necessitam ser analisados em funcao das variaveis sendo

observadas. Apesar de depender da interpretacao do avaliador, ja se conhece as

variaveis que estao sendo manipuladas.

Segundo Shneiderman ([Shneiderman, 1998]), quando a avaliacao acontece em fases

mais avancados ela deve ser mais formal e cuidadosamente planejada. Assim, ele acres-

centa os seguintes fatores para efetivar um bom plano de avaliacao:

• O grau de inovacao do projeto de interface, ou seja, se ele possui natureza bem

definida ou se possui carater exploratorio;

• O numero de usuarios potenciais; e,


• O grau de risco que seu controle oferece (por exemplo, risco de uma interface para

um sistema de controle cirurgico × sistema de consulta de notas na internet) e a

experiencia do avaliador.

Quanto a classificacao dos metodos de avaliacao, a literatura aborda diferentes

enfoques. A categorizacao adotada em nosso trabalho e a utilizada por Prates e Barbosa

([Prates and Barbosa, 2003]), que agrupam os metodos em analıticos e empıricos.

2.4.1 Metodos Analıticos

Os metodos de avaliacao analıticos sao aqueles onde o avaliador realiza inspecao ou

examina aspectos de uma interface com base em algum criterio. Estes criterios podem

ser derivados de guidelines, como nas avaliacoes heurısticas, ou em alguma teoria for-

mal, como no percurso cognitivo [Nielsen and Mack, 1994]. Seu objetivo e identificar e

selecionar problemas de usabilidade e com base nestes problemas fazer recomendacoes

para correcao e melhoria da usabilidade do software. Estes metodos podem ser uti-

lizados em qualquer fase de desenvolvimento da interface e sao relativamente baratos

e rapidos.

Os principais metodos citados na literatura revisada foram a avaliacao heurıstica e o

percurso cognitivo ([Nielsen and Mack, 1994], [Shneiderman, 1998], [Dix et al., 2004],

[Nielsen, 1993], [Preece et al., 2002], [Cybis, 1995], [Rocha and Baranauskas, 2003] e

[Prates and Barbosa, 2003]).

2.4.1.1 Avaliacao Heurıstica

Avaliacao heurıstica e um metodo de avaliacao desenvolvido na decada de 90 por Jakob

Nielsen e Rolf Molich [Dix et al., 2004]. E um metodo de inspecao onde especialistas

orientados por um conjunto de heurısticas de usabilidade avaliam se os elementos da

interface com o usuario estao de acordo com estas heurısticas ([Preece et al., 2005];

[Nielsen and Mack, 1994], [Nielsen, 1993]).

Heurısticas, segundo [Fernandes et al., 2003], sao o caminho ou metodo que leva

a descobrir a verdade. As heurısticas de usabilidade sao os princıpios ou diretrizes

de design que, quando empregadas na avaliacao, recebem este nome. Sao as regras

gerais que objetivam descrever propriedades comuns das interfaces usaveis. O conjunto

original de heurısticas nasceu de uma analise empırica de 249 problemas de usabilidade,

sao elas [Nielsen, 1993]:


1. Dialogo simples e natural: usar dialogos com informacoes relevantes e adequados

a tarefa.

2. Falar a lıngua do usuario: usar frases e conceitos familiares do usuario, evitar

termos tecnicos especıficos.

3. Minimizar a carga de memoria do usuario: evitar que o usuario tenha que relem-

brar informacoes utilizadas em um dialogo anterior. Instrucoes para o uso do

sistema devem ficar visıveis na tela ou serem facilmente recuperadas quando

necessario.

4. Consistencia: a sequencia de acoes aprendidas em uma parte do sistema deve

poder ser aplicada em outras partes. O usuario nao tem que saber se diferentes

palavras, situacoes ou acoes significam a mesma coisa;

5. Feedback : o sistema sempre tem que fornecer informacao ao usuario sobre o

resultado de suas acoes.

6. Saıdas claramente marcadas: se o usuario escolher uma funcao do sistema por

engano o sistema deve permitir que ele saia rapidamente sem ’estragar’ nada.

7. Atalhos (shortcuts): desapercebido para usuario novato, mas necessario para

usuarios experientes.

8. Boas mensagens de erros: informar ao usuario qual foi o problema e como corrigi-

lo.

9. Prevenir erros: sempre que encontrar uma mensagem de erro, verificar se este

nao poderia ser evitado.

10. Sistema de ajuda e documentacao: mesmo sendo melhor um sistema ser usado

sem o auxılio de documentacao, e necessario fornecer sistema de ajuda e docu-

mentacao. Estas informacoes devem ser faceis de localizar, focadas na tarefa do

usuario e nao extensas.

Estas heurısticas originais de Nielsen cobrem os principais problemas de usabili-

dade nas interfaces. Porem, sao necessarios conjuntos diferentes de heurısticas para

avaliar produtos com categorias diferentes. Quais heurısticas sao melhores e quantas

sao necessarias dependera do produto [Preece et al., 2002].


A realizacao da avaliacao heurıstica deve ser realizada por 3 a 5 avaliadores, ja que

um unico avaliador nunca e capaz de encontrar todos os problemas de usabilidade de

uma interface.

Inicialmente, a avaliacao ocorre de forma individual, em sessoes de uma a duas

horas. Os avaliadores percorrem a interface pelo menos duas vezes, detectando pro-

blemas de conformidade com um conjunto de heurısticas. Cada problema detectado e

relatado e justificado. Apos a sessao individual e feita uma reuniao com os avaliadores

na qual eles irao discutir suas avaliacoes, identificar o grau de severidade dos problemas

encontrados e sugerir solucoes.

O grau de severidade (ou gravidade) e necessario para priorizar as correcoes dos

problemas mais serios. Ele e calculado observando a frequencia com que o problema

ocorre (se e comum ou raro), o seu impacto junto ao usuario (se o usuario o supera facil-

mente) e sua persistencia (se os usuarios sao incomodados pelos problemas repetidas

vezes).

A avaliacao heurıstica pode ser realizada nas fases inicias do projeto de interface de

usuario, a fim de encontrar problemas de usabilidade que possam ser atendidos como

parte do processo iterativo [Nielsen, 1993].

2.4.1.2 Percurso Cognitivo

O Percurso Cognitivo e um metodo de inspecao de usabilidade que tem como prin-

cipal objetivo avaliar a facilidade de aprendizagem de uma interface computacional

[Lewis and Wharton, 1997]. Este metodo e baseado na teoria da aprendizagem por

exploracao, desenvolvida por Polson e Lewis e foi motivado por estudos que demons-

traram que os usuarios preferem aprender como usar um sistema explorando suas fun-

cionalidades e nao atraves de treinamentos ou consultas a manuais ([Dix et al., 2004];

[Lewis and Wharton, 1997]).

No percurso cognitivo o avaliador analisa cada passo necessario para a realizacao de

uma tarefa tıpica do usuario. O objetivo desta analise e descobrir erros de design que

podem dificultar a aprendizagem por exploracao. Para desenvolver a avaliacao atraves

deste metodo primeiramente e necessaria uma fase preparatoria onde e realizado:

• A identificacao das caracterısticas dos usuarios tıpicos, considerando seus conhe-

cimentos com relacao a tarefa e com a interface;

• A selecao e detalhes das tarefas que envolvem aspectos da interface a serem

avaliados;


• Uma descricao da sequencia de acoes necessarias para a realizacao de cada tarefa;

e,

• A definicao da interface (uma especificacao ou prototipo do sistema), mostrando

o estado da interface antes e depois de cada passo das tarefas selecionadas.

Terminadas essas definicoes segue-se para a fase de analise. Nesta fase o avaliador

percorre as sequencias de acoes para cada tarefa e, a cada acao, tenta responder as

seguintes questoes basicas:

1. Os usuarios farao a acao correta para atingir o resultado desejado?

2. Os usuarios perceberao que a acao correta esta disponıvel?

3. Os usuarios irao associar a acao correta com o resultado desejado?

4. Se a acao correta for executada os usuarios perceberao que foi feito um progresso

em relacao a tarefa desejada?

Estas questoes servirao para a construcao de uma estoria sobre a usabilidade da

interface. Sao relatadas suposicoes sobre como o usuario escolheria as acoes para re-

alizacao de cada tarefa e o que causaria problemas. Apos a fase de analise e feito um

resumo dos resultados com as sugestoes das possıveis alteracoes da interface. Estes

resultados sao apresentados a equipe de desenvolvimento para que a interface seja

revisada e os problemas apresentados sejam consertados.

A vantagem deste metodo e que, mesmo sem a presenca do usuario, e possıvel des-

crever detalhadamente os problemas que estes possivelmente enfrentariam ao interagir

com a interface (sem mesmo o prototipo desta). Porem, ele consome muito tempo,

trabalho e seus resultados se limitam a interface analisada [Preece et al., 2002].

2.4.2 Metodos Empıricos

Os metodos de avaliacao empıricos sao aqueles que buscam constatar os problemas

de usabilidade a partir da observacao do usuario interagindo com o sistema. Eles sao

centrados no usuario e necessitam da existencia de pelo menos um prototipo implemen-

tado do sistema. Segundo Hix e Hartson ([Hix and Hartson, 1993]), as avaliacoes de

usabilidade com a participacao dos usuarios sao consideradas as formas mais confiaveis

de avaliacao e, geralmente, as mais indicadas. Estes metodos podem ser realizados em

laboratorio ou em campo [Dix et al., 2004].


2.4.2.1 Testes em Laboratorio

Existem circunstancias em que testes de laboratorio sao necessarios e desejaveis, como

por exemplo, quando se deseja avaliar caracterısticas especıficas de uma determinada

interface [Dix et al., 2004]. Eles possuem a vantagem de poder ter a disposicao equipa-

mentos sofisticados que auxiliem a avaliacao, tais como: camaras, gravadores, computa-

dores, etc. E o avaliador tem um maior controle sobre o ambiente e sobre as atividades

do usuario. Porem, estes metodos possuem a desvantagem de nao conseguir identificar

fatores do ambiente real do usuario que podem impactar o uso do sistema.

De acordo com [Prates and Barbosa, 2003], estes tipos de metodos possuem varias

caracterısticas comuns, como a fase de preparacao e execucao de testes. Mas variam em

relacao ao tipo de dado coleta do e/ou no tipo de analise a ser feita. O tipo mais comum

na literatura e o Teste de usabilidade ([Prates and Barbosa, 2003];[Preece et al., 2002];

[Rocha and Baranauskas, 2003]; [Shneiderman, 1998]; [Nielsen, 1993]).

Para Nielsen ([Nielsen, 1993]), os testes de usabilidade tem se mostrado efetivos no

fornecimento de informacoes sobre os problemas vividos pelos usuarios ao utilizarem

o sistema. Eles permitem avaliar os fatores que caracterizam a usabilidade de um

software atraves da medicao dos valores alcancados pelo sistema em cada fator. Sao

avaliadas medidas de desempenho e medidas subjetivas (opiniao do usuario).

Para realizacao dos testes sao definidas as caracterısticas de usabilidade a serem

priorizadas no software, justamente com os limites (valores mınimos, maximos e alme-

jados) de desempenho do usuario para cada uma das caracterısticas. As medidas

utilizadas, normalmente, sao: o tempo gasto e o numero de erros cometidos durante

a execucao da tarefa, a porcentagem de usuarios que conseguiram se recuperar de um

erro, a porcentagem de usuarios satisfeitos e insatisfeitos, etc.

Na analise dos dados, em cada medida observada, o avaliador verifica a distancia

para limites mınimos, maximos e almejados, e assim, determina se o criterio esta em

um patamar desejavel ou nao. A analise da satisfacao e medida atraves da coleta de

opinioes dos usuarios utilizando, normalmente, um questionario.

Segundo Nielsen ([Nielsen, 1993]) dois problemas com relacao aos testes de usabili-

dade devem merecer uma atencao especial: a confiabilidade e validade. Confiabilidade

e o grau de certeza que o mesmo resultado sera alcancado se o teste for repetido. Exis-

tem diferencas individuais entre os usuarios e estas deverao ser levadas em consideracao

no momento da analise de resultados.

O problema da validade e se os resultados dos testes refletem os aspectos de usa-

bilidade que se deseja avaliar em produtos reais, em uso real, fora do laboratorio. Por


isso deve-se ter atencao para a escolha das tarefas e dos usuarios, alem das diferencas

entre equipamentos da situacao real e dos testes.

Os usuarios participantes do teste devem representar ao maximo os usuarios reais

do sistema. O ideal e que sejam usuarios reais, mas como isso nem sempre e possıvel,

deve-se escolher participantes que tenham as mesmas caracterısticas, como: idade,

nıvel educacional, experiencia com computadores e o domınio da tarefa.

Os avaliadores devem ter bons conhecimentos sobre a aplicacao e a interface. Alem

do mais, devem estar sempre prontos a lidar com problemas que afetem o teste. As

tarefas devem ser representativas e dar cobertura razoavel das partes mais significativas

da interface. Elas devem ser tao realistas quanto possıvel e inseridas no cenario de uso.

Devem possuir grau de dificuldade gradativo para dar uma maior seguranca ao usuario.

Alem de serem pequenas para que o usuario consiga completa-la no tempo previsto do

teste.

Geralmente e realizado um teste piloto entre um pequeno grupo (de uma a tres

pessoas) para refinar procedimentos definidos.

Tipicamente, o teste de usabilidade possui quatro fases [Nielsen, 1993]:

1o. Preparacao: o avaliador certifica que a sala do teste esta pronta para o experi-

mento, que o sistema computacional esta em estado inicial que foi especificado

no plano de teste e que todos os materiais, instrucoes e questionarios estao

disponıveis. Enfim, o avaliador garante que tudo estara pronto antes do usuario

chegar.

2o. Introducao: o avaliador recebe o usuario e explica os objetivos do teste, podendo

fazer algumas colocacoes sobre o mesmo. Em seguida introduz o procedimento

de teste.

3o. Execucao do teste: durante o teste o avaliador deve evitar qualquer tipo de

comentario sobre o desempenho ou observacao do usuario e tambem evitar de

ajuda-lo.

4o. Sessao final: apos o teste os usuarios sao convidados para fazer comentarios e/ou

dar sugestoes, normalmente respondendo a um questionario especıfico.

A localizacao remota e distribuıda dos usuarios esta fazendo com que testes de

usuarios sejam feitos remotamente, no ambiente natural de trabalho. Para isso, ferra-

mentas tem sido criadas e testadas, como por exemplo o Webcat, Webvip e o Visvip,

de [Scholtz, 2001].


2.4.2.2 Estudo de Campo

Os estudos de campo sao trabalhos realizados em ambientes reais com o objetivo de

melhorar o entendimento sobre as atividades dos usuarios e verificar o impacto da

tecnologia nessas atividades [Preece et al., 2002].

Segundo Bly, (1997), citado por [Preece et al., 2002], eles podem ser usados no

projeto de software para:

• Ajudar a identificar oportunidades de uso de novas tecnologias;

• Determinar requisitos para o projeto de interfaces;

• Facilitar a introducao de uma tecnologia; e,

• Avaliar a tecnologia.

O estudo de campo possui a vantagem de observar interacoes entre sistemas e

usuarios que nao podem ser observadas em estudos de laboratorio. Porem, o alto nıvel

de ruıdos, o grande nıvel de movimento e constante interrupcao, tal como chamadas

telefonicas, dificultam o campo de observacao [Dix et al., 2004].

Durante o estudo de campo sao coletados dados qualitativos atraves das tecnicas

de observacao e pergunta aos usuarios (questionarios e entrevistas) onde sua analise

e interpretativa. Dados quantitativos tambem podem ser coletados atraves dos ques-

tionarios e entrevistas ou ainda, originar-se da categorizacao dos dados qualitativos.

Normalmente, estes dados recebem uma analise estatıstica.

a) Tecnica de Observacao

Observar a interacao de usuarios com o sistema e uma tecnica simples e bas-

tante popular para coletar informacoes sobre usuarios reais ([Dix et al., 2004];

[Nielsen, 1993]). O emprego desta tecnica e util em qualquer fase do desen-

volvimento da interface. Durante o inıcio do projeto a observacao auxilia no

entendimento das necessidades dos usuarios e, em fases posteriores, ela examina

se o produto satisfaz as necessidades dos usuarios [Preece et al., 2002]. Durante a

observacao o avaliador pode atuar como um participante a fim de aprender o que

os usuarios fazem e o porque o fazem. Esta forma de observacao muitas vezes e

confundida e ate considerada sinonimo da etnografia (Atkinson,(1994) citado por

[Preece et al., 2002]) que, para alguns autores difere da observacao participativa

por consistir em uma abordagem de interpretacao mais aberta. Outra forma de


atuacao do avaliador e a observacao de fora (outsider) onde o avaliador se mistura

com o grupo a ser avaliado, mas deixa claro o seu papel de apenas observador.

As tecnicas de coleta de dados podem variar. As mais comuns sao as anotacoes,

a gravacao de audio, a camara fixa e o vıdeo. Uma comparacao entre estas tres

tecnicas pode ser observada na Tabela 2.3.

Criterio Anotacoes eCamera

Audio e Camera Vıdeo

Equipamento Papel, lapis e camara(barato)

Gravador com bommicrofone. Fones deouvido sao uteis parafacilitar a transcricao(barato)

Equipamento deedicao, mixagem eanalise (caros)

Flexibilidadede uso

Muito flexıvel e dis-creto

Flexıvel e relativa-mente discreto

E necessario posi-cionar e focalizar aslentes da camara.

Integridadedos dados

Conta com o quea pessoa registroudurante o tempodisponıvel. Proble-mas com avaliadoresinexperientes

Pode-se obtergravacao completade audio, mas osdados visuais ficamde fora.

Tecnica mais com-pleto de coleta de da-dos

Impacto paraos usuarios

Muito pouco Pouco, com inter-rupcoes para trocarfitas e posicionar mi-crofones

Pode ser muito inva-sivo.

Confiabilidadedos dados

Baixa, dependendode uma boa gravacao

Alta, mas ruıdos ex-ternos podem abafaro som

Pode ser alta mas,depende do que acamara esta focando.

Analise Relativamente facilde transcrever

Discussoes crıticaspodem ser identifi-cadas. E necessariotranscrever paraobter uma analisemais detalhada.

Problemas crıticospodem ser identifica-dos e rotulados.

Tabela 2.3: Comparacao entre tecnicas de coleta de dados utilizadas na observacao(adaptado por [Preece et al., 2005]).

Para rastrear as atividades dos usuarios na observacao indireta normalmente sao

utilizados os diarios, que registram o que os usuarios fizeram, quando e o que

pensaram sobre suas interacoes com a tecnologia; e os logs da interacao, que


registram toques na tela, movimentos do mouse e de outros dispositivos. Essas

tecnicas podem ser utilizadas separadamente ou em combinacao e sua escolha

dependera do contexto a ser avaliado.

A maioria dos dados coletados e qualitativa e sua analise interpretativa. Em

algumas ocasioes, estes dados sao categorizados e entao quantificados para serem

analisados estatisticamente. Os dados quantitativos, advindos dos logs da in-

teracao e de vıdeos, tambem sao analisados estatisticamente.

O foco da observacao no campo e como as pessoas interagem umas com as outras,

com as tecnologias e seu ambiente. Nela o contexto e importante e o grande de-

safio encontrado e a sua realizacao sem atrapalhar as pessoas que estao sendo ob-

servadas e a forma com que os dados coletados serao analisados. A analise da ob-

servacao no campo se torna mais complicada quando existem grandes quantidades

de vıdeo ou a interacao de variedades de tecnicas utilziadas para se contar uma

historia, como por exemplo, anotacoes, figuras e desenhos [Preece et al., 2002].

b) Tecnica de Entrevistas Individuais

As entrevistas podem ser vistas como ‘uma conversacao com um proposito’ (Kahn,

(1957), citado por [Preece et al., 2002]). Elas sao usadas para estudar como os

usuarios usam um sistema e quais as caracterısticas que eles, particularmente,

gostam ou desgostam. Nielsen ([Nielsen, 1993]) afirma que aspectos de usabi-

lidade podem ser melhor estudados apenas com uma simples conversa com os

usuarios.

Segundo [Dix et al., 2004], as entrevistas se mostram efetivas para avaliacao, em

particular, quando se quer extrair informacoes sobre preferencias, impressoes e

atitudes dos usuarios. Elas tambem podem revelar problemas da interface que

nao foram antecipados por seus projetistas ou que nao tenham ocorrido durante

a observacao. Quando usadas em conjunto com a observacao ajudam a esclarecer

os eventos observados, mas nao totalmente compreendidos.

Os tipos de entrevistas mais utilizados sao: nao-estruturadas, estruturadas e

semi-estruturadas [Preece et al., 2002].

As entrevistas nao-estruturadas nao sao direcionadas por roteiros. Elas se iniciam

com um topico em particular que pode ser aprofundado pelo entrevistador. As

questoes abordadas sao abertas e o entrevistado e livre para responder com mais

ou menos detalhes.


Nas entrevistas estruturadas as perguntas seguem rigorosamente um roteiro, em

que as perguntas devem ser curtas e claramente escritas. As respostas para as

questoes podem ser selecionadas a partir de um conjunto de opcoes lidas em voz

alta ou apresentadas em papel. Elas se assemelham aos questionarios.

As semi-estruturadas combinam caracterısticas das entrevistas estruturadas e

nao-estruturadas utilizando perguntas fechadas e abertas. O entrevistador conta

com um roteiro basico para guiar-se possibilitando assim que os mesmos topicos

sejam abordados a todos os entrevistados. O entrevistador inicia com questoes

pre-planejadas e faz com que o entrevistado estenda sua fala, ate que nao surja

mais nenhuma informacao relevante.

A analise dos dados coletados na entrevista dependera do tipo de entrevista.

Os dados das entrevistas estruturadas sao analisados quantitativamente, como

nos questionarios. Os dados das entrevistas nao estruturadas sao analisados de

forma interpretativa, ou como na observacao participativa. Enquanto os dados

das entrevistas semi-estruturadas, sempre que possıvel, devem ser analisados de

forma interpretativa, identificando topicos e temas de um dado.

c) Tecnica de Entrevistas em Grupo: Grupo Focal

O grupo focal e visto por [Kind, 2004] como um procedimento de coleta de dados

no qual o pesquisador tem a possibilidade de ouvir varios sujeitos ao mesmo

tempo, alem de observar as interacoes caracterısticas do processo grupal. Estas

interacoes sao responsaveis pela producao de dados e insights que dificilmente

seriam conseguidos fora do grupo. Na avaliacao de usabilidade de interfaces o

grupo focal e utilizado para aprofundar o conhecimento sobre as necessidades e

dificuldades enfrentadas pelos usuarios ao usarem a tecnologia.

A reuniao do grupo focal deve ser realizada em um ambiente adequado, propi-

ciando privacidade, conforto, livre de interferencias sonoras e de facil acesso para

os participantes. A quantidade de participantes necessaria varia entre autores.

Nielsen ([Nielsen, 1993]) recomenda um grupo de seis a nove usuarios com car-

acterısticas semelhantes e um tempo de discussao, com duracao de, no maximo,

duas horas. Segundo [Kind, 2004], outros autores da area sugerem a duracao de

90 a 120 minutos sendo que, se a informacao desejada for muito especıfica, cada

reuniao nao devera ultrapassar 40 minutos.

Um roteiro pre-determinado e criado para orientar e auxiliar a discussao pelo en-

trevistador (moderador). Durante a reuniao as questoes sao colocadas ao grupo


permitindo que as pessoas deem suas opinioes, enquanto outro pesquisador (ob-

servador) valida a investigacao.

[Preece et al., 2002] descreve como vantagens do grupo focal o baixo custo, o

fornecimento de resultados rapidos e a facilidade de ser trabalhado. Como desvan-

tagem, a demanda de um moderador habilidoso, para que nao se gaste tempo em

questoes irrelevantes.

Os dados coletados durante as reunioes de grupo sao de natureza qualitativa.

Portanto, podem ser utilizados os mesmos metodos de analise empregados na

observacao e entrevistas nao-estruturadas.

d) Tecnica de Questionarios

Os questionarios sao uma tecnica de coleta de dados semelhantes as entrevistas,

porem, menos flexıveis. Eles podem ser impressos em papel ou apresentados

interativamente em um computador. Podem ser enviados pelo correio, por email

ou acessados em um endereco web ([Nielsen, 1993]; [Preece et al., 2002]).

O seu uso on-line esta se tornando cada dia mais comum ([Preece et al., 2002]).

Isto se da pelo fato de sua eficacia em atingir de um grande numero de pessoas

de forma rapida e facil. Este tipo de questionario pode ser baseado na web ou

enviado por e-mail. Os questionarios enviados por e-mail tem a vantagem de

atingir usuarios especıficos, o que nao acontece com os baseados na web. Porem,

os baseados na web possuem a vantagem de serem mais flexıveis em seu projeto

de design (podendo incluir menus instantaneos e suspensos, telas de ajuda, etc.)

e proporcionam validacao imediata. De forma geral, os questionarios on-line tem

as seguintes vantagens [Preece et al., 2002]:

• Rapidez no recebimento das respostas;

• Os dados podem ser coletados na base de dados, facilitando a analise;

• O tempo requerido para analise de dados e reduzido;

• Erros podem ser consertados facilmente.

Os questionarios sao o unico metodo de usabilidade que consegue, ao mesmo

tempo, atingir uma grande populacao, descobrir as diferencas entre varias cat-

egorias de usuarios e identificar as necessidades especıficas de pequenos grupos

[Nielsen, 1993].


Eles podem ser aplicados em qualquer fase do desenvolvimento de um sistema.

Normalmente, eles sao utilizados para tracar perfil do usuario, estruturar in-

formacoes sobre problemas de usabilidade identificados pelos usuarios e determi-

nar o grau de satisfacao destes com relacao ao uso dos sistemas. Questionarios de

avaliacao da satisfacao do usuario com o sistema sao utilizados mais frequente-

mente apos o termino do software. Eles sao empregados para avaliar a qualidade

do produto, implementar novos recursos ou corrigir falhas de interacao e desem-

penho [Padilha, 2004].

Existem varios tipos de questionarios para medir a satisfacao do usuario. Al-

guns deles sao reconhecidos no mercado como confiaveis e validados pela ex-

pansao de seu uso. Dentre eles, os mais citados na literatura revisada foram

QUIS - Questionaire for User Interaction Satisfaction, SUMI - Software Usabil-

ity Measurement Inventory e ISONORM ([Shneiderman, 1998]; [Soares, 2004];

[Cybis, 1995]; [Nielsen, 1993]; [Harper and Norman, 1993]; [Queiroz et al., 2005];

[Medeiros, 1999]; [Souza, 2004]; [Preece et al., 2002]):

• QUIS - Questionaire for User Interaction Satisfaction:

O QUIS e uma ferramenta projetada para avaliar de forma padronizada

e confiavel a satisfacao subjetiva dos usuarios com relacao a aspectos es-

pecıficos da interface. Ele foi desenvolvido inicialmente por uma equipe mul-

tidisciplinar de pesquisadores do Human Computer Interaction Lab (HCIL)

da University of Maryland, nos Estados Unidos, e e constantemente atu-

alizado e refinado. Atualmente, ele se encontra na versao 7.0 e contem:

questionario demografico; escalas destinadas a mensuracao da reacao global

do usuario ao sistema; medidas de fatores especıficos a interface (tela, ter-

minologia e retorno de informacoes, aprendizado e facilidades oferecidas

pelo sistema); capacidades do sistema; e secoes destinadas a avaliacao de

componentes especıficos do sistema (ajuda online e impressa, tutoriais on-

line, multimıdia, acesso a Internet / Teleconferencia e instalacao do soft-

ware)(http://www.lap.umd.edu/QUIS/index.html).

• SUMI - Software Usability Measurement Invetory

O SUMI foi desenvolvido em 1990 por KiroKowski e o Human Factors Re-

search Group (HFRG) da Universidade de Cork, na Irlanda. O SUMI mede

a qualidade de uso do Software a partir do ponto de vista do usuario final,

e auxilia a descobrir falhas de usabilidade antes que o software seja comer-

http://www.lap.umd.edu/QUIS/index.html


cializado (http://sumi.ucc.ie/index.html). O SUMI e o unico questionario

comercialmente disponıvel para a avaliacao da usabilidade de software desen-

volvido, validado e padronizado em uma base internacional. Ele e composto

por cinquenta ıtens que avaliam, de forma geral, a eficiencia do sistema,

como o usuario se sente ao interagir com ele, como este o auxilia em suas

tarefas e em seu aprendizado e o controle que e dado ao usuario.

• ISONORM 9241

Questionario desenvolvido por Prumper em 1993 cujo objetivo e verificar a

conformidade dos softwares aos princıpios de dialogo descritos na parte 10

da Norma ISO 9241. Ele e dividido em sete sessoes, com cinco questoes

cada [Medeiros, 1999]: adequacao a tarefa, autodescricao, controlabilidade,

conformidade com as expectativas do usuario, tolerancia a erros, adequacao

a individualizacao e adequacao ao aprendizado. Ele tambem possibilita

acrescentar outra sessao com questoes que qualificam o software avaliado e

o perfil do usuario.

Para analisar os dados coletados e necessaria a definicao de uma estrategia

para o tratamento dos dados, automatizando-a ao maximo. Normalmente sao

utilizados calculos estatısticos simples (media, percentual, desvio padrao, etc),

onde sao fornecidos resultados por faixa de frequencia e realizados cruzamentos

[Preece et al., 2002].

http://sumi.ucc.ie/index.html

Capıtulo 3

Telemedicina e o BHTelessaude

3.1 Telemedicina

A palavra telemedicina resulta da juncao dos termos “tele”, originada do grego, que

significa: a distancia; e “medicina”, que tem sua origem do latin mederi, significando:

cura. Dessa forma, telemedicina significa medicina a distancia ou cura a distancia.

Segundo [Bacic, 2001], a Telemedicina esta na intersecao das areas da medicina,

tecnologia da informacao e telecomunicacoes. A Organizacao Mundial de Saude (OMS),

a define como sendo a oferta de servicos ligados aos cuidados com a saude, nos casos em

que a distancia e um fator crıtico; tais servicos sao providos por profissionais da area

da saude, usando tecnologias de informacao e de comunicacao para o intercambio de

informacoes validas para diagnosticos, prevencao e tratamento de doencas e a contınua

educacao de prestadores de servicos em saude, assim como, para fins de pesquisas e

avaliacoes.

Para a American Telemedicine Association (ATA) a Telemedicina e a troca de

informacoes medicas entre uma localidade e outra, atraves dos meios de comunicacao

eletronica, visando a melhoria da assistencia a saude.

A sua primeira definicao formal foi dada em 1971, por Bird. Para ele a Telemedicina

e uma pratica da medicina que utiliza uma interacao de sistema de comunicacao audio-

visual sem a confrontacao habitual medico-paciente [Tulu and Laxminarayan, 2005].

A partir de entao, outras definicoes formais foram surgindo na literatura e todas se

referindo, de forma geral, a provisao de servicos medicos utilizando tecnologias de

informacao e comunicacao.

Em toda a literatura revisada encontramos varios termos usados para designar a

utilizacao das tecnologias da informacao e comunicacao como ferramenta para a saude.

3.1 Telemedicina 33

Embora a essencia destes termos seja a mesma, Telemedicina, e consequentemente sua

definicao, evoluiu consideravelmente, assim como o resultado das imensas mudancas

experimentadas nas tecnologias de comunicacao e informacao.

Dentre os temos mais utilizados, encontramos o Telessaude que, em 2001, a ANA

- American Nurses’ Association, conceituou formalmente como sendo a remocao de

tempo e barreiras de distancia para a distribuicao de servicos e/ou atividades de cuida-

dos com saude. Neste estudo, Telemedicina e um subgrupo de Telessaude.

Telessaude e geralmente usado como um termo guarda-chuva, que descreve todas as

possıveis variacoes de servico de cuidado com a saude que usa comunicacoes eletronicas

e tecnologia da informacao. Inclui a facilitacao de avaliacao e diagnostico de saude,

intervencao, consulta, supervisao, educacao, e o transporte de informacao por mıdias

digitais.

Na revisao de literatura feita por [Oh et al., 2005] foram encontradas 51 definicoes

diferentes para outro termo bastante utilizado, o e-saude (e-health). Enquanto na re-

visao de [Pagliari et al., 2005] foram encontradas um total de 36. Todas essas definicoes

abrangem um conjunto de conceitos discrepantes incluindo saude, tecnologia e comercio,

com diferentes nıveis de enfases cada. O termo e-saude comecou a ser citado em arti-

gos cientıficos a partir de 2000 e ainda nao se tem uma clara definicao da area. Um

conceito geral, dado por Meheu, (2001) citado por [Tulu and Laxminarayan, 2005], se

refere a todas as formas de distribuicao eletronica de cuidados com a saude atraves da

Internet.

Para alguns autores, o termo Cibermedicina, tambem bastante utilizado, sera o

substituto para o termo Telemedicina. Apesar de ser vista como sendo a disciplina

que aplica recursos de Internet para auxiliar os servicos da medicina, a Cibermedicina

ainda e um termo recente, e nao se tem uma definicao formal, [Katz and Solez, 2005].

A medida que a tecnologia avanca sao criadas novas terminologias. O importante,

segundo [Bashshur, 2002], e entender que a proposta da pesquisa neste campo e apoiar

a cura e, se possıvel, a prevencao de doencas, a reducao de enfermidades e o aumento

da qualidade de vida da populacao.

3.1.1 Evolucao Historica da Telemedicina

Quando se pensa em Telemedicina quase que instantaneamente se faz uma associacao

do seu uso ao advento tecnologico dos computadores. Entretanto, mesmo em uma era

onde nem se imaginava o surgimento do primeiro computador, ha relatos do uso da

Telemedicina [Wallace et al., 1998]. Por exemplo, quando o telefone era utilizado para

3.1 Telemedicina 34

auxiliar os diagnosticos medicos no final do seculo XIX.

Em 1940, foram realizadas varias tentativas de transmissao de imagens radiograficas

por meio telefonico. Porem, segundo [Seabra, 2003], nenhuma tentativa foi bem suce-

dida por causa dos altos custos da transmissao de dados.

Um dos principais registros da utilizacao da Telemedicina foi nos anos 50, quando

um centro universitario de saude ofereceu servicos de saude mental a um hospital a

uma distancia de 100 milhas, atraves de um circuito fechado de televisao. Ja em 1960,

houve uma importante aplicacao da Telemedicina pela NASA para atender e monitorar

a saude de seus astronautas durante os voos (http://telehealth.hrsa.gov/) Por outro

lado, todas as tentativas de implantacao de servicos publicos da Telemedicina entre

1960 a 1970 fracassaram devido aos altos custos da tecnologia e a baixa qualidade das

imagens e transmissao de dados.

De forma geral, a historia da Telemedicina pode ser caracterizada por tres grandes

perıodos ou eras, cada um derivado do avanco significativo da tecnologia dos computa-

dores, telecomunicacoes e da evolucao cientıfica da area da informatica, envolvendo o

desenvolvimento de novos algoritmos/sistemas de consulta, comunicacao e distribuicao

de grandes volumes de dados em perıodos cada vez menores de tempo.

A primeira era foi a Era das Telecomunicacoes, que teve um inıcio tımido com o uso

da telefonia e alcancou o auge entre os anos 70 e 80 devido a evolucao da radiodifusao

e da teledifusao, e ao barateamento dos equipamentos eletronicos. Podemos dizer que

esta era foi caracterizada pela dependencia da radiodifusao e tecnologias de televisao,

com sistemas de comunicacao precarios. Com excecao de alguns sistemas muito caros,

dados de audio e vıdeo nao eram completamente integrados. Alem disso, o cuidado

medico era a unica finalidade da Telemedicina [Tulu and Laxminarayan, 2005].

A segunda era, ou Era Digital, ocorreu no inıcio dos anos 80, tendo grande cresci-

mento nos anos 90. Esta era se caracterizou pela integracao das telecomunicacoes e

dos computadores com transmissao de quantias relativamente altas de informacoes em

largura de banda limitada. Os principais avancos dessa Era sao devidos a tecnologia

ISDN (Integrated Service Digital Network) que permite a transmissao de dados em linha

telefonica a uma velocidade de ate 128Kbps (http://pt.wikipedia.org/wiki/ISDN). Com

o uso dessa tecnologia foi possıvel efetuar a transmissao de voz, vıdeo e dados simul-

taneamente em uma rede universal.

A Internet e o marco da Terceira Era. As vantagens de permitir o armazenamento

e consultas de informacoes extensas de audio, vıdeo e texto atraves de um meio de

comunicacao global, menos caro e mais acessıvel a um maior numero de pessoas, atraiu

http://telehealth.hrsa.gov/

3.1 Telemedicina 35

os usuarios da Telemedicina. Porem, por causa da sua popularidade, o acesso a in-

ternet se tornou frequentemente demorado e sua largura de banda limitada impediu o

armazenamento e a transmissao de grandes volumes de dados requeridos para algumas

aplicacoes clınicas e diagnosticos corretos. Tais problemas foram um dos fatores que

levaram os patrocinadores da Next Generation Internet - NGI (Internet 2) a investirem

em pesquisas na area, ja que, devido o aumento da velocidade e qualidade oferecida,

ela prove novas possibilidades em Telemedicina.

3.1.2 Aplicacoes da Telemedicina

De forma geral, podemos classificar a Telemedicina com relacao ao proposito da aplicacao

e quanto a sua area da aplicacao. Estes ıtens definem a quantidade e o tipo de in-

formacao (audio, texto, imagem e vıdeo) requerida para formar uma decisao medica

([Seabra, 2003]; [Krupinski et al., 2002]; [Tulu and Laxminarayan, 2005]).

O proposito da aplicacao se refere a finalidade da comunicacao e e classificada

sob dois grupos: clınicas e nao-clınicas. As aplicacoes clınicas sao aplicacoes que

proporcionam a troca de informacoes de saude entre pacientes e medicos que este-

jam geograficamente separados, utilizando as tecnologias de informacao e comunicacao

para propor diagnostico ou tratamento medico. Essas aplicacoes podem ser voltadas

para: triagem, diagnostico, tratamento cirurgico ou nao-cirurgico, consultoria, moni-

toramento, fornecimento de cuidados secundarios ou supervisao de cuidados primarios

[Tulu and Laxminarayan, 2005].

As aplicacoes nao-clınicas sao as demais aplicacoes que se voltam para a educacao

de pacientes e medicos, pesquisa, saude publica ou procedimentos administrativos.

A area de aplicacao se refere ao domınio do campo medico. A importancia desta

dimensao e indicar as diferencas especıficas da area que afetam a informacao solicitada

e adquirida atraves dos canais de comunicacao. De acordo com [Krupinski et al., 2002],

as areas de aplicacao podem ser classificadas pelo nıvel de maturidade a qual pertencem.

Maturidade e definida em base de varios fatores, inclusive a quantidade e qualidade de

pesquisa que pertence a aplicacao, o grau de aceitacao da aplicacao pela profissao, e o

desenvolvimento de padroes e protocolos para a aplicacao. Os atributos de desempenho

sao a viabilidade tecnica, precisao diagnostica, sensibilidade, especificidade, resultado

clınico, e custo efetivo.

As areas da Telemedicina que mais tem se destacado segundo o nıvel de maturidade

[Krupinski et al., 2002], sao:

3.1 Telemedicina 36

a) Aplicacoes Maduras: Teleradiologia e Telepatologia

Sao consideradas as especialidades com maior estabilidade em suas aplicacoes.

Isso se da ao fato de que sao especialidades que contam com imagens antes do

contato direto com o paciente para formar um diagnostico ou identificar anoma-

lias. Alem disso, para estas especialidades, estao sendo criados padroes formais

para qualidade da seguranca que sao aceitos pelos profissionais da saude.

O fato dos radiologistas e patologistas, na clınica tradicional, nao trabalharem

diretamente com o paciente e existir um grande numero de pesquisas e evidencias

cientıficas com exibicao e interpretacao de imagens mesmo antes do desenvolvi-

mento da telemedicina, fazem com que a teleradiologia e telepatologia sejam bem

mais aceitas pelos seus usuarios (pacientes e medicos).

b) Aplicacoes em Fase de Amadurecimento: Telepsiquiatria, Teledermatologia,

Telecardiologia e Teleoftalmologia

Estas aplicacoes estao em fase de amadurecimento devido a grande quantidade

de pesquisas e trabalhos desenvolvidos nessas areas. De acordo com a literatura

consultada, pesquisas demonstram que este crescimento nao esta proporcional-

mente refletido na aceitacao e difusao da tecnologia nessas aplicacoes. Isso se da

ao fato de que, ainda nao foram testados e disseminados os padroes nacionais e

internacionais para essa tecnologia.

A telepsiquiatria e uma das aplicacoes clınicas muito utilizadas. So nos EUA foi

calculado um volume de 12.000 teleconsultas anuais ([Krupinski et al., 2002]).

Pesquisas neste campo demonstram um alto nıvel de concordancia na avaliacao

clınica entre telepsiquiatria e as consultas tradicionais; alem de apontarem que a

consulta da telepsiquiatria possui um menor custo.

Para as aplicacoes de teledermatologia foi verificada grande quantidade de li-

teratura publicada. Pesquisas no Reino Unido indicaram que a efetividade das

teleconsultas esta equiparada a consulta da dermatologia tradicional e que, a per-

feicao das imagens da pele dos pacientes que sao transmitidas, possibilita bons

diagnosticos. Porem, a relacao custo-benefıcio nao foi satisfatoria por causa dos

altos custos dos equipamentos e o maior tempo gasto pelo especialista no di-

agnostico. As limitacoes encontradas nesta aplicacao foram: a falta do contato

para apalpar lesoes e hesitacao por parte de alguns pacientes por terem lesoes em

suas areas genitais fotografadas.

3.1 Telemedicina 37

Um volume significativo de literatura sobre telecardiologia, envolvendo princi-

palmente transmissao de ecocardiogramas, eletrocardiogramas e monitoramento

remoto da pressao sanguınea encontra-se disponıvel. A alta incidencia de mor-

bidez e mortalidade por causa de doencas do coracao, o intervalo de tempo entre

o comeco dos sintomas e o inıcio do tratamento, que muitas vezes se torna fa-

tal para o paciente, faz da telecardiologia uma aplicacao de grande importancia

para o diagnostico e a administracao do tratamento apropriado. A literatura

demonstrou sucesso em praticamente todas as aplicacoes da telecardiologia.

A teleoftalmologia trata basicamente de imagens de patologias dos olhos. E como

os especialistas, normalmente, diagnosticam e tratam da doenca com base nas

imagens patologicas dos olhos, as aplicacoes da teleoftalmologia tem atendido

satisfatoriamente aos seus usuarios segundo [Krupinski et al., 2002]. A maioria

das pesquisas nos EUA e Europa indicam efetividade clınica, porem, estudos

ainda estao sendo realizados para avaliar sua viabilidade clınica.

c) Em desenvolvimento: Telecirurgia, Telepediatria e outras

Estas aplicacoes contam com pesquisas limitadas, em relacao as demais, porque

ainda possuem pouca aceitacao pelos profissionais de suas respectivas especiali-

dades.

3.1.3 Teleconsultoria

Teleconsultoria e um servico da Telemedicina que proporciona a “Segunda opiniao”

medica. Segundo [Sabbatini, 1999], “Segunda opiniao” e um termo usado pelos servicos

medicos para designar uma consulta adicional com outro medico ou grupo de medicos.

Esta consulta e solicitada pelo paciente ou pelo medico que o esta atendendo. Porem,

em ambos os casos esta consulta e realizada pelo medico e nao diretamente pelo pa-

ciente. Sao colocados em discussao casos raros, de difıcil diagnostico ou que englobem

mais de uma especialidade medica [Hickson, 2003].

A teleconsultoria e requerida para sanar duvidas quanto a certeza de um diagnostico

ou sobre qual a conduta mais conveniente a ser seguida em uma determinada situacao.

Ela e um parecer tecnico, emitido por um medico, em resposta a solicitacao feita por

outro medico e dirigida diretamente deste para aquele.

Ela permite que medicos residentes em locais distintos e de poucos recursos possam

interagir com medicos especialistas para discutirem a respeito de casos de pacientes.

Esta facilidade de comunicacao faz com que hospitais e postos de saude tenham acesso

3.2 BHTelessaude 38

a uma segunda opiniao medica especializada, ainda que a distancia, podendo permitir

diagnosticos mais rapidos e precisos.

3.2 BHTelessaude

Desde 2004, recursos de telessaude estao sendo implantados nas unidades de assistencia

basica a saude (UBS) de Belo Horizonte atraves do projeto BHTelessaude. Este projeto

e o resultado da parceria entre a Prefeitura Municipal de Belo Horizonte (PBH), atraves

da Secretaria Municipal de Saude (SMSA), a Universidade Federal de Minas Gerais, o

Ministerio da Saude e, a Uniao Europeia via projeto lis1.

O BHTelessaude e voltado para as equipes de saude da famılia (PSF) e atencao

primaria. Ele e o pioneiro nesta area aqui no Brasil e esta servindo como base para

o projeto nacional de telessaude, a Rede Universitaria de Telessaude - RUTE. Seu

objetivo e a promocao da educacao permanente em servico e o suporte assistencial aos

profissionais das UBS, nas areas da medicina, enfermagem e odontologia.

As UBS sao distribuıdas entre os nove Distritos Sanitarios (micro-regioes) de Belo

Horizonte, como mostra o mapa da Figura 3.1. Em abril de 2007, o projeto ja se en-

contrava implantado em 141 UBS de oito Distritos Sanitarios e envolvendo 502 equipes

de saude da famılia (PSF).

1 lis - Alianca para a Sociedade da Informacao: Programa da Alianca Europeia que tem comoobjetivo reforcar a parceria entre os paıses da Comunidade Europeia e da America Latina, no campoda sociedade da informacao. http://ec.europa.eu/comm/europeaid/projects/alis

http://ec.europa.eu/comm/europeaid/projects/alis

3.2 BHTelessaude 39

Figura 3.1: Distritos Sanitarios onde ja foram implantados o BHTelessaude (Fonte:

SMSA/PBH em abril de 2007).

3.2.1 Descricao dos servicos oferecidos pelo BHTelessaude

A educacao permanente em servico e realizada a partir das teleconferencias interativas.

Sao selecionados temas que vao de encontro as necessidades de cada area das UBS. Na

medicina os temas sao escolhidos de acordo a identificacao dos principais motivos de

encaminhamentos para os especialistas e de livre solicitacao das UBS. Na enfermagem,

os temas tambem sao de livre solicitacao pelas UBS. E na odontologia os temas foram

escolhidos de acordo relevancia para a area.

Alem das videoconferencias nacionais sao realizadas, tambem, videoconferencias in-

ternacionais no Hospital das Clınicas (HC/UFMG) ou na Faculdade de Medicina/UFMG

para as UBS.

O suporte assistencial e realizado atraves das teleconsultorias. A teleconsultoria e

um servico de consultoria, discussao de casos e obtencao de segunda opiniao medica

entre o profissional das UBS e especialistas do HC/UFMG ou do CEM/SMSA-PBH.

Durante a teleconsulta o profissional da UBS recebe orientacoes quanto ao diagnostico,

terapia, laudo, condutas gerais ou propedeutica do caso em discussao. Ela e oferecida

em duas modalidades: presencial e nao-presencial, tambem conhecidas como on-line e

off-line.

Na teleconsultoria off-line, sao discutidos os casos eletivos e nao complexos. A

3.2 BHTelessaude 40

discussao do caso acontece por meio de mensagens eletronicas. Utilizam-se apenas

textos com relato do caso pelo medico solicitante e o parecer do medico especialista.

Na teleconsultoria on-line, sao discutidos os casos clınicos mais complexos. A dis-

cussao de caso acontece em tempo real, onde profissional da UBS e especialista com-

partilham som, imagens e dados do caso clınico. Sao seguidas da emissao de laudo com

parecer do especialista.

A teleconsultoria on-line exige um agendamento previo. O profissional da UBS so-

licita agendamento de uma teleconsulta especificando a especialidade demandada e en-

caminha um resumo do caso a ser discutido. Quando necessario, sao enviados, tambem,

as imagens e/ou exames (dermatologica, Raio X, eletrocardiogramas, etc) para serem

discutidos no momento da teleconsulta. O especialista confirma o agendamento e,

na data e hora marcada, eles discutem o caso, utilizando recursos da Telemedicina.

Em seguida, o especialista cadastra o laudo no sistema. Durante a teleconsultoria,

profissionais de outras UBS podem participar da discussao do caso, se o profissional

solicitante permitir, conforme esquema da Figura 3.2.

Figura 3.2: Teleconsultoria on-line.

3.2 BHTelessaude 41

3.2.2 Infra-estrutura Tecnologica

a) Rede

Sao utilizadas duas redes de comunicacao: a Rede Municipal de Informatica

(RMI) e a rede de alta velocidade BH2, do projeto REMAV. A RMI e a rede

onde todas as UBS estao conectadas a um link de 128 kbps. A BH2 e a rede

onde se encontra o HC/UFMG, o Laboratorio de Computacao Cientıfica / Centro

Nacional de Pesquisa de Alto Desempenho (LCC/CENAPAD) e a Empresa de

Informatica e Informacao do Municıpio de Belo Horizonte S/A (PRODABEL).

A BH2 se conecta a Rede Nacional de Ensino e Pesquisa (RNP) que possibilita

acesso as redes internacionais para a comunicacao junto ao Centro Hospitalar

Universitario de Rouen. A Figura 3.3 nos mostra o esquema desses links.

Figura 3.3: Estrutura fısica da rede de comunicacao do BHTelessaude.

3.2 BHTelessaude 42

Todas as redes de comunicacao foram estruturadas para possibilitarem o acesso a

todas as UBS, atraves da RMI. Para prover o acesso a RMI no HC, nas faculdades

de Medicina, Odontologia e Enfermagem, utiliza-se a estrutura do BH2. O acesso

direto a SMSA tambem e obtido por meio da rede BH2, a uma velocidade de 512

kbps. A qualidade de transmissao das videoconferencias internacionais e assegu-

rada pelas redes de alta velocidade Rede Nacional de Pesquisa (RNP) do Brasil,

Rede Clara da America do Sul e pela rede Geant, da Europa [Santos et al., 2006].

b) Hardware

Em cada UBS existe uma infra-estrutura basica de hardware composta por um

microcomputador com kit multimıdia e webcam. Os equipamentos especıficos

para a videoconferencia seguem o padrao H323 e estao alocados nas unidades de

ensino e na SMSA. Eles sao destinados especificamente para as videoconferencias

internacionais. As salas de telessaude nas instituicoes de ensino da UFMG e

SMSA possuem estacoes de trabalho similares as existentes nas UBS, camaras

digitais, equipamentos de videoconferencia, scanners e servidores.

c) Softwares

Sao utilizados os softwares Lotus Sametime e o aplicativo Gestao de Teleconsul-

torias.

O Lotus Sametime e um software de videoconferencia multiponto desenvolvido

pela IBM, para a transmissao de imagens, dados e voz integrando o compar-

tilhamento do prontuario eletronico com as imagens medicas necessarias. Ele e

utilizado na transmissao das teleconferencias formativas e nas teleconsultorias

on-line.

O aplicativo Gestao de Teleconsultorias foi desenvolvido pela equipe da SMSA,

com o objetivo de dar apoio as solicitacoes e agendamentos das teleconsultorias

on-line e off-line. O sistema esta hospedado em plataforma Linux. Ele foi de-

senvolvido atraves da metodologia UML - Unified Modeling Language, em tres

camadas, utilizando linguagem PHP e banco de dados MySQL.

O ambiente operacional com os servidores e softwares de gerenciamento de tele-

conferencias - Lotus Sametime, estao instalados na SMSA, sob monitoramento

da PRODABEL.

Capıtulo 4

Metodologia

Para realizacao do presente estudo e definicoes metodologicas adequadas, inicialmente

foi realizada uma revisao de literatura sobre o tema em varias bases de dados especia-

lizadas na area de IHC e na area de Telessaude, especificamente em Telemedicina. Em

IHC buscou-se entender seus conceitos e metodos de avaliacao, enquanto em Teleme-

dicina buscou-se compreender seu contexto e aplicacoes.

Foram realizadas entrevistas semi-estruturadas com o grupo gestor do BHTelessaude

visando o entendimento do projeto e conhecimento das rotinas de trabalho dos servicos

de telessaude nas UBS. Para conhecer e entender o funcionamento dos sistemas com-

putacionais utilizados nos servicos de Telemedicina foram realizadas entrevistas com

grupo de tecnicos da SMSA e um treinamento do sistema Lotus Sametime pela Plansis,

seu distribuidor.

Durante o processo de planejamento do trabalho foi utilizado o framework DE-

CIDE, proposto por [Preece et al., 2002]. A literatura revisada coloca este framework

como uma ferramenta apropriada para auxiliar o processo de planejamento de avaliacao

([Preece et al., 2002]; [Prates and Barbosa, 2003]; [Kemp and Setungamudalige, 2006]).

Ele e composto pela lista de checagem da Tabela 4.1.

Os primeiros estagios do framework (D, E e C) sao utilizados para identificar o

metodo de avaliacao de usabilidade (usability evaluation methods - UEM) mais apro-

priado. Enquanto os estagios I, D e E estao direcionados para as questoes praticas e

eticas do planejamento, conducao, analise e apresentacao do resultado da escolha do

UME.

4.1 Definicao do Metodo de Avaliacao de Usabilidade (UEM) 44

Sigla Palavras SignificadoD Determine Determinar as metas da avaliacaoE Explore Explorar as questoes especıficas a serem respondidasC Choose Escolher o paradigma e as tecnicas de avaliacao que respon-

derao as perguntasI Identify Identificar questoes de ordem praticaD Decide Decidir como lidar com questoes eticasE Evaluate Avaliar, interpretar e apresentar os dados

Tabela 4.1: Lista de Checagem do framework DECIDE

4.1 Definicao do Metodo de Avaliacao de Usabili-

dade (UEM)

A meta da avaliacao foi verificar o efeito da interface dos sistemas de teleconsultoria

medica do BHTelessaude junto aos seus usuarios e identificar as dificuldades que eles

encontram ao interagir com estes sistemas.

Assim, foram identificadas questoes em que as respostas tinham como objetivo

atender as metas. A primeira meta foi subdividida em metas de usabilidade, cujas

questoes foram baseadas em [Nielsen, 1993], [Preece et al., 2002, Preece et al., 2005] e

[Dix et al., 2004]. Elas se encontram na Tabela 4.2.

Metas especıficas Questoes a serem respondidas

Facilidade de aprendizagem Quao facil e quanto tempo leva para o usuario apren-der a usar tarefas principais do sistema?

Eficiencia Uma vez aprendido a usar o sistema, o usuario con-segue ser produtivo em suas tarefas?

Facilidade de relembrar A interface fornece suporte para auxiliar os usuariosa lembrarem como realizar a tarefa?

Erros e seguranca no uso O sistema previne que o usuario cometa erros? Equando os comete o sistema da suporte de como re-cupera-los?

Satisfacao O usuario esta satisfeito com a interface do sistema?Flexibilidade O sistema fornece ao usuario funcoes apropriadas

para que ele realize todas as suas tarefas da maneiraque deseja?

Utilidade O sistema oferece as funcoes necessarias para a real-izacao das tarefas do usuario?

Tabela 4.2: Explorando questoes especıficas (E)xplore

4.1 Definicao do Metodo de Avaliacao de Usabilidade (UEM) 45

A segunda meta foi avaliada respondendo a questao “Quais os aspectos da interface

que, quando usados no contexto pretendido causam resultados inesperados ou confusao

entre os usuarios?” ([Dix et al., 2004], p.320).

Para conseguir responder as questoes e obter um resultado mais preciso, foi realizada

uma combinacao de paradigmas1 e tecnicas de avaliacao, como mostra a Tabela 4.3.

Estes foram escolhidos conforme a relacao entre paradigma e tecnicas de avaliacao

descrita por [Preece et al., 2002].

Paradigmas Categoria da tecnica Tecnicas

Avaliacao Preditiva Coleta de opinioes dos espe-cialistas

Percurso Cognitivo

Estudo de Campo Observacao de usuarios Observacao direta, como ex-pectadorObservacao indireta, comgravacao da interacao

Coleta de opiniao dosusuarios

Entrevistas individuaissemi-estruturadasQuestionarios

Tabela 4.3: Paradigmas e tecnicas escolhidas para a avaliacao da interface

Os sistemas implantados nos servicos de Telemedicina do BHTelessaude, como dito

no item ’c’ da secao 3.2.2, sao o Sametime (para as videoconferencias) e o Gestao de

Teleconsultorias (para agendamento e gerenciamento das teleconsultorias).

De acordo com as informacoes obtidas atraves das entrevistas com a equipe gestora

do BHTelessaude, a maioria dos usuarios apenas participa das teleconsultorias e nao

as agendam ou acompanham. Ou seja, utilizam com maior frequencia o sistema Same-

time. Alem disso, sao usuarios que nao possuem tempo disponıvel para treinamento.

Por este motivo, foi realizada uma avaliacao preditiva no sistema Gestao de Telecon-

sultorias, utilizando a tecnica do Percurso Cognitivo. Essa tecnica possibilita prever

problemas que os usuarios possivelmente enfrentariam durante a realizacao de suas

tarefas, focando, principalmente, problemas de interface com relacao a facilidade de

aprendizagem por exploracao [Lewis et al., 1990].

O estudo de campo foi utilizado em ambos os sistemas (Sametime e Gestao de

Teleconsultorias. Sua finalidade foi descobrir como os usuarios utilizam esses sistemas e,

qual o efeito dos mesmos sobre tais usuarios. Foram utilizadas as tecnicas de observacao

1 Paradigma de avaliacao e o nome que se da para o conjunto de crencas, implıcitas ou explıcitas,associadas aos metodos ou tecnicas de avaliacao [Preece et al., 2002].

4.2 Definicoes praticas da Avaliacao Preditiva 46

direta e a coleta de opiniao de usuarios, atraves de entrevistas e questionarios, que serao

detalhadas nas proximas secoes.

4.2 Definicoes praticas da Avaliacao Preditiva

Como foi dito na Secao 4.1, a tecnica empregada para o paradigma ‘Avaliacao Preditiva’

foi o Percurso Cognitivo. A funcao desta tecnica foi avaliar as principais tarefas do

Sistema de Gestao de Telecosultorias, cujo objetivo e o agendamento e gerenciamento

de teleconsultorias on-line e off-line.

O local utilizado para a execucao da avaliacao foi o Laboratorio de Pesquisas em

Sistemas de Informacao da PUC Minas. A avaliacao foi realizada por um avaliador

que utilizou as definicoes detalhadas das acoes de tarefas e modelos de telas fornecidos

pela equipe tecnica da SMSA. A avaliacao dividiu-se em duas fases: fase preparatoria

e de analise.

4.2.1 Fase Preparatoria

Na fase preparatoria foram definidas as caracterısticas do grupo de usuarios do sistema

e identificadas as tarefas mais relevantes a serem avaliadas. Para cada tarefa, foi

levantada junto a equipe tecnica da SMSA, a sequencia de acoes necessarias para sua

efetivacao e a atual interface utilizada pelos sistemas.

a) Caracterısticas dos Usuarios

Nesta etapa foi suposto, de acordo com informacoes passadas pela SMSA, que os

usuarios sao Medicos da Saude da Famılia das UBS que, de forma geral, possuem

pouca experiencia no uso de ferramentas computacionais. Estes usuarios tem o

ambiente Windows como familiar, porem, alguns ainda possuem resistencia ao

uso dessas ferramentas. A analise detalhada dos usuarios sera realizada no estudo

de campo.

b) Tarefas avaliadas

As tarefas escolhidas foram:

• Solicitacao de Teleconsultoria off-line.

• Cadastro de Caso Clınico.

• Cadastro de Prontuario de Paciente.


O caso clınico corresponde a um problema detectado no paciente e que sera o

alvo da discussao da teleconsultoria. Ele devera ser previamente cadastrado para

que o usuario possa solicitar uma teleconsultoria.

Entretanto, para se cadastrar um caso clınico e necessario que o prontuario do

paciente tambem ja esteja cadastrado. Entende-se por prontuario o “conjunto

de informacoes, sinais e imagens registradas, geradas a partir de fatos, acontec-

imentos e situacoes sobre a saude do paciente e a assistencia a ele prestada, de

carater legal, sigiloso e cientıfico, que possibilita a comunicacao entre membros da

equipe multiprofissional e a continuidade da assistencia prestada ao indivıduo”

[Conselho Federal de Medicina, ]

Essas tarefas foram selecionadas por serem as mais utilizadas pelo grupo de

usuarios escolhidos no sistema de Gestao de Teleconsultorias. Seu fluxo esta

descrito na Figura 4.1.

Figura 4.1: Fluxo de Tarefas para Solicitacao de Teleconsultorias off-line


c) Sequencia de acoes para todas as tarefas e a interface utilizada

Tarefa 1 - Solicitar Teleconsultoria off-line

Passo 1. Abrir a opcao Gerenciar Casos Clınicos (abrir o menu ‘solicitante’,

escolher a opcao ‘casos clınicos’ e em seguida, a opcao ‘gerenciar casos

clınicos’), Figura 4.2.

Figura 4.2: Menu Casos Clınicos.


Passo 2. Clicar em Pesquisar e selecionar o caso clınico desejado, Figura 4.3.

Figura 4.3: Interface do Gerenciamento de Casos Clınicos pronta para receber um novo

cadastro.


Passo 3. Passo 3. Digitar o nome ou parte do nome do profissional responsavel

e/ou nome do paciente e clicar em ‘Pesquisar’ ou Clique na seta do campo

‘selecione’ e escolha o Caso clınico desejado, Figura 4.4

Figura 4.4: Interface para Pesquisar Casos Clınicos cadastrados.


Passo 4. Clicar no botao ‘Selecionar’ para confirmar a selecao, Figura 4.5.

Figura 4.5: Interface para Pesquisar Casos Clınicos apos encontrado o registro desejado.


Passo 5. Dentro do formulario do Caso Clınico, clicar no botao ‘Teleconsultas

off-line’, Figura 4.6.

Figura 4.6: Interface de Gerenciamento de Casos Clınicos exibindo dados cadastrados

e pronta para receber solicitacao.


Passo 6. Solicitar uma nova teleconsulta off-line (clicar no botao ‘Nova Tele-

consulta off-line’), Figura 4.7.

Figura 4.7: Interface de visualizacao das Teleconsultas off-line ja solicitadas para o

caso clınico.


Passo 7. Preencher formulario de solicitacao, Figura 4.8.

Figura 4.8: Interface do formulario de cadastro de solicitacao de Teleconsultas off-line.


Passo 8. Enviar solicitacao (Selecionar opcao ‘Enviar Mensagem’), Figura 4.9.

Figura 4.9: Interface do formulario de Solicitacao de Teleconsultas off-line com dados

preenchidos.


Passo 9. Retornar para a tela principal do caso clınico (clicar no botao ‘OK’),

Figura 4.10.

Figura 4.10: Interface de confirmacao do envio da solicitacao de Teleconsultas off-line.


Tarefa 2 - Cadastrar Caso Clınico

Passo 1. Entrar no cadastro de caso clınico (Abrindo o Menu: Solicitante, se-

lecionando a opcao: Casos Clınicos e, em seguida a opcao: Gerenciar Caso

Clınico). A interface utilizada se encontra na Figura 4.3.

Passo 2. Cadastrar o caso clınico (Digitar o codigo do prontuario do paciente

ou pesquisa-lo e seleciona-lo, clicando no botao ´Selecionar’) A interface

utilizada se encontra na Figura 4.4.

Passo 3. Entrar com dados para realizar a pesquisa - digitar parte do nome do

paciente e clicar no botao pesquisar ou selecionar um prontuario a partir do

campo ‘Selecione’ e, em seguida, clicar no botao ‘selecionar’, Figura 4.11.

Figura 4.11: Interface de pesquisa de Prontuarios cadastrados.


Passo 4. Continuar cadastro do caso clınico e salva-lo (clicar no botao ‘Gravar’),

Figura 4.12.

Figura 4.12: Interface de Gerenciamento de Casos Clınicos apos recebimento de dados

de um novo caso clınico.


Passo 5. Voltar para a tela inicial de cadastro do caso clınico (clicar no botao

‘OK’), Figura 4.13.

Figura 4.13: Interface de confirmacao do Cadastro do Caso Clınico.


Tarefa 3 - Cadastrar prontuario do paciente

Passo 1. Entrar no formulario de cadastro do Prontuario, Figura 4.14.

Figura 4.14: Interface do Menu principal do Sistema Gestao de Teleconsultorias.


Passo 2. Entrar com os dados do paciente no formulario e clicar em ‘Gravar’,

Figura 4.15.

Figura 4.15: Interface do formulario do Cadastro de Prontuario preenchido.


Passo 3. Retornar ao estado inicial da interface, clicar ‘OK’, Figura 4.16.

Figura 4.16: Interface do formulario do Cadastro de Prontuario preenchido.


Passo 4. Confirmar o novo cadastro, quando o sistema detectar a existencia de

algum prontuario semelhante ao digitado, Figura 4.17.

Figura 4.17: Interface da Pesquisa de Prontuario com mensagem de deteccao de cadas-

tro semelhante ao digitado pelo usuario.

4.2.2 Etapa de Analise

Na fase de analise, para cada tarefa definida na fase preparatoria, a interface foi percor-

rida passo-a-passo. O objetivo foi verificar quais as dificuldades que o usuario poderia

enfrentar durante a realizacao das tarefas. Para tal, cada passo foi questionado com as

seguintes perguntas:

• Os usuarios conseguirao perceber que a acao correta esta disponıvel e conseguirao

utiliza-la?

• Eles conseguirao associar o resultado desejado com a acao correta?

4.3 Definicoes Praticas do Estudo de Campo 64

• Pela resposta da interface consegue-se perceber avanco na execucao da tarefa?

Apos a fase de analise foi realizado um resumo dos resultados com os problemas en-

contrados.

4.3 Definicoes Praticas do Estudo de Campo

A Tabela 4.4 resume as definicoes as questoes de ordem pratica para a avaliacao do

estudo de campo. Foi levada em consideracao a tecnica escolhida, o tipo e a quantidade

de usuarios avaliados, o local da avaliacao e o recurso utilizado.

Tecnicadeavaliacao

Ator/usuario Participantes Local Recurso Tipo dadocoletado

GrupoFocal

Solicitantes 3 FAFICH/UFMG

Anotacoes egravacao audio

Qualitativo

Entrevistas Solicitantes 10 UBS´s Gravacaoaudio

Qualitativo

Observacao Solicitantes 4 UBS´s Anotacoese Gravacaointeracao

Qualitativo

Especialista 1 CEM Anotacoese Gravacaointeracao

Qualitativo

Questionario Solicitante 10 UBS´s Questionarioimpresso

Quantitativo

Tabela 4.4: Resumo de definicao pratica do Estudo de Campo.

Cada tecnica utilizada determinou o tipo de dado coletado e a forma como seria

analisado, interpretado e apresentado, conforme sera apresentado na secao de resulta-

dos.

a) Usuarios participantes da avaliacao Os atores identificados nos sistemas de

Telemedicina e suas respectivas funcoes foram:

• Solicitante: medico da Unidade Basica de Saude (UBS) que agenda telecon-

sultoria e realiza as discussoes clınicas com o especialista.

• Especialista: medico do Hospital das Clınicas (HC) ou do Centro de Espe-

cialidades Medicas (CEM - Centro-Sul) da Secretaria Municipal de Saude

(SMSA), demandados pelos solicitantes para consultoria ou segunda opiniao

medica.


• Administrador-tecnico: tecnico responsavel pelo gerenciamento dos soft-

wares, cuja funcao e dar permissoes, abrir e fechar teleconsultorias, anexar

materiais (arquivos) nas teleconsultorias, etc.

• Gestor do projeto: profissional que faz parte da coordenacao do projeto

BHTelessaude.

Segundo Eason (1987) citado por Preece et al (2005) podemos categorizar os

usuarios como:

• Primario: todos os usuarios que utilizam frequentemente o sistema;

• Secundario: aqueles usuarios que utilizam o sistema esporadicamente ou por

intermedio de alguem;

• Terciario: todas as pessoas afetadas pelo sistema ou que tem influencia em

sua adocao.

Com base na definicao dos atores e na categorizacao geral dos usuarios foi ela-

borada uma classificacao dos usuarios dos servicos de Telemedicina do BHTe-

lessaude, conforme a Tabela 4.5.

Tipo de Usuario Atores

Primario SolicitanteSecundario Solicitante

EspecialistaTerciario Administrador-Tecnico

Gestor do Projeto

Tabela 4.5: Classificacao dos usuarios do BHTelessaude.

b) Amostra de Usuarios A regiao Centro-Sul foi escolhida para a avaliacao pelo

fato da mesma ter sido uma das regioes pioneiras na implantacao do BHTe-

lessaude e por possuir os usuarios primarios mais frequentes. Nela foi implan-

tado o primeiro centro distrital de especialidades medicas, denominado Centro

de Especialidades Medicas (CEM - Centro-Sul).2. Alem disso, com excecao da

UBS Sao Miguel Arcanjo, todas as suas UBS estao informatizadas e utilizam os

sistemas de Telemedicina, como mostra a 4.6.

2Com a implantacao do CEM as teleconsultorias antes realizadas junto ao HC/UFMG, passarama ser realizadas com os seus especialistas


UBS Total Medicos Medicos-UsuariosCafezal 8 2Carlos Chagas 9 1Conjunto Santa Maria 6 3Menino Jesus 6 3N. Sra. Aparecida 7 3N. Sra. Conceicao 7 2N. Sra. Fatima 7 1Oswaldo Cruz 13 1Santa Lucia 9 2Santa Rita de Cassia 11 2Sao Miguel Arcanjo 6 0Tia Amancia 12 1

Tabela 4.6: Medicos-Usuarios por UBS da Regiao Centro-Sul. Fonte: SMSA / maio2007.

c) Tarefas avaliadas As tarefas foram escolhidas com base nos objetivos a serem

alcancados. Sao tarefas tıpicas e gerais, conforme mostra a Tabela 4.7.

Seq Tarefas Sistema1 Solicitacao de Teleconsultoria on-line Gestao de Teleconsultoria2 Solicitacao de Teleconsultoria off-line Gestao de Teleconsultoria3 Realizacao de Teleconsultoria on-line Sametime

Tabela 4.7: Tarefas a serem avaliadas no Estudo de Campo.

d) Questoes eticas As questoes eticas foram tratadas junto a Comissao de Etica da

Secretaria Municipal de Saude de Belo Horizonte. Alem disso, foi elaborada uma

carta de consentimento contendo o objetivo da pesquisa e o comprometimento

de que as informacoes pessoais adquiridas seriam confidenciais. Uma copia desta

carta foi entregue para cada participante da pesquisa assinar como anuencia. Seu

modelo se encontra no Apendice A.

4.3.1 Entrevista em grupo (Grupo focal)

O objetivo do grupo focal foi conhecer as ideias, sentimentos, necessidades e opinioes

dos usuarios solicitantes a respeito do sistema de Telemedicina implantado.

A amostra de usuarios entrevistados foi definida pela SMSA com base na analise

estatıstica das realizacoes de teleconsultorias das UBS.


O roteiro da entrevista foi elaborado a partir de uma revisao na literatura sobre a

respectiva tecnica. Este roteiro se encontra no Apendice B e foi realizado junto com o

grupo de pesquisadores da PUC Minas3.

O grupo focal ocorreu na sala de observacoes da FAFICH/UFMG e contou com a

presenca dos pesquisadores da PUC Minas, distribuıdos nas funcoes de moderador e

observadores. Toda a entrevista foi gravada em fita cassete.

Apesar de serem convocados dez participantes, a quantidade de entrevistados no

grupo focal foi inferior ao recomendado na literatura, apenas tres. Porem, mesmo com

a pequena quantidade, conseguimos extrair informacoes que consideramos valiosas para

nosso estudo e, por isso, seu resultado sera descrito no Capitulo 5 e fara parte da nossa

conclusao.

4.3.2 Entrevistas Individuais

A elaboracao da entrevista foi baseada no Metodo de Explicitacao do Discurso Subja-

cente (MEDS) desenvolvido por Nicolaci-da-Costa, que e um metodo exploratorio para

a pesquisa em psicologia clınica. Ele e utilizado em IHC para identificar caracterısticas

dos usuarios que sao importantes para ao desenvolvimento de sistemas e que, muitas

vezes, sao de difıcil explicitacao verbal e por isso despercebida por outros metodos

[Nicolaci-da Costa, 2007] e [Nicolaci-da Costa et al., 2004]. Em nosso trabalho ele foi

utilizado para conhecer as impressoes dos usuarios a respeito das interfaces do sistema

computacional do BHTelessaude e as dificuldades enfrentadas por eles durante o seu

uso. O seu desenvolvimento ocorreu em quatro fases distintas.

Fase 1: Selecao da amostra de usuarios Por ser um grupo com caracterısticas se-

melhantes (medicos generalistas), o unico criterio adotado para a escolha dos

usuarios e a quantidade a ser entrevistada foi a disponibilidade que o usuario

teria em poder participar da entrevista. Assim, dentre os vinte e um usuarios

primarios na regiao Centro-Sul, foram realizadas dez entrevistas individuais, dis-

tribuıdas por UBS, conforme mostra a Tabela 4.8.

3Grupo Responsavel pelo Projeto Avaliacao da Usabilidade das TIC‘s e uso da informacao nosservicos de telessaude: a experiencia de Belo Horizonte.


UBS Medicos-Usuarios Medicos Entrevistados

Cafezal 2 2

Carlos Chagas 1 1

Conjunto Santa Maria 3 0

Menino Jesus 3 1

N. Sra. Aparecida 3 0

N. Sra. Conceicao 2 1

N. Sra. Fatima 1 1

Oswaldo Cruz 1 1

Santa Lucia 2 2

Santa Rita de Cassia 2 0

Sao Miguel Arcanjo 0 0

Tia Amancia 1 1

Tabela 4.8: Quantidade de Usuarios Entrevistados por UBS da Regiao Centro-Sul de

Belo Horizonte.

Fase 2 - Construcao de roteiro para a entrevista Na preparacao para a coleta

de dados foi elaborada um roteiro conforme o objetivo da pesquisa. O roteiro

consta de topicos e nao de perguntas ja prontas. Sao eles:

1. Expectativa em relacao ao Sistema BHTelessaude:

• Quando e como ouviu falar do BHTelessaude pela primeira vez?

• O que imaginou a partir disto:

– A respeito das ferramentas que seriam utilizadas.

– A respeito das facilidades que encontraria.

2. Comecando a usar o BHTelessaude:

• Houve treinamento?

– Pontos positivos e negativos

• Como foi a primeira utilizacao?

– Agendamento.

– Interacao.

• Impressoes do primeiro uso, com relacao a:

– Facilidade de aprender a usar o sistema.


– Facilidade de uso.

3. Uso no dia-a-dia

• Interacao com o sistema

• Dificuldades e facilidades encontradas

4. Seguranca:

• Percepcao em relacao a confiabilidade dos dados no sistema.

• Recuperacao de erros.

Essa estrategia ajuda a deixar a entrevista menos formal e auxilia o entrevistador

a nao se esquecer de abordar todos os topicos em todas as entrevistas. Um teste

piloto foi realizado e para que as questoes fossem revistas e melhor adequadas

para alcancar os seus objetivos.

Fase 3 - As entrevistas Devido ao grande volume de atendimento das UBS, houve

grande dificuldade no agendamento das entrevistas. Elas foram agendadas e

efetivadas durante o expediente do medico em seus proprios consultorios. Para

cada medico foi realizada uma unica entrevista com duracao de 15 a 30 minutos,

que foi gravada em fita cassete. A realizacao da entrevista dividiu-se em tres

partes:

1o. Apresentacao do Projeto de Pesquisa para o entrevistado, onde foram colo-

cados os objetivos da pesquisa e da avaliacao e entrega do termo de consen-

timento.

2o. A entrevista em si, seguindo o roteiro descrito na Fase 2; e,

3o. A aplicacao de um questionario para conhecer melhor o perfil do usuario e

medir a sua satisfacao com relacao ao uso do sistema. A elaboracao deste

questionario sera descrita na Secao 4.3.4.

Fase 4 - Transcricao dos depoimentos Apos a coleta de dados as entrevistas foram

transcritas na ıntegra observando ocorrencias como perturbacao, pausas e risos,

que poderiam ser possıveis indicadores de conflitos, insatisfacao, satisfacao, etc.

Posteriormente foram analisadas em duas etapas, conforme descrito na Fase 5.

Fase 5 - Analise e interpretacao dos depoimentos As respostas de cada entre-

vistado foram agrupadas segundo os topicos do roteiro aplicado. Em seguida, o

processo de analise dos depoimentos foi dividido em duas etapas distintas:


1a Analise inter-sujeitos: etapa onde as respostas dos entrevistados, para cada item do

roteiro, foram comparadas em busca de recorrencias. Essas recorrencias foram

transformadas em categorias (emicas4) que demonstraram os valores do grupo de

entrevistados.

2a Analise intra-sujeitos: etapa onde foi realizada nova leitura e analise do discurso de

cada entrevistado. Nesta etapa foram identificados contradicoes, inconsistencias,

conflitos individuais e o que e importante individualmente.

Apos a segunda etapa retornou-se a primeira e o processo foi refeito por varias

vezes, possibilitando detectar informacoes importantes que poderiam passar des-

percebidas. A Figura 4.18 ilustra este processo de analise.

Figura 4.18: Procedimentos do MEDS - Adaptado de [Nicolaci-da Costa et al., 2004].

4.3.3 Observacao

A observacao dos usuarios durante as teleconsultorias teve o objetivo de verificar como

os usuarios interagiam com o sistema e quais os problemas que estes enfrentavam

durante a interacao.

A atuacao do avaliador durante as teleconsultorias foi a de observador externo,

anotando suas impressoes e procurando causar a menor interferencia possıvel nas ativi-

dades dos usuarios. A interacao do usuario com o sistema foi gravada utilizando o

software Snag It.

4Abordagem emica: interpretacao de depoimentos a partir de categorias que emergem das falasdos entrevistados.


Para organizar a observacao e a atividade de coleta de dados, foi adotada a seguinte

estrutura:

a) Contexto: local da teleconsultoria (organizacao, objetos, etc).

b) Atores: quais as pessoas que estao envolvidas na atividade, seus detalhes relevantes

e o local onde se encontram fisicamente.

c) Atividades: o que os atores estao fazendo e por que, identificando o humor de cada

um com relacao a atividade (antes, durante e apos a teleconsultoria).

d) Eventos especiais: eventos que nao fazem parte da rotina normal, se aconteceram,

como e por que.

Esta estrutura foi uma adaptacao do modelo de Colin Robson, citado por

[Preece et al., 2005] que, apesar de bem abrangente (contem ıtens que observam tanto

o contexto como o humor das pessoas), nao supria as necessidades de observacao no

caso especıfico.

A tarefa escolhida para a observacao foi a participacao de uma teleconsultoria on-

line pelo medico solicitante. Esta foi escolhida pelo fato de necessitar de agendamento

previo e assim facilitar a observacao. Alem de ser a tarefa principal do sistema.

A escolha das teleconsultorias e usuarios participantes se deu em funcao das so-

licitacoes agendadas por estes usuarios no perıodo da pesquisa (janeiro a maio de 2007).

A observacao foi realizada durante quatro teleconsultorias em UBS diferentes, conforme

Tabela 4.9, e cujos usuarios eram considerados experientes (ja haviam participado de

pelo menos tres teleconsultorias).

Locais da observacao Tipo de usuario

UBS Conjunto Santa Maria SolicitanteUBS Menino Jesus SolicitanteUBS N. Sra.Conceicao SolicitanteUBS Oswaldo Cruz SolicitanteCEM Especialista

Tabela 4.9: Locais e usuarios observados.

4.3.4 Questionarios

Dois tipos de questionarios foram aplicados. Um para tracar o perfil do usuario e outro

para estruturar informacoes sobre problemas de usabilidade e determinar o grau de


satisfacao dos usuarios com relacao aos sistemas. Eles foram aplicados logo apos a

entrevista individual.

Estes questionarios foram baseados no QUIS - Questionaire for User Interaction

Satisfaction, pelo fato de este questionario proporcionar uma avaliacao da satisfacao

subjetiva dos usuarios com relacao a aspectos especıficos da interface. Os questionarios

desenvolvidos se encontram no Apendice C.

Em termos de questoes o questionario foi composto de 25 questoes fechadas que

foram agrupadas em 5 categorias: Tela, composto por 4 questoes; Terminologia e

informacao do sistema, com 5 questoes; Aprendizagem e utilizacao do sistema, tambem

com 5 questoes; Multimıdia e Teleconferencia, com 10 questoes; e uma questao sobre a

satisfacao geral com o sistema. Para cada questao foi utilizada uma escala de diferencial

semantico com cinco nıveis, variando de 1 (menor nota) a 5 (maior nota).

O questionario tambem incluiu uma questao aberta que possibilitou que os usuarios

deixassem seus comentarios a respeito de algum item nao abordado.

Sua primeira versao foi aplicada durante o grupo focal como um teste piloto. Apos

identificar pontos a serem ajustados o questionario foi alterado possibilitando sua

aplicacao efetiva durante as entrevistas individuais.

A analise dos questionarios foi realizada utilizando calculos estatısticos simples sobre

os itens de cada categoria avaliada, como sera visto no Capıtulo 5.

Capıtulo 5

Resultados e Discussoes

Apesar do objetivo do trabalho avaliar a usabilidade dos sistemas computacionais uti-

lizados no BHTelessaude, na analise dos dados coletados identificamos problemas rela-

cionados a introducao de tecnologia e problemas tecnicos. Dessa forma, esses dados

serao apresentados e discutidos atraves da tecnica de avaliacao aplicada e do tipo de

problema encontrado em cada tecnica, cotejando-os com a literatura estudada.

5.1 Resultados decorrentes do Percurso Cognitivo

No Percurso Cognitivo os problemas encontrados foram relacionados a usabilidade.

Eles estao agrupados por categorias e serao descritos de acordo com a sequencia em

que aparecem nas tarefas.

De forma geral a interface demonstrou os seguintes problemas:

• Sequencia de tarefas nao esta clara para o usuario.

Para realizar uma solicitacao de teleconsultoria de um caso clınico, obrigatoria-

mente, o usuario deve cadastrar o prontuario do paciente. Porem, ele ira perceber

isso apenas no momento em que estiver cadastrando o caso clınico, quando a in-

terface lhe pedir o numero do prontuario (Figura 4.3). Nesse momento, se o

usuario nao souber o codigo do prontuario podera pesquisa-lo porem, caso nao

esteja cadastrado, o usuario devera sair da tela em questao e retornar ao menu

principal.

As opcoes do menu principal se encontram dentro de outro menu, cujo rotulo e a

funcao do usuario, e que se encontra dentro da barra de menu (Figura 4.14). Isso

5.2 Resultados decorrentes do Grupo Focal 74

forca o usuario a clicar em uma opcao desnecessaria para ter acesso as opcoes das

tarefas do sistema, o que pode causar confusao para usuarios novatos.

• Rotulos de campos nao correspondem a sua finalidade.

No cadastro de Prontuario os campos ‘Prontuario Externo’ e ‘Entidade de Origem’

se referem respectivamente ao numero do prontuario do paciente e ao sistema

onde este prontuario foi cadastrado, ou seja, sao campos com funcoes que nao

condizem com seus rotulos (Figura 4.16).

• Feedback nao informativo.

Quando o usuario tenta cadastrar um prontuario similar a um ja cadastrado,

o sistema lhe transfere para uma tela cujo tıtulo e ‘Pesquisa Prontuario’ e lhe

pergunta o que ele quer fazer: gravar prontuario ou confirmar prontuario existente

(Figura 4.17). Porem, nao mostra os dados do prontuario similar para que o

usuario possa confirmar a sua existencia ou nao. Assim, o usuario nao tem como

confirmar a informacao e podera ficar confuso sem saber o que fazer.

• A interface nao informa se os campos dos formularios sao opcionais ou obri-

gatorios.

No Cadastro de Prontuario (Figura 4.15) os campos ‘Prontuario Externo’ e ‘Enti-

dade de Origem’ sao opcionais, apenas para prontuarios de pacientes ja cadastra-

dos em outros sistemas.

• Confusao na escolha da acao correta para chegar ao resultado desejado.

Para pesquisar um prontuario cadastrado o usuario possui duas acoes corretas

que nao estao claras: botao pesquisar e um menu de opcoes (options menu) com

o rotulo ´Selecione’(Figura 4.11). O que deixa o usuario duvidoso em sua escolha,

sem conseguir associar a acao correta com o resultado desejado.

Para pesquisar um caso clınico ja cadastrado a interface tambem possui duas

opcoes para executar o mesmo passo em uma mesma interface que nao contem

acoes claras (Figura 4.5). Suas acoes se misturam e confundem o usuario.

5.2 Resultados decorrentes do Grupo Focal

Nas entrevistas com o grupo de medicos das UBS percebemos a importancia que eles

dao ao projeto. Eles acreditam que a Telemedicina e um meio para a organizacao do

5.2 Resultados decorrentes do Grupo Focal 75

processo de trabalho e a veem como instrumento de grande importancia no processo

de aprendizagem contınua, ainda que, muitas vezes, como reconhecido pelo grupo,

exista grande distancia entre a abordagem teorica do especialista expositor com o que

pode ser efetivamente realizado na pratica das UBS. Esse problema foi igualmente

mencionado em trabalhos que relatam as experiencias em projetos de telessaude em

exposicoes no I Workshop do Laboratorio de Excelencia e Inovacao em Telessaude

na America Latina e Europa, realizado em dezembro de 2006, em Belo Horizonte

(http://www.laboratoriotelesalud.com.br).

Alem disso, tambem foram detectados nas falas do grupo, problemas referentes a

usabilidade, tecnicos e de introducao de tecnologia que serao expostos a seguir.

5.2.1 Problemas relacionados a introducao de tecnologia

Os medicos entrevistados ressaltaram a necessidade de uma melhor organizacao na im-

plantacao do BHTelessaude e que, os profissioanais envolvidos, precisam de um tempo

maior para sua absorcao.

Dentro dessa melhor organizacao eles citaram o momento do acontecimento da

teleconsultoria. Hoje, elas ocorrem durante o expediente de atendimento dos medicos

da UBS e gastam uma media de 15 a 20 minutos. Porem, quando ha problemas de

conexao, por exemplo, o tempo gasto e bem maior, o que atrasa o atendimento aos

pacientes, presentes no consultorio. Eles salientaram o fator tempo como essencial

e que este interfere diretamente na predisposicao a utilizar o sistema e a aderir ao

programa.

Segundo os entrevistados, o projeto preve a possibilidade de que, durante as tele-

consultorias, medicos de outras UBS e/ou especialistas poderem acompanhar as dis-

cussoes de caso. Porem, essa falta de privacidade foi vista, por eles, como um fator

desestimulante para utilizacao do sistema.

5.2.2 Problemas Tecnicos

Problemas com o audio tornando impossıvel, muitas vezes, o entendimento das palavras

pronunciadas, foi outra dificuldade encontrada pelo grupo entrevistado.

5.2.3 Problemas de Usabilidade do Sistema

Quanto ao uso do sistema, foi colocada a dificuldade que os medicos tem em transmitir

imagens (radiologicas, dermatologicas, etc). Segundo eles, o processo de inserir imagens

5.3 Resultados decorrentes das entrevistas individuais 76

e muito demorado e exige muita paciencia do usuario que necessita de auxılio tecnico

para concluı-lo.

Apesar do grupo destacar a facilidade do uso do sistema, eles ainda precisam de

auxılio tecnico para interagirem com a interface e admitem necessitarem de mais treina-

mento. Essa necessidade tambem foi identificada em outros projetos de telemedicina,

citados por [Tanriverdi and Iacono, 1999] e [Gaggioli, 2005].

5.3 Resultados decorrentes das entrevistas indivi-

duais

5.3.1 Analise dos Usuarios

Foram realizadas entrevistas com dez usuarios das UBS do Distrito Centro-Sul, como

descrito no Capıtulo 4. Para preservar a identidade dos entrevistados estes serao chama-

dos de “M01, M02, M03...” e assim por diante. Com relacao a idade dos entrevistados,

40% estao na faixa entre 41 a 50 anos, 20% entre 30 a 35 e 51 a 60 anos e 10% com

menos de 30 anos e entre 36 a 40 anos, conforme o grafico da Figura 5.1.

Figura 5.1: Caracterizacao dos usuarios quanto a idade

Dos dez usuarios entrevistados seis sao do sexo feminino e quatro do sexo mas-

culino, sendo nove medicos e um enfermeiro1, o M04 representado com zero tempo de

1Responsavel por toda a interacao do sistema, desde a verificacao de disponibilidade de especia-


experiencia medica (Figura 5.2). Quanto a experiencia na area medica (conhecimento

do domınio) os usuarios M02, M03, M06, M08 e M09 disseram atuar ha mais de 20 anos

como medicos, sendo o M06, M08 e M09 com mais de 20 anos de trabalho na propria

SMSA. Os demais medicos sao mais jovens, com menos de 10 anos de experiencia

medica e menos de 5 anos de trabalho na SMSA. O usuario M07 se destaca por possuir

apenas um ano de trabalho na SMSA, mas com nove anos de experiencia medica. O

M05 foi o medico mais jovem do grupo de entrevistados, possuindo menos de trinta

anos de idade e tres anos de experiencia tanto na area medica como na SMSA (Figura

5.2).

Figura 5.2: Experiencia do domınio (medicina)

Segundo a SMSA, a media de utilizacao do servico de teleconsultoria pelos medicos

varia entre tres a seis teleconsultorias, desde o inıcio da implantacao do projeto ate abril

de 2007. Assim, os usuarios com menos de tres teleconsultorias foram classificados como

novatos no conhecimento do sistema e os demais como experientes.

Dos nove medicos, tres participaram apenas de uma ou duas teleconsultorias. Com

excecao dos medicos M01 e M08, que se destacaram pela quantidade superior de uso

das funcoes principais do sistema, os demais se enquadraram na media informada pela

SMSA, como visto no grafico da Figura 5.3.

listas, agendamento ate a teleconsulta, onde deixa todo o ambiente preparado para o medico apenasconversar com o especialista.


Figura 5.3: Quantidade de uso das principais funcoes do BHTelessaude pelos usuarios

entrevistados.

Com relacao a experiencia no uso de computadores, os usuarios M02, M04, M09

e M10 possuem experiencia apenas em aplicativos de escritorio. Ja os demais, com

excecao do M07 demonstraram experiencia no uso das ferramentas de escritorio e edi-

tores de imagens. O M01 e M08 confirmaram experiencia na aplicacao do Prontuario

Eletronico e, somente o M01 no uso de aplicativos estatısticos, conforme o grafico da

Figura 5.4.

Figura 5.4: Aplicativos utilizados pelos usuarios entrevistados.


Na utilizacao de servicos da Internet, com excecao do M07 que nunca utilizou

nenhum servico, todos usam os seus servicos basicos. Destes usuarios, exceto o M09,

tambem utilizam servicos de comunicacao e bibliotecas virtuais em saude, como a

Scielo, Medline, Cochrane, etc. O servico de compras pela Internet e o menos utilizado

- apenas os usuarios M01, M05, M06 e M08 o utilizam.

Figura 5.5: Utilizacao de servicos disponıveis na Internet pelos usuarios entrevistados.

Com excecao dos usuarios M07 e M09, que foram considerados usuarios novatos

no uso de computadores, todos os demais podem ser caracterizados como usuarios

experientes, conforme os dados apresentados nos graficos das Figuras 5.3 e 5.4.

A analise do perfil dos usuarios levou em consideracao o seu domınio em relacao ao

uso do sistema computacional (BHTelessaude), ao uso de computadores (ferramentas de

escritorio e Internet) e ao domınio da aplicacao (area medica), segundo recomendacoes

de [Nielsen, 1993].

De acordo com a analise do perfil desses usuarios, foram definidas quais as re-

spostas que seriam analisadas, visando a homogeneidade do grupo , conforme sugere

a metodologia do MEDS. Essa homogeneidade levou em consideracao os usuarios ex-

perientes nas tres dimensoes citadas, como demonstrado na Figura 5.6, que resume as

Figuras 5.4, 5.3, 5.2 e 5.1.

Assim, o grupo de entrevistas analisadas foi composto pelos usuarios M01, M02,

M05, M06, M07 e M08. Com excecao do M07 que nao possui nenhum domınio no uso de

computadores e e considerado um usuario novato, todos os demais foram classificados


como experientes nas tres dimensoes analisadas.

Figura 5.6: Definicao do Perfil dos usuarios.

5.3.2 Resultados decorrentes da Analise das Entrevistas

Assim como na analise dos dados coletados a partir da entrevista de grupo, alem dos

problemas de usabilidade, as entrevistas individuais tambem mostraram problemas

tecnicos e de introducao tecnologica. Para melhor ilustrar estes resultados classificamos

as categorias encontradas atraves do metodo MEDS, descrito na secao 4.3.2, por tipo

de problema.

Algumas categorias revelaram mais de um tipo de problema e por isso foi citada

nos diversos tipos.

5.3.2.1 Introducao Tecnologica

a) Possibilidade de solucionar problemas da atencao secundaria nas UBS.

A possibilidade de estar com os especialistas para discutir os casos de pacientes

que necessitavam de atencao secundaria, foi a grande motivacao para o uso inicial

do sistema. Os medicos entrevistados, em sua maioria, viram o BHTelessaude

como uma ferramenta util, que facilitaria o atendimento dos pacientes, como

mostra as seguintes falas:

Quando eu ouvi falar dessa possibilidade de discutir casos pela internet eu acheique ela seria uma ferramenta util (...) facilitaria os servicos. (M01)


(...) uma integracao com o especialista, com rapidez de discussao (...) voce iriaconseguir contactar com o especialista e discutir o caso (...) mais facil para o pa-ciente, voce nao iria coloca-lo em uma fila de espera, ia estar resolvendo o problemadele de forma mais facil. (M05)

(...) ja vi isso (BHTelessaude) como uma oportunidade de ganho principalmentepara o paciente. (M07)

(...) a gente tinha muitos casos e a gente tem muito estrangulamento para encami-nhar (o paciente) para o especialista. E eu percebi que isso (BHTelessaude) seriauma coisa muito util, ia facilitar, ia ajudar muito a otimizar o sistema. (M08)

Para eles, o fato de estar sanando duvidas junto aos especialistas, nao so auxilia

o paciente, mas tambem contribui para a sua formacao.

(...) valorizacao profissional, tudo o que eu fiz na teleconsulta acrescentou e muitono meu conhecimento, nas minhas habilidades, como medica da famılia. Entaoeu acho que isso foi muito bom. (...) eles (os especialistas) tem me passado in-formacoes, excelentes atualizacoes. (M08)

(...) um sistema aberto com teleconferencias ate com medicos do exterior e tambemcom medicos do Hospital das Clınicas, entao a expectativa era melhorar a minhaformacao para atender melhor, atualizar. (M05)

Para o M08 o sistema ainda auxilia na melhoria da gestao do processo terapeutico.

Quem faz a gestao do processo terapeutico, quem vai produzir o tratamento eo medico da ponta. A informacao do especialista passa pelo meu filtro, minhaavaliacao. A revisao do especialista e so fora, ele nao quer saber sobre a famılia,a comunidade. (...) voce manda para o especialista, o especialista manda umareceita para o paciente, mas ele nao conhece o paciente, a famılia, a realidadedele. Quando eu pego a informacao do especialista e vou atender o paciente queeu conheco, que eu acompanho, sei a comunidade e sei a dificuldade dele, eu achoque e mais eficaz o processo terapeuta. Porque eu vou propor a partir daı o quee mais viavel, mais eficaz, sem falar que o paciente tem vınculo. As vezes eu faloem encaminha-los e eles nao aceitam. Primeiro o deslocamento e difıcil. Segundo apessoa tem vınculo, tem medo. O especialista as vezes e mais serio, conversa menos,aqui ele fica mais a vontade, ha confianca... Quando eles vao ao especialista, elesnao usam a medicacao enquanto nao marcar nova consulta comigo e perguntar oque devem fazer. E dizem: “Eu vim aqui pra ver se e isso mesmo e tal”. Entao,quando a gente faz esse caminho (teleconsultoria), eu acho que funciona mais. Opaciente acredita (M08)


b) Dificuldades que limitam a adesao ao BHTelessaude

As dificuldades encontradas pelo M02 se referiram a demora do processo do agen-

damento a teleconsulta. Para ele e mais facil consultar um colega ou um livro do

que ter que utilizar o sistema.

(...) muito mais facil pra mim quando tiver uma duvida, hoje em dia, pegar umlivro, ler, estudar e aı achar a solucao... As vezes, consultar um colega aqui mesmo.Entao, e muito mais agil, como se diz, problema de clınica conversar com a clınica,conversar com a ginecologista, com outro colega. E muito mais facil essa coisa localporque ah, tem que agendar uma videoconferencia... entendeu? (M02)

Outra dificuldade desmotivadora do uso do sistema foi a falta de recursos nas

UBS. Segundo os relatos, normalmente, as UBS possuem apenas uma maquina

localizada na sala da gerencia. Nesta maquina todo o servico administrativo da

UBS e realizado, o que faz com se encontre sempre ocupada.

Temos uma dificuldade de maquina. Por exemplo, nos aqui, temos uma maquina nasala da gerencia. Quando voce vai la, ta sempre ocupada. (...) se for depender deeu achar um buraquinho no meu atendimento para subir la (na gerencia), esperarque o auxiliar administrativo libere a maquina para eu ir e buscar (a listagem dasofertas de especialistas para solicitacao de teleconsultas), eu acho que desanima.(M07)

No comeco era muito difıcil porque tinha um computador que ficava designadopara a telessaude, o computador marcava consulta que fica em uma sala de adminis-tracao. Essa sala tem tres mesas, fica a assistente social, funcionario administrativoe outros. Entao a gente deslocava essas pessoas e ficavam muito mal humorados.Depois eu ja tive vontade de desistir varias vezes, cheguei a informar que nao iausar mais nao. (M08)

Por outro lado, a fala do M01 reforca a importancia de se ter disponıveis maquinas

exclusivas para a teleconsultoria quando em sua colocacao ve a instalacao do

computador da sua UBS, em sua sala, como uma facilidade de uso.

A facilidade (no uso do sistema) foi essa de, no caso, (o computador) ser instaladona minha sala. Entao quando o paciente nao veio, comeco a mexer, paro, pego,deixo guardado o prontuario para no intervalo digitar. (M01)


c) Preparacao Previa × Tempo Disponıvel

A maior dificuldade para o uso do sistema, segundo todos os relatos, e o tempo

necessario para preparar o caso clınico que entrara em discussao com o especi-

alista. Para que a discussao de casos alcance suas metas e indispensavel que o

medico solicitante esteja inteirado de toda a historia do paciente. Para isto, e

necessario que este tenha tempo disponıvel para analisar a ficha deste paciente,

estudar seus exames e pesquisar possıveis diagnosticos. Segundo os relatos, este

tempo e extremamente escasso nas UBS´s, pois essas unidades possuem excesso

de demanda de atendimentos.

A maior dificuldade que eu vejo no uso desse sistema e quando voce vai solicitarum especialista que voce vai conversar pessoalmente com ele voce tem que ter umpreparo grande. A sensacao que voce tem de nao fazer pergunta boba. Entao vocetem que estudar bem o caso antes para levar so as duvidas que voce nao conseguiuresolver. (...) Mas quando voce ta frente a frente com o especialista voce ja temque levar o caso mais adiantado, trabalhado, para voce levar so o que voce nao deuconta. Esse e o objetivo de tirar duvida com o especialista. (M01)

(...) a dificuldade e mais a demanda que aqui e excessiva (M02)

Tempo pra isso. Tempo pra gente falar: agora vou usar a teleconsulta. Por exemplo,quando o medico tal ta disponıvel para discutir um caso a gente nao tem esse temporeservado na nossa agenda. A gente abre uma ‘brecha’. Entao seria interessanteter tempo pra isso. Entendeu? Tempo pra gente elaborar a consulta e fazer asperguntas e tempo pra assistir as coisas que vem de la (teleconferencias medicas).Tempo realmente nao e favoravel nao. Uma coisa a mais sem ter diminuıdo nada.(M05)

Dificuldade e o tempo. Porque na verdade, a teleconsulta a gente nao so acessa osistema, a gente tem que preparar o caso, tirar a ficha do paciente, estudar o casointeiro porque o outro medico vai fazer pergunta e voce tem que ‘ta por dentro’ dahistoria inteira do paciente. (M06)

Eu ainda acho que o sistema e subutilizado (...) talvez pela questao da dinamicado PSF2 que e uma demanda grande, a gente atende muito. (M07)

A principal dificuldade que a gente tem na ponta e o tempo. (M08)

2PSF - Programa da Saude Familiar


5.3.2.2 Usabilidade do Sistema

a) A aprendizagem do sistema

A aprendizagem do sistema, de forma geral foi considerada facil, especialmente

por aqueles usuarios com experiencia no uso de computadores. Eles atribuıram

esta facilidade de aprendizagem as suas praticas computacionais.

Entao, por ter alguma experiencia nao achei nada complicado. (M01)

Eu nao sei se e por causa da geracao que a gente mexe muito com computador foimuito tranquilo.Teve uma pessoa aqui e mostrou pra gente como seria e foi muitofacil. (M05)

Porem, encontramos em uma das falas uma contradicao com relacao a esta faci-

lidade por este tipo de usuarios.

Eu tenho pratica em informatica nao sou especialista, mas eu tenho pratica. Tenteitodos os caminhos possıveis, mas nao consegui. (M06)

Por outro lado, a fala do M07, demonstra que esta facilidade em aprender a usar

o sistema nao se atribui somente a usuarios experientes no uso de computadores.

Achei muito facil. Aquela tela cadastro do usuario que abrem ıcones lateralizadosassim, achei facil e aı depois tem o caso e a gente mandava, gostei muito, eu naotive dificuldade nenhuma. E olha que eu nao tenho computador em casa. Eu naotenho muita familiarizacao com computador nao. Eu achei bem facil (M07)

O sistema tambem demonstra, pelas falas de M05 e M06, possuir mecanismos

que facilitam o usuario a relembrar como utiliza-lo, apos certo tempo de desuso.

A questao assim de, as vezes voce fica um tempo sem usar, uns minutinhos ali paravoce lembrar o que se tem que fazer e resolver. Isso e facil, e bem resolvido, tambemnao tem problema nao. (M05)

Treinamento foi tranquilo. Pra mim e facil embora a gente as vezes esquece comoe que faz. Porque do treinamento ate a primeira vez que a gente faz demora umtempo. Mas como tudo em informatica a gente vai fucando e acha o caminho (M06)

b) A interacao: lidando com dificuldades e insucessos

Apesar de ser considerada uma interface facil de aprender os usuarios encontraram

dificuldades durante o seu uso.


Eu acho que a parte teorica foi passada, manual, aquela receitinha de bolo prafazer mais difıcil. Aı na hora em que a gente vai fazer a gente encontra algumasdificuldades (...) (M08)

(...) A minha maior dificuldade foi com a liberacao do microfone (o usuario temque clicar no botao ’liberar microfone’) e as cameras.(M07)

A transmissao de imagem de exame, por exemplo, e uma coisa que deveria ser maispratica, mais facilitada. Porque se voce quiser mostrar um caso com RX ou comultrassom, pra passar isso pro computador e complicado.(M05)

E o agendamento (tarefa) que e difıcil. (M06)

c) Dificuldades que limitam a adesao ao BHTelessaude

A desmotivacao do uso, por causa da usabilidade do sistema, foi encontrada nas

falas de dois medicos. Cada uma com razoes diferenciadas, mas todas causadas

por dificuldades nao superadas durante o uso do sistema. O M07 encontrou

dificuldades na interacao com elementos graficos do sistema Sametime durante

uma teleconsultoria, enquanto o M06 nao conseguiu mais interagir com o Gestao

de Teleconsultorias. Essas dificuldades fizeram ambos desistirem de utilizar o

sistemas para tais funcoes.

Pra mim foi errado aquele liberar e solicitar microfone (botao onde os usuariossolicitam a fala uns aos outros). Parecia la aquele ‘negocim roxim branquin’ e aıela nao me ouvia. Teve momento que a gente nao conseguiu fazer. Aı a genteteve que interromper e fizemos por telefone, pelo contato por telefone tivemos acontinuacao. (M07)

A primeira (teleconsultoria) fui eu que agendei, so que agora eu nao consigo agendar.Entao tem que ficar telefonando. (...) Entao eu ’saı fora’ do sistema informatizadopara poder realizar os agendamentos (M06)

5.3.2.3 Problemas Tecnicos (uso do equipamento)

a) A Interacao: Lidando com dificuldades e insucessos

Dificuldades ao usar os perifericos tambem foram encontradas nas falas dos

medicos entrevistados.

A questao do uso da mıdia que e um pouco difıcil. Pelo menos da minha parte, eunao tenho experiencia nenhuma no uso de camara, conversar com vıdeo, a gentenao sabe bem que hora que fala, demorou um ’tiquim’ pra resolver, porque ficar avontade na frente da camara isso e uma coisa, uma novidade. (M01)


A webcam e colocada pelo digitador daqui, pra te falar a verdade eu nem sei colocaruma webcam (M06).

(...) A gente nao consegue colocar a webcam de uma maneira que a gente visualizebem. (M07)

b) Dificuldades que limitam a adesao ao BHTelessaude

Segundo o M02 a conexao tambem foi um fator desestimulador do uso do sistema

que comprometeu a continuidade de uma teleconsulta. Isto foi observado nao so-

mente por sua fala mas, tambem, por sua expressao de indignacao e insatisfacao.

E, as vezes, tambem o computador da problema. Teve uma vez que, no meio dateleconferencia (a conexao) caiu e nos tivemos que continuar por telefone. Problemade conexao (M02).

c) Recuperacao de erros cometidos e o suporte tecnico

Os usuarios, de forma geral, demonstram-se seguros na recuperacao de erros

cometidos durante a interacao com o sistema. Em suas falas, percebe-se que esta

seguranca esta no suporte tecnico que fica disponıvel durante toda a teleconsul-

toria, o que e bem visıvel na fala do M08.

Grande parte das teleconsultas o suporte da prefeitura fica acessıvel tambem porchat, qualquer duvida, digita. (M01)

(Durante a interacao) o tecnico fica disponıvel no telefone se a gente tiver algumaduvida, pode ligar. (M05)

Essa coisa e que eu tenho dificuldade (lidar com erros do sistema). Eu liguei pro(risos) ah, por telefone estava (o tecnico) sempre disponıvel e conversei com ele (...)e me orientou e aı eu fiz. Quando acontece algum erro eu tenho certa dificuldadepra conduzir aquilo e aı eu pego o telefone 7719 e peco ajuda (risos)... (M08)

Esta seguranca e motivo da satisfacao do M07 com o BHTelessaude, como mostra

o seu depoimento.

(...) o bom do sistema e que ele tem como acessar minha maquina a partir daSMSA. Entao, isso ajuda muito. Eu ligava pra ele (tecnicos) e falava: ”tecnico1,tecnico2, eu estou com tal dificuldade”aı ele falava assim “me da o numero que estana torre de sua maquina” aı eu dava e eles entravam e conseguiam ver a tela emque eu estava trabalhando, isso eu achava maravilhoso! (risos) Resolvia o problemanaquela hora! Nao impedia que a gente prosseguisse! Eu achava isso fantastico!Igual eu te falei, somos fas do projeto. (M07)

5.4 Resultados decorrentes da Observacao 87

5.4 Resultados decorrentes da Observacao

Durante as observacoes tambem percebeu-se problemas relacionados as tres dimensoes

anteriormente citadas: introducao tecnologica, tecnicos e de usabilidade do sistema.

5.4.1 Introducao Tecnologica

O ambiente nas UBS onde foram realizadas as teleconsultorias nao e apropriado. Elas

normalmente acontecem nas salas da gerencia das UBS, que e um local aonde existe

um fluxo permanente de pessoas e em que o telefone toca constantemente. Este fato

prejudica nao so o audio, mas tambem o sigilo das informacoes compartilhadas.

Em todas as situacoes observadas, a preparacao do ambiente para a realizacao da

teleconsultoria foi conduzida por funcionarios tecnico-administrativos da UBS ou pelo

tecnico da SMSA que acompanhou o processo. No CEM esta preparacao e feita pela

gerente e os medicos especialistas interagem minimamente com o sistema (as vezes

apenas falam ao microfone) e somente durante a teleconsultoria.

Foi observada tambem a ocorrencia de atrasos significativos para iniciar a telecon-

sultoria. Algumas vezes por por dificuldades dos medicos em se liberar do atendimento

presencial a pacientes para participar da teleconsultoria.

5.4.2 Usabilidade do Sistema

Pode-se perceber, durante as teleconsultorias observadas, a baixa interacao dos medicos

com o sistema. Eles ainda necessitam de auxılio para realizacao de tarefas simples,

como por exemplo, pedir para falar e liberar o microfone no momento da teleconsultoria.

Nos vıdeos (resultantes da gravacao da interacao) puderam ser observadas men-

sagens de erros que nao ajudam.

5.4.3 Problemas Tecnicos (uso de equipamento)

Alguns atrasos para iniciar a teleconsultoria aconteceram por problemas de conexao.

Em uma das situacoes observadas esse problema fez com que a teleconsulta fosse can-

celada.

Durante a teleconsultoria tambem houve falhas na conexao. Essas falhas geraram

atrasos nao so na teleconsultoria, mas tambem, e principalmente, nos atendimentos

dos medicos aos pacientes presentes na UBS.

5.5 Resultados decorrentes do Questionario de Satisfacao do Usuario 88

Problemas de instabilidade nas conexoes tambem foram observadas nos vıdeos (re-

sultantes da gravacao da interacao), alem da baixa qualidade das imagens transmitidas

e audio ruidoso.

5.5 Resultados decorrentes do Questionario de Sa-

tisfacao do Usuario

Nesta secao sera apresentado o resultado da analise dos dados coletados atraves dos

questionarios aplicados aos medicos das UBS, durante as entrevistas. Cada item das

cinco categorias do questionario (tela, terminologia e informacao do sistema, aprendiza-

gem e utilizacao do sistema, multimıdia e videoconferencia, e satisfacao) foi analisado

considerando o perfil do usuario (novatos ou experientes) nas dimensoes do uso de com-

putadores em geral (computador), uso do sistema BHTelessaude (sistema) e domınio

da aplicacao medica (aplicacao). A analise e classificacao dos usuarios encontra-se

descrita na secao 5.3.1, no grafico da Figura 5.6.

As questoes dos questionarios foram avaliadas utilizando uma escala de diferencial

semantico com cinco nıveis, variando de 1 (nota mınima) a 5 (nota maxima). Essas

notas foram consideradas pesos que, depois de multiplicados pela sua frequencia de

ocorrencia, resultou em uma nota para o referido item. Considerando que, para cada

grupo de usuarios haveria um valor maximo a ser atingido, esta nota foi transformada

para a escala de 100. Isto permitiu comparar as notas entre todos os grupos, como

pode ser visto nas Tabelas 5.1 a 5.5.

Itens avaliados Experientes Novatos

Computador Sistemas Aplicacao Computador Sistemas Aplicacao

Leitura de Carac-

teres

90 89 89 90 93 100

Disposicao dos obje-

tos

83 83 82 90 87 100

Total de informacoes

disponıveis na tela

75 74 76 90 87 100

Ordem das

informacoes

disponıveis da

tela

83 80 82 90 93 100

Tabela 5.1: Comparacao das notas dos ıtens da Categoria Tela por perfis de usuario.




Terminologia uti-

lizada

83 80 83 100 100 100

Campo para entrada

de texto na tela

89 90 89 100 90 100

Posicionamento das

mensagens na tela

83 83 83 100 90 100

Mensagem de erro 77 63 63 20 100 100

Mensagem de ajuda 70 56 57 20 80 100

Tabela 5.2: Comparacao das notas dos ıtens da Categoria Terminologia por perfis de

usuario.



Aprender a operar o

sistema

85 83 87 90 93 80

Utilizacao do sis-

tema no dia-a-dia

78 80 76 80 73 100

Utilizacao do sis-

tema apos um tempo

sem usa-lo

75 71 71 60 73 80

Funcoes necessarias

para realizacao das

tarefas

73 71 73 100 90 100

Recuperacao de er-

ros cometidos du-

rante a interacao

78 71 75 60 90 80

Tabela 5.3: Comparacao das notas dos ıtens da Categoria de Aprendizagem e Utilizacao

do Sistema por perfis de usuario.




Configuracao do am-

biente

88 80 76 40 73 100

Tempo para estabi-

lizacao da conexao

85 83 80 70 80 100

Velocidade da

conexao

89 87 88 90 93 100

Qualidade das fotos

transmitidas

87 88 88 90 87

Qualidade das ima-

gens transmitidas

80 71 76 60 87 80

Qualidade do audio 65 63 56 30 47 80

Saıda de som 71 70 63 40 53 80

Audio sincronizado

com vıdeo

80 77 71 50 67 100

Utilizacao do chat

on-line

89 90 89 100 90 100

Transmissao de ar-

quivos

76 70 76 100

Tabela 5.4: Comparacao das notas dos ıtens da Categoria Multimıdia e Teleconferencia

por perfis de usuario.



Nıvel de satisfacao

com o sistema

83 80 80 80 87 100

Tabela 5.5: Comparacao das notas do nıvel de satisfacao com o sistema por perfis de

usuario.

5.5.1 Analise da Categoria:Telas

Na comparacao entre os usuarios novatos e experientes no uso de computadores os

ıtens relacionados a Tela foram bem avaliados, obtendo media superior a 70. Observa-

se tambem que, os usuarios novatos possuem uma media constante de avaliacao em

todos os ıtens, como mostra o grafico da Figura 5.7.


Figura 5.7: Comparacao das notas dadas entre novatos e experientes no uso de com-

putadores para os ıtens da categoria Tela.

Na analise feita com os usuarios novatos e experientes no uso do sistema, as notas

diminuem um pouco, mostrando a dificuldade, especialmente dos novatos na interacao

com os ıtens desta categoria.

Figura 5.8: Comparacao das notas dadas entre novatos e experientes no Uso do Sistema

para os ıtens da categoria Tela.

O mesmo resultado obtido entre novatos e experientes no uso de computadores e


observado quando se compara a avaliacao entre novatos e experientes no domınio da

aplicacao, conforme o grafico da Figura 5.9.

Figura 5.9: Comparacao das notas dadas entre novatos e experientes no domınio da

aplicacao para os ıtens da categoria Tela.

5.5.2 Analise da Categoria Terminologia e Informacao do Sis-

tema

Os usuarios, tanto experientes como novatos no uso de computadores, demonstraram,

de forma geral, estar relativamente satisfeitos com os ıtens avaliados nesta categoria.

Com excecao dos ıtens ‘mensagem de ajuda’ e ‘mensagem de erros’ que obtiveram

nota bastante inferior a media considerada satisfatoria (setenta) para os novatos, como

mostrado no grafico da Figura 5.10. Isto demonstra que as mensagens de erro na tela

sao relativamente inuteis e que as mensagens de erro, em sua maioria, nao ajudam para

este tipo de usuario.


Figura 5.10: Comparacao das notas dadas entre novatos e experientes no uso de com-

putadores para os ıtens da categoria Terminologia e Informacao do Sistema.

Os usuarios novatos no uso do sistema avaliaram os ıtens mensagens de ajuda e de

erro acima da media. Essas mensagens estao com nota inferior a media, apenas para

os usuarios experientes no uso do sistema, como mostra o grafico da Figura 5.11. O

que pode significar que, para estes usuarios as mensagens nao estao ajudando satisfa-

toriamente e sendo uteis.

Figura 5.11: Comparacao das notas dadas entre novatos e experientes no uso do Sistema

para os ıtens da categoria Terminologia e Informacao do Sistema.


A comparacao das notas dadas pelos usuarios novatos e experientes no domınio da

aplicacao indica que houve bastante discrepancia em seus resultados, como pode ser

visto no grafico da Figura 5.12. Os usuarios novatos consideraram todos os ıtens 100%

satisfatorios, enquanto a avaliacao dos experientes continuou com notas semelhantes

aos demais experientes no uso de computadores e no uso do sistemas.

Figura 5.12: Comparacao das notas dadas entre novatos e experientes no Domınio da

Aplicacao para os ıtens da categoria Terminologia e Informacao do Sistema.

5.5.3 Analise da Categoria Aprendizagem e utilizacao do Sis-

tema

A avaliacao feita pelos usuarios novatos no uso de computadores, para os ıtens ‘recu-

peracao de erros cometidos durante a interacao’ e ‘utilizacao do sistema apos um tempo

sem usa-lo’ ficou abaixo da media. Para estes usuarios, o item ‘funcoes necessarias para

realizacao das tarefas’ obteve nota total, enquanto para os usuarios experientes este

item obteve a menor nota para esta categoria.


Figura 5.13: Comparacao das notas dadas entre novatos e experientes no Uso de Com-

putadores para os ıtens da categoria Aprendizagem e Utilizacao do Sistema.

Tanto os usuarios novatos como experientes avaliaram a opcao ‘utilizacao do sistema

apos um tempo sem usa-lo’ em torno da media 70. Houve diferenca na avaliacao dos

ıtens ‘recuperacao de erros cometidos durante a interacao’ e ‘funcoes necessarias para

realizacao das tarefas’ entre os dois tipos de usuarios, que os avaliaram respectivamente

com nota igual a 90 e 71. Os demais ıtens ficaram com notas dentro da media e sem

discrepancias, como visto no grafico da Figura 4.9.

Figura 5.14: Comparacao das notas dadas entre novatos e experientes no Uso do Sis-

tema para os ıtens da categoria Aprendizagem e Utilizacao do Sistema.


O resultado das notas dadas pelos usuarios novatos e experientes no domınio da

aplicacao apontou uma diferenca significativa na avaliacao deste grupo nos ıtens ‘funcoes

necessarias para realizacao das tarefas’ e ‘utilizacao do sistema no dia-a-dia’, como

mostra o grafico da Figura 5.15, que tambem aponta uma media satisfatoria nos de-

mais ıtens.


Aplicacao para os ıtens da categoria Aprendizagem e Utilizacao do Sistema.

5.5.4 Analise da Categoria Multimıdia e Teleconferencia

Nesta categoria, as notas dadas pelos usuarios novatos e experientes no uso de com-

putadores variam, significativamente, nos ıtens ‘audio sincronizado com vıdeo’, ‘saıda

de som’, ‘qualidade do audio’, ‘qualidades das imagens transmitidas’ e ‘configuracao

do ambiente’. Estas notas demonstram uma maior insatisfacao por parte do grupo

novato atraves de uma nota inferior a media. Outra observacao que pode ser vista no

grafico da Figura 5.16, diz respeito a ‘transmissao de arquivos’, item avaliado apenas

pelos usuarios experientes.


Figura 5.16: Comparacao das notas dadas entre novatos e experientes no Uso de Com-

putadores para os ıtens da categoria Multimıdia e Teleconferencia.

As notas dos ıtens avaliados na categoria de usuarios experientes e novatos no uso

do sistema nao tiveram grandes diferencas quando comparadas no grafico da Figura

5.17. O destaque nesta comparacao e que o item ‘transmissao de arquivos’, nao avaliado

pelo grupo de usuarios novatos no uso de computadores, foi avaliado aqui com media

total. O item ‘qualidade de audio’ tambem foi avaliado abaixo da media.


Figura 5.17: Comparacao das notas dadas entre novatos e experientes no Uso do Sis-

tema para os ıtens da categoria Multimıdia e Teleconferencia.

Diferentemente da avaliacao dos novatos em uso de computadores e no uso do

sistema, o grafico da Figura 5.18 mostra uma media constante e superior as demais, a

todos os ıtens desta categoria, pelos usuarios novatos no domınio da aplicacao. Exceto

para os ıtens ‘transmissao de arquivos’ e ‘qualidade das fotos transmitidas’ que nao

foram avaliados por este perfil de usuarios.

Para os usuarios experientes no domınio da aplicacao alem do item ‘qualidade do

audio’ o item ‘saıda de som’ tambem obteve nota inferior a media.



Aplicacao para os ıtens da categoria Multimıdia e Teleconferencia.

5.5.5 Nıvel Geral de Satisfacao com o sistema

O nıvel geral de satisfacao com o sistema pelos usuarios experientes, nas tres dimensoes

(domınio da aplicacao, uso do sistema e uso de computadores), se enquadrou na media

de 80, sendo um pouco superior, 83 para experientes no uso de computadores, como

mostra o grafico da Figura 5.19.

O referido grafico tambem nos mostra que os usuarios novatos no uso de computa-

dores estao menos satisfeitos que os experientes com o sistema, mas que este resultado

se opoe significativamente para os novatos no domınio da aplicacao e no uso dos sis-

temas.

A hipotese para este caso e que, o usuario novato no domınio da aplicacao medica

nao conheca as reais necessidades da area e por este motivo nao consegue perceber

deficiencias no sistema. O mesmo acontece para o usuario novato no uso do sistema

(BHTelessaude) que, por nao ter tido muito acesso ao mesmo nao conseguiu ainda

perceber suas deficiencias.


Figura 5.19: Comparacao das notas dadas entre novatos e experientes com relacao ao

nıvel de satisfacao com o sistema.

5.5.6 Media Geral dos Itens Avaliados por Categoria

O grafico da Figura 5.20 mostra a media geral das notas dos ıtens da categoria tela

que indicam que estes estao satisfatorios para todos os tipos de usuarios.

Figura 5.20: Media geral dos ıtens avaliados da categoria Tela.


Figura 5.21: Media geral dos ıtens avaliados da categoria Terminologia e Informacao

do Sistema.

Na categoria Aprendizagem e Utilizacao do Sistema, o grafico da Figura 5.22 nos

mostra que todos os ıtens foram avaliados acima da media.

Figura 5.22: Media geral dos ıtens avaliados da categoria Aprendizagem e Utilizacao

do Sistema.

O grafico da Figura 5.23 aponta um resultado insatisfatorio para os ıtens ‘trans-

missao de arquivos’, ‘saıda de som’ e ‘qualidade de audio’.


Figura 5.23: Media geral dos ıtens avaliados da categoria Multimıdia e Videocon-

ferencia.

A media geral do nıvel de satisfacao dos usuarios com o sistema ficou em 85. Esta

nota demonstra que, apesar das falhas detectadas atraves dos baixos ındices, os usuarios

se encontram, de um modo geral, satisfeitos com o sistema.

Capıtulo 6

Consideracoes Finais e Trabalhos

Futuros

O presente trabalho nos proporcionou vivenciar problemas de qualidade de uso em

um sistema computacional voltado para a Telemedicina durante o seu uso real. Al-

guns desses problemas ja foram considerados na literatura revisada reafirmando que,

a falta de usabilidade dos sistemas computacionais de Telemedicina continua sendo

um dos obstaculos a adesao a esta possibilidade medica e, consequentemente, para o

sucesso de seus projetos, apesar de toda a sua relevancia social que e amplamente re-

conhecida ([Johnson, 2003]; [Tanriverdi and Iacono, 1999]; [Kaufmann et al., 2003b];

[Kaufmann et al., 2003a] [Gaggioli, 2005]).

Os sistemas computacionais utilizados no BHTelessaude sao relativamente faceis de

se aprender. Isso foi identificado nas falas dos usuarios entrevistados e na analise dos

dados dos questionarios. Tambem foi detectado que eles tem preferencia em aprender

a usar o sistema atraves da exploracao. Entretanto, a aplicacao da tecnica do Percurso

Cognitivo apontou possıveis pontos da interface do Sistema Gestao de Teleconsulto-

rias que podem dificultar a aprendizagem do sistema por exploracao, como pode ser

verificado no Capıtulo 5. Com isto, concluımos que, apesar de ser considerada facil,

ainda ha a necessidade de uma revisao da interface para melhorar sua facilidade de

aprendizagem.

A reutilizacao do sistema apos um perıodo de desuso foi considerada facil por boa

parte dos medicos entrevistados. Porem, como visto, os questionarios apontaram um

resultado com uma baixa media neste aspecto. O que faz com que entendamos que

ainda e necessaria a adocao de mecanismos na interface que auxiliem os usuarios a

relembrarem como realizar suas tarefas no sistema.

104

Dificuldades durante a interacao dos usuarios com os sistemas levam a desistencia de

sua utilizacao. Isto pode ser confirmado nos resultados das entrevistas individuais, que

tambem revelaram que, apesar desta desmotivacao em usar o sistema eles continuam

reconhecendo sua utilidade. Os medicos afirmam que o sistema e util tanto no processo

de auto-formacao, quanto na otimizacao do processo terapeutico. O sistema possibilita

a solucao de problemas que antes seriam resolvidos nas unidades de atencao secundaria

dentro das proprias UBS. Tais benefıcios fazem com que a maioria destes medicos seja

novamente motivada a usar o sistema. Estes resultados foram confirmados tambem a

partir das analises das entrevistas no grupo focal.

A eficiencia de uso e a produtividade do sistema, tambem sao fatores que afetam

diretamente a motivacao dos medicos para a utilizacao deste. O questionario nos

apontou a transmissao de arquivos, a saıda de som e a sincronizacao do audio com o

vıdeo, como itens com necessidade de serem revistos para melhorar a eficiencia de uso

e produtividade do sistema.

Em todos os metodos utilizados para o estudo empırico ficou evidente que existe

uma dificuldade do usuario em lidar com erros durante a interacao. O resultado dos

questionarios apresentou uma media relativamente baixa para este item, apontando a

necessidade de uma revisao neste sentindo. Alem disso, as mensagens de ajuda e de

erro do sistema foram avaliadas abaixo da media e tambem necessitam ser revistos. Os

depoimentos das entrevistas nos mostram que, o que faz com o usuario ainda tenha

confianca no sistema e o fato de poder contar com suporte tecnico constantemente,

acarretando uma situacao de dependencia nem sempre positiva.

O nıvel de satisfacao subjetiva do usuario pode ser avaliado por meio da aplicacao de

todas as metodologias. Os medicos demonstraram grande interesse em participar das

teleconsultorias mesmo sabendo que isto poderia atrasar seus atendimentos presenciais

nas UBS. Durante as observacoes, esta situacao se revelou pelo entusiasmo demon-

strado apos o termino de teleconsultorias que ajudaram a resolver casos clınicos. Nas

entrevistas, atraves de falas, como: “(...) nos somos fas do projeto” e tambem no con-

tentamento destes medicos em seus depoimentos sobre os benefıcios recebidos atraves

do sistema. Por outro lado, tambem vimos o descontentamento de alguns ao dizer que

estao decepcionados com o sistema ou que nao conseguiram atingir seus objetivos com

o mesmo. Os questionarios nos trouxeram dados quantitativos em uma media geral de

85% de satisfacao.

O trabalho tambem nos proporcionou identificar problemas de carater tecnicos que

afetam diretamente a implantacao e aceitacao do Projeto BHTelessaude. Como por

105

exemplo, os problemas de conexao, qualidade de audio e qualidade das imagens trans-

mitidas, onde o usuario nao conseguia concluir seu trabalho de forma eficiente, que

foram verificadas durante a observacao. As entrevistas mostrou as dificuldades dos

medicos ao lidar com os perifericos.

Outra questao importante identificada foi o impacto da introducao da tecnologia no

trabalho cotidiano dos medicos. A possibilidade de solucionar problemas da atencao

secundaria nas UBS, facilitando o atendimento aos pacientes e melhorando a gestao do

processo terapeutico, sao pontos positivos vistos com grande satisfacao pelos medicos

entrevistados. Alem disso, a contribuicao da Telemedicina para a formacao medica e

um fator estimulante para sua utilizacao. Por outro lado, a sua implantacao ainda

requer uma melhor organizacao, ja que demanda tempo para preparo do caso clınico

que entrara em discussao. Alem disso, os horarios e locais onde acontecem as telecon-

sultorias nao sao totalmente apropriados.

Os resultados alcancados com esta pesquisa confirmam que a aceitacao de pro-

gramas de Telemedicina ainda carece de muitos aperfeicoamentos para ampliacao de

seu uso. Por consequencia, possui inestimavel contribuicao social, sobretudo em um

paıs de dimensoes continentais e de imensas carencias de atendimento a saude como o

Brasil. Assim, o aperfeicoamento dos sistemas computacionais do BHTelessaude, com

a correcao das falhas identificadas, se apresenta como util para ampliar suas poten-

cialidades de uso e de universalizacao do atendimento a saude. Considerando que ele

e o piloto para a implementacao do projeto nacional de Telemedicina, conduzido pelo

Ministerio da Saude.

Nesta direcao, outro estudo a ser realizado seria a avaliacao da comunicabilidade

do sistema. A comunicabilidade busca avaliar o processo implıcito de comunicacao

designer -usuario, que se da atraves da interface ([Prates and Barbosa, 2007]). Uma

boa comunicabilidade e importante porque permite ao usuario formular um modelo

mental compatıvel com o designer, aumentando as chances de uma boa interacao entre

o usuario e o sistema.

Paralelamente a isto, o presente estudo pode ser desdobrado com aprofundamento

das questoes apontadas, por exemplo:

• Com o estudo da implantacao e uso do BH Telessaude por outros distritos

sanitarios, como na Regiao Oeste, local onde o projeto foi implantado inicial-

mente;

• Com a diversificacao do publico investigado, seja em termos de categorias profis-

106

sionais envolvidas pelo BHTelessaude (enfermeiros e dentistas), ou mesmo com

medicos de outras UBS;

• Com a insercao de outros tipos de usuarios no universo estudado, comparando as

opinioes apuradas nas entrevistas (usuarios experientes versus usuarios novatos).

• Com um aprofundamento sobre o impacto da introducao da referida tecnologia

no trabalho dos medicos (especialistas e solicitantes), enfermeiros e dentistas,

tambem seria de grande contribuicao.

Enfim, a pesquisa aqui relatada permitiu verificar a importancia da aplicacao das

TIC‘s (tecnologias de informacao e comunicacao) para a melhoria da prestacao dos

servicos ligados a saude. Especificamente no caso da Telemedicina, onde a distancia

entre medico e paciente e um fator crıtico para a prevencao, diagnostico e tratamento

de doencas.

Alem disso, permitiu verificar como a qualidade de uso de um sistema afeta sua

aceitacao. E, o cuidado que se deve ter na construcao das interfaces, que devem ter o

foco no perfil de seus usuarios, considerando suas dimensoes de conhecimento, seja no

uso do sistema, no uso de computadores ou no domınio da aplicacao.

Apendice A

Termo de Consentimento

Pontifícia Universidade Católica de Minas Gerais

Pró-Reitoria de Pesquisa e Pós-Graduação Comitê de Ética em Pesquisa

Termo de Consentimento Livre e Esclarecido

Eu,

__________________________________________________________________________,

portador(a) do CPF: _________________________, declaro para os devidos fins que

participarei, por livre e espontânea vontade, da pesquisa de campo “Avaliação de Usabilidade

em Sistemas de Telessaúde”, nas estratégias de investigação: entrevista semi-estruturada e

questionário, coordenadas pela pesquisadora Kátia Adriana Alves Leite.

Estou ciente que a referida pesquisa tem como objetivo avaliar a usabilidade das

ferramentas computacionais utilizadas no Sistema BHTelessaúde, e que seus resultados buscam

verificar o efeito da interface junto ao usuário do sistema, considerando os aspectos da

facilidade de aprendizagem, facilidade de uso, eficiência e produtividade, utilidade,

flexibilidade, segurança no uso e satisfação.

Também estou ciente que:

• A minha participação não acarretará risco à minha saúde;

• As informações prestadas por mim serão classificadas como confidenciais;

• Aos estudos, interessam as respostas obtidas nas entrevistas e questionários, sem a identificação individual, preservando minha privacidade;

• Minha participação será voluntária, estando à vontade para pedir esclarecimentos e para me retirar do estudo, em qualquer fase, sem que isso implique em qualquer dano, custo ou penalização à minha pessoa.

Belo Horizonte, ____ de ________________ de 2007.

_______________________________ _______________________________ Entrevistado(a) Kátia Adriana Alves Leite

Mestranda em Informática PUC Minas

Apendice B

Roteiro do Grupo Focal

ROTEIRO DO GRUPO FOCAL - MÉDICOS

Parte 1: apresentação do projeto

Apresentação do projeto, seus objetivos e o porquê da realização desse grupo focal e

da escolha dos participantes presentes. Posteriormente, esclarecer a presença de

observadores na prática do grupo focal, deixando claro que se trata de uma avaliação do

sistema, e não dos usuários do sistema. Dessa maneira, os participantes têm total liberdade

para opinar e expor suas impressões – sendo este o objetivo da técnica de grupo focal.

Passo 2: dinâmica de entrosamento

Elaboração de uma dinâmica que permita a interação entre os participantes,

conhecendo-se e desinibindo-os. Preparativo para uma discussão livre e participativa.

Passo 3: discussão dos temas

1. A tecnologia é um importante instrumento de auxílio nas práticas profissionais,

presente fortemente no dia-a-dia das pessoas – seja no trabalho, seja em seus lares.

Todavia, estas ferramentas devem estar de acordo com a realidade de cada um –

suas necessidades, limitações e possibilidades.

a. Discussão acerca da familiaridade dos participantes com a tecnologia, dentro e fora do ambiente de trabalho, descobrindo fatores de predisposição ou não à seu uso.

2. Como vocês ficaram sabendo do sistema BH Telessaúde? Quais as primeiras

impressões sobre o sistema?

a. Observar como foi o processo de divulgação do sistema, investigando o que realmente foi apresentado aos profissionais de saúde.

3. Comentar sobre o papel das teleconsultorias nas práticas de saúde bem como seus

temas abordados. A Telemedicina trouxe alguma modificação nas estratégias de

lidar com casos clínicos complexos?

a. Entender a importância das teleconsultorias para os profissionais da saúde, bem como descobrir como os participantes encaram os temas abordados nelas. É importante, nesta etapa, identificar como eles participam na escolha dos temas.

4. Os ambientes de trabalho, diferenciados entre profissionais da atenção básica e os

especialistas, demonstram particularidades nas atitudes e práticas desses indivíduos.

Essa diferença se manifesta no processo de comunicação proporcionado na BH

Telessaúde? Há alguma repercussão sobre os procedimentos clínicos?

a. Como as diferenças entre os profissionais da atenção básica e os especialistas se relacionam: como os participantes encaram essas particularidades e como isto interfere nas práticas em telessaúde.

109

5. A prática tradicional possue suas características próprias, passos devem ser seguidos

e posturas tomadas. Com a possibilidade de mediação pela tecnologia surgem novas

formas de fazer, algumas podem ser conflitantes ou totalmente conciliadas. Vocês

percebem algum desnível ou incompatibilidade entre a inovação usada e seus

processos de trabalho?

a. Identificar a compatibilidade entre a prática profissional e o uso da

telessaúde. Verificar de que ordem essas incompatibilidades são: de tempo,

etc.

6. O potencial de geração de conhecimento de um programa de telessaúde vai além da

agenda das teleconsultorias, o que é feito com o conhecimento adquirido nelas

torna-se um importante indicador do aprendizado. Existem situações que promovam

o compartilhamento do conhecimento, onde se possa sugerir e discutir temas das

teleconsultorias?

a. Entender o processo de compartilhamento de conhecimento, e as praticas

que favorecem o aprendizado individual e coletivo.

7. Toda inovação tecnológica, por mais promissora que seja, estará sempre

condicionada a aceitação de seus usuários, aceitação essa que é influenciada por

diversos fatores, e entre eles as vantagens e desvantagens apresentadas pela

tecnologia. Quais seriam as vantagens e desvantagens do sistema de BH

Telessaúde?

a. Reflexão individual para que sejam discutidos os pontos, levando em conta

a adaptação das necessidades, as limitações e possibilidades do sistema

para a realidade de BH. Abre-se para exposição dos pontos relacionados

pelos participantes, incentivando a discussão e verificando a convergência

desses aspectos discutidos.

Passo 4: síntese

Ao final das discussões, serão entregues cartões em branco, para que os

participantes preencham, em uma frase, suas satisfações, expectativas e intenções futuras

em relação ao BH Telessaúde.

Apendice C

Questionarios

QUESTIONÁRIO DE AVALIAÇÃO PARA O USUÁRIO FINAL

DADOS DO PARTICIPANTE Objetivo: conhecer o perfil dos usuários do BH-Telessaúde/Sametime

1. Faixa de idade:

( ) menos de 30 anos

( ) 30 a 35 anos

( ) 36 a 40 anos

( ) 41 a 50 anos

( ) 51 a 60 anos

( ) mais de 60 anos

2. Sexo: ( ) feminino ( ) masculino

3. Quantidade de Teleconsultorias que participou: ___________

4. Já utilizou o Sistema BHTelessaúde para agendamento de Teleconsultorias? ( ) Não. ( ) Sim. Quantas vezes? _______

5. Quantidade de Teleconferências que participou: ___________

6. Quais são as ferramentas e/ou serviços computacionais que você utiliza:

( ) Ferramentas de escritório – ex.: Word, Excel, Open Office, etc.

( ) Editores de imagens – ex.: Corel Draw, Photoshop, etc.

( ) Aplicativos estatísticos – ex: EPInfo, SSPS, etc.

( ) Prontuário Eletrônico. Há quanto tempo? ________

7. No seu dia-a-dia, você utiliza a Internet para:

( ) Serviços básicos, como: correio eletrônico, listas de discussão, acesso a sites, etc.

( ) Acesso a Bases de Dados on-line – ex.: BVS - Biblioteca Virtual de Saúde

( ) Realização de compras on-line

( ) Comunicação interativa

( ) Busca de informações simples – ex.: preço de mercadorias, cinema, transporte, etc.

( ) Outro(s) fim(ns). Qual(is) ?

___________________________________________________

___________________________________________________

___________________________________________________

8. Há quanto tempo está atuando na área de saúde? _________

9. Há quanto tempo trabalha na SMSA-PBH? __________

10. Qual(is) a(s) sua(s) especialidade(s)?

___________________________________________________

___________________________________________________

___________________________________________________

___________________________________________________

111

QUESTIONÁRIO DE SATISFAÇÃO DO USUÁRIO QUANTO A UTILIZAÇÃO DO SISTEMA

Avalie sua satisfação com o sistema, demonstrando sua percepção em relação aos itens abaixo.

- Marque o número mais apropriado que reflete suas impressões no uso do sistema. - Para itens que não são aplicáveis, use N/A

Tela

1. Leitura de caracteres na tela Difícil 1 2 3 4 5 Fácil N/A

� � � � � �

2. Disposição dos objetos na tela Mal distribuídos 1 2 3 4 5 Bem distribuído N/A

� � � � � �

3. Total de informações disponíveis na tela Inadequado 1 2 3 4 5 Adequado N/A

� � � � � �

4. Ordem das informações disponíveis na tela Ilógica 1 2 3 4 5 Lógica N/A

� � � � � � Terminologia e Informação do Sistema 5. Terminologia utilizada no sistema Nunca adequada 1 2 3 4 5 Sempre adequada N/A

� � � � � � 6. Campo para entrada de texto na tela Confuso 1 2 3 4 5 Claro N/A

� � � � � �

5. Posicionamento das mensagens na tela Inconsistente 1 2 3 4 5 Consistente N/A

� � � � � �

6. Mensagens de erro Nunca ajudam 1 2 3 4 5 Sempre ajudam N/A

� � � � � �

7. Mensagens de ajuda na tela Inútil 1 2 3 4 5 Útil N/A

� � � � � � Aprendizagem e utilização do sistema 8. Aprender a operar o sistema Difícil 1 2 3 4 5 Fácil N/A

� � � � � � 9. Utilização do sistema no dia-a-dia Difícil 1 2 3 4 5 Fácil N/A

� � � � � �

10. Utilização do sistema após um tempo sem usá-lo Difícil 1 2 3 4 5 Fácil N/A

� � � � � �

11. Funções necessárias para realização das tarefas Insuficiente 1 2 3 4 5 Suficiente N/A

� � � � � �

12. Recuperação de erros cometidos durante a interação Difícil 1 2 3 4 5 Fácil N/A

� � � � � �

112

Multimídia e teleconferência

13. Configuração do ambiente Difícil 1 2 3 4 5 Fácil N/A

� � � � � �

14. Tempo para estabilização da conexão Muito longo 1 2 3 4 5 Suficiente N/A

� � � � � �

15. Velocidade de conexão Lento 1 2 3 4 5 Rápido N/A

� � � � � �

16. Qualidade das fotos transmitidas Ruins 1 2 3 4 5 Boas N/A

� � � � � �

17. Qualidade das imagens transmitidas Ruins 1 2 3 4 5 Boas N/A

� � � � � �

18. Qualidade do áudio Muito ruidoso 1 2 3 4 5 Totalmente audível N/A

� � � � � �

19. Saída de som Inconstante 1 2 3 4 5 Uniforme N/A

� � � � � �

18. Áudio sincronizado com vídeo Nunca 1 2 3 4 5 Sempre N/A

� � � � � �

19. Utilização de chat on-line Difícil 1 2 3 4 5 Fácil N/A

� � � � � �

20. Transmissão de arquivos Difícil 1 2 3 4 5 Fácil N/A

� � � � � � Satisfação com o sistema

21. Nível de satisfação com o sistema Insatisfeito 1 2 3 4 5 Satisfeito N/A

� � � � � �

� Comentários (indique o número do item que deseja comentar na frente do comentário / utilize o verso da folha, se necessário)

Referencias Bibliograficas

[SIG, 1992] (1992). Curricula for human-computer interaction. Technical report,ACM-SIGCHI. Disponıvel em http://www.acm.org/sigchi/.

[Eha, 2007] (2007). Enlace Hispano Americano de Salud. http://www.ehas.org. Acessoem marco de 2007.

[HCN, 2007] (2007). Health Care Network. http://www.healthcarenetwork.org. Acessoem maio de 2007.

[Tel, 2007] (2007). Telemedicine Information Exchange. http://www.telemed.org.Acesso em maio de 2007.

[Ackerman et al., 2002] Ackerman, M., Craft, R., Ferrante, F., Kratz, M.,Mandil, S., and Sapci, H. (2002). Telemedicine technology. state-of-the-arttelemedicine/telehealth symposium: An international perspective. TelemedicineJournal and e-health, 8(1):71–78.

[Allen et al., 2006] Allen, M., Currie, L. M., Bakken, S., Patel, V., and Cimino, J.(2006). Heuristic evaluation of paper-based web pages: A simplified inspection us-ability methodology. Journal de Biomedical Informatics, pages 412–423.

[Bacic, 2001] Bacic, S. A. (2001). Um ambiente colaborativo de apoio ao diagnosticomedico assistido por computadores de alto desempenho. Dissertacao de mestradoem engenharia, Escola Politecnica da Universidade de Sao Paulo, Sao Paulo.

[Bashshur, 2002] Bashshur, R. L. (2002). Telemedicine and health care. TelemedicineJournal and e-Health, 8(1):5–12.

[Conselho Federal de Medicina, ] Conselho Federal de Medicina. Resolucao no 1.638de 10 de julho de 2002.

[Cybis, 1995] Cybis, W. A. (1995). Ergonomia de interfaces humano-computador.http://www.labiutil.inf.ufsc.br/apostila/apostila.htm. Universidade Federal deSanta Catarina. Apostila LabIUtil. Acesso em 20/03/2005. p. 79.

[Dix et al., 2004] Dix, A., Finlay, J., Abowd, G., and Beale, R. (2004). Human-Computer Interaction. Prentice-Hall International, 4 edition.


[Fernandes et al., 2003] Fernandes, F., Luft, C. P., and Guimaraes, F. M. (2003). Di-cionario Brasileiro Globo. Globo, Sao Paulo, 56 edition.

[Gaggioli, 2005] Gaggioli, A. (January 2005). A telemedicine survey among milandoctors. Journal of Telemedicine and Telecare, 11:29–34(6).

[Harper and Norman, 1993] Harper, B. and Norman, K. (1993). Improving user sat-isfaction: The questionnaire for user interaction satisfaction version 5.5. In TheProceedings of the Mid-Atlantic Human Factors Conference.

[Hartson and Hix, 1989] Hartson, H. and Hix, D. (1989). Human-computer interfacesdevelopment: Concepts and systems for its managements. ACM Computer Surveys.

[Hickson, 2003] Hickson, R. S. R. (2003). Projeto de Sistemas Web orientados a inter-face. Campus, Rio de Janeiro.

[Hix and Hartson, 1993] Hix, D. and Hartson, H. R. (1993). Developing user interfaces:ensuring usbaility through product and process. John Wiley, New York.

[ISO9241-11, ] ISO9241-11. International organization for standardization e interna-tional, electrotechnical commission. Guidance on Usability.

[Jeffries and Desurvire, 1992] Jeffries, E. and Desurvire, H. (1992). Usability testingvs. heuristic evaluation: Was there a contest? SIGCHI Bulletin, 24(4).

[Johnson, 2003] Johnson, W. (2003). The interaction between safety culture and un-certainty over device behaviour: The limitations and hazards of telemedicine. InInternational Systems Safety Conference, pages 273–283. University of Glasgow.

[Katz and Solez, 2005] Katz, S. and Solez, K. (2005). Definition of cybermedicine.Disponıvel em http://www.cybermedicine.org/WhatIs/definition.html. Acessado em25/01/2006.

[Kaufmann et al., 2003a] Kaufmann, D. R., Starren, J., Patel, V. L., Morin, P. C.,Hilliman, C., Pevezner, J., Weinstock, R. S., Goland, R., and Shea, S. (2003a).Usability in the real world: assessing medical information technologies in patients’homes. Journal of Biomedical Informatics, 36.

[Kaufmann et al., 2003b] Kaufmann, D. R., Starren, J., Patel, V. L., Morin, P. C.,Hilliman, C., Pevzner, J., Weinstock, R. S., Goland, R., and Shea, S. (2003b). Acognitive framework for understanding barriers to the productive use of a diabeteshome telemedicine system. AMIA Annu Symp Proc, pages 356–360.

[Kemp and Setungamudalige, 2006] Kemp, E. and Setungamudalige, D. T. (2006). Aresource support toolkit (r-ide): supporting the decide framework. In CHINZ ’06:Proceedings of the 7th ACM SIGCHI New Zealand chapter’s international conferenceon Computer-human interaction, pages 61–66, New York, NY, USA. ACM.


[Kind, 2004] Kind, L. (2004). Notas para o trabalho com a tecnica de grupos focais.Psicologia em Revista, 10(15):124–136.

[Krupinski et al., 2002] Krupinski, E., Nypaver, N., Poropatich, R., Ellis, D., R, S.,and Sapci, H. (2002). Clinical applications in telemedicine/telehealth. TelemedicineJournal and e-Health, 8(1):13–34.

[Lewis et al., 1990] Lewis, C., Polson, P., Wharton, C., and Rieman, J. (1990). Testinga walkthroug methodology for theory-based design of walk-up-and-use interface. InProceedings ACM CHI’90 Conference, pages 1–5, Seattle, WA.

[Lewis and Wharton, 1997] Lewis, C. and Wharton, C. (1997). Handbook of human-computer interaction, chapter 30-Cognitive Walkthroughs, pages 717–730. ElsevierScience B. V., 2nd edition.

[Lopes et al., 2005] Lopes, P. R., Pisa, I. T., and Sigulem, D. (2005). Desafios emtelemedicina. Parcerias Estrategicas, 20(1):367–386.

[Martinez, 2000] Martinez, A. (2000). Bases Metodologicas para Evaluar la Viabilidad yel impacto de proyectos de telemedicina. Universidad Politecnica de Madrid, Espana.

[Martinez et al., 2004] Martinez, A., Villarroel, V., Seoane, J., and del Pozo, F. (2004).Rural telemedicine for primary healthcare in developing countries. IEEE Technologyand Society Magazine Summer, 23(2):13–22.

[Medeiros, 1999] Medeiros, M. A. (1999). Iso 9241: Uma proposta de utilizacao danorma para avaliacao do grau de satisfacao de usuarios de software. Dissertacaode mestrado engenharia de producao, Universidade Federal de Santa Catarina, Flo-rianopolis.

[Nacci et al., 2001] Nacci, P. L., Turner, C. A., Waldron, R. J., and Broyles, E. (2001).A guide to implementing telemedicine in correctional facilities. Technical report,Department of Justice-Department of Defense.

[Nicolaci-da Costa, 2007] Nicolaci-da Costa, A. (2007). O campo da pesquisa qualita-tiva e o metodo de explicitacao do discurso subjacente (meds). Psicologia: Reflexaoe Crıtica, pages 65–73. Disponıvel em www.scielo.br/pcr.

[Nicolaci-da Costa et al., 2004] Nicolaci-da Costa, A., Leitao, C., and Romao-Dias, D.(2004). Como conhecer usuarios atraves do metodo de explicitacao do discursosubjacente (meds). In VI Simposio Brasileiro sobre Fatores Humanos em SistemasComputacionais, pages 47–56, Curitiba.

[Nielsen, 1993] Nielsen, J. (1993). Usability Engineering. Academic Press, Cambridge,MA.

[Nielsen and Mack, 1994] Nielsen, J. and Mack, R. L. (1994). Usability InspectionMethods. John Wiley Sons, New York.


[Norman, 1999] Norman, D. (1999). Affordance, conventions, and design. Interaction.

[Oh et al., 2005] Oh, H., Rizo, C., Enkin, M., and Jadad, A. (2005). What is ehealth(3): A systematic review of published definitions. J Med Internet Res, 7(1).Disponıvel em: http://www.jmir.org/2005/1/e1/.

[Padilha, 2004] Padilha, A. (2004). Usabilidade na web: uma proposta de questionariopara avaliacao do grau de satisfacao de usuarios do comercio eletronico. Dissertacaode mestrado em ciencia da computacao, Universidade Federal de Santa Catarina,Florianopolis.

[Pagliari et al., 2005] Pagliari, C., Sloan, D., Gregor, P., Sullivan, F., Detmer, D.,Kahan, J., Oortwijn, W., and MacGillivray, S. (2005). What is ehealth (4): Ascoping exercise to map the field. J Med Internet Res, 7(1). Disponıvel emhttp://www.jmir.org/2005/1/e9/.

[Prates and Barbosa, 2003] Prates, R. O. and Barbosa, S. D. J. (2003). Avaliacao deinterfaces de usuario - conceitos e metodos. Anais da Jornada de Atualizacao emInformatica - XIX Congresso da Sociedade Brasileira de Computacao, 2.

[Prates and Barbosa, 2007] Prates, R. O. and Barbosa, S. D. J. (2007). Introducaoa teoria e pratica da interacao humano computador fundamentada na engenhariasemiotica. Anais do XXIII Congresso da Sociedade Brasileira de Computacao, 2.

[Preece et al., 2002] Preece, J., Rogers, Y., and Sharp, E. (2002). Interaction Design:Beyond Human-computer Interaction. John Wiley & Sons, New York, NY.

[Preece et al., 2005] Preece, J., Rogers, Y., and Sharp, E. (2005). Design de Interacao- Alem da interacao homem-computador. Bookman, Porto Alegre.

[Queiroz et al., 2005] Queiroz, J. E. R. d., Oliveira, R. C. L. d., and V, T. M. F. Q.(2005). Webquest: A configurable web tool to prospect the user profile and usersubjective satisfaction. In HCI International, pages 22–27, Las Vegas, Nevada.

[Rocha and Baranauskas, 2003] Rocha, H. V. and Baranauskas, M. C. (2003). Designe Avaliacao de Interfaces Humano-Computador. NIED, Campinas, SP.

[Rosenbaum, 1989] Rosenbaum, S. (1989). Usability evaluations versus usability test-ing: When and why? IEEE - Transactions on Professional Communication, 32(4).

[Sabbatini, 1999] Sabbatini, R. (1999). Telemedicina: A assistencia a distancia. RevistaMedico Reporter, 3:20–22.

[Santos et al., 2006] Santos, A. F., Souza, C., Alves, H. J., and Santos, S. F. (2006).Telessaude: um instrumento de suporte assistencial e educacao permanente. editoraUFMG, Belo Horizonte.


[Scholtz, 2001] Scholtz, J. (2001). Adaptation of traditional usability testing methodsfor remote testing. In Proceedings of the 34th Hawaii International Conference onSystem Sciences,, Hawaii,.

[Seabra, 2003] Seabra, A. (2003). Telemedicina. Angiologia e Cirurgia Vascular,20:367–386.

[Shneiderman, 1998] Shneiderman, B. (1998). Designing the User Interface. Addison-Weslley, Reading, MA.

[Soares, 2004] Soares, L. (2004). Avaliacao de usabilidade por meio do ındice desatisfacao dos usuarios, de um software gerenciador de websites. Dissertacao demestrado profissionalizante em engenharia, Universidade Federal do Rio Grande doSul, Rio Grande do Sul.

[Souza, 2004] Souza, A. C. (2004). Proposta de um processo de avaliacao da usabilidadede interfaces Graficas de sistemas interativos computacionais, atraves da integracaoas tecnicas prospectiva, analıtica e empırica. Tese de doutorado, Universidade Fed-eral de Santa Catarina, Florianopolis.

[Tanriverdi and Iacono, 1999] Tanriverdi, H. and Iacono, C. S. (1999). Diffusion oftelemedicine: a knowledge barrier perspective. Telemed Journal, pages 223–244.

[Tulu and Laxminarayan, 2005] Tulu, B., C. S. and Laxminarayan, S. (2005). A tax-onomy of telemedicine efforts with respect to applications, infrastructure, deliverytools, type of setting and purpose. In 38th Annual Hawaii International Conferenceon System Sciences: HICSS’05, Piscataway. IEEE Computer Society Press.

[Wallace et al., 1998] Wallace, S., P., T., and J., W. (1998). Telemedicine in the NHSfor the millenium and beyond. Postgraduate Medical Journal, pages 721–728.

Livros Grátis( http://www.livrosgratis.com.br )

Milhares de Livros para Download: Baixar livros de AdministraçãoBaixar livros de AgronomiaBaixar livros de ArquiteturaBaixar livros de ArtesBaixar livros de AstronomiaBaixar livros de Biologia GeralBaixar livros de Ciência da ComputaçãoBaixar livros de Ciência da InformaçãoBaixar livros de Ciência PolíticaBaixar livros de Ciências da SaúdeBaixar livros de ComunicaçãoBaixar livros do Conselho Nacional de Educação - CNEBaixar livros de Defesa civilBaixar livros de DireitoBaixar livros de Direitos humanosBaixar livros de EconomiaBaixar livros de Economia DomésticaBaixar livros de EducaçãoBaixar livros de Educação - TrânsitoBaixar livros de Educação FísicaBaixar livros de Engenharia AeroespacialBaixar livros de FarmáciaBaixar livros de FilosofiaBaixar livros de FísicaBaixar livros de GeociênciasBaixar livros de GeografiaBaixar livros de HistóriaBaixar livros de Línguas










http://www.livrosgratis.com.br/cat_1/administracao/1







http://www.livrosgratis.com.br/cat_2/agronomia/1







http://www.livrosgratis.com.br/cat_3/arquitetura/1







http://www.livrosgratis.com.br/cat_4/artes/1







http://www.livrosgratis.com.br/cat_5/astronomia/1







http://www.livrosgratis.com.br/cat_6/biologia_geral/1









http://www.livrosgratis.com.br/cat_8/ciencia_da_computacao/1











http://www.livrosgratis.com.br/cat_9/ciencia_da_informacao/1











http://www.livrosgratis.com.br/cat_7/ciencia_politica/1









http://www.livrosgratis.com.br/cat_10/ciencias_da_saude/1











http://www.livrosgratis.com.br/cat_11/comunicacao/1







http://www.livrosgratis.com.br/cat_12/conselho_nacional_de_educacao_-_cne/1















http://www.livrosgratis.com.br/cat_13/defesa_civil/1









http://www.livrosgratis.com.br/cat_14/direito/1







http://www.livrosgratis.com.br/cat_15/direitos_humanos/1









http://www.livrosgratis.com.br/cat_16/economia/1







http://www.livrosgratis.com.br/cat_17/economia_domestica/1









http://www.livrosgratis.com.br/cat_18/educacao/1







http://www.livrosgratis.com.br/cat_19/educacao_-_transito/1









http://www.livrosgratis.com.br/cat_20/educacao_fisica/1









http://www.livrosgratis.com.br/cat_21/engenharia_aeroespacial/1









http://www.livrosgratis.com.br/cat_22/farmacia/1







http://www.livrosgratis.com.br/cat_23/filosofia/1







http://www.livrosgratis.com.br/cat_24/fisica/1







http://www.livrosgratis.com.br/cat_25/geociencias/1







http://www.livrosgratis.com.br/cat_26/geografia/1







http://www.livrosgratis.com.br/cat_27/historia/1







http://www.livrosgratis.com.br/cat_31/linguas/1







Baixar livros de LiteraturaBaixar livros de Literatura de CordelBaixar livros de Literatura InfantilBaixar livros de MatemáticaBaixar livros de MedicinaBaixar livros de Medicina VeterináriaBaixar livros de Meio AmbienteBaixar livros de MeteorologiaBaixar Monografias e TCCBaixar livros MultidisciplinarBaixar livros de MúsicaBaixar livros de PsicologiaBaixar livros de QuímicaBaixar livros de Saúde ColetivaBaixar livros de Serviço SocialBaixar livros de SociologiaBaixar livros de TeologiaBaixar livros de TrabalhoBaixar livros de Turismo

http://www.livrosgratis.com.br/cat_28/literatura/1







http://www.livrosgratis.com.br/cat_30/literatura_de_cordel/1











http://www.livrosgratis.com.br/cat_29/literatura_infantil/1









http://www.livrosgratis.com.br/cat_32/matematica/1







http://www.livrosgratis.com.br/cat_33/medicina/1







http://www.livrosgratis.com.br/cat_34/medicina_veterinaria/1









http://www.livrosgratis.com.br/cat_35/meio_ambiente/1









http://www.livrosgratis.com.br/cat_36/meteorologia/1







http://www.livrosgratis.com.br/cat_45/monografias_e_tcc/1







http://www.livrosgratis.com.br/cat_37/multidisciplinar/1





http://www.livrosgratis.com.br/cat_38/musica/1







http://www.livrosgratis.com.br/cat_39/psicologia/1







http://www.livrosgratis.com.br/cat_40/quimica/1







http://www.livrosgratis.com.br/cat_41/saude_coletiva/1









http://www.livrosgratis.com.br/cat_42/servico_social/1









http://www.livrosgratis.com.br/cat_43/sociologia/1







http://www.livrosgratis.com.br/cat_44/teologia/1







http://www.livrosgratis.com.br/cat_46/trabalho/1







http://www.livrosgratis.com.br/cat_47/turismo/1







avaliac»ao de usabilidade nos~ sistemas ...livros01.livrosgratis.com.br/cp048192.pdfcomo objetivo...

Documents