avaliacao ambientes virtuais

18
513 Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 Avaliação em ambientes virtuais de aprendizagem Josué Laguardia Margareth Crisóstomo Portela Miguel Murat Vasconcellos Fundação Osvaldo Cruz Resumo A demanda por avaliações de projetos de aprendizagem virtual a dis- tância tem requerido o emprego de conceitos e métodos que transcen- dem o campo exclusivo da Educação, destacando-se a multiplicidade de marcos teóricos e abordagens técnicas empregados nas estratégias avaliativas de aprendizagem online. A despeito da hegemonia dos mé- todos quantitativos na avaliação das tecnologias de informação e comunicação, o emprego de métodos qualitativos nas avaliações de ambientes virtuais tem crescido ao longo das duas últimas décadas. A combinação de métodos quali-quantitativos possibilita uma melhor compreensão dos fenômenos subjacentes ao uso das tecnologias para a aprendizagem online. Dado que a educação em ambientes virtuais refere-se a experiências de aprendizagem que utilizam recursos hipermidiáticos em ambientes apoiados por uma tecnologia de comu- nicação online, optou-se neste artigo enfocar alguns tópicos relativos à avaliação de tecnologias de informação e de aprendizagem nesses ambientes, aprofundando a discussão no que tange aos métodos re- levantes à avaliação tanto dos ambientes virtuais de aprendizagem quanto da aprendizagem nesse meio. Essa opção se deve tanto ao re- conhecimento das especificidades das práticas pedagógicas da EaD que colocam em evidência a relação entre educação e comunicação, viabilizadas por meio das tecnologias de informação e comunicação, quanto aos diversos papéis, negativos e positivos, atribuídos às tecnologias de comunicação e informação na Educação. Palavras-chave Avaliação – Ambiente virtual de aprendizagem – Tipos de avaliação – Métodos quali-quantitativos. Correspondência: Josué Laguardia Rua do Russel, 404 apto. 504 22210-010 – Rio de Janeiro – RJ e-mail: [email protected]

Upload: linda-maria12

Post on 04-Jul-2015

282 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Avaliacao ambientes virtuais

513Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

Avaliação em ambientes virtuais de aprendizagem

Josué LaguardiaMargareth Crisóstomo PortelaMiguel Murat VasconcellosFundação Osvaldo Cruz

Resumo

A demanda por avaliações de projetos de aprendizagem virtual a dis-tância tem requerido o emprego de conceitos e métodos que transcen-dem o campo exclusivo da Educação, destacando-se a multiplicidadede marcos teóricos e abordagens técnicas empregados nas estratégiasavaliativas de aprendizagem online. A despeito da hegemonia dos mé-todos quantitativos na avaliação das tecnologias de informação ecomunicação, o emprego de métodos qualitativos nas avaliações deambientes virtuais tem crescido ao longo das duas últimas décadas. Acombinação de métodos quali-quantitativos possibilita uma melhorcompreensão dos fenômenos subjacentes ao uso das tecnologias paraa aprendizagem online. Dado que a educação em ambientes virtuaisrefere-se a experiências de aprendizagem que utilizam recursoshipermidiáticos em ambientes apoiados por uma tecnologia de comu-nicação online, optou-se neste artigo enfocar alguns tópicos relativosà avaliação de tecnologias de informação e de aprendizagem nessesambientes, aprofundando a discussão no que tange aos métodos re-levantes à avaliação tanto dos ambientes virtuais de aprendizagemquanto da aprendizagem nesse meio. Essa opção se deve tanto ao re-conhecimento das especificidades das práticas pedagógicas da EaDque colocam em evidência a relação entre educação e comunicação,viabilizadas por meio das tecnologias de informação e comunicação,quanto aos diversos papéis, negativos e positivos, atribuídos àstecnologias de comunicação e informação na Educação.

Palavras-chave

Avaliação – Ambiente virtual de aprendizagem – Tipos de avaliação– Métodos quali-quantitativos.

Correspondência:Josué LaguardiaRua do Russel, 404 apto. 50422210-010 – Rio de Janeiro – RJe-mail: [email protected]

Page 2: Avaliacao ambientes virtuais

Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007514

Evaluation in virtual learning environments

Josué LaguardiaMargareth Crisóstomo PortelaMiguel Murat VasconcellosFundação Osvaldo Cruz

Abstract

The demand for evaluations of projects of virtual distance learninghas required the use of concepts and methods that go beyond thestrictly educational field, with emphasis on the multiplicity oftheoretical frameworks and technical approaches employed in theassessment strategies of online learning. Despite the hegemony ofquantitative methods in the evaluation of the technologies ofinformation and communication, the use of qualitative methods inthe assessment of virtual environments has increased throughout thelast decades. The combination of qualitative-quantitative methodsallows a better understanding of the phenomena underlying the useof technologies for online learning. Given that education in virtualenvironments relates to learning experiences that make use ofhypermediatic resources within environments supported by an onlinecommunication technology, we have opted in the present article forfocusing on topics associated to the evaluation of information andlearning technologies in these environments, furthering thediscussion concerning the methods relevant to the assessment bothof the virtual learning environments and of the learning within thismedium. This choice is due to the recognition of the specificities ofthe practices of distance learning, which stress the relationshipbetween education and communication, made possible through thenew information and communication technologies. It also recognizesthe various roles, positive and negative, attributed to the informationand communication technologies in education.

Keywords

Evaluation – Virtual learning environment – Types of evaluation –Qualitative-quantitative methods.

Contact:Josué LaguardiaRua do Russel, 404 apto. 50422210-010 – Rio de Janeiro – RJe-mail: [email protected]

Page 3: Avaliacao ambientes virtuais

515Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

As mudanças na ordem econômica esocial, o desenvolvimento de novas tecnologiasde informação e comunicação, a relativização erevitalização das culturas locais e a padroniza-ção e homogeneização política, cultural etecnológica são apontadas como agentes detransformação dos sistemas de ensino e dasmodalidades educacionais (Belloni 2002; 2003).No campo econômico, as demandas sobre osistema educacional se voltam para a produçãode um conhecimento descontextualizado, ori-entado ao capital humano e com estudantescriativos, inovadores, flexíveis e dispostos aaprender ao longo de toda a vida (Löfsted etal., 2001). Além disso, a constituição de umaeconomia pós-industrial baseada no conhecimen-to requer que os níveis individuais e coletivos deconhecimento disponíveis sejam desenvolvidos egerenciados de modo que os processos orga-nizacionais e de trabalho alcancem uma combi-nação sinérgica entre os dados, o poder deprocessamento da informação das tecnologias deinformação e a capacidade criativa e inovadorados seres humanos.

Essas mudanças nos processos de traba-lho que exigem o desenvolvimento de habilida-des metacognitivas e de competências paraaprender cooperativamente, apoiadas em conteú-dos contextualizados e na experiência individual,afinam-se com os propósitos da educação adistância e impulsionam o seu crescimento(Wentling et al., 2000; Carvalho; Misoczky, 2001;Struchiner; Giannella, 2002). Nesse cenário, aeducação a distância (EaD) constitui “parte deum processo de inovação educacional maisamplo que é a integração das novas tecnologiasde informação e comunicação nos processoseducacionais” (Belloni, 2002; p. 123), umamodalidade de aprendizagem mais flexível, apoi-ada nos pressupostos de autonomia individual eliberdade intelectual. Ela também se mostra maisadequada à realidade do aluno adulto inserido nomercado laboral, atendendo às diferentes necessi-dades de formação e capacitação dos profissionaissem retirá-los do local de trabalho. Por sua vez, taiscaracterísticas requerem a ampliação da acessi-

bilidade, do controle e da responsabilidade doestudante sobre os seus processos de aprendi-zagem e da flexibilização das instituições, es-truturas administrativas, currículos, estratégiase métodos de aprendizagem (Peters, 2004).

Mena, Rodríguez e Diez (2001) destacamque o contexto atual de reestruturação da ad-ministração pública requer a adequação dasestruturas e dos processos de capacitação aosrequerimentos institucionais e o desenvolvimen-to de programas de aprendizagem sob umaperspectiva situacional. Na visão desses autores,o papel destacado da EaD nesse novo enfoquede capacitação profissional deriva da sua capa-cidade de oferecer respostas apoiadas em umaavaliação precoce e permanente dos problemasou das necessidades detectados, da impossibi-lidade de dispor de capacitadores peritos queenglobem todas as áreas do conhecimento eregiões geográficas no marco da administraçãopública e, principalmente, do fato de que osagentes públicos devem ser formados e capa-citados em seus lugares de trabalho, aprovei-tando a possibilidade de refletir sobre suaspróprias experiências cotidianas, transferindopermanentemente os conhecimentos e constru-indo espaços de aprendizagem. No âmbito dasaúde, as mudanças no modelo assistencial e nodesenho institucional, com alterações na clien-tela-alvo, na escala de oferta e na definição decompetências profissionais, demandam uma re-forma pedagógica baseada nos pressupostos daeducação aberta e a distância (Torrez, 2005).

Todavia, a expansão dos cursos em EaDdigital não é acompanhada por uma avaliaçãodessas iniciativas. O relatório do Word BankInstitute (Valcke; Leeuw, 2000) destaca que onúmero de avaliações de cursos, treinamentosde curta duração, seminários e oficina de espe-cialistas na área de Educação digital a distân-cia é limitado, sendo ainda mais reduzido nospaíses em desenvolvimento. Esse relatório su-blinha a ausência de estudos que avaliem aarticulação entre os cenários pedagógicos e osmodelos de aprendizagem subjacentes; o im-pacto das avaliações nos tomadores de decisão;

Page 4: Avaliacao ambientes virtuais

516 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

o gerenciamento de redes de aprendizagem; e aimportância dos mecanismos de capital social,compromisso e confiança, bem como os cursosde curta duração e os programas de capacitação.Dyson e Campelo (2003) argumentam que asrestrições de tempo e a ausência de um conhe-cimento especializado são fatores impeditivospara que a maioria dos formuladores de inicia-tivas de EaD através da internet empreenda es-tudos mais detalhados de avaliação.

No Brasil, a exigüidade de estudos ava-liativos das experiências em EaD tem limitado aconstituição de um conhecimento mais apro-fundado sobre a adequação das abordagenspedagógicas, os custos de investimento emtecnologia, especialmente nas modalidades vir-tuais, assim como os fatores associados, dire-tamente ou não, ao desempenho dos alunos.Faz-se assim premente a discussão sobre asquestões teóricas envolvidas nesses estudos. Aintegração entre as diversas disciplinas que tra-tam da avaliação de tecnologias de informaçãoe a sua interface com a Educação, bem comoa necessidade de orientar os profissionais en-volvidos na avaliação de projetos de aprendiza-gem virtual a distância, definiram o objetivodesse artigo, que é apontar, a partir de uma re-visão da literatura nacional e internacional em pe-riódicos especializados e sítios de busca nainternet, os aspectos conceituais e metodológicosque norteiam os protocolos de estudo nesse cam-po. Por se tratar de experiências de aprendizagemque utilizam recursos hipermidiáticos em ambien-tes apoiados por uma tecnologia de comunicaçãoonline, optou-se enfocar alguns tópicos relativosà avaliação de tecnologias de informação e deaprendizagem, aprofundando a discussão no quetange aos métodos relevantes à avaliação tan-to dos ambientes virtuais de aprendizagemquanto da aprendizagem nesse meio. Essa op-ção se deve tanto ao reconhecimento dasespecificidades das práticas pedagógicas da EaDque colocam em evidência a relação entre edu-cação e comunicação, viabilizadas através dastecnologias de informação e comunicação(Sartori, 2002), quanto aos diversos papéis,

negativos e positivos, atribuídos às tecnologiasde comunicação e informação na Educação(Barreto, 2004).

Avaliação de tecnologia deinformação e educacional

A avaliação pode ser definida como a apli-cação sistemática de procedimentos metodológicospara determinar, a partir dos objetivos propostos ecom base em critérios internos e/ou externos, arelevância, a efetividade e o impacto de determi-nadas atividades com a finalidade de tomada dedecisão. Em comum, as definições de avaliaçãoa vêem como um julgamento de valor a respeitode uma intervenção ou sobre qualquer um deseus componentes, tomando como referênciaum padrão estipulado e cujo propósito é auxi-liar os processos decisórios. Vale ressaltar queessa intervenção pode ser constituída por um“conjunto de meios (físicos, humanos, financei-ros, simbólicos) organizados em um contextoespecífico, em um dado momento, para produzirbens ou serviços com o objetivo de modificaruma situação problemática” (Contandriopoulos etal., 1997, p. 31). Para esses autores, o modelo te-órico-conceitual vigente considera a avaliaçãocomo um processo de negociação entre os ato-res envolvidos na intervenção a ser avaliada.

Na avaliação de tecnologias, suas diver-sas definições contemplam, de acordo comPanerai e Mohr (1989), as repercussões dastecnologias nos seus distintos níveis e o graude planejamento dessas repercussões, comdestaque para a natureza benéfica ou adversadas suas conseqüências. Brender (1998) vê aavaliação de tecnologia como uma atividadeprévia à tomada de decisão acerca da sua apli-cação e/ou difusão, sublinhando seu papelcomo instrumento político que busca preenchera brecha entre o potencial tecnológico e asnecessidades e os desejos econômicos e soci-ais. Ammenwerth et al. (2003) ressaltam que nocampo das tecnologias de informação e comu-nicação (TIC), ademais do seu caráter político,a avaliação não deve ficar restrita apenas à

Page 5: Avaliacao ambientes virtuais

517Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

tecnologia, mas se estender à interação entre TICe os usuários no processamento da informaçãodentro de um dado contexto socioambiental,pois essa interação determina como ocorre a in-corporação das tecnologias aos processos de tra-balho. Por essa razão, a avaliação de um recursode informação deve ser orientada pelos problemasapontados pelos usuários, cobrir todo o ciclo devida do recurso, articular a metodologia aos pro-pósitos e objetivos da investigação, apontar osefeitos esperados e inesperados e gerar informa-ções que sejam úteis à tomada de decisão.Brender (1998) sugere uma avaliação construtivade ciclo de vida cujos usuários-alvo dessa meto-dologia são aqueles sob o domínio de aplicaçãodo sistema futuro ou seus representantes e quesua aplicabilidade deve ser independente da abor-dagem de desenvolvimento do sistema, proven-do aos usuários a informação necessária para atomada de decisão quanto ao seu uso.

Todavia, na seleção das estratégias e técni-cas mais adequadas ao estudo de avaliação, ospesquisadores se defrontam com questões que têmsido debatidas há décadas no campo da avaliaçãode tecnologias de informação, tais como qualita-tivo versus quantitativo, pragmatismo versus pre-ocupações metodológicas, avaliador como árbitroversus avaliador como facilitador (Oliver, 2000). Ainvestigação quantitativa (objetivista ou positivista)baseia-se nos pressupostos da existência de ummodelo válido do mundo, explicável pelo conhe-cimento de alguns dos seus componentes, e daexistência da verdade, medida a partir dos atribu-tos dos componentes dos modelos (Moehr, 2002).A investigação quantitativa requer, além daescolha do desenho de estudo (o experimentolaboratorial é tido como ideal), a definição dapergunta de pesquisa e do sistema sob investi-gação, a seleção de métodos, o desenvolvimentode instrumentos de mensuração, a coleta dosdados e a análise e divulgação dos resultados.Entretanto, a definição das perguntas do estu-do depende tanto da habilidade em respondê-lasquanto da disponibilidade de instrumentos ca-pazes de medir as características que definem osconstrutos, de pessoal capacitado para usá-los

e de recursos para a execução do estudo.Ammenwerth, Iller e Mansmann (2003) argumen-tam que esses estudos estão, em geral, restritos avariáveis predefinidas, valorizando a significânciaestatística e simplificando as relações mais amplase complexas encontradas na realidade, o que re-sultaria em uma limitação na compreensão doseventos causais e intervenientes. As abordagensquantitativas se apóiam em formulações derivadasda teoria da variância estatística e da concepçãode agência causal que requer a identificação dealguns elementos como antecedentes, necessáriose suficientes para a ocorrência de outros elemen-tos tidos como resultado. Em decorrência disso, avisão dos resultados da tecnologia nas organiza-ções está vinculada ao pressuposto de que tantoa tecnologia (imperativo tecnológico) quanto osseres humanos (imperativo organizacional) são osantecedentes ou agentes de mudanças e nãoque as mudanças emergem das interações com-plexas e indeterminadas entre esses agentes(perspectiva emergente). As característicastecnológicas, organizacionais e dos usuários, bemcomo as necessidades da informação, são perce-bidas como estáticas, independentes e objetivas,em vez de construtos interativos e dinâmicos,como conceitos com atributos e sentidos quemudam ao longo do tempo e que podem serdefinidos diferentemente de acordo com a visãoe a vivência dos participantes individuais.

Kaplan e Duchon (1998) destacam que apesquisa norte-americana em sistemas de infor-mação caracteriza-se pela abordagem experi-mental, com a formulação de hipóteses testadasem experimentos controlados sob o pressupos-to que a ciência só progride por meio de testede hipóteses (ganhos incrementais) e pelo usode estratégias de controle experimental e esta-tístico. Na opinião desses autores, essas pesqui-sas removem os efeitos contextuais que sãoimportantes para o entendimento da ação dosfatores intervenientes no sucesso ou fracassode uma intervenção com o propósito de gerarresultados generalizáveis e reprodutíveis. Asanálises desses estudos tratam os objetos dapesquisa de duas maneiras: tomando a tecnologia

Page 6: Avaliacao ambientes virtuais

518 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

como um fator determinante e os usuárioscomo entes passivos ou assumindo que osusuários e as organizações são atores em umconsórcio racional para alcançar determinadosresultados por meio do uso da tecnologia. Emambos os casos, a natureza da tecnologia e dosusuários é considerada estática e possuidora deum caráter essencial e imutável, e o ganho deobjetividade é obtido às expensas de uma com-preensão mais profunda do que ocorre.

Por sua vez, a abordagem qualitativa(interpretativa ou subjetivista) busca descobriro que as pessoas querem ou necessitam saberpor meio de uma descrição do sistema, doambiente e dos efeitos da interação sistema-usuário-ambiente, tal como são percebidospelas pessoas, tomando como base o raciocínioindutivo e a observação cuidadosa e detalhada.As críticas ao enfoque subjetivista baseiam-sena afirmação de que suas interpretações sãodependentes do pesquisador (subjetividade) eque os resultados são válidos, na maioria dasvezes, apenas para casos individuais.

A incorporação de pressupostos objetivistase subjetivistas na avaliação resulta em quatro tiposde abordagens: experimental, pragmática, econô-mica e naturalística (Puma, 1999). A avaliaçãoexperimental incorpora a idéia positivista deaplicar a metodologia das ciências naturais àengenharia dos programas, utilizando um dese-nho de estudo do tipo ensaio clínico paraalocação randômica de grupos percebidos comosimilares e comparação dos grupos a partir daexposição de um deles a uma estratégia ou pro-grama. A avaliação pragmática enfoca a utilida-de, a viabilidade política, a oportunidade e ocusto dos programas, é direcionada aos obje-tivos e práticas de trabalho dos tomadores dedecisão e emprega desenhos de estudo quasi-experimental ou estudo de caso. A avaliaçãoeconômica, freqüentemente conduzida de ma-neira separada da avaliação geral, introduz ainformação sobre os custos do programa comoum critério e suas ferramentas incluem análisesde custo-benefício e custo-efetividade. Por fim,a avaliação naturalística rejeita as avaliações ex-

perimentais e econômicas, alegando que a so-ciedade está em constante construção pelainteração dos indivíduos.

A propósito dos desenhos de estudo, valedestacar a classificação utilizada por Friedman eWyatt (1997), que agrupa os diversos tipos dedesenho em duas categorias, objetivistas esubjetivistas, cada uma contendo quatro tipos deabordagens. No grupo dos estudos objetivistas,encontram-se as abordagens baseadas na compa-ração e nos objetivos, a abordagem de facilitaçãoda decisão e a abordagem livre de metas. A abor-dagem baseada na comparação emprega estudosexperimentais ou quasi-experimentais, na qual orecurso sob estudo é comparado a uma condiçãocontrole ou de contraste e a relação causal é atri-buída a partir da associação estatística. O ensaiorandomizado é tido como o único método quepermite estimar pequenos benefícios atribuíveis àintervenção e o número de participantes depen-de da variação interindividual das medidas utili-zadas, do efeito mínimo esperado, da significânciaestatística e do poder do estudo. Os usuários sãoselecionados e alocados a um dos dois grupos:usa ou não determinada tecnologia (Wyatt; Wyatt,2003). Embora os estudos experimentais pareçamdefinitivos quando propostos, eles se apóiam emuma escolha intuitiva, arbitrária ou política dasquestões e o que é medido é freqüentemente oque pode ser medido. Além disso, as variáveismedidas e avaliadas de maneira mais acurada nes-ses estudos e utilizadas para estimar as medidasde resultado são aquelas que mais dificilmenteestão relacionadas aos efeitos do recurso sobestudo. Na abordagem baseada em objetivos,busca-se determinar se o recurso atende aosobjetivos estipulados no início do seu desenvol-vimento, enquanto que, na abordagem de fa-cilitação da decisão, a avaliação está orientadapara a solução de questões importantes pelaspessoas que podem tomar decisões sobre o fu-turo do recurso. Na abordagem livre de metas,a avaliação é propositalmente cega aos efeitosesperados do recurso.

No grupo subjetivista, os estudos sãoclassificados em abordagem quase-legal, críti-

Page 7: Avaliacao ambientes virtuais

519Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

ca de arte, revisão profissional e responsiva/iluminadora. A abordagem quase-legal estabe-lece um julgamento do recurso em que propo-nentes e oponentes do recurso oferecem teste-munhos que são examinados à maneira de umtribunal. A abordagem de crítica de arte sesustenta em métodos formais de crítica e noprincípio do crítico como conhecedor experien-te e respeitado que aponta os benefícios e aslimitações do recurso. A abordagem de revisãodo profissional emprega um painel de paresexperientes que avalia o recurso tecnológicono ambiente onde se encontra instalado. Aabordagem responsiva/iluminadora busca repre-sentar os pontos de vista dos usuários do re-curso ou outras partes significativas do ambi-ente onde opera o recurso, tem como metacompreender, em vez de julgar, e seus métodosderivam da etnografia. As vantagens das abor-dagens subjetivistas residiriam no menor tempogasto para a realização desses estudos, a ade-quação para a compreensão do modo comofunciona um recurso em um determinado ambi-ente, o porquê desse funcionamento e como éutilizado pelos usuários (aspectos cognitivos).

No que diz respeito às tecnologias edu-cacionais, Almenara (1998) destaca que a suaavaliação, assim como as TIC, apresenta umcaráter processual que envolve a tomada dedecisões progressivas acerca da determinaçãodo objeto a ser avaliado, a temporalização,especificação dos motivos e das necessidades ea determinação das técnicas e estratégias a se-rem empregadas, bem como a sua execução econcretização em um produto. A avaliação deuma tecnologia educacional pode contemplaros critérios para a sua utilização didática, aspossibilidades cognitivas proporcionadas, osaspectos técnicos e estéticos, a adequação aosusuários, a rentabilidade econômica e o aper-feiçoamento do projeto ergonômico. Essa ava-liação pode ser realizada a partir da análise dascaracterísticas técnicas e didáticas intrínsecas àtecnologia (avaliação do produto), comparan-do-a com outras tecnologias a partir de crité-rios de viabilidade para o alcance de objetivos,

as potencialidades técnicas e a análise do custodo projeto e da sua produção (avaliação seletiva)ou então para conhecer o comportamento datecnologia em um determinado contexto deaprendizagem e suas possibilidades de inter-rela-ção com outros elementos curriculares (avaliaçãorelativa ao contexto). Para Pons (1998), a abor-dagem empírico-analítica na tecnologia educacio-nal, com descrições da realidade objetivadas e ex-plicações funcionais que buscam estabelecer umatipologia de relações causais, tem resultado emuma tipificação dos fenômenos e das situaçõesestudados, uma visão instrumental da ciência apli-cada à realidade educacional, um entendimentodos meios de aprendizagem como dispositivos uti-lizados para uma finalidade instrutiva e uma opçãoeficientista da educação.

Oliver (2000) afirma que a adoção deabordagens utilitárias que enfatizam a avaliaçãode tecnologias educacionais como um meio enão um fim em si mesma, a descrição das van-tagens e limitações dos métodos qualitativos equantitativos, a preocupação com a autenticida-de da avaliação e a mudança para um modelosituado de aprendizagem têm fomentado o usode metodologias híbridas. Essas metodologiascombinam abordagens qualitativas e quantitati-vas com a triangulação dos resultados, fortale-cendo a credibilidade dos achados dos estudosavaliativos. A triangulação na avaliação significao emprego de múltiplas fontes de dados, obser-vadores, métodos ou teorias na investigação deum mesmo fenômeno, apoiando um achado coma ajuda de outros (validação), complementandoos dados com novos resultados, encontrandonovas informações e adicionando peças ao que-bra-cabeça geral (completude). Ammenwerth,Iller e Mansmann (2003) dividem a triangulaçãoem quatro tipos que podem ser aplicados aomesmo tempo: de dados, de investigador, deteorias e de métodos. A triangulação de dadosutiliza várias fontes de dados com respeito aotempo, ao espaço ou às pessoas – por exem-plo, profissionais entrevistados em diferenteslocais ou questionários aplicados em períodosdistintos de tempo. A triangulação de investi-

Page 8: Avaliacao ambientes virtuais

520 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

gador ocorre quando vários observadores ouentrevistadores com formações metodológicase profissionais específicas tomam parte em umestudo, coletando e analisando os dados jun-tos. A triangulação de teorias é a análise dosdados com base em várias perspectivas, hipó-teses ou teorias. A triangulação de métodos uti-liza vários métodos para coleta e análise dosdados. A triangulação pode ser classificada tam-bém em dois subtipos – triangulação intramétodo,combinando abordagens dentro da mesma tradi-ção de pesquisa, e intermétodo, combinandoabordagens qualitativas e quantitativas.

O uso de abordagens quantitativas podeser útil quando se baseiam em uma teoriaestabelecida e quando é importante que asrelações individuais sejam quantificadas e vali-dadas. Em contrapartida, a abordagem qualita-tiva é mais adequada quando não há uma te-oria disponível, quando novas relações devemser descobertas e sua aplicação está referida àavaliação de estruturas organizacionais, resis-tência do usuário, definição de papéis ou pa-drões de comunicação. Uma visão integradorados paradigmas subjetivista e objetivista naavaliação de uma tecnologia educacional éproposta por Jones (2004) com o uso da abor-dagem fenomenográfica na avaliação da apren-dizagem em rede (networked learning). Essaabordagem associa entrevistas individuais (da-dos qualitativos) e inventários de aprendizagem(dados quantitativos), combinando na análiseas diferentes experiências e compreensões quesão caracterizadas em categorias de descrição,logicamente relacionadas entre si e formandouma hierarquia em relação a um dado critério.Esse conjunto ordenado de categorias de des-crição é denominado o espaço de resultadopara as concepções do fenômeno.

A fim de dispor das vantagens dessas duasestratégias, recomenda-se que sejam combinadasde modo que os métodos qualitativos sejam usa-dos para preparar estudos quantitativos e asmedidas quantitativas apóiem a argumentaçãoqualitativa. Pope e Mays (2000) destacam o ca-ráter complementar dessas abordagens, nas quais

as análises de dados qualitativos podem tantoservir de base para formulação de questionári-os estruturados quanto para a validação dapesquisa quantitativa, provendo diferentes pers-pectivas do mesmo fenômeno social. Além dis-so, o pesquisador deve estar atento às modifi-cações ocorridas no contexto no qual foiimplementada uma tecnologia educacional eque podem ter implicações no resultado daavaliação. Como aponta Almenara (1998), asvantagens de uma dada tecnologia educacionalpodem ser devidas às

[...] modificações paralelas que haviam sidofeitas no currículo e no programa acadêmi-co, no papel dos professores ou simples-mente na análise e tratamento que haviamsido feitos dos conteúdos para apresentá-los e readaptá-los às características donovo meio e dos alunos que receberiam ainformação. (p. 263)

Tipos de avaliação deambientes virtuais deaprendizagem

De modo geral, a avaliação de ambien-tes virtuais de aprendizagem pode tomar comobase para sua investigação as condições emque a aprendizagem se realiza (estrutura), osmodos pelos quais os estudantes são capazesde interagir sendo apoiados nas suas atividades(processos) e o alcance dos objetivos e dasmetas propostos (resultados). Contudo, a medi-ação da tecnologia na aprendizagem propiciaformas inovadoras de conhecimento e possibi-lidades de documentação e análise para a ava-liação. Esses ambientes oferecem os meios paraavaliações das habilidades metacognitivas, dasestratégias de aprendizagem e do histórico dasmudanças ocorridas no desempenho dos estu-dantes ao longo do curso, provendo evidênciasacerca dos processos envolvidos nas atividadeseducativas em espaços digitais e subsídios sobrea efetividade das tecnologias educacionais(Gibson, 2003; University of Warwick, 2004).

Page 9: Avaliacao ambientes virtuais

521Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

As avaliações de ambientes virtuais deaprendizagem podem ser classificadas, de acor-do com Valcke e Leeuw (2000), em cinco tipos.Na avaliação interna e análise do desempenho,as estratégias mais utilizadas são os inquéritose a construção de indicadores relacionados àatuação do aluno ao longo do curso e asmodificações resultantes da aprendizagem,embora poucos indicadores sejam específicospara Educação digital a distância ou adequadospara avaliar o impacto das tecnologias no de-sempenho dos alunos. Para Valcke e Leeuw(2000), esses indicadores refletem muitas vezesa perspectiva dos países industrializados, haven-do a necessidade de se desenvolver indicadoresmais específicos ao contexto dos países emdesenvolvimento e com metas mais coletivas.

Na avaliação interna e no monitora-mento das atitudes e percepções dos estudan-tes juntamente com a avaliação do desempenhoda equipe, os estudos têm utilizado estratégi-as quantitativas (por exemeplo, inquérito) ouqualitativas (entrevista ou grupos focais) comquestionários estruturados, semi-estruturados eroteiros para caracterizar a satisfação do usu-ário, a participação e interação e as opiniões eatitudes com respeito ao uso das tecnologias.Considerados como um fator crítico no suces-so da aprendizagem baseada na tecnologia, osníveis de interação podem ser analisados sob asperspectivas aprendiz-aprendiz, aprendiz-tutor,aprendiz-conteúdo e aprendiz-interface (Hill etal., 2003). Um destaque especial deve ser dadoà interação aprendiz-tutor, a retroalimentação dotutor às dúvidas do aprendiz e a habilidade dessetutor para o desenvolvimento de um alto nívelde presença social, pois essas ações contribuemsignificativamente para a efetividade instrucionale a satisfação do usuário, com impactos namotivação e aprendizagem. O desenho do cur-rículo, o ambiente de aprendizagem e a interfacede aprendizagem são itens a serem consideradosnas avaliações internas. A análise do desenhocurricular deve contemplar os aspectos relativosà organização dos conteúdos, à vinculação en-tre atividades prescritas e os temas abordados

e à adequação dos conteúdos aos objetivospropostos. A avaliação do ambiente de aprendi-zagem deve considerar a abordagem teórica queorienta o seu desenho, as oportunidades ofereci-das aos alunos para discussão e trabalho em gru-po, a organização e o acesso ao conteúdo, a fa-cilidade de navegação e o controle do aprendiz. Naavaliação do desenho da interface de aprendiza-gem, a sincronia/assincronia das comunicações, oaspecto intuitivo no uso, a disponibilidade dabarra de navegação e o layout da tela são algunsdos aspectos a serem investigados.

A satisfação do usuário e a usabilidade(avaliação ergonômica) têm ganhado a atençãonas avaliações de tecnologias devido à carga detrabalho mental e prático a que está submeti-do o usuário quando opera fisicamente umsistema de TIC – por exemplo, o número deteclas digitadas para completar uma determina-da ação; o montante de informação memoriza-da necessária para realizar uma operação ourecuperar uma informação; dificuldade pararealização de correções nos dados existentes. Osaspectos cognitivos (compatibilidade de um sis-tema TIC com os processos cognitivos reaisenvolvidos na capacidade do usuário de realizaruma atividade) e de funcionalidade (adequaçãode um sistema de TIC dentro dos processos detrabalho da organização) são também elementosimportantes na avaliação ergonômica.

Wentling et al. (2000) vê a informaçãosobre a satisfação do usuário como um compo-nente importante da efetividade da aprendiza-gem online e recomenda a sua coleta porqueessas medidas dão subsídios às equipes deprodução e organização do curso, permitemuma análise discriminada segundo determina-dos subgrupos de alunos e as reações positivasao curso ajudam a ganhar ou a manter o apoioorganizacional para futuras capacitações. Alémdisso, a aquisição de conhecimento no processode aprendizagem está baseada nas expectativasdos alunos – mais/menos útil no processo deaprendizagem, no alcance ou não dos objetivosdo curso e os fatores associados a isso, a rele-vância e aplicação do que foi aprendido, ao

Page 10: Avaliacao ambientes virtuais

522 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

desempenho nos exames e testes, o tempo paracompletude do curso.

Vale ressaltar que no tocante à adequa-ção da tecnologia aos usuários, os profissionaisque desenvolvem e implementam ambientesvirtuais de aprendizagem se defrontam comdesafios similares aos enfrentados pelos cons-trutores de sistemas de TIC. Esses desafios di-zem respeito à configuração de um ambientede aprendizagem segundo um modelo pedagó-gico associado a uma determinada concepçãode educação, à construção de um sistema ten-do em mente um usuário-prototípico, que podecorresponder ou não ao estilo cognitivo e deaprendizagem, ao padrão de uso do sistema eàs necessidades dos usuários atuais ou parasituações de aprendizagem que têm lugar emcontextos diversificados, rapidamente modificáveise com resultados incertos. Mesmo em um ambientede aprendizagem cuidadosamente elaborado, aspercepções dos aprendizes podem não ser compa-tíveis com as intenções dos formuladores do am-biente. Nos ambientes virtuais de aprendizagem, acausa dessa incompatibilidade é associada àcontraposição, por um lado, entre o conhecimen-to relacionado às teorias de aprendizagem, osprincípios de desenho instrucional e a pesquisa naaprendizagem dos estudantes de nível superior e,do outro lado, ao corpo de conhecimento relati-vo ao uso das tecnologias de aprendizagem online.

O terceiro tipo de avaliação, externa comenfoque no ambiente sociocultural, tem comoobjetivo a identificação da formação de umarede interinstitucional de recursos intelectuais efísicos e a participação de agentes locais naconstituição de comunidades de aprendizagemvinculadas a canais de comunicação e interação.Esse tipo de avaliação contempla análises decusto-benefício e custo-efetividade em que secomparam as experiência de EaD com métodostradicionais, com diferentes definições e perspec-tivas de custo e benefício, identificação doscustos ocultos e estimativa de modelos de cál-culo que podem influenciar os resultados dosestudos. Valcke e Leeuw (2000) afirmam que asinstituições de EaD digital, quando comparadas

às instituições convencionais, apresentam menorcusto por estudante, porém o custo-efetividadeem termos de custos por graduado é menor doque seria esperado devido à baixa taxa de con-clusão e ao maior tempo médio de estudo.

Na avaliação externa com abordagemdos coordenadores e promotores (stakeholders),os objetos de estudo são a variedade de níveis,os conflitos de interesses e o envolvimento dosresponsáveis pelos cursos dentro da propostade EaD digital. O quinto tipo engloba outrosmétodos e abordagens de avaliação, tais comoa seleção e o uso de mídias adequadas à EaDdigital; avaliação da qualidade para garantia dedisponibilidade de acesso, igualdade de opor-tunidades, relevância e adequação dos cursos edos materiais; análise dos escores dos aprendi-zes, taxas de conclusão ou evasão. Outras es-tratégias empregadas na avaliação de EaD digi-tal são a certificação ISO; auditorias; análise deparceiros; revisão de especialistas; análise deimpacto e investigações psicológicas em comu-nicações mediadas por computador em ambien-tes virtuais, que estão relacionadas à efetividadeou aos processos de grupo.

Freqüentemente empregado na avaliaçãoda aprendizagem em programas de treinamen-to empresarial, o modelo de quatro níveis deKirkpatrick (1998) tem sido utilizado na avali-ação da aprendizagem em ambientes virtuais deaprendizagem (Dixon, 2001), particularmentenas experiências de eLearning. No nível 1 (re-ação), que mede a satisfação do aluno com osdistintos aspectos do curso, o aluno deve serinquirido com perguntas que possibilitem deter-minar se as suas expectativas foram alcançadas,se o que foi aprendido no curso é importantepara o seu trabalho e se o instrutor foi umfacilitador efetivo para a aprendizagem. A im-portância dessa avaliação deve-se à reação dosestudantes que pode influenciar a transferênciado que aprenderam para o seu trabalho e ointeresse dos seus colegas em participarem detreinamentos futuros. Na avaliação do nível 1de um curso online, podem ser empregadosquestionários online, votação dos conteúdos do

Page 11: Avaliacao ambientes virtuais

523Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

curso pelos estudantes, discussão na internetsobre os materiais e métodos do curso, comen-tários anônimos depositados em uma caixa desugestão virtual ou remetidos por correio ele-trônico aos tutores e coordenadores ao longodo curso. No nível 2 (aprendizagem), busca-seavaliar, por meio de pré e pós-testes objetivose pareados, as competências estipuladas pelocurso, se a aprendizagem teve lugar e se asmetas do curso foram atingidas. Nos ambientesvirtuais de aprendizagem, essa avaliação podeser realizada com o uso de testes, simulações ejogos que devem ser incluídos como materiaisrequeridos do curso. A análise de cada um dositens do teste pode apontar onde houve ou nãouma mudança de conhecimento ou atitude. Aavaliação de nível 3 (aplicação), realizada emum período posterior ao término do curso,determina em que extensão os novos conheci-mentos, habilidades e atitudes aprendidos nocurso foram transferidos para o trabalho e iden-tifica as questões que poderiam estar impedin-do essa transferência. Benigno e Trentin(2000) assinalam que esse nível da avaliação écrucial quando os conteúdos do curso são denatureza metodológica, uma vez que as avali-ações feitas em períodos anteriores apreendemapenas o nível de compreensão e não a capa-cidade de transferir a aprendizagem para olocal de trabalho. As razões para que o conhe-cimento aprendido não seja aplicado podemser devidas ao esquecimento, a falhas na apli-cação, a falta de incentivo ou oportunidadepara utilizá-lo. Nos cursos online, a avaliação denível 3 pode tomar a forma de observações,opiniões de futuros instrutores ou registros dedesempenho. O nível 4 (resultado) mede os re-sultados do treinamento, tais como retorno doinvestimento, melhoria organizacional, reduçãodo absenteísmo e melhoria da motivação. Nosníveis 3 e 4, Kirkpatrick (1998) recomenda ouso de grupos de comparação, o controle dosfatores ambientais, a avaliação antes e depoisdo curso e em períodos regulares, uma vez queas mudanças podem ocorrer em períodos dis-tintos.

Dois aspectos significativos da avaliaçãode cursos online – a avaliação da aprendiza-gem e a avaliação do desempenho dos partici-pantes – são cotejados no modelo propostopor Benigno e Trentino (2000). O nível 1 (re-ação e ação planejada) corresponde às fases deavaliação intermediária e final do curso e temo intuito de conhecer a satisfação dos partici-pantes e como eles pretendem aplicar o que foiaprendido no curso. O nível 2 (aprendizagem)mede o que o participante aprendeu por meiode testes, ensaios individuais, atividades práti-cas, simulações e desenvolvimento de projetos.O nível 3 (aplicação no local de trabalho) é reali-zado após o término do curso. Os benefícios gan-hos pela organização corresponderiam ao quartonível e podem ser vistos de diferentes ângulos –econômicos, na satisfação do usuário de um ser-viço, nos custos da produção. Entretanto, essesautores destacam que os níveis de satisfação de-tectados não garantem que o conhecimento e ashabilidades ensinados tenham sido realmenteaprendidos nem tampouco os resultados positivosno nível da aprendizagem asseguram que os par-ticipantes sejam capazes de aplicar corretamente oque eles aprenderam.

Métodos de avaliação deambientes virtuais deaprendizagem

Na avaliação de ambientes virtuais deaprendizagem, é necessário dispor de dadossobre as características individuais dos partici-pantes, do ambiente de aprendizagem, da par-ticipação, da comunicação, dos materiais e datecnologia utilizados (Benigno; Trentin, 2000).O uso de questionários é provavelmente o métodomais amplamente utilizado nos diversos tipos deavaliação de cursos online. Eles podem ser apli-cados no momento da matrícula para obter osdados sobre as características sociodemográficasdos alunos, as experiências e os conhecimentosprévios adquiridos nos assuntos cobertos pelocurso, experiência prévia em cursos a distância e/ou online, razões para se matricular, expectati-

Page 12: Avaliacao ambientes virtuais

524 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

vas com respeito ao curso, condições do ambien-te de aprendizagem (logística) e conhecimento emtecnologia de informação e comunicação. Um dosachados mais importantes desse questionário deentrada é a informação sobre natureza do ambien-te de aprendizagem onde o estudante participaráno curso a distância, pois dá ao tutor uma imagemdo cenário físico onde ocorre essa aprendizagem.

O questionário aplicado no final do cur-so aborda as questões relativas a conteúdos,abordagem educacional adotada, materiais usa-dos, aspectos organizacionais (logística) dosalunos, aspectos técnicos relativos ao uso daInternet e de outras tecnologias e o desempenhodo tutor. As respostas podem ser obtidas pormeio de questões abertas e fechadas, escalas depontuação (Likert ou smile sheets), listas dechecagem ou uma combinação de diversos es-tilos e as respostas detalham os principais aspec-tos que influenciam a satisfação do usuário.

Os questionários podem ser aplicadospresencialmente, enviados pelo correio, preen-chidos online ou por telefone e apresentam asseguintes vantagens: facilidade de codificaçãodas respostas fechadas, rapidez na coleta dosdados, uso de grandes amostras, menor custode administração e processamento, uso deabordagens padronizadas e taxas de retornomais altas (Dixon, 2001). As principais desvan-tagens são o atraso ou vieses de memória quepodem distorcer os dados, má interpretação porproblemas de desenho das questões, dificulda-des de processamento e análise de questõesabertas, recusa na resposta ao questionário eextensão do questionário que pode torná-locansativo, aborrecido e comprometer a qualida-de das respostas.

Além dos fatores relacionados ao contextofísico e conhecimentos/experiências prévios, ou-tros elementos do ambiente de aprendizageminfluenciam a aquisição de novos conhecimen-tos e habilidades e podem servir como variáveispreditoras no estabelecimento da relação entreo ambiente em si e os resultados cognitivos eafetivos obtidos, tais como a interação e comu-nicação entre os participantes. A avaliação

quantitativa da participação dos estudantes noambiente virtual de aprendizagem pode limitar-se à constatação de quais exercícios foram re-alizados e as notas obtidas ou estender-se àavaliação das mensagens trocadas e aos níveisde participação, que podem ser mensuradospor meio de técnicas sociométricas – por exem-plo: o índice de participação e o índice decentralidade (Benigno; Trentin, 2000). A análisequalitativa dessa participação deve ir além dasimples verificação (sim/não) ou do modocomo ele lidou com os principais tópicos emuma dada unidade do curso online para incluira observação geral do desempenho do grupona aprendizagem para alcançar uma interaçãoconstrutiva. Além das técnicas específicas deanálise de conteúdo, Benigno e Trentin (2000)sugerem um instrumento menos rigorosamen-te científico, mas prático e fácil para uso pelostutores – o grid qualitativo. Quatro elementossão considerados nessa ferramenta: o númerode mensagens enviadas por cada estudante, ascaracterísticas de interatividade das mensagens,a extensão na qual a mensagem cobre os tópi-cos que os peritos do curso identificaram comosignificativos, e a profundidade (granularidade)em que os tópicos foram explorados. Os doisprimeiros elementos cobrem a qualidade daparticipação do ponto de vista da presença einteração com outros estudantes, e os doisúltimos abordam os conteúdos estudados, sen-do necessária uma compilação, pelos especia-listas de cada área, de uma lista de tópicosrelevantes na análise do conteúdo. A participa-ção dos alunos no curso também pode seravaliada com a aplicação de um questionáriofinal que aborde questões relativas à interaçãodo aluno com o tutor e com outros estudantes.

As estratégias de avaliação qualitativa naeducação caracterizam-se em geral pela coletade dados descritivos por meio do contato dire-to e prolongado do pesquisador com o ambi-ente e a situação estudada, com uma ênfasemaior nos processos do que no produto e umapreocupação em retratar a situação a partir daperspectiva dos participantes (Lüdke; André,

Page 13: Avaliacao ambientes virtuais

525Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

1986). Para Moehr (2002), a abordagem maisadequada para o contexto de avaliação de um sis-tema de informação e comunicação é a etno-gráfica, que consiste na identificação de temas eperguntas baseadas em observações e investiga-ções iniciais, desenvolvidas iterativamente, commaior detalhamento e ajustes. Dois pressupostosembasam a pesquisa etnográfica: a hipótesenaturalista-ecológica que destaca a influênciado contexto no comportamento humano e ahipótese qualitativo-fenomenológica que vincu-la a compreensão do comportamento humanoao quadro referencial dentro do qual os indiví-duos interpretam seus sentimentos, pensamen-tos e ações. Os critérios para utilização da abor-dagem etnográfica ressaltam que o problemainicial da pesquisa deve ser desenvolvido pelopesquisador no trabalho de campo com a co-leta de dados primários por meio de observa-ção direta e entrevistas com informantes, comenfoque naquilo que é observável, evitandoabstrações e generalizações precoces e fazen-do do senso comum um tópico e não apenasum recurso tácito. A avaliação de ambientes deaprendizagem online por meio da abordagemetnográfica, de acordo com Jones (1998), revelaos processos dinâmicos que orientam os seus usu-ários na construção do contexto de suas ações ecomunicações e no uso dos recursos técnicos epedagógicos desses sistemas educativos.

O estudo de caso, segundo Lüdke eAndré (1986), pode variar seu objeto, do espe-cífico ao abstrato e complexo, portando aomesmo tempo semelhanças e singularidades. Asdescobertas do estudo se dão à medida que ainvestigação avança e se refina, sustentadas poruma interpretação contextualizada da realidade,por meio de uma variedade de fontes de infor-mação que representam pontos de vista diver-gentes ou conflitantes, que revelam a experiên-cia e permitem generalizações naturalísticas.

As entrevistas de grupo focal têm sidoempregadas nas avaliações de ambientes virtuaisde aprendizagem como uma técnica para cole-ta de dados qualitativos sobre percepções,crenças, atitudes e idéias dos usuários de cur-

sos online. Os grupos focais são entrevistasestruturadas de grupo, conduzidas por umfacilitador, nos quais as pessoas compartilhamsuas visões em um espectro de questões. Osgrupos focais combinam elementos de entrevis-ta e observação participante, e a idéia pordetrás dessa técnica é a de que os processosde interação do grupo ajudam os participantesa explorar e quantificar suas visões por vias queseriam pouco acessíveis em uma entrevista in-dividual (Mahoney, 1997; Pope; Mays, 2000).Robley et al. (2004) descrevem a avaliação deum curso de enfermagem online com o uso degrupos focais e da fenomenologia hermenêuticapara análise das narrativas dos participantes. Ateoria hermenêutica vê a compreensão comoprocesso dinâmico de construção de significa-do, um desenvolvimento por meio de um mo-vimento contínuo entre o todo e as partes emque o significado é modificado à medida quemais relações são estabelecidas (Hill et al.,2003). Desse modo, no estudo de Robley et al.(2004), a análise das narrativas dos alunos foirealizada por meio da leitura e interpretação, demaneira iterativa, para a identificação de setegrandes temas que representavam a experiên-cia dos estudantes.

A realização de grupos focais online,apesar de ser uma estratégia pouco utilizada nomeio acadêmico, apresenta as vantagens demaior congruência com o ambiente sob estudo,maior facilidade de comunicação entre os par-ticipantes, maior igualdade de participação nadiscussão, incluindo os estudantes com restri-ções de distância e tempo, anonimato dosparticipantes, economia de custos e habilidadepara recrutar populações diversas e abordartemas controversos (Burton; Goldsmith, 2002).As desvantagens dos grupos focais online esta-riam relacionadas à perda de recursos não-ver-bais/verbais/paraverbais durante a comunica-ção, problemas de proteção da privacidade dadiscussão, alta taxa de não-comparecimentoentre os participantes, redução no número depalavras usadas pelos participantes de gruposfocais síncronos quando comparados aos grupos

Page 14: Avaliacao ambientes virtuais

526 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

focais presenciais e assíncronos e à sub-repre-sentação da população geral, pois somente sãoincluídos aqueles que possuem conexão com ainternet. Oringderff (2004) recomenda aos pes-quisadores interessados em desenvolver gruposfocais online que critérios de seleção, procedi-mentos e limitação do tempo a serem seguidospelo moderador e os participantes devem serbem estabelecidos ao longo da duração do gru-po focal e que os participantes devem sentir-seconfortáveis em um meio eletrônico.

Na avaliação da aprendizagem em ambi-entes virtuais, os métodos utilizados podem estarrelacionados à modalidade de avaliação (Benson,2003). A avaliação diagnóstica, cuja atividadeantecede a formação e permite um ajuste tantodo programa aos conhecimentos e às competên-cias atuais dos aprendizes quanto destes em re-lação aos programas de formação, pode ser rea-lizada por meio de inquéritos eletrônicos (websurveys) que abordam os aspectos relacionados àsexpectativas dos alunos, seus estilos de aprendi-zagem, abordagens de estudo e medidas deauto-eficácia computacional.

A avaliação formativa, que aponta a ade-quação entre os objetivos e os processos de apren-dizagem, o grau assimilação dos conceitos pelosalunos, sua capacidade de avaliação crítica e apli-cação à realidade, pode ser feita por meio de ati-vidades reflexivas, uso de ferramentas síncronas eassíncronas, mapeamento conceitual e criação deportifólios. Além da análise tradicional de res-postas selecionadas (múltipla escolha, falso-ver-dadeira e pareamento de questões) e de respos-tas construídas (preenchimento de lacunas), aretroalimentação informal dos estudantes medi-ante respostas resumidas dos principais pontosda lição pode fornecer aos instrutores indica-ções para mudanças estruturais no curso.

O uso da ferramenta síncrona de bate-papo (chat) permite que se avalie o aluno tan-to na capacidade de resposta imediata a ques-tões levantadas pelo tutor e colegas quanto noacompanhamento do desenvolvimento de habi-lidade de síntese, análise, avaliação e sensocrítico do aluno. Zaina, Bressan e Ruggiero

(2003) realizaram um chat com alunos sobreum texto selecionado em que foram definidasas questões a serem abordadas e o tempomédio de discussão para cada questão. A suaanálise, por meio do arquivo de log, serviucomo fonte material para avaliação da compre-ensão dos conceitos expostos pelo referidotexto e sua aplicação na prática. Os alunostambém foram avaliados sobre a experiência departicipar do chat a partir das respostas a umamensagem de correio. Nessa mensagem, os alu-nos foram inquiridos sobre as dificuldades deexpressar as idéias, como se sentiam ao conver-sar em um evento virtual e como eles compa-ravam a avaliação em um chat com uma ava-liação tradicional. Os pontos positivos apontadosforam a possibilidade de desenvolver a habilida-de da escrita na expressão de idéias coerentes ea interação que permitiu a troca de informação ea construção de uma conclusão coletiva enquantoque as interrupções provocadas por outros cole-gas ou por problemas de conexão à internet sãoassinaladas como pontos negativos. A avaliaçãoda discussão virtual assíncrona (lista de discussão,fórum) é reveladora de níveis de aprendizagem dealta-ordem porque provê a oportunidade para osaprendizes lerem as respostas dos seus colegas,prepararem uma resposta mais elaborada e apostarem posteriormente.

A técnica de mapeamento de conceitospermite que os alunos diagramem sua compre-ensão estrutural de idéias e delineie a relaçãoentre os componentes, assinalando para o tu-tor as mudanças na compreensão e os pontosque requerem uma discussão mais aprofundada.A avaliação de portifólio, considerado comouma coleção intencional dos trabalhos realiza-dos pelo aprendiz ao longo de um período detempo, fornece uma ferramenta que integra aaprendizagem à avaliação e dá pistas ao alunoe ao avaliador acerca da aquisição do conhe-cimento nas áreas cobertas pelo portifólio. Eletem um caráter dinâmico e interativo, colabo-rando para que o professor e o estudante atu-em conjuntamente na avaliação do desenvolvi-mento e das conquistas do aprendiz. Dochy e

Page 15: Avaliacao ambientes virtuais

527Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

Segers (2001) classificam os portifólios em: (i)exemplar – coleção dos melhores e mais represen-tativos trabalhos ou produtos produzidos ao lon-go de um dado período de tempo; (ii) holístico oude processo – exemplos do desenvolvimento eprogresso do aluno; (iii) combinado – uma com-binação dos dois anteriores; (iv) produto – consisteapenas do produto do estudante. Otsuka e Rocha(2002) destacam o uso de tecnologias de agentede interface e mineração de dados como recursosempregados para avaliação formativa alternativa.

A avaliação somativa tem função classifi-catória e é realizada para saber se os alunos al-cançaram os níveis de aprendizagem previamen-te estabelecidos. Na avaliação somativa online,as técnicas utilizadas são a análise das respos-tas aos questionários de satisfação do usuário(smile sheets); a comparação entre as respostasaos testes feitos antes e após o curso; análisede artigos, documentos ou relatórios de traba-lhos de campo escritos individualmente ou emgrupo; e a auto-avaliação, mais comum nasavaliações em ambientes colaborativos e partici-pativos. A partir das opiniões dos alunos sobreconteúdos, atividades, atuação do tutor e rele-vância dos conhecimentos para aplicação noambiente de trabalho, dispõe-se de material queorientará as modificações tanto no conteúdoquanto na estratégia pedagógica. Além disso,os resultados obtidos na avaliação refletirão nasatividades relacionadas ao desenho instrucional,pois os resultados de um informam as ativida-des do outro e, desse modo, o desenho e aimplementação da educação online podem sercontinuamente melhorados para atender às ne-cessidades de uma comunidade de aprendiza-gem em mudança contínua. Embora a avaliaçãosomativa em ambientes virtuais restrinja-se, namaioria das vezes, à análise da pontuação ob-tida para aprovação, a disponibilidade de regis-tros digitais das atividades dos alunos realiza-das ao longo do curso e das avaliações dostutores abre possibilidades para a aplicação demétodos de análise qualitativos.

A despeito da abordagem de estudo,algumas questões importantes sobre os méto-

dos de avaliação em ambientes complexos deaprendizagem dizem respeito ao tipo de apren-dizagem e seus sinais observáveis; ao modo deobservação; às atividades e interações apoiadaspelo sistema e como elas contribuem para aaprendizagem; às possíveis fontes de informa-ção utilizadas; aos métodos de coleta de dadosque serão empregados; e aos marcos teóricosque demarcarão as interpretações do estudo.Em qualquer cenário de avaliação, existemmuitas questões potenciais a serem abordadase o pesquisador deve ter em mente que asperguntas modelam, mas não determinam total-mente o que é respondido. Também existemdiversas maneiras de se formular as perguntas,com suas vantagens e desvantagens, porém nãoexiste um consenso sobre o que constitui omelhor conjunto de perguntas ou algo comoum estudo perfeito. Face à diversidade de estra-tégias metodológicas e suas respectivas vanta-gens e limitações, o pesquisador deve estar atentoaos interesses e às expectativas dos grupos envol-vidos e aos aspectos priorizados para a avaliaçãode um ambiente virtual de aprendizagem.

Conclusão

Na definição da avaliação de um curso emum ambiente virtual de aprendizagem, a escolhado tipo de abordagem depende, em grande me-dida, dos pressupostos subjacentes à propostaeducacional e dos interesses dos grupos envolvi-dos. Em face de interesses, objetivos e ambientesdiversificados e complexos, são necessários estu-dos que avaliem quais as propostas pedagógicasque são adequadas às distintas necessidades dosprovedores e usuários, tomando como foco aspotencialidades e limitações dos recursos tecnoló-gicos; a compatibilidade entre as competências,estratégias e habilidades dos aprendizes e asdemandas de aprendizagem do curso online; aparticipação e interação do aluno com o ambien-te, colegas e tutores; seu desempenho ao longodo curso; e os resultados alcançados. É necessá-rio que sejam discutidas e implementadas, no âm-bito das instituições promotoras dos cursos de

Page 16: Avaliacao ambientes virtuais

528 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

EaD, metodologias de avaliação que contemplemas especificidades das distintas modalidades deaprendizagem a distância e forneçam subsídiospara revisão e adequação dos cursos. Mais impor-tante, a avaliação das experiências tecnológicasna educação deve nos auxiliar a responder àsquestões sobre a significância, do ponto de vistada formação do aluno, da aprendizagem medi-ada pelas novas tecnologias de comunicação, seos recursos aplicados na EaD estão contribuin-do para uma melhoria real dos mecanismos deassimilação e acomodação dos conhecimentos e

quais os critérios estão sendo adotados para aintrodução de novidades tecnológicas nos pro-cessos de ensino.

Face às várias possibilidades metodoló-gicas apresentadas, o pesquisador deve ter emmente que a avaliação é um processo empírico deuma atividade vinculada ao serviço, modeladapelos recursos disponíveis e com dados de formase tamanhos diversos. Portanto, a metodologiamais pertinente para a avaliação de um cursoonline será aquela que se adequar ao contexto eàs condições do curso e da investigação.

Referências bibliográficas

ALMENARA, J. C. Avaliar para melhorar: meios e materiais de ensino. In: SANCHO, J. M. (Org.). Para uma tecnologia educacionalPara uma tecnologia educacionalPara uma tecnologia educacionalPara uma tecnologia educacionalPara uma tecnologia educacional.Porto Alegre: ArtMed, 1998. p. 257-284.

AMMENWERTH, E. et al. Evaluation of health information systems – problems and challenges. International Journal of MedicalInternational Journal of MedicalInternational Journal of MedicalInternational Journal of MedicalInternational Journal of MedicalInfInfInfInfInformaormaormaormaormaticsticsticsticstics, v. 71, p.125-35, 2003a.

AMMENWERTH, E.; ILLER, C.; MANSMANN, U. Can evaluation studies benefit from triangulation? International Journal of MedicalInternational Journal of MedicalInternational Journal of MedicalInternational Journal of MedicalInternational Journal of MedicalInfInfInfInfInformaormaormaormaormaticsticsticsticstics, v. 70, p. 237-48, 2003b.

BARRETO, R. G. Tecnologia e educação: trabalho e formação docente. Educação & Sociedade Educação & Sociedade Educação & Sociedade Educação & Sociedade Educação & Sociedade, n. 89, p.1181-1201, 2004.

BELLONI, M. L. Ensaio sobre a educação a distância no Brasil. Educação & SociedadeEducação & SociedadeEducação & SociedadeEducação & SociedadeEducação & Sociedade, n. 78, p.117-42, 2002.

_____. Educação a distânciaEducação a distânciaEducação a distânciaEducação a distânciaEducação a distância. 3 ed. Campinas: Autores Associados, 2003.

BENIGNO, V.; TRENTIN, G. The evaluation of online courses. Journal of Computer Journal of Computer Journal of Computer Journal of Computer Journal of Computer Assisted LearningAssisted LearningAssisted LearningAssisted LearningAssisted Learning, v.16, p. 59-70, 2000.

BENSON, A. D. Assessing participant learning in online environments. New Directions for Adult and Continuing EducationNew Directions for Adult and Continuing EducationNew Directions for Adult and Continuing EducationNew Directions for Adult and Continuing EducationNew Directions for Adult and Continuing Education,n.100, p. 69-78, 2003.

BRENDER, J. Trends in assessment of IT-based solutions in healthcare and recommendation for the future. InternaInternaInternaInternaInternational Journaltional Journaltional Journaltional Journaltional Journalof Medical Infof Medical Infof Medical Infof Medical Infof Medical Informaormaormaormaormaticsticsticsticstics, v. 52, p. 217-27, 1998.

BURTON, L.; GOLDSMITH, D. The medium is the messageThe medium is the messageThe medium is the messageThe medium is the messageThe medium is the message: using online focus group to study online learning. New Britain:Connecticut Distance Learning Consortium, 2002.

CARVALHO, N. M.; MISOCZKY, M. C. A. Potencialidades da aprendizagem virtual: uma reflexão a partir da experiência do curso deplanejamento estratégico em saúde. In: CARVALHO, N. M.; MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distânciaEducação a distânciaEducação a distânciaEducação a distânciaEducação a distância:reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001. p. 65-84.

CONTANDRIOPOULOS, A. P. et al. A avaliação na área da Saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org.). AAAAAvaliação em Saúdevaliação em Saúdevaliação em Saúdevaliação em Saúdevaliação em Saúde:dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora FIOCRUZ, 1997. p. 29-48.

DIXON, J. EvaluaEvaluaEvaluaEvaluaEvaluation tools ftion tools ftion tools ftion tools ftion tools for for for for for flexible deliverlexible deliverlexible deliverlexible deliverlexible delivery y y y y (workshop version). Melbourne: TAFE frontiers, 2001.

DOCHY, F.; SEGERS, M. Using information and communication technology (ICT) in tomorrow’s universities and using assessment asa tool for learning by means of ICT. In: VAN DER MOLEN, H. J. (Ed.). Proceedings from a symposium held aProceedings from a symposium held aProceedings from a symposium held aProceedings from a symposium held aProceedings from a symposium held at the t the t the t the t the WWWWWennerennerennerennerenner-Gren-Gren-Gren-Gren-GrenCentre, StockholmCentre, StockholmCentre, StockholmCentre, StockholmCentre, Stockholm. London: Portland Press, 2001. p. 67-83.

Page 17: Avaliacao ambientes virtuais

529Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

DYSON, M. C.; CAMPELLO, S. B. Evaluating virtual learning environments: what are we measuring? Electronic Journal of e-Electronic Journal of e-Electronic Journal of e-Electronic Journal of e-Electronic Journal of e-LearningLearningLearningLearningLearning, v. 1, n. 1, p. 11-20, 2003.

FRIEDMAN, C. P.; WYATT, J. C. EvaluaEvaluaEvaluaEvaluaEvaluation methods in medical inftion methods in medical inftion methods in medical inftion methods in medical inftion methods in medical informaormaormaormaormaticsticsticsticstics. New York: Springer, 1997.

GIBSON, D. Network-based assessment in education. ContemporarContemporarContemporarContemporarContemporary issues in technology issues in technology issues in technology issues in technology issues in technology and teacher educay and teacher educay and teacher educay and teacher educay and teacher educationtiontiontiontion, v. 3, n. 3, p. 310-323,2003.

HILL, J. R. et al. Exploring research on internet-based learning: from infrastructure to interactions. In: JONASSEN, D. H. (Ed.).Handbook of research on educaHandbook of research on educaHandbook of research on educaHandbook of research on educaHandbook of research on educational communicational communicational communicational communicational communications and technologtions and technologtions and technologtions and technologtions and technologyyyyy. New York: Macmillan, 2003.

JONES, C. Evaluating a collaborative online learning environment. Active LearningActive LearningActive LearningActive LearningActive Learning, v. 9, p. 31-35, 1998.

_____. Quantitative and qualitative research: conflicting paradigms or perfect partners? In: BANKS, S. et al. (Eds.). NetworkedNetworkedNetworkedNetworkedNetworkedlearninglearninglearninglearninglearning 2004: proceedings of the fourth International Conference on Networked Learning 20042004: proceedings of the fourth International Conference on Networked Learning 20042004: proceedings of the fourth International Conference on Networked Learning 20042004: proceedings of the fourth International Conference on Networked Learning 20042004: proceedings of the fourth International Conference on Networked Learning 2004. Lancaster: LancasterUniversity and University of Sheffield, 2004.

KAPLAN, B.; DUCHON, D. Combining qualitative and quantitative methods in information systems research: a case study. MISMISMISMISMISQuarterlQuarterlQuarterlQuarterlQuarterlyyyyy, v.12, n. 4, p. 571-586, 1998.

KIRKPATRICK, D. L. EvaluaEvaluaEvaluaEvaluaEvaluating training progting training progting training progting training progting training programsramsramsramsrams: the four levels. 2 ed. San Francisco: Berret-Koehler Publishers, 1998.

LÖFSTED, J. J. et al. Virtualization of higher education in the era of globalizationVirtualization of higher education in the era of globalizationVirtualization of higher education in the era of globalizationVirtualization of higher education in the era of globalizationVirtualization of higher education in the era of globalization. Issues and trends. Stockholm: Institute ofInternational Education of Stockholm University, 2001.

LÜDKE, M.; ANDRÉ, M. Pesquisa em educaçãoPesquisa em educaçãoPesquisa em educaçãoPesquisa em educaçãoPesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986.

MAHONEY, C. Common qualitative methods. In: FRECHTLING, J.; SHARP, L. (Eds.). UserUserUserUserUser-friendl-friendl-friendl-friendl-friendly handbook fy handbook fy handbook fy handbook fy handbook for mixed methodor mixed methodor mixed methodor mixed methodor mixed methodevaluationsevaluationsevaluationsevaluationsevaluations. Arlington: National Science Foundation, 1997. Disponível em: <http://www.nsf.gov/pubs/1997/nsf97153/start.htm>Acesso em: 26 ago. 2004.

MENA, M.; RODRIGUEZ, L. E.; DIEZ, M. L. La educacion a distancia: una propuesta para el diseño de proyectos. In: CARVALHO, N. M.;MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distânciaEducação a distânciaEducação a distânciaEducação a distânciaEducação a distância: reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001.

MOEHR, J.R. Evaluation: salvation or nemesis of medical informatics? Computers in biologComputers in biologComputers in biologComputers in biologComputers in biology and mediciney and mediciney and mediciney and mediciney and medicine, v. 32, p. 113-25, 2002.

OLIVER, M. An introduction to the evaluation of learning technology. EducaEducaEducaEducaEducational tional tional tional tional TTTTTechnologechnologechnologechnologechnology & Societyy & Societyy & Societyy & Societyy & Society, v. 3, n. 4, 2000.Disponível em: <http://ifets.ieee.org/periodical/vol_4_2000/v_4_2000.html> Acesso em: 15 nov. 2004.

ORINGDERFF, J. “My way”: piloting an online focus group. InternaInternaInternaInternaInternational Journal of Qualitiational Journal of Qualitiational Journal of Qualitiational Journal of Qualitiational Journal of Qualitiative Methodstive Methodstive Methodstive Methodstive Methods, v. 3, n. 3, 2004.Disponível em: <http://www.ualberta.ca/%7Eiiqm/backissues/3_3/3_3toc.html> Acesso em: 23 maio 2005.

OTSUKA, J. L.; ROCHA, H. V. Avaliação formativa em ambientes de EaD. In: Simpósio Brasileiro de InfSimpósio Brasileiro de InfSimpósio Brasileiro de InfSimpósio Brasileiro de InfSimpósio Brasileiro de Informática na Educaçãoormática na Educaçãoormática na Educaçãoormática na Educaçãoormática na Educação(SBIE 2002)(SBIE 2002)(SBIE 2002)(SBIE 2002)(SBIE 2002), 13. Disponível em: <http://teleduc.nied.unicamp.br/pagina/publicacoes/ 17_jh_sbie2002.pdf> Acesso em: 13nov. 2004.

PANERAI, R. B.; MOHR, J. P. Evaluación de tecnologEvaluación de tecnologEvaluación de tecnologEvaluación de tecnologEvaluación de tecnologias em saludias em saludias em saludias em saludias em salud: metodologias para paises em desarrollo. Washington:Organización Panamericana de la Salud, 1989.

PETERS, O. A educação a distância em transiçãoA educação a distância em transiçãoA educação a distância em transiçãoA educação a distância em transiçãoA educação a distância em transição. São Leopoldo: Editora Unisinos, 2004.

PONS, J. P. Visões e conceitos sobre a tecnologia educacional. In: SANCHO, J. M. (Org.). Para uma tecnologPara uma tecnologPara uma tecnologPara uma tecnologPara uma tecnologia educacionalia educacionalia educacionalia educacionalia educacional.Porto Alegre: ArtMed, 1998.

POPE, C.; MAYS, N. QualitaQualitaQualitaQualitaQualitative research in health caretive research in health caretive research in health caretive research in health caretive research in health care. London: BMJ, 2000.

ROBLEY, L. R. et al. This new house: building knowledge through online learning. Journal of Professional NursingJournal of Professional NursingJournal of Professional NursingJournal of Professional NursingJournal of Professional Nursing, v. 20, n. 5, p. 333-343, 2004.

Page 18: Avaliacao ambientes virtuais

530 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

SARTORI, A. S. Educação a distância: novas práticas pedagógicas e as tecnologias da informação e comunicação. LinhasLinhasLinhasLinhasLinhas, v. 3, n. 2,p. 123-130, 2002.

STRUCHINER, M.; GIANNELLA, T. R. Formação de profissionais de saúde e educação a distância: elementos fundamentais. In:CASTRO, J. L. (Org.). PROFAE: educação profissional em saúde e cidadaniaPROFAE: educação profissional em saúde e cidadaniaPROFAE: educação profissional em saúde e cidadaniaPROFAE: educação profissional em saúde e cidadaniaPROFAE: educação profissional em saúde e cidadania. Brasília: Ministério da Saúde, 2002.

TORREZ, M. N. F. B. Educação a distância e a formação em saúde: nem tanto, nem tão pouco. TTTTTrararararabalho,balho,balho,balho,balho, Educação e Saúde Educação e Saúde Educação e Saúde Educação e Saúde Educação e Saúde,v. 3, n. 1, p. 171-186, 2005.

VALCKE, M. M., LEEUW, F. L. EvaluaEvaluaEvaluaEvaluaEvaluating digting digting digting digting digital distance learning progital distance learning progital distance learning progital distance learning progital distance learning programs and activitiesrams and activitiesrams and activitiesrams and activitiesrams and activities. Washington: World BankInstitute, 2000.

WENTLING, T. L. et al. e-Learning – a review of literae-Learning – a review of literae-Learning – a review of literae-Learning – a review of literae-Learning – a review of literaturetureturetureture. Knowledge and Learning Systems Group, University of Illinois atUrbana-Champaign, 2000. Disponível em: <http://learning.ncsa.uiuc.edu/papers/elearnlit.pdf > Acesso em: 05 mar. 2005.

WYATT, J. C.; WYATT, S. M. When and how to evaluate health information systems? InternaInternaInternaInternaInternational Journal of Medicaltional Journal of Medicaltional Journal of Medicaltional Journal of Medicaltional Journal of MedicalInfInfInfInfInformaormaormaormaormaticsticsticsticstics, v. 69, p. 251-259, 2003.

ZAINA, L. A. M.; BRESSAN, G.; RUGGIERO, W. V. Interactive chat: an experience in a virtual assessment. In: InternationalConference on Engineering and Computer Education, , , , , 3. ProceedingsProceedingsProceedingsProceedingsProceedings. São Paulo, 2003, p. 1-6.

UNIVERSITY OF WARWICK. CAP e-learning guidesCAP e-learning guidesCAP e-learning guidesCAP e-learning guidesCAP e-learning guides. Coventry: Center for Academic Pratice, 2004.

Recebido em 11.12.06

Aprovado em 13.08.07

Josué Laguardia é Assistente de pesquisa do Centro de Informação em Ciência e Tecnologia – CICT. Fundação OswaldoCruz.

Margareth Crisóstomo Portela é pesquisadora do Departamento de Administração e Planejamento em Saúde – DAPS.Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.

Miguel Murat Vasconcellos é pesquisador do Departamento de Administração e Planejamento em Saúde – DAPS.Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.