quality in online delivery

QUALITY IN ONLINE DELIVERY:WHAT DOES IT MEAN FOR ASSESSMENT

IN E-LEARNING ENVIRONMENTS?

Catherine McLoughlin & Joe Luca(2001)

Trabalho realizado no âmbito da Unidade Curricular:Concepção e Avaliação em e-Learning

do Mestrado em Pedagogia do e-Learning

Universidade AbertaJaneiro de 2011

Docente: Profª Drª Lúcia Amante

Discentes: Fernando Faria, Marina Moleirinho, Marco Freitas e Telma Jesus

RESUMO

Este artigo de Catherine McLoughlin e Joe Luca aborda as definições actuais da qualidade na avaliação online e examina as expectativas emergentes do que constitui uma avaliação online adequada.

O DEBATE SOBRE A QUALIDADE (1)

De acordo com o Institute for Higher Education Policy (National Education Association, 2000), os resultados de aprendizagem devem ser revistos regularmente para assegurar a coerência, a clareza e a

adequação dos resultados da aprendizagem.

Recomendações sobre os processos de avaliação:

Possibilitar aos alunos a monitorização do seu progresso;

Proporcionar feedback regular aos alunos;

Suportar práticas de co-aprendizagem e avaliação;

Utilizar práticas de auto-avaliação.


Quality Assurance Agency for Higher Education (1999)

Avaliação realizada no "campus"

Avaliação realizada fora do "campus"

Contacto dos alunoscom pessoal docente

Diferentes formas de realizar a avaliação.


A carência de orientação pedagógica para os profissionais de ensino online é muitas vezes referenciada.

A aprendizagem online, a sabedoria pode ser fornecida por meio de formas alternativas de avaliação da compreensão do aluno.

(Berge, Collins e Dougherty, 2000)

Comunicação mediada por computador(CMC), interfere na qualidade da aprendizagem, promovendo o pensamento ao nível da síntese e avaliação de conceitos indo muito além da aquisição do conhecimento (cognitivo).

(Warren e Rada, 1999)


Spector continua a argumentar que a maioria das falhas é atribuída à crença de que existe uma melhor abordagem, uma teoria perfeita ou uma solução final.

Nenhum projecto único ou perspectiva é adequado para o design de um projecto de ambientes de aprendizagem de tecnologia avançada.

(Sfaard, 1998)

“Technology has yet to make significant improvements in the quality of education by any reasonable measure”.

(Spector, 2000)

SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (1)

(McKinnon, Walker & Davis, 2000)

O referencial de satisfação do estudante, supervisiona as suas avaliações, a sua aprendizagem e a sua satisfação geral com a avaliação, através da aplicação de questionários após a conclusão do curso.

Estes dados apenas fornecem informações relativos à satisfação dos alunos e não indicadores de qualidade.


Reconhecer que a avaliação do aluno influencia a sua aprendizagem, faz com que ela permaneça no centro do processo de concepção (design) do currículo e seja um elemento central na experiência de aprendizagem do aluno.

Os professores e os designers precisam de uma base de princípios para a concepção de novas formas de avaliação, alinhados com os objectivos instrucionais e utilizando os recursos interativos da tecnologia online.

(American Psychological Association, 1993)

(Ramsden, 1992; Biggs, 1999)


Processos autênticos e válidos, adequados a

ambientes de educação a distância e online

NOÇÃO DE QUALIDADE

Satisfação dos alunos com os processos de

avaliação

Orientações sobre práticas a adoptar na

concepção (design) da avaliação educativa


Os problemas relacionados com a qualidade estão ligados à infra-estrutura, execução e prestação de serviços aos alunos, demonstrando o panorama dos sistemas que precisam de estar no local para permitir a avaliação que deve ser gerida a nível institucional.


Este modelo influência a qualidade do ensino e da aprendizagem.

Collis e Moonen (2001)

Modelo de 4 dimensões

Pedagogia

Planeamento institucionalImplementação

Tecnologia


A concepção (design) é um factor de qualidade porque... o A multiplicidade de abordagens torna

o ensino mais eficiente (Sfaard, 1998; Spector, 2000).

o A satisfação do aluno não pode ser a única referência para avaliar a qualidade.

o É preciso fornecer uma base aos professores e designers curriculares para conceberem novas formas de avaliação articuladas com os objectivos instrucionais e a potencialidade interactiva das tecnologias online.

o A avaliação que promove a aprendizagem deve fazer parte do processo de design curricular.

Mas...Os modelos de ensinoonline não apresentam directrizes sobre as práticas e processos curriculares que podem ser desenvolvidos.

HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS DE AVALIAÇÃO NA WEB? (1)

Laurillard (1993) afirma que a aprendizagem suportada pelas novas tecnologias promove:

a auto-aprendizagem e autonomia;

a flexibilidade e diversidade na avaliação;

o desenvolvimento de competências sociais através do aumento da literacia;

uma maior produtividade e eficiência no ensino superior.

As Tecnologias de Informação e Comunicação (TIC) estão cada vez mais integradas no ensino superior.


Quais as percepções dos alunos sobre as novas tecnologias e o seu valor na aprendizagem? Alexander e Mckenzie (1998) concluem que:

a tecnologia influencia o comportamento dos alunos e o modo como aprendem;

a tecnologia facilita a comunicação e as relações entre os alunos;

anteriores experiências de aprendizagem e ensino influenciam a aceitação de novas abordagens pelos alunos (aplicando-se ou não a tecnologia);

ganhos consideráveis de aprendizagem não são sentidos pelos alunos como consequência da utilização da tecnologia.

As oportunidades de aprendizagem nem sempre se traduzem em resultados de aprendizagem.


Estas novas actividades de aprendizagem e abordagens ao currículo, levam à adopção de práticas de avaliação inovadoras e é uma questão de grande importância para os educadores online e designers instrucionais.

A adopção das TIC não implica a mudança pedagógica, embora os ganhos de aprendizagem não possam ser provados, os alunos permanecem optimistas sobre a integração da tecnologia e referem que vivenciam novas formas de aprendizagem e novos tipos de contactos por parte dos professores, e que ocorrem novos recursos e actividades de aprendizagem.


O modo como as novas tecnologias são integradas no ensino determina o seu valor. Ainda não é possível comprovar com estudos as sua vantagens, mas já se pode verificar que:

• "Students experience new forms of learning, that instructors are making new types of contacts with their students and that new resources and types of learning activities are occurring.“

(Collis e Moonen, 2001)

Alexandre e McKenzie (1998) consideram que a adoção de tecnologia inovadora levam à melhoria de atitudes de aprendizagem por parte dos estudantes, do acesso ao ensino, de oportunidades de interacção e desenvolvimento da literacia da informação.

ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA OU “REEMBALAGEM”? (1)

Um aluno auto-direccionado e autónomo significa que o aluno assume mais responsabilidade pela sua própria aprendizagem.

Aplicado à avaliação, o pluralismo da tecnologia proporciona aos estudantes a possibilidade de demonstrarem compreensão e competências associadas à vida real.

As tecnologias da informação contribuem para a qualidade da aprendizagem e para a criação de ambientes autênticos de avaliação.

(Gardner, 1993; Greeno & Hall, 1997)


Shaffer e Resnick (1999) afirmam que a tecnologia pode ser usada para criar contextos autênticos de aprendizagem e oferecer recursos que dão aos alunos oportunidades em várias áreas:

Conectividade: para se ligar o mundo exterior à sala de aula, com temas de investigação que outra forma seriam inacessíveis, para contacto a especialistas e participar de conversas com os colegas;

Autenticidade: para demonstrar o desempenho em tarefas autênticas e eventos comunicar,

Pluralismo epistemológico: para expressar e representar

ideias de formas variadas.


O impacto das TIC no ensino provocou o aparecimento de novos termos para a aprendizagem.

Apesar de todas estas inovações, não há diferenças significativas nos resultados de aprendizagem em tecnologia de ambientes suportados.

Se a Internet é um ambiente propício para adopção de práticas de avaliação reformuladas e repensadas como parte de uma abordagem holística para a concepção do currículo e da pedagogia.

(Russel, 1999)


A "reengenharia pedagógica" é um pensamento que surgiu para descrever a mudança das práticas do ensino online, concentrando-se nas actividades do aluno e na aplicação dos media a cenários de ensino e aprendizagem.

Os cursos são construídos com componentes ou unidades de ensino unidos em sequências ou combinações.

Estes elementos são alterados pela tecnologia aplicada ao ensino e à aprendizagem baseada na Internet. Tornam-se mais flexíveis, concentrando-se no aluno, e levam a novas formas de avaliação.

(Collis e Moonen, 2001)

APRENDIZAGEM BASEADA NA WEB: NOVAS CONCEPÇÕES DE "CURRICULUM"? (1)

O contexto de aprendizagem online promove, através dos média, alunos participativos e produtores de conhecimento.

Há uma contribuição activa dos alunos nos recursos de aprendizagem.

A avaliação por pares (peer assessment) através da Internet é um indicador da extensão pedagógica.

Ferramentas de comunicação online, espaços de trabalho partilhados e interacção assíncrona tornam viável a aprendizagem e avaliação baseada na Rede.


Características da avaliação orientada para a aprendizagem participativa:

reconhece as contribuições/colaboração dos alunos;

contempla oportunidades para os alunos comunicarem, contribuirem e participarem na comunidade online;

reconhece os alunos como colaboradores na criação de conteúdos dos cursos e produtores de conhecimento.


As tecnologias online e aprendizagem baseada na Web têm levado a uma reconceptualização da aprendizagem, pedagogia e da avaliação.

Collis e Moonen (2001) propõem um modelo de contribuições orientadas do aluno, enfatizam a atividade de aprendizagem e participação em comunidades de aprendizagem. O aluno é activo e participativo.

This is reflected in the various theories of learning, which emphasise learning activity, participation in communities of learning, engagement theory and the contributions-oriented. (Modelo proposto por Collis & Moonen, 2001)


As novas teorias ("student as participant approach")reconhecem que alunos participativos são produtores de recursos que partilham com os outros, responsáveis e autónomos e juntam-se em comunidades de aprendizagem.

Portanto, o ambiente online fomenta situações de aprendizagem em que ocorre a inversão de papéis, contrariamente aos modelos pedagógicos anteriores.O aluno com uma abordagem participativa, está habilitado pela tecnologia baseada na Web, a aceder aos recursos de aprendizagem, ferramentas de comunicação, bancos de dados e redes assíncronas.


Este modelo de aprendizagem afasta as abordagens orientadas para a transmissão e incentiva a aprendizagem activa, onde o aluno cria produtos e recursos que podem ser reutilizados e partilhados com outras pessoas.

Esta abordagem pode ser aplicada à avaliação, por isso torna-se menos centrada no professor (teacher dominated) e mais flexível, dando maior autonomia e responsabilidade ao aluno.

As actividades de auto-avaliação entre colegas-pares, permite aos alunos assumir um papel participativo, crítico e colaborador, criando portefólios online, partilhando ideias e revendo trabalho pelos pares.

A avaliação é integrada com os processos de aprendizagem e performance em situações reais por oposição ao conhecimento inerte.

(Wiggins, 1998)

Avaliação autêntica ou de Performance em Ambientes de Aprendizagem Construtivista:

Permite tanto avaliar a autenticidade como também a performance em termos de produção de conhecimento;

É suportada através dos canais de comunicação tanto para trabalho de grupo, reflexão, ordenação de ideias e aprendizagem auto-direccionada.

(Scardamalia & Bereiter, 1992, Birenbaum, 1999, Reeves, 2000)

AVALIAÇÃO ALTERNATIVA USANDO A TECNOLOGIA (baseada no construtivismo) (1)

Em Ambientes de Aprendizagem Construtivista há:

Interacção social;

Comunicação;

Troca de ideias;

Colaboração e participação no sentido de responsabilização no processo de aprendizagem através de tarefas centradas no aluno.

Segundo esta teoria, o aluno domina a construção do seu conhecimento.

O CONSTRUTIVISMO (1)

Em Ambientes de Aprendizagem Construtivista dá-seenfâse a:

Autenticidade (a aprendizagem dá-se em contextos actuais relacionados com tarefas reais);

Trabalho de Grupo (interacção social e feedback essenciais para a comunicação orgânica de ideias);

Controlo do estudante (o estudante é activo na definição e negociação das tarefas);

"Aprendizagem Acompanhada" (os estudantes são acompanhados e auxiliados no processo de aprendizagem passando de inexperientes para peritos).


A Tecnologia e o uso da Web vieram...

... acelerar os paradigmas da avaliação, visto que permitem lidar com várias ferramentas possibilitando um vasto número de actividades, tarefas, participação em fóruns, partilha de ideias, diálogo entre alunos;

"... a combination of qualitative and quantitative assessment tasksthat use multiple modes of showcasing student achievement throughportfolios, multimedia, projects, skills demonstrations and teamwork." (Kendle & Northhcote, 2000);

... permitir o suporte de processos de aprendizagem tais como comunicação, trabalho de grupo e trabalho colaborativo na resolução de problemas.


Aos alunos de final de ano do curso Interactive Multimedia, Edith Cowan University, é solicitado que desenvolvam competências em: Managing the Design and Development of Client Web Sites.

Quanto ao "Project Management Methodologies" (Unit IMM 3228/4228), temos um universo de 82 alunos que têm de:

- formar equipas e construir um portfólio electrónico (as equipas serão compostas por programadores, designers gráficos e gestores de projecto);- negociar com o tutor o seu tópico de projecto que irá visar uma "necessidade real" de um cliente.

APRESENTAÇÃO DE ESTUDO CASO

OBJECTIVO DO PROJECTO

Que os alunos experienciem temáticas de gestão de

projecto que ocorrem quando lidamos com "clientes reais" em "projectos reais".

Contribuição e participação significativa no projecto multimédia apresentado pela equipa;

Análise critica da gestão do projecto relativamente ao projecto multimédia da equipa;

Avaliação formativa do produto multimédia;

Análise das metodologias de implementação intencionadas para o produto e, onde seja relevante, uma previsão das alterações organizacionais e culturais que o produto pode vir a gerar aquando da sua implementação.

ELEMENTOS A INCLUIR NO PROJECTO

O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA TAREFA (1)

O desenvolvimento de competências de gestão de projectos transferíveis para contextos do mundo real significa que os alunos têm de assumir mais responsabilidade pela sua aprendizagem, mas muitos precisam de auxílio para alcançarem essas competências. O desenvolvimento de competências profissionais está ligado à criação de um ambiente de aprendizagem baseado em projectos.

As actividades dos alunos foram realizadas em grupos e equipas. Este estilo de aprendizagem baseada em problemas envolve uma série de actividades e tarefas que parecem oferecer um suporte robusto para o desenvolvimento de uma série de competências-chave.


De acordo com a Fig. 1, as actividades projectadas incluíam:


1. Para ajudar a obter um compromisso, foi pedido aos alunos que firmassem um "contrato de estudante" online, no início do semestre, assinado por eles, pelos membros da sua equipa e pelo tutor. O contrato atribuía aos alunos as responsabilidades necessárias para o desenvolvimento do website das equipas e das tarefas semanais.

2. Foi pedido às equipas que executassem tarefas de resolução de problemas semanalmente, o que exigia aos alunos a pesquisa de informação numa variedade de fontes que reflectem o estado-de-arte do conhecimento sobre gestão de projectos.


3. Tendo resolvido os problemas semanais, foi pedido às equipas que procedessem à avaliação inter-equipas. Foi-lhes solicitado que avaliassem as soluções das outras equipas e que defendessem as classificações atribuídas com comentários baseados em critérios válidos.

4. Semanalmente os alunos tinham que elaborar uma avaliação intra-equipa (Fig. 2). Os alunos avaliaram o seu próprio progresso, bem como o dos seus pares, fornecendo informação confidencial aos tutores através do sistema online.


5. Reflexão pessoal sobre a tarefa e o processo - cada aluno manteve um diário reflexivo em que os pontos de vista pessoais do progresso dos

conhecimentos e competências foram registados.


6. A fim de construir o website (e criar soluções para os problemas semanais), foi exigido um alto nível de colaboração. As equipas tiveram que partilhar a carga de trabalho, a execução de tarefas separadas e manter prazos apertados e os horários de uma semana para a seguinte.

IMPLEMENTAÇÃO DE AVALIAÇÃO INTERACTIVA/ORIENTADA PARA O PRODUTO (1)

Neste artigo, retratámos os principais elementos de uma abordagem à avaliação que oferece oportunidades para o envolvimento dos alunos, a participação e a contribuição para o conteúdo do curso.

As características desta forma de avaliação incluem a avaliação de desempenho, que exige que os estudantes criem um produto, o envolvimento no trabalho em equipa e os elementos de auto-avaliação e avaliação entre pares.

Laurillard (1996) combina a noção de affordances dos media e de re-engenharia pedagógica e aplicou-as aos cursos da Universidade Aberta. A noção de affordance examina cada um dos media e como estes podem fornecer uma forma diferente de interacção.


Quatro modos são identificados: atendimento, prática, discussão e articulação. Na concepção da tarefa de avaliação, o nosso objectivo era diminuir o atendimento e aumentar cada uma das outras formas de interacção. Isto significou aplicar a noção de aluno como participante e como contribuinte activo para os processos de aprendizagem e avaliação da unidade.


A Tabela 3 mostra como a actividade do aluno e os processos de

avaliação foram integrados em formas participativas de avaliação:


No final do semestre, a unidade foi avaliada com um questionário Course Experience Questionnaire (CEQ), bem como com uma sessão de entrevista grupo. Os resultados foram muito positivos.

Os comentários dos estudantes favoreceram fortemente a natureza autêntica da unidade e foram altamente motivados pela "relevância" que podiam encontrar no desenvolvimento dessas competências para a indústria.

DIRECÇÕES FUTURAS PARA A QUALIDADE NA AVALIAÇÃO ONLINE(1)

A julgar pela tendência actual, a aprendizagem e a formação baseadas na web continuarão a expandir-se com o crescimento dos mercados. Neste cenário, é provável que a garantia da qualidade de processos de avaliação online se irá intensificar, com procedimentos de benchmarking desenvolvidos para comparar o desempenho do aluno para os padrões da indústria.

DIRECÇÕES FUTURAS PARA A QUALIDADE NA AVALIAÇÃO ONLINE(2)

Os benchmarks devem ser transparentes para os alunos e devem representar expectativas e comportamentos autênticos, ao invés do conhecimento abstracto descontextualizado. Estas tendências imediatas estão a surgir no ensino superior e terão impacto sobre a concepção da avaliação.

Outras inovações mencionadas neste artigo dizem respeito a uma reconceptualização do currículo como participativo, com os alunos contribuindo com recursos em vez do conteúdo ser indicado.

Essa ênfase na construção do conhecimento e na participação já motivou um maior foco na avaliação autêntica, que reflecte melhor o desempenho no mundo real.

AS NOSSAS CONSIDERAÇÕES FINAIS...

Ainda não é possível dar todas as respostas às questões relacionadas com os procedimentos de avaliação em contexto online, mas as formas de aprendizagem convencionais precisam de ser redefinidas, sobretudo numa época em que o desenvolvimento de novas tecnologias e técnicas online atinge uma velocidade que pode não estar a acompanhar a qualidade da aprendizagem.

As oportunidades de aprendizagem (inovação, experimentação e estudo reflexivo) que estas tecnologias criam evidenciam a urgência em existirem modelos educativos mais complexos que representem as necessidades dos alunos integrados em diferentes contextos, em particular o e-learning.

Portanto, a revisão dos elementos da avaliação e a reflexão sobre as suas consequências ajudam a criar uma consciência para o aperfeiçoamento de práticas, princípios e medidas de qualidade para uma avaliação online adequada.

BIBLIOGRAFIA

CATHERINE, McLoughlin; LUCA, Joe (2001): "Quality in online delivery: What does it Mean for assessment in E-learning Environments?" ASCILITE 2001 Conference proceedings. Disponível em http://ascilite.org.au/conferences/melbourne01/pdf/papers/mcloughlinc2.pdf

(acedido em 2010-01-02)

http://ascilite.org.au/conferences/melbourne01/pdf/papers/mcloughlinc2.pdf

http://ascilite.org.au/conferences/melbourne01/pdf/papers/mcloughlinc2.pdf