avalia: software para avaliar a aprendizagem em … · 2015-01-22 · aprendizagem o aluno esta, ou...

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

- 1 -

AVALIA: SOFTWARE PARA AVALIAR A APRENDIZAGEM EM AMBIENTES VIRTUAIS DE ENSINO

Lanylldo Araujo dos Santos1 (UEMA.) Luís Carlos Costa Fonseca2 (UEMA.)

Lidinalva de Almada Coutinho3 (UEMA

Resumo: Este trabalho propõe estudar a possibilidade de automação do processo de avaliação da aprendizagem escolar, utilizando os dados obtidos a partir da análise de provas com o uso da Teoria de Resposta ao Item. O interesse em pesquisa sobre esta temática vem ao encontro de utilizar os recursos computacionais para auxiliar os educadores durante o processo de criação e analise das avaliações. O software AVALIA, criado durante esta pesquisa, disponibiliza para os docentes: interfaces para cadastrar e editar as prova e fornecer relatórios sobre os níveis de proficiências e habilidades dos alunos. Para os discentes, a ferramenta oferece um ambiente para realização dos testes e acesso as mensagens de feedback, que são enviadas pelo software.

Palavras-chave: informática na educação, Avaliação da aprendizagem, software educacional. Abstract. This paper proposes to study the possibility of automating the assessment of school learning process, using data obtained from the analysis of evidence with the use of Item Response Theory. The interest in research on this topic is in line to use computational resources to assist educators in the process of creation and analysis of ratings. The ASSESS software created during this study provides for teachers: interfaces for registering and edit the test and provide reports on the levels of skills and abilities of students. For students, the tool provides an environment for testing and access feedback messages that are sent by the software. Palavras-chave: information technology in education, evaluation of learning, educational software.

1 Lanylldo Araujo dos Santos, Licenciado em computação.

Universidade Estadual do Maranhãi (UEMA) Departamento, Engenharia da Computação E-mail: [email protected]

2 Dr. Luís Carlos Costa Fonseca, Professor adjunto do Departamento de Engenharia da Computação

Email: [email protected] 3 Ma. Lidinalva de Almada Coutinho, Professora do Departamento de Matemática.

Email: [email protected]

mailto:[email protected]

mailto:[email protected]


- 2 -

Introdução

Na escola, o processo de humanização do homem acontece por meio

das atividades pedagógicas desenvolvidas na sala de aula, que buscam criar

condições favoráveis para a aprendizagem dos conceitos científicos. Pois, o

conhecimento científico representa a cultura produzida por uma sociedade, e

é através dele, que o homem adquire condições para desenvolver habilidades

como a escrita e a fala, utilizadas na interação do homem com a sociedade e

consequentemente com a cultura.

Nesse sentido, o ensino de qualidade ofertado pela escola torna-se

imprescindível para o desenvolvimento humano, pois é através da apropriação

dos conceitos científicos que o homem se desenvolve. Diante disso, surge a

seguinte inquietação, como garantir que o ensino e a aprendizagem sejam

realizados com excelência e qualidade na escola?

A avaliação deve ou pode subsidiar um modo eficiente de fazer o

ensino, se for utilizada como fundamento das decisões tomadas para

direcionar o aprendizado e consequentemente o desenvolvimento do aluno.

Por meio da avaliação, é possível incluir o estudante no sentido adequado a

sua aprendizagem, respeitando os seus níveis de proficiência. E, ainda

verificar se, a ação pedagógica corresponde adequadamente às intenções

buscadas pelo educador, com isso, o professor poderá constatar como as

atividades pedagógicas que estão sendo desenvolvidas na sala de aula, estão

contribuindo para a aprendizagem dos discentes. Dessa forma, portanto, a

avaliação constitui-se um importante recurso didático e pedagógico para

garantir a democratização do ensino, através da excelência no processo de

ensino e aprendizagem ofertado na escola.

Nessa perspectiva da avaliação para garantir a democratização do

ensino, no Brasil são realizados periodicamente programas de pesquisas

educacionais sobre o rendimento dos alunos. Uma das instituições de destaque


- 3 -

nacional que realiza esses programas é o INEP - Instituto Nacional de Estudos

e Pesquisas Educacionais Anísio Teixeira, que têm como missão promover

estudos, pesquisas e avaliações sobre o sistema educacional brasileiro, estas

pesquisas são utilizadas pelo governo federal para subsidiar a formulação de

políticas na área da educação, mediante a elaboração de diagnósticos e

recomendações decorrentes da avaliação do ensino na educação básica e

superior.

Buscando cumprir seus objetivos, o INEP realiza levantamentos

estatísticos em todos os níveis e modalidades de ensino, a partir da aplicação

de provas que utilizam como fundamento teórico para desenvolvimento das

questões a Teoria de Resposta ao Item – TRI. A TRI é referência na criação e

análise de testes, no Brasil é utilizada nas provas do ENEM – Exame Nacional

do Ensino Médio, realizado pelo INEP, na Prova Brasil realizada pelo SAEB –

Sistema Nacional de Ensino Básico, e ainda, nas avaliações do SARESP –

Sistema de Avaliação de Rendimento escolar do Estado de São Paulo.

No entanto, a TRI também pode ser utilizada no âmbito do cotidiano

escolar, ou seja, os educadores podem recorrer a essa metodologia de criação

de testes, para subsidiar o desenvolvimento das atividades docentes na sala

de aula, porém quando a TRI é utilizada por um grupo de educadores em uma

escola todo o processo de criação, aplicação e análise dos resultados dos

testes, fica na responsabilidade destes professores. E, junto a essas

atribuições, os educadores das escolas públicas brasileiras ainda devem

desempenha todas as suas atividades de rotina como ministrar aulas nos três

turnos, para várias turmas que na maioria das vezes possuem grande

contingente de estudantes.

Diante dessa problemática, essa pesquisa propõe estudar a

possibilidade de automação do processo de avaliação da aprendizagem

escolar, utilizando os dados obtidos a partir da análise de provas com o uso da

Teoria de Resposta ao Item.


- 4 -

Sendo assim, nosso interesse em pesquisa sobre esta temática no

âmbito do espaço escolar, vem ao encontro de através dos recursos

computacionais (Banco de Dados, Agentes de Softwares, criação de interfaces

em HTML e programação na linguagem PHP) utilizados no desenvolvimento dos

testes, esperamos contribuir com os docentes na criação e analise das provas,

por meio da implementação do software AVALIA para gerenciar a criação das

avaliações, bem como, fornece relatórios sobre os níveis de proficiências dos

discentes. Para o discente, a ferramenta propicia um ambiente virtual para

realização das avaliações e acesso as mensagens de feedbacks com indicações

referencias de arquivos da internet.

Por fim, convém citar que o AVALIA foi utilizada para gerenciar os

dados coletados em uma teste aplicado no Centro de Estudos Superiores de

Caxias da Universidade Estadual do Maranhão (CESC/UEMA) com os discentes

do curso de Matemática Licenciatura.

1 FUNDAMENTAÇÃO TEÓRICA

Avaliação da educação escolar

É certo que o ato de avaliar é uma das atividades docentes de maior

complexidade e segundo (PERRENOUD, 1999), vem sendo utilizada desde o

século XVII d.c e torna-se indissociável do ensino de massa que conhecemos

desde o século XIX, com a escolaridade obrigatória.

A avaliação tem profundas influências nas orientações pedagógicas da

escola, pois como explica (PERRENOUD, 1999), ela deve ser utilizada como

ferramenta para regular a atividade docente, buscando mais qualidade no

processo de ensino e aprendizagem. Sobre isso, (LUCKESI, 2006) enfatiza na

sua obra que, a avaliação deve ou pode subsidiar um modo eficiente de fazer


- 5 -

o ensino, se for utilizada como fundamento das decisões tomadas para

direcionar o aprendizado e consequentemente o desenvolvimento do aluno.

Desse modo, o conceito de avaliação para a aprendizagem é definida

por (LUCKESI, 2006), como um ato crítico que subsidia o educador na analise

de como esta sendo construindo o seu projeto político pedagógico, já que a

partir da avaliação, o educador pode conhecer: quais as consequências

geradas pelo trabalho docente na sala de aula.

Nesse sentido, Perrenoud (2000) bem explica a avaliação como um

recurso pedagógico imprescindível para fundamentar as decisões futuras dos

educadores sobre a prática pedagógica em que estão atuando e ainda é

através dela que os professores podem criar novas estratégias de ensino, em

outras palavras, a partir da avaliação o professor tem recursos para fazer uma

analise sobre todas as suas atividades desenvolvidas em sala, buscando

conhecer qual o impacto das suas ações no processo de aprendizagem.

Logo, entende-se que durante o processo de ensino e aprendizagem é

essencial á realização da avaliação na prática educacional, porque é através

da coleta de informações sobre as proficiências dos discentes que podemos

verificar se o trabalho docente esta proporcionando meios para a

aprendizagem dos conceitos transmitidos pelos professores(as).

Avaliação e democratização do ensino

Não há como negar que, a democratização do ensino, está

condicionada à expansão da aprendizagem com qualidade dos conceitos

científicos ensinados pela escola. Para viabilizar esta democratização Luckesi

(2006) recomenda a aplicação da avaliação diagnóstica, como um recurso

pedagógico imprescindível para os educadores, pois é através da sua aplicação

que a escola tem conhecimento se o trabalho docente está sendo eficiente e


- 6 -

quais desvios estão ocorrendo. Dessa forma é possível saber em qual nível de

aprendizagem o aluno esta, ou seja, conhecer qual (ais) habilidade(s) o

discente já possui e qual (ais) ele ainda não aprendeu.

Luckesi (2006) ainda explica que, a avaliação tem a função de

informar o professor(a) sobre em qual estágio da aprendizagem o discente se

encontrar, e com isso, o docente poderá orientar o discente no sentido

adequado a sua aprendizagem. Desse modo, o professor(a) tem como garantir

a excelência na aprendizagem, por meio de um ambiente propício ao

desenvolvimento do processo de ensino e aprendizagem dos alunos/alunas.

Diante do contexto apresentado, compreendemos a relevância da

avaliação como uma fonte de informações utilizadas pelos educadores(ras)

para orientar os discentes no curso adequado da sua aprendizagem

respeitando os seus níveis de proficiências. Dessa maneira é a partir da

avaliação que o professor poderá constatar como as atividades pedagógicas

que estão sendo desenvolvidas na sala de aula, estão contribuindo (ou não)

para a aprendizagem dos alunos/alunas.

Teoria de resposta ao item

A Teoria de resposta ao item (TRI) é metodologia para a criação de

provas capazes de suprir as limitações da teoria clássica dos testes (TCT).

Algumas dessas limitações correspondem ao fato de a TCT não possui recursos

para: informar aos pesquisadores qual a capacidade de um item discriminar

sobre as aptidões de uma pessoa e ainda identificar quando o testando acerta

uma questão sem ter o mínimo de conhecimento exigido, ou seja, a

probabilidade de um indivíduo responder uma questão ao acaso (chute).

No Brasil, a TRI vem sendo usada desde 1995 na análise das provas

aplicadas pelo Sistema Nacional de Ensino Básico – SAEB. Com o sucesso do


- 7 -

uso da teoria pelo SAEB, outras grandes instituições se interessaram como

SARESP – Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo,

uma lista com as pesquisas e publicação da TRI no Brasil pode ser encontrado

em (MOREIRA, 2010).

Definição de TRI

A Teoria de Resposta ao Item é conceituada por Andrade (1999) como

um conjunto de modelos matemáticos que procuram representar a

probabilidade de um indivíduo dar uma certa resposta a um item como função

dos parâmetros do item e das proficiências do respondente. Essa relação é

sempre expressa de tal forma que quanto maior a habilidade, maior a

probabilidade de acerto no item.

Indo em direção ao conceito de TRI de Andrade (2000), Valle (1999)

explica a teoria de resposta ao item como sendo uma teoria de criação de

avaliações que objetiva identificar as proficiências, ou seja, os conhecimentos

que uma pessoa possui. Essa identificação é estimada a partir da analise feita

nas respostas dadas por um aluno no teste, pois quando um discente acerta

um item, significa que ele já aprendeu os conceitos abordados naquele item.

Desse modo se torna imprescindível que a TRI calcule a probabilidade

de uma questão ser acertada pelo educando, sem ele ter conhecimento para

respondê-la, para que as informações coletadas durante o processo de

avaliação possam ser consideradas confiáveis.

Modelo matemático de três parâmetros

A Teoria de Resposta ao Item é formada por vários modelos

matemáticos, e por isso pode ser utilizada em diversas áreas como: serviços,


- 8 -

gestão pela qualidade total, qualidade de vida, avaliação de intangíveis nas

organizações, usabilidades em sites e e-commerce e outros (TEZZA, 2009). No

entanto nesta pesquisa foi utilizado o Modelo Logístico (Matemático) de Três

Parâmetros (ML3), porque o objetivo de estudo deste trabalho está centrado

na análise de questões objetivas, para identificar quais as proficiências e

habilidades dos discentes.

A fórmula para se calcular o ML3 conforme explica (ANDRADE et al

2000) usa como variáveis cada um dos três parâmetros existentes neste

modelo que são: a dificuldade de um item, a capacidade de um item

discriminar sobre a aptidão do testando, e a probabilidade de acerto ao acaso

de um item. A fórmula usada para calcular estes parâmetros é:

Onde:

- 8 -D- 8 -Dd- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -䭚⪨Ƹɜ- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -

- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 - P é a probabilidade de um indivíduo j com habilidade y

responder corretamente o item i e é chamada da Função Resposta do Item – FRI.

b é o parâmetro de dificuldade (ou de posição) do item i, medido na mesma escala de habilidade.

a é o parâmetro de discriminação (ou de inclinação) do item i, isto é, identifica a capacidade do item de informar sobre as proficiências do testando.

c corresponde ao parâmetro do item em representa a probabilidade de indivíduos com baixa habilidade responderem corretamente o item i, ou seja, com esta variável é possível ter noção se o sujeito acertou a questão por acaso (chute).


- 9 -

Agentes de software

Na literatura, o termo agente vem sendo discutido em diferentes

grupos de pesquisadores e ainda não existe um consenso sobre a definição de

agente. Nesta pesquisa temos como referencial teórico os estudos de

inteligência artificial desenvolvidos por Norvig e Russell (2003), que definem

um agente de software como sendo tudo o que pode ser considerado capaz de

perceber seu ambiente por meio de sensores e de agir sobre esse ambiente

por intermédio de atuadores.

Na perspectiva de Norvig e Russuell sobre o conceito de agentes,

convêm explicar que ambiente: trata-se da plataforma em que o agente esta

desenvolvendo todas as suas atividades, sensores: refere-se à capacidade dos

agentes tem de captar informações de um ambiente, e os atuadores:

significar que os agentes podem a partir de informações coletadas pelos

sensores criar ações a serem executadas no Ambiente.

Nesse sentido (GARCIA, 2005) explica que os agentes são personagens

computacionais que atuam de acordo com um script definido por um

desenvolvedor de software, entretanto, a complexidade utilizada na

programação de um agente é o que o diferencia dos demais algoritmos. Sobre

isso, (HUNS e SINGH 1997 apud GARCIA, 2005) cita duas características que

contribuem para a conceituação de um agente. São elas: Autonomia de

decisão onde em uma determinada situação (problema), os agentes criam

várias alternativas (soluções) e escolhem a melhor opção para alcançar seu

objetivo de resolver o problema, e a segunda a Autonomia de execução onde

os Agentes desenvolvem suas ações em um ambiente sem a intervenção de

seres humanos;

Portanto, podemos perceber, tanto na definição dada por Norvig e

Russell (2003), e nas particularidades de um agente apresentadas por Garcia


- 10 -

(2005), os agentes são algoritmos que a partir de uma complexa estrutura de

dados podem ter funções ou capacidades semelhantes às de um ser humano e

é justamente esta peculiaridade que os diferencia dos demais softwares.

2 MATERIAIS E MÉTODOS

Para concretização desta pesquisa faz-se necessário o uso de uma

metodologia que, na visão de Richardson (2010), são procedimentos e regras

utilizadas por determinado método. De acordo com Pacheco Junior et al.

(2007), através do método pode-se chegar a determinado objetivo. Desse

modo, compreende-se que método é a forma de proceder ao longo de um

caminho, seguindo os diferentes processos necessários para atingir um

determinado fim. Nesta seção, delineia-se o aporte metodológico utilizado

para implementação desta pesquisa, bem como o desenvolvimento da

sistemática proposta e análise estatística da situação.

Caracterização da Pesquisa

Essa pesquisa é do tipo teórico-aplicada, pois visa propor, aplicar e

validar uma sistemática para a implantação de um sistema de Avaliação

utilizando a TRI. Gil (2010) considera que o objetivo da pesquisa aplicada é

gerar conhecimentos com o propósito de aplicá-los em uma determinada

situação.

Entretanto, é uma pesquisa é do tipo quantitativa, pois utiliza

perguntas baseadas em instrumento, dados de desempenho e análise

estatística para o tratamento dos dados (GIL,2010). Richardson (2010)

consideram que o método quantitativo é amplamente utilizado na condução

das pesquisas, representando a intenção de garantir a precisão dos resultados


- 11 -

e evitar distorções de análise e interpretação, possibilitando uma margem de

segurança quanto às inferências.

Assim sendo, na visão de Gil (2010), temos uma pesquisa exploratória

porque utiliza pesquisa bibliográfica Gil (2010) ressalta que, “pesquisas

exploratórias são desenvolvidas com o objetivo de proporcionar visão geral,

de tipo aproximativo, acerca de determinado fato”. Portanto, visa

proporcionar maior familiaridade com a questão, com vistas a torná-lo mais

explicito, facilitando a construção de hipóteses. Com o objetivo de

proporcionar melhor entendimento do tema estudado. Realizou-se uma

pesquisa bibliográfica sobre TRI, onde a mesma é utilizada na elaboração de

uma sistemática para a implementação de uma ferramenta avaliativa, levando

em consideração a problemática apresentada.

Dessa forma, essa pesquisa compreende os procedimentos técnicos de

pesquisa bibliográfica, pelo levantamento de referências relacionadas a:

teoria de resposta ao item, avaliação da aprendizagem e os conceitos de

agente de software. Também são utilizados procedimentos experimentais,

pela utilização do software AVALIA nas simulações e análises de dados

coletados, a partir da aplicação de testes nos discentes do curso de

Matemática Licenciatura do CESC/UEMA.

Etapas da Pesquisa

O desenrolar deste trabalho aconteceu obedecendo três fases

centrais, sendo a primeira, a realização de uma breve revisão da literatura, a

segunda o modelagem e desenvolvimento da ferramenta AVALIA, e por fim,

analise dos relatórios criados pelo AVALIA a partir da aplicação de testes junto

aos discentes do Curso de Matemática Licenciatura do CESC/UEMA.


- 12 -

O inicio deste trabalho aconteceu com uma breve revisão da literatura

onde foi discutido a avaliação em uma perspectiva de subsidiar as decisões

tomadas pelos educadores na sala de aula, e para garantir a eficiência e

qualidade do ensino ofertado pela escola. Essa revisão literária representa

parte da fundamentação teórica desta pesquisa, e contribuiu para a criação

dos algoritmos do Agente de Software.

Por exemplo, os relatórios de desempenhos que foram criados, pois,

segundo (LUCKESI, 2006, p.93), (ROMÃO, 2005, p.57), (PERRENOUD, 1999,

p.47) e (Coll, 2006, p.149) os professores precisam saber em qual estágio de

aprendizagem o discente se encontra e quais habilidades ela já aprendeu,

com essas informações, o educador poderá regular a atividade docente,

criando novas estratégias ou ações no processo de ensino e aprendizagem dos

discentes.

Neste sentido, também foi desenvolvido à função de feedback do

Agente de Software, que representa uma ajuda pedagógica do educador para

os discentes durante processo de avaliação, ou seja, o professor(ar) ao

identificar o nível de conhecimento dos discentes, propõem aos estudantes

que conheça alguns arquivos que irão lhe ajudar na aprendizagem de novos

conceitos. Estas mensagens são inseridas na ferramenta junto ao cadastro das

questões, sendo que para cada questão existirá um feedback.

Desse modo, as mensagens podem ser anexadas pelos educadores

utilizando diversos tipos de arquivos como: links de páginas na web, vídeo,

links áudio, documentos nos formatos txt e pdf. Ainda existe a possibilidade

do docente redigir um texto para explicar o conteúdo trabalhado na questão,

por conta disso, a interface para criação de sugestões foi planejada levando

em consideração as principais funções de um edito de texto, onde o professor

poderá usar recursos como: definir tamanho e tipo da letra, alinhamento do

texto, possibilidade de inserção de formulas matemáticas, imagens e vídeo. A


- 13 -

figura 1 mostra a interface utilizada pelos professores para cadastrar o

feedback.

Na sequência, o trabalho também proporcionou uma revisão da Teoria

de Resposta ao Item, com ênfase na explicação do Modelo Logístico de Três

Parâmetros, utilizado na analise de provas objetivas. E, ao fim da

fundamentação teórica expomos, as considerações sobre as principais

características sobre a tecnologia de Agente de Software.

Após a revisão da literatura, a pesquisa entra na etapa de criação e

modelagem do software. Nesta fase, foram criados os casos de uso, bem como

o diagrama da arquitetura do software, onde todas as funções da ferramenta

foram documentadas. Para a criação dos casos de usos levou-se em

consideração os princípios da UML (Unified Modeling Language), que segundo

BOOCH (2005), é uma linguagem padrão para a elaboração da estrutura de

projetos de softwares.

Sobre a arquitetura do software, convém explicar que ela está

dividida em dois módulos, o primeiro, correspondente ao sensor do Agente

que é a interface gráfica do AVALIA, esta é responsável por captar as

respostas dos discentes ao resolver um determinado item. E o segundo

módulo, corresponde aos atuadores (ações) do Agente de software que, a

partir das informações (resposta dos itens) coletadas pelos sensores, reagem

criando os relatórios contendo dados referentes às resposta dos testes, e

ainda recomendam para os discentes referencias literárias para estudo, ou

seja, os feedbacks. A figura 1 a seguir apresentar o Sensor e o Atuador do

Agente de Software.


- 14 -

Figura 1: Diagrama do Agente de software

Fonte: do autor

Desse modo, com o fim da criação do projeto contendo todas as

funcionalidades da ferramenta, o AVALIA foi criado utilizando a tecnologia

Linguagem de Marcação de Hipertexto – HTML para criação das páginas web e

a linguagem de programação PHP - Personal Home Page. Para armazenar as

informações dos discentes e docentes, bem como as provas foi utilizamos o

banco de dados MYSQL.

Ao fim da fase de desenvolvimento do software, iniciou a fase de

analise dos relatórios criados pelo AVALIA a partir da aplicação de testes junto

aos discentes do Curso de Matemática Licenciatura do Centro de Estudos

Superiores de Caxias da Universidade Federal do Maranhão CECS/UEMA.

Esta etapa teve inicio com a realização de um estudo, envolvendo os

alunos(as) do curso supracitado, que compreende uma população de 150

alunos. A amostra se constitui por 45 discentes do 6º período do curso citado

acima, realizando uma prova de 25 itens, retirados de um banco de itens do

Exame Nacional do Desempenho dos Estudantes - ENADE 2005/2008/2011, e

aplicadas em junho de 2013.


- 15 -

Nesse estudo, foi feita a análise dos itens das provas de Matemática

aplicada aos alunos do 6º período do curso de Matemática Licenciatura do

CESC/UEMA 2013, bem como, das habilidades dos indivíduos referentes à

disciplina. Ressalta-se que 45 alunos participaram dessa avaliação. As provas

de Matemática foram constituídas de 25 itens de múltipla escolha. De acordo

com temas a seguir:

Quadro 1: Itens Analisados

Item Descrição do Item

01 Operações envolvendo números racionais e área de figuras planas

02 Resolução de Equação quadrática e elementos de Geometria

03 Números decimais e sua forma racional

04 Modelagem e solução de problemas do 1º grau

05 Solução de problemas do 1º grau envolvendo figuras espaciais

06 Problemas envolvendo Porcentagem

07 Problemas envolvendo operações fundamentais

08 Investigação de dados e tabelas envolvendo números primos

09 Funções exponenciais e suas variações

10 Problemas envolvendo equações do 2º grau

11 Construções geométricas

12 Igualdade de números irracionais

13 Mudança de linguagem escrita para a linguagem Matemática

14 Soluções e discussões de Sistemas Lineares

15 Composições de funções

16 Limites de Função

17 Razão entre áreas de figuras planas

18 Números complexos na forma Polar

19 Polinômios e porcentagem

20 Aplicação da Integral definida


- 16 -

21 Funções Diferenciáveis em R³

22 Estudo das Cônicas

23 Teoria dos Números

24 Aplicação da Derivada em funções reais

25 Derivadas Parciais

Fonte: do autor

A ideia da aplicação de uma avaliação do conhecimento do conteúdo

específico do curso de Matemática Licenciatura ministrado no CESC/UEMA

nasce a partir do reconhecimento da realidade imposta pelo MEC, obrigando

os estudantes do ensino superior a submeter-se à avaliação do ENADE a cada

ciclo de três anos.

Nesse sentido, o resultado da aplicação da avaliação com o uso do

Software AVALIA torna-se um recurso pedagógico imprescindível para

fundamentar as decisões futuras dos educadores sobre a prática pedagógica

em que estão atuando, e ainda é através dela que o corpo docente do

CECS/UEMA tem meios para criar novas estratégias de ensino que busquem

incentivar a aprendizagem dos educandos e consequentemente melhore o

desempenho dos discentes nas provas do ENADE.

A análise dos dados foi feita baseada na TRI, e para a estimação dos

parâmetros do modelo da TRI, foi utilizado o software AVALIA para gerenciar

o grande volume de dados e transformá-los em informação legível, para que

possa ser utilizada pelo corpo docente da CESC/UEMA.

Nesta pesquisa, utilizou-se o software AVALIA para analisar os dados

do experimento planejado para a “turma teste 1”, abaixo encontra-se o

recorte da tela da ferramenta com as resposta do “aluno 1”. Ver figura 2.

As estatísticas da TRI são salvas no banco de dados, juntamente com

as fontes de dados originais, que podem ser exportados para um arquivos de

texto para melhor compreensão das informações.


- 17 -

Para a elaboração dos itens e aplicação do teste foram utilizadas 25

itens retirados de um banco de itens relativos às provas do

ENADE/2005/2008/2011. As questões foram escolhidas por uma equipe de

professores de Matemática do Departamento de Matemática e Física do

CESC/UEMA. A avaliação foi aplicada para 45 alunos do 6º período do Curso de

Matemática Licenciatura e teve duração de 3 horas, apresentou questões de

múltipla escolha, relativas a conteúdo específico da Área de Matemática. A

figura 2 apresenta a captura da tela com a listagem das resposta de um dos

discentes que realizou o teste.

Figura 2: Captura de tela com listagem das respostas do aluno 1

Fonte: do autor


- 18 -

Atendendo as exigências do ENADE 2011, no componente específico da

área de Matemática, utilizou como referência o perfil de um profissional

capaz de:

i) conceber a Matemática como um corpo de conhecimentos rigoroso,

formal e dedutivo, produto da atividade humana, historicamente

construído;

ii) dominar os conhecimentos matemáticos e compreender o seu uso

em diferentes contextos interdisciplinares;

iii) analisar criticamente a contribuição do conhecimento matemático

na formação de indivíduos e no exercício da cidadania;

iv) identificar, formular e solucionar problemas;

v) valorizar a criatividade e a diversidade na elaboração de hipóteses,

de proposições e na solução de problemas;

vi) identificar concepções, valores e atitudes em relação à Matemática

e seu ensino, visando à atuação crítica no desempenho profissional.

Para tanto, buscou-se investigar a formação de um profissional ético,

competente e comprometido com a sociedade em que vive. Priorizando o

domínio de conhecimentos específicos com níveis diversificados de

habilidades e competências para que evidenciem a compreensão de temas

que transcendam ao seu ambiente próprio de formação e que sejam

importantes para a realidade contemporânea.


- 19 -

Figura 3: representação da frequência das respostas dadas pelos discentes

Fonte: do autor

De acordo com a figura 4 pôde perceber que as respostas dadas pelos

alunos aos itens, foram bastante diversificadas, o que não dar para avaliar o

grupo como um todo. Entretanto, destacam-se os itens: 5, 6, 10 e 11, que

estão relacionados respectivamente aos conteúdos: solução de problemas do

1º grau envolvendo figuras espaciais; problemas envolvendo porcentagem;

problemas envolvendo equações do 2º grau e construções geométricas. Tais

itens apresentaram maior concentração de respostas em uma determinada

alternativa.

Todavia, as informações obtidas não são suficientes para afirmar que

os referidos alunos foram bem ou mal no teste. Desse modo recorre-se a


- 20 -

análise dos itens, o que garantirá uma informação mais precisa sobre a prova

aplicada.

Análise da Prova

A interpretação da distribuição das respostas dos estudantes em cada

questão da prova foi feita inicialmente a partir dos seguintes parâmetros

descritivos de cada questão:

i) índice de facilidade – proporção de participantes que responderam

ao item corretamente;

ii) correlação ponto bisserial entre a resposta correta no item e a

pontuação total na prova;

iii) a média do total de acertos dos participantes que acertaram um

determinado item.

iv)

Os resultados revelaram que a prova apresenta questões difíceis (com

índices de facilidade inferiores a 20% de acertos – questões (2, 7,13,16,17,24

e 25). De acordo com a análise realizada, a prova não apresentou questões

fáceis, pois nenhum índice de acertos foi superior a 90%. As questões difíceis

envolvem conceitos como problemas envolvendo operações fundamentais,

Limites e Derivadas parciais.

Os resultados mostram as dificuldades apresentadas pelos estudantes,

na sua maioria de conceitos básicos de matemática, havendo assim, uma

necessidade de retomada desses conceitos antes da realização do ENADE.


- 21 -

3 RESULTADOS E DISCUSSÕES

As principais contribuições deste trabalho estão relacionadas aos

recursos tecnológicos e pedagógicos do software AVALIA que auxilia o docente

no processo de criação e analise dos resultados das avaliações aplicadas. As

funções desenvolvidas para os docentes no sistema são: automação do

processo de cadastro e edição das questões e das provas, bem como acesso a

relatórios contendo informações sobre o rendimento coletivo e individual dos

discentes nos testes. A figura 4 mostrar a interface criada para cadastro das

questões:

Figura 4: Interface para cadastrar questão

Fonte: do autor

Para contribuir com os discentes, a ferramenta desenvolvida oferece:

uma interface interativa para realização das provas, mensagens de feedback

contendo referências literárias que estão de acordo com estágio de

aprendizagem do aluno(a). Estas mensagens são enviadas pelo Agente de


- 22 -

Software, automaticamente, após o discente finaliza um teste, e ainda acesso

ao relatório individual de desempenho do discente na prova.

O AVALIA ainda disponibiliza outros recursos computacionais. São eles:

um banco de dados que armazena as informações dos usuários, todas as

provas, resultados e relatórios dos testandos. E ainda foi implementado um

módulo para gerenciar o cadastro e edição de todos os discentes e docentes

que utilizam a ferramenta.

4 CONCLUSÃO

A ferramenta desenvolvida torna-se um importante recurso que esta a

disposição dos docentes e discentes do ensino presencial e/ou à distância. Até

o momento o software AVALIA está sendo testada e serve para oferecer

informações tanto para professor(a) como para o aluno(a), simplificando o

trabalho de correção além de prover um diagnóstico mais preciso a respeito

dos alunos.

Com a análise dos dados realizada até o momento, conclui-se que a

através da ferramenta é possível identificar problemas tanto estruturais como

de ordem pedagógica e, sobretudo reavaliar as estratégias para o alcance dos

objetivos e do perfil proposto, buscando nortear um trabalho que venha

contribuir para melhor desempenho dos graduandos.

Ressalta-se que os resultados da prova realizada não foi animador,

mas foi uma excelente oportunidade de análise para os professores do

Departamento de Matemática e Física (re)pensarem o seu fazer pedagógico e,

no coletivo, construir ações, metas, realizar intervenções pedagógicas para

elevar o desempenho dos alunos, promovendo, assim, a equidade e a melhoria

da qualidade da educação, bem como a necessidade de identificar com


- 23 -

clareza o perfil dos alunos, compreendendo a realidade em que se encontram

e os rumos que almejam atingir.

Com a análise dos dados realizada até o momento, conclui-se que o

AVALIA é um recurso tecnológico que contribui na identificação das

proficiências dos discentes, sendo assim, a ferramenta cumprir o seu papel de

auxiliar docentes durante o processo de avaliação da aprendizagem escolar.

REFERÊNCIAS

ANDRADE, Dalton; TAVARES, Heliton; VALLE, Raquel. Teoria de resposta ao Item: conceitos e aplicações. Sinape, 2000.

BOOCH, Grady; RUMBAUGH, Jame; JACOBSON, Ivan. Uml: guia do usuário. Campus, 2005

CASTRO, Maria Helena Guimarães. Sistemas de avaliação da educação no Brasil: avanços e novos desafios. Revista São Paulo em Perspectiva, São Paulo, v.23, n.1. Disponível em: <http://www.seade.gov.br/produtos/spp/v23n01/v23n01_01.pdf>. Acessado em: 17 de junho de 2013.

GARCIA, Ana Cristina Bicharra.; SICHMAN, Jaime Simão. Agentes e sistemas multiagentes. In: REZENDE, Solange Oliveira. Sistemas inteligentes: fundamentos e aplicações. São Paulo: Manole, 2005. cap. 11.p. 269-306.

GIL, A.C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, p.151, 2010;

LUCKESI, Cipriano Carlos. Avaliação da Aprendizagem Escolar: estudos e proposições. 18. ed. São Paulo: Cortez, 2006.

MOREIRA, Fernando de Jesus Junior. Aplicação da Teoria de Resposta ao Item (TRI) no Brasil. Revista brasileira de biometria, São Paulo, v.128, n.4.

NORVIG, Peter; RUSSELL, Stuart. Inteligência Artificial. Rio de Janeiro: Elsevier, 2004.

PASQUALI, Luiz; PRIMI, Ricardo. Fundamentos da teoria de resposta ao item- TRl. 2003. Disponível em: <http://pepsic.bvsalud.org/scielo.php?pid=S1677-04712003000200002&script=sci_arttext >. Acessado em: 23 de março de 2013.

http://www.seade.gov.br/produtos/spp/v23n01/v23n01_01.pdf

http://pepsic.bvsalud.org/scielo.php?pid=S1677-04712003000200002&script=sci_arttext

http://pepsic.bvsalud.org/scielo.php?pid=S1677-04712003000200002&script=sci_arttext


- 24 -

PERRENOUD, Philippe. Avaliação: da excelência à regulação das aprendizagens, entre duas lógicas. São Paulo: Artmed, 1999.

RICHARDSON, R. H. Pesquisa social: métodos e técnicas. São Paulo: Atlas, 2010;

TEZZA, Rafael.; BORNIA, Antonio Cesar. A Teoria de resposta ao item: vantagens e oportunidades para a engenharia de produção. IN: XXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 2009, Salvador. Anais... Salvador: Associação Brasileira de Engenharia de Produção, 2009.

VALLE, Raquel da Cunha. Teoria da Resposta ao Item. 1999. 136 f. Dissertação de mestrado (Programa de pós-graduação em Estatística) – Departamento de Ciências Exatas, Universidade de São Paulo, São Paulo, 1999.

avalia: software para avaliar a aprendizagem em … · 2015-01-22 · aprendizagem o aluno esta, ou...

Documents