oficina de apropriação de resultados avaliação em larga escala: conceitos básicos
TRANSCRIPT
![Page 1: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/1.jpg)
![Page 2: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/2.jpg)
Oficina de Apropriação de Resultados
Avaliação em Larga Escala:Conceitos Básicos
![Page 3: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/3.jpg)
Como funciona a avaliação em larga escala?
![Page 4: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/4.jpg)
O que é avaliado?
![Page 5: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/5.jpg)
• O conteúdo de uma avaliação é algo importante a ser definido.
• Isso tem implicações para os instrumentos da avaliação.
• A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades.
Matriz de Referência
![Page 6: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/6.jpg)
• A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município).
• Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes.
Matriz de Referência
![Page 7: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/7.jpg)
• Então quer dizer que...1. A Matriz é uma parte do Currículo.2. Ela não substitui o Currículo, apenas o resume.3. A Matriz contém apenas competências e habilidades
essenciais que podem ser medidas em testes padronizados.
4. As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo.
Matriz de Referência
![Page 8: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/8.jpg)
Matriz de Referência (1)
![Page 9: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/9.jpg)
Matriz de Referência (2)
![Page 10: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/10.jpg)
SuporteEnunciado
Comando
Alternativas de reposta
Gabarito
Distratores
O item e suas partes
![Page 11: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/11.jpg)
A Medida de Desempenho
• A produção da medida de desempenho dos estudantes pode ser feita de duas formas:
1) Teoria Clássica dos Testes (TCT).2) Teoria de Resposta ao Item (TRI).
![Page 12: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/12.jpg)
A Medida de Desempenho
1) Teoria Clássica dos Testes.– É calculada de uma forma muito próxima das notas
dadas pelas avaliações realizadas pelo professor.– Consiste, basicamente, no percentual de acertos em
relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.
![Page 13: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/13.jpg)
A Medida de Desempenho
2) Teoria de Resposta ao Item:– produz uma medida mais robusta do desempenho
dos estudantes porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.
– A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.
![Page 14: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/14.jpg)
Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd
Como os testes são corrigidos?
![Page 15: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/15.jpg)
2 + 2
2 x 3
2/7³
2² x (√3)
Como os testes são corrigidos?
![Page 16: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/16.jpg)
Como os testes são corrigidos?
http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/
![Page 17: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/17.jpg)
Como são montados os testes?
Itens Organizados em blocos Distribuídos em várioscadernos
![Page 18: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/18.jpg)
Como são montados os testes?
![Page 19: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/19.jpg)
100 200 300 400 500
Como são montados os testes?
![Page 20: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/20.jpg)
100 200 300 400 500
Como são montados os testes?
![Page 21: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/21.jpg)
100 200 300 400 500
Como são montados os testes?
![Page 22: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/22.jpg)
100 200 300 400 500
Como são montados os testes?
![Page 23: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/23.jpg)
100 200 300 400 500
Como são montados os testes?
![Page 24: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/24.jpg)
Como são montados os testes?
• Então quer dizer que...1) Um Item é mais que uma questão comum: ele precisa
atender aos requisitos estatísticos da TRI.2) Os Itens são independentes das características dos
estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam.
3) Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.
![Page 25: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/25.jpg)
Exemplo hipotético:
Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.
Possíveis questões: Você consegue guardar as malas no bagageiro interno de
um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira
de cima dos supermercados?
Como os valores de proficiência são gerados?
![Page 26: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/26.jpg)
Exemplo de escala para a altura de uma pessoa
• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
![Page 27: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/27.jpg)
Nome Item 1 Item 2 Item 3Carolina Sim Não NãoPriscila Sim Sim Não
Leonardo Sim Sim Sim
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3
Carolina Priscila Leonardo
Exemplo de escala para a altura de uma pessoa
Como as questões estão associadas à altura da pessoa...podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.
![Page 28: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/28.jpg)
Guardar a bagagemPés fora da cama
Atrás na fila
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
Carolina Priscila Leonardo
Relação entre Escala-Item
![Page 29: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/29.jpg)
Escala de Proficiência - Matemática
![Page 30: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/30.jpg)
A escala de proficiência:
Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência.
Isso permite colocar numa mesma “régua” – escala – todas as habilidades.
Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.
Como os valores de proficiência são gerados?
![Page 31: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/31.jpg)
• Traduz as medidas em diagnósticos qualitativos do desempenho escolar.
• Régua de ordenamento dos valores dos testes, relacionados simultaneamente com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência.
Escala de Proficiência
![Page 32: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/32.jpg)
• Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência.
• Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.
Padrões de Desempenho
![Page 33: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/33.jpg)
Projetos de intervenção pedagógica a partir dos Padrões de Desempenho
Baixo Recuperação
Intermediário Reforço
Adequado Aprofundamento
Avançado Desafio
![Page 34: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/34.jpg)
Escala de Proficiênciae Padrões de Desempenho
• Então quer dizer que...1) Valores na Escala de Proficiência e Itens estão
diretamente relacionados: cada item tem uma proficiência associada a ele.
2) Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica.
3) Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais, e no planejamento pedagógico.
![Page 35: Oficina de Apropriação de Resultados Avaliação em Larga Escala: Conceitos Básicos](https://reader037.vdocuments.net/reader037/viewer/2022102711/552fc15f497959413d8e7d51/html5/thumbnails/35.jpg)
Padrões de desempenho
estudantil
Estabelecimento e monitoramento das metas de qualidade
educacional
Caracterização do desempenho
escolar
Grau de realização das ações
educacionais
Políticas públicas voltadas à
promoção da equidade
Identificação do percentual de alunos em
risco pedagógico (evasão, reprovação ou
abandono)