produção de medidas de desempenho educacional pela teoria da resposta ao item e sua utilização...
TRANSCRIPT
![Page 1: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/1.jpg)
Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item
e sua utilização para a melhoria da qualidade de ensino
III CONAVE – Congresso Nacional de Avaliação em Educação
CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAISCAEd/UFJF (32)4009-2071
![Page 2: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/2.jpg)
• 1 – conceitos básicos • 2 - Modelos matemáticos da TRI• 3 – Interpretação de Resultados• 4 – Tendências das avaliações no Brasil
CONTEÚDO
![Page 3: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/3.jpg)
1 - CONCEITOS BÁSICOS
1 - CONCEITOS BÁSICOS UTILIZADOS NA TRI
![Page 4: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/4.jpg)
1 - CONCEITOS BÁSICOS
Fundamentos da TRI
• O que são itens?– São os elementos que compõem os testes ou questionários
• O que é proficiência?– É a medida que representa um determinado traço latente (aptidão)
• Teoria da Resposta ao Item (TRI)– Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item
![Page 5: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/5.jpg)
1 - CONCEITOS BÁSICOS
PRINCIPAIS PRODUTOS DA TRI
- Interpretação pedagógica da escala
- Comparabilidade de resultados:
- Entre diferentes avaliações em um mesmo período de tempo
- Entre diferentes avaliações em diferentes períodos de tempo
![Page 6: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/6.jpg)
1 - CONCEITOS BÁSICOS
Como se calcula a proficiência de um aluno?
• I - AVALIAÇÃO EM LARGA ESCALA
• II – TEORIA DA RESPOSTA AO ITEM - TRI
• III – INDICADORES DE DESEMPENHO
![Page 7: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/7.jpg)
1 - CONCEITOS BÁSICOS
I –AVALIAÇÃO EM LARGA ESCALA
![Page 8: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/8.jpg)
1 - CONCEITOS BÁSICOS
Como construir uma escala
![Page 9: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/9.jpg)
1 - CONCEITOS BÁSICOS
Escala: altura de uma pessoa
• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?
![Page 10: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/10.jpg)
1 - CONCEITOS BÁSICOS
Respostas do Questionário
Nome Item 1 Item 2 Item 3Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
![Page 11: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/11.jpg)
1 - CONCEITOS BÁSICOS
Escala: item x medidaNome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3
Carolina Priscila Leonardo
![Page 12: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/12.jpg)
1 - CONCEITOS BÁSICOS
Questionário de altura
![Page 13: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/13.jpg)
1 - CONCEITOS BÁSICOS
3 – estimação dos parâmetros dos itens
![Page 14: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/14.jpg)
1 - CONCEITOS BÁSICOS
Posição dos itens na escala
Guardar a bagagemPés fora da cama
Atrás na fila
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
![Page 15: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/15.jpg)
1 - CONCEITOS BÁSICOS
Posição dos itens e pessoas na escala
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
![Page 16: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/16.jpg)
1 - CONCEITOS BÁSICOS
II – TEORIA DA RESPOSTA AO ITEM - TRI
• HISTÓRICO TRI
• FUNDAMENTOS – TRI
• MEDIDAS E ESCALAS
![Page 17: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/17.jpg)
1 - CONCEITOS BÁSICOS
Avaliações em larga escala com a TRI• Análise segundo a TRI – Lord (1952)
– Probabilidade de acerto ao item em função da habilidade– Posicionamento dos itens em função da dificuldade na mesma escala da proficiência• Década de 1970– Desenvolvimento de testes adaptativos• Década de 1980– Desenvolvimento de softwares específicos para TRI• Década de 1990– Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)
![Page 18: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/18.jpg)
1 - CONCEITOS BÁSICOS
Características das avaliações em larga escala no Brasil
• Até 1993: TCT• A partir de 1995: TRI• INEP
• Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.
1995 1997 1999 2001 2003 2005 2007 2009
SAEB
SAEB e Prova Brasil
![Page 19: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/19.jpg)
1 - CONCEITOS BÁSICOS
Características das avaliações em larga escala no Brasil
1° Momento
2° Momento
3° Momento
![Page 20: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/20.jpg)
1 - CONCEITOS BÁSICOS
BIB- SAEB ATÉ 2005
POS1 POS2 POS3 POS1 POS2 POS31 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 104 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7
CADERNOBLOCOS
CADERNOBLOCOS
![Page 21: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/21.jpg)
1 - CONCEITOS BÁSICOS
BIB- A PARTIR DE 2005
![Page 22: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/22.jpg)
1 - CONCEITOS BÁSICOS
MEDIDAS E ESCALAS
• A ESCALA SAEB
• CONTRUÇÃO DE TESTES
![Page 23: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/23.jpg)
1 - CONCEITOS BÁSICOS
ESCALA SAEB
• Matriz de referência• Design do teste
![Page 24: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/24.jpg)
1 - CONCEITOS BÁSICOS
ESCALAS DE PROFICIÊNCIACurva normal
![Page 25: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/25.jpg)
1 - CONCEITOS BÁSICOS
ESCALA SAEB
![Page 26: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/26.jpg)
1 - CONCEITOS BÁSICOS
ESCALA SAEB
![Page 27: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/27.jpg)
250 270190
1 - CONCEITOS BÁSICOS
ESCALA SAEB
![Page 28: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/28.jpg)
2 – MODELOS MATEMÁTICOS
2 – MODELOS MATEMÁTICOS DA TRI
CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAISCAEd/UFJF (32)[email protected]
![Page 29: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/29.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
Modelo
UIRT
MIRT
Dicotômico
Politômico
1 PL
2 PL
3 PL
Dicotômico
Politômico
Modelo de crédito parcial
Modelo de resposta ponderada
Modelo de resposta nominal
MODELOS MATEMÁTICOS
Modelo de crédito parcial generalizado
![Page 30: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/30.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
FUNDAMENTOS DA TRI
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
![Page 31: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/31.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
Relação não-linear
)(11)1(),,,/1( biaiDe
ciciciaibiXiP
![Page 32: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/32.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
![Page 33: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/33.jpg)
MODELOS DA TRI – 3PL
0,5
1
Proficiência
Pro
babi
lidad
e de
A
certo
0,3
250
ITEM PARÂMETROSA B C
1 0,010 250 0,30
0,65
2 – MODELOS MATEMÁTICOS DA TRI
![Page 34: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/34.jpg)
MODELOS DA TRI – 3PL
Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,30
0,5
1
Pro
babi
lidad
e de
A
certo
0,3
250
0,65
1
2
2 – MODELOS MATEMÁTICOS DA TRI
![Page 35: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/35.jpg)
MODELOS DA TRI – 3PL
Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,30
0,5
1
Pro
babi
lidad
e de
A
certo
0,3
250
0,65
1
2
3
350
2 – MODELOS MATEMÁTICOS DA TRI
![Page 36: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/36.jpg)
MODELOS DA TRI – 3PL
Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20
0,5
1
Pro
babi
lidad
e de
A
certo
0,3
250
0,65
1
2
4
3
350
2 – MODELOS MATEMÁTICOS DA TRI
![Page 37: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/37.jpg)
ITENS DE UM TESTE
2 – MODELOS MATEMÁTICOS DA TRI
![Page 38: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/38.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
EXEMPLOS DE ITENS – discriminação boa
![Page 39: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/39.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
EXEMPLOS DE ITENS – discriminação ruim
![Page 40: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/40.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
FUNDAMENTOS DA TRI
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
![Page 41: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/41.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
Métodos de Estimação
11 2
1
( , ,..., | ) ( ) ( )si si
nu u
s s ns i s i si
L u u u P Q
)(11)1()( bisaiDe
cicisPi
)(11)1()1()( bisaiDe
cicisQi
• Verossimilhança
![Page 42: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/42.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
Métodos de Estimação
• Máxima Verossimilhança - ML
1
( 1| ) log ( ) (1 ) log ( )n
is is isi
LogL u u Pi u Qi
Métodos interativos
• Máxima Verossimilhança Marginal – MML
• Máxima Verossimilhança Conjunta
![Page 43: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/43.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
Métodos de Estimação
• Métodos Bayesianos
Distribuição à posteriori
Função de verossimilhança Prioris x
- Distribuições utilizadas nas prioris População: normal Parâmetros dos itens
o a – log-normalo b – normalo c – beta
• Máxima Distribuição Marginal à Posteriori – MMAP
• Máxima à Posteriori – MAP
• Esperado à Posteriori - EAP
![Page 44: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/44.jpg)
2 – MODELOS MATEMÁTICOS DA TRI
FUNDAMENTOS DA TRI
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
![Page 45: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/45.jpg)
2 – MODELOS MATEMÁTICOS
MÉTODOS DE LINKAGEM
• Cultura de uma escala única nacional – SAEB
• Características da avaliação em larga escala de 1995 a 2007
![Page 46: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/46.jpg)
2 – MODELOS MATEMÁTICOS
Equalização Vertical
• Avaliações do SAEB• Testes com conteúdos diferentes• Testes com descritores diferentes• Populações não equivalentes
![Page 47: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/47.jpg)
2 – MODELOS MATEMÁTICOS
Designs ou Delineamentos para coleta de dados
Design para grupos não equivalentes através de itens comuns
Forma X
Grupo 1 Grupo 2
Itens comunscomum
Forma Y
Itens comunscomum
![Page 48: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/48.jpg)
2 – MODELOS MATEMÁTICOS
LINKAGEM
• Processo para colocar diferentes testes em uma mesma escala (equalização vertical)
• Método adotado: Vertical equating
DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM
ITENS COMUNS ENTRE GRUPOS
![Page 49: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/49.jpg)
2 – MODELOS MATEMÁTICOS
TRI padrão SAEB
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
![Page 50: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/50.jpg)
• Precisão do teste• Ajuste do teste à população• Interpretação de escala • Indicadores de desempenho
3 – Interpretação de resultados
![Page 51: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/51.jpg)
PRECISÃO DO TESTE3 – Interpretação de resultados
![Page 52: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/52.jpg)
AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE BEM AJUSTADOTESTE BEM AJUSTADO
3 – Interpretação de resultados
![Page 53: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/53.jpg)
AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE DESAJUSTADOTESTE DESAJUSTADO
3 – Interpretação de resultados
![Page 54: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/54.jpg)
INTERPRETÇÃO DA ESCALA
3 – Interpretação de resultados
![Page 55: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/55.jpg)
Ancoragem dos itens na escala
• Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade
de acerto de 65%
• Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de
ancoragem
3 – Interpretação de resultados
![Page 56: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/56.jpg)
3 – interpretação de resultados
INDICADORES DE DESEMPENHO
• Interpretação de medidas de desempenho• Série histórica SAEB• IDEB
![Page 57: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/57.jpg)
Interpretação de medidas de desempenho educacional
Posição: média
Variação: percentuais por padrão de desempenho
3 – Interpretação de resultados
![Page 58: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/58.jpg)
Interpretação de medidas de desempenho educacional
Posição: média
Variação: percentuais por padrão de desempenho
3 – Interpretação de resultados
![Page 59: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/59.jpg)
Interpretação de medidas de desempenho educacional
Posição: média
Variação: percentuais por padrão de desempenho
3 – Interpretação de resultados
![Page 60: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/60.jpg)
Interpretação de medidas de desempenho educacional3 – Interpretação de resultados
![Page 61: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/61.jpg)
• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA
150.0
170.0
190.0
210.0
230.0
250.0
270.0
290.0
310.0
1995 1997 1999 2001 2003 2005 2007 2009
5ºEF
9ºEF
3ºEM
3 – Interpretação de resultados
![Page 62: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/62.jpg)
Série histórica SAEB – Rede pública MATEMÁTICA
150
170
190
210
230
250
270
290
1995 1997 1999 2001 2003 2005 2007 2009
5ºEF
9ºEF
3ºEM
3 – Interpretação de resultados
![Page 63: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/63.jpg)
IDEB• Forma geral do Ideb: IDEB = N . P
• N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino• P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino
3 – Interpretação de resultados
![Page 64: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/64.jpg)
3 – Interpretação de resultados
![Page 65: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/65.jpg)
Evolução do Ideb - Brasil• Rede Pública – Anos Iniciais Ens. Fundamental
3 – Interpretação de resultados
![Page 66: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/66.jpg)
Evolução do Ideb - Brasil• Rede Pública – Anos Finais Ens. Fundamental
3 – Interpretação de resultados
![Page 67: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/67.jpg)
Evolução do Ideb - Brasil• Rede Pública – Ensino Médio
3 – Interpretação de resultados
![Page 68: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/68.jpg)
Evolução do Ideb - Estados• Rede Pública – Anos Iniciais Ens. Fundamental
3 – Interpretação de resultados
![Page 69: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/69.jpg)
• Utilização de itens politômicos• Subescalas• Criticidade de corretores• CAT
4 - Tendências
![Page 70: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/70.jpg)
• Utilização de itens politômicos - Testes de escrita para alfabetização - Redação
4 - Tendências
![Page 71: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/71.jpg)
• Subescala
• Leitura/escrita - Alfabetização• Física/Química/Biologia e História/Geografia Ensino médio padrão ENEM
4 - Tendências
![Page 72: Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino III CONAVE – Congresso](https://reader035.vdocuments.net/reader035/viewer/2022070507/570638491a28abb8238f46a7/html5/thumbnails/72.jpg)
• Criticidade de corretores - 3 facetas - consistência e coincidência - BIB de corretores
4 - Tendências