aspectos técnicos de evaluaciones externas. xvi jaem. palma de mallorca 2013
Post on 02-Jul-2015
936 Views
Preview:
TRANSCRIPT
Algunos aspectos técnicos de las evaluaciones externas
http://www.mecd.gob.es/inee
ALGUNOS ASPECTOS TÉCNICOS DE LAS EVALUACIONES EXTERNAS: DISEÑO DEL MUESTREO, CONSTRUCCIÓN DE PRUEBAS
Y ASIGNACIÓN DE PUNTUACIONES
PALMA DE MALLORCA, 5 DE JULIO DE 2013
RUTH MARTÍN ESCANILLA
@rumaes7ruth
Algunos aspectos técnicos de las evaluaciones externas
Finalidad de las evaluaciones educativas
Evaluaciones externas en las que participa España
Rasgos comunes de las evaluaciones a gran escala
I. Selección de la muestra
II. Construcción de las pruebas
III. Asignación de puntuaciones
Algunos aspectos técnicos de las evaluaciones externas
Conocera través de la valoración de
los aprendizajes de los estudiantes
Rendir cuentas
Innovar y mejorar el sistema educativo
Aumento de transparencia del sistema educativo
Evaluaciones ¿para qué?
Finalidad de las evaluaciones educativas3
Algunos aspectos técnicos de las evaluaciones externas
Evaluaciones
Internacionales
OCDE (Organización para
la Cooperación y
Desarrollo
Económicos)
PISAPrograma para la evaluación internacional de estudiantes
Programme for International Student Assessment
Alumnos que
cumplen 16
años en el año
de realización
3 años 2012
TALISEstudio internacional de enseñanza y aprendizaje
Teaching and Learning International Survey
Profesores y
directores5 años 2013
PIAACPrograma para la evaluación internacional
de las competencias de adultosProgramme for International Assessment of Adult Competences
Población
adulta
(16 a 64 años)
10 años 2012
Evaluaciones internacionales
IEA(International
Association for the Evaluation of Educational
Achievement)
TIMSSEstudio International de Matemáticas y Ciencias
Trends in International Mathematics and Science Study4º EP 4 años 2011
TEDS-MEstudio internacional sobre la formación inicial
del profesorado de Matemáticas Teacher Education and Development Study in Mathematics
Futuros profesores de Primaria
y Secundaria
Primera vez en 2008
Evaluaciones de matemáticas en las que participa EspañaDestinatarios Periodicidad Última
Evaluaciones Nacionales
MECD y
Administración
Educativa
Evaluación General de Diagnóstico4º EP (2009)
2º ESO (2010)-
2009
2010
Evaluaciones de Diagnóstico4º EP (2009)
2º ESO (2010)Anual 2013
4
Algunos aspectos técnicos de las evaluaciones externas
Evaluaciones cíclicas, a gran escala
Cuadernillo de prueba + cuestionarios de contexto
Rigor metodológico: • Marco teórico: qué evaluar, elaboración de ítems,
distribución de ítems y cuadernillos…
• Definición exhaustiva de la población objetivo
• Selección de la muestra/censo
• Traducción de materiales, aplicación, corrección, limpieza de datos…
• Análisis TRI de las respuestas Dificultad de los ítems y puntuación lograda por los alumnos
Informes internacionales comparativos
Rasgos comunes de los estudios de evaluación a gran escala5
Algunos aspectos técnicos de las evaluaciones externas
I-Selección de la muestra
Algunos aspectos técnicos de las evaluaciones externas
I-Selección de la muestra-Características generales
1.Selección de
centros (PrimarySampling
Unit)
• Muestreo proporcional al tamaño
• TEDS-M muestreo con probabilidades iguales
• PISA: 35 alumnos al azar
• TIMSS: uno o dos grupos al azar
• TEDS-M: 30 alumnos elegidos al azar
2.Selección de
alumnos dentro del
centro (SecondarySampling
Unit)
Los diseños de muestreo son complejos y deben tenerse en cuenta en el cálculo de los estimadores (variables de ponderación)
Muestra representativa. Procedimiento probabilístico para evitar sesgos
Muestreo en varias etapas (centros y alumnos dentro del centro), por conglomerados
Muestreo estratificado
Estratificación explícita: la selección tiene lugar en diferentes subpoblaciones o estratos definidos por una variable de estratificación (CC.AA., titularidad de los centros, etc.)
Estratificación implícita: asociada a un muestreo sistemático. Se ordenan las unidades de muestreo según un cierto criterio para que la muestra reproduzca la distribución de los porcentajes de la población.
Selección sistemática de centros dentro de cada estrato
Muestreo en dos etapas
7
Algunos aspectos técnicos de las evaluaciones externas
I-Selección de la muestraTamaño de la muestra
•Precisión de los estimadores
•Tamaño de la muestra
•Tiempo•Presupuesto
•Sencillez del diseño del muestreo y del trabajo de
campo
8
Algunos aspectos técnicos de las evaluaciones externas
I-Selección de la muestraIndividuos frente a centros
Selecciónsistemática de
centros
Muestreo por individuos (alumnos)
Muestreo por conglomerados
(centros educativos)
9
Algunos aspectos técnicos de las evaluaciones externas
I-Selección de la muestraExclusiones y ampliaciones de la muestra
Ampliación de muestras
(por algún aspecto de especial interés)
¡Cuidado con las exclusiones!¡Algunas pueden ser importantes!
10
15 alumnos
30 alumnos
45 alumnos
Probabilidad
del centro
Probabilidad
del alumno en
el centro
Probabilidad
final
del alumno
Peso
base
del
alumno
POBLACIÓN. N =180 MUESTRA n= 9 Elegir 3 centros /3 alumnos por centro
La suma de pesos de los alumnos es el tamaño de la población
Ejemplo 11
Algunos aspectos técnicos de las evaluaciones externas
II-Construcción de pruebas
Algunos aspectos técnicos de las evaluaciones externas
¿Qué evaluar?
Currículo-Conocimientosqué se espera que los estudiantes hayan aprendido
TIMSS/TEDS-M
Competenciascon qué éxito los estudiantes pueden extrapolar lo que han aprendido y aplicar sus conocimientos y
habilidades en nuevos contextos
PISA, EGD, ED, PIAAC
Contexto
Todos los estudios y TALIS
13
Algunos aspectos técnicos de las evaluaciones externas
Una prueba ideal consta de múltiples ítems para poder todas las dimensiones descritas en el marco muestral
No todos los alumnos responden a todas las preguntas
El análisis de resultados debe hacerse teniendo en cuenta el diseño empleado
Reparto de los cuadernillos según un diseño matricial por bloques
14
II-Construcción de pruebas
Distribución por bloques de la prueba PISA 2009
Algunos aspectos técnicos de las evaluaciones externas
15
II-Construcción de pruebas. Ejemplos de ítems
Algunos aspectos técnicos de las evaluaciones externas
III-Asignación de puntuaciones
Algunos aspectos técnicos de las evaluaciones externas
Se utiliza la Teoría de la Respuesta al Ítem
17
III-Asignación de puntuaciones
La dificultad de un ítem se define en relación con la probabilidad de respuesta correcta, dada la “habilidad” del individuo
La “habilidad” del individuo se define en relación con la verosimilitud de dar una respuesta correcta dada la dificultad del ítem
La respuesta a una pregunta depende de la interacción entre la “habilidad” de alumno y las características de la pregunta. No se obtienen puntuaciones ligadas a una población en particular o a un grupo de individuos concretos, sino sobre la relación entre la “habilidad” del individuo y la dificultad de la tarea
Curva característica del ítem (modelo de un parámetro)
habilidad del individuo ()
Probabilidad de respuestacorrecta
Algunos aspectos técnicos de las evaluaciones externas
Estimación de la dificultad de los ítems de una prueba y habilidad de los alumnos
18
III-Asignación de puntuaciones
La TRI permite evaluar distintos niveles de habilidad y obtener puntuaciones para individuos que no realizan el mismo subconjunto de ítems
La TRI permite establecer medidas sobre las “tendencias” a lo largo del tiempo
La TRI se combina con procedimientos basados en imputaciones múltiples, como los valores plausibles
Algunos aspectos técnicos de las evaluaciones externas
No tener en cuenta el diseño del muestreo y de las pruebas a la
hora de analizar e interpretar los resultados puede conducir a
conclusiones incorrectas
19
Algunos aspectos técnicos de las evaluaciones externas
http://www.mecd.gob.es/inee
20
Más información…
Algunos aspectos técnicos de las evaluaciones externas
Gracias
Algunos aspectos técnicos de las evaluaciones externas
Mapa de evaluaciones del sistema educativo españolno universitario
22
top related