evaluaciones nacionales del rendimiento académico lima, 6 de abril de 2008 unidad de medición de...
TRANSCRIPT
Evaluaciones Nacionales del Rendimiento Académico
Lima, 6 de abril de 2008
Unidad de Medición dela Calidad Educativa
SECRETARÍA DE PLANIFICACIÓN ESTRATÉGICA
Una definición
La evaluación educativa, puede ser entendida
como un proceso mediante el cual se recoge,
organiza, analiza y sistematiza información de
un sistema educativo, según objetivos
previamente determinados, de modo que
permita tomar decisiones fundamentadas sobre
el proceso educativo.
Funciones de la Evaluación
Toma de decisiones: sobre la intervención pedagógica
Retroinformación: sobre logros
Refuerzo: reconocer esfuerzo y rendimiento
Autoconsciencia: procesos de aprendizaje, puntos fuertes y débiles
Reátegui, Arakaki y Flores, 2001
Evaluaciones de Sistema
Existe consenso en que el logro de aprendizajes de los estudiantes es uno de los principales indicadores de la calidad del sistema educativo.
Busca generar información sobre dichos logros y sobre un conjunto de factores escolares y extraescolares que inciden en los rendimientos de los estudiantes para poder explicarlos desde una perspectiva de equidad.
Evaluaciones de Sistema
Cobran una gran importancia en latinoamericana y se desarrollan junto con el diseño e implementación de las reformas educativas de los años 80 y 90.
Responden a la necesidad de contar con información sobre el sistema educativo y sus componentes, con la finalidad de colocar la calidad de la educación como tema central y prioritario de la agenda pública.
ELABORACIÓN
DEL MARCO DE
EVALUACION
ELABORACIÓN
DE
INSTRUMENTOS
APLICACIÓN DEFINITIVA
DEFINICIÓN DE
NIVELES DE
DESEMPEÑO
ELABORACIÓN DE
REPORTES
APLICACIONES
PILOTO
DIFUSIÓN
Proceso de las Evaluaciones Nacionales
ANALISIS DE
RESULTADOSCODIFICACIÓN DE
RESPUESTAS
ARMADO DE
BASES DE DATOS
ANÁLISIS
PSICOMÉTRICO
ANÁLISIS
PEDAGÓGICO
Elaboración del Marco de Evaluación
¿Qué es un marco de evaluación?
Integra los conceptos sobre los cuales se
fundamentará una evaluación, plasmándolos
en un documento.
Disciplinares
Contextuales
Metodológicos
El marco de evaluación
ASPECTOS
1. Propósito de la evaluación
2. Objeto de evaluación
3. Características de la población a evaluar
4. Usuarios de la evaluación
Aspectos contextuales:
Aspectos Disciplinares
1. Enfoque del área
2. Dimensiones a ser evaluadas
3. Estructura de las pruebas
Aspectos Metodológicos:
1. Número de ítems de la prueba
2. Formatos de ítems a emplear
3. Distribución de los ítems en la prueba
4. Duración de la prueba
Las Áreas a Evaluar
Es posible evaluar diversas áreas a nivel de sistema.
El primer paso es establecer un enfoque de área y adoptar una definición.
Comprensión de Textos
Proceso en el que el lector utiliza
sus conocimientos previos
(conocimiento del mundo y del
lenguaje,y pautas culturales) para
interactuar con el texto y
reconstruir su sentido.
Modelo de evaluación
PREGUNTA
TIPOS DE TEXTOS
USOS DE LA LECTURA
CAPACIDAD
Consideraciones generales
Es posible plantear una serie de capacidades generales, necesarias en todas las áreas del saber, y también una serie de capacidades específicas, propias de cada disciplina y de cada contexto.
Las capacidades específicas pueden caracterizarse a través de una serie de destrezas o habilidades que, a su vez, suponen poner en juego una serie de recursos.
Selección de Capacidades
Es necesario determinar qué capacidades
generales y específicas se evaluarán, qué
habilidades y qué recursos exigen poner en juego
y en qué medida.
Además hay que establecer la proporción de capacidades según el enfoque del área, que prioriza ciertos aspectos de la misma.
Debe considerarse el nivel, ciclo o grado a evaluar , por la importancia que se concede a cada una de las capacidades según dichos aspectos.
Criterios para la selección de las capacidades a evaluar
Relevancia:Relevancia: para que el estudiante pueda afrontar exitosamente situaciones de la vida cotidiana en contextos escolares, familiares y comunales. Por ello se privilegian capacidades que desarrollen aspectos pragmáticos de la vida académica y laboral antes que otros aspectos.
Importancia:Importancia: para la continuación de estudios.
Concordancia:Concordancia: con la naturaleza de los instrumentos de evaluación (pruebas escritas con ítemes de opción múltiple y de respuesta abierta).
PosibilidadPosibilidad que las capacidades evaluadas sean acordes con las exigencias técnicas, administrativas, logísticas y temporales de una evaluación de sistema.
Capacidades: Se refieren a las habilidades que el lector pondrá en juego al realizar las áreas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones auténticas.
Comprensión de Textos
Capacidad 1 Obtención de información
Elaboración de inferencias
Reflexión acerca del texto
Capacidad 2
Capacidad 3
Un desempeño es la actuación del estudiante ante una tarea determinada y que permite indagar por lo que sabe y puede hacer.
Selección de Desempeños
1. Identifica ideas específicas expresadas en una, dos o más proposiciones.
2. Identifica secuencias.
Capacidad1. Obtiene información explícita del texto.
Desempeño
Comprensión de Textos
1. Reconoce relaciones semánticas expresadas entre dos o más proposiciones sucesivas o distantes.
2. Identifica referentes de distinto tipo.
3. Reconoce el significado de palabras o expresiones a partir de lo leído.
4. Reconoce el tema central y las ideas principales del texto.
5. Deduce el propósito del texto.
6. Deduce el receptor implícito al que se dirige el texto.
Capacidad2. Hace inferencias
Desempeños
Comprensión de Textos
1. Evalúa el contenido del texto.
2. Identifica y evalúa recursos formales del texto.
Capacidad3. Reflexiona y evalúa.
Desempeños
Comprensión de Textos
Tipos de Textos
Un texto es el entramado de ideas relacionadas que forman una unidad global de significado y de sentido. Puede estar organizada en uno o más párrafos (cuentos, noticias, ensayos, etc.) así como estar organizada con una estructura gráfica notoriamente distinta de la prosa estándar (cuadros, avisos, afiches publicitarios, infografías, etc.).
Tipos de Textos
Texto narrativo: es aquel que representa una secuencia de hechos en una historia temporalmente ordenada (linealmente, de fin a principio, etc.). En este tipo de texto se relatan hechos vividos por personajes reales o imaginarios en un periodo de tiempo.
Texto descriptivo: es aquel que ofrece información concreta acerca de cómo es o ha sido una persona, animal, experiencia, objeto. Este tipo de texto presenta características y circunstancias ordenadas en el espacio.
Tipos de Textos
Texto expositivo: o también llamado explicativo, es aquel que explica cualquier tema o materia e informa acerca de algo.
Texto argumentativo: es aquel que apoya o discrepa de una afirmación cuya validez es cuestionable o discutible. Todo texto argumentativo tiene como meta persuadir o convencer a la audiencia a la que se dirige acerca del valor de la tesis para la cual busca aprobación.
Usos de la Lectura
Lectura para uso recreativo: generalmente es un tipo de lectura privada que busca recrear mundos ficcionales. Los textos narrativos se encuentran en este tipo de lectura.
Lectura para uso público: se usa esta lectura para conocer las actividades políticas, sociales, culturales, económicas de la sociedad. Incluye el uso de documentos oficiales y de información acerca de acontecimientos públicos como las noticias, comunicados oficiales, certificados, etc.
Lectura para uso educacional: se utiliza esta lectura con un propósito instructivo relacionado con la adquisición de información como parte de una tarea de aprendizaje más amplia.
Formación Matemática
Dominio de habilidades y conocimientos
matemáticos útiles para desempeñarse
eficazmente ante situaciones
problemáticas novedosas o rutinarias, cuya
solución requiera la puesta en práctica de
dichas habilidades y conocimientos.
Modelo de evaluación
PREGUNTA
CONTENIDO
CONTEXTO
CAPACIDAD
Formación Matemática
Capacidad 1 Resolución de problemas
Comunicación matemática
Aplicación de algoritmos
Capacidad 2
Capacidad 3
Capacidades: Se refieren a las habilidades matemáticas complejas que el estudiante pondrá en juego al realizar las áreas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones auténticas.
1. Resuelve situaciones problemáticas referidas a los números y la numeración, en los números naturales hasta diez mil y en las fracciones más usuales.
2. Resuelve situaciones problemáticas que demanden el uso de operaciones básicas en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales.
3. Resuelve situaciones problemáticas referidas a la proporcionalidad directa y porcentaje en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales.
Capacidad1. Resolución de problemas
Desempeños
Formación Matemática
4. Resuelve situaciones problemáticas referidas a la noción de medida, al uso y a la conversión de unidades de las magnitudes fundamentales (masa, longitud y tiempo), en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales.
5. Resuelve situaciones problemáticas referidas a nociones de ángulos y al cálculo de perímetro y área de polígonos de hasta seis lados, figuras circulares, sólidos geométricos (cilindro, cubo, esfera, cono) y a posiciones relativas de dos rectas.
6. Resuelve situaciones problemáticas referidas a la elaboración e interpretación de diversos diagramas estadísticos y a la media aritmética de un conjunto de datos.
Capacidad1. Resolución de problemas
Desempeños
Formación Matemática
1. Utiliza y representa números naturales hasta la unidad de millón,
números decimales hasta las centésimas y fracciones de uso
cotidiano.
2. Interpreta, identifica y justifica proposiciones verbales o simbólicas
referidas al manejo de los números y las operaciones en el conjunto
de los números racionales positivos.
3. Identifica, interpreta y compara cantidades expresadas en distintas
unidades para cada una de las magnitudes fundamentales.
4. Identifica, grafica y compara figuras y cuerpos geométricos.
5. Identifica, interpreta, grafica, compara y justifica información
estadística.
Capacidad2. Comunicación Matemática
Desempeños
Formación Matemática
1. Calcula el resultado de operaciones básicas en el conjunto de los números racionales positivos.
2. Calcula el resultado de operaciones combinadas en el conjunto de los números racionales positivos.
3. Calcula el resultado de operaciones básicas de cantidades referidas a alguna de las magnitudes fundamentales, expresadas en distintas unidades.
Capacidad3. Aplicación de Algoritmos
Desempeños
Formación Matemática
Contenidos
Número y Cantidad: se refiere a los diferentes conjuntos numéricos en todas sus representaciones (enteros, fracciones, decimales); sus propiedades (tales como la divisibilidad); las operaciones aritméticas, la proporcionalidad y sus aplicaciones (regla de tres, porcentaje).
Contenidos
Algebra y funciones: El álgebra implica descubrir leyes o patrones que rigen la relación entre diversas variables, independientemente de los valores involucrados. Permite transformar expresiones matemáticas complejas en otras equivalentes y más sencillas. La noción de función constituye una idea unificadora de gran importancia en la matemática. Las funciones son correspondencias especiales entre los elementos de dos conjuntos.
Contenidos
Espacio y forma: El manejo del espacio y de la forma provee a las personas de herramientas, tanto para realizar, representar, organizar y estructurar sus actividades y movimientos, como para organizar su pensamiento y su razonamiento. El logro de esta estructuración será posible si el sujeto es capaz de comprender las propiedades, posiciones, representaciones y transformaciones de los objetos y las relaciones entre los mismos, lo cual implica comprender las relaciones entre las formas y representaciones visuales.
Contenidos
Estadística y probabilidad: La estadística permite organizar, representar y realizar el análisis e interpretación de datos para elaborar conclusiones y tomar decisiones sobre una base más científica. También posibilita la predicción de los comportamientos de determinados fenómenos.
Contextos
Intramatemático: trata de las tareas específicamente del universo matemático, utiliza sus propios símbolos y presentan objetos matemáticos sin referirlos o inscribirlos en el mundo real.
ExtramatemáticoExtramatemático: ubica los objetos matemáticos en relación con los objetos de la vida del individuo. Los contextos extramatemáticos pueden clasificarse de acuerdo al nivel de uso o de familiaridad que tengan para el individuo.
Elaboración de las Pruebas
Tabla de especificaciones
Es un instrumento para la elaboración de las pruebas.
Consigna en forma esquemática los conocimientos, contenidos, objetivos, competencias, que serán objeto de evaluación
Indica cuantos ítemes o tareas de la prueba corresponden a cada contenido, objetivo, aspecto, capacidad, etc.
Tabla de especificaciones
Permite apreciar qué es lo que se pretendía evaluar con cada ítem de la prueba.
Permite garantizar que se encuentren todos los aspectos relevantes de la competencia.
Permite apreciar el peso en cantidad de ítemes que tiene cada aspecto o capacidad.
Tabla de especificaciones
Capacidad
Contenido
Resolución de
Problemas
Comunicación Matemática
Aplicación de
Algoritmos
TOTAL
Número y cantidad
Espacio y Forma
Algebra y funciones
Estadística y probabilidad
TOTAL
Tabla de especificaciones
Capacidad
Texto
Obtiene Informació
n
Hace inferencias
Reflexiona y evalúa
TOTAL
Narrativo
Descriptivo
Expositivo
Argumentativo
TOTAL
Representatividad de los ítems
Los ítemes son seleccionados para ser representativos aunque de forma imperfecta, del saber básico que se puede esperar de un alumno .
Es importante muestrear la gama completa del contenido enseñado e incluir suficientes ítems para que la medición sea válida y confiable.
Se podrá dar cuenta de cuáles son las áreas que presentan fortalezas y debilidades.
Número de Ítems
El número de itemes con el que se propone evaluar cada una de las áreas es bastante elevado
Necesidad de distribuir las preguntas en varios cuadernillos o formas
Los estudiantes se enfrentan a un número razonable de ítemes que sirven para medir su desempeño de manera adecuada.
Diseño de bloques rotados o de matrices incompletas:
cada forma tiene preguntas únicas y preguntas comunes a las otras formas
en conjunto se administra un número amplio de preguntas para cubrir un área
Formato de ítems
Respuesta cerrada
Selección de respuesta
Respuesta abierta
Producción de Respuesta
Emparejamiento
Opción Múltiple
Verdadero / Falso (matemática)
Respuesta corta
Respuesta extendida
Tabla de representación (matemática)
Construcción de los ítems
Se han ensayado talleres de construcción de ítems.
Son construidos por los especialistas en las áreas curriculares, considerando la tabla de especificaciones y anticipando la dificultad de los mismos.
Construcción de los ítems
Luego son revisados por otros especialistas, sometiéndose a:
Análisis de sus aspectos formales
Análisis de su representatividad (evidencias de validez referidas al contenido).
Aplicación Piloto
Características
Tiene como objetivo fundamental estudiar el funcionamiento de los ítems.
Las muestras son intencionales: se busca tener un buen número de personas que se enfrenten a cada ítem (200 mínimo), considerando factores como la accesibilidad y variabilidad en rendimientos.
Proceso
Hay que realizar los procesos de:
Selección de aplicadores
Capacitación de aplicadores.
Operativo de campo (recolección de datos).
Supervisión en campo.
Codificación de respuestas
Objetivos
Los estudiantes realizan sus respuestas directamente en los cuadernillos proporcionados por la UMC.
Por ello es necesario:
Transferir las respuestas de los estudiantes.
Calificar las respuestas de los estudiantes.
Sistema de codificación
Las respuestas eran calificadas en diversas escalas, tanto de naturaleza dicotómica como politómica, que tenían una naturaleza cuantitativa.
Por otro lado, acompañaba a la calificación un segundo código, que tenía una naturaleza más cualitativa (evidenciaba tipos de errores o estrategias de solución).
Aspectos logísticosSe requiere un gran grupo de correctores, pues en la EN2004 hubieron cerca de 14 000 estudiantes evaluados por grado, para cada una de las áreas.
Al trabajarse con las valoraciones realizadas por los jueces, se encuentra siempre implicado algún grado de subjetividad, que trata de reducirse mediante la capacitación a los evaluadores y la creación de manuales con criterios de calificación, que buscan homogenizar las evaluaciones realizadas por los jueces.
Aspectos logísticosLos especialistas de la UMC se encargaron de efectuar el diseño de capacitación y de elaborar el respectivo manual de codificación.
Los correctores se encontraban agrupados por área y grado, bajo la supervisión de un coordinador y los especialistas de la UMC.
El proceso de corrección estaba organizado según los bloques que constituían las pruebas aplicadas en la EN 2004.
Aspectos logísticosSe efectuó un diseño de análisis del proceso de corrección aplicando la corrección múltiple en tres momentos distintos: al inicio, a la mitad y al final del mismo.
El objetivo de estos tres momentos era poder retroalimentar sobre las discrepancias y deficiencias encontradas en las calificaciones y poder corregirlas durante el proceso de corrección, a fin de lograr cada vez una mayor homogeneidad y entendimiento en el uso de los criterios de calificación.
Aspectos logísticosLos análisis emplearon los aportes de la Teoría Clásica de los Tests y el modelo Rasch de Facetas Múltiples.
Los resultados se presentaban en un informe:
Descripción del ajuste y consistencia global en el uso de los códigos.
Índices de confiabilidad inter-evaluadores para cada uno de los items, pudiendo así identificarse cuales presentaban algún tipo de dificultades.
Identificación de correctores que estaban presentando alguna dificultad en el uso de los códigos.
Armado de bases de datos
Análisis Psicométrico
Medición del Rendimiento
La medición del rendimiento académico puede ser entendida, como una cantidad que estima lo que una persona ha aprendido como consecuencia de un proceso de instrucción o formación; es la capacidad del alumno para responder al proceso educativo en función a objetivos o competencias
Pizarro, Clark y Allen (1987)
Modelos Rasch
Establece la probabilidad de respuesta de una persona ante un ítem en términos de la diferencia entre la medida de rasgo de la persona y la medida del ítem utilizado.
La medida de personas e ítems están en la misma escala de intervalo.
Propiedades Psicométricas
Área de Matemática Confiabilidad% Varianza
(medida)
Segundo grado de primaria 0,86 80,9 %
Sexto grado de primaria 0,85 74,6 %
Tercer grado de secundaria 0,81 75,7 %
Quinto grado de secundaria 0,80 95,5 %
Aplicación Definitiva
Logística
Requiere una logística similar a las de un aplicación piloto, pero a mayor escala.
Si la población a evaluar es grande será necesario contar con un operador logístico.
Definición de Niveles de Desempeño
Niveles de desempeño
Se necesitan puntos de corte en las pruebas, que reflejen lo que un estudiante sabe y hace dentro de dicho nivel.
Si un estudiante supera dicho punto de corte, se considera que posee los conocimientos y habilidades necesarias para desempeñarse en relación a ciertos estándares académicos.
Se establecieron en talleres de consulta con el procedimiento Bookmark.
Procedimento Bookmark
Diseñado por un grupo de expertos en CTB-McGraw-Hill a mediados de 1990.
A posteriori: usa datos reales de la evaluación, mapas de ítems (TRI).
Maneja ítemes dicotómicos y de crédito parcial.
Se realiza en tres etapas.
Insumos básicos para el Bookmark
Cuadernillos de ítems ordenados
Según dificultad
Considerar créditos parciales
Descripciones generales de los niveles de desempeño
Panel de jueces
Usualmente 15 a 21
Expertos
No expertos (menos)
Primera etapa
Cada juez recibe un cuadernillo, estudia y/o resuelve los ítemes.
Preguntarse: ¿Qué hace a un ítem más difícil que el anterior?
Se familiariza con las descripciones generales de los niveles de desempeño.
Establece las “marcas” para cada nivel
Segunda etapa
Trabajo en grupos pequeños (4 – 5 jueces)
Los jueces exponen las razones por las cuales eligieron sus puntos de corte
No se trata de “convencer”, sólo de exponer
Se finaliza la ronda con unos nuevos puntos de corte y el porcentaje de acuerdo respecto a en qué nivel se ubica un ítem en particular
Tercera etapa
Los resultados de la ronda dos son presentados a todo el grupo y se debaten los ítemes en los cuales no hay un 100% de acuerdo.
Se presenta además el “impacto de los puntos de corte”.
Los jueces vuelven a dar sus puntos de corte.
Se suele trabajar con valores inferiores al 100% de acuerdo. Si no se logran, se suele tomar la mediana.
Un paso final
Los jueces construyen el significado, en función a los ítemes, de lo que sabe y puede hacer un alumno en cada uno de los niveles de desempeño.
Algunos prefieren dejar esta etapa para otro grupo de expertos. Esto se hizo con los niveles de la EN 2004.
Niveles de Desempeño
Suficiente
Básico
Previo
< Previo
Los estudiantes de este nivel demuestran un dominio suficiente y necesario en los desempeños evaluados para el grado.
Los estudiantes de este nivel demuestran un dominio incipiente o un manejo elemental de los desempeños desarrollados en el grado evaluado.Los estudiantes de este nivel demuestran un manejo de los desempeños desarrollados en grados anteriores.
Los estudiantes de este grupo solo pueden resolver algunas de las tareas del nivel Previo.
LOGRALOGRA
NO LOGRANO LOGRA
Análisis de Resultados
NacionalNacional
Niveles de DesempeñoNiveles de Desempeño
24.1%
35.7%
28.1%
12.1%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
24,1%Debajo del previo
Previo 35,7%
Básico 28,1%
Suficiente 12,1%
Sexto grado de primaria COMPRENSIÓN DE TEXTOS
Sexto grado de primaria COMPRENSIÓN DE TEXTOS
Niveles de desempeño según gestiónNiveles de desempeño según gestión
NacionalNacional
Comunicación Integral sexto de primaria - NacionalComparación de promedios por departamento
0
50
100
150
200
250
300
350
400
TACNALI
MA
AREQUIPA
MOQUEGUA
CALLAO
ICA
LA L
IBERTAD
LAM
BAYEQUE
MADRE D
E DIO
S
ANCASH
PIURA
TUMBES
JUNIN
PASCO
SAN MARTIN
HUANUCO
AMAZOM
AS
CAJAM
ARCA
PUNO
UCAYALI
HUANCAVELICA
AYACUCHO
CUSCO
LORETO
APURIMAC
NACIONAL
Sexto grado de primaria COMPRENSIÓN DE TEXTOS
Comparación de promedios según regiónComparación de promedios según región
Reportes y Difusión