jornadas de evaluación de murcia: elaboración de pruebas

SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES

DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN

TERRITORIAL

http://www.mecd.gob.es/inee

Elaboración de pruebas de evaluación

Modelos internacionales

Pruebas liberadas

Murcia 15 de enero de 2014

http://www.mecd.gob.es/inee

Elaboración de pruebas

Modelos Internacionales

2

A. 1. Rasgos comunes de los estudios de evaluación

2. Mapa de evaluaciones

B. Elaboración de pruebas

1. Marco de evaluación

2. Elaboración de las preguntas

3. Diseño de los cuadernillos y cuestionarios de contexto

Ejemplos de ítems liberados

4. Aplicación de las pruebas (trabajo de campo)

5. Análisis de datos y elaboración de informes

C. Recursos para el profesorado

Índice



3

Evaluaciones muestrales, cíclicas, a gran

escala

Cuadernillo de prueba + cuestionarios de

contexto

Rigor metodológico: • Marco teórico: Qué evaluar, elaboración de ítems,

distribución de ítems y cuadernillos…

• Selección de la muestra

• Traducción de materiales, aplicación, corrección, limpieza

de datos…

• Análisis TRI de las respuestas Dificultad de los ítems y

puntuación lograda por los alumnos

Informes internacionales comparativos

RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN



4

OCDE (Organización para la Cooperación y Desarrollo Económicos)

PISA-Programa para la Evaluación Internacional de Estudiantes

Programme for International Student Assessment

•Alumnos que cumplen 16 años en el año de realización

•Periodicidad: 3 años desde el año 2000

TALIS-Estudio Internacional de Enseñanza y Aprendizaje

(Teaching and Learning International Survey)

•Profesores y directores de Educación Secundaria

•Periodicidad: 5 años desde el año 2008

UNIÓN EUROPEA

EECL o ESLC-Estudio Europeo de Competencia Lingüística

European Survey Language Competence

•4 º ESO

•Último estudio en 2011. Próximo en 2016

MAPA DE EVALUACIONES INTERNACIONALES

La IEA (Asociación Internacional para la Evaluación del Rendimiento Educativo

PIRLS-Estudio Internacional de Progreso en Comprensión Lectora

Progress in International Reading Literacy Study

•4º Educación Primaria

•Periodicidad: 5 años. Última en 2011

TIMSS-Estudio International de Matemáticas y Ciencias

Trends in International Mathematics and Science Study

•4º Educación Primaria

•Opción 8º grado4 años2011

ICILS, ICCS, TEDS-M





2. Elaboración de las pruebas

3. Diseño de los cuadernillos

y cuestionarios de contexto







6

LO DESEABLE DE UN SISTEMA EDUCATIVO

Currículo

Competencias

y habilidades

para la vida

Evaluación



7

LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN

Currículo

Competencias y

habilidades

para la vida

Evaluación



8

MARCO DE LA EVALUACIÓN

Definición explícita sobre lo que pretende medir la evaluación Descripción racional del programa de evaluación Definición del área, materia, competencia… Descripción de las variables Guía de construcción de las pruebas

Modelos de ítems o preguntas

+

Currículo-Conocimientos qué se espera que los estudiantes

hayan aprendido

TIMSS, PIRLS

Competencias con qué éxito los estudiantes pueden

extrapolar lo que han aprendido y aplicar sus conocimientos y

habilidades en nuevos contextos

PISA, EGD, ED, PIAAC

Contexto

Todos los estudios y TALIS

¿Qué evaluar?



9

ANÁLISIS DE LA COMPETENCIA

Niveles cognitivos (Niveles de complejidad en la resolución de la tarea)

Ponderación

Procesos Dimensiones/Dominios Proceso I Proceso II Proceso III

Dominio 1 Descriptores Descriptores Descriptores %



Ponderación % % %

Competencia

Dimensiones/Dominios

Áreas temáticas Temas de contenido

Contextos

Nivel de dificultad Descriptores:

Formulaciones sintéticas de las

competencias/capacidades que medirán los ítems



10

COMPETENCIA MATEMÁTICA EN PISA 2012

Capacidad de los individuos

(15 AÑOS) para formular, emplear e

interpretar las matemáticas en

situaciones y problemas presentes en

contextos del mundo real.

Incluye:

razonamiento matemático y la

utilización de conceptos,

procedimientos, datos y herramientas

matemáticas para describir, explicar y

predecir fenómenos.

reconocimiento del papel que las

matemáticas desempeñan en el

mundo a la hora de realizar juicios

fundados y tomar decisiones como

ciudadanos constructivos,

comprometidos y reflexivos.



11

COMPETENCIA MATEMÁTICA EN PISA 2012

Contextos

Personal Profesional Social Científico

25% 25% 25% 25%

Capacidades matemáticas

Comunicación; representación; diseño de estrategias; matematización; razonamiento y argumentación; utilización de operaciones y lenguaje simbólico, formal y técnico; utilización de herramientas matemáticas

Procesos matemáticos

Formulación matemática de las situaciones

Empleo de conceptos, datos,

procedimientos y razonamientos matemáticos

Interpretación, aplicación y valoración de los resultados

matemáticos

Cambio y relaciones 25%

Espacio y forma 25%

Cantidad 25%

Incertidumbre y datos 25%

25% 50% 25%



12

DESCRIPTOR

BLOQUES DE CONTENIDOS • Números • Álgebra • Geometría • Funciones y Gráficas • Estadística y Probabilidad • Contenidos comunes

Ejemplo: Contenidos y Procesos

para Matemáticas 2º ESO

EJEMPLO DE ANÁLISIS DE COMPETENCIA



13

OBJETIVO DE LOS ESTUDIOS PIRLS Y TIMSS Evaluar la comprensión lectora (PIRLS) y el rendimiento en matemáticas y ciencias (TIMSS) tras cuatro años de escolarización obligatoria (4º de Educación Primaria en España)

¿Qué evaluar? Contenidos curriculares comunes en todos los países participantes en la evaluación

Obtener información comparada entre los distintos países participantes y medir las tendencias entre ciclos.

Proporcionar información sobre: El contexto de aprendizaje: alumno, familia y centro escolar. Las actitudes de los alumnos hacia la lectura, las matemáticas y las

ciencias. El uso que hacen los alumnos del tiempo libre. Factores que favorecen el entorno de aprendizaje y la eficacia de la

escuela (recursos, métodos, clima, etc.)



14

MARCO TEÓRICO DEL ESTUDIO PIRLS

La noción de lectura en PIRLS

Habilidad para comprender y

utilizar las formas lingüísticas

Habilidad para construir significados a partir de distintos

textos

Con el fin de aprender, participar

y disfrutar

LECTURA Habilidad para comprender y utilizar las formas

lingüísticas requeridas por la sociedad y/o valoradas por el

individuo. Leer para aprender, para participar en la

comunidad de lectores del ámbito escolar y de la vida

cotidiana, y para disfrute personal



15

MARCO TEÓRICO DEL ESTUDIO PIRLS

Evalúa tres aspectos en la comprensión lectora

PROPÓSITOS DE LECTURA

• Leer para informarse y aprender (50%)

• Leer para disfrutar (50%)

PROCESOS COGNITIVOS •Obtener información (10%+10%) •Hacer inferencias (15%+15%) •Interpretar e integrar (15%+15%) •Analizar y evaluar (10%+10%)

ACTITUD Y HÁBITOS DE

LECTURA

CUESTIONARIOS DE CONTEXTO

• Alumnos • Padres o tutores legales • Profesores • Directores de centro

CUADERNILLOS DE LA PRUEBA

•Textos literarios (50%)

•Textos informativos (50%)

Preguntas o ítems para evaluar los

procesos cognitivos



16

DOMINIOS DE CIENCIAS

DOMINIOS DE MATEMÁTICAS

DOMINIOS COGNITIVOS COMUNES • Conocer (40%) • Aplicar (40%) • Razonar (20%)

DOMINIOS DE CONTENIDO

• Números (50%)

• Formas y mediciones

geométricas (35%)

• Representación de

datos (15%)

ÁREAS TEMÁTICAS

CAPACIDADES EVALUABLES

HABILIDADES Y DESTREZAS

DOMINIOS DE CONTENIDO • Ciencias de la vida (40%)

• Ciencias físicas (40%)

• Ciencias de la Tierra (20%)

ÁREAS TEMÁTICAS

CAPACIDADES EVALUABLES

MARCO TEÓRICO DEL ESTUDIO TIMSS



17

Dominios de contenido

Áreas temáticas

Se desglosan en capacidades

evaluables

Dominios cognitivos

NÚMEROS

50%

• Números naturales • Fracciones y decimales • Expresiones numéricas con números naturales • Modelos y relaciones

CONOCER 40% Hechos, procedimientos,

conceptos

APLICAR 40% Resolución de problemas

habituales y rutinarios

RAZONAR 20% Resolución de problemas

desconocidos, en contextos complejos, con

varios pasos

FORMAS Y MEDICIONES

GEOMÉTRICAS

35%

• Puntos, líneas y ángulos • Formas bidimensionales y tridimensionales

REPRESENTACIÓN DE DATOS

15%

• Números naturales • Organización y representación

MATEMÁTICAS



18

CIENCIAS Dominios de

contenido

Áreas temáticas

Se desglosan en capacidades evaluables Dominios cognitivos

CIENCIAS DE LA

VIDA

45%

• Características y procesos de la vida en los seres vivos • Ciclos de la vida, reproducción y herencia • Interacción con el medio ambiente • Ecosistemas • Salud humana

CONOCER 40%

Hechos, procedimientos, conceptos

APLICAR 40%

Resolución de problemas habituales y rutinarios

RAZONAR 20%

Resolución de problemas desconocidos, en

contextos complejos, con varios pasos

CIENCIAS

FÍSICAS

35%

• Clasificación y propiedades de la materia • Fuentes y efectos de la energía • Fuerzas y movimiento

CIENCIAS DE LA TIERRA

15%

• La estructura de la Tierra, sus características físicas y sus recursos. • Los procesos, los ciclos y la historia de la Tierra, • La Tierra en el Sistema Solar



20 ELABORACIÓN DE LAS PRUEBAS

Estímulos Situaciones-problema

Preguntas/ítems

Respuesta de elección múltiple

Respuesta cerrada

Respuesta abierta construida

Respuestas abiertas

Matriz de especificaciones

• Anuncios

• Textos extraídos de los medios de

comunicación

• Instrucciones

• Carteles informativos

• Diálogos, narraciones de hechos

• Descripción de situaciones reales o

simuladas

• Textos literarios o científicos

TEXTOS

ESCRITOS

IMÁGENES • Fotografías

• Dibujos

• Mapas

• Esquemas



21

Generación de un banco de ítems

Revisión de la calidad de los ítems

- Redacción de un número elevado de ítems

- Cobertura de diferentes niveles de desarrollo de la competencia

- Redacción de criterios de corrección, contemplando graduación de respuestas

- Corrección

- Defectos en la redacción

- Adecuación de las respuestas previstas

- Graduación de las respuestas

- Adaptación al nivel al que se destinan

- Independencia

ELABORACIÓN DE LOS ÍTEMS

Pruebas prepiloto y piloto

Estudio principal

CRITERIOS PARA LA SELECCIÓN DE ÍTEMS

Cobertura de las competencias objeto de evaluación

Presencia de todas las categorías de respuesta

Evitar ítems con bajos niveles de discriminación

Evitar dificultad o facilidad extrema

Inclusión de ítems de diferentes niveles de dificultad

Equiparación con otros modelos de pruebas



22 DISEÑO Y APLICACIÓN DE LAS PRUEBAS TIMSS-matemáticas EJEMPLOS DE ÍTEMS TIMSS 2011

Preguntas de opción múltiple (una única respuesta correcta)



23 DISEÑO Y APLICACIÓN DE LAS PRUEBAS

EJEMPLOS DE ÍTEMS TIMSS 2011 Preguntas de opción múltiple (una única respuesta correcta)

TIMSS-ciencias



24 EJEMPLOS DE ÍTEMS TIMSS 2011-Matemáticas



25 EJEMPLOS DE ÍTEMS TIMSS 2011-Matemáticas



26

TIMSS



28 DISEÑO DE LOS CUADERNILLOS

La obtención de resultados representativos y fiables, y la distribución por niveles requiere gran

número de ítems para poder todas las dimensiones descritas en el marco muestral

Distribución de cuadernillos por bloques (Balanced Incomplete Block - BIB)

L1 L2

Cuadernillo 1

L2 L3

Cuadernillo 2

L3 L4

Cuadernillo 3

L4 I1

Cuadernillo 4

I1 I2

Cuadernillo 5

I2 I3

Cuadernillo 6

I3 I4

Cuadernillo 7

I4 L1

Cuadernillo 8

L1 I1

Cuadernillo 9

I2 L2

Cuadernillo 10

L3 I3

Cuadernillo 11

I4 L4

Cuadernillo 12

L5 I5

CuadernilloLECTURAS

L5 I5

CuadernilloPREGUNTAS

PIRLS

• Textos literarios: L1 a L5

• Textos informativos: I1 a I5

• Cuadernillo “Lecturas”: triple frecuencia

• Seis textos (3+3) de anclaje para medir

tendencias

MO1

MO2

Cuadernillo 1

CO1CO2

Cuadernillo 2

CO2

CO3

MO2

MO3

Cuadernillo 3

MO3

MO4

CO3

CO4

Cuadernillo 4

CO4

CO5

MO4

MO5

Cuadernillo 5

MO5

MO6

CO5

CO6

Cuadernillo 6

CO6

CO7

MO6

MO7

Cuadernillo 7

MO7

MO8

CO7

CO8

Cuadernillo 8

CO8

CO9

MO8

MO9

Cuadernillo 9

MO9

M10

CO9

C10

Cuadernillo 10

C10

C11

M10

M11

Cuadernillo 11

M11

M12

C11

C12

Cuadernillo 12

C12

C13

M12

M13

Cuadernillo 13

M13

M14

C13

C14

Cuadernillo 14

C14

C01

M14

M01

TIMSS • Cada bloque tiene entre 10 y 14

preguntas de dominios de

contenido y cognitivos en

proporción del marco teórico

• 175 ítems de matemáticas

• 172 ítems de ciencias

• 8 bloques de cada materia son

de anclaje



29

DISTRIBUCIÓN POR BLOQUES DE LOS CUADERNILLOS

EN PISA 2009



30

Contexto personal, social, escolar Sexo, fecha de nacimiento, lengua hablada en casa, número de libros en casa, recursos en

casa y frecuencia de uso, interés de los padres en las tareas escolares, opinión sobre el

colegio y bienestar en el mismo.

Hábitos de lectura (PIRLS) Lectura fuera del colegio: tiempo de lectura, motivación para leer, tipos de lectura y frecuencia

de lectura de cada una, frecuencia de asistencia a bibliotecas, frecuencia de préstamos de

bibliotecas, etc.

Lectura en clase: frecuencia, hábitos en clase, métodos del profesorado, gusto por la lectura,

interés por los temas leídos, autoconcepto en lectura, autoevaluación de su propia lectura,

interés de sus padres, etc.

Aprendizaje de las matemáticas y de las ciencias (TIMSS) Gusto por las matemáticas y las ciencias, autoconcepto, percepción de su utilidad, percepción

de la clase de matemáticas y ciencias y de la metodología del profesorado, etc.




31



32

Contexto personal, antecedentes, satisfacción general Edad, años de experiencia como docente, sexo, nivel de estudios, especialidad en

educación, matemáticas, ciencias o lengua, entorno del centro, satisfacción general,

recursos, uso de ordenadores, participación y colaboración con el profesorado, formación

continua, trabajo en equipo, etc.

Trabajo general con la clase PIRLS/TIMSS Número de alumnos (y en 4º primaria), alumnos con dificultades en lengua evaluada, materia

que enseña, hábitos de trabajo, distribución del tiempo de clase, dificultades que

entorpecen su tarea docente (alumnos con sueño, ACNEE, problemáticos, sin interés, etc.),

frecuencia en la relación con los padres.

Trabajo con la clase PIRLS/TIMSS en lectura, matemáticas y

ciencias Materiales, hábitos, distribución de los tiempos, alumnos que necesitan refuerzo de la

materia, tipos de lectura, tiempo dedicado a corrección, felicitación, tipo de deberes para

casa, importancia concedida a los distintos aspectos del currículo, modo de evaluación,

recursos (biblioteca, ordenadores, calculadoras, etc.)




33



34

Características generales del centro Número total de alumnos y en cuarto de primaria, entorno socioeconómico, tipo de

población, lengua materna de los alumnos, horario lectivo y de apertura del centro,

número de ordenadores disponibles para los alumnos, existencia de biblioteca y su

dotación, laboratorio de ciencias, recursos generales del centro y en particular para la

enseñanza de la lectura las matemáticas y las ciencias, etc.

Funcionamiento del centro Tipo y frecuencia de la relación con los padres, ambiente general del centro (disciplina,

puntualidad, respeto, interés del alumnado, expectativas del profesorado, instrumentos

de evaluación del profesorado, distribución del tiempo de actividades de la dirección

etc.

¿Qué saben los alumnos antes de entrar al colegio?

Actividades relacionadas con lectura, matemáticas y ciencias Preparación de los alumnos al entrar en el colegio, curso en que se incide en diferentes

hábitos y estrategias lectoras, atención dedicada a la lectura y escritura, medidas para

alumnos con otra lengua materna, etc.




35



36

Contexto general Persona que rellena el cuestionario, lengua hablada en casa, asistencia a Educación

Infantil del hijo, edad al entrar en el colegio, nivel de estudios, tipo de trabajo,

expectativas sobre los estudios de su hijo, número de libros generales e infantiles en

casa, frecuencia de uso de algunos recursos en casa (enciclopedias, ordenadores,

DVD, Internet, etc.)

Actividades relacionadas con el colegio Actividades y “logros” al entrar en el colegio, tiempo empleado por su hijo en hacer los

deberes, hábitos con los hijos, ayuda prestada, interés por las actividades relacionadas

con el colegio, opiniones sobre el colegio, etc.

Actividades personales y con los hijos en relación con la lectura Hábitos familiares relacionados con la lectura con los hijos antes de entrar en el colegio

(leer, cantar, contar cuentos, juegos de letras, de construcción, puzzles, etc.), frecuencia

de lectura personal, tipos de lectura, gusto por la lectura, etc.




37



39 EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS



43 EJEMPLO DE PREGUNTA PISA-CIENCIAS



46 PRUEBA DE COMPRENSIÓN LECTORA – INGLÉS-EECL (R2-A1)

You will read a notice about a cat. For the next 4 questions, answer A, B or C.

Leo is lost. He’s my little cat. He’s white with black paws. He’s small and very sweet. He has brown eyes. He wears a grey collar. He didn’t come home on Monday and it’s Thursday today. That’s a long time for a little cat!

Leo often sits on top of the houses near here between Smith’s baker’s shop and King Street. If you find him in your garden or under your car, please telephone me immediately. Please note – Leo doesn’t like it when people pick him up, and he doesn’t like milk.

Thank you for your help!

Sophie Martin. Tel.: 798286



48 APLICACIÓN DE LAS PRUEBAS (PIRLS/TIMSS 2011)

Preparación de los

alumnos

(10 minutos)

Primera parte

PIRLS/TIMSS 40/36

minutos

Descanso 15 minutos

Preparación (5 minutos)

Segunda parte

PIRLS/TIMSS 40/36

minutos

Cuestionario del alumno

(10-30 minutos)

Preparación de los

alumnos

(5 minutos)

Primera parte

TIMSS/PIRLS 36/40

minutos

Descanso 15 minutos

Preparación (5 minutos)

Segunda parte

TIMSS/PIRLS 36/40

minutos

INSTRUMENTOS PARA CONOCER LOS FACTORES DE CONTEXTO

CUESTIONARIOS DE

CONTEXTO •Alumnos •Padres o tutores legales •Directores de los centros •Profesores

ENCYCLOPEDIA

Información de cada país sobre

su sistema educativo y el

currículo de Lectura,

Matemáticas y Ciencias

PRIMER DÍA

SEGUNDO DÍA

Recogida Cuestionario

de padres



49 TARGETED TESTING (EECL)

49

Objetivo: Adaptar la dificultad de la prueba al nivel de competencia de

cada alumno.

Resultado de

nivel bajo

PR

UE

BA

DE

NIV

EL

N

ovie

mb

re 2

01

0

PR

UE

BA

PR

INC

IPA

L

Ma

rzo

– A

bril 2

01

1

PRUEBA DE NIVEL

PROGRESIVA

Resultado de

nivel medio

Resultado de

nivel alto

A1 – A2 A2 – B1 B1 – B2

TA

RG

ET

ED

TE

ST

IN

G



50 DISEÑO Y APLICACIÓN DE LAS PRUEBAS (EECL)

1- Los alumnos de cada nivel de

competencia se distribuyeron al

azar en tres grupos y cada alumno

fue evaluado de dos destrezas.

Todos los alumnos completaron

además un cuestionario de

contexto.

COMPRENSIÓN ORAL

COMPRENSIÓN LECTORA

EXPRESIÓN ESCRITA

CUESTIONARIO

GRUPO 1

GRUPO 2

GRUPO 3

2- Las tareas de cada nivel se distribuyeron en varios cuadernillos según un diseño

por bloques. Cada bloque contenía un numero variable de tareas según su dificultad.



52 TIPO DE RESULTADOS PROPORCIONADOS

• Promedios globales por países

• Promedios por Dimensiones/dominios, procesos,

por propósitos de lectura/procesos de comprensión, etc.

• Niveles de rendimiento

• Cada nivel se caracteriza en función de los elementos

de competencia logrados en cada uno de ellos

• Análisis de factores de contexto asociados

• Análisis de tendencias

PIRLS/TIMSS/PISA: Punto de referencia 500



53

PIRLS 2011

PROMEDIOS GLOBALES

En Lectura

… … Hong Kong-China, Federación Rusa, Finlandia

y Singapur obtienen los mejores resultados

España …

… obtiene 513 puntos, por debajo de la

media de los países participantes de la

OCDE, que se sitúa en 538 puntos

… Finlandia consigue el mejor rendimiento

de los participantes de la OCDE, con 30

puntos por encima de la media

… España, junto con Noruega y Bélgica

(Comunidad francesa) y Francia son los

países con puntuaciones más bajas de la

OCDE

De la OCDE…

375 400 425 450 475 500 525 550 575 600 625

Hong Kong - China (571)

Federación Rusa (568)

Finlandia (568)

Irlanda del Norte (558)

Estados Unidos (556)

Dinamarca (554)

Croacia (553)

Irlanda (552)

Inglaterra (552)

Canadá (548)

Países Bajos (546)

República Checa (545)

Suecia (542)

Italia (541)

Alemania (541)

Portugal (541)

Israel (541)

Hungría (539)

Eslovaquia (535)

Bulgaria (532)

Nueva Zelanda (531)

Eslovenia (530)

Austria (529)

Lituania (528)

Australia (527)

Polonia (526)

Francia (520)

Andalucía (515)

España (513)

Noruega (507)

Bélgica (C. francesa) (506)

Canarias (505)

Rumanía (502)

Georgia (488)

Malta (477)

Azerbaiyán (462)

Irán (457)

Colombia (448)

Arabia Saudí (430)

Catar (425)

Media OCDE (538)

Media UE (534)

1 2 3 4Niveles



54 PROMEDIOS GLOBALES-PISA 2012 (OCDE)

Nivel 1Nivel 1Nivel 1Nivel 1Nivel 1Nivel 1Nivel 1 Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2 Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3 Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4

Promedio OCDE (494)Promedio UE (489)

México (413)Chile (423)

Turquía (448)Grecia (453)

Extremadura (461)Murcia (462)

Israel (466)Andalucía (472)

Balears (Illes) (475)Hungría (477)Suecia (478)

Estados Unidos (481)Eslovaquia (482)

España (484)Italia (485)

Portugal (487)Galicia (489)

Noruega (489)Luxemburgo (490)

Cantabria (491)Islandia (493)

Cataluña (493)Reino Unido (494)

Francia (495)Aragón (496)

República Checa (499)Asturias (500)

Nueva Zelanda (500)Dinamarca (500)Eslovenia (501)

Irlanda (501)Rioja (La) (503)

Madrid (504)Australia (504)

País Vasco (505)Austria (506)

Castilla y León (509)Alemania (514)

Bélgica (515)Navarra (517)

Polonia (518)Canadá (518)

Finlandia (519)Estonia (521)

Países Bajos (523)Suiza (531)Japón (536)

Corea del Sur (554)

400 420 440 460 480 500 520 540 560



55 DISTRIBUCIÓN POR NIVELES

1

1

1

1

1

2

2

2

2

2

2

2

3

3

3

3

4

5

5

5

5

5

5

5

6

6

7

7

7

7

8

14

14

18

22

24

28

35

40

3

5

10

6

7

7

9

11

11

12

12

13

13

13

14

10

12

17

17

14

12

14

16

18

20

22

24

22

24

13

16

17

23

17

21

26

37

23

31

34

31

26

14

15

42

26

29

29

36

33

37

30

35

38

39

39

37

29

32

41

41

38

29

33

37

38

40

42

46

41

45

31

32

34

43

30

33

39

36

31

32

28

26

22

37

36

41

49

44

45

43

43

42

39

38

38

36

36

38

39

37

33

34

36

36

36

34

32

30

27

23

27

23

34

34

32

24

31

25

19

9

20

12

9

7

10

36

36

7

18

19

18

11

12

8

17

13

9

10

10

9

19

16

6

5

8

18

12

8

7

5

4

2

4

2

15

11

10

3

14

7

2

4

1

1

1

2

10

8

Países BajosHong Kong - China

Federación RusaFinlandia

CroaciaDinamarca

República ChecaEstados Unidos

CanadáSuecia

ItaliaAlemaniaPortugal

Irlanda del NorteIrlanda

LituaniaAustria

EslovaquiaInglaterra

HungríaEslovenia

PoloniaFrancia

AndalucíaNoruega

EspañaBélgica (C. francesa)

IsraelBulgaria

AustraliaCanarias

Nueva ZelandaRumaníaGeorgia

AzerbaiyánMalta

IránColombia

Arabia SaudíCatar

Mediana OCDEMediana Internacional

PIRLS 2011



56 DISTRIBUCIÓN POR NIVELES-MATEMÁTICAS PISA 2012



57 EECL

RESULTADOS EN LA PRIMERA LENGUA

COMPRENSIÓN LECTORA

144

7912

1010

1516

1218

231920

2724

2822

14,3

1010

2123

342934

4227

3146

403340

413845

4957

33,2

87

159

1512

1817

1313

1812

1112

1311

1210

11

12,4

1516

2214

1716

1817

1515

1412

1012

1110

107

7

13,6

6663

3847

2531

2014

3025

1018

23171514

96

3

26,5

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Suecia (Inglés)Malta (Inglés)

Holanda (Inglés)Estonia (Inglés)

Navarra (Inglés)Eslovenia (Inglés)

Bélgica AL. (Francés)Bélgica Fr. (Inglés)

Grecia (Inglés)Croacia (Inglés)

Bélgica Fla. (Francés)España (Inglés)

Bulgaria(Inglés)Canarias (Inglés)Portugal (Inglés)Polonia (Inglés)

Andalucía (Inglés)Francia (Inglés)

Inglaterra (Francés)

Promedio (sin CC.AA.)

Pre-A1 A1 A2 B1 B2

Orden: mayora menor (% alumnos en nivel B)/(% alumnos en Pre-A1)



58 DISTRIBUCIÓN POR NIVELES-TIMSS 2011-MATEMÁTICAS



59 DESCRIPCIÓN DE NIVELES TIMSS 2011-MATEMÁTICAS

Conocimientos Destrezas

NIV

EL

BA

JO Los alumnos tienen

conocimientos matemáticos básicos.

Sumar y restar números enteros. Reconocer en cierta medida las líneas paralelas y perpendiculares,

formas geométricas comunes y mapas con coordenadas. Leer y completar diagramas de barras y tablas básicos.

NIV

EL

INT

ERM

EDIO

Los alumnos son capaces de aplicar conocimientos matemáticos básicos en situaciones sencillas.

Comprender los números enteros y cierta comprensión de las fracciones.

Visualizar formas en tres dimensiones a partir de representaciones en dos dimensiones.

Interpretar diagramas de barras, pictogramas y tablas para resolver problemas sencillos.

NIV

EL A

LTO

Los alumnos son capaces de utilizar sus conocimientos y comprensión para resolver problemas.

Resolver problemas que incluyan operaciones con números enteros. Emplear la división en variedad de situaciones con problemas. Utilizar su comprensión del valor posicional para resolver problemas. Capacidad para ampliar patrones para obtener un dato especificado

más adelante. Comprender la simetría axial y sus propiedades geométricas. Interpretar y utilizar datos de una tabla o gráfico para resolver

problemas. Utilizar información de pictogramas y gráficas de registro para

completar diagramas de barras.

NIV

EL A

VA

NZA

DO

Los alumnos son capaces de utilizar sus conocimientos y comprensión en una variedad de situaciones relativamente complejas y de explicar su razonamiento.

Resolver una variedad de problemas de varios pasos con números enteros, incluyendo proporciones.

Comprensión creciente de fracciones y decimales. Aplicar en variadas situaciones sus conocimientos geométricos sobre

formas en dos y tres dimensiones. Obtener una conclusión a partir de datos en una tabla y explicar dicha

conclusión.



60

• Actitudes y comportamientos del alumnado

• Rasgos del entorno familiar del alumnado

• Características de los centros

ANÁLISIS DE FACTORES DE CONTEXTO ASOCIADOS

• Relación con los resultados

• Identificación de buenas prácticas



61 PISA 2012-Tendencias (C-Matemática)






3. Diseño de los cuadernillos

y cuestionarios de contexto







63

Preguntas liberadas PISA Preguntas liberadas PIAAC (adultos

1º http://www.mecd.gob.es/inee/portada.html

2º Ítems liberados y otrosrecursos

Preguntas liberadas de TIMSS-PIRLS EGD-EECL

Acceso a recursos INEE en tiching y SlideShare

Recursos EECL, TIMSS, PIRLS, EGD, etc.

RECURSOS PARA EL PROFESORADO

http://www.mecd.gob.es/inee/portada.html

http://www.mecd.gob.es/inee/Recursos.html

http://www.mecd.gob.es/inee/Recursos.html

http://www.educacion.gob.es/inee/Recursos/Ponencias.html



64

RECURSOS PARA EL PROFESORADO Estímulos e ítems que han sido liberados después de formar parte de un estudio internacional o nacional.

Todas las pruebas de estas recopilaciones forman parte de otras publicaciones más completas donde se desarrollan los marcos teóricos, las características, los resultados, el diseño, etc. de cada estudio.

Materiales, recursos y difusión de los estudios

http://www.mecd.gob.es/inee/



67

http://www.mecd.gob.es/inee/

Síguenos en Twitter:

@educaINEE

Y en nuestro blog:

http://blog.educalab.es/inee/

GRACIAS

http://blog.educalab.es/inee/

jornadas de evaluación de murcia: elaboración de pruebas

Education