avances y desafíos de la evaluación de competencias ... schulz.pdf · –cuestionario de...
TRANSCRIPT
Avances y desafíos de la evaluación de
competencias ciudadanas y habilidades
TIC en América Latina
Wolfram Schulz
Director de investigación – Estudios Internacionales
Contenido
• Estudios internacionales comparativos:
una perspectiva general
• Estudios en áreas de aprendizaje de
carácter trasversal: retos y enfoques
• ICCS: Una evaluación de la educación
cívica y ciudadana
• ICILS: Una evaluación de las
habilidades TIC
• Resumen y conclusión
Evaluaciones nacionales
• Medición del aprendizaje de estudiantes
en el sistema educativo
• Monitoreo de cambios en el rendimiento
• Características típicas
– Muestras representativas o censos
– Enfocado en reflejar aprendizaje del
currículo nacional
– Comparaciones entre regiones, años
escolares, distintos años etc.
Estudios internacionales y
comparativos
• Evaluación más allá del contexto nacional
– Comparar resultados entre distintos países y
sistemas de educación
– Aprender de buenas prácticas con el fin de
mejorar la educación
• Características
– Muestras representativas (o censos en países
pequeños)
– De acuerdo a marco conceptual internacional
– De acuerdo a procedimientos estandarizados
Estudios internacionales:
Los más conocidos
• IEA TIMSS (desde 1995) – Matemática y ciencia
– Cada 4 años
– Cuarto y octavo año escolar
• IEA PIRLS (desde 2001) – Habilidades en lectura
– Cada 5 años
– Cuarto año escolar
• OECD PISA (desde 2000) – Lectura, matemática y ciencia (más otras áreas)
– Cada 3 años
– Jóvenes de 15 años en el sistema escolar
Beneficios de participación
• Poner logros de aprendizaje nacionales
en un contexto más amplio
• Comparar resultados con los de otros
países
• Implementación de estudios elaborados
a un nivel técnico muy alto
• Experiencia nacional
– Oportunidades de apoyo y entrenamiento
para equipos o centros nacionales
TIMSS, PIRLS y PISA
• TIMSS y PIRLS (> 50 países cada uno)
– Diseñado de acuerdo a “denominador común” entre
currículos nacionales
– Currículo previsto, implementado y logrado
– Muestra de grados permite comparación con
aspectos curriculares nacionales
• PISA (> 70 países)
– Diseñado de acuerdo a un marco conceptual
internacional
– Orientado en resultados del sistema educativo
respecto a un determinado grupo de edad
– Muestra de acuerdo a edad más comparable con
respecto a edad pero falta de cobertura en muchos
países
Los estudios de áreas claves
• Han asumido un papel importante en los debates
sobre la educación primaria y secundaria
• Sobre todo PISA se ha convertido en una
“moneda internacional”
– Referencia: Países del la OCDE
• Enfocados en las materias claves
• Crítica: Estrechamiento de evaluaciones a tres
áreas claves
• Pruebas elaborados tienden a cubrir rendimiento
en países más desarrollados – No siempre informativo para países con bajo rendimiento
Estudios regionales
• América Latina
– ERCE (próxima evaluación en 2019): Matemática, lectura
y ciencia
• África
– PASEC (sobre todo en países de habla francesa):
Matemática y lectura
– SAQMEQ (países del sur de África): Matemática y lectura
• Asia
– SEA-PLM (países del suroeste, fase de pilotaje):
Matemática y lectura (también incluye cuestionario sobre
aspectos de ciudadanía global)
• Pacífico
– PILNA: Matemática y lectura
Estudios de aspectos
trasversales
• Hay aspectos de aprendizajes que no se
dejan relacionar fácilmente con currículos
nacionales
– Más difícil aún en estudios comparativos
• Ejemplos de dos áreas de aprendizaje
– Educación cívica y ciudadana
– Habilidades TIC
• A menudo incluidos en currículos
nacionales pero de manera trasversal
Retos y desafíos
• En estudios internacionales no siempre hay
claras referencias en los currículos
nacionales
– A menudo aprendizaje en materias
especializadas, materias relacionadas o como
área trasversal
• Elaboración de un marco conceptual
internacional como punto de referencia
– Revisión por parte centros nacionales si aspectos
también se reflejan en la diversidad de currículos
o planes educativos al nivel nacional
• Marco conceptual requiere aceptación en
todos los países participantes
Los estudios ICCS e ICILS
• Estudio Internacional de Educación
Cívica y Ciudadana (ICCS)
– Elaborado con referencias al estudio
CIVED del la IEA en 1999
– Dos implementaciones en 2009 y 2016,
próximo estudio en 2022 (en preparación)
• Estudio Internacional de Conocimiento
de Uso de Computación y Manejo de
Información (ICILS)
– Dos implementaciones en 2013 y 2018
El estudio ICCS
Antecedentes
• Estudios de la IEA sobre educación
cívica y ciudadana
– 1971 (10 países)
– CIVED 1999 (28 países)
– ICCS 2009 (38 países)
– ICCS 2016 (24 países)
• Cambios entre ciclos
• En 2016 segunda y en 2022 tercera
evaluación
– Línea de base: ICCS 2009
Participación en América
Latina
• CIVED 1999
– Chile y Colombia
• ICCS 2009
– Chile, Colombia, Guatemala, México,
Paraguay y República Dominicana
• ICCS 2016
– Chile, Colombia, México, Perú y República
Dominicana
Propósitos de ICCS
• Investigar las maneras como los jóvenes se preparan para asumir su rol de ciudadanos
• Monitorear cambios en conocimientos, actitudes y participación cívica a través del tiempo
• Reflejar retos persistentes y nuevos en la educación ciudadana de los jóvenes
– Hay cambios continuos en los contextos para la democracia y la participación cívica
Preguntas de investigación
1. ¿Cuál es la implementación de educación cívica y
ciudadana en países participantes?
2. ¿Cuál es el alcance y variación de conocimiento
cívico dentro y través de los países participantes?
3. ¿ Cuales son las percepciones de los estudiantes
sobre temas cívicos en la sociedad moderna?
4. ¿Cuál es el alcance del compromiso cívico entre
estudiantes en las diferentes esferas de la
sociedad?
5. ¿Cómo se organiza el contexto escolar y cuál es
su asociación con los resultados de aprendizaje?
Marco conceptual para ICCS
• Punto de referencia importante para la
elaboración de instrumentos
• Marco cívico y ciudadano define
aspectos de medición respecto a
conocimientos, actitudes y compromiso
cívico
• Marco contextual describe variables de
relevancia para factores asociados
Dominios de contenido
• Sociedad y sistemas cívicos: Organizaciones
y mecanismos cívicos formales
• Principios cívicos: Fundamentos éticos
compartidos entre las sociedades
• Participación cívica: Manifestaciones de
acciones de personas individuales en sus
comunidades
• Identidades cívicas: Las funciones cívicas que
cumple el individuo y la percepción que tiene
de dichas funciones
Dominios cognitivos
• Conocimiento: Información cívica y
ciudadana aprendida que alumnos
utilizan cuando se comprometen con
tareas cognitivas más complejas
• Razonamiento y aplicación: Modo en
que los alumnos utilizan la información
cívica para llegar a conclusiones
Dominios afectivos y de
comportamiento
• Actitudes: Estados de ánimo, o
sentimientos, acerca de ideas personas,
objetos, sucesos, situaciones y relaciones
• Intenciones de comportamiento:
Expectativas de futuras acciones cívicas
por parte del alumnado
Relación entre dominios
Dominio de contenido 1:
Sociedad cívica y sistemas
Dominio de contenido 2:
Principios cívicos
Dominio de contenido 3:
Participación cívica
Dominio de contenido 4:
Identidad cívica
Dominios cognitivos
Conocimiento I II III IV
Razonamiento y aplicación
V VI VII VIII
Affective-behavioral domains
Actitudes A B C D
Compromiso cívico E F G H
Marco contextual
• Cuatro Niveles
– Contexto de la comunidad general
– Contexto de centros educativos y clases
– Contexto del entorno familiar
– Contexto del individuo
• Tipos de variables
– Antecedentes (por ejemplo, recursos de
colegios)
– Procesos de aprendizaje (por ejemplo,
clima del aula para discusiones)
Marco contextual
Diseño del estudio
• Muestras aleatorias de centros
– Un mínimo de 150 centros por país
• Populación objetiva
– Clase intacta y seleccionada aleatoriamente con estudiantes en el Grado 8 (o equivalente)
– Muestra aleatoria entre docentes de todas asignaturas enseñando a estudiantes en el grado objetivo
• Colección de datos
– Hemisferio Sur: Octubre a Diciembre 2015 (2008)
– Hemisferio Norte: Febrero a Abril 2016 (2009)
Resultados internacionales
• Conocimiento cívico
– Prueba de estudiantes de 45 minutes duración
incluyendo ítems de 2009 para medir cambios
• Actitudes y compromiso cívico
– Cuestionario de estudiante de 40 minutos
duración con ítems del 2009 para medir cambios
– También midió variables contextuales del hogar y
de la escuela
• Variables contextuales
– Cuestionario de escuela y de docente para medir
el entorno para el aprendizaje cívico del
estudiante
Resultados regionales
• Cuestionarios regionales
– Para países europeos (en 2009 y 2016)
– Para países asiáticos (en 2009)
– Para países latinoamericanos (en 2009 y
2016)
• El cuestionario regional latinoamericano
recogió datos midió percepciones de
estudiantes acerca de:
– El estado y sus instituciones públicas
– La convivencia pacífica
– La cohesión social y la diversidad
Algunos resultados del estudio
ICCS 2016
Contextos globales
• El incremento de la globalización
– Cambio en los conceptos de ciudadanía y “nación”
• “Recesión democrática” después de un período de
democratización
– Auge del populismo
– Retorno a forma autoritarias de gobierno
• Fracasos de movilizar votantes jóvenes en muchos países
– Hay preguntas sobre como motivar jóvenes para la ciudadanía
– Hubo cambios en las formas información (por ejemplo, nuevos
medios sociales)
• Incremento de migración
– No fue un aspecto específico del ICCS 2016 (comenzamos en 2013!)
pero hay algunos datos relacionados con este tema
Contextos nacionales para la
educación cívica y ciudadana
• Los currículos de educación cívica y ciudadana en América
Latina se ven influenciados por los respectivos contextos
históricos y sociales
• Solamente en México y Perú hay una materia específica
para esta área de aprendizaje
– En República Dominicana hasta 2015
• Las temáticas de elecciones y votaciones no están incluidos
en los currículos de Chile y República Dominicana
– Solamente en México el currículo nacional hace
referencia a votar como derecho y obligación del
ciudadano
Promedios nacionales de
conocimiento cívico
Países con 35
o más punto
encima del
promedio
Países con 35
o más debajo
del promedio
Cambios en el conocimiento
cívico desde 2009
Predictores de conocimiento
cívico
En 21 países el origen
socioeconómico
En 20 países un clima abierto
para discusiones sobre temas
políticos y sociales en la clase
En 17 países alumnas tenían
más conocimiento cívico que
los alumnos
Aspectos de la participación
cívica • Pocos cambios en la participación en la escuela desde
2009
• Los jóvenes valoraron la participación estudiantil (en
particular en la región latinoamericana)
• Alumnos que esperaron hacer probable o
definitivamente:
Votar en elecciones
locales
Votar en elecciones
nacionales
Informarse sobre
candidatos antes de
votar
87%
87%
86%
Actitudes entre jóvenes hacia
temas importantes
• Diferencias en las percepciones lo que significan buenas o
malas características para una democracia
– Por ejemplo, en algunos países latinoamericanos
porcentajes relativamente altos percibían como bueno
que líderes políticos dan empleos en el gobierno a
miembros de sus familias (promedio ICCS 2016: 17%,
regional: 31%)
• Hubo altos niveles de apoyo para la igualdad de género
– Aumentos en algunos países pero no en la región
latinoamericana
– Dos países de la región con relativamente menos apoyo
a los derechos iguales entre hombres y mujeres (México
y República Dominicana)
La mayoría de estudiantes se mostró
de acuerdo con un régimen dictatorial
si dicho estado conlleva…
El apoyo de estudiantes a prácticas
corruptas y su confianza en las instituciones
del estado
Implicaciones para la políticas
y prácticas educativas
• Hay un compromiso limitado con la democracia y el
estado de derecho entre los jóvenes de la región
– Resultados similares a reciente encuestas entre adultos
– Poco apoyo a prácticas autoritarias del gobierno pero
aceptación de justificaciones para establecer un régimen
dictatorial
– Aceptación de prácticas corruptas y justificaciones para
incumplir la ley por razones personales
• Estudiantes con un conocimiento cívico fueron menos
proclives a apoyar prácticas no democráticas
– Argumento de peso para mejorar el aprendizaje cívico en la
región latinoamericana
– Aumentos en el conocimiento cívico en Colombia y México pero
sigue relativamente bajo en esta región
Perspectivas
• Los informes de ICCS 2016 primeras visiones del
estado de educación cívica y ciudadana al nivel
regional e internacional
– Puntos de referencia para investigaciones futuras
– Estos primeros análisis deberían ahondarse más haciendo
uso de la base de datos de ICCS 2016 (de acceso público)
• El próximo ciclo de ICCS está previsto para el año
2022
– Oportunidad para continuar esfuerzos de investigar esta área
importante y abordar temáticas adicionales
– Recién empezó la fase de preparación y la IEA está en
contacto con países interesados en participar en este nuevo
ciclo
– Se considera una aplicación en computadora
El estudio ICILS
Antecedentes
• Primer estudio internacional comparativo
midiendo habilidades TIC – Evaluaciones nacionales en algunos países
– IEA SITES: Encuesta de docentes y escuelas
– Estudios relacionados: PISA 2009 (lectura digital) y
competencias del siglo 21
• Primer ciclo: ICILS 2013 – Línea de base
– Participación en América Latina: Chile y Ciudad de Buenos
Aires
• Segundo ciclo: ICILS 2018 – Incluye medición de lógica computacional
– Participación en América Latina: Chile y Uruguay
Propósito
Investigar entre países como jóvenes
desarrollan capacidades de usar
computadores y manejar información
(CIL según sus siglas en inglés) como
insumo para su capacidad de participar
en la era digital.
Marco conceptual
• Descripción del constructo CIL
– Extensión en ICILS 2018 para incluir
pensamiento computacional
• Marco contextual
– Distinción entre antecedentes y procesos
en distintos niveles (comunidad amplia,
escuela y clase, individuo y hogar)
• Punto de referencia para elaboración de
instrumentos
Dominios de CIL
• Dominio 1: Entendiendo computadoras
– Conociendo y entendiendo el uso de computadoras
• Dominio 2: Recolectando información
– Acceder y evaluar información
– Manejar información
• Dominio 3: Produciendo información
– Trasformando información
– Creando información
• Dominio 4: Comunicación digital
– Compartiendo comunicación
– Usando información de una manera responsable y
segura
Dominios de pensamiento
computacional
Pensamiento computacional refiere al estilo de
razonar que se utiliza para programar
computadoras o elaborar una aplicación para otro
aparato digital
• Dominio 1: Conceptualizar problemas – Conociendo y entendiendo sistemas de computación
– Formulando y analizando problemas
– Recolectando y representando datos relevantes
• Dominio 2: Poniendo soluciones en práctica – Planificando y evaluando soluciones
– Elaborando algoritmos, programas y diseños
Preguntas de investigación
1. ¿Cual es la variación de habilidades CIL
entre y dentro de países?
2. ¿Cuáles aspectos de colegios y sistemas de
educación se relacionan con habilidades
CIL?
3. ¿Cuál es la asociación entre el uso y las
habilidades CIL de los estudiantes?
4. ¿Cuál es la asociación entre las
características de fondo y habilidades CIL
de los estudiantes?
Instrumentos - 1
• Prueba para estudiantes (en computadora)
– Diseñado para medir habilidades CIL y (en ICILS 2018)
pensamiento computacional
– Incluye escenarios auténticos y tareas extensas (p.ej., crear
una página web)
• Cuestionario de estudiantes (en computadora)
– Diseñado para medir factores asociados, uso de TIC y
actitudes hacia los TIC)
• Cuestionario de docentes (en línea o en versión
papel)
– Información de fondo, uso de TIC para la enseñanza y
actitudes hacia los TIC
Instrumentos - 2
• Cuestionario para coordinadores de TIC (en línea o
en versión papel)
– Recursos del colegio para el uso de TIC para el aprendizaje
y la enseñanza en el entorno escolar
• Cuestionario para directores (en línea o en versión
papel)
– Características del colegio y políticas para el uso de TIC
para el aprendizaje y la enseñanza en el entorno escolar
• Encuesta sobre contextos nacionales (en línea
completado por centros nacionales)
– Características de los sistemas educativos, políticas y
recursos relacionados a la enseñanza de habilidades TIC
Diseño del estudio
• Muestras aleatorias de centros
– Un mínimo de 150 centros por país
• Populación objetiva
– Muestra aleatoria de estudiantes en el grado 8
(o equivalente)
– Profesores de todas asignaturas enseñando a
estudiantes en el grado objetivo
• Colección de datos
– Hemisferio Norte: Febrero a Abril 2018 (2013)
– Hemisferio Sur: Octubre a Diciembre 2018
(2013)
Algunos resultados del estudio
ICILS 2013
Diferencias de género
Country Australia Chile Croacia República Checa Alemania† Korea, Rep. de Lituania Noruega (Grado 9)¹ Polonia Rusia² República Eslovaca Eslovenia Tailanda² Turquía Promedio ICILS 2013
0 25 50Diferencias
(mujeres - hombres) 24 (4.0) 25 (4.8) 15 (3.5) 12 (2.7) 16 (3.8) 38 (4.1) 17 (3.4) 23 (3.5) 13 (3.7) 13 (2.4) 13 (4.1) 29 (3.6)
9 (5.6) 2 (3.8)
18 (1.0)
Otros factores asociados
Encontramos asociaciones positivas y
significativas con habilidades CIL en la mitad o
más países para:
• Estatus socioeconómico
• Años de experiencia de uso de TIC
• Frecuencia de uso en el hogar
• Acceso al internet en el hogar
• Número de computadoras en el hogar
• Aprendizaje sobre TIC en el colegio
• Autoeficacia en el uso básico de TIC
Uso de TIC en áreas de
aprendizaje (promedio ICILS 2013)
• Estudios de tecnología y computación:
56%
• Ciencias: 21%
• Humanidades: 20%
• Otros idiomas: 17%
• Idioma del país: 16%
• Matemática: 14%
Reflexiones sobre resultados
• Variación considerable entre y dentro de países
• Habilidades CIL (o TIC) se enseñan tanto de
manera trasversal como parte de disciplinas pero
hay una distribución desigual de su uso para la
enseñanza entre distintas áreas de aprendizaje
• Sugerencias del estudio para el mejoramiento
– Incrementar la experticia docente en el uso de TIC para la
enseñanza
– Implementar ambientes de colaboración en los colegios
– Enfocar en la planificación institucional para el uso de TIC
en los colegios
– Apoyar específicamente a los docentes mayores con
menos experticia en el uso de TIC
Perspectivas
• Este año aplicación definitiva del ICILS
2018
– Extensión de medición para incluir
pensamiento computacional
– Continuidad de medición de habilidades
CIL
• Reto particular
– Estudio requiere considerar cambios
rápidos en las tecnologías TIC
• Informe se publicará a fines del años
2019
Conclusiones generales
Estudios sobre áreas trasversales
• ICCS e ICILS son ejemplos de estudios que
extienden el panorama de la evaluación
internacional y comparativa
• Miden importantes áreas de aprendizaje
– Participación activa e informada de ciudadanos en
nuestras sociedades
– Crisis de sistemas políticos y sociales en muchos
países requiere información sobre como se
preparan los jóvenes para la ciudadanía
– Avances tecnológicos relacionados con los TIC
están cambiando la participación ciudadana en
nuestras sociedades
Estudios sobre áreas trasversales
• La IEA ha implementado estos dos estudios como
consecutivos para monitorear cambios tanto en el
conocimiento como en actitudes y factores asociados
– Continuidad de medición en combinación con la
inclusión de tendencias o aspectos nuevos
• Participación de países en la región
– A menudo autoridades asignan menor importancia
a estas áreas de aprendizaje
– Sin embargo, hay una creciente atención a estos
temas en vista de los retos y cambios relacionados
a la participación en las sociedades del siglo XXI
¡Muchas gracias!