efectividad escolar y modelos de valor agregado › wp-content › uploads › 2015 › 06 ›...

25
Efectividad Escolar y Modelos de Valor Agregado Ernesto San Martín Facultad de Matemáticas & Facultad de Educación, Pontificia Universidad Católica de Chile Centro de Medición MIDE UC Center for Operations Research and Econometrics CORE, Belgium SEPA – Centro de Medición MIDE UC Santiago, Junio 26, 2015

Upload: others

Post on 04-Jul-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Efectividad Escolar y Modelos de ValorAgregado

Ernesto San Martín

Facultad de Matemáticas & Facultad de Educación, Pontificia Universidad Católica de Chile

Centro de Medición MIDE UC

Center for Operations Research and Econometrics CORE, Belgium

SEPA – Centro de Medición MIDE UC

Santiago, Junio 26, 2015

Page 2: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Calidad de la educación

¿Qué se entiende por la expresión educación de calidad?

Rol social de la escuela.

Rol educacional de la escuela.

Se asume que la calidad educacional tiene manifestacionesobservables las que a su vez pueden compararse (mayor o menorcalidad).

UC, Ernesto San Martín Junio 2015

Page 3: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Una manifestación de la calidad

Medición de aprendizaje: medir cambios del nivel de logro de cadaestudiante en dos momentos del tiempo.

Xij : puntaje SEPA lenguaje/matemáticas del estudiante i que pertenecea la escuela j , que obtuvo en 2013 cuando terminaba de cursar 4obásico.

Yij : puntaje SEPA lenguaje/matemáticas del estudiante i que pertenecea la escuela j , que obtuvo en 2014 cuando terminaba de cursar 5obásico.

Tenemos 2399 estudiantes en esta situación, repartidos en 46establecimientos educacionales con al menos 10 mediciones.

UC, Ernesto San Martín Junio 2015

Page 4: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Una manifestación de la calidad

●●

●●

●●

●●

●●●

●●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●● ●

●●

●●

●●

●●

● ●

●●

●●

●●

●● ●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

● ●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●● ●

●●

●●

●●●

●●

●●

● ●

●●

● ●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

● ●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

● ●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●●

●●

●●

●●

●●●

● ●

●●

●●

●●

●●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●● ●

● ●

●●●

●●

●●

●●

● ●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●●

300 350 400 450

300

350

400

450

corr = 0.73

SEPA 2013 Lenguaje

SE

PA 2

014

Leng

uaje

UC, Ernesto San Martín Junio 2015

Page 5: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Una manifestación de la calidad

●●

●●

●●

●●●

●●

●●

● ●

● ●

● ●

●●

●●

● ●

●●

●●

● ●

●●●

●●

●●

●●

● ●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

● ●●

●●

● ●

●●●

●●

● ●

●●

●●

● ●

● ●

●●

● ●

●●

●● ●●

● ●

●●

●●

●●

●●

●●

● ● ●

●●

●●●

●●

●●

●● ●

● ●

●●●

●●

●●

●●

● ●

●●

●●●●

●●

● ●

●●

●●

●●●

●●

●●

●●

●●

●●

●● ●

●●

● ●

●●

●●

● ●

● ●●

●●

● ●●●●●

●●

●●

●●

●● ●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

● ●●

●●

●●

●●

●●●

●●

●●

●●

●●●

●●

●●

● ●

●●

●●

●●

●●

●● ●

●●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

● ●

●●

●●

●●

●●

● ●●

●●

●● ●

● ●

●●

●●

●●

●●

● ● ●●●

●●

●●

●●

●●

●●

●●

●● ●

●●

●●

●●

●●

●●

●●

●●

● ●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●●

● ●

●●

●●

●●

● ●●

●●

●●

●●

●●

●●

●● ●

●●●

● ●

●●

●●

●●

●●

● ● ●●

● ●

●●

●●

● ●

●●●●

●●

●●

●●

●●

●●●●

●●

● ●

●●●

● ●

● ●

● ●●

●●●

● ●

●●

● ●

●●

● ●● ●

● ●●

●●

●●

●●

●●

●●

●●

●●●

●●

● ●

●●

●●

●●

●●

●●●●

●● ●●

●●

●●

●● ●

●●●

●●

●●

●●

●●

●● ●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

● ●

●●

●● ●

●●

●●

● ●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

● ●

● ●●●

●●

●●● ●

●●

●●

●●

●●●

●●

●●

● ●●

●●

●●

●●

● ●●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●● ●

●●

● ●

● ●

●●

●●

●●

●●

●●●

●●

● ●

● ●

●●

●●

●●

● ●

●●

●●

●●

●●●

●●

●●

●●

●●

●● ●

● ●●●

●●

●●

● ●

●●●●●

●●

●●

●●

●●

●●

●●● ●

●●● ●●

●●

●●

● ●

●●

●●

●●●

●●

● ●

●●

●●

● ●●

●●

●●

●●

●●●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

300 350 400 450

300

350

400

450

corr = 0.78

SEPA 2013 Matemáticas

SE

PA 2

014

Mat

emát

icas

UC, Ernesto San Martín Junio 2015

Page 6: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Una manifestación de la calidad

●●

●●

●●

●●

●●

●●

●●

● ●

●●

300 350 400 450

300

350

400

450

SEPA 2013 Lenguaje

SE

PA 2

014

Leng

uaje

● ●

●●

●●

● ●

●●

UC, Ernesto San Martín Junio 2015

Page 7: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Calidad . . . ¿de la escuela?

¿Cuál de los dos establecimientos educacionales es de “mejorcalidad”?

¿Qué aspecto de la calidad educacional representa el puntajepromedio SEPA Matemáticas 2013?

¿Es posible identificar en SEPA Matemáticas 2013 “algo” que se debaa la escuela?

UC, Ernesto San Martín Junio 2015

Page 8: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Estructura de los modelos de valor agregado

Efecto de la escuela j

X1j Y1j

X2j Y2j

X3j Y3j

UC, Ernesto San Martín Junio 2015

Page 9: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Estructura de los modelos de valor agregado

Descomposición del puntaje Yij (SEPA Lenguaje 2014):

Lo que se debe a Xij (SEPA Lenguaje 2013) y, en caso de tenerinformación disponible, a otros factores exógenos a la escuela, pero queafectan SEPA Matemática 2014.

Lo que se debe a la escuela.

Lo que se debe a características idiosincráticas de los estudiantes.

UC, Ernesto San Martín Junio 2015

Page 10: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Efecto escuela

La escuela produce heterogeneidad: el efecto escuela explica laheterogeneidad de las mediciones SEPA Matemáticas 2013 que noestá explicada por las mediciones SEPA Matemáticas 2012 y otrosfactores exógenos.

La escuela impacta por igual sobre cada estudiante: el efecto escuelaes una componente más que explica SEPA Matemáticas 2013, y es lamisma para cada estudiante.

UC, Ernesto San Martín Junio 2015

Page 11: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Valor agregado

Valor agregado: una forma de caracterizar la efectividad de unaescuela.

¿Una escuela es efectiva en toda circunstancia?

UC, Ernesto San Martín Junio 2015

Page 12: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Significado del valor agregado

UC, Ernesto San Martín Junio 2015

Page 13: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Valor agregado: Definición

El valor agregado de una escuela específica corresponde a ladiferencia entre dos resultados esperados:

Resultado esperado de SEPA Matemáticas 2013 en un establecimientoeducacional específico.

Resultado esperado de SEPA Matemáticas 2013 en un establecimientoeducacional de referencia (representado por la línea negra contínua).

UC, Ernesto San Martín Junio 2015

Page 14: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

El papel de las covariables

Hasta el momento, la escuela de referencia (= la línea continua) secaracteriza utilizando la información de todos los estudiantes.

¿Es esto justo? ¿Cómo juntamos cantidades comparables?

Escuelas altamente selectivas versus las escuelas menos selectivas?

Escuelas de niveles socio-económicos altos versus las de niveles másbajos?

Todas las escuelas del país, o por diferentes zonas geográficas?

Las preguntas anteriores son ejemplos de covariables: con ellas secaracterizan diferentes escuelas de referencia, lo que conlleva amodificar la interpretación del valor agregado de una escuela.

UC, Ernesto San Martín Junio 2015

Page 15: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Efecto composicional

Además de SEPA Matemáticas 2013, una posible variable es el efectocomposicional a nivel de escuela.

El efecto composicional a nivel de escuela es el valor promedio de unavariable dentro de la escuela, como por ejemplo el valor promedio deSEPA Matemáticas 2013.

El efecto composicional a nivel de escuela modela la calidad del grupode estudiantes. Es un indicador de selección, además de ser unaaproximación del efecto del grupo sobre el resultado individual SEPAMatemáticas 2013.

UC, Ernesto San Martín Junio 2015

Page 16: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Significado del valor agregado

UC, Ernesto San Martín Junio 2015

Page 17: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Efecto composicional y NSE

340

360

380

400

420

NSE 1 NSE 2 NSE 3 NSE 4 NSE 5

UC, Ernesto San Martín Junio 2015

Page 18: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Efecto composicional y Dependencia

340

360

380

400

420

Mun PS PP

UC, Ernesto San Martín Junio 2015

Page 19: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Diferentes tipos de información

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

0 10 20 30 40 50 60

−5

05

10

Estado

Pro

med

io S

EPA

Mat

201

3

● ●

● ●

●●●

●●●

●●

● ●

●●

●●

●●●

● ●●

0 10 20 30 40 50 60

−5

05

1015

VA No−contextual

Val

or a

greg

ado

●●

●●

●●

●●

●●

● ●

●●

●●

●●

● ●●

0 10 20 30 40 50 60

−5

05

10

VA contextual

Val

or a

greg

ado

●●

●●

●●

●●

● ●

●●

●●

●●

● ●●

0 10 20 30 40 50 60

−5

05

10

Progreso promedio

Val

or a

greg

ado

UC, Ernesto San Martín Junio 2015

Page 20: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Interpretación

Modelo de estado: representa lo que el conjunto deescuela-estudiantes-factores producen en términos de resultados SEPA 2013.

Modelo de valor agregado no-contextual: este modelo proporciona el valoragregado de estar en una escuela, sin necesariamente afirmar que este valortiene relación con el efecto del grupo.

Modelo de valor agregado contextual: este modelo proporciona el valoragregado de estar en una escuela, donde aquí dicho valor refleja lo que ocurreen ella después de descontar lo que el grupo aporta a SEPA Matemáticas 2013.Esto puede deberse a aspectos pedagógicos u otras decisiones institucionales.

UC, Ernesto San Martín Junio 2015

Page 21: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Efectividad escolar y accountability interna

Los análisis de efectividad escolar se hacen tanto para lenguaje, como paramatemáticas por separado.

Los resultados no son comparables entre sí, por lo que no hay que“sobre-interpretar” la correlación que existe entre ambos indicadores deefectividad.

Investigación reciente desarrollada en el contexto de la educación terciariacolombiana: Higher Education Value Added using Multiple Outcomes porJoniada Milla, Ernesto San Martín & Sebastien Van Bellegem:

Desarrollo de un modelo de efectividad multidimensional.La variable dependiente es un vector bivariado cuyas componentes sonSEPA Lenguaje 2014, SEPA Matemática 2014.Controlamos por SEPA Lenguaje 2013 y SEPA Matemática 2013.El efecto escuela es un efecto bidimensional, cuyas coordenadas seasumen correlacionadas.Es un modelo heterocedástico a nivel de escuela.

UC, Ernesto San Martín Junio 2015

Page 22: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Efectividad escolar y accountability interna

Para cada escuela, se reportan dos indicadores de efectividad, uno paraLenguaje y el otro para Matemáticas.

La atención se centra obre la comparación entre ambos indicadores . . .

UC, Ernesto San Martín Junio 2015

Page 23: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Valor agregado multidimensional

●●

● ●

●●

−40 −20 0 20 40

−40

−20

020

40

VA Lenguaje

VA

Mat

emát

ica

●●

UC, Ernesto San Martín Junio 2015

Page 24: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Discusión

La discusión en torno al valor agregado nos permite hacer lassiguientes afirmaciones:

El concepto de escuela efectiva no es universal: una escuela no esefectiva en todo contexto.

Los indicadores de valor agregado son indicativos para las escuelas en elsentido de motivar la reflexión de las prácticas internas. Esto tiene unalimitación: requiere tener información acerca de las prácticas internas deotras escuelas.

Modelos de valor agregado multivariado pueden resultar informativos paralas escuelas e invitan a una mirada interna.

UC, Ernesto San Martín Junio 2015

Page 25: Efectividad Escolar y Modelos de Valor Agregado › wp-content › uploads › 2015 › 06 › ErnestoSanMartin.… · Medición de aprendizaje:medir cambios del nivel de logro de

Referencias

Carrasco, A. & San Martín, E. (2012). Voucher System and SchoolEffectiveness: reassessing school performance difference and parental choicedecision-making. Estudios de Economía 39, 123-141.

San Martín, E. & Carrasco, A. (2012). Clasificación de Escuelas en la NuevaInstitucionalidad Educativa: Contribución de Modelos de Valor-Agregado parauna Responsabilización Justa. Serie Temas de la Agenda Pública, Centro dePolíticas Públicas UC 7, No. 53.

San Martín, E. & Carrasco, A. (2013). Criterios para evaluar la metodología declasificación de escuelas: ¿Un asunto técnico o conceptual?. En: Propuestaspara Chile UC, capítulo III. Ediciones UC, Santiago.

Manzi, J., San Martín, E. & Van Bellegem, S. (2014). School system evaluationby value added analysis under endogeneity. Psychometrika 79, 130-153.

UC, Ernesto San Martín Junio 2015