SEP: Algunos resultados preliminares en su implementación

Julio, 2012 Juan Pablo Valenzuela Ignacio Villarroel Cristóbal Villalobos

I. Presentación   Desde mediados del 2000 el sistema escolar chileno ha experimentado un intenso

proceso de reformas y de un debate público orientado a definir cambios aún más sustantivos.

  Existe insatisfacción en la sociedad con la calidad de la educación alcanzada, lo que se refleja en importantes brechas en los aprendizajes según NSE y en las oportunidades futuras según la educación recibida: “pareciera que la educación es una trampa para la desigualdad y no una oportunidad para la movilidad para un grupo relevante de la población”.

  Sin embargo, Chile ha experimentado sistemáticos avances en cobertura educativa, y también en la calidad del subsector de lectura (PISA 2000+ y 2009), aunque matemática se muestra como una situación crítica (TEDS-M; OECD, 2010; Prueba Inicia 2010).

  En este contexto, la aprobación de la ley SEP, a comienzos del 2008, se enmarca como la principal reforma para alcanzar un alto nivel de equidad en los aprendizajes entre los estudiantes más vulnerables.

I. Presentación   SEP corrige subvención plana a NSE de los alumnos –incorporando cuantiosos

recursos: MM$320.000 en presupuesto 2012- en un esquema estudiante/escuela (80%/20%)

  Pero también incluye un nuevo modelo de mejoramiento educativo (descentralizado, foco en los equipos de las escuelas; nivel central construye condiciones técnicas, financieras y de soporte, así como monitorea regularmente el avance en su implementación (fruto de ello es la modificación Ley 20.550 y discusión en el Congreso de nuevos cambios, especialmente de tipo financiero).

  Aunque la reforma supera el tema financiero, éste es considerable y ha permitido generar credibilidad de que es posible lograr cambios sustantivos. Es por este motivo que se deben tener expectativas acotadas sobre su efecto directo en el mejoramiento de la calidad (Hanushek, 2006; OECD, 2010; Barber y Mourshed, 2008), puesto que la calidad descansa en los diseños institucionales del sistema escolar, la generación de capacidades en las escuelas y la calidad de los equipos directivos y docentes disponibles, los cuales requieren de reformas complementarias, probablemente más complejas que la SEP y también con mayores recursos financieros.

I. Presentación   Dadas las altas expectativas que la SEP ha generado en todos los actores

educativos, la amplia cobertura que reviste, los enormes recursos involucrados y el contexto político en que se encuentra Chile respecto al debate de una educación de calidad para todos, conlleva la necesidad de generar un sostenido proceso de investigación y debate sobre los avances en la implementación y resultados de esta iniciativa.

  Asimismo, los resultados entregados en 2011 (sobre SIMCE 2010) animaron la convicción que las buenas noticias estaban asociadas directamente a la implementación de la ley SEP.   Entre 2007-2010 se incrementa entre 13-19 puntos promedio en Lectura 4º básico (GSE A, B, C),

aunque también +13 en GSE Medio-Alto, donde casi no participan escuelas en SEP. Algo similar en matemática, con incrementos de entre 4-9 en GSE A, B y C, pero también con +5 en GSE Medio-Alto (situación es bastante similar si comparamos evolución por deciles de NSE). Para ambas disciplinas el GSE Alto casi no modifica sus resultados promedio.

I. Presentación

  Contenido   Presentación de resultados preliminares de un conjunto de estudios recientes

vinculados directa e indirectamente con la implementación de la ley SEP   Análisis de la experiencia holandesa sobre financiamiento diferenciado por estudiante   Reflexión acerca de las expectativas que se pueden tener de la ley SEP para alcanzar

los objetivos buscados y un conjunto de propuestas y desafíos para fortalecer su logro

II. Experiencia Internacional: El Caso Holandés   En algunos países existen sistemas de financiamiento diferenciado a los

establecimiento según vulnerabilidad de los estudiantes

  Caso de Holanda de interés para Chile (Fiske & Ladd, 2009):   Sistema escolar financiado vía subsidio a la demanda   Provisión privada (70%) y pública (30%)   Desde 1985 se crea un sistema (weighted student funding “WSF” que aporta recursos

adicionales al establecimiento según vulnerabilidad de los estudiantes (hasta 2006 fue 25% adicional si es hija(o) de holandeses, pero de bajo nivel de escolaridad; y 90% adicional si es hija(o) de inmigrantes de países vulnerables)

Desde 2006 es 30% si los padres son de baja escolaridad y 120% si son de muy baja escolaridad (la mayor parte de los inmigrantes de países vulnerables)

Sólo para educación pre-escolar y básica: 4-12 años de edad Los establecimientos tienen amplia libertad para usar estos recursos

  Objetivo: Cerrar las brechas de resultados entre las escuelas y entre los estudiantes con diversos atributos –nacionalidad- (no pretende reducir la segregación entre las escuelas, ni cerrar las brechas al interior del establecimiento)

II. Experiencia Internacional: El Caso Holandés   Caso de Holanda

  Aportes adicionales se entregan a las escuelas sólo sobre el agregado de estudiantes vulnerables equivalentes que supere el 9% (desde 2006 que supere 6%): es decir, si la matrícula es de 100 y existen 10 niños (10*0.90=9) el colegio no recibe recursos WSF

  La mayor parte de los recursos destinados a: más profesores y más personal de apoyo   Análisis de resultados 2003-2007 da cuenta que resultados entre escuelas no se cierran.

Aunque es posible que sea parte de las causas que han permitido reducir las brechas de resultados entre hijos de inmigrantes de algunas nacionalidades y los hijos de holandeses de niveles medios o altos de educación (no se reduce c/r a hijos de holandeses de baja escolaridad

  Fiscke y Ladd concluyen: no es suficiente mayores recursos financieros para las escuelas más vulnerables   Escuelas vulnerables con dificultades para atraer buenos profesores y alta rotación de

directores   Las escuelas no pueden ser las únicas responsables para una igualdad de oportunidades:

fuerte inversión en educación preescolar, programas de lenguaje (inmigrantes ) y sistema de salud que monitorea las condiciones de los niños.

III. Algunos antecedentes cuantitativos del proceso de implementación de la ley SEP

Mayores oportunidades de elección para los estudiantes vulnerables? Mejores resultados? Mayor integración en las escuelas chilenas?

A. La Ley SEP ¿más oportunidades de elección para los estudiantes vulnerables?   El diseño de la ley SEP define que es voluntario para el sostenedor participar de

esta política (ello está en línea con la capacidad de selectividad del establecimiento –sólo FC hasta 6º básico lo explicaría, pues LGE modifica situación previa a 2009- y costo fijo muy alto para escuelas pequeñas)

  Acevedo y Valenzuela (2011) realizan simulación teórica sobre comportamiento estratégico de sostedores públicos y privados según Epple y Romano (1998, 2002) y Auguste y Valenzuela (2003), anticipan que:

i) Sostenedores públicos deciden participar masivamente (no pueden seleccionar y no pueden cobrar FC), pero ello no implica nuevas posibilidades de elección para los estudiantes vulnerables.

ii) Sostenedores PS tienen comportamiento estratégico: depende de valor promedio SEP y FC (el valor promedio SEP debe considerar el costo de aceptar este estudiante, incluyendo el menor efecto par sobre los no prioritarios y el costo fijo de participar del programa);

iii) Escuelas muy pequeñas no participan; escuelas gratuitas o de bajo FC participan; escuelas desde un rango por debajo del valor esperado SEP hacia arriba con menor probabilidad de participación (mayores posibilidades de elección acotadas).

A. La Ley SEP ¿más oportunidades de elección para los estudiantes vulnerables?   Se espera que entre mayor valor promedio SEP, mayor participación escuelas PS y

mayor migración desde escuelas públicas.   Mayor equidad en resultados académicos y reducción de segregación entre

colegios PS con FC que firman SEP (pero PS sin SEP tenderán a mantener altos niveles de segregación y potencialmente algunos estudiantes de mejor NSE migrarán desde PS con SEP hacia PS sin SEP), resultado general incierto.

  Se mantiene jerarquía de resultados entre escuelas: Epple y Romano (2002) plantean que ello se tiende a reducir considerablemente sólo si se eliminan cobros a las familias.

Evidencia al año 2010: Firma diferenciada de Convenios SEP entre escuelas públicas y PS

FC: SP participan de la SEP en forma diferenciada según monto de FC (75% de las que cobran >M$10 mensuales no firmaban en 2010; 85% si FC>M$16)

Análisis multivariado para determinar factores significativos que hacen que escuelas firmen convenio hacia 2010

  Qué define la decisión de participar en el convenio:   Dependencia institucional (PS 20% menos)   Mecanismos de selección de las escuelas (las que seleccionan por NSE -; las

reliogiosas +)   Rangos de FC crítico: desde cobros superiores a M$10 mensuales se reduce

probabilidad respecto a ser gratuita   Tamaño de matrícula (las escuelas muy pequeñas, con menos de 20 estudiantes ,firman

con menor probabilidad que las de mayor tamaño)   NSE (en función de IVE): +0,2% por cada punto adicional de niños vulnerables   Resultados académicos previos en SIMCE no afectan en forma adicional   Modelo predice correctatamente entre 89%-90% del comportamiento de las escuelas

B. Implementación de la Ley SEP: mejores resultados en la calidad (SIMCE) escolar a tres años?

  Con la entrega de los resultados SIMCE 2010 (en mayo del 2011) muchos actores del sistema educativo vincularon directamente el importante mejoramiento en lectura a la ley SEP. Villarroel y Valenzuela (2012) tratan de avanzar en determinar si ambos factores están positivamente correlacionados.

  Se utiliza para ello la comparación de resultados a nivel de establecimiento 2007 (antes de la reforma) con la del 2010 (3 años después de la reforma). Dado que casi todos los colegios municipales participan del programa no es posible identificar un adecuado grupo control, situación que es factible para los establecimientos PS.

  Estrategia de evaluación del efecto promedio del programa: estimador de diferencia en diferencia basado en un matching de las escuelas tratadas con aquellas que no lo han sido (grupo control), determinando el control en función de la escuela que tiene la menor diferencia en el vector de características previas al tratamiento (2007) respecto de cada una de las tratadas.

B. Implementación de la Ley SEP: mejores resultados en la calidad (SIMCE) escolar a tres años?   Dado que las características observables de las escuelas se modifican en el tiempo

se permite que en la estimación de D-D se incluyan controles de estas variables (promedio de la escolaridad de la madre, del padre, promedio del ingreso familiar, promedio de libros; si el colegio ofrece educación media; la aplicación de mecanismos de selección del colegio (Contreras, et al. 2010); el porcentaje de alumnos de sexo masculino, y dummies regionales que controlen por condiciones territoriales no observables).

  Sólo se consideran establecimientos donde 15 o más estudiantes rinden las pruebas SIMCE de Lectura y Matemática cada año (Kane y Staiger, 2002).

  Los resultados dan cuenta de un efecto promedio por participar en la SEP de 2-4 puntos en ambas disciplinas. Métodos alternativos (Propensity Score Double Robust) son consistentes con estos resultados: 2-3 puntos en lectura y 3-4 en matemática.

  Sin embargo, la implementación de la SEP en las escuelas ha sido gradual (firma del PME en diferentes años): se incluyen dummies para 1,2 y 3 años desde su firma. También existe alta heterogeneidad en la concentración de niños prioritarios, por lo cual se construyen dummies por quintiles de escuelas según grado de concentración (1 máximo y 5 mínimo), se incluyen como controles y su interacción con el tratamiento.

Resultados:

  Alta heterogeneidad entre las escuelas: sólo las escuelas que tienen 3 años desde aprobación del PME (todas autónomas), lograban sistemáticamente un resultado positivo: entre 1,6-10,6 puntos en lectura y 8,6-13,6 en matemática –todo indica que es la condición de autónoma y no el tiempo acumulado el factor de cambio.

  El segundo grupo con cambio positivo es quintil de las escuelas con mayor concentración de estudiantes prioritarios (sobre 60%): éstas tienen alrededor de 3 puntos adicionales tanto en lectura como matemática.

  En el resto de los establecimientos no es posible apreciar aún procesos de mejoramiento en los resultados SIMCE asociados con la SEP.

  Sin embargo, se observa un mejoramiento significativo en todas las escuelas entre 2007-2010 de 12,9 puntos en lectura (en matemática existe un efecto estadísticamente no significativo): causas asociadas a este positiva noticia superan este trabajo y podrían provenir de múltiples hipótesis. Una optimista es que los mecanismos de accountability en discusión en el Congreso Nacional en el período afectaron anticipadamente al conjunto de colegios subvencionados del país, aunque su efecto sólo fue logrado en lectura (podría observarse en forma rezagada en 2011 en matemática).

Extensión a nivel individual

  La SEP pretende que los establecimientos participantes del programa den énfasis a los estudiantes prioritarios, por lo cual es relevante determinar el impacto del Programa entre estos estudiantes y los no prioritarios.

  Para ello evaluamos el impacto del programa considerando los estudiantes matriculados en los colegios tratados y de control considerados previamente. A la especificación previa incluimos controles individuales y la condición de estudiante prioritario y su interacción con la variable de tratamiento, así como de prioritario interactuando con el tratamiento y con los años aprobados el PME.

  Debido a la potencial movilidad de los estudiantes entre colegios durante la implementación del Programa, los resultados deben ser considerados sólo como correlación con el Programa.

  Los resultados son bastante similares a las estimaciones a nivel de escuela: estudiantes que asisten a colegios SEP que son autónomos (3 años) y los con alta concentración de prioritarios (I quintil) presentan efectos positivos.

  Por otra parte, los efectos positivos afectan a todos los estudiantes y no en particular a los prioritarios. Sólo entre colegios autónomos y en matemática existe un efecto positivo adicional de 2,6 puntos para los estudiantes prioritarios.

C. Evolución de la segregación socioeconómica de los estudiantes en las escuelas chilenas (4º básico)   Ley SEP (voucher diferenciado) debiese generar: i) incentivos a sostenedores

particulares subvencionados a aceptar estudiantes vulnerables; e ii) incentivos a las familias a escoger entre un mayor número de alternativas de mayor calidad (González, Mizala y Romaguera, 2002; Gallego y Sapelli, 2007).

  Estos efectos permitirían reducir la elevada segregación socioeconómica de las escuelas chilenas (la más elevada entre los 65 países que rinden PISA (OECD, 2010); creciente en el tiempo, considerablemente superior a la segregación urbana y mayor entre el sector particular subvencionado que en el municipal (Valenzuela, Bellei y De los Ríos, 2008, 2010)

  Factores del sistema educativo asociados a este elevado nivel de segregación: selectividad escolar, competencia y financiamiento compartido (VBD, 2008; Mizala y Torche, 2012).

C. Evolución de la segregación socioeconómica de los estudiantes en las escuelas chilenas (4º básico)   Por qué reducir los niveles de segregación?

  Necesidad de contar con un sistema escolar inclusivo e integrado (UNESCO-UNICEF, 2008; Contreras, 2010)

  Estudiantes vulnerables pueden mejores posibilidades de aprendizajes de calidad, tanto por un mejor efecto par (OECD, 2010) y docentes y directivos de mayor calidad (Goldhaber, 2008; Meckes y Bascopé, 2010; Rufinelli et al, 2009)

  Cómo medir la segregación socioeconómica?   Indice de Duncan (o disimililtud) es ampliamente utilizado a nivel internacional por sus atributos

estadísticos, simplicidad y comparabilidad intertemporal (Allen y Vignoles, 2006)   Tiene un rango entre 0 y 1, donde valores más cercanos a 0 dan cuenta que estudiantes de

determinadas características se distribuyen homogéneamente entre las escuelas; valores más cercanos a 1 indican que la mayor parte de los estudiantes de esa característica se concentran en pocos establecimientos (alta homogeneidad social)

  NSE se construye por componentes principales (educación del padre, educaciòn de la madre, ingreso per càpita del hogar)

  Comparabilidad de D por centiles acumulados

Evolución del Indice de Duncan por NSE de los estudiantes de 4º básico 1999-2010

IV. Conclusiones y Discusiones de Políticas   La ley SEP es una política bien orientada, con elementos de su diseño innovadores

y que están en línea con procesos de mejoramiento continuo de las escuelas y ha generado una importante credibilidad entre los actores educativos que es posible revertir la desigualdad en nuestro sistema escolar.

  Sin embargo, un error estructural es plantear que la SEP es el principal mecanismo para que las escuelas cierren las brechas de calidad educativa de los estudiantes vulnerables (ej. las metas a 4 año de los PME planteaban incrementos en el SIMCE de hasta 30-40 puntos en 4º básico)

  La experiencia de Holanda (con 35 años aplicando un modelo parecido al chileno) es que aportes diferenciados sólo son parte de un conjunto de políticas destinadas a generar igualdad de oportunidades, y que las escuelas no pueden ser las únicas responsables de lograr dicho objetivo.

Principales resultados de estudios cuantitativos   Evidencia es consistente con modelo teórico: escuelas públicas participan

masivamente en SEP y particulares subvencionadas en forma heterogénea, siendo escaso el número de PS con FC medio y alto que firman el convenio –lo cual redujo considerablemente las alternativas de elección de los estudiantes prioritarios

  Heterogeneidad en el incremento de puntajes SIMCE asociados a la SEP: son las escuelas que sistemáticamente tienen un mejor desempeño que sus pares (autónomas) las que presentan un mejor desempeño, mientras que aquellas con alto porcentaje de estudiantes prioritarios –y por ende cuantiosos recursos adicionales- incrementan 2-3 puntos en el periodo asociados a la política. Por otra parte, existe un mejoramiento generalizado en todas las escuelas para lectura durante 2007-2010, lo cual no está directamente asociado a la SEP.

  Simetría en el mejoramiento de lectura y matemática, así como mejoramiento generalizado entre todos los estudiantes y no concentrado entre prioritarios.

  SEP no modifica altos niveles de segregación socioeconómica de las escuelas (reduce impacto esperado), es responsabilidad de otras políticas conseguirlo.

Propuestas de Estrategias y Políticas   A pesar de lo anterior, es temprano sacar conclusiones definitivas del impacto de

la SEP, especialmente al considerar que la mayor parte de las escuelas firmó su PME a mediados del 2009. Indicadores como repitencia escolar podrían ser monitoreados tanto o más que los resultados de niveles de logro o SIMCE.

  Sin embargo, es indispensable el monitoreo sistemático de esta política, por sus objetivos, por sus protagonistas y por los recursos involucrados.

  En el contexto de cerrar las brechas de calidad entre los estudiantes vulnerables se entregan elementos para ser considerados en políticas corto plazo y de otras estructurales que pueden ser implementadas gradualmente o requieren cambios legales

  Políticas de Corto Plazo:   Acotar expectativas de efectos cuantitativos asociadas a la SEP, pues se requieren reformas

estructurales complementarias con un financiamiento regular para ello.   No innovar en mayores recursos a la SEP mientras no esté claramente evaluado su impacto.   No aprobar reforma que permite descuento tributario por FC (regresiva y consolida segregación)

Propuestas de Estrategias y Políticas   Políticas de Corto Plazo:

  Superintendencia de Educación fiscalice cumplimiento de no selectividad de los estudiantes por motivos académicos ni socioeconómicos entre PreK y 6º básico (LGE)

  Entregar información sobre alternativas disponibles de establecimientos educacionales a estudiantes prioritarios

  Entregar un aporte fijo SEP a escuelas de pequeña matrícula (generalmente rurales), de tal forma de hacerlo consistente con el mecanismo regular de financiamiento de estos establecimientos.

  Reformas más Estructurales:   Asegurar una formación de excelencia y de condiciones de trabajo adecuadas para hacer interesante

la entrada y retención de docentes efectivos en todas las escuelas del país. Lo cual conlleva el asegurar recursos permanentes y suficientes para su financiamiento.

  A nivel internacional está probado que son las condiciones socioeconómicas y culturales de las familias y las capacidades de los docentes y directivos de cada escuela los principales mecanismos para contar con una educación de calidad. Necesidad de diseñar un mecanismo regular de financiamiento que permita eliminar el FC (consistente con LGE y posibilita también obligatoriedad de participar en ley SEP para todos los establecimientos con financiamiento público)

  Rediseñar la institucionalidad de la educación pública, asegurando que ésta sea un referente de excelencia y pueda cumplir un rol activo en la cobertura de la matrícula escolar.

  Regular la entrada de nuevos establecimientos, al menos los que se localicen en zonas de alta concentración de estudiantes vulnerables, de tal forma que asegurar que sean de excelencia.