PONENCIAS13 y 14 de marzo de 2015

Gestin y evaluacin: de la resistencia al desarrollo prximo13 de marzo de 2015

2

Miguel Angel Castillo FuentesMaestra en Educacin Bsica. UPN-096. Mxico, D.F.macasti_2000@yahoo.com

PALABRAS CLAVE: Gestin, Paradigma, Evaluacin cualitativa, Resistencia docente, Zona de Desarrollo Prxima.EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares.

ResumenEl presente trabajo plantea que la posibilidad de modificar la cultura de la evaluacin entre los profesores, depen-de mucho del cambio del modelo de gestin que la construye. De acuerdo a los antecedentes del concepto gestin y su estrecha relacin con la perspectiva tcnica e instrumental se configur un paradigma dominante desde el management y la administracin clsica escolar. De ello devino evaluacin tecncrata, estandarizada y con fuerte tendencia hacia lo cuantitativo. As desde el agotamiento del paradigma clsico que fue la racionalidad que sostu-vo el modelo actual de gestin en el sistema educativo mexicano, se prefigura un cambio paradigmtico. En esta dinmica conceptual y de la praxis, el docente como agente central reacciona manifestando su actitud hacia las polticas educativas y en especfico hacia las formas de evaluar y sobre todo al ser evaluado. Se identifican ciertas resistencias del magisterio y sus posibles fuentes que confirman la necesidad de repensar el modelo que subyace a las prcticas docentes actuales. El trabajo propone recuperar las anomalas y defectos que el paradigma clsico exhibe para construir nuevos horizontes de la evaluacin que apuntan hacia la evaluacin cualitativa, como una va para mejorar las prcticas educativas y por lo tanto la calidad educativa. Para transformar las resistencias, una posibilidad es el ejercicio del concepto zona de desarrollo prximo en el saln de clases, para el aprendizaje del propio docente, considerando el acompaamiento y retroalimentacin de evaluadores-docentes. Convergen tanto la evaluacin cualitativa como la perspectiva sociocultural.

Gestin y evaluacin: de la resistencia al desarrollo prximo

mailto:macasti_2000%40yahoo.com%20?subject=

3

INTRODUCCIN: EL CONTEXTO DE LA GESTIN

El sistema educativo en Mxico atraviesa como otros en el mundo, y en diferentes momentos de su historia reciente, cuestionamientos hacia la calidad del sistema por los resultados obtenidos en los distintos niveles que lo componen en las escuelas del pas. Son resultados palpables en los actos pedaggicos donde interactan en distintos niveles, alumnos, docentes, directivos, padres de familia, diseadores de poltica educativa, especialistas e investigadores en la materia y desde luego quienes encabezan la Secretara de Educacin Pblica (SEP).

El punto de reflexin conduce entre otras acciones a la suposicin de que tal vez algo puede y debe hacerse mejor; que requerimos incorporar elementos indeterminados y omitidos dentro del anlisis del amplio y complejo sistema educati-vo. Entre los supuestos que representan las afirmaciones anteriores, se identifican dos dimensiones. Una alude a lo peda-ggico pues sabemos que seguimos con puntuaciones en el plano internacional y nacional, que nos colocan con notorias diferencias en comparacin a otros pases y comunidades educativas del mundo.

La segunda dimensin abarca el terreno de lo social y cultural donde se expresa la emergencia de mejorar la habilidad de los ciudadanos mexicanos para recomponer sus relaciones cotidianas, en la calle, en los trabajos, en los planteles es-colares, en casa y con la familia: la indispensable convivencia entre personas que colaboren entre s, que se correspondan en respeto, tolerancia y dilogo. Son en s mismos valores de la democracia que la escuela como institucin social aspira a construir de manera legtima como una forma de garantizar el derecho a la educacin.

En este sentido reflexivo y a partir de ambas dimensiones, se extiende un discurso comn en la literatura sobre los asuntos de la educacin y la enseanza, que identifican ciertas tendencias hacia un cambio del paradigma vigente en las sociedades mundiales. Por ello cabe mencionar en esta introduccin, algunos antecedentes conceptuales y epistemolgi-cos en la construccin de la gestin como concepto emergente dentro del sistema educativo mexicano (Navarro, 2004).

Dicho concepto dirige el objetivo de este trabajo, en tanto se articula a dos componentes torico-metodolgicos: El primero es la exploracin de las actitudes y la resistencia docentes hacia la evaluacin, que encuentra un nivel de concrecin muy especfico en el saln de clases. La segunda articulacin es con el concepto de Lev Vygotsky, la Zona de Desarrollo Prximo (ZDP).

Mediante esta triple articulacin terico-metodolgica y situada, entre gestin-actitud-zona de desarrollo prximo se pretende reconocer a la evaluacin cualitativa y en particular la autntica, no slo como elemento constitutivo del currculum sino en especial como una estrategia para la mejora de las prcticas docentes y en consecuencia de la calidad educativa. Por ello se pondrn a consideracin algunas aportaciones tericas sobre la gestin, diferentes al concepto tradicional.

1. Del management a la gestin cultural y antropolgica

Se dice tradicional porque la gestin naci vinculada a la nocin que nos hered Taylor y Fayol desde el managment y el accountability. Fue una prescripcin que domin buena parte del siglo XX y que sin desaparecer sigue presente en nuestros sistemas sociales, econmicos y desde luego en las escuelas mexicanas. A finales del siglo XX se determin que la gestin era una herramienta y estrategia para que las organizaciones escolares lograran la tan anhelada calidad educa-tiva, mediante la eficacia y la eficiencia.

En la actualidad contamos con visiones de la gestin desde miradas alternas que parecen responder mejor a la proble-matizacin de las ciencias sociales y la educacin. Diversos autores (Aktouf 1998, Chanlat, 1994 y 2006; Shepard, 2006, Ravela, INEE 2014) sealan la bsqueda de rutas diferenciadas de la mirada gerencial con que se piensa la organizacin de la escuela, visin ligada al culto a la empresa que se ha trasladado a los planteles educativos. Sugieren centrar los procesos y estudios organizacionales hacia modelos del tipo cultural y antropolgico que den voz al interaccionismo simblico como expresin humana que se expresa en cada saln de clase y en cada patio escolar.

En particular Ravela (INEE, 2014) sostiene que en ese traslado que se hizo del mandato empresarial hacia el mandato pedaggico, radica uno de los orgenes de las resistencias del magisterio al enfrentarse a la diversificacin de las prcticas de evaluacin.

4

Agencias internacionales como la UNESCO (2000) se aproximan a estas miradas cuando presenta su anlisis de cmo la gestin nacida de la Administracin Clsica Escolar se considera como un paradigma que debe renovarse y buscar desde la prcticas educativas y la investigacin, un cambio de paradigma hacia rutas emparentadas a las racionalidades sociocrticas y antropolgicas.

De esta manera y dadas las condiciones, resultados y tendencias dentro y fuera del sistema educativo, es posible una re-flexin sobre la vigencia y pertinencia de prefigurar un cambio paradigmtico sobre el modelo de gestin que rige a nuestro sistema educativo y del que se derivan, entre otras prcticas, formas particulares y conservadoras de evaluar el aprendizaje.

En una obra clsica, Khun (2012) nos anunci que la revolucin de la ciencia es posible en tanto sus defectos; rasgo que coloca al digamos, viejo paradigma, en la tensin de transitar hacia uno nuevo desde sus propias anomalas. De ah que podamos confirmar el pensamiento de Zemelman (1992) quien nos invita a mirar los lmites de la razn; de esa fron-tera en la lgica de la administracin clsica que en su agotamiento promueve una potenciacin de nuevos horizontes epistemolgicos para la gestin de una evaluacin cualitativa y de tipo autntica.

En estos campos de transicin se visualiza un espacio de deconstruccin y reconstruccin donde los agentes edu-cativos se plantan de frente a los cambios que impone una reforma educativa; ante los efectos que por naturaleza trae consigo una poltica educativa. En los agentes reside mucho la posibilidad de un pensamiento transformador del sistema educativo, que demanda una evaluacin exhaustiva de las condiciones en que desempean su funcin los docentes.

DESARROLLO: EL DOCENTE ANTE LA EVALUACIN Y SER EVALUADO

Si partimos del hecho que el docente es uno de los agentes principales para hacer posible la transformacin del sistema educativo y de las actuales formas de evaluacin, es justo poner a consideracin su respuesta, favorable o no, y el grado de disposicin que expresa hacia el objeto socioeducativo en cuestin como es la evaluacin.

Al respecto hay que reafirmar que, de acuerdo al estudio Talis (OCDE, 2009), una parte del magisterio manifiesta actitudes positivas; es una muestra que habla bien de la disposicin de los profesores mexicanos. Por lo menos existe esa aceptacin a ser evaluados y en relacionar la evaluacin con la mejora de sus prcticas docentes, desde procesos de capacitacin y actualizacin. En una idea complementaria Ravela (INEE, 2014) afirma que si bien la cultura del docente hacia la evaluacin muestra ciertas resistencias, lo cierto es que no depende totalmente del profesor.

En el quehacer profesional e interaccin con profesores de educacin bsica, se les escucha decir que si desean ser evaluados y se les observa aplicar rbricas y portafolios de evidencias, sin embargo el propio sistema de cumplimiento con ciertos criterios normativos y el tiempo que se les exige para ello, limita mucho su innovacin. Pretendo resaltar as que, tanto por las tendencias tericas como por la experiencia del convivir profesional con profesores, es posible afirmar que hay disposicin favorable entre el magisterio. Que su actitud conserva componentes que determinan una respuesta positiva hacia los objetos socioeducativos que provienen de cierta reforma o poltica educativa, en particular hacia la evaluacin y el ser evaluados.

1. La resistencia docente ante la evaluacin: confusiones y propuestas

Sobre las resistencias, Ravela (INEE, 2014) nos ofrece un interesante anlisis desde la subjetividad que representa hablar de la evaluacin del docente. Luego hace una diferenciacin sobre las posibles confusiones que l denomina: conceptua-les, de incentivos y de la meritocracia. Explica que estas confusiones envuelven de forma negativa a la prctica de la evalua-cin. En mi experiencia conozco a profesores y profesoras para quienes lo importante es saber para qu, con qu fines se evaluar y cules sern las consecuencias de dicha evaluacin.

En esta realidad confluyen tanto Talis (OCDE, 2009) como Ravela (INEE, 2014); en la importancia de definir primero estas preguntas bsicas y comenzar un trabajo gradual para cambiar esta cultura que tenemos en Mxico quienes nos dedicamos a la docencia, donde destaca la incorporacin de cdigos lingsticos y prcticas procedentes del Managment.

5

Lo interesante est en la coincidencia conceptual entre Talis (OCDE, 2009) y Ravela (INEE, 2014) en que el profesor tiene, al menos cognitivamente, la apertura necesaria a este escabroso tema de ser observado. En la realidad cotidiana de las aulas cuando uno observa la accin pedaggica del profesor durante su clase, se ratifica que conductualmente operan con disposicin. Luego, es posible que emocionalmente tambin lo sientan as. De ser cierto esto, entonces tendramos una visin integral de su actitud, pues se incorporaran los tres elementos que la conforman.

As uno de los retos para el sistema educativo est en concretar un cuerpo profesional de docentes-evaluadores quie-nes entre otras tareas gestionarn para que gradualmente se introduzcan estrategias (conceptuales, prcticas y actitu-dinales) que favorezcan el cambio hacia una zona de desarrollo prximo en el terreno de la evaluacin cada vez ms autntica, sin descuidar la medicin y el uso de ciertos instrumentos necesarios. Desde luego que ser un camino largo, pues hay una fuerte tradicin y creencia social de que evaluar es aprobar; de que evaluar es presentar un examen impreso en papel.

2. Cmo enfrentar la resistencia?

Uno de los puntos nodales para definir hacia dnde se orientar la actitud del docente ante el ejercicio de ser o no evalua-do, es su temor y desconfianza. Son muchos aos de creer que la evaluacin los va a remover del puesto o que tal o cual prueba les acarrear diversas sanciones u oficios de extraamiento. El propio sistema educativo contribuy en ello y fue construyendo la cultura que hoy conocemos sobre las prcticas de evaluacin.

El magisterio ha sido evaluado de manera explcita muchas veces y de manera constante. Tambin es real que hay un escrutinio social, muchas veces implcito, hacia la tarea docente, donde influyen mucho los medios masivos de comuni-cacin. En particular la televisin y la radio. Lo que debe difundirse tambin pero de manera veraz es sobre el uso y los fines que se le han dado a esas pruebas. As que la discusin sobre el tema de evaluar o no evaluar, no es el dilema... sino los usos y costumbres; el temor y la desconfianza que se han construido socialmente en torno a la evaluacin docente.

Algunas propuestas prcticas de afrontar la resistencia y recuperar de forma gradual la confianza es reducir las con-fusiones entre lo que es evaluar y medir. Es necesario abandonar el uso de la evaluacin como forma administrativa de control, as como evitar que evaluacin cumpla mltiples objetivos (el que mucho abarca, poco aprieta). Ser impor-tante desalentar que la evaluacin sea un instrumento para sostener la meritocracia y por ltimo, evitar evaluaciones descontextualizadas que ofrecen poca o nula retroalimentacin a la comunidad.

Para reconstruir la confianza ser indispensable que los evaluadores definan con el colectivo docente, qu se puede y cmo se debe evaluar; que potencien sus habilidades comunicativas y de gestin para dejar una clara nocin sobre los fines y objetivos de la evaluacin, principalmente enfocada hacia la autntica. Ser muy recomendable utilizar no uno, sino varios instrumentos que enriquezcan la obtencin de datos de la realidad educativa, as como asociar su uso a la obtencin de incentivos de desarrollo social y de tipo cultural. Para concluir, se considera necesario promover prcticas evaluativas realizadas en comn acuerdo in situ; de manera que fortalezcan la retroalimentacin en el mismo saln de cla-ses, tendientes hacia la mejora de las prcticas docentes y la transferencia, que se entiende como esa capacidad de aplicar y concretar en el aula los aspectos tericos y metodolgicos de la evaluacin.

Hasta el momento se ha hecho alusin a una evaluacin autntica, que por su metodologa puede ser hasta ms ama-ble para el evaluado pues se sustenta en prcticas de mediacin y andamiaje que nos conducen al pensamiento de Lev Vygotsky, especficamente cuando sugiere educar desde la zona de desarrollo prximo.

3. La Zona de Desarrollo Prximo: espacio para la mejora de la prctica docente

Sugiero ahora, despus de sealar la actitud docente como un componente a orientar y que parece como un reto de mediano o largo plazo, reflexionar en una propuesta que concretiza tanto en la teora pero sobretodo en la prctica coti-diana del saln de clases, como se ejemplificar al trmino de este apartado. Me refiero a la propuesta de Carles Monereo (2011) quien nos invita de forma implcita a indagar diversos aspectos de nuestra praxis educativa, desde el concepto de Zona de Desarrollo Prximo (ZDP): Por ejemplo, cmo pensamos que un evaluador puede contribuir a la evaluacin

6

y a la retroalimentacin realizada a un profesor, que se caracterice por su relevancia y proximidad? y luego es posible aplicar o transferir el concepto de ZDP, en la bsqueda de mejores prcticas de los docentes a partir de la evaluacin?

Para responder la primera cuestin, es necesario incorporar la propuesta del propio Monereo (2011) sobre el uso de un esquema de cuadrantes y ejes. Donde la tendencia cultural y profesional del evaluador estara dirigida hacia ese cuadrante donde precisamente se localiza a la evaluacin autntica, que abarca prcticas dentro del saln de clase, in-corporando los problemas que enfrenta el profesor y potenciando la retroalimentacin centrada en la prctica situada del docente.

Entre ms prximo y realista sea el mtodo de evaluar, ms aprendizaje podr construirse en el proceso metacogniti-vo del profesor. Pensemos, si un maestro que se enfrenta a un grupo donde hay un alumno con alguna discapacidad (sor-dera), le sera recomendable auto-observarse (en comn acuerdo con el evaluador), para conocer qu formas de evaluar utiliza y cmo enfrentara este reto. Para despus recibir sugerencias y ejercicios primero simulados de cmo monitorear al alumno sordo y cmo ayudarlo a acceder a la currcula (lenguaje de seas mexicana; el uso de imgenes para aproximar la comprensin de textos). Si bien la retroalimentacin ya ha empezado, se consolida en el momento en que se observa in situ al profesor interactuar con el alumno e implementar algunas de las formas de evaluacin sugeridas y reunirse de nueva cuenta para retroalimentar. Se asume como una prctica de mejora constante y que como seala Monereo (2011) siempre es perfectible.

Sobre la segunda pregunta relacionada con el concepto zona de desarrollo prximo que se retoma de la teora de Lev Vygotsky, puede verse desde la interaccin entre dos momentos pedaggicos bsicos: Uno de salida (real) y el otro de llegada (potencial). De manera que para lograr la transferencia, el evaluador requiere conocer dnde est el profesor y con base en la retroalimentacin estirar, como dice Monereo (2011), junto con el docente el punto de salida de su praxis hasta donde sea posible con el objetivo de aproximarse a lo potencial.

CONCLUSIONES: CUNDO EMPEZAR ESTE PROCESO?

Hasta aqu hemos recuperado cierta evidencia cientfica de que un paradigma agotado que influye no slo en la construc-cin de polticas educativas sino tambin en las prcticas educativas de las que proceden las prcticas de evaluacin que persisten hasta el momento. Es el vrtice en que confluyen tanto los elementos estructurales donde reposan las polticas educativas y las prcticas docentes.

La perspectiva tcnica arropa al pensamiento pedaggico derivado de la tecnocracia, con sus respectivas teoras y modelos. Bajo esta forma de pensar y mirar la realidad, tanto la investigacin como la realidad social nos devuelven una problematizacin comn: esta cultura y su paradigma tcnico e instrumental de la Administracin Clsica y Cientfica Escolar se agot.

Pero este agotamiento no se dio por decreto, es una enunciacin que da voz a las anomalas y defectos de dicho paradigma. Rasgos que dan luz a los posibles nuevos conceptos y propuestas tericas surgidas de la investigacin. Que en ese devenir de la construccin y reconstruccin del conocimiento configuran prenociones y nociones de un paradigma distinto.

Desde esa posible mirada alterna, se entiende que la resistencia del docente no slo provenga del sujeto sino de toda la estructura; esto no niega la posibilidad de cambio sino que en funcin de la resistencia se puede visualizar un avance gradual y estratgico para poder lograr esa articulacin, tal vez lenta hacia sistema y sobre todo respetuosa del sujeto que conforman la cultura presente ante y para la evaluacin. Este actuar gradual y respetuoso debe refle-jarse en la capacitacin y actualizacin docente.

Es un proceso largo y fundamental, pues las investigaciones nos indican que el cambio se tiene que dar hacia un pa-radigma distinto. Primero en la perspectiva que se tiene de la gestin, en esa racionalidad y epistemologa de las cuales derivan no slo la evaluacin si no otras prcticas educativas y docentes.

7

BIBLIOGRAFA

Aktouf, O. (1998). La administracin entre la tradicin y la renovacin. Ed. Artes Grficas Univalle. Cali, Colombia.Chanlat, J.F. (1994). Hacia una antropologa de la organizacin. Revista: Gestin y Poltica Pblica, Vol. III, No.2, Segundo

semestre. CIDEChanlat, J.F. (2006). Ciencias Sociales y Administracin. En defensa de una antropologa general. Fondo Editorial Universi-

dad Eafit, Medelln.Kuhn, T. (2012). La estructura de las revoluciones cientficas. Fondo de Cultura Econmica. Mxico.Monereo, C. (2011). Conferencia La evaluacin autntica de competencias https://www.youtube.com/watch?v=

nTGFI8K21CI, 6 de mayo de 2011 (obtenido el 20 octubre, 2014)Navarro, M. (2004). La gestin escolar: Conceptualizacin y revisin crtica del estado de la literatura. En Torres, M. Com-

piladora (2004). La gestin educativa. Experiencias de formacin y aportaciones a la investigacin e intervencin (Memoria). Coleccin Los trabajos y los das. Universidad Pedaggica Nacional. Mxico, D.F.

OCDE. (2009). Estudio Internacional sobre Docencia y Aprendizaje (Teaching and Learning International Survey. Talis.) 16 de junio. Mxico.

Ravela, P. La evaluacin del desempeo docente para el desarrollo de las competencias docente. Documento del Curso de Formacin Inicial para Evaluadores. INEE 2014.

Shepard, L. (2006). La evaluacin en el aula. Instituto Nacional de Evaluacin Educativa. Mxico.UNESCO-IIPE. (2000). Gestin educativa estratgica. Diez mdulos destinados a los responsables de los procesos de trans-

formacin educativa. Buenos Aires.Zemelman, H. (1992). Los horizontes de la razn. Tomo II. Historia y necesidad de la utopa. Ed. Anthropos. ColMex.

Captulo IV: El mtodo como actitud ante la realidad.

https://www.youtube.com/watch?v=nTGFI8K21CIhttps://www.youtube.com/watch?v=nTGFI8K21CI

Cmo operacionalizar el marco de buen desempeo docente, con pertinencia de gnero e interculturalidad?Un anlisis de las rutas del aprendizaje producidas para los docentes en Per

13 de marzo de 2015

2

Magrith Mena Portocarrero*Magster en Ciencias Sociales, Bachiller en Economa, GRADE, Per.mmena@grade.org.pe

Martn MlagaBachiller en Humanidades con mencin en Filosofa, GRADE, Per.martin.malaga.m@gmail.com

PALABRAS CLAVE: Buen desempeo docente; Instrumentos Curriculares; Gnero; Interculturalidad.EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares.

ResumenEn el contexto de la operacionalizacin del Marco del Buen Desempeo Docente en Per, el estudio analiza la per-tinencia de la incorporacin de los enfoques de gnero e interculturalidad en el principal instrumento curricular puesto a disposicin de los docentes: las Rutas del Aprendizaje. Dichas Rutas contienen diferentes estrategias de enseanza propuestas a los docentes para lograr el aprendizaje de los estudiantes.

En tanto, por un lado, las categoras de gnero e interculturalidad histricamente se han empleado en la legi-timacin y reproduccin de las diferencias sociales, y por otro lado, los diferentes instrumentos que produce el sector educativo deben apuntar a la construccin de una sociedad democrtica, donde se erradique la exclusin, discriminacin y desigualdad de oportunidades, la potencialidad del estudio radica en su abordaje a desafos conceptuales, vinculados a cmo se concretizan u operacionalizan las relaciones de gnero e interculturalidad en las Rutas.

El anlisis identifica cuatro dispositivos de representacin de las relaciones de gnero e interculturales: i. No existe un solo discurso (sino varios) de gnero e interculturalidad en las Rutas, ii. Individualizacin de respon-sabilidades en problemticas de carcter social, iii. Grupos poblacionales presentados en categoras cerradas y excluyentes, y iv. Invisibilizacin de sujetos (en especial mujeres e indgenas). De esta manera, se concluye que la incorporacin de los enfoques de gnero e interculturalidad como ejes transversales en los materiales estudiados es parcial, fragmentado, de modo que existe un amplio espacio para mejoras en su diseo.

*Autor principal

Cmo operacionalizar el marco de buen desempeo docente, con pertinencia de gnero e interculturalidad?Un anlisis de las rutas del aprendizaje producidas para los docentes en Per

mailto:mmena%40grade.org.pe?subject=mailto:martin.malaga.m%40gmail.com?subject=

3

INTRODUCCIN

La publicacin del Marco del Buen Desempeo Docente, a cargo del Ministerio de Educacin (MED) en el ao 2012, marc un hito importante en el establecimiento de estndares del trabajo docente. Este documento establece las competencias y desempeos que caracterizan una buena docencia; entendiendo que sta tiene como fin lograr el aprendizaje de todos los estudiantes (MED, 2012:17).

En este contexto, se disearon instrumentos curriculares dirigidos a docentes y vinculados al referido Marco. Entre estos materiales sobresalen las Rutas del Aprendizaje, pues ellas constituyen el principal instrumento curricular puesto a disposicin de los docentes del pas existe otro instrumento, cuya difusin ha sido bastante ms reducida. Estas Rutas buscan dar orientaciones a docentes, a manera de apoyo de su trabajo pedaggico; concretamente, contienen una serie de estrategias de enseanza.

Es importante subrayar que tanto el Marco como las Rutas hacen referencia a un horizonte-marco ms amplio, que apunta al Desarrollo Humano como objetivo de la educacin en el pas. As, en la medida que ste se entiende como un proceso de expansin de las capacidades y derechos de las personas (MED y CNE, 2007:24), que entre otras importantes cuestiones busca la construccin de una sociedad democrtica a travs de la erradicacin de la exclusin, discriminacin y desigualdad de oportunidades (MED y CNE, 2007:24), los instrumentos curriculares deben cumplir con caractersticas (estndares) que apunten en esta direccin.

En tanto histricamente el gnero y la pertenencia a una determinada cultura constituyen categoras clave para le-gitimar y reproducir las desigualdades sociales en el Per y en el mundo, se espera que estos dos conceptos sean ejes transversales en las Rutas. As, dichos materiales deben ser pertinentes en materia de gnero e interculturalidad -de hecho, existe todo un marco normativo que respalda esta afirmacin. Pero, qu quiere exactamente decir esto?, qu caractersticas especficas debe cumplir un material pertinente en estos dos campos?

Estas preguntas plantean desafos conceptuales en el marco de la definicin de estndares de desempeo docente, y en particular, en la definicin de estndares de materiales que el MED produce para ellos. Ms aun, estas preguntas resultan clave en tanto el gnero y la interculturalidad son conceptos que atraviesan el diseo de las polticas educativas del pas y la regin, y sin embargo aun resultan polismicos, considerados incluso como nebulosos o difciles de opera-cionalizar, por ms de un funcionario del sector educativo en Per (Muoz y otros, 2006; Mena, 2014).

DESARROLLO

Objetivo

El estudio busca responder a la pregunta Cmo son representadas las relaciones de gnero, as como las que se dan entre diferentes culturas, en las Rutas del Aprendizaje producidas el ao 2013? As, el objetivo principal fue determinar cules son los dispositivos de representacin de hombres y mujeres, as como de personas indgenas y no indgenas; atendiendo a la posible presencia de estereotipos de gnero y/o interculturales en las Rutas.

Metodologa

El estudio desarrolla un anlisis crtico del discurso (ACD) de las i) las imgenes y ii) estrategias de aprendizaje de las Rutas del Aprendizaje publicadas en 2013. Las imgenes aluden a toda representacin grfica con al menos un personaje humano; las estrategias, a una serie de actividades concretas propuestas a los docentes para el logro de aprendizajes con sus estudiantes (contenidos en los captulos 3 de cada Ruta).

Analizamos las Rutas correspondientes a los Ciclos de enseanza II, V y VII -correspondientes a los niveles de inicial (3 a 5 aos), primaria (5to y 6to grado) y secundaria (3ro a 5to ao); en las reas de Comunicacin Escrita, Comunicacin

4

Oral, Matemticas y Ciudadana. Las Rutas analizadas corresponden a la Educacin Bsica Regular (EBR) y a la Educacin Intercultural Bilinge (EIB). El corpus de anlisis abarca 13 Rutas, que contienen 813 imgenes y alrededor de 60 estra-tegias de aprendizaje.

Empleamos tcnicas cuantitativas y cualitativas de anlisis. Se cuantific personajes por sexo, indgena/no indgena, espacio donde se ubican, emocin expresada, ocupacin que ejercen, entre otros. Asimismo, se hizo una lectura crtica de las caractersticas sistemticamente atribuidas a hombres/mujeres, indgenas/no indgenas, y a las relaciones entre ellos.

En tanto este trabajo se enmarca en una discusin ms amplia sobre estndares de los instrumentos curriculares dirigidos a docentes, un desafo metodolgico importante fue abordar la pregunta cmo deben representarse las rela-ciones de gnero e interculturalidad en los materiales analizados? Es decir, cmo se debe dar contenido concreto a los enfoques de igualdad de gnero e interculturalidad en los materiales? Para esto se revis la normativa del sector, as como los principales aportes realizados desde las Ciencias Sociales. Concretamente, bajo los parmetros de anlisis empleados, se espera que las Rutas: i) representen a personas de diferente sexo y de diferentes culturas; ii) eviten la representacin acrtica de estereotipos que refuercen prcticas discriminatorias y/o de (re)produccin de jerarquas entre grupos po-blacionales, iii) representen a los sujetos en un marco de convivencia democrtica, apuntando a relaciones igualitarias.

Premisas tericas

El gnero se entiende como las diferencias construidas socialmente entre mujeres y hombres, basada en sus diferencias biolgicas (Giddens, 2009); la interculturalidad, como un proyecto democrtico orientado a la consecucin de relaciones igualitarias entre grupos culturales distintos. Adicionalmente, se tiene presente que existen interacciones entre las cultu-ras, de modo que las fronteras de las mismas se consideran abiertas (Appadurai, 2004). Para ambos conceptos, con base en Foucault, se tiene en cuenta su articulacin con el poder -rechazando el entendimiento del mismo como unificado, coherente y centralizado, dando as espacio para la agencia humana y el cambio social.

Adicionalmente, el lenguaje tambin es entendido como una construccin social, y por tanto, remitente a relaciones de poder. En esta lnea, el ACD se entiende como una disciplina que se propone investigar de forma crtica la desigualdad social tal como viene expresada, constituida y legitimada por los usos del lenguaje el discurso (Wodak, 2001).

Resultados

El anlisis identific cuatro dispositivos de representacin de las relaciones de gnero e interculturales.

1. No existe un solo discurso de gnero e interculturalidad. En las Rutas es posible identificar ms de una forma in-cluso contradictorias- de entender la igualdad de gnero y la interculturalidad. Estos dos conceptos no se abordan de manera coherente; antes bien, se tiene mltiples voces hablando a la vez sobre ellos.

2. Individualizacin de responsabilidades sociales. Las diferencias de gnero e interculturales son vistas como no deseables, pero ellas (en no pocos casos) son abordadas asignando responsabilidades a determinados sujetos, invisi-bilizando el marco de relaciones de poder en las que la discriminacin por gnero e intercultural se inscribe.

3. Grupos poblacionales presentados en categoras cerradas. Los juegos, las tareas de cuidado infantil y las ocupa-ciones laborales de los personajes adultos, en general aluden a la tradicional divisin sexual del trabajo: con escasos puntos de encuentro, las mujeres se ocupan de tareas domsticas y los hombres de aquellas de carcter pblico. As, que queda poco espacio para imaginar distintas formas de ser hombre y ser mujer. Por otra parte, no se subraya la posibilidad de una identidad cultural mltiple o plural en un individuo, se acaba as por asignar una identidad unvoca, casi puramente indgena en el caso de los sujetos estudiados. Adicionalmente, se encuentra una paulatina exotizacin de los mbitos rurales, hacia el final de la EBR acaban siendo vistos como aquello que se explora, que no pertenece al mundo de la escuela.

4. Invisibilizacin de sujetos. Se habla de los sabios en comunidades indgenas, invisibilizndose a las mujeres que ocupan estos roles; del trabajo campesino con referencias fundamentalmente masculinas; de esclavitud, sin mencio-

5

nar a las esclavas mujeres tradas del frica; al hablarse del boom de la comida peruana, no se hace una sola mencin a cmo esto deviene del conocimiento producido histricamente por diferentes mujeres.

Por razones de espacio, slo profundizaremos el anlisis de los dos primeros dispositivos.

1. No existe un solo discurso sobre gnero, ni sobre interculturalidad

La incorporacin de los enfoques de gnero e interculturalidad como ejes transversales en los materiales estudiados es parcial, fragmentada. Esto se basa en dos proposiciones.

a. Existen distintas nociones, incluso contradictorias, de representar las relaciones de gnero y entre culturas.

Existen remarcables avances en la representacin de lo femenino/ lo masculino, as como de lo culturalmente diferente:

Un igual nmero de personajes hombres y mujeres, a nivel de las imgenes y de personajes en los dilogos; y nios y nias se representan con igual tendencia a participar (1.2 y 1.4 intervenciones en promedio por dilogo). As, se ha evitado una sobre-representacin masculina en los personajes; marcando una diferencia con materiales anteriores (Anderson, 1987; Benavides y Crdova, 2003; Espinosa, 2006). Por otra parte, los personajes indgenas se encuentran en el 10% del total de imgenes, lo que se aproxima al porcentaje de poblacin indgena en el pas (15%) (Benavides y otros: 2010).

Una referencia explcita a la valoracin y respeto de la diferencia, incluyendo las de gnero e interculturales. Algu-nos ejemplos: empleo de Lenguaje Inclusivo (que visibiliza a las mujeres en referencias grupales tradicionalmente redactadas en gnero masculino); se mencionan diferentes culturas originarias del pas, incluso las relativamente poco conocidas o pequeas en trminos de nmero de pobladores.

Existen referencias puntuales a la deconstruccin de los supuestos bajo los cuales se legitiman las diferencias socia-les, incluyendo las de gnero e interculturales.

No se tiene un discurso sistemticamente androcntrico ni sistemticamente racista. De hecho, existen personajes cuyas acciones cuestionan viejos estereotipos en ambos enfoques. La siguiente imagen es ilustrativa.

EIB Ashninka (p11). Un hombre indgena ejerce el cuidado de un nio pequeo.

6

Sin embargo, cada uno de los puntos anteriores encuentra serias limitaciones:

Al desagregar a los personajes por sexo y edad, se tiene que el mundo de los estudiantes conserva una mayora mas-culina (53%) en especial para la EIB (58%)-; y el de los docentes, es predominantemente femenino (59%) en especial en el ciclo II (99%).

El valor de la diferencia resulta meramente enunciativo, superficial. A nivel grfico, en el eje de interculturalidad, los lugares de encuentro entre lo indgena y lo no indgena no slo son escasos, sino que se encuentran revestidos de un carcter extra-ordinario como una festividad especial en la escuela (ver imagen), donde los personajes alu-den a una convivencia ms bien artificial.

Ciudadana V y VII (p9) Nios de diferentes culturas se saludan, con expresiones sonrientes rgidas.

La deconstruccin de supuestos resulta relativamente aislada (en pocas estrategias), y no considera las interaccio-nes entre las categoras gnero e interculturalidad. Adicionalmente, estas estrategias, a diferencia de las que abor-dan otros temas, no contienen pautas ms concretas sobre conducir la reflexin en estos temas.

Existen no pocas referencias que ms bien reproducen viejos estereotipos de gnero e interculturales; sin la inclu-sin de referencias en paralelo que permitan cuestionar dichas representaciones. Ver siguiente imagen.

Oralidad VII (p112) Una pareja asiste a una feria donde se compra en miniatura lo que uno desea alcanzar; l muestra deseos de viajar, hacer dinero, manejar tecnologa (computadora), estudiar; ella, casarse por la iglesia, hijos, un auto.

b. Los dos conceptos se encuentran ausentes en lugares donde su visualizacin resulta crucial.

El siguiente ejemplo resulta ilustrativo. La Ruta Oralidad VII inicia con una historieta, desarrollada en un saln de clase de una regin andina. Se busca ilustrar cmo las diferentes variaciones dialectales del castellano son igualmente valiosas. Para esto, la profesora lee con los estudiantes un poema escrito en castellano andino, que da cuenta del caso

7

de una mujer quechua-hablante abusada sexualmente durante el conflicto armado interno 1980-2000. Sin embargo, en ningn momento se seala a las violaciones sexuales como un problema de gnero, ni de cmo esta situacin no fue un hecho aislado durante la poca sealada, sino una prctica sistemtica de las fuerzas militares y senderistas (Theidon, 2004). Adicionalmente, no se subraya el carcter intercultural de esta injusticia en tanto la mayor parte de vctimas fueron mujeres quechua-hablantes.

2. Individualizacin de responsabilidades sociales

Si bien existen referencias a entender las diferencias sociales basadas en el gnero y la interculturalidad como socialmen-te producidas, esto se hace a travs de dos referencias aisladas. stas, adems, entran en contradiccin con la individuali-zacin de las responsabilidades de estos problemas sociales. Profundizaremos esto en base a dos ejemplos.

En la Ruta de Comunicacin Escrita VII (p44), se presenta un afiche para ilustrar cmo las imgenes amplan y com-plementan la informacin escrita. El afiche hace alusin al Da Internacional de la Eliminacin de la Violencia contra la Mujer, en l figuran tres personajes, que en realidad representan a la misma mujer, tapndose los ojos, los odos y la boca de forma anloga a los tres monos sabios de la cultura China. El texto que sigue a esta imagen es el siguiente: [Estas imgenes] nos dicen que la mujer, vctima de la violencia verbal, fsica e institucional, no debe callarse ante el maltrato, no debe ceder ante el abuso, tampoco dejar de escuchar a quienes le aconsejan que debe defender su derecho a una vida sin violencia.

El abordaje a las situaciones de violencia contra las mujeres, entonces, se centra en las responsabilidades de la mujer vctima, en las cualidades que ella debe tener (no callar, no ceder, saber escuchar), representndolas como las nicas vas para eliminar la violencia. En esta estrategia no se encuentra una referencia a la responsabilidad de las personas (usual-mente hombres) que agreden a estas mujeres, as como a las instituciones que formalmente deben protegerlas. Esto abre espacio para la pregunta, Acaso la eliminacin de la violencia contra la mujer nicamente requiere de que ellas sean ms valientes para denunciar el hecho, y ms sabias para escuchar a quienes las aconsejan?

Por otra parte, en la Ruta Ciudadana V (p.37) se tiene una estrategia que busca Enfrentar la discriminacin en el aula; en ella se dice a los docentes: Pero sabemos que es un tema difcil de abordar, sobretodo porque los peruanos y las peruanas no reflexionamos lo suficiente sobre nuestras identidades. No es un terreno en el que nos guste entrar, quiz porque no tenemos una identidad bien afirmada. Muchos de nosotros mismos, los docentes, no nos atrevemos a mirarnos al espejo y decir en voz alta cmo nos reconocemos. Pero es importante que afrontemos este tipo de indefiniciones con relacin a nuestra identidad. Alejndonos del problema o huyendo de l no vamos a resolver nada. Enmascarndonos bajo una identidad que no es la nuestra, no nos vamos a sentir mejor ().

De manera anloga al ejemplo anterior, en este caso se aborda una problemtica social la discriminacin basada en la pertenencia cultural hacindose nfasis en la responsabilidad individual de los docentes quienes deben asumir su identidad. Esto resulta problemtico pues parte de la premisa que los docentes huyen o no quieren asumir su identidad lo que alude a un pre-juicio; y por otra parte, deja por fuera el marco de relaciones de poder que permean las relaciones sociales en el pas. En esta estrategia resultara necesario subrayar que en nuestro pas existen referentes culturales hegemnicos, que corresponden a la llamada cultural occidental, y que lo que se entiende aqu como no asumir la propia identidad, corresponde muchas veces a las viejas fracturas del pas, en las que ser indgena se asocia a ser un ciudadano inferior. Como sabemos, adems, la escuela no ha sido ajena a este proceso de jerarquizacin de las culturas otras frente a la occidental (Ames, 2002).

8

CONCLUSIONES

La transversalizacin del enfoque de gnero e interculturalidad en las Rutas del Aprendizaje es parcial y fragmentada, dejando un amplio espacio para la mejora del diseo de las mismas. Si bien existen ciertos avances en la representacin de lo femenino/lo masculino, y de lo indgena/lo no indgena, tales como una ausencia de sobre-sobre-repre-sentacin masculina en los personajes, o la mencin de diferentes culturas en un marco que valora la diversidad, aun se encuentran serias limitaciones en la representacin de estas cuatro categoras, y las relaciones entre ellas.

Estos resultados son importantes de socializar y tener en cuenta en el diseo de los siguientes materiales curricula-res, en tanto las cuestiones de gnero e interculturalidad aun resultan claves para explicar las asimetras en las relaciones sociales. En otras palabras, ellas resultan fundamentales para explicar la imposibilidad de una convivencia democrtica genuina y de la construccin de ciudadana, que es el objetivo principal de la educacin peruana.

BIBLIOGRAFA

Appadurai, A. (2004) The Capacity to Aspire: Culture and the Terms of Recognition, En Rao, V. y M. Walton (eds.), Culture and Public Action. California, Stanford University Press, pp. 59-84.

Ames, P. (2002). Para ser iguales, para ser distintos. Educacin, escritura y poder en el Per . Lima: IEP, Coleccin Mnima, N 52.

Anderson, J. (1987). Imgenes de la familia en los textos y vida escolares En: Revista peruana de Ciencias Sociales. Vol. 1 No. 1.

Benavides, M. y L. Crdova. (2003) Hablan las imgenes: la construccin del gnero en los textos escolares. MimeoBenavides, M., M. Mena y C. Ponce (2010) Estado de la Niez Indgena en el Per. Lima, UnicefEspinosa, G. (2006) El currculo y la equidad de gnero en la primaria: estudio de tres escuelas estatales de Lima.

En P. Ames (ed).: Las Brechas Invisibles. Desafos para una equidad de gnero en educacin. Lima, IEP. Giddens, A., (2009) Sociology. Cambridge, Polity PressMED (2012) Marco del Buen Desempeo Docente, Lima.MED y CNE (2007), Proyecto Educativo Nacional al 2021, Lima.Mena, M. (2014) Estado de la cuestin en el Desarrollo de Polticas de Igualdad de Gnero en la Gestin Educativa. Lima:

Consultora desarrollada para Grade. Mimeo.Muoz, F., P. Ruiz-Bravo y J. Rosales (2006) El gnero y las polticas educativas en el Per: 1990- 2003. En P. Ames (ed).:

Las Brechas Invisibles. Desafos para una equidad de gnero en educacin. Lima, IEP. Theidon, K. (2004) Entre prjimos. El conflicto armado interno y la poltica de la reconciliacin en el Per. Lima: IEP.Wodak, R. y M. Meyer (2001), Methods of Critical Discourse Analysis. Barcelona, Gedisa.

Dilemas y retos del INEE para la evaluacin docente en Mxico: algunos temas para la agenda institucional13 de marzo de 2015

2

Francisco Miranda LpezDoctor en Sociologa por el Colegio de Mxico; Instituto Nacional para la Evaluacin de la Educacin, Mxico.fmiranda@inee.edu.mx

Arcelia Martnez BordnDoctora en Poltica por la Universidad de York, Reino Unido; Instituto Nacional para la Evaluacin de la Educacin, Mxico.amartinezb@inee.edu.mx

PALABRAS CLAVE: Evaluacin docente, evaluacin formativa, evaluacin sumativa, evaluacin contextualizada, Servicio Profesional Docente, INEE, Mxico, contexto.

EJE TEMTICO: Modelos y polticas de evaluacin de docentes y de directivos escolares.

ResumenSi bien la legislacin seala que la evaluacin docente debe ser justa y tomar en cuenta el contexto en donde traba-jan los y las maestras, lo cierto es que evaluar el desempeo de los docentes es una tarea que implica un alto nivel de complejidad, que est sujeta a una serie de dilemas y retos que ser necesario afrontar en los meses por venir. En este documento se analizan los principales dilemas y retos que enfrenta el INEE para la evaluacin docente en Mxico. Entre estos, se destacan la difcil tarea de involucrar activamente a los sujetos evaluados en la planeacin y desarrollo de la evaluacin, ampliar el espectro de la evaluacin hacia dimensiones no cognitivas, desarrollar evaluaciones integrales y sistmicas, as como combinar en una sola evaluacin dos propsitos que, en principio, parecen contraponerse: la funcin formativa y la sumativa. Lo anterior en razn de que uno est planteado con miras al rediseo, retroalimentacin y aprendizaje, a crear un clima de autorreflexin; y el otro tiene como fin ltimo la rendicin de cuentas y, por tanto, la posibilidad de sancionar y de tener consecuencias de alto impacto.

Dilemas y retos del INEE para la evaluacin docente en Mxico: algunos temas para la agenda institucional

mailto:fmiranda%40inee.edu.mx?subject=mailto:amartinezb%40inee.edu.mx?subject=

3

Recientemente participamos en el desarrollo y conduccin de dilogos regionales con autoridades educativas de las en-tidades federativas. El objetivo de dichos dilogos1, organizados por el Instituto Nacional para la Evaluacin de la Edu-cacin, fue propiciar espacios de reflexin colectiva que ayuden a la construccin de la Poltica Nacional de Evaluacin Educativa (PNEE), por lo que se les pidi a los y las participantes proponer acciones para el diseo, implementacin y seguimiento de las principales atribuciones que la reforma constitucional le confiri al INEE autnomo.2 Los dilogos tambin buscaron generar un espacio abierto de conversacin en el que las autoridades reflexionaran sobre los alcances y retos de la evaluacin educativa y de la reforma educativa en curso.

En los dilogos hubieron muchas coincidencias respecto a las temticas que les preocupan a las entidades federati-vas, y particularmente respecto a la evaluacin de los docentes. Los participantes coincidieron en que hay un desnimo y una preocupacin generalizada entre los y las maestras, porque en el centro de la reforma educativa se ha puesto a los docentes, a quienes los medios de comunicacin y la sociedad en su conjunto parecen responsabilizar de la mala calidad de la educacin y del bajo logro educativo de los alumnos. Al respecto, las autoridades educativas sealaron que la eva-luacin que se haga a los docentes, particularmente para medir su desempeo, deber tomar en cuenta el contexto en el que ocurre el proceso de enseanza-aprendizaje, porque este no es neutral e impone retos importantes a quienes, por ejemplo, trabajan en escuelas multigrado, con pocos docentes y muchos nios a su cargo, o a quienes trabajan con nios con necesidades educativas especiales o procedentes de contextos indgenas, sin haber recibido para ello una capacita-cin especfica.

En paralelo a estos dilogos, se realizaron tambin grupos focales con docentes de educacin bsica y media superior con el objetivo de conocer sus opiniones y perspectivas sobre qu significa ser un buen docente y qu es una buena en-seanza, as como qu factores de la escuela y del contexto afectan su prctica y su desempeo en el aula.3 La mayora de ellos, sin importar el nivel educativo en el que laboran preescolar, primaria, secundaria y media superior- coincidi en que la evaluacin docente que propone la reforma no parece tomar en cuenta que muchos docentes trabajan en condicio-nes muy precarias, sin los recursos y/o preparacin necesarias.

Con base en estos insumos de informacin, y frente a una de las mayores inquietudes de los docentes: que no se les evale de manera justa y, en consecuencia, se tomen decisiones de alto impacto si no califican como idneos, en este art-culo se analizan los principales dilemas y retos que enfrenta (y enfrentar) la evaluacin del desempeo docente.

Nuestras reflexiones toman en cuenta el trabajo que viene realizando el INEE desde comienzos de 2014, un ao de cambios y proyectos encaminados a dar cumplimiento a las nuevas atribuciones que la reforma constitucional le ha conferido al Instituto, as como el trabajo que hemos realizado desde la Unidad de Normatividad y Poltica Educativa, la que adems de organizar los dilogos regionales y los grupos focales en comento, ha emitido lineamientos para la eva-luacin de ingreso al Servicio Profesional Docente en educacin bsica y media superior, y para la promocin a cargos de direccin; ha esbozado una ruta de trabajo para la emisin de directrices para la mejora de la educacin; y, ha diseado el Programa de Formacin Inicial de Evaluadores del Desempeo Docente, que participarn, en 2015, en la evaluacin de desempeo docente.

A continuacin se plantean los principales dilemas y retos, que en nuestra perspectiva, enfrenta la evaluacin de los docentes en Mxico, y sobre los que habr que trabajar en los meses por venir, para lograr que la evaluacin de su desem-peo sea justa y aceptada por los que se consideran los principales artfices del cambio educativo.

1 Los dilogos se llevaron a cabo en el mes de octubre de 2014, en Mazatln, Sinaloa, Puerto Vallarta, Jalisco, e Ixtapa-Zihuatanejo, Guerrero. Al finalizar estos encuentros, hubo un cuarto dilogo con autoridades educativas de la federacin, a quienes se les expusieron las conclusiones de los dilogos regionales y se les pidi plantear tambin su perspectiva sobre los alcances y retos de la reforma educativa

2 Estas son: construir las mediciones y evaluaciones que permitan mejorar el Sistema Educativo Nacional; elaborar los lineamientos que normarn los procesos de evaluacin del Instituto; generar y difundir informacin, y a partir de ello emitir directrices para la mejora de la educacin; y coordinar el Sistema Nacional de Evaluacin Educativa.

3 Se realizaron 72 grupos focales con docentes de educacin bsica y media superior, en nueve estados de la repblica y 12 grupos focales, en el Distrito Federal, con docentes indgenas, directores de bsica y media superior, supervisores y Asesores Tcnico Pedaggicos de otras entidades federativas. Si bien se realiz un operativo conjunto entre la Direccin General de Evaluacin de Docentes y Directivos (DGEDD) y la Direccin General de Directrices para la Mejora de la Educacin (DGME), cada direccin general elabor un guin de entrevista y moder con dicho guin un total de 36 grupos focales en los estados visitados, y 6 grupos en el caso del Distrito Federal. As, mientras que a los grupos la DGEDD se les pregunt qu y cmo evaluar, utilizando como fundamento parte de los resultados del cuestionario en lnea, la DGDME indag cules son las perspectivas de los docentes sobre lo que significa ser un buen docente y lo que entienden por una buena enseanza, as como sobre los factores, escolares y de contexto, que afectan su desempeo.

4

CLARIFICAR CUL ES EL PROPSITO DE LA EVALUACIN DOCENTE

Se habla de que la evaluacin docente es una condicin necesaria para mejorar la prctica docente, y en consecuencia, el logro educativo. Si bien no existe un consenso sobre qu peso especfico atribuirle al docente en el proceso de logro educativo de los alumnos, lo cierto es que el docente ocupa un lugar central en la literatura y en la reforma educativa, y, por ende, en la agenda de evaluacin educativa.

Se hace alusin a una evaluacin que permita valorar los conocimientos, habilidades pedaggicas y didcticas del docente, y su capacidad para entender el contexto y planear sus clases. En suma, a una evaluacin integral que tenga un carcter formativo y que permita fortalecer conocimientos y habilidades a travs de la instrumentacin de procesos de capacitacin y formacin. Pese a ello, la Ley General del Servicio Profesional Docente le imprime otras dimensiones a la evaluacin: hace referencia a una evaluacin con consecuencias si el docente no logra alcanzar un nivel denominado idneo, lo cual remite a un modelo de evaluacin sumativa.

Se evala entonces con la aspiracin de lograr mejorar la prctica docente, y por ende, el logro educativo que como sabemos, no slo depende del docente, sino de muchas otras condiciones del contexto y de la escuela misma- y si esta no mejora entonces surge la figura de la sancin al mal desempeo. Si bien el INEE se ha pronunciado reiteradamente por una evaluacin formativa, que permita identificar reas de oportunidad para el acompaamiento del docente y la mejora de su prctica, lo cierto es que est latente, ms all del INEE, la realidad que plantea la ley: aquel docente que pasados tres procesos seguidos de evaluacin no obtenga resultados satisfactorios tendr que renunciar a serlo. Por ende, resulta crucial que la evaluacin efectivamente se acompae de acciones inmediatas y certeras de capacitacin y formacin, que apoyen a aquellos docentes que no resulten idneos.

INCLUIR A LOS DOCENTES EN LA CONSTRUCCIN DEL MARCO CON EL CUAL SERN EVALUADOS

La evaluacin del docente debe partir de una definicin clara de lo que se entender por un buen docente -aunque, como seala Felipe Martnez Rizo (en prensa), no exista una definicin nica de buen docente pues los rasgos del buen docente cambian segn el contexto- y de diversos ejercicios de consulta con los docentes sobre lo que es la buena docencia. Al respecto, la literatura seala que la participacin del docente en la construccin de un marco de referencia sobre lo que se espera de un buen docente no slo permite que el docente se identifique y apropie de dicho marco, sino que acepte de manera ms natural la evaluacin y sus consecuencias.

En este sentido, es importante sealar que el INEE no slo se est construyendo un marco de referencia, a partir de la revisin de la literatura y de los casos de Estados Unidos, Reino Unido, Chile, Ecuador y Colombia, sino que tambin se ha iniciado un proceso de consulta a travs de la autoaplicacin de un cuestionario en lnea de autoseleccin- para recupe-rar las opiniones de los docentes sobre la buena docencia y sobre el qu y cmo evaluar. Este ejercicio se complement, hace unos meses, con la realizacin de grupos focales con docentes de educacin bsica y media superior, que tuvieron como objetivo refrendar los primeros hallazgos de esta consulta, particularmente, en la temtica de qu evaluar y cmo evaluar, y conocer, por otro lado, la percepcin de los docentes sobre los factores del contexto escolar y extraescolar- que afectan su prctica y desempeo en el aula.

Con todo, es necesario que estos ejercicios de consulta se realicen de forma peridica y se incluyan procesos ms amplios y representativos ms all de la consulta en lnea que den lugar a la participacin de los docentes de todos los rincones del pas. El mayor reto, por otro lado, no slo es realizarlos, sino sistematizarlos y utilizar los resultados de estos para el diseo de los procesos de evaluacin particularmente para la emisin de lineamientos y criterios tcnicos, de los cuales es responsable el INEE.

5

EVALUAR DISTINTOS ASPECTOS DE SU DESEMPEO, NO SLO SU DOMINIO DISCIPLINAR

En paralelo a la definicin del marco de la buena docencia, se deben establecer las dimensiones que se van a evaluar. As, lo primero, segn lo refiere Schmelkes (en prensa), es evaluar su dominio de conocimientos. Pero tambin, seala, impor-ta evaluar su prctica pedaggica, su didctica especfica la que necesita, por ejemplo, para poder ensear matemticas de la mejor manera, y su capacidad para planear y adaptarse al contexto y a sus alumnos. La evaluacin, por tanto, no puede reducirse a exmenes de conocimientos, sino que se deben establecer rbricas que contemplen, como lo est valo-rando el INEE, evaluacin de pares, evaluacin de portafolios, etctera.

DEJAR DE VER AL DOCENTE DE FORMA AISLADA, VINCULARLO A LA ESCUELA Y AL CONTEXTO DONDE TRABAJA

Al docente se le sigue viendo de forma individual y por no decir, aislada. Sin embargo, su desempeo no slo depende de l, de su formacin y preparacin, sino de otros factores de la escuela y del contexto. Esto es particularmente cierto en el caso de los docentes que trabajan en contextos de alta marginacin y/o con alumnos que tienen necesidades educativas especiales o que son hablantes de lengua indgena. Sin embargo, dada la premura en la implementacin de estos procesos de evaluacin, la discusin ha estado ms centrada en los tiempos y esquemas para llevarla a cabo, y menos en las otras cosas dimensiones que deberan evaluarse para entender mejor porqu el docente no est desempeando de mejor manera su trabajo.

Por lo tanto, un cambio de sentido, implicara, como algunos de los especialistas lo sealan, en primera instancia mirar al cuerpo de docentes que trabajan en la escuela, y determinar qu se necesita de forma integral, dentro de la es-cuela, para que esta logre la normalidad mnima, la autonoma en sus decisiones y el tener docentes ms participativos y comprometidos con su formacin profesional y con el logro educativo de sus alumnos.

Este es, sin duda, uno de los mayores retos. Que la evaluacin de los docentes mire el contexto, y, concretamente, la escuela en la que trabajan.4 Ahora bien, si bien es cierto que INEE est trabajando en la construccin de una nueva generacin de evaluaciones de logro que sustituirn a Excale y Enlace , todava enfrenta el reto de construir una evaluacin integral que vincule los resultados de las evaluaciones de logro, escuelas, docentes, polticas y programas. Por el momento, es importante sealar que, a travs de sesiones de trabajo con el Consejo Tcnico Especializado ad hoc para la contextualizacin de las evaluaciones, instituido de forma temporal para apoyar las tareas del INEE, se ha avanzado en la articulacin de las distintas direcciones generales que tienen como principal atribucin la evaluacin de uno o ms componentes del sistema educativo, para reflexionar sobre cmo se puede contextualizar la evaluacin educativa y si es posible definir un marco o referente contextual comn.

EVALUAR A LAS ESCUELAS NORMALES AUNQUE NO SEA UNA ATRIBUCIN DIRECTA DEL INEE

Otro dilema no menor es la evaluacin de las escuelas normales. Si bien al INEE slo le corresponde evaluar al sistema educativo obligatorio educacin bsica y media superior parecera urgente conocer los principales retos que en-frentan estas instituciones formadoras para transformarse y responder a las exigencias de preparacin y vanguardia que enfrentan los docentes. En los grupos focales con docentes se escucharon muchas voces que expresaban que la escuela normal no los prepar para enfrentar realidades de alta complejidad, como por ejemplo, la que que se vive en escuelas multigrado:

4 Hay que mencionar que lo que se espera de un docente tambin depender del momento en que se encuentre en su trayectoria laboral si es recin egresado, ya lleva aos frente a grupo o est a punto de retirarse (Schmelkes, en prensa).

6

siempre nos tocaba ir a prcticas a escuelas alrededor. Nunca se le ocurri a la directora ni al subdirector ni nada mandarnos a una escuela unitaria, ni bidocente, ni mucho menos tridocente. Cuando yo llego te presentan, ms no te dicen que te tienes que preparar para tres salones, tres grados, nada nadie me dijo en la Normal que poda ser maestra de tres tenemos que buscar las estrategias, todo de lo que podemos echar mano para sacar adelante este grupo de tres grados y no puedes tener tres pizarrones. (Docente de primaria en Grupo Focal, Sinaloa, Octubre de 2014).

Desde la mirada de los docentes entrevistados, uno de los aspectos que deben de revisarse y evaluarse- son los pla-nes y programas de formacin inicial docente pues es evidente la desvinculacin entre los aspectos tericos y la prctica en los contextos diferenciados y complejos: creo que s es fundamental revisar los programas de las Normales ves mu-chas materias que estn muy padres y muy lindas pero que no son prcticas ni operativas (Docente de preescolar en Grupo Focal, Yucatn, Septiembre de 2014).

EL MAYOR RETO: CONSTRUIR UN MODELO DE EVALUACIN INTEGRAL Y OPORTUNO

Finalmente, es importante sealar que a los dilemas y retos expuestos se suma otro mayor: desarrollar evaluaciones justas e integrales que tomen en cuenta otros factores y componentes del sistema educativo para poder comprender la realidad a la que se enfrentan los docentes y otros actores educativos en su quehacer cotidiano-, y, que sean oportunas y permitan las transformaciones necesarias en el corto y mediano plazos. Esto ltimo implica generar resultados opor-tunos que sean factibles de traducir en el rediseo y propuestas de mejora de la poltica educativa, docente en este caso.

Los tiempos de la evaluacin son, sin embargo, apremiantes. Es un hecho que para dar cumplimiento al calendario de evaluacin docente que establece la Ley General del Servicio Profesional Docente, se han apresurado procesos que, en otra coyuntura, seguramente tomaran ms tiempo. Si bien al INEE le corresponde cumplir con lo que la Ley estipula, en los tiempos que se han dispuesto para ello, no debe soslayarse que la profesionalizacin del gremio docente requiere de polticas integrales y coherentes entre s, que vinculen la formacin inicial y continua, que atraigan a los mejores perfiles al ejercicio de la docencia, que brinden estmulos y salarios dignos, y que ayuden a mejorar la escuela y su entorno, para que todas estas acciones, juntas, redunden en un mejor desempeo docente y en un mayor logro educativo. Se requiere, por tanto, evaluar de manera integral y sistmica una serie de acciones y componentes escuela, programas, polticas- para valorar los retos que enfrenta el docente en su quehacer cotidiano, las ventanas de oportunidad para mejorar su for-macin inicial y continua y, por tanto, su desempeo, y los apoyos que requiere la escuela para cumplir con la normalidad mnima que establece la ley, entre otras cosas.

COMENTARIOS FINALES

Los dilemas y retos del INEE para la evaluacin docente en Mxico que hemos planteado en este artculo deben formar parte de la agenda institucional del INEE y discutirse entre distintos actores acadmicos, funcionarios y docentes-. Su relevancia no es menor. Su atencin y solucin no puede postergarse. Es necesario que el docente participe en la cons-truccin de su transformacin y slo lo har si percibe que la evaluacin es justa y que toma en cuenta el contexto y circunstancias escolares en las que opera.

Como lo seala Arnaut (en prensa), uno de los rasgos menos atractivos de la LGSPD es que, hasta ahora, son mucho ms visibles las normas referidas al control, la evaluacin y los incentivos negativos. Adems de que las reformas jurdicas hoy siguen siendo acompaadas por un entorno meditico que ha promovido en la opinin pblica una profunda desconfianza y hasta estigmatizacin de la escuela pblica y sus maestros. Al INEE le corresponde, por tanto, disear un modelo de evaluacin que, sin dejar de tener consecuencias, tenga como mxima la mejora, el rediseo y la transformacin de la educacin incluidos los docentes.

7

BIBLIOGRAFA

Arnaut, A. (en prensa). El Servicio Profesional Docente en educacin bsica, en Guevara, G., Melndez, M.T., Ramn, F.E., Snchez, H. y Tirado, F. (coords.). (en prensa). Evaluacin del desempeo docente en Mxico: INEE-OEI.

Bruns, B. y Luque, J. (2014). Profesores excelentes. Cmo mejorar el aprendizaje en Amrica Latina y el Caribe. Resumen. Washington D.C., Banco Mundial.

Del Castillo, G. y Valenti, G. (coords.) (2014). Reforma educativa. Qu estamos transformando? Evaluacin y poltica educativa. Mxico. FLACSO Mxico.

Guevara, G., Melndez, M.T., Ramn, F.E., Snchez, H. y Tirado, F. (coords.). (en prensa). Evaluacin del desempeo docen-te en Mxico: INEE-OEI.

Hunt, B. (2009). Efectividad del desempeo docente. Una resea de la literatura internacional y su relevancia para mejo-rar la educacin en Amrica Latina, Chile, PREAL.

IIEP-UNESCO (2011). Los docentes mexicanos. Datos e interpretaciones en perspectiva comparada. Siglo XXI-UNESCO-IIPE; Mxico.

INEE (2014). El Derecho a una Educacin de Calidad. Informe 2014. Mxico: INEE.Leu, E. (2005). The Role of Teachers, Schools, and Communities in Quality Education, en Hunt, Efectividad del desempeo

docente. Una resea de la literatura internacional y su relevancia para mejorar la educacin en Amrica Latina.Luna, M. (2005). El rol de los docentes en el cambio educativo. Buenos Aires, PRELAC, No. 1, p.172. Consultado en:

http://unesdoc.unesco.org/images/0014/001446/144666s.pdf el 25/11/2014.Martnez, F. (en prensa). La evaluacin del desempeo docente. Una propuesta para la educacin bsica en Mxico, en

Guevara, G., Melndez, M.T., Ramn, F.E., Snchez, H. y Tirado, F. (coords.). (en prensa). Evaluacin del desempeo docente en Mxico: INEE-OEI.

Nava, M. y Rueda, M. (2013). La evaluacin docente en la agenda pblica. Revista Electrnica de Investigacin Educativa, 16(1), UABC, pp. 1-11. Recuperado de http://redie.uabc.mx/vol16no1/contenido-nava-rueda.html

OECD (2012). Avances en las reformas de la educacin bsica en Mxico: Una Perspectiva de la OCDE. OECD Publishing.OECD (2014). Talis 2013 Results An International Perspective on Teaching and Learning. OECD Publishing.PRELAC, (2005). Protagonismo docente en el cambio educativo, UNESCO; Chile. Recuperado de: http://unesdoc.unesco.

org/images/0014/001446/144666s.pdfRobalino, M. (2005). Actor o protagonista?, dilemas y responsabilidades sociales de la profesin docente. Revista

PRELAC, No. 1. Oficina Regional de Educacin de la UNESCO para Amrica Latina y el Caribe, Grupo sobre Desem-peo Docente de OREALC/UNESCO. Santiago, Chile.

Schemelkes, S. (en prensa). Desempeo docente: estado de la cuestin, en Guevara, G., Melndez, M.T., Ramn, F.E., Snchez, H. y Tirado, F. (coords.). Evaluacin del desempeo docente en Mxico: INEE-OEI.

Segob (2013). Decreto por el que se expide la Ley General del Servicio Profesional Docente. Diario Oficial de la Federa-cin. Distrito Federal, Mxico: SEGOB.

Secretara de Educacin Pblica (2014a). Perfil, Parmetros e Indicadores para Docentes y Tcnicos Docentes y Propuesta de etapas, aspectos, mtodos e instrumentos de evaluacin. Mxico, CNSPD, SEP.

Secretara de Educacin Pblica (2014b). Perfil, Parmetros e Indicadores para el ingreso a las funciones docentes y tcnico docentes en la Educacin Media Superior. Mxico, CNSPD, SEP.

Vezub, L.F. (2010). El desarrollo profesional docente centrado en la escuela: concepciones, polticas y experiencias. http://www.udelas.ac.pa/biblioteca/librospdf/El_desarrollo_prof_docente_centrado_en_la_escuela.pdf

http://unesdoc.unesco.org/images/0014/001446/144666s.pdfhttp://redie.uabc.mx/vol16no1/contenido-nava-rueda.htmlhttp://unesdoc.unesco.org/images/0014/001446/144666s.pdfhttp://unesdoc.unesco.org/images/0014/001446/144666s.pdfhttp://www.udelas.ac.pa/biblioteca/librospdf/El_desarrollo_prof_docente_centrado_en_la_escuela.pdf

Broken gears: The Value Added of Higher Education on Teachers Academic Achievement13 de marzo de 2015

2

Carlos Felipe Balczar1Poverty Global PracticeThe World Bank Group1818 H St. NW, Washington D.C.United States of America

Hugo opoEducation DivisionInter-American Development Bank1300 New York Ave. NW, Washington D.C. United States of America

JEL CODES: I2, I21, J24KEY WORDS: Teacher performance, career choice, self-selection, relative learning mobility.

AbstractA growing literature establishes that good teachers are essential for high quality educational systems. However, little is known about teachers skills formation during their college years. In this paper we use a novel panel data set combining two standardized tests for Colombian students: one that is taken at the end of senior year in high school and the other when students are near graduation from college. Accounting for selection into majors we test for the extent to which education majors relatively improve or deteriorate their skills in comparison to students in other programs. We analyze three sets of skills: quantitative reasoning, native language (Spanish) and foreign language (English). After around 5 years of college, teachers skills vis--vis those in other majors deteriorate in quantitative reasoning, although they deteriorate less for those in math-oriented programs. For native and foreign language we do not find evidence of robust changes in relative learning.

1 Corresponding author at: the World Bank Group, 1818 H St. NW, Washington D.C. United States of America. Phone: (1) 202 458 14 97. Email: cbalcazarsalazar@worldbank.org (Carlos Felipe Balczar).

The comments of Mariana Alfonso, Fernando Fernndez, Catherine Rodrguez and Emiliana Vegas are specially acknowledged. Daniel Alonso provided valuable research assistance The findings herein do not necessarily represent the views of the Inter-American Development Bank, The World Bank Group, or their Boards of Directors.

Broken gears: The Value Added of Higher Education on Teachers Academic Achievement

mailto:cbalcazarsalazar%40worldbank.org?subject=

3

INTRODUCTION

This document builds upon two literatures of high policy relevance, not only in the developing world but also in the developed one: teacher quality and value added of higher education. It does it by providing evidence for Colombia on the difference in skill-acquisition between students in education majors and students in other majors. To do so we compare test score-rankings between these two groups of students using a novel panel data set that combines two standardized tests, one before and one near the end of college studies. We measure test score-rankings using the z-scores of subjects assessed in both tests and compare changes in the relative position of students in the distributions of skills.

A growing body of literature establishes that teachers are essential for a high-quality educational system (Goldhaber and Brewer, 1997; Hanushek, 2002; Eide et al., 2004; Rockoff, 2004; Rivkin et al., 2005; Hanushek and Rivkin, 2006; Clot-felter et. al., 2007; Kukla-Acevedo, 2009; De Paola, 2009). More recently, Chetty et al. (2013a and 2013b) find that, after controlling for socio-demographic characteristics, those students who had high quality teachers during their school years are more likely to attend higher education, to go to a better university and to obtain higher labor earnings. Nonetheless, despite that the literature has extensively addressed the role of the quality of teachers on social and academic outcomes, we know little about the role of higher education on the production of those teachers.

Evidence from successful educational systems (Finland, Singapore, Korea, China) highlights the importance of teach-ers and their formation. In Finland, for instance, only the best and brightest manage to become teachers on that system, after demanding undergrad and masters programs (OECD, 2011; Sahlberg, 2011). This has been claimed as an important stepping stone for their impressive improvement between the 60s and the early 21st century: from having educational outcomes comparable to those of developing economies, Finland now ranks amongst the top performers in educational achievement and attainment in the world (Sahlberg, 2009, 2011).

In most educational systems, however, the best and brightest do not choose education majors. Teachers academic perfor-mance and potential is lower than that of their peers who choose to attend other programs (Giesen and Gold, 1993; Hanushek and Pace, 1995; Podgursky et al., 2004; Denzler and Wolter, 2008). In this context, competitive salaries and benefits, as well as a meaningful and challenging career path for teachers are crucial for attracting and retaining high-quality teachers (Murnane et al., 1991; Ballou and Podgursky, 1997; Odden and Kelley, 1997; Dolton, 1990, 2006; Dolton and van der Klaauw 1999). Countries that pay low salaries to their teachers (relative to the earnings distribution of the countrys population) show lower pupil performance as measured by international student assessments (Dolton and Marcenaro-Gutierrez, 2011).

In Latin America, and particularly in Colombia, the situation is no different. Talented people might get discouraged from choosing a career in education to avoid getting trapped in a profession with low social prestige, bad academic reputation and low salaries (Mizala and opo, 2011; Garca et al., 2014). As it has been shown, in Colombia, those who graduate as school teachers from university or technical programs are more likely to have scored at the bottom quintiles of the Colombian college admission test, Saber 11 (Barn and Bonilla, 2011; Barn et al., 2013).

There is solid evidence that self-selection plays a role on teachers quality. Granted, but, what about the role of higher education? Even if prospective teachers start at disadvantage compared to their peers in other careers, does higher edu-cation level the playing field? To address these questions we analyze relative learning mobility, understood as the change in score-rankings between two periods, for students who are close to graduate from a university program in education (which we will also call throughout the paper: teachers) vis--vis students that are also about to graduate, but from other university academic programs (which we will also call throughout the paper: other professionals). We use data from two standardized tests: Saber 11 and Saber Pro, which provide information on educational outcomes and socio-demographic characteristics for students in Colombia at their senior year of high school and near the end of their college education. In this sense this paper not only deals with teachers academic competence but also contributes to the value added of higher education literature (Klein et al, 2005; Liu, 2011; Saavedra, 2009; Saavedra and Saavedra, 2011; Cunha and Miller, 2014).

Our results indicate that after around 5 years of academic training, teachers skills vis--vis those in other professions deteriorate in quantitative reasoning, although they deteriorate less for those in math oriented programs. We do not find evidence of a statistically significant change in relative learning for native language (Spanish) and foreign language (English). The rest of the paper proceeds as follows. In the next section we introduce the data sources and present some descriptive statistics. Section three introduces the concept of relative learning mobility. In the fourth section we present the main empirical analysis. In the fifth section we conclude.

4

DATA AND DESCRIPTIVE STATISTICS

The data comes from Instituto Colombiano para el Fomento de la Educacin Superior (ICFES). We use data from two national standardized tests: Saber 11 (2002-2007) and Saber Pro (2011). Saber 11 assesses senior year high school stu-dents academic competences in language (Spanish), mathematics, biology, chemistry, physics, social sciences, philoso-phy, and foreign language (English). Saber Pro assesses the academic competences of higher education students who have completed at least 75% of their academic programs, on program specific areas (e.g., engineers are assessed in engineer-ing; economists in economics; biologists in biology, and so on). The novelty that makes this paper feasible is that since the second semester of 2011 Saber Pro also assesses all students, regardless of their major, in quantitative reasoning, reading, writing and English as foreign language.2

Saber 11 is mandatory for all senior year high school students who wish to obtain their school degree, and serves as an input for college entrance. In fact, in many universities this is the sole admission criterion (Saavedra and Saavedra, 2011). Saber Pro is mandatory for those students who wish to earn their college degrees. Furthermore, employers might use Saber Pro scores to screen applicants for a (professional) job position (Saavedra, 2009). Nonetheless, schools and universities cannot retain students based on their scores.

Saber 11 and Saber Pro share three components, which allow us to compare the change in students learning: native language, quantitative reasoning and foreign language. Language in Saber 11 is comparable to Reading in Saber Pro as both evaluate academic competences in Spanish (reading skills). In this paper we use Native Language to refer to both. Mathematics in Saber 11 is comparable to Quantitative Reasoning in Saber Pro. In this paper we use Quantitative Reasoning to refer to both. The foreign language component in both tests evaluates proficiency in English. In all three cases, the level of difficulty is higher in Saber Pro, capturing the fact that students should develop their academic skills during higher education. We will not compare scores in both tests in a direct way. Instead, we will use the individuals position on the distribution of scores (z-scores), analyzing the changes from on test to the other.

ICFES provided researchers the possibility of linking both tests using a unique key that identifies individuals. These keys are available for Saber 11 from the first semester of 2002 to 2010, and for Saber Pro from the first semester of 2007 to 2011. However, we do not use data from Saber 11 from the second semester of 2007 on due to changes in the survey structure, and from Saber Pro from the first semester of 2011 backwards given that quantitative reasoning, native lan-guage and foreign language were not assessed.

We restrict ourselves to students attending on-campus programs at their 4th year of college or above, who at the time of the test had completed at least 75% of their academic programs, whose identification key allows tracing them in both Saber 11 and Saber Pro, and with no missing values in the variables of interest. This comprises 67% of the full sample of college students who took Saber Pro in the second semester of 2011 (60% of the education majors and 68% of those in other majors). Those students for which tracing is possible and show no missing values on the variables of interest, that is, those in the 67%, scored above the remaining 33% in the three subjects (on average): 0.26 standard deviations in quantitative reasoning, 0.26 standard deviations in native language, and 0.30 standard deviations in foreign language. The sample of interest is then biased towards higher performing students but such bias is similar for both education and other majors.

Table 1 shows the sample distribution of the 67% of students by the semester in which they took Saber 11, split by group: teachers (students majoring in education, 8% of the sample) and other professionals (students majoring in other programs). The bulk of students in the second semester of each year is explained by the fact that most students at the na-tional level (85%) are enrolled in the A school calendar, which goes from February to November. Students in the B school calendar (2% of the population of interest), which goes from August/September to June, take the test in the first semester of the year. The remaining 13% corresponds to flexible calendar students (sabbatine, fast-tracks, etc.). From these, 77% usually take the test on the second semester of each year and the remaining 23% on the first one.

2 See: http://www.icfes.gov.co/examenes/

http://www.icfes.gov.co/examenes/

5

Table 1 Sample size

Number of observations

Percentage (%)

Number of observations

Percentage (%)

I 36 0.87 393 0.84II 300 7.22 3038 6.52I 55 1.32 585 1.25II 485 11.67 4362 9.36I 58 1.40 830 1.78II 700 16.85 6773 14.53I 101 2.43 1310 2.81II 958 23.06 10288 22.07I 103 2.48 2133 4.58II 1278 30.76 14649 31.42

2007 I 81 1.95 2256 4.84Saber Pro 2011 II 4155 100.00 46617 100.00

Other professionals

2005

2006

Saber 11

Semester

2002

2003

2004

Test YearTeachers

Source: Authors compilations based on ICFES data.

1. Differences in socio-demographic characteristics between teachers and other professionals

Table 2 presents socio-demographic characteristics for students of education majors and students of other programs. The share of females studying to become teachers is higher than in other programs. Also, students of education majors are more likely to come from larger families; they have less educated parents/guardians; they are less likely to migrate to an-other administrative unit to pursue their studies; they are more likely to have studied in public schools; and also they are more likely to enroll in public universities and in programs with lower tuition fees. This reaffirms the idea that teachers are more likely to come from a disadvantaged socioeconomic position compared to their peers (Mizala and opo, 2011).

Table 2 Descriptive statistics

a. Characteristics at the student level

Variables Other professionals TeachersDifference between

groupsSocio-demographic characteristics (%)

Gender (Female, as measured by Saber 11 and Saber Pro) 58.10 66.60 ***(0.23) (0.73)14.30 22.30 ***(0.16) (0.65)

Max education of the parents/guardians (as measured by Saber Pro)

Secondary incomplete or less 19.70 39.70 ***(0.18) (0.76)

Secondary complete or tertiary incomplete 28.10 34.20 ***(0.21) (0.74)

Technical or technician education complete 12.10 10.30 ***(0.15) (0.47)

Universitary education complete 40.00 15.80 ***(0.23) (0.57)37.90 27.10 ***(0.22) (0.69)

Semester of study in current university program (as measured by Saber Pro)

7 or 8 11.20 9.10 ***(0.15) (0.45)

9 or 10 77.70 81.80 ***(0.19) (0.6)

11 or 12 11.10 9.10 ***(0.15) (0.45)

The student moved to another administrative unit for his/her higher education (as measured by a difference in the administrative unit of residence in Saber 11 and Saber Pro)

Familiy size (more than 5 persons, as measured by Saber Pro)

(Continues on next page)

6

b. Characteristics at the high school level

Variables Other professionals TeachersDifference between

groups

School administration (public) 48.00 74.80 ***(0.23) (0.67)

School type (mixed gender) 79.1 87.7 ***(0.19) (0.51)

School dayComplete 32.30 23.90 ***

(0.22) (0.66)Morning 51.70 51.80

(0.23) (0.78)Afternoon 14.50 21.10 ***

(0.06) (0.26)Night 1.40 2.90 ***

(0.02) (0.08)Weekend 0.10 0.30

(0.16) (0.63)School Calendar (A calendar) 82.10 87.30 ***

(0.18) (0.52)Degree type (as measured by Saber Pro)

Academic 78.40 69.40 ***(0.15) (0.45)

Technical 19.10 21.40 ***(0.19) (0.6)

Superior normal school 2.60 9.20 ***(0.18) (0.64)

High school characteristics (%), as measured by Saber 11 unless otherwise noted

c. Characteristics at the university level

Variables Other professionals TeachersDifference between

groups

University administration (public) 34.60 73.80 ***(0.18) (0.56)

University fee (academic semester)None 1.00 1.40 *

(0.05) (0.19)Less than 1,000,000 COP 27.30 72.90 ***

(0.21) (0.69)Between 1,000,000 and 3,000,000 COP 30.90 23.20 ***

(0.21) (0.66)Between 3,000,000 and 5,000,000 COP 20.80 2.30 ***

(0.19) (0.23)More than 5,000,000 COP 20.00 0.20 ***

(0.19) (0.08)

University characteristics (%), as measured by Saber Pro

Standard errors in parentheses. * Significant at ten percent; ** significant at five percent; *** significant at one percent.

Colombia has two regular school calendars: The A calendar, which goes from February to November; and the B calendar, which goes from August to June.

COP: Colombian Peso. The average exchange rate for the second semester of 2011 was 1856 COP/USD.

Source: Authors calculations based on ICFES data.

7

As mentioned above, the common components in Saber 11 and Saber Pro are not directly comparable. Although they evaluate the same subjects, the scores have different metrics. To perform the comparisons we use standardized test scores (z-scores), analyzing the changes in the students rankings between the two tests. Figure 1 shows the average standardized scores (and confidence intervals for the means) for teachers and other professionals in both tests and the three subjects assessed. As it is clear from the figure, teachers underperform in comparison to their peers in all the three subjects in both tests.

Low scores in Saber 11 might also work as incentives for underachievers to choose the teaching profession, as admit-tance cut-off scores for teaching careers are low. Indeed, Figure A1 in the appendix shows that the probability of being a teacher is lower the higher the score attained in Saber 11 for our three common subjects. Therefore, low scores and socioeconomic disadvantage might narrow some students possibilities when choosing a college program. This is the non-random selection into teaching that we will control for in our empirical strategy.

Figure 1 Average scores of teachers and non-teachers in Saber 11 and Saber Pro

a. Saber 11

-0.60

-0.50

-0.40

-0.30

-0.20

-0.10

0.00

0.10

Quantitative reasoning Native language (Spanish) Foreign language (English)

Z-sc

ore

in S

aber

11

Other Professionals Teachers

b. Saber Pro

-0.60

-0.50

-0.40

-0.30

-0.20

-0.10

0.00

0.10

Quantitative reasoning Native language (Spanish) Foreign language (English)

Z-sc

ore

in S

aber

Pro

Other Professionals Teachers

Source: Authors calculations based on ICFES data.

Note: Confidence intervals at 95% added.

8

RELATIVE LEARNING MOBILITY

Relative learning mobility is assessed by the change in z-scores in quantitative reasoning, native language and foreign lan-guage between Saber 11 and Saber PRO. Figure 2 illustrates such relative learning mobility for some selected university programs. The education majors are grouped into four categories, according to their emphasis: quantitative reasoning (mathematics, physics, biology, etc.), native language (Spanish, social sciences, humanities, philology), foreign language (mainly English, although there are students of some other foreign languages), and others (preschool, arts, sports and others).3 Among the four groups of education majors, only those emphasizing native language and foreign languages show a sizeable improvement in the English and Spanish skills of their students. For all other groups of teaching careers their average z-scores fall. Out of the 53 non-teaching careers, in contrast, many improved their z-scores: 30 in quantita-tive reasoning, 24 in native language and 30 in foreign language (not shown but available upon request to the authors).

For the selected majors shown, the figure makes evident that after around five years of college, gaps in quantitative reasoning between school teaching programs and other (selected) academic programs have widened.4 That is, teachers skills in quantitative reasoning either deteriorate or do not improve as much as those of professionals in other areas of knowledge. That is, teachers skills in quantitative reasoning either deteriorate or do not improve as much as those of professionals in other areas of knowledge.

Figure 2 Distribution of standardized test scores in Saber 11 and Saber Pro, selected programs highlighted

a. Quantitative reasoning

0.4

Freq

uenc

y

-1 1

Teac

her (

quan

t. re

as.)

Teac

her (

nat.

lang

.)

Teac

her (

for.

lang

.)

Teac

her (

othe

r are

as)

Che

mic

al e

ng.

Geo

logy

Nut

ritio

n

Scores in quantitative reasoning (z-scores)

Saber 11 (2005-I to 2007-I)

0.4

Freq

uenc

y

-1 1

Teac

her (

quan

t. re

as.)

Teac

her (

nat.

lang

.)

Teac

her (

for.

lang

.)

Teac

her (

othe

r are

as)

Che

mic

al e

ng.

Geo

logy

Nut

ritio

n

Scores in quantitative reasoning (z-scores)

Saber PRO (2011-II)

(Continues on next page)

3 We selected those programs with the highest changes in their z-scores between Saber 11 and Saber Pro for our illustrative purpo