tabla de contenidos - ministerio de educación · 2005-02-18 · 1. introducción el ministerio de...

Tabla de Contenidos

1. Introducción ...........................................................................................................................................2 2. La evaluación del rendimiento escolar en Guatemala..................................................................2 3. La muestra...............................................................................................................................................4 4. Información general acerca de las pruebas....................................................................................7 5. Aplicación de las pruebas .................................................................................................................10 6. La tabulación de las pruebas............................................................................................................11 7. Cuestionarios adicionales...................................................................................................................12 8. Efecto del diseño de la muestra .......................................................................................................14 9. Resultados nacionales de lectura en español................................................................................15 10. Resultados departamentales de lectura en español...................................................................16 11. Relación de los resultados en lectura en español de acuerdo al área, etnia y género .......20 12. Resultados nacionales de matemática en español.....................................................................21 13. Resultados departamentales de matemática en español .........................................................23 14. Relación de los resultados en matemática en español de acuerdo al área, etnicidad y

género ..................................................................................................................................................28 15. Relación de los resultados de lectura y matemática en primer grado de primaria ..............29 16. Relación de los resultado de la prueba de lectura en idioma español con los resultados de

la prueba de lectura en K’iche’ o Kaqchikel ................................................................................31 17. Relación de los resultado de la prueba de matemática en idioma español con los

resultados de la prueba de lectura en K’iche’ o Kaqchikel .......................................................32 18. Factores relacionados con el desempeño escolar ......................................................................33 19. Desempeño de los estudiantes inscritos en escuelas apoyadas por programas o proyectos

específicos ...........................................................................................................................................47 20. Conclusiones .......................................................................................................................................50 21. Recomendaciones.............................................................................................................................53

Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Primer Grado Primaria de Escuelas Oficiales de Guatemala

1

1. Introducción El Ministerio de Educación de Guatemala (MINEDUC), como parte de sus esfuerzos por asegurar la calidad educativa con base a información apropiada, ha ejecutado en el año 2004 la evaluación del rendimiento escolar de primer y tercer grado de la primaria de escuelas oficiales de Guatemala. Este esfuerzo fue implementado por El Programa Nacional de Evaluación del Rendimiento Escolar (PRONERE), el cual reside en el Centro de Investigaciones Educativas (CIE) de la Universidad del Valle de Guatemala (UVG) desde el año 1997, con la asesoría del Proyecto Medición de Indicadores y Resultados (USAID / MEDIR), el cual es ejecutado por Juárez & Asociados Inc. (J&A). El apoyo financiero para la evaluación fue proporcionado por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID). Este esfuerzo forma parte de una estrategia más amplia diseñada por Proyecto MEDIR, cuyo objetivo general es conocer las necesidades de desarrollo profesional de los docentes guatemaltecos de educación primaria. La evaluación se ejecutó en una muestra estadísticamente significativa de estudiantes de primer y tercer grados de primaria en escuelas urbanas y rurales distribuidas en todo el país. Este documento se concentra en los resultados para el primer grado de la primaria y responde a los siguientes objetivos:

1) Conocer el nivel de desempeño en lectura y matemáticas de estudiantes del primer grado de la primaria;

2) Proveer recomendaciones generales basadas en los resultados; 3) Producir información que pueda ser divulgada a diversos públicos para promover un

diálogo nacional acerca del mejoramiento de la calidad educativa.

2. La evaluación del rendimiento escolar en Guatemala La evaluación del rendimiento es una acción orientada a corroborar el grado de aprendizaje que los y las estudiantes han obtenido, como consecuencia de los procesos de enseñanza-aprendizaje a los cuales se han sometido. Es importante ya que informa al docente acerca de los conocimientos que requieren ser reforzados en los y las estudiantes, y al sistema educativo acerca de las necesidades que deben ser afrontadas mediante la definición de políticas y estrategias específicas. En ocasiones, el juicio del docente puede ser útil como acción evaluadora, sin embargo, para garantizar la objetividad, validez y confiabilidad de los resultados, se debe recurrir a procedimientos estandarizados. Previo a la evaluación de rendimiento realizada en el año 2004, cuyos resultados se reportan en el presente informe, se han realizado otras experiencias de evaluación de los aprendizajes con pruebas estandarizadas. Algunos de los principales esfuerzos en esta área fueron realizados por el Centro Nacional de Pruebas (CENPRE), el cual, con fondos nacionales y de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), realizó de 1992 a 1996 evaluaciones en


2

lectura y matemática a estudiantes de tercero primaria. En su momento, contó con la orientación técnica del Sistema Nacional para el Mejoramiento de los Recursos Humanos y Adecuación Curricular (SIMAC) actualmente DICADE, y del Proyecto Fortalecimiento de la Educación Básica (BEST) impulsado por la USAID. La muestra evaluada incluyó escuelas que eran atendidas por varios programas que impulsaban el mejoramiento de la calidad educativa, tales como el Programa de la Niña, Radio Interactiva, Nueva Escuela Unitaria, escuelas de la Dirección General de Educación Bilingüe e Intercultural (DIGEBI) y escuelas del SIMAC denominadas “CEDE” (Centro Escolar de Desarrollo Educativo). Se incluyó también el mismo número de escuelas regulares que carecían de intervenciones específicas. En 1997 el MINEDUC trasladó el CENPRE a la Universidad del Valle de Guatemala, entidad que mediante un convenio con el MINEDUC creó el Programa Nacional de Evaluación del Rendimiento Escolar (PRONERE) de la Universidad del Valle de Guatemala, el cual fue ejecutado con fondos del MINEDUC y del Banco Mundial. Las evaluaciones nacionales del PRONERE iniciaron en 1997 con una medición de pilotaje y en los años posteriores se evaluaron muestras representativas de niños y niñas del tercer y sexto grado de primaria del área rural y urbana. También se iniciaron esfuerzos por evaluar el rendimiento en lectura y matemática en los idiomas K’iche’, Kaqchikel, Q’eqchi’ y Mam. El PRONERE también introdujo algunas variaciones en el diseño utilizado para evaluar a los estudiantes y creó formas alternas para las pruebas en idioma español. El proceso de evaluación se realizó hasta el año 2001, cuando los resultados en el tercer grado (área rural) indicaron que en lectura sólo el 58% de niños y niñas alcanzó en promedio las respuestas correctas, mientras que sólo el 46% obtuvo en promedio las respuestas correctas en matemática. En las escuelas urbanas los datos fueron ligeramente mejores, ya que en promedio 65% de los alumnos(as) obtuvo las respuestas correctas en lectura y un 50% en matemática. Ese mismo año, en sexto grado rural, el rendimiento en lectura y matemática también fue bajo, ya que solamente el 50% de niños y niñas obtuvieron respuestas correctas en lectura y en matemática el porcentaje fue de 57%. En las escuelas urbanas los datos fueron similares, ya que 47% de los alumnos(as) obtuvo las respuestas correctas en lectura y el 63% en matemática. Tanto el CENPRE como el PRONERE utilizaron pruebas normativas, las cuales buscan determinar el logro de los y las estudiantes con respecto a su grupo u otros grupos del mismo grado que han tomado la prueba. Por su parte, la DIGEBI, con recursos nacionales y del Banco Interamericano de Desarrollo (BID), elaboró pruebas con base en criterios, las cuales comparan el rendimiento de los estudiantes con un nivel de desempeño preestablecido. Su construcción se basó en los libros de texto de Comunicación y Lenguaje y Matemática que la DIGEBI introdujo en sus escuelas y en las competencias del nuevo currículo básico para la educación primaria. En el año 2002 se hizo una nueva aplicación piloto de las pruebas y ambas mediciones sirvieron para ajustar la prueba y depurar sus ítems. En el año 2003 las pruebas fueron aplicadas en los cuatro idiomas Mayas mayoritarios (Kaqchikel, Kíche´, Mam y Qéqchi´); esta actividad estuvo a cargo de las Jefaturas Departamentales de Educación Bilingüe Intercultural (JEDEBI). Se evaluó un total de 611 alumnos(as) en lectura y 619 en matemática; al igual que las pruebas aplicadas por PRONERE, los resultados obtenidos en cada idioma no son comparables, ya que tanto las pruebas como los idiomas difieren entre sí. Los resultados de lectura indican que los alumnos(as) cuyo lenguaje materno es el Qéqchi´ alcanzaron un poco más de la mitad de respuestas correctas, por lo que podría afirmarse que dicho idioma era trabajado en las aulas por los maestros(as). En el caso de los otros tres idiomas evaluados, se estableció que en K’iche’ los alumnos(as) alcanzaron un poco más de la tercera


3

parte de respuestas correctas; el grupo de alumnos(as) de los idiomas Mam y Kaqchikel no llegaron a la tercera parte de respuestas correctas. Los resultados de matemática indicaron que los alumnos(as) evaluados(as) cuyo lenguaje materno es el Q´eqchi´ alcanzaron más de la mitad de respuestas correctas superando lo logrado en lectura, por lo que podría afirmarse que la matemática en L1 era trabajada en las aulas por los maestros(as). No sucede lo mismo con los otros tres idiomas evaluados, ya que en K’iche’ y Mam los alumnos(as) alcanzaron un poco más del cuarenta por ciento de respuestas correctas; el grupo de alumnos(as) Kaqchikel superó la tercera parte de respuestas correctas. Finalmente, las cuatro pruebas obtuvieron niveles aceptables de confiabilidad, por lo que puede afirmarse que dichos resultados son consistentes; aún así, se necesita mejorar algunos de los ítems incluidos en la prueba de matemática. Finalmente, la evaluación del rendimiento realizada en el año 2004, cuyos resultados se reportan en el presente informe, retoma los esfuerzos iniciados por el PRONERE y responde al interés de la actual administración del Ministerio de Educación de fortalecer el monitoreo, así como la evaluación de resultados y el rendimiento escolar. Por otro lado, los datos obtenidos constituyen la línea basal para evaluar las intervenciones que realice la actual administración.

3. La muestra Para la elaboración de la muestra, el PRONERE buscó la colaboración de tres especialistas que forman parte del equipo del Centro de Investigaciones en Estadística de la Universidad del Valle de Guatemala. Ellos coordinaron sus acciones con PRONERE para diseñar la muestra del 2004 y elaborar el listado de instituciones que serían visitadas. Esta selección se realizó con base a una base de datos provista por la Unidad de Informática del Ministerio de Educación de Guatemala que contenía las estadísticas preliminares para el año 2003. Al solicitar el diseño de la muestra se dieron varias especificaciones. En primer lugar se solicitó que la muestra fuese representativa del país y debía contener un número suficiente de casos para realizar comparaciones entre departamentos, áreas lingüísticas, géneros y área (urbana y rural). También, tomando en cuenta los costos implicados en la visita de escuelas de pequeño tamaño localizadas en áreas de difícil acceso, se especificó que no debían ser tomadas en cuenta las instituciones cuya matrícula para primer grado fuese menor de 10 y para tercer grado menor de 5. El número máximo de establecimientos con los cuales debía de contar la muestra era de 820 escuelas, de los cuales 20 serían seleccionados de manera independiente por el Proyecto MEDIR y el Programa de Acceso a la Educación Bilingüe Intercultural (PAEBI) entre las escuelas atendidas por este último programa (PAEBI). Asimismo, debía incluirse un número adecuado de instituciones pertenecientes al Programa Nacional de Autogestión para el Desarrollo Educativo (PRONADE), la Dirección General de Educación Bilingüe Intercultural (DIGEBI) y el Center for Excellence in Teacher Training (CETT) para derivar algunas conclusiones acerca de estos programas. Como resultado, se desarrolló un procedimiento básico de selección de 800 establecimientos, 770 de los cuales fue aleatorio y el resto con posibilidad de selección no aleatoria para asegurar un número adecuado de establecimientos pertenecientes a los programas antes mencionados.


4

Se diseñó la muestra considerando a los establecimientos como las unidades primarias de muestreo y las secciones de cada grado como unidades secundarias. Algunas escuelas cuentan solamente con una sección para cada grado mientras que en otras instituciones se cuenta con dos o más secciones para cada grado. Por lo tanto, el diseño es de dos etapas con los establecimientos y las secciones como conglomerados (clusters). Las secciones fueron escogidas antes de realizar las visitas. Para asegurar que se respetara la selección, los investigadores de campo solicitaron al director del establecimiento el listado de alumnos de la sección evaluada para comprobar que los presentes fueran los inscritos en ella. Se examinó a todos los alumnos de la sección escogida. La estratificación de los establecimientos consideró el departamento (división política del país y dominio del estudio), área (urbana o rural) y tamaña del establecimiento (de acuerdo a la matrícula). Este último estrato fue considerado con el objetivo de desarrollar un muestreo que permitiera realizar encuestas anuales1, en las cuales se garantice que la probabilidad de encontrar escuelas grandes y pequeñas en un año sea equivalente a la del siguiente. La variable de tamaño de los establecimientos se realizó en tres pasos:

1) Se eliminó a las instituciones consideradas como extremadamente pequeñas (matrícula menor de 10 alumnos en primer grado y menor de 5 en tercero);

2) Codificación de entre 1 y 6 departamentos cuya matrícula total (todos los grados) fuera atípica por su tamaño para el grupo de escuelas del mismo departamento y área (urbano rural) al cual pertenecían;

3) Clasificación por grupo de escuelas (el grupo consta de las escuelas en el mismo departamento y área) en 5 categorías de acuerdo a su tamaña en la distribución del grupo2.

A continuación se presenta un mapa, el cual muestra la localización geográfica de las instituciones muestreadas que fueron evaluadas. Este mapa muestra con claridad la cobertura global de la evaluación del PRONERE durante el 2004.

1 De no haberse desarrollado un muestreo que permitiera realizar encuestas anuales se hubiera seleccionado establecimientos en cada estrato con probabilidades proporcionales a sus tamaños. 2 Esta forma de asignar a las escuelas su categoría de tamaño incrementa la precisión a nivel departamental pero no a nivel nacional.


5


6

4. Información general acerca de las pruebas La evaluación del primer grado de la escuela primaria se concentró en las materias de matemática y lectura. Se utilizó un instrumento para cada una de estas materias, los cuales fueron diseñados y piloteados en su versión española por el Proyecto MEDIR / Juárez & Asociados3. Con base a estos instrumentos se realizaron traducciones y adaptaciones para crear instrumentos en los idiomas K’iche’ y Kaqchikel. Esta tarea estuvo a cargo del PRONERE. Ambos instrumentos, el de lectura y el de matemáticas, fueron diseñadas como instrumentos de criterio, estableciéndose este por el logro en ciertos ítems. La definición conceptual de los criterios es presentada a continuación:

Lectura: El estudiante que ha cursado satisfactoriamente primero primaria debe de ser capaz de leer y comprender una oración sencilla de cinco4 palabras que contenga un léxico adecuado.

Ítem ejemplo del criterio:

Instrucción: Marca al niño con sombrero. Distractores:

Matemática:

El estudiante que ha cursado satisfactoriamente primero primaria debe de ser capaz de realizar sumas de dos números compuestos de un dígito que dan como resultado un número compuesto de dos dígitos; realizar sumas de tres número compuestos de un dígito que dan como resultado un número compuesto de un dígito; restar de un número positivo compuesto de un dígito una cantidad menor expresada por un número de un dígito obteniendo como resultado un número positivo compuesto de un dígito.

3 Ver informe final del estudio de la elaboración de instrumentos y estudio del primer grado realizado por USAID / Proyecto MEDIR, aún no publicado. 4 Los tres ítems que constituyen esta sección están compuestos por cuatro palabras. En dos casos existe una quinta palabra que es un artículo, lo cual es una partícula accesoria que se asocia a un sustantivo o nombre para individualizarlo y concretizarlo. Por ello, en este caso el criterio está definido como conformado por cinco palabras aunque implica la comprensión de solamente cuatro.


7

Ítem ejemplo del criterio de suma:

8 + 3

Ítem ejemplo del criterio de resta:

8 - 5

Los instrumentos se constituyeron de ocho secciones, cada una de las cuales evaluaba un área diferente del desempeño en lectura o matemática. Las áreas evaluadas en las diferentes secciones de la prueba de lectura fueron las siguientes:

Sección 1:

Asociar un sonido a una letra del alfabeto (fonema-grafema).

Sección 2:

Asociar una palabra escrita con una palabra expresada oralmente.

Sección 3:

Asociar una palabra escrita a una imagen que la representa.

Sección 4 (Criterio):

Comprender instrucciones que se dan en oraciones formadas por cinco palabras.

Sección 5:

Asociar frases de dos palabras o imágenes.

Sección 6:

Leer una oración y responder una pregunta relacionada con ella.

Sección 7:

Completar una frase con la información que se obtiene de una primera oración.

Sección 8:

Leer un párrafo de tres oraciones y responder una pregunta relacionada con éste.


8

Las áreas evaluadas en las diferentes secciones de la prueba de matemática fueron las siguientes:

Sección 1:

Reconocer los números Mayas.

Sección 2:

Reconocer cantidades en ilustraciones identificando “más” y “menos”.

Sección 3:

Identificar el número que expresa la cantidad de figuras en un grupo.

Sección 4:

Reconocer la posición de una figura dentro de un grupo, identificando “antes” y “después”.

Sección 5 (Criterio 1, sumas):

Hacer sumas de dos o tres sumandos sin llevar.

Sección 6 (Criterio 2, restas):

Hacer restas con el minuendo de un dígito y el sustraendo de un dígito sin prestar.

Sección 7:

Identificar el lugar que ocupan las figuras de una serie (primero, segundo, tercero).

Sección 8: Completar series de números.

Después de la aplicación de los instrumentos se realizó un análisis de ítems. La tabla que se presenta abajo muestra el Alfa de Cronbach de cada uno de los instrumentos utilizados. En este caso el coeficiente se considera adecuado de acuerdo a lo siguiente:

• Para decisiones personales: 0.90 o más; • Para decisiones acerca de programas: 0.80 o más; • Para evaluaciones amplias: 0.70 o más; • Una puntuación menor al 0.70 es usualmente considerada inferior a lo deseable, aunque

ocasionalmente puede ser utilizada en evaluaciones básicas.

Tabla 1: Alfa de Cronbach para los instrumentos del primer grado primaria Instrumento Alfa de Cronbach Número de ítems Número de casos

Lectura Español 0.88 20 19530 Matemática Español 0.86 25 19525 Lectura K’iche’ 0.88 20 703 Matemática K’iche’ 0.87 25 696 Lectura Kaqchikel 0.76 20 266 Matemática Kaqchikel 0.86 25 266


9

5. Aplicación de las pruebas La aplicación de las pruebas durante la ejecución del PRONERE en el 2004 incluyó al primer grado y tercer grado de la primaria. Los equipos de aplicadores estaban conformados por tres personas, dos de las cuales trabajan con los estudiantes del primer grado. Después de que los aplicadores se presentaban con el director del establecimiento y le proporcionaban la información y documentación pertinente, visitaban las aulas que serían evaluadas. El diseño de la muestra contempló la pre-selección de la sección en la cual se trabajaría. Cuando la escuela contaba con más de una sección, los aplicadores trabajaban en la que había sido seleccionada de antemano, después de corroborar que el listado oficial de estudiantes inscritos se ajustara a los niños presentes en el aula. Durante la aplicación se solicitó al director del establecimiento que llenara un cuestionario. Se solicitaba a los docentes que permanecieran en el aula colaborando en la supervisión de la aplicación. Un aplicador trabajaba en el aula de tercer grado y dos aplicadores permanecían en primer grado. En el caso de primer grado la aplicación era guiada, por lo que uno de los aplicadores se concentraba en la lectura de instrucciones mientras que el segundo verificaba que los estudiantes se encontraran en el ítem que correspondía. Ambos verificaban que los estudiantes trabajaran de manera individual. Al concluir la aplicación se solicitó a los docentes del primer grado que llenaran un cuestionario y que ayudaran a uno de los aplicadores a llenar la carátula de la prueba, en la cual se solicitaba información general acerca de los y las estudiantes. Simultáneamente el segundo aplicador seleccionaba a dos niños y dos niñas de la sección evaluada para entrevistarles. La selección se realizaba de acuerdo a un listado de números aleatorios y el listado numerado de estudiantes inscritos en la sección evaluada. El listado de la muestra también especificaba las escuela bilingües en las cuales se aplicaría las pruebas en idiomas K’iche’ y Kaqchikel. Previo a iniciar la aplicación se preguntaba al director si la escuela efectivamente ofrecía instrucción bilingüe. En los casos en los cuales la respuesta fuera negativa, la aplicación se limitaba a los instrumentos en idioma español y posteriormente se buscaba una escuela bilingüe en donde se pudiera realizar la aplicación de los instrumentos en español y en K’iche o Kaqchikel. En el caso de que la respuesta del director indicara que en la escuela efectivamente se impartía educación bilingüe, se solicitaba autorización para regresar un segundo día para aplicar los instrumentos en idioma K’iche’ y Kaqchikel. Durante el segundo día de aplicación se repetía el procedimiento mencionado en los párrafos anteriores. Existían dos diferencias principales. La primera era que ya no se solicitaba al director y docentes que completaran cuestionarios ni se entrevistaba a estudiantes. La segunda era que el aplicador encargado de leer las instrucciones para cada ítem lo hacía en el idioma en el cual la prueba era aplicada, fuera este K’iche’ o Kaqchikel.


10

6. La tabulación de las pruebas Las pruebas del primer grado de la primaria fueron impresas y compaginadas en folletos únicos. Los folletos se compaginaron de tal manera que cada una de las tapas del folleto fuera la primera página del instrumento. Por ello, al abrir por un lado el folleto se encontraba la prueba de lectura. Al rotar en sentido vertical el folleto cerrado, se encontraba la primera página del instrumento de matemática. Al centro del folleto se encontraban ambas pruebas, una en posición rotada 180 grados en orientación vertical con respecto a la otra. Esto permitió evitar confusiones al ingresar los datos de cada niño o niña para ambas pruebas. Las pruebas fueron completadas por los y las estudiantes directamente en el folleto. La sección de informática del Centro de Investigaciones Educativas (CIE) de la Universidad del Valle de Guatemala tuvo a su cargo el ingreso de la información contenida en los folletos a medios magnéticos para su procesamiento y análisis. Para ello se creó una hoja de ingreso electrónica en ACCESS, la cual transportaba los datos a una tabla del mismo programa. Digitadores capacitados en el CIE ingresaron manualmente esta información. Un supervisor de digitadores confirmaba que el ingreso de los datos se hubiese realizado de forma correcta. Estos mismos digitadores fueron responsables por el ingreso de datos para las evaluaciones de tercero grado (resultados reportados en informe separado5) y su grado de exactitud en el ingreso fue determinado con base al ingreso de esas pruebas. Una vez realizado el ingreso de los datos se prepararon las bases de datos agregando una variable que adjudicaba el estrato al cual cada caso pertenecía, el expansor calculado de forma post-hoc con base al diseño de la muestra y los resultados obtenidos tras la aplicación. Estos expansores fueron utilizados para ponderar las estimaciones. También se agregó una variable que indicaba si el o la estudiante había logrado el criterio general y una variable por cada sección de la prueba que indicaba si el o la estudiante había logrado el criterio para cada una de ellas.

En la prueba de lectura el criterio global fue evaluado por los ítems 9, 10 y 11. Un estudiante logra el criterio cuando no obtiene más de dos errores consecutivos en los ítems 1 a 8 (el número de opciones de la prueba era de tres) y responde correctamente los ítems 9, 10 y 11. Para considerar que un o una estudiante ha obtenido logro en cada una de las secciones, se esperaba que hubiese respondido correctamente todos los ítems de esa sección.

En la prueba de matemática el criterio global para la sumas está dado por los ítems 10, 11 y 12 y por los ítems 17 y 18 en el caso de las restas. Para considerar que se ha logrado el criterio de sumas se espera que el o la estudiante no haya obtenido más de dos errores consecutivos en los ítems 4 a 9 y que haya obtenido correctos los ítems 10, 11 y 12. Para considerar que se ha logrado el criterio de restas se espera que el o la estudiante no haya obtenido más de dos errores consecutivos en los ítems 4 a 9 y que haya obtenido correctos los ítems 17 y 18. Para considerar que un o una estudiante ha logrado el criterio de restas y sumas en su conjunto se espera que no haya obtenido más de dos errores consecutivos en los ítems 4 a 9 y que haya obtenido correctos los ítems 10, 11, 12, 17 y 18. Para considerar que uno o una estudiante ha

5 Ver “Informe Nacional / Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala


11

obtenido logro en cada una de las secciones de l a prueba, se espera que obtenga por lo menos dos ítems correctos por sección, exceptuando las secciones del criterio (secciones 5 y 6) en la cuales se espera que obtenga correctos los ítems que establecen el criterio (ítems 10, 11 y 12 en la sección 5 e ítems 17 y 18 en la sección 6). Los ítems 1 a 3 buscan que el estudiante identifique los números Mayas. Estos ítems no se tomaron en cuenta para adjudicar el logro del criterio global debido a que aún cuando se encontraban al inicio de la prueba, tres cuartas partes de los estudiantes fallaron en el criterio para la sección.

7. Cuestionarios adicionales De forma adicional, también se utilizaron cuestionarios y entrevistas dedicados a recolectar información acerca de factores que podrían estar relacionados con el rendimiento de los estudiantes. En las matrices que a continuación se presentan se especifica los datos que se extraen en cada uno de ellos. Los instrumentos utilizados fueron:

1) Entrevista al estudiante del 1er grado: Se solicitó a los aplicadores que al concluir la aplicación se entrevistara a dos niños y a dos niñas del aula;

2) Información proporcionada por el docente acerca del estudiante: Información que se llenaba con ayuda de los y las docentes en la portada del folleto de cada estudiante que había completado la evaluación;

3) Cuestionario al docente: Se solicitó a los docentes de las aulas en las cuales se realizó la evaluación que completaran el cuestionario;

4) Cuestionario al director: Se solicitó a los directores de las escuelas evaluadas que completaran un cuestionario.

Tabla 2: Especificaciones de la entrevista del estudiante y del cuestionario al docente acerca de los estudiantes del primer grado

Variable

Entre

vist

a de

l Est

udia

nte,

1e

r gra

do

Info

rmac

ión

prop

orci

onad

a po

r el D

ocen

te,

1er g

rado

(D

atos

reco

lect

ados

en

la c

ubie

rta d

e la

s pr

ueba

s: 1

por e

stud

iant

e)

1 Género del docente X 2 Género del estudiante X X 3 Edad del estudiante X 4 El estudiantes se alimentó antes de llegar a la

escuela X

5 El estudiante expresa que le gusta la escuela X 6 Hay libros en el hogar X


12

Variable

Entre

vist

a de

l Est

udia

nte,

1e

r gra

do

Info

rmac

ión

prop

orci

onad

a po

r el D

ocen

te,

1er g

rado

(D

atos

reco

lect

ados

en

la c

ubie

rta d

e la

s pr

ueba

s: 1

por e

stud

iant

e)

7 Le leen al estudiante en el hogar X 8 El estudiante se ha lastimado en la escuela X 9 El estudiante observa abuso verbal entre

estudiantes X

10 El estudiantes nota que otros estudiantes se lastiman con frecuencia en la escuela

X

11 El estudiante percibe una alta frecuencia de robos en la escuela

X

12 Etnia (específico) X 13 El estudiante ha repetido algún grado X

Tabla 3: Especificaciones del cuestionario al docente del primer grado

Variable

1 Género del docente 2 Habla idioma Maya 3 Idioma Maya que habla (específico) 4 El docente está certificado como docente bilingüe 5 Número de años enseñando 6 Número de años enseñando en este grado 7 Número de años enseñando en esta escuela 8 Nivel educativo alcanzado 9 Frecuencia con la cual planifica sus lecciones 10 Participación de los padres en las actividades

escolares 11 Capacitación docente 12 Origen de la capacitación docente 13 Frecuencia con la cual el docente asigna tareas 14 El docente califica las tareas 15 El docente percibe abuso verbal entre los

estudiantes 16 El docente percibe un número alto de accidentes

en la escuela 17 El docente percibe que los estudiantes se lastiman

unos a otros 18 El castigo físico es permitido en la escuela


13

Tabla 4: Especificaciones del cuestionario al director de la escuela

Variable

1 Ubicación de la escuela 2 Afiliación de la escuela a algún programa (específico) 3 Instrucción en idioma Maya en la escuela 4 Idioma Maya de instrucción en la escuela (específico) 5 Número de grados en la escuela 6 Número de docentes en la escuela 7 Número de docentes que asistieron el día de la evaluación 8 Primer grado cuenta con un docente específico 9 Tercer grado cuenta con un docente específico 10 Número de docentes que asisten a clases 11 Número de estudiantes inscritos en la escuela por grado 12 La escuela cuenta con agua 13 La escuela cuenta con electricidad 14 El aula de primer grado cuenta con electricidad 15 El aula de tercer grado cuenta con electricidad 16 Hay servicios sanitarios en la escuela 17 Número de servicios sanitarios en la escuela 18 Existen servicios sanitarios separados para cada género 19 Hay libros de texto en la escuela 20 Hubo alimentación escolar el día de la evaluación 21 Hay recursos para proveer alimentación escolar 22 Cantidad de dinero disponible para la alimentación escolar 23 Los recursos para la alimentación escolar son suficientes 24 Recursos para alimentación escolar durante el año previo 25 Cantidad de dinero disponible para alimentación escolar durante

el año previo 26 Fueron los recursos disponibles para la alimentación escolar

durante el año previo suficientes

8. Efecto del diseño de la muestra Se estimó el efecto del diseño de la muestra sobre los resultados. Esto se presenta abajo en una tabla, la cual identifica el número real de niños y niñas que tomó la prueba, el número de niños y niñas ponderado de acuerdo al diseño de la muestra, la estimación del efecto del diseño de la muestra y el factor del diseño (raíz cuadrada del efecto del diseño)6.

6 El factor de diseño indica la diferencia en la exactitud de la muestra compleja con respecto a la muestra simple en lo que se refiere al error estándar de los resultados de la variable dependiente (en este caso, el logro del criterio global).


14

Tabla 5: Efecto del diseño de la muestra con respecto a la variable dependiente (logro del criterio de la prueba de lectura en español)

Número de niños y niñas evaluados

Número de niños y niñas de

acuerdo a la ponderación

Efecto del Diseño de la Muestra

Factor del Diseño

19530 449123 14.93 para logro del criterio 18.64 para el no logro del criterio

3.86 para logro del criterio 4.32 para el no logro del criterio

También se estimó el efecto del diseño de la muestra sobre los resultados de matemática. En el caso de la prueba de matemática hubo dos criterios, uno correspondiente a las tareas de suma y otro a tareas de resta. En este caso se reporta el efecto del diseño con respecto al criterio de suma y resta en conjunto. La tabla que sigue identifica el número real de niños y niñas que tomó la prueba, el número de niños y niñas ponderado de acuerdo al diseño de la muestra, la estimación del efecto del diseño de la muestra y el factor del diseño.

Tabla 6: Efecto del diseño de la muestra con respecto a la variable dependiente (logro del criterio de la prueba de matemática en español)

Número de niños y niñas evaluados

Número de niños y niñas de

acuerdo a la ponderación

Efecto del Diseño de la Muestra

Factor del Diseño

19525 449008 10.00 para logro del criterio 26.74 para el no logro del criterio

3.16 para logro del criterio 5.17 para el no logro del criterio

9. Resultados nacionales de lectura en español Los resultados del primer grado de lectura deben ser interpretados a la luz de la definición del criterio de la prueba, el cual fue el siguiente:

El estudiante que ha cursado satisfactoriamente primero primaria debe de ser capaz de leer y comprender una oración sencilla de cinco palabras que contenga un léxico adecuado.

Los resultados fueron analizando utilizando el Statistical Package for the Social Sciences (SPSS), el cual permite ponderar casos y ajustarse a las especificaciones de un análisis complejo, como el utilizado en este caso. Dado que la prueba de primer grado fue de criterio, se reporta el número de estudiantes que alcanza el logro. Para ello se presenta la frecuencia real de estudiantes acompañada del porcentaje ajustado al diseño de la muestra. El total de niños que tomaron la evaluación de lectura en español fue de 19530 (9650 niños y 9880 niñas). La tabla que se presenta abajo muestra la frecuencia (real) y el porcentaje (ponderado) de niños que alcanzaron el criterio en lectura para toda la prueba y por cada una de las secciones. El número de niños y niñas que alcanzó el criterio de la sección 4 (sección que contiene los ítems que establecen el criterio de la prueba) es mayor que el número de niños y niñas que alcanzaron el criterio global. Esto se debe a que existe un número de niños que


15

alcanzó el criterio para la sección específica pero que tuvo más de dos errores consecutivos en las secciones precedentes, por lo cual no se considera que haya alcanzado el criterio global.

Tabla 7: Frecuencia (real) y porcentaje (ponderado) de niños y niñas que alcanzaron el criterio en la prueba de lectura en español

Sección # de niños y niñas que

alcanzan el criterio

% ponderado de niños y niñas que alcanzan

el criterio Criterio global (n = 19530)

9882

47.96%

1. Asociar un sonido o una letra del alfabeto (fonema-grafema).

15663

78.98%

2. Asociar una palabra escrita con una palabra expresada oralmente.

13499

66.85%

3. Asociar una palabra escrita a una imagen que la representa.

10129

47.44%

4. Comprender instrucciones que se dan en oraciones formadas por cinco palabras.

10408

50.96%

5. Asociar frases de dos palabras o imágenes.

10287

47.56%

6. Leer una oración y responder una pregunta relacionada con ella.

8462

40.68%

7. Completar una frase con la información que obtiene de una primera oración.

6937

32.35%

8. Leer un párrafo de tres oraciones y responder una pregunta relacionada con éste.

5354

25.13%

10. Resultados departamentales de lectura en español Se analizaron los datos para cada uno de los departamentos del país. Estos se muestran en la tabla que se presenta abajo. Se presentan los departamentos en orden de a cuerdo a sus resultados. La primera franja negra separa el resultado al nivel nacional de los resultados por departamento. La segunda franja divide a aquellos departamentos cuyo porcentaje de niños y niñas que alcanzaron el criterio global fue superior al nacional (47.96%) de aquellos en los cuales fue inferior.


16

Tabla 8: Porcentajes ponderados de niños que alcanzaron el criterio global en la prueba de lectura español por Departamento

n Criterio logrado % ponderado de niños y niñas

que alcanzaron el criterio

NACIONAL 19530 9882 47.96

PETEN 633 465 74.55 IZABAL 587 416 67.92

SOLOLA 697 470 66.25 SACATEPEQUEZ 491 303 62.15

GUATEMALA 1857 1178 60.98 SUCHITEPEQUEZ 844 491 57.78

CIUDAD CAPITAL 669 372 57.11 CHIMALTENANGO 928 535 54.06

SANTA ROSA 612 329 52.66 BAJA VERAPAZ 630 308 51.38

QUETZALTENANGO 1067 576 49.87 ESCUINTLA 780 425 49.58

EL PROGRESO 542 242 45.68

EL QUICHÉ 1592 746 45.00 SAN MARCOS 1256 605 43.93 CHIQUIMULA 584 257 41.30

JUTIAPA 683 285 39.33 JALAPA 557 234 37.36

ALTA VERAPAZ 1138 471 36.91 RETALHULEU 786 292 36.34

TOTONICAPAN 652 253 36.06 HUEHUETENANGO 1397 449 32.11

ZACAPA 548 180 28.83

También se intentó determinar las semejanzas inter-departamentales en los resultados obtenidos por los estudiantes en la prueba de lectura en español. Para ello se procesaron nuevamente los resultados, esta vez en escala de intervalo produciendo totales de acuerdo al número de ítems correctos obtenidos por los y las estudiantes. Se procedió entonces a correr un Análisis de Varianza con departamento como único factor y la prueba post-hoc de Bonferroni proveyó las parejas de departamentos en los cuales no hubo diferencias significativas. En este caso las puntuaciones fueron ponderadas, pero las varianzas no se encuentran ajustadas al diseño de la muestra. Por ello los resultados deben ser analizados a la luz de los factores de diseño, los cuales indican el sesgo de la estimación de la varianza al asumir que una muestra compleja es analizada como una muestra simple. A continuación se presentan dos tablas. La primera indica el factor de diseño para cada departamento tomando en cuenta los resultados en la prueba de lectura en una escala de intervalo como variable dependiente. La segunda es una matriz en la cual se presentan las parejas de Departamentos que difieren entre sí de acuerdo a la prueba de Bonferroni. La matriz presenta a los departamentos del país en cada una de sus


17

entradas, por lo cual las celdas presentan todas las posibles parejas que pueden obtenerse. La capital, a pesar de no estar políticamente considerada como un departamento, es presentada como tal debido a que por densidad y diversidad poblacional muestra características peculiares. Una X en la celda en donde dos departamentos convergen representa una pareja en la cual NO hubo diferencia estadísticamente significativa. En otras palabras, la X indica cuáles parejas de departamentos son similares. Todas aquellas celdas que se encuentran en blanco representan las parejas en las cuales SÍ hubo diferencias estadísticamente significativas.

Tabla 9: Factor del diseño de la muestra por departamento para la puntuación en las pruebas de lectura en español calculada en escala de intervalo

Departamento Factor del Diseño de la

Muestra ALTA VERAPAZ 2.31 BAJA VERAPAZ 2.07

CHIMALTENANGO 2.20 CHIQUIMULA 2.09

CIUDAD CAPITAL 2.41 EL PROGRESO 2.05

ESCUINTLA 1.89 GUATEMALA 2.58

HUEHUETENANGO 4.95 IZABAL 2.41 JALAPA 2.10 JUTIAPA 3.15 PETEN 3.74

QUETZALTENANGO 2.95 EL QUICHÉ 3.33

RETALHULEU 1.93 SACATEPEQUEZ 1.54 SAN MARCOS 4.03 SANTA ROSA 2.65

SOLOLA 2.69 SUCHITEPEQUEZ 2.44 TOTONICAPAN 1.43

ZACAPA 2.36


18

Tabla 10: Agrupación de Departamentos de acuerdo a la similitud y diferencia en los resultados de la prueba de lectura en español

Ciu

dad

Cap

ital

Gua

tem

ala

Alta

Ver

apaz

Baja

Ver

apaz

Chi

mal

tena

ngo

Chi

quim

ula

El P

rogr

eso

El Q

uich

é

Escu

intla

Hueh

uete

nang

o

Izab

al

Jala

pa

Jutia

pa

Peté

n

Que

tzal

tena

ngo

Reta

lhul

eu

Saca

tepé

quez

San

Mar

cos

Sant

a Ro

sa

Solo

lá

Such

itepé

quez

Toto

nica

pán

Zaca

pa

Ciudad Capital X X

Guatemala X

Alta Verapaz X

Baja Verapaz X

Chimaltenango X X

Chiquimula X

El Progreso X X

El Quiché X

Escuintla X

Huehuetenango X

Izabal X

Jalapa X

Jutiapa X X

Petén X

Quetzaltenango X

Retalhuleu X

Sacatepéquez X

San Marcos

Santa Rosa

Sololá X

Suchitepéquez X

Totonicapán X X

Zacapa X


19

11. Relación de los resultados en lectura en español de acuerdo al área, etnia y género

Se intentó determinar la influencia del área en la cual se localiza la escuela (urbana o rural), la etnia de los estudiantes (indígena o no indígena) y su género (masculino o femenino). Para ello se dividieron los casos del estudio de acuerdo a las siguientes variables:

a) área: Se utilizó la clasificación oficial provista por la Unidad de Informática del Ministerio de Educación de Guatemala;

b) etnia: Se utilizó la clasificación que el docente asignó a cada niño y niña; c) género: Se utilizó la clasificación asignada para cada niño y niña por el

docente. El primer análisis que se realizó fue comparar las proporciones de logro del criterio para cada una de las categorizaciones de interés utilizando la z de proporciones. Las frecuencias para estimar las proporciones fueron ajustadas al diseño de la muestra. Estos resultados pueden ser observados en la tabla presentada a continuación.

Tabla 11: Comparación entre proporciones de la población que obtuvo logro del criterio en la prueba de lectura en español de acuerdo a área (urbana o rural), etnia (indígena o no

indígena) y género (masculino o femenino)

Proporción de logro del criterio

Diferencia de proporción del logro

a un alfa de 0.05 (1.96 de distribución z)

Puntaje crítico Diferencia de proporciones significativa

Urbano Rural

61% 45% 0.16 0.004 Sí

Indígena No indígena 43% 50% -0.08 -0.003 Sí

Masculino Femenino

48% 47.7% 0.004 0.003 Sí Los resultados antes presentados fueron basados en las frecuencias ponderadas con respecto al diseño de la muestra. Sin embargo, tomando en cuenta la complejidad del muestreo y considerando que las categorías mencionadas se encontraban anidadas, se realizaron dos análisis adicionales. El primer análisis fue una regresión que produjo puntajes t para cada una de las variables independientes (área, etnia, género). Este análisis fue realizado en el programa AM Statistical Software del American Institute for Research, el cual permite el manejo de muestras complejas. Los resultados del análisis se presentan a continuación.


20

Tabla 12: Regresión estimada para la prueba de lectura en español con el logro del criterio como variable dependiente y con las variables independientes de área (urbano o rural), etnia

(indígena o no indígena) y género (masculino o femenino)

Parámetro Estimación Error estándar Estadístico t p>[t] Constante 2.408 0.219 10.999 0.000 Área -0.155 0.019 -8.307 0.000 Etnia -0.067 0.024 -2.770 0.006 Género -0.006 0.010 -0.642 0.521

Los resultados antes expuestos confirmaron la relevancia observada para área y etnia. Sin embargo, no confirmaron la relevancia de género, la cual fue significativa al utilizar la comparación z de proporciones a pesar de que la diferencia de proporciones entre niños y niñas era de 0.03% Se consideró apropiado, por lo tanto, realizar un análisis de regresión logística binario para determinar si el modelo explicativo en el cual área, etnia y sexo predicen el logro del criterio es apropiado. El análisis fue realizado ponderando los casos de la muestra. Los resultados se presentan a continuación:

Tabla 13: Regresión logística para la prueba de lectura en español con las variables de área (urbana o rural), etnia (indígena o no indígena) y género (masculino o femenino) como

parámetros

Parámetros Estadístico Wald7

Significancia del estadístico Wald

Exp(B)8

Área (urbano / rural) 389.215 0.000 1.905 Etnia (indígena / no indígena) 44.348 0.000 1.242

Género (masculino / femenino) No significativo Este análisis indicó que las variables que mejor se ajustan a un modelo predictivo del logro en lectura son área y etnia.

12. Resultados nacionales de matemática en español Tal como en el caso de lectura, en matemática los resultados deben ser interpretados con respecto al criterio de la prueba. En el caso de matemáticas el criterio contenía dos componentes, uno que hace referencia a la solución de sumas y otro que se refiere a la solución de restas. El criterio se enuncia de la siguiente manera:

El estudiante que ha cursado satisfactoriamente primero primaria debe de ser capaz de realizar sumas de dos números compuestos de un dígito que dan como resultado un número compuesto de dos dígitos; realizar sumas de tres número compuestos de un dígito que dan como resultado un número compuesto de un

7 Cuando el nivel de significancia del estadístico Wald es 0.05 o menos el parámetro es útil en el modelo para explicar la variable dependiente (en este caso el logro del criterio). 8 Cambio predicho en probabilidades para el incremento en una unidad del predictor. Cuando Exp(B) es menor a 1, el incremento del valor de la variable corresponde a un decremento de la probabilidad de ocurrencia del evento predicho (en este caso el logro del criterio).


21

dígito; restar de un número positivo compuesto de un dígito una cantidad menor expresada por un número de un dígito obteniendo como resultado un número positivo compuesto de un dígito.

Se decidió analizar el rendimiento de los y las estudiantes en relación a ambos criterios por separado y en conjunto. Aunque el criterio mismo está dado por ambos elementos en conjunto, cada uno de los elementos es relevante y es de interés conocer su desempeño específico. Los resultados fueron analizando utilizando el Statistical Package for the Social Sciences (SPSS). Se reporta el número de estudiantes que obtuvo el logro. El total de niños que tomaron la evaluación de matemática en español fue de 19525 (9649 niños y 9876 niñas). La tabla que se presenta abajo muestra la frecuencia (real) y el porcentaje (ajustado al diseño de la muestra) de niños que alcanzaron el criterio en lectura para toda la prueba y por cada una de las secciones.

Tabla 14: Frecuencia (real) y porcentaje (ajustado al diseño de la muestra) de niños y niñas que alcanzaron el criterio en la prueba de matemática en español

Sección # de niños y niñas que

alcanzan el criterio

% ponderado de niños y niñas que alcanzan

el criterio Criterio sumas (n=19525)

7835

45.3%

Criterio restas (n=19525)

9129

38.6%

Criterio globa (sumas y restas en conjunto) (n=19525)

5553

27.5%

1. Reconocer los números mayas. 4625 24.12%

2. Reconocer cantidades en ilustraciones identificando “más” y “menos”.

15915 79.88%

3. Identificar el número que expresa la cantidad de figuras en un grupo.

15811 79.45%

4. Reconocer la posición de una figura dentro de un grupo, identificando “antes” y “después”.

15205 75.30%

5. Hacer sumas de dos o tres sumandos sin llevar.

9524 47.45%

6. Hacer restas con el minuendo de un dígito y el sustraendo de un dígito sin prestar.

8205 40.66%

7. Identificar el lugar que ocupan las figuras de una serie (primero, segundo, tercero).

5534 26.89%

8. Completar series de números. 2509 12.80%


22

13. Resultados departamentales de matemática en español Se analizaron los datos para cada uno de los departamentos del país, los cuales se muestran en la tabla que aparece luego de este segmento. Se presentan los departamentos en orden decreciente de acuerdo a sus resultados. La primera franja obscura divide el resultado nacional de los resultados por departamento. La segunda franja negra separa a los departamentos en donde el porcentaje de niños y niñas que alcanzaron el criterio global fue superior al nacional (45.27% en el caso del criterio de suma, 38.62% en el caso del criterio de resta y 27.54% en el caso del criterio de suma y resta en conjunto) de los que obtuvieron resultados por debajo.

Tabla 15: Frecuencia de logro del criterio de sumas por departamento en la prueba de matemáticas de primer grado primaria

Criterio: Sumas

n Criterio logrado % ajustado al diseño

de la muestra

NACIONAL 19525 9129 45.27

SACATEPEQUEZ 490 263 55.28

GUATEMALA 1853 1016 54.14

QUETZALTENANGO 1067 599 53.69

CIUDAD CAPITAL 670 360 53.07

IZABAL 586 338 52.07

SUCHITEPEQUEZ 843 433 51.25

TOTONICAPAN 652 328 50.18

PETEN 633 330 50.07

SANTA ROSA 611 302 46.69

HUEHUETENANGO 1397 609 45.84

ESCUINTLA 780 362 45.69


CHIMALTENANGO 929 441 44.47

CHIQUIMULA 584 289 44.21

SOLOLA 696 322 43.62

EL QUICHÉ 1593 667 43.22

ALTA VERAPAZ 1138 498 42.45

JALAPA 558 249 40.74

ZACAPA 548 229 39.54

SAN MARCOS 1256 524 39.52

RETALHULEU 786 308 39.07

BAJA VERAPAZ 630 246 38.79

JUTIAPA 683 187 23.28


23

Tabla 16 Frecuencia de logro del criterio de restas por departamento en la prueba de matemática de primer grado primaria

Criterio: Restas

n Criterio logrado % ajustado al diseño

de la muestra

NACIONAL 19525 7835 38.62



GUATEMALA 1853 994 52.11

PETEN 633 296 50.19


IZABAL 586 320 46.75


SANTA ROSA 611 287 42.97

ESCUINTLA 780 328 41.94

JALAPA 558 237 40.46



SOLOLA 696 259 36.02



ZACAPA 548 190 35.10


EL QUICHÉ 1593 520 33.62

SAN MARCOS 1256 462 32.10




JUTIAPA 683 170 21.28


24

Tabla 17 Frecuencia de logro del criterio conjunto de suma y resta por departamento en la prueba de primer grado primaria

Criterio: Suma y Resta simultáneos

n Criterio logrado

% ajustado al diseño de la muestra

NACIONAL 19525 5553 27.52



PETEN 633 221 36.01

GUATEMALA 1853 679 35.96

IZABAL 586 245 35.95



SANTA ROSA 611 200 30.22


ESCUINTLA 780 224 28.00

JALAPA 558 168 27.48

ZACAPA 548 142 26.56



SOLOLA 696 188 25.05

EL QUICHÉ 1593 389 24.88



SAN MARCOS 1256 325 22.59




JUTIAPA 683 94 10.20

También se intentó determinar las semejanzas inter-departamentales en los resultados obtenidos por los estudiantes en la prueba de matemática en español. Para ello se procesaron nuevamente los resultados, esta vez en escala de intervalo produciendo totales de acuerdo al número de ítems correctos obtenidos por los y las estudiantes. Se procedió entonces a correr un Análisis de Varianza con departamento como único factor y la prueba post-hoc de Bonferroni proveyó las parejas de departamentos en los cuales no hubo diferencias significativas. En este caso las puntuaciones fueron ponderadas, pero las varianzas no se encuentran ajustadas al diseño de la muestra. Por ello los resultados deben ser analizados a la luz de los factores de diseño. A continuación se presentan dos tablas. La primera indica el factor de diseño para cada departamento tomando en cuenta los resultados en la prueba de lectura en una escala


25

de intervalo como variable dependiente. La segunda es una matriz en la cual se presentan las parejas de Departamentos que difieren entre sí de acuerdo a la prueba de Bonferroni. La matriz presenta a los departamentos del país en cada una de sus entradas, por lo cual las celdas presentan todas las posibles parejas que pueden obtenerse. La capital, a pesar de no estar políticamente considerada como un departamento, es presentada como tal debido a que por densidad y diversidad poblacional muestra características peculiares. Una X en la celda en donde dos departamentos convergen representa una pareja en la cual NO hubo diferencia estadísticamente significativa, es decir son departamentos similares. Todas aquellas celdas que se encuentran en blanco representan las parejas en las cuales SÍ hubo diferencias estadísticamente significativas.

Tabla 18: Factor del diseño de la muestra por departamento para la puntuación en las pruebas de lectura en español calculada en escala de intervalo

Departamento Factor del Diseño de la

Muestra ALTA VERAPAZ 2.31 BAJA VERAPAZ 2.07

CHIMALTENANGO 2.20 CHIQUIMULA 2.09

CIUDAD CAPITAL 2.41 EL PROGRESO 2.05

ESCUINTLA 1.89 GUATEMALA 2.58

HUEHUETENANGO 4.95 IZABAL 2.41 JALAPA 2.10 JUTIAPA 3.15 PETEN 3.74

QUETZALTENANGO 2.95 EL QUICHÉ 3.33

RETALHULEU 1.93 SACATEPEQUEZ 1.54 SAN MARCOS 4.03 SANTA ROSA 2.65

SOLOLA 2.69 SUCHITEPEQUEZ 2.44 TOTONICAPAN 1.43

ZACAPA 2.36


26

Tabla 19: Agrupación de Departamentos de acuerdo a la similitud y diferencia en los resultados de la prueba de matemática en español

Ciu

dad

Cap

ital

Gua

tem

ala

Alta

Ver

apaz

Baja

Ver

apaz

Chi

mal

tena

ngo

Chi

quim

ula

El P

rogr

eso

El Q

uich

é

Escu

intla

Hueh

uete

nang

o

Izab

al

Jala

pa

Jutia

pa

Peté

n

Que

tzal

tena

ngo

Reta

lhul

eu

Saca

tepé

quez

San

Mar

cos

Sant

a Ro

sa

Solo

lá

Such

itepé

quez

Toto

nica

pán

Zaca

pa

Ciudad Capital X

Guatemala

Alta Verapaz X X X X X

Baja Verapaz X X X

Chimaltenango X X X X

Chiquimula X X X X X

El Progreso X X X X X X X

El Quiché X X X X

Escuintla X X X

Huehuetenango X

Izabal X

Jalapa X X X X

Jutiapa X X

Petén X X X

Quetzaltenango X X

Retalhuleu X X

Sacatepéquez

San Marcos X X X X X

Santa Rosa X

Sololá X X

Suchitepéquez X X

Totonicapán

Zacapa X X X


27

14. Relación de los resultados en matemática en español de acuerdo al área, etnicidad y género

Se intentó determinar la influencia del área en la cual se localiza la escuela (urbana o rural), la etnia de los estudiantes (indígena o no indígena) y su género (masculino o femenino) sobre el logro de los estudiantes. Para ello se dividieron los casos del estudio de acuerdo a las siguientes variables:

a) área: Se utilizó la clasificación oficial provista por la Unidad de Informática del Ministerio de Educación de Guatemala;

b) etnia: Se utilizó la clasificación asignada por el docente para cada niño y niña; c) género: Se utilizó la clasificación asignada para cada niño y niña por el

docente. La variable dependiente para este análisis fue el criterio conjunto de suma y resta. Se compararon las proporciones de logro del criterio para cada una de las categorizaciones de interés utilizando la z de proporciones. Estos resultados pueden ser observados en la tabla presentada a continuación.

Tabla 20: Comparación entre proporciones de la población que obtuvo logro del criterio en la prueba de matemática en español de acuerdo a área (urbano o rural), etnia (indígena o no

indígena) y género (masculino o femenino)

Proporción de logro del criterio

Diferencia de proporción del logro

a un alfa de 0.05 (1.96 de distribución z)

Puntaje crítico Diferencia de proporciones significativa

Urbano Rural

36% 26% 0.10 0.004 Sí

Indígena No indígena 26% 28% 0.02 0.003 Sí

Masculino Femenino

28% 27% 0.007 0.003 Sí Los resultados antes presentados fueron basados en las frecuencias ponderadas con respecto al diseño de la muestra. Sin embargo, tomando en cuenta la complejidad del muestreo y considerando que las categorías antes consideradas se encontraban anidadas, se realizaron dos análisis adicionales. El primer análisis fue una regresión que produjo puntajes t para cada una de las variables independientes (área, etnia, género). Este análisis fue realizado en el programa AM Statistical Software del American Institute for Research, el cual permite el manejo de muestras complejas. Los resultados del análisis se presentan a continuación.


28

Tabla 21: Regresión estimada para la prueba de matemática en español con el logro del criterio de suma y resta combinado como variable dependiente y con las variables independientes

área (urbano o rural), etnia (indígena o no indígena) y género (masculino o femenino)

Parámetro Estimación Error estándar Estadístico t p>[t] Constante 1.500 0.207 7.240 0.000 Área -0.101 0.018 -5.750 0.000 Etnia -0.015 0.019 -0.800 0.424 Género -0.009 0.009 -1.001 0.317

Los resultados antes expuestos confirmaron la relevancia observada para área. No se confirmó en este caso la diferencia en desempeño en matemática de acuerdo a etnia y género. Un análisis de regresión logística binario confirmó que tanto área como etnia son componentes relevantes del modelo, pero no género. El análisis fue realizado ponderando los casos de la muestra. Los resultados se presentan a continuación:

Tabla 22: Regresión logística para la prueba de matemática en español con las variables de área (urbana o rural), etnia (indígena o no indígena) y género (masculino o femenino) como

parámetros



Exp(B)10

Área (urbano / rural) 227.719 0.000 1.677 Etnia (indígena / no indígena) 24.382 0.000 1.199

Género (masculino / femenino) No significativo

15. Relación de los resultados de lectura y matemática en primer grado de primaria

Se analizaron los datos obtenidos por los estudiantes en las pruebas de lectura y matemática para establecer el grado de relación existente entre ambos resultados. Para cada estudiante se determinó si había logrado el criterio de lectura y el criterio combinado de suma y resta en matemática. La matriz de estos resultados con base a los casos no ponderados se observa en la tabla siguiente:

9 Cuando el nivel de significancia del estadístico Wald es 0.05 o menos el parámetro es útil en el modelo para explicar la variable dependiente (en este caso el logro del criterio). 10 Cambio predicho en probabilidades para el incremento en una unidad del predictor. Cuando Exp(B) es menor a 1, el incremento del valor de la variable corresponde a un decremento de la probabilidad de ocurrencia del evento predicho (en este caso el logro del criterio). Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Primer Grado Primaria de Escuelas Oficiales de Guatemala

29

Tabla 23: Matriz de frecuencias no ponderadas de logro y no logro del criterio de lectura en contraste con el logro del criterio de suma y resta conjunto

No logro del criterio de

lectura

Logro del criterio de

lectura

Total de casos

No logro del criterio de matemática (suma y resta en conjunto)

8013 5953 13966

Logro del criterio de matemática (suma y resta conjunto)

1628 3925 5553

Total de casos

9641 9878 19519

Se calculó una Chi cuadrada con base a los datos ponderados, de la cual se obtuvieron los siguientes resultados.

Tabla 24: Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de lectura en contraste con el logro del criterio de suma y resta conjunto

Valor gl Singnificancia (2 colas)

Chi-Cuadrada de Pearson 17679.584 1 0.000 Este resultado muestra que existe una relación entre el logro del criterio de lectura y el de matemática (sumas y restas combinadas). Para conocer el grado y significancia de tal relación se estimaron las medidas direccionales de Goodman & Kruskal tau y el Coeficiente de Incertidumbre. Estos resultados se presentan en la siguiente tabla.

Tabla 25: Medidas direccionales nominales de los resultados de la Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de lectura en

contraste con el logro del criterio de suma y resta conjunto Valor Error típico Significancia

Goodman & Kruskal tau

Criterio matemática 0.062 0.001 0.000

Criterio lectura 0.062 0.001 0.000

Coeficiente de incertidumbre Simétrico 0.049 0.001 0.000



El nivel de significancia de estos resultados muestra que de hecho existe una relación entre los resultados de matemática y lectura. La columna “valor” indica la reducción proporcional del error de predecir el valor de una de las variables basándose en el valor de la segunda variable. En este caso solamente del 4.5% al 6.2% del error se reduce sobre lo que se esperaría del azar.


30

16. Relación de los resultado de la prueba de lectura en idioma español con los resultados de la prueba de lectura en K’iche’ o Kaqchikel

En esta sección se presentan las coincidencias obtenidas por los estudiantes que tomaron las pruebas de lectura en español y en K’iche o Kaqchikel. La característica particular de estas tablas es que muestra los porcentajes de estudiantes que obtuvieron las diferentes combinaciones posibles de logro y no logro en ambas pruebas (por ejemplo, logro en K’iche’, logro en español, logro en K’iche’ y español, no logro en K’iche y español, logro en K’iche’ pero no logro en español, no logro en K’iche’ pero logro en español). Para comprender la presentación de los resultados es necesario recordar que los alumnos pertenecientes a escuelas bilingües tomaron la versión española de la prueba el primer día de aplicación, y luego la versión en idioma Maya durante el segundo día. Por lo tanto, fue posible determinar cuántos estudiantes lograron alcanzar el criterio en una o ambas de las pruebas. Para ilustrar, en la tabla, puede leerse que el 38.24% de los estudiantes que tomaron la prueba de lectura en K’iche’ y también en español fueron capaces de alcanzar el criterio tanto en el idioma Maya como en español. Este tipo de análisis es importante pues permite identificar como se desempeñaron los alumnos al ser evaluados en el idioma que se habla como idioma materno en su comunidad. Sin embargo, debe de tomarse en cuenta que fue durante el primer día de aplicación que se suministró la prueba en español y en el segundo las pruebas en K’iche’ o Kaqchikel, las cuales eran traducciones de la versión española. Por lo tanto, cierto grado de incremento en el desempeño era esperado, aunque no es posible cuantificarlo con exactitud.

Tabla 26: Frecuencias de logro en las pruebas de lectura de primer grado en idiomas K’iche’ o Kaqchikel e idioma español de primero grado primaria

Lectura K'iche' Kaqchikel

(Incluye programas) n = 703 % ajustado

al diseño de la muestra

n = 266 % ajustado


Logro en Idioma Maya 372 55.69 138 56.95 Logro en Idioma Español 340 61.99 160 54.91

Logro en Idioma Maya y

Logro en Español 236 38.24 99 39.01

Logro en Idioma Maya y No logro en Español 136 17.45 39 17.93

No logro en Idioma Maya y Logro en Español 104 23.75 61 15.90

No Logro en Idioma Maya y No Logro en

Español 223 20.53 65 26.42


31

17. Relación de los resultado de la prueba de matemática en idioma español con los resultados de la prueba de lectura en K’iche’ o Kaqchikel

De forma similar que en el caso de lectura, en matemática se contrastaron los porcentajes de logro en la prueba en idioma español y en K’iche’ o Kaqchikel. En este caso, al igual que en lectura, las pruebas en K’iche’ y Kaqchikel son traducciones de la prueba en español y fueron aplicadas durante el segundo día de la visita. Por lo tanto, las mismas observaciones son válidas en este caso en cuanto al posible incremento de estudiantes que alcanzan el logro debido a la práctica previa. Esta observación adquiere más peso en el caso de la prueba de matemática, al tomar en cuenta que las operaciones presentadas en el instrumento en español, K’iche’ y Kaqchikel fueron iguales. En el caso de matemáticas, el desempeño en sumas mostró un patrón similar al de lectura al comparar el porcentaje de estudiantes que obtuvieron el criterio en K’iche’ o Kaqchikel en comparación al español. En el caso de restas esto se invirtió en los estudiantes que tomaron la prueba en español y K’iche’. Los estudiantes que tomaron la prueba en K’iche’ mostraron un mejor rendimiento en español, pero solamente en restas.

Tabla 27: Frecuencia de logro en el criterio de sumas en las pruebas de matemática de primer grado en idioma Maya e idioma español

Matemática: Sumas K'iche' Kaqchikel



n = 266 % ajustado




Logro en Español 185 29.00 101 36.40



No Logro en Idioma Maya y No Logro en Español 328 41.80 97 42.70


32

Tabla 28: Frecuencia de logro en el criterio de restas en la prueba de matemática de primer grado en idioma Maya e idioma español

Matemática: Restas K'iche' Kaqchikel



n = 266 % ajustado




Logro en Español 145 24.70 77 25.10



No Logro en Idioma Maya y No Logro en Español 396 51.20 127 47.80

18. Factores relacionados con el desempeño escolar Se realizó un esfuerzo por interpretar el desempeño de los estudiantes en función de varios factores. Es con este motivo que se utilizaron cuestionarios adicionales, los cuales son presentados en la sección 7 (Cuestionarios Adicionales) de este mismo documento. Se utilizaron cuatro instrumentos:

1) Entrevista al estudiante del 1er grado: Se solicitó a los aplicadores que al concluir la aplicación se entrevistara a dos niños y a dos niñas del aula. Un total de 3232 estudiantes de primer grado primaria fue entrevistado;

2) Información proporcionada por el docente acerca del estudiante: Información que se llenaba con ayuda de los y las docentes en la portada del folleto de cada estudiante que había completado la evaluación. Esta información fue proporcionada para todos los estudiantes que completaron la evaluación de lectura en español;

3) Cuestionario al docente: Se solicitó a los docentes de las aulas en las cuales se realizó la evaluación que completaran el cuestionario. Un total de 815 docentes del primer grado de la primaria completar el cuestionario;

4) Cuestionario al director: Se solicitó a los directores de las escuelas evaluadas que completaran un cuestionario. Un total de 809 directores llenaron el cuestionario.

A continuación se presenta una tabla que expresa las áreas que fueron exploradas y el instrumento del cual fue extraída la información.


33

Tabla 29: Áreas evaluadas a través de cuestionarios y entrevistas complementarios a la aplicación de las evaluaciones de primer grado primaria

Área Instrumento a. Nutrición y alimentación Entrevista al estudiante

Cuestionario al director

b. Aceptación de la escuela Entrevista al estudiante

c. Participación de padres de

familia en la escuela Cuestionario al docente

d. Ambiente letrado y materiales Entrevista al estudiante


e. Riesgos y/o violencia en la escuela

Entrevista al estudiante

Cuestionario al docente

f. Bilingüismo docente Cuestionario al docente


g. Experiencia y capacitación docente


h. Infraestructura Cuestionario al director

i. Tareas y planificación


Para analizar esta información se tomaron estos aspectos y se exploró su posible relevancia en el desempeño de los estudiantes, tanto en lectura como en matemática. La serie de datos de la entrevista a los estudiantes fue adherida a la serie de datos de los resultados por estudiante. A las series de datos de los cuestionarios a docentes y directores se les adhirió la información correspondiente al porcentaje de estudiantes que alcanzaron el criterio de logro para lectura y para matemática en la escuela a la cual el director o docente que contestó el cuestionario pertenece. Con base a estas nuevas series de datos se realizaron los análisis que a continuación se presentan. El 67.5% de los directores en la serie de datos (541 de 801) reportaron que el día de la visita hubo refacción escolar. En contraste, el 81.3% (651) reportó haber recibido recursos para la refacción escolar. Sin embargo, 468 directores (56.9%) reportan que estos recursos son insuficientes para alimentar de manera adecuada a todos los estudiantes. Esto contrasta con lo que los docentes reportaron para el año 2003, para el cual 623 (75.7%) reportó haber recibido fondos para refacción escolar. Sin embargo, en ese caso el número de directores que reportó que los fondos eran suficientes era menor (301, 37.3%). Se contrastaron las respuestas de los directores con el desempeño de los estudiantes por medio de una matriz de dos entradas. La primer columna, la cual da nombre a las filas, expresa una de cuatro categorías: a) número de escuelas en las cuales el porcentaje de estudiantes que alcanzó el logro se encontró entre 0% y 25%; b) número de escuelas en las cuales el porcentaje


34

de estudiantes que alcanzó el logro fue de 26% a 50%; c) número de escuelas en las cuales el porcentaje de estudiantes que alcanzó el logro fue de 51% a 75%; d) número de escuelas en las cuales de 76% a 100% de los estudiantes alcanzaron el criterio de logro. La primera fila, la cual da el nombre a las columnas, expresa el número de directores que respondió que sí hubo refacción escolar el día de la visita y que sí existen recursos para la refacción escolar. Estos cruces pueden observarse en las siguientes tablas.

Tabla 30: Logro del criterio en la prueba de lectura español contrastado con la presencia de refacción escolar el día de la visita

Proporción de estudiantes que logran el criterio

en la escuela

Número de escuelas para cada grupo

Número de escuelas para las cuales el director reportó que hubo refacción el día

de la visita

Porcentaje

0 – 25 % 117 74 63.2% 26 – 50 % 217 144 66.4% 51 – 75 % 249 170 68.3% 76 – 100 % 149 108 72.5%

Tabla 31: Logro del criterio en la prueba de lectura español contrastado con la presencia de recursos para la adquisición de refacción escolar


en la escuela



de la visita

Porcentaje

0 – 25 % 117 86 73.5% 26 – 50 % 217 176 81.1% 51 – 75 % 249 202 81.1% 76 – 100 % 149 124 83.2%

Tabla 32: Logro del criterio en la prueba de matemática español contrastado con la presencia de refacción escolar el día de la visita


en la escuela



de la visita

Porcentaje

0 – 25 % 265 181 68.3% 26 – 50 % 271 186 68.6% 51 – 75 % 118 82 69.5% 76 – 100 % 12 8 66.7%


35

Tabla 33: Logro del criterio en la prueba de matemática español contrastado con la presencia de recursos para la adquisición de refacción escolar


en la escuela



de la visita

Porcentaje

0 – 25 % 265 214 80.8% 26 – 50 % 271 219 80.8% 51 – 75 % 118 100 84.7% 76 – 100 % 12 9 75.0%

Estas tablas muestran una mayor proporción de escuelas que se encontraban en los rangos de logro altos cuando hubo presencia de refacción o presencia de recursos para la adquisición de refacción, aunque la relación de la presencia de recursos es menos clara que la presencia misma de la refacción. Al tomar en cuenta los cuestionarios de los estudiantes fue posible cruzar la respuesta del estudiante respecto a haber comido antes de llegar a la escuela con respecto al logro del criterio. El resultado es presentado en la siguiente tabla. La diferencia es estadísticamente significativa en el caso de lectura (z de proporciones con valores ponderados, valor crítico 0.01, p < 0.05) y de matemática (z de proporciones con valores ponderados, valor crítico 0.009, p < 0.05).

Tabla 34: Logro del criterio en la prueba de lectura español contrastado con la respuesta de los estudiantes respecto a haber comido antes de llegar a la escuela

n Logro del criterio

Porcentaje ajustado al diseño de la muestra

Comió antes de llegar a la escuela 2729 1429 50.5%

No comió antes de llegar a la escuela 452 218 46.3%

Tabla 35: Logro del criterio en la prueba de matemática español contrastado con la respuesta de los estudiantes respecto a haber comido antes de llegar a la escuela

n Logro del criterio

Porcentaje ajustado al diseño de la muestra

Comió antes de llegar a la escuela 2729 827 29.4%

No comió antes de llegar a la escuela 452 125 27.1%

También se indagó la aceptación de la escuela por medio de un ítem contenido en la entrevista al estudiante, el cual pregunta si al niño o niña le agrada asistir a la escuela. El segundo se recaba en el cuestionario al docente e inquiere acerca de la participación de los padres de familia en la escuela. Se estimaron Chi-cuadrados para el primero de estos dos elementos con base a datos no ponderados y reveló que sí existe una relación, aunque leve, entre el agrado expresado por el estudiante hacia su escuela y el logro del criterio.


36

Tabla 36: Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de lectura en contraste con agrado expresado por los estudiantes

Valor gl Singnificancia

(2 colas) Chi-Cuadrada de Pearson 12.566 2 0.002


contraste con agrado expresado por los estudiantes Valor Error típico Significancia


Agrado expresado 0.001 0.001 0.016





Tabla 38: Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de matemática en contraste con agrado expresado por los estudiantes


Chi-Cuadrada de Pearson 246.623 2 0.000

Tabla 39: Medidas direccionales nominales de los resultados de la Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de

matemática en contraste con agrado expresado por los estudiantes

Valor Error típico Significancia







Se analizó si la experiencia de riesgo se relaciona con el rendimiento de los estudiantes. En la entrevista a los estudiantes se hicieron cuatro preguntas relacionadas con eventos de riesgo y/o violencia. Para analizar esta información se sumaron las respuestas afirmativas para cada ítem con el objetivo de producir una única puntuación. Esta puntuación fue correlacionada con el logro del criterio ponderando los datos, y se descubrió una relación que no es estadísticamente significativa para lectura. En el caso de matemática la relación fue significativa y tiene una Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Primer Grado Primaria de Escuelas Oficiales de Guatemala

37

orientación negativa (a mayor puntuación que refleja riesgo o violencia, menor probabilidad de logro).

Tabla 40: Relación de eventos de riesgo y/o violencia reportados por el estudiante y el logro en el criterio de lectura

R biserial-puntual

Coeficiente de correlación Eventos de riesgo y/o violencia / Logro del criterio.

0.002

Significancia (bilateral) 0.582 n no ponderado 3165

Tabla 41: Relación de eventos de riesgo y/o violencia reportados por el estudiante y el logro en el criterio de matemática

R biserial-puntual

Coeficiente de correlación Eventos de riesgo y/o violencia / Logro del criterio.

-0.012

Significancia (bilateral) 0.000 n no ponderado 3165

Se efectuó un procedimiento similar con las cuatro preguntas de este aspecto en el cuestionario del docente y el porcentaje de estudiantes que alcanzaban el criterio. En este caso la relación fue estadísticamente significativa para lectura.

Tabla 42: Relación de eventos de riesgo y/o violencia reportados por el docente y el logro en el criterio de lectura

R de Pearson

Coeficiente de correlación Eventos de riesgo y/o violencia / Porcentaje de estudiantes en la escuela que alcanzó logro.

-0.091

Significancia (bilateral) 0.010 n 801

Tabla 43: Relación de eventos de riesgo y/o violencia reportados por el docente y el logro en el criterio de matemática

R de Pearson

Coeficiente de correlación Eventos de riesgo y/o violencia / Porcentaje de estudiantes en la escuela que alcanzó logro.

-0.010


De forma adicional, se analizó la relación que muestra la participación de los padres de familia en actividades de los alumnos, lo cual fue reportado por los docentes, con el logro. Se presentan primero los resultados en una tabla que muestra el porcentaje de instituciones que para diferentes proporciones de logro de sus estudiantes, reportan participación de los padres de familia.


38

Tabla 44: Logro del criterio en la prueba de lectura español contrastado con la participación de padres de familia


en la escuela



de la visita

Porcentaje

0 – 25 % 115 92 80.0% 26 – 50 % 213 172 80.8% 51 – 75 % 245 199 81.2% 76 – 100 % 148 131 88.5%

Tabla 45: Logro del criterio en la prueba de matemática español contrastado con la participación de padres de familia


en la escuela



de la visita

Porcentaje

0 – 25 % 261 212 81.2% 26 – 50 % 265 216 81.5% 51 – 75 % 118 100 84.7% 76 – 100 % 12 12 100.0%

Estos resultados fueron corroborados por medio de una comparación de las medias de los porcentajes de las escuelas de estudiantes que alcanzaron criterio en aulas en donde sí se reporta participación de padres de familia con la media de las aulas donde no se reportó tal participación. No se observaron diferencias estadísticamente significativas en lectura (no se asumen varianzas iguales, t=0.926, gl=120.90, p < 0.356) o matemática (se asumen varianzas iguales, t=1.656, gl=760, p < 0.098). De forma adicional, se analizaron los aspectos relacionados con el equipamiento y la infraestructura. Un total de 670 directores (83.8% porcentaje no ponderado) reportó haber recibido libros de texto en el 2004. Para cada escuela se estimó el porcentaje de estudiantes que alcanzó el criterio. Se estimaron medias calculadas con estos porcentajes para escuelas cuyos directores reportaron haber recibido textos y para escuelas cuyos directores reportaron no haberlos recibido. No se encontró en este caso diferencias estadísticamente significativas para lectura (se asumen varianzas iguales, t=1.317, gl=775, p < 0.188)o matemática (se asumen varianzas iguales, t=1.537, gl=775, p < 0.125). Por otra parte, una Chi-cuadrada entre el logro alcanzado por los estudiantes y su respuesta a la pregunta de si hay libros en su casa (con base a datos ponderados), muestra relaciones significativas, aunque leves.


39

Tabla 46: Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de lectura en contraste con ambiente letrado en el hogar expresado por

los estudiantes




contraste con ambiente letrado en el hogar expresado por los estudiantes Valor Error típico Significancia


Ambiente letrado en el hogar 0.015 0.001 0.000





Tabla 48: Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de matemática en contraste con ambiente letrado en el hogar expresado

por los estudiantes



Tabla 49: Medidas direccionales nominales de los resultados de la Chi-cuadrada de Pearson calculada con base a las frecuencias ponderadas de logro y no logro del criterio de

matemática en contraste con el ambiente letrado en el hogar expresado por los estudiantes

Valor Error típico Significancia







Con respecto a la infraestructura de las escuelas, se indagó en el cuestionario al director acerca de la presencia de agua entubada, electricidad y servicios sanitarios. Se creó una puntuación global la cual asignaba un punto por cada uno de esos elementos. El total fue correlacionado con el porcentaje de estudiantes que obtuvo logro en la prueba de lectura en


40

español para cada escuela. Los resultados pueden ser observados en las siguientes dos tablas, las cuales muestran una relación estadísticamente significativa.

Tabla 50: Relación de la presencia de agua entubada, electricidad y servicios sanitarios en establecimiento con el porcentaje de estudiantes que alcanzó el criterio de logro en la prueba

de lectura en español en cada escuela

R de Pearson Coeficiente de correlación Infraestructura / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro.

0.192


Tabla 51: Relación de la presencia de agua entubada, electricidad y servicios sanitarios en establecimiento con el porcentaje de estudiantes que alcanzó el criterio de logro en la prueba

de matemática en español en cada escuela

R de Pearson Coeficiente de correlación Infraestructura / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro.

0.153


Se analizaron cada uno de estos elementos por separado para conocer mejor su relación con el rendimiento de los estudiantes, tomando en cuenta que la infraestructura se relaciona con factores de urbanidad y afluencia.

Tabla 52: Relación de la presencia de agua entubada con el porcentaje de estudiantes que alcanzó el criterio de logro en la prueba de lectura y en la prueba de matemática en español

R biserial puntual Coeficiente de correlación Agua entubada / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro en la prueba de lectura en español.

0.200

Significancia (bilateral) 0.000 n 769 R biserial puntual Coeficiente de correlación

Agua entubada / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro en la prueba de matemática en español.

0.146



41

Tabla 53: Relación de la presencia de electricidad en el establecimiento con el porcentaje de estudiantes que alcanzó el criterio de logro en la prueba de lectura y en la prueba de

matemática en español

R biserial puntual Coeficiente de correlación Electricidad / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro en la prueba de lectura en español.

0.217


Electricidad / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro en la prueba de matemática en español.

0.171


Tabla 54: Relación de la presencia de servicios sanitarios con el porcentaje de estudiantes que alcanzó el criterio de logro en la prueba de lectura y en la prueba de matemática en español

R biserial puntual Coeficiente de correlación Servicios sanitarios / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro en la prueba de lectura en español.

0.068


Servicios sanitarios / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro en la prueba de matemática en español.

0.020


Estos resultados mostraron que con respecto a la infraestructura, el agua y la electricidad se relacionan con la proporción de logro obtenida por lo estudiantes de las escuelas. También se exploraron factores relacionados con el docente. Para explorar la capacitación y experiencia de éstos se analizaron los resultados obtenidos por los estudiantes a la luz de los datos proporcionados por los docente acerca del número de años que tienen de dar clases, el número de años que tienen de dar clases en primer grado primaria, al nivel académico superior que han alcanzado y el reporte acerca de si han recibido o no capacitaciones. Estos resultados pueden ser observados en las siguientes tablas.


42

Tabla 55: Relación entre años de experiencia docente y desempeño de los estudiantes en la prueba de lectura en español

R de Pearson Coeficiente de correlación Años de experiencia docente / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro.

0.229

Significancia (bilateral) 0.000 n 801 R de Pearson Coeficiente de correlación

Años de experiencia docente en primer grado / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro.

0.115


Tabla 56: Relación entre años de experiencia docente y desempeño de los estudiantes en la prueba de matemática en español

R de Pearson Coeficiente de correlación Años de experiencia docente / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro.

0.140

Significancia (bilateral) 0.000 n 801 R de Pearson Coeficiente de correlación

Años de experiencia docente en primer grado / Porcentaje de estudiantes en la escuela que alcanzó el criterio de logro.

0.081


El número de docentes que reportó sólo haber cursado educación básica y bachillerato fue bajo en comparación con el número de docentes que reportó magisterio o algún grado de estudios universitarios. Se presentan a continuación las medias para cada categoría.

Tabla 57: Promedio de los porcentajes de estudiantes que alcanzaron el criterio de logro en la prueba de lectura español en cada escuela por el nivel académico reportado por los docentes

Nivel académico reportado por el

docente

n Media de los porcentajes de estudiantes que alcanzaron

el criterio de logro por escuela

Desviación Típica

Educación básica 6 30.05 37.11 Bachillerato 19 45.59 25.84

Magisterio 568 47.53 28.14 Universitario

(graduado o no) 196 48.31 27.54


43

Tabla 58: Promedio de los porcentajes de estudiantes que alcanzaron el criterio de logro en la prueba de matemática en español en cada escuela por el nivel académico reportado por los

docentes Nivel académico reportado por el

docente



Desviación Típica

Educación básica 6 15.90 14.85 Bachillerato 19 19.41 16.01

Magisterio 568 26.24 22.34 Universitario

(graduado o no) 196 29.32 20.77

Tabla 59: Promedio de los porcentajes de estudiantes que alcanzaron el criterio de logro en la prueba de lectura en español en cada escuela de acuerdo al reporte de los docentes de haber

sido capacitados o no Nivel académico reportado por el

docente



Desviación Típica

Ha recibido capacitación

632 47.61 28.46

No ha recibido capacitación

117 26.24 26.37

Tabla 60: Promedio de los porcentajes de estudiantes que alcanzaron el criterio de logro en la prueba de matemática en español en cada escuela de acuerdo al reporte de los docentes de

haber sido capacitados o no Nivel académico reportado por el

docente



Desviación Típica

Ha recibido capacitación

632 27.05 22.09

No ha recibido capacitación

117 26.24 21.41

Lo anterior sugiere que los años de experiencia, la capacitación docente y el nivel académico tienen relación con el logro de los estudiantes. En relación con este aspecto, también se analizaron los resultados a la luz del bilingüismo docente. Esto consideró tres aspectos: 1) si el docente habla algún idioma Maya; 2) si el docente tiene nombramiento bilingüe; 3) si el director reporta que se imparte educación bilingüe en la escuela. Para realizar este análisis se estimó la relación entre los tres factores antes mencionados y el porcentaje de estudiantes que alcanzó el criterio en cada escuela. Dado que no todas las escuelas del país tienen equivalente necesidad de contar con instrucción bilingüe, se realizó este análisis solamente para las escuelas en las cuales más del 50% de los estudiantes reportaron hablar alguno de los idiomas Mayas. La única relación estadísticamente significativa que se encontró se dio entre el nombramiento como docente bilingüe del docente y el rendimiento en lectura de los estudiantes. Estos resultados pueden ser observados en las próximas cuatro tablas.


44

Tabla 61: Relación entre bilingüismo docente y desempeño en la prueba de lectura en español

R biserial puntual Coeficiente de correlación Docente habla algún idioma Maya / Porcentaje de estudiantes en la escuela que alcanzó logro.

0.114


Docente cuenta con nombramiento bilingüe / Porcentaje de estudiantes en la escuela que alcanzó logro.

0.153


Tabla 62: Relación de instrucción en idioma Maya en la escuela reportada por el director y el logro del criterio de lectura en español

R biserial puntual

Coeficiente de correlación Instrucción en idioma Maya en la escuela / Porcentaje de estudiantes en la escuela que alcanzó logro.

0.003


Tabla 63: Relación entre bilingüismo docente y desempeño en la prueba de matemática en español

R biserial puntual Coeficiente de correlación Docente habla algún idioma Maya / Porcentaje de estudiantes en la escuela que alcanzó logro.

-0.087


Docente cuenta con nombramiento bilingüe / Porcentaje de estudiantes en la escuela que alcanzó logro.

-0.002



45

Tabla 64: Relación de instrucción en idioma Maya en la escuela reportada por el director y el logro del criterio de matemática en español

R biserial puntual

Coeficiente de correlación Instrucción en idioma Maya en la escuela / Porcentaje de estudiantes en la escuela que alcanzó logro.

-0.124


Un aspecto más que se consideró en relación a los docentes fue el reporte de su planificación y las tareas que envían a casa para los estudiantes con respecto al rendimiento de estos últimos. De los 797 docentes que respondieron a esta pregunta, 759 reportaron asignar tareas a diario o de una a cuatro veces por semana. De los 774 que respondieron a la pregunta “¿Califica usted las tareas que sus estudiantes realizan?” 748 contestaron que sí. Se observó una dispersión más heterogénea con respecto a la frecuencia de la planificación, la cual se presenta en la siguiente tabla.

Tabla 65: Frecuencia con la cual los docentes reportan planificar las clases que imparten

Frecuencia con la cual planifica

n %

No contestaron a la pregunta 54 6.7 No planifica 20 2.5

A diario 129 16.1 Semanalmente 259 32.4

Quincenalmente 45 5.6 Mensualmente 236 29.5

Anualmente 58 7.3 Al comparar las medias de los porcentajes de estudiantes que alcanzaron logro no se encontró una diferencia significativa entre los estudiantes de docentes que no contestaron a la pregunta, los que no planifican y los que planifican con cualquiera de las frecuencias reportadas. Esto fue cierto para lectura (F = 1.542; p < 0.162) y matemática (F = 0.970; p < 0.444). Finalmente se estimó una regresión logística que tomó en cuenta el cuestionario del estudiante. Se ingresaron las repuestas con respecto a haber comido antes de llegar a la escuela y contar con material letrado en el hogar. En el análisis de regresión logística se dio un valor de 1 a aquellos estudiantes que obtuvieron el criterio de logro en lectura y el criterio de suma y resta conjunto en matemática. También se agregó como variable independiente una pregunta que indagaba si alguien lee al niño en su casa. La regresión se estimó con base a datos ponderados. La regresión mostró un único paso pero solamente nutrición y ambiente letrado en hogar mostraron ser significativas. La variable más potente para predecir el logro fue haber comido antes de llegar a la escuela, como se puede ver en la tabla presentada abajo.


46

Tabla 66: Regresión logística de logro en matemática y lectura con respecto a las variables de alimentación, material letrado en casa y lectura de cuentos en casa



Exp(B)12

Comió antes de llegar a la escuela 760.968 0.000 2.235

Libros en el hogar 603.860 0.000 0.604

Le leen en casa 7.742 0.005 0.947

19. Desempeño de los estudiantes inscritos en escuelas apoyadas por programas o proyectos específicos

En Guatemala existen diversas instituciones que a través de programas o proyectos específicos ofrecen apoyo a las escuelas oficiales. El Ministerio de Educación también cuenta con programas que trabajan con algunas de sus escuelas, con el objetivo de llenar necesidades particulares y fomentar la eficiencia y equidad. Hubo cuatro programas que fueron de particular interés para el presente estudio:

i) El Programa de Acceso a la Educación Bilingüe Intercultural (PAEBI); ii) Las Dirección de Educación Bilingüe Intercultural (DIGEBI); iii) El Programa Nacional de Autogestión para el Desarrollo Educativo (PRONADE); iv) El Centre for Excellence in Teacher Training (CETT).

Al desarrollar la muestra para la presente evaluación se seleccionó un número de escuelas de cada uno de estos programas que permitiera extraer conclusiones al respecto. Estos resultados fueron luego comparados con escuelas pertenecientes a los mismos estratos de la muestra y que fueran similares en tamaño y ubicación, pero las cuales no fueran atendidas por ninguno de los programas. Sin embargo, es importante hacer varias consideraciones que son trascendentales al emitir juicios acerca de los resultados:

1) Al comparar las escuelas con un grupo de instituciones similares se está utilizado una estrategia similar a la de los estudios experimentales y cuasi-experimentales. Sin embargo, el diseño del estudio no corresponde a ninguno de estos pues la selección de instituciones que conformarán parte de los programas no es realizada de manera aleatoria. De hecho, la selección de escuelas que formarán parte de los programas es realizada con base a circunstancias particulares. Por ejemplo, las escuelas PRONADE se ubican en comunidades que fueron desatendidas por algún tiempo. Las escuelas PAEBI y DIGEBI se localizan en comunidades bilingües, lo cual se asocia con otras características de exclusión, como área y pobreza.

11 Cuando el nivel de significancia del estadístico Wald es 0.05 o menos el parámetro es útil en el modelo para explicar la variable dependiente (en este caso el logro del criterio). 12 Cambio predicho en probabilidades para el incremento en una unidad del predictor. Cuando Exp(B) es menor a 1, el incremento del valor de la variable corresponde a un decremento de la probabilidad de ocurrencia del evento predicho (en este caso el logro del criterio). Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Primer Grado Primaria de Escuelas Oficiales de Guatemala

47

2) No se conoce el nivel de desempeño de las escuelas previo a la intervención del programa o para años anteriores al 2004. Por lo tanto, no es posible determinar si se han dado cambios con respecto al pasado o si el nivel actual refleja un impacto positivo del programa.

3) Debido a que la selección de escuelas que conforman parte de los programas no es aleatoria, la selección de las escuelas con las cuales son comparadas tampoco es aleatoria. Refleja la búsqueda de escuelas similares. Sin embargo, esta similitud se limita a las variables utilizada para el muestreo (departamento, área, tamaño de la escuela). Por ello, se desconoce si a pesar de ser parecidas con respecto a estas características, son cualitativamente diferentes en otros aspectos.

Como resultado de lo anterior es importante limitar las conclusiones derivadas de estos análisis de la siguiente manera:

a) Los datos reflejan el estado de las escuelas y deben ser interpretados solamente como el nivel de desempeño en un momento específico, lo cual es información que debe ser utilizado para profundizar el conocimiento acerca de las escuelas involucradas en el programa;

b) Las diferencias entre las escuelas pertenecientes a los programas y las escuelas control no debe ser interpretada como una diferencia estadística o no, sino como una brecha que debe orientar decisiones para aproximar más a ambos tipos de instituciones sin asumir que las desventajas reflejan el mal funcionamiento de los programas;

c) Los datos actuales deben ser utilizados para dar sentido a futuras evaluaciones. Los resultados por programa se presentan a continuación:

Tabla 67: Proporción de estudiantes que obtienen el criterio de logro en la prueba de lectura español en escuelas apoyadas por PAEBI, DIGEBI, PRONADE o CETT comparado con la

proporción de logro obtenida por estudiantes de escuelas similares que no son apoyadas por estos programas

n Proporción que logra el

criterio

PAEBI 577 42.3% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a PAEBI 762 46.1%

DIGEBI 1543 46.3% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a DIGEBI 2723 48.7%

PRONADE 1851 45.1% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a PRONADE 4494 41.1%

CETT 580 64.8% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a CETT 959 46.1%


48

Tabla 68: Proporción de estudiantes que obtienen el criterio de logro en la prueba de

matemática español en escuelas apoyadas por PAEBI, DIGEBI, PRONADE o CETT comparado con la proporción de logro obtenida por estudiantes de escuelas similares que no son apoyadas por

estos programas

n Proporción que logra el

criterio

PAEBI 578 23.5% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a PAEBI 762 23.4%

DIGEBI 1542 29.5% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a DIGEBI 2721 23.6%

PRONADE 1851 22.2% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a PRONADE 4493 23.1%

CETT 580 27.1% Escuelas seleccionadas al azar de los mismos

estratos que no pertenecen a CETT 958 24.0%


49

20. Conclusiones

• El porcentaje de estudiantes que alcanzó el criterio de lectura a nivel nacional fue de 47.96%. El departamento cuyo resultado fue el más alto del país es Petén (74.55%) y el más bajo fue Zacapa (28.83%). Doce departamentos se encontraron sobre el logro nacional y once por debajo. Estos resultados evidencian las diferencias que existe en los niveles del rendimiento en lectura entre regiones del país.

• Existen brechas importantes en el logro en matemática y lectura dentro de la población

guatemalteca. El área urbana muestra una ventaja en el rendimiento sobre el área rural. La proporción de estudiantes del primer grado que alcanzan el criterio en el área urbana es en general superior a la proporción de estudiantes que lo alcanzan en el área rural. Esto es cierto en lectura (61% vs. 45%) como en matemática (36% vs. 26%). La población no indígena muestra una ventaja sobre la población indígena. Las diferencias son estadísticamente significativas y se observan en primer grado en lectura (50% logra el criterio de la población no indígena vs. el 43% de la población indígena) y matemática (28% de la población no indígena logró el criterio vs. 26% de la población indígena).

Los niños muestran una ventaja en rendimiento sobre las niñas. Esto es cierto en primer grado en lectura (48% de los niños logra el criterio vs. 47.7% de las niñas) y matemática (28% de los niños logra el criterio vs. 27% de las niñas). Sin embargo, estas diferencias son pequeñas. Se estimó una regresión logística para analizar la información antes expuesta. Los resultados mostraron que tanto área como etnia son parte importante de un modelo que prediga el logro en lectura y matemática. Aunque también se ingresó género como variable independiente en el análisis, ésta no mostró ser una variable de tal modelo.

• Existe una relación entre los resultados de lectura y matemática. Esta relación es estadísticamente significativa pero explica solamente entre 4% y 6% de la reducción proporcional del error de predecir el valor del logro en una de las materias con respecto al logro en la otra.

• El análisis de las sub-secciones de la prueba de lectura del primer grado primaria indica que en

las tareas que requieren de destrezas de decodificación y asociación de fonema con grafema (asociación sonido-letra), la proporción de estudiantes que logra el criterio (78.98% para asociación sonido-letra y 66.85% para asociación palabra escrita y dicha) es superior a la proporción de estudiantes que obtiene el criterio en tareas que además de la decodificación requieren de realizar inferencias (32.35% para completación de frases y 25.13% para responder preguntas con base a la información de un párrafo). El criterio, el cual requería seguimiento de instrucciones enunciadas en oraciones de cinco palabras es alcanzado por la mitad de los estudiantes (50.96%).

• Al analizar las sub-secciones de la prueba de matemática del primer grado primaria se observa que tan sólo una cuarta parta de los y las estudiantes reconocen los números Mayas (24.12%). El criterio, el cual requiere realizar sumas sin llevar y restas sin prestar, es alcanzado por un


50

porcentaje menor a la mitad de los estudiantes, aún cuando se analizan sin tomar en cuenta el desempeño en los ítems anteriores (47.45% para sumas y 40.66% en restas). Cuando se requiere de pensamiento más complejo, ya sea secuencial o no, el porcentaje de estudiantes que logran los criterios se reduce dramáticamente (26.89% logra identificar el lugar que ocupa una figura en una serie y el 12.80% completa una serie de números).

• En el primer grado hubo un grupo de estudiantes que tomó pruebas en idioma español y también en K’iche´ o Kaqchikel, de acuerdo al idioma de su comunidad. Estos estudiantes pertenecían a instituciones que reconocían impartir educación bilingüe. Por ello, sus características son diferentes a otras escuelas en las cuales se podría ofrecer educación bilingüe pero no se ofrece. En las escuelas que sí ofrecen educación bilingüe y que fueron evaluadas en esta muestra se observó que en lectura una mayor proporción de estudiantes logró los criterios en la prueba en español que en la prueba en K’iche´ o Kaqchikel (61.99% vs. 55.69% para los que tomaron la prueba en K’iche y 54.91% vs. 56.95% para Kaqchikel). Sin embargo, es importante notar que en ambos casos la proporción de estudiantes que logró el criterio en la prueba en español es superior a la proporción que para todo el país logró el criterio (61.99% y 54.91 vs. el 48% de toda la muestra). Es importante tomar en cuenta que esto no refleja el estado general de todo el sistema de educación bilingüe. Sin embargo, sí apoya la hipótesis de que cuando efectivamente se ofrece educación bilingüe a estudiantes cuyo idioma materno no es el español, el aprendizaje de la lecto-escritura en español se ve reforzada. El presente estudio no es suficiente para ofrecer esta conclusión como definitiva, pero incrementa la evidencia que existe al respecto.

• En primer grado se aplicaron pruebas de matemática en español y también en K’iche o Kaqchikel de acuerdo al idioma materno de los estudiantes. En este caso se observa un fenómeno similar al observado en el caso de la prueba de lectura, donde los resultados de la prueba de español para el grupo que tomó la prueba en ambos idiomas, es superior al presentado en la prueba de lectura a nivel nacional. Sin embargo, las conclusiones deben ser tomadas con cautela, pues las pruebas en K’iche’ y Kaqchikel eran traducciones de la prueba en español. Considerando que la aplicación de los instrumentos en español se realizó durante el primer día, es de esperar que los resultados en las evaluaciones del segundo día fueran superiores a los del primer día ya que las operaciones, por ser expresadas en número, no difirieron de las utilizadas en la evaluación del primer día.

• La evaluación de primer grado en idioma K’iche’ y Kaqchikel es novedosa, dado que previamente sólo se han aplicado en tercero o sexto grados de la primaria. Es importante reconocer que los resultados de esta evaluación son valiosos en la formulación de hipótesis acerca de la importancia de la educación bilingüe en el proceso de aprendizaje de la lecto-escritura. Sin embargo, deberán ser confirmadas por futura investigación.

• Se encontró que el haberse alimentado previo a asistir a la escuela es relevante en el logro alcanzado por los estudiantes de primer grado de primaria. Esto se evidencia con particular claridad al contrastar los resultados obtenidos por los estudiantes con el reporte que ellos mismos dan acerca de haber comido antes de llegar a la escuela. En este caso se encontraron diferencias estadísticamente significativas entre la proporción de estudiantes que obtuvo el criterio de logro y se alimentó y la que obtuvo el criterio de logro y no se alimentó, tanto en lectura (50.5% vs. 46.3%) y matemática (29.4% vs. 27.1%). Este resultado fue confirmado después de estimar una regresión logística que consideró en el modelo haberse alimentado antes de llegar a la escuela, la presencia de libros en el hogar y si alguien lee al estudiante en casa.

• No se encontró una diferencia en el logro de los grupos de estudiantes cuyos docentes reportan que los padres participan en actividades de la escuela y los grupos cuyos docentes reportan


51

que los padres no participan en actividades de la escuela. Por otra parte, sí se encontró una relación entre el logro y el agrado hacia la escuela reportada por los mismos estudiantes. Una posible interpretación es que los estudiantes logran mejores desempeño cuando el ambiente escolar les es agradable. Una segunda interpretación es que los niños que experimentan logro en la escuela la perciben como más agradable. Ambas interpretaciones apuntan a la necesidad de fomentar un ambiente en el cual los niños se sientan cómodos y experimenten éxito.

• Se encontró una correlación estadísticamente significativa de sentido negativo entre las preguntas que hacen referencia a riesgo y violencia y el logro del criterio conjunto (suma y resta) de matemática (a mayor riesgo y violencia, menor desempeño). Esta relación no se observó en el caso de lectura.

• La infraestructura de las escuelas, en cuanto a la presencia de agua entubada, electricidad y sanitarios mostró una relación con el logro de los estudiantes, tanto en lectura como en matemática. Al analizar por separado cada uno de estos elementos, se observó que son la presencia de agua y electricidad los que mejor se relacionan con la obtención del logro.

• Los años de experiencia docente mostraron una relación significativa con el desempeño de los estudiantes. Esto fue cierto tanto para matemática como para lectura, aunque es importante tomar en cuenta que los docentes con más años de experiencia se concentran en el área urbana.

• Se analizó la relación entre el reporte de los docentes de impartir educación bilingüe, el reporte de los docentes de contar con nombramiento bilingüe y el reporte de los directores de que en la escuela se ofrece educción en el idioma Maya. Solamente se encontró una correlación estadísticamente significativa entre el reporte del docente que cuenta con nombramiento bilingüe y el rendimiento de los estudiantes en lectura. Esta correlación fue de sentido positivo (las aulas de docentes con nombramiento bilingüe cuentan con una mayor proporción de estudiantes que alcanzan el criterio en lectura).

• No se encontró una relación significativa entre la frecuencia con la cual los docentes reportan planificar y el porcentaje de estudiantes que alcanzaron el criterio de logro.

• Se efectuaron comparaciones de la proporción de estudiantes que alcanzaron el criterio de logro para el Programa de Acceso a la Educación Bilingüe Intercultural (PAEBI), la Dirección General de Educación Bilingüe Intercultural (DIGEBI), el Programa Nacional de Autogestión para el Desarrollo Educativo (PRONADE) y el “Center for Excellence in Teacher Training” (CETT). Los resultados de estos programas fueron comparados con los resultados de escuelas en el mismo estrato. Sin embargo, es importante tomar en cuenta que las escuelas que forman parte de los programas son seleccionadas precisamente por tener necesidades particulares. Por lo tanto, las comparaciones no deben ser consideradas como determinantes sino deben ser consideradas como un parámetro que ayude a establecer metas a mediano y largo plazo para los programas. Estas comparaciones mostraron que con respecto a lectura, aún existe mucho trabajo que realizar. El PRONADE muestra un buen desempeño con respecto a las escuelas del mismo estrato (45.1% vs. 41.1%), pero la diversidad de las escuelas PRONADE hace difícil interpretar si este logro es homogéneo. Asimismo, el logro del CETT, el cual es considerablemente superior a las escuelas de su mismo estrato (64.5% vs. 46.1%), hace difícil interpretar la diferencia. Dada la corta vida de este programa, es posible suponer que las escuelas contaban con alguna ventaja


52

desde su inicio, aunque esto no puede ser derivado de manera concluyente con la información presente. En matemática se observan circunstancias similares, aunque en este caso el programa que mostró una ventaja más marcada con respecto a las escuelas del mismo estrato fue DIGEBI (29.5% vs. 23.6%). También el CETT mostró una ventaja, pero no tan marcada como en el caso de lectura (27.1% vs. 24%).

21. Recomendaciones

Para tomar en cuenta al formular políticas educativas:

• El desempeño de los departamentos de Guatemala no es homogéneo. Las Direcciones Departamentales necesitan analizar sus propios resultados y utilizarlos para formular estrategias específicas. El MINEDUC debe utilizar los resultados departamentales para reorientar su inversión y estrategias. Por ejemplo, los resultados de Zacapa revelan que es necesario prestar atención a este departamento y explorar las razones por las cuales su resultado en lectura en español se encuentra en el extremo inferior, aún cuando este es el idioma materno de la gran mayoría de la población.

• Aún es necesario prestar atención a dos variables que se relacionan con el decremento

en el rendimiento de los estudiantes: área (urbano o rural) y etnia. Las niñas también obtienen resultados inferiores a los de los niños, aunque el impacto de esta variable resultó menor que el de área y etnia en esta evaluación.

• A pesar de que es necesario tomar en cuenta las variables de exclusión antes mencionadas, es importante no descuidar a la población guatemalteca como un todo. El porcentaje de estudiantes que no alcanzó el logro en las evaluaciones se encuentra por arriba del 50% de los estudiantes y esto revela que aún es necesario implementar esfuerzos remediales generalizados.

• Los resultados de las evaluaciones en las que los mismos estudiantes solucionaron evaluaciones en K’iche’ o Kaqchikel y español apoyan la idea de que la instrucción de la lectura en ambos idiomas incrementa la probabilidad de que los estudiantes efectivamente aprendan a leer. Esto refuerza la necesidad de implementar procedimientos de educación bilingüe y de educación transicional en el primer grado primaria. Con base a estos datos, esta conclusión no puede generalizarse a grados superiores, pero sí presenta fundamentos para sugerirlo en los grados durante los cuales se inicia el reforzamiento de la lectura emergente y la enseñanza de la lectura misma (pre-primaria y primer grado).

• Se encontró una importante relación con respecto a haberse alimentado antes de asistir a clase y el desempeño en el primer grado. Esto refuerza la conclusión de que es necesario fortalecer programas relacionados con la seguridad alimenticia en la escuela.


53

Para tomar en cuenta en el aula y las escuelas:

• La relación del rendimiento de los estudiantes en lectura y matemática fue significativa pero ligera. El logro del criterio en matemática (27.5%) se encontró por debajo del rendimiento en lectura (47.9%). Estos resultados apuntan a la necesidad de reforzar el área de matemáticas. El criterio en lectura tampoco es satisfactorio, pero la diferencia de logro con respecto a matemáticas es indicativa del poco equilibrio entre asignaturas. Una alternativa sería complementar los modelos pedagógicos en los cuales se integran ambos tipos de tareas, con instrucción directa en matemática.

• Tanto en la evaluación de la lectura como en la evaluación de la matemática se

encontró que existen dificultades cuando los ítems requieren de procesos de pensamiento más complejos. En lectura es necesario reforzar tareas en las cuales los estudiantes deban seguir instrucciones escritas y en las que se requiera que hagan inferencias con base a la información contenida en un texto. En matemática es necesario reforzar la utilización de la numeración Maya, la secuenciación de números con base a diferentes algoritmos, la operación de restas cuando son planteadas en operaciones escritas y la solución de problemas.

• Los resultados muestran una relación entre la alimentación de los estudiantes de primer grado antes de asistir a la escuela y su desempeño. Los docentes y directores pueden apoyar a los estudiantes dando seguimiento a los programas de refacción escolar, fomentando el apoyo de los padres en este sentido y asegurando que la alimentación proporcionada en la escuela sea nutritiva.

• Se encontró una relación entre el agrado expresado por los estudiantes hacia la escuela y su desempeño. Esto es reforzado por los resultados que muestran que a mayor percepción de riesgo y/o violencia, menor desempeño (relación negativa significativa en matemática utilizando datos de los estudiantes, relación negativa significativa en matemática utilizando los datos del docente). Sin embargo, también es posible hacer una interpretación alterna según la cual los estudiantes que experimentan éxito sentirán más agrado por la escuela. En ambos casos se refuerza la idea de que es necesario fomentar un ambiente escolar agradable hacia el cual el estudiante se sienta atraído y en el cual pueda experimentar éxito.

Para tomar en cuenta en futuras investigaciones y evaluaciones:

• Los resultados mostraron que varios de los departamentos cuyo rendimiento en lectura en español se encuentra por debajo del nivel del logro nacional no tienen una alta densidad de población indígena. Esto muestra una necesidad de explorar las variables que en estos casos se relacionan con el rendimiento.

• Los resultados de las evaluaciones en las que los mismos estudiantes solucionaron

evaluaciones en K’iche’ o Kaqchikel y español apoyan la idea de que la instrucción de la lectura en ambos idiomas incrementa la probabilidad de que los estudiantes efectivamente aprendan a leer. Esto refuerza la necesidad de implementar procedimientos de educación bilingüe y de educación transicional en el primer grado primaria y en la pre-primaria. Por otra parte, debido a que la investigación en este tópico se ha realizado tradicionalmente en grados superiores, es necesario prestar


54

mayor atención en el futuro a los procesos de aprendizaje de la lecto-escritura en español y con orientación bilingüe en el primer grado y en la pre-primaria.

• Se encontró una relación entre el desempeño de los estudiantes y haberse alimentado antes de llegar a la escuela. Por ello, es necesario fortalecer los programas de seguridad alimenticia en la escuela. Será importante investigar cuáles de estos programas reportan el mayor grado de efectividad en cuanto a lograr que los estudiantes mismos (el consumidor final) efectivamente reciban la alimentación, al menor costo para el sistema.

• Este estudio no reflejó una conclusión generalmente hecha con respecto a la participación de los padres de familia en la escuela. Es importante que se investigue en el futuro este factor más a fondo pues es probable que sea un fenómeno complejo y que diferentes aspectos de este afecten la relación que es posible encontrar.

• Se encontró una relación entre la presencia de agua entubada y electricidad con el desempeño de los estudiantes en lectura y matemática. Es importante explorar en el futuro hasta que punto esta relación se limita a reflejar el mayor rendimiento ante contextos de mayor bienestar económico en la comunidad y hasta que punto la presencia de estos elementos favorecen directamente al proceso de enseñanza y aprendizaje.

• No se encontró una relación entre la planificación de los docentes y el rendimiento. Este resultado debe ser analizado cuidadosamente pues esta evaluación no analizó la calidad de la planificación ni cuan afín es la instrucción a la planificación.

• Los resultados de la evaluación aplicada a estudiantes en los programas PAEBI, DIGEBI, PRONADE y CETT reveló que no en todos los casos estos programas han logrado homogeneizar a sus estudiantes con aquellos que asisten a escuelas similares que no son atendidas por el programa. Sin embargo, es importante tomar en cuenta que se selecciona a las escuelas que formarán parte de los programas porque cuentan con necesidades particulares. Así pues, es necesario que se establezcan lineamiento para que se de un seguimiento más cuidados del impacto que los programas tienen sobre las brechas en el rendimiento.


55

tabla de contenidos - ministerio de educación · 2005-02-18 · 1. introducción el ministerio de...

Documents