1

PROGRAMA DE DESARROLLO INFANTIL TEMPRANO DISEÑO DE EVALUACIÓN DE IMPACTO

• Julia Johannsen, Giselle Calvo, Juan Rueda, Carminia Andrade

Laura Maraboli, Pedro Naranjo • 19 Abril 2013

• Santiago de Chile

Teoría del Cambio Insumos Actividades Productos Resultados Impactos

2 Implementación (Oferta) Resultados (Oferta + Demanda)

Recursos Humanos, Financieros, otros movilizados para apoyar actividades

Acciones tomadas o trabajo realizado para convertir insumos en productos especificos

Bienes y servicios producidos y entregados bajo control del implementador

Uso de productos por parte de poblacion de interes

Objetivos finales del programa o metas de largo plazo

Recursos financieros y humanos

1.1. Refacción, capacitación, normativas y protocolos 1.2 Ampliación, capacitación, normativas y protocolos 2.1. Capacitación 2.2. Capacitación, normativas y protocolos

1.1. Centros Infantiles operando con calidad (espacio físico, currículo, recurso humano) [90 centros] 1.2. Salas de estimulación establecidas [60 salas, 30 equipos] 2.1 Personal de salud capacitado [700 profesionales capacitados] AEPINUT Clínico 2.2. Brigadas móviles operando[180 profesionales] 1.3. Convenios municipales

1.1. Calidad de atención(tasa cuidadores/niño; espacio, personal calificado, equipamiento), Cobertura, conocimiento y comportamiento en cuidadores 1.2. Cobertura: referencias a salas, tratamientos realizados 2.1. Conocimientos y practicas del personal medico 2.2. Cobertura (niños con estimulación); conocimiento y comportamiento de padres 1.3. Presupuestos asignados

NIÑOS 0 A 4 AÑOS •Mejoras en desarrollo cognitivo, socio-emocional y fisico de los niños entre 0 y 4 años. •Disminución de la incidencia de diagnósticos con rezago en niños. •Aumento de inscripción y rendimiento escolar. ADULTOS •Asignación de tiempos y participación laboral. HOGAR •Cambios de ingresos, gastos y conformación de presupuesto

Pregunta de Evaluación

• Mejorar en forma sostenible el acceso, calidad de atención y el desarrollo cognitivo, socioemocional y físico de niños y niñas bolivianos menores a 4 años mediante la implementación de un programa modelo de desarrollo infantil temprano.

3

Diseño de Evaluación

4

Diseño Experimental 1 2

3 4

Con

cien

tizac

ión

Sort

eo

Res

ulta

dos

Acu

erdo

s

5

Diseño de Evaluación: Asignación de Centros Infantiles por Sorteo N° CODIGO INE MUNICIPIO

Centros Infantiles

Elegibles Asignados

1 10101 SUCRE (Capital) 43 7 2 10201 AZURDUY 21 4 3 10701 CAMARGO 12 3 4 10902 CULPINA 20 4 5 10405 EL VILLAR 0 1 6 10703 INCAHUASI 17 3 7 10903 LAS CARRERAS 7 2 8 10401 PADILLA 10 2 9 10403 SOPACHUY 0 1

10 10702 SAN LUCAS 41 6 11 10202 TARVITA 42 6 12 10402 TOMINA 0 1 13 10901 VILLA ABECIA 0 1 14 10404 VILLA ALCALA 0 1 15 10704 VILLA CHARCAS 14 3 16 10801 VILLA SERRANO 5 2

TOTAL 232 47

N° CODIGO INE MUNICIPIO

Centros Infantiles

Elegibles Asignados 17 50501 POTOSI (Capital) 30 11 18 50802 ATOCHA 1 1 19 50202 CHAYANTA 8 2 20 50204 CHUQUIUTA 6 2 21 50901 COLCHA K 4 1 22 50401 COLQUECHACA 6 2 23 50203 LLALLAGUA 20 3 24 51401 LLICA 3 1 25 51002 MOJINETE 0 1 26 50404 OCURI 16 3 27 50403 POCOATA 10 2 28 50402 RAVELO 5 2 29 51601 SAN AGUSTIN 0 1

30 51003 SAN ANTONIO DE

ESMORUCO 5 2 31 51001 SAN PABLO DE LIPEZ 5 2

32 50902 SAN PEDRO DE QUEMES 0 1 33 51402 TAHUA 0 1 34 50801 TUPIZA 12 2 35 50201 UNCIA 2 1 36 51201 UYUNI 6 2

TOTAL 139 43

Departamento Chuquisaca

Departamento Potosí

Diseño de Evaluación: Aleatorización Exitosa - Balance de CCII

6

Descripción Media GT Media GC Diferencia sig-level N (T) N (C)

Población de niños/as de 0 a 24 meses 5.52 6.14 -0.61 21 123

[0.400] [0.411] [0.574]

Población de niños/as de 25 a 48 meses 13.00 12.99 0.01 28 150

[1.187] [0.623] [1.341]

Población de niños/as de más de 49 meses 5.620 5.500 0.110 21 123

[0.495] [0.359] [0.611]

Población total de Niños/as 35.74 25.77 9.97 39 180

[13.083] [1.760] [13.200]

Descripción Media GT Media GC Diferencia sig-level N (T) N (C) Población de niños/as de 0 a 24 meses 6.54 6.66 -0.12 37 97

[0.289] [0.265] [0.392] Población de niños/as de 25 a 48 meses 13.00 13.72 -0.72 38 100

[0.685] [0.416] [0.801] Población de niños/as de más de 49 meses 6.310 6.480 -0.170 36 96

[0.360] [0.257] [0.443] Población total de Niños/as 25.34 26.40 -1.06 38 100 [1.127] [0.816] [1.392]

Departamento Chuquisaca

Departamento Potosí

7

Diseño de Evaluación: Asignación de Brigadas Móviles por Sorteo

Departamento Chuquisaca

Departamento Potosí

N° CODIGO INE MUNICIPIO

Brigadas Moviles

# Brigadas

Comunidades Asignadas_ne

w Comunidades

control 1 10101 SUCRE (Capital) 2 10 22 2 10201 AZURDUY 2 10 17 3 10701 CAMARGO 1 5 16 4 10902 CULPINA 2 10 23 5 10405 EL VILLAR 1 5 4 6 10703 INCAHUASI 2 10 11 7 10903 LAS CARRERAS 1 4 0 8 10401 PADILLA 2 10 8 9 10403 SOPACHUY 1 5 7

10 10702 SAN LUCAS 3 15 57 11 10202 TARVITA 2 10 25 12 10402 TOMINA 1 5 13 13 10901 VILLA ABECIA 1 5 0 14 10404 VILLA ALCALA 1 5 2 15 10704 VILLA CHARCAS 2 10 15 16 10801 VILLA SERRANO 2 10 11

TOTAL 26 139 245

N° CODIGO INE MUNICIPIO

Brigadas Moviles

# Brigadas Comunidades

Asignadas_new Comunidades

control 17 50501 POTOSI (Capital) 2 10 14 18 50802 ATOCHA 1 5 2 19 50202 CHAYANTA 2 10 9 20 50204 CHUQUIUTA 1 5 6 21 50901 COLCHA K 1 5 10 22 50401 COLQUECHACA 3 15 30 23 50203 LLALLAGUA 2 10 3 24 51401 LLICA 1 5 0 25 51002 MOJINETE 1 1 0 26 50404 OCURI 2 10 15 27 50403 POCOATA 2 10 26 28 50402 RAVELO 2 10 31 29 51601 SAN AGUSTIN 1 3 0

30 51003 SAN ANTONIO DE

ESMORUCO 1 2 0

31 51001 SAN PABLO DE

LIPEZ 1 4 0

32 50902 SAN PEDRO DE

QUEMES 1 1 0 33 51402 TAHUA 1 3 0 34 50801 TUPIZA 2 10 18 35 50201 UNCIA 2 10 11 36 51201 UYUNI 1 5 7

TOTAL 30 134 182

Diseño de Evaluación

8

Intervenciones

T1: Salas de estimulación temprana en

establecimientos de salud

T2: Refacción de centros infantiles, equipamiento

y capacitación de personal e introducción

de estándares de calidad para el cuidado diario e

integral hasta los 4 años.

T3: Implementación de brigadas móviles para

actividades de DIT comunidades

Diseño de Evaluación: Salas de Estimulación Temprana (T1)

9

•Proyecto Piloto: 1 o 2 salas en Establecimiento de Salud en SUCRE. •Se priorizará EE.SS de mayor jerarquía. •Se concentrará en atender 2 dimensiones de desarrollo (cognitiva y motor fino / gruesa).

Requisitos operativos

•Enfoque de prueba clínica entre niños diagnosticados con rezagos en el desarrollo. •Desafío de asignar grupos de tratamiento y control a nivel de niño dentro de una o dos

salas seleccionada.

Enfoque de Evaluación

•Focalizar la evaluación en ciertas dimensiones de rezago (diagnosticados previamente según prevalencia).

•El control se considera por desfase, por motivos de ética se incluirá finalmente los niños. •Se hará un levantamiento piloto para identificar los niveles de rezagos más prevalentes, los

cuales serán el universo de la evaluación posteriormente.

Consideraciones

Diseño de Evaluación: Centros Infantiles (T2)

10

•90 Centros Infantiles (refacción + protocolo de servicio + capacitación de personal) •Elegibilidad de centros infantiles(Derecho propietario municipal, sin intervención de ONG) •Al menos 1 centro por municipio. •Mínimo de entrada de centros en el primer año: 50 centros infantiles

Requisitos operativos

•Potosí: 43 centros asignados en proporción al número de centros elegibles en el municipio •Chuquisaca: 47 centros asignados en proporción al numero de centros elegibles en el

municipio •Aleatorizar a orden de entrada de tratamiento dentro de cada estrato a los centros

elegibles

Selección aleatoria de centros infantiles elegibles:

Asignación de tratamiento y control

Diseño de Evaluación: Brigadas Móviles (T3)

11

•Evaluación de impacto se concentra en comunidades rurales •72 Brigadas para la intervención: Área Rural (56 Brigadas): 36 (1 por municipio) + 20 (criterio

poblacional de N de comunidades), Ciudades intermedias: 10 Brigadas, Capitales Departamentales: 6 Brigadas.

•Aproximadamente 1 comunidad por día asignadas a cada brigada para modelo comunidad; 2-3 comunidades por día para modelo mixto: reunión comunitaria + hogar

•1 Brigada sirve 5 comunidades. •Brigadas capacitadas en modelo comunitario y modelo mixto

Requisitos operativos

•Potosí: 43 centros asignados en proporción al número de centros elegibles en el municipio •Chuquisaca: 47 centros asignados en proporción al numero de centros elegibles en el municipio •Aleatorizar a orden de entrada de tratamiento dentro de cada estrato a los centros elegibles

Elegibilidad de comunidades:

Asignación de tratamiento y control:

12

Tamaño y composición de la muestra: Línea de Base 1

• Diagnóstico DIT en población objetivo: 0 a 4 años Propósito

• Niños de 0 a 4 para centros infantiles y brigadas

Subpoblación

• Encuesta de Hogar: 1980 hogares (15 hogares por UPM/comunidad) • Encuesta de Centro Infantil: 100 centros infantiles • Encuesta de Establecimiento de Salud: 20 establecimientos de salud

Línea de Base

•Correlación intra-cluster: 0.012 •Tamaño de efecto estandarizado: 0.2 •Significancia estadística: 0.05 •Potencia: 80% MED(Centros Infantiles):4.4pp MED(Brigradas): 3.0pp

Potencia estimada

•250 a 300 UPMs •2500 a 3000 hogares •100 centros infantiles •200 a 300 escuelas primarias

Encuesta de Seguimiento

13

Tamaño y composición de la muestra: Línea de Base 2

• Estimar impactos específicos de intervenciones DIT en población objetivo: 0 a 4 años Propósito

•Niños de 0 a 4 para salas de estimulación •Hogares con Niños de 0 a 4 centros infantiles y brigadas.

Subpoblación

•Centros infantiles: Datos de Panel de 1.000 niños (T 500; C 500), 10 niños por centro sobre una muestra de 50 centros intervenidos y 50 controles. •Comunidades: Encuesta de 2.000 niños (T3.1 50com; T3.2 50com; T3.3 50com; C3 50com) entrevistando 10 niños por comunidad

Línea de Base 2

•Correlación intra-cluster: •Tamaño de efecto estandarizado: •Significancia estadística: •Potencia:

Potencia estimada

•Centros infantiles: Datos de Panel de 1.000 niños •Comunidades: Encuesta de 2.000 niños (T3.1 50com; T3.2 50com; T3.3 50com; C3 50com) entrevistando 10 niños por comunidad Encuesta de Seguimiento

14

Instrumentos de Medición: DIT Instrumento de medición estándar a nivel

regional. Adaptación cultural al contexto indígena. Ítems con reporte de la madre e ítems

observacionales. Aplicable a niños entre 0 y 4 años. Posibilite estimación de prevalencia de rezagos a

nivel poblacional Sea un instrumento de diagnóstico para el estado

de desarrollo infantil del niño Escala Abreviada Nélson Ortiz ASQ (Ages & Stages Questionnaire) PRIDI (BID) Medidas Antropométricas Apoyos de Especialistas del BID y Consultores

Internacionales en DIT

15

Instrumentos de Medición: Cuestionarios

Cuestionario de Hogares: Módulos sociodemográficos, vivienda, educación, empleo, salud, etc. Módulos nutricionales cognitivos y socio-emocionales aplicados a madre/cuidadora y niño

(Talla por Edad, Peso para la Talla, ASQ, Nelson Ortiz).

Cuestionario de Centros Infantiles Módulos infraestructura, equipamiento, personal, indicadores de calidad del servicio

(procesos e interacciones) con formatos de rutinas observables de baño y alimentación, ITERS.

Módulos nutricionales cognitivos y socio-emocionales aplicados a los niños (Talla por Edad, Peso para la Talla, ASQ, Nelson Ortiz).

Cuestionario de Establecimientos de Salud

Módulos infraestructura, equipamiento, personal (nivel de educación y conocimiento).

16

Perfil del Encuestador Se desea que sean personas con formación (o en proceso) humanística o salud pues involucra antropometría y aplicación de pruebas, de preferencia: -Enfermeras -Auxiliares de Enfermería -Egresados de psico-pedagogía - Practicantes, entre otros.

17

Plan de Trabajo en Campo Implementación de 6 brigadas encuestadoras, conformadas por: 1 supervisor 3 encuestadores 1 digitador 1 chofer

Arribo y listado de hogares

Sorteo de hogares elegibles

Encuestas Digitación Re-Visita Cierre

Presupuesto

18

Línea de Base: $400 000 Costo unitario aproximado por hogar: $150 Supervisión (Comprende: Programa de entrada, Muestreo, Manuales, Pilotaje, Supervisión de campo): $60 000 Diseño de cuestionario: $40 000 Trabajo de campo: $300 000 Encuesta de Seguimiento: $320 000 Supervisión (Comprende: Programa de entrada, Muestreo, Manuales, Pilotaje, Supervisión de campo): $60 000 Diseño de cuestionario: $20 000 Trabajo de campo: $240 000 Evaluación de procesos: $100 000

19

Cronograma de Actividades Programa Desarrollo Infantil Temprano Octubre-Diciembre 2013: comienzan obras en campo Ciclo 2014: Inicio intervenciones operativas

Línea de Base Febrero 2013: Apertura licitación de firmas p/ línea de base y aseguramiento de calidad Marzo 2013: Contrataciones, negociación, ajustes de instrumentos Abril 2013: Muestreo, Prueba Piloto, Capacitaciones Mayo 2013: Inicio de Campo Octubre 2013: Finalización de Campo Noviembre 2013: Informe de Línea de Base Línea Base 2: Contingente a disponibilidad de recursos se podría realizar una segunda línea de base a finales de 2013

antes de comenzar las operaciones. Encuesta de Seguimiento

20

Equipo Evaluación de Impacto

Ministerio de Salud y Deportes, Unidad de Desarrollo Infantil Temprano (UDIT) Banco Interamericano de Desarrollo, Divisiones Protección Social y Efectividad en el

Desarrollo Consultorías: Especialista en Mediciones DIT Especialista en Muestro Firma de Encuestas para recolección de datos Especialista en Aseguramiento de Calidad en Encuestas

21

PROGRAMA DE DESARROLLO INFANTIL TEMPRANO DISEÑO DE EVALUACIÓN DE IMPACTO

• Julia Johannsen, Giselle Calvo, Juan Rueda, Carminia Andrade

Laura Maraboli, Pedro Naranjo • 19 Abril 2013

• Santiago de Chile