Informe de Evaluación del Programa delFondo Español para la Evaluación de Impacto (SIEF)

Informe final 1

2 de Junio de 2012

1 Este informe fue preparado por Osvaldo Nestor Feinstein, consultor independiente. Carlos Asenjo Ruiz otorgó contribuciones y respaldo muy importante. Laura Rawlings, Adam Ross, Paloma Acevedo y Carlos Asenjo Ruiz brindaron comentarios muy útiles para una versión anterior. Se agradece también a las personas entrevistadas por su tiempo y sus percepciones (mencionados en el Anexo II). Los puntos de vista expresados en este informe son los del autor y no representan los puntos de vista del Banco Mundial o del Gobierno de España.

0

ABREVIATURAS Y ACRÓNIMOS

BNPP Programa de Asociación Banco-Países Bajos TMC Transferencias Monetarias CondicionadasCAD Comité de Ayuda al DesarrolloDEC Vicepresidencia de Desarrollo Económico del Banco Mundial DIME Iniciativa para la Evaluación de Impacto en DesarrolloDFID Departamento para el Desarrollo Internacional DPI Desarrollo en la Primera InfanciaE2P Documentos de política pública basadas en Evidencias AF Año FiscalGdE Gobierno de EspañaDH Desarrollo HumanoHDN Red de Desarrollo Humano del Banco MundialHDNCE Oficina del Economista Jefe para el Desarrollo HumanoHDNSP Unidad de Protección Social de la Red de Desarrollo Humano HRITF Fondo Fiduciario para la Innovación en los Resultados de SaludBID Banco Interamericano de DesarrolloICM Memorando de Término de la ImplementaciónEI Evaluación de ImpactoIEG Grupo de Evaluación IndependienteMAEC Ministerio de Asuntos Exteriores y CooperaciónBDM Bancos de Desarrollo Multilaterales MEH Ministerio de Economía y HaciendaGpRD Gestión para Resultados de DesarrolloM&E Monitoreo y EvaluaciónAOD Asistencia Oficial para el DesarrolloR ResultadoCD Comité DirectivoSIEF Fondo Español para la Evaluación de Impacto 3ie Iniciativa Internacional para la Evaluación de ImpactoFF Fondo FiduciarioTDR Términos de ReferenciaLET Líderes del Equipo de TareasVP Vicepresidencia BM Banco Mundial

1

Índice de Contenidos

Resumen ejecutivo

1. Introducción

2. Diseño

3. Procesos

4. Resultados

5. Conclusiones y recomendaciones

Anexos

I Términos de referencia

II Lista de personas entrevistadas

III Lista de evaluaciones de impacto financiadas por SIEF y sus productos (Archivo Excel adjunto)

IV Matriz de estrategia basada en resultados de SIEF (archivo Excel adjunto)

V Cuestionario de los LET

VI Preguntas para las reuniones en España

VI Indicadores de desempeño clave y resumen financiero

2

Resumen ejecutivo

El informe de evaluación del SIEF busca ser un insumo para la posible continuidad y/o escalamiento de este programa, o para programas similares; para el informe del Memorando de Término de la Implementación (Implementation Completion Memorandum, ICM); y con el propósito de llevar un registro. La meta del informe es examinar hasta qué punto el SIEF ha logrado sus objetivos estratégicos. Además, este informe se atiene a lo establecido en el Acuerdo Administrativo celebrado en julio de 2007 por el Gobierno de España y el Banco Mundial (fundadores del programa del SIEF): “Dentro de los seis meses siguientes a la fecha del desembolso final especificada en el párrafo 10.1, el Banco deberá proporcionar al donante un informe final de las actividades del proyecto".

La metodología

La metodología utilizada en este informe consiste en una combinación de diferentes enfoques: evaluaciones “de escritorio” de la documentación del SIEF; entrevistas a informantes clave; una encuesta a los líderes del equipo de tareas (LET), que se incluye en el anexo V, de la cual se obtuvo un tasa de respuesta de un 75%; una revisión a la literatura de evaluación de impacto; y una visita a terreno en Argentina. Además, se utilizaron criterios de evaluación generalmente aceptados. Por último, un conjunto de preguntas de evaluación, que se incluye en los Términos de Referencia (TDR), sirvieron como pauta para diseñar el cuestionario y preparar este informe. Cabe señalar que este informe no pretende evaluar el impacto del SIEF. Sin embargo, se hará referencia a evidencias de la influencia del SIEF en políticas públicas.

El diseño

El fondo SIEF se creó en julio de 2007 como resultado de las negociaciones entre el Gobierno de España (Ministerio de Asuntos Exteriores y de Cooperación y Ministerio de Economía y Hacienda) y el Banco Mundial (Red de Desarrollo Humano). En esa época el Gobierno de España (GdE) tenía un superávit presupuestario de aproximadamente 2% del PIB y debía cumplir el compromiso de aumentar la AOD al objetivo de 0,7% del Ingreso Nacional Bruto estipulado por la ONU. Además, el Gobierno de España (GdE) estaba interesado en promover la evaluación de impacto tanto en los países en desarrollo como en su propio porfolio de colaboración internacional (en especial en el área del desarrollo humano) y consideró al Banco Mundial como líder en este terreno. Asimismo, el GdE estaba interesado en contribuir con la generación de evidencia rigurosa de las actuaciones en el área de desarrollo humano como un bien público global.

Para el 2005, en el Banco Mundial (como en otras agencias de desarrollo) se intensificó el interés por la evaluación de impacto, lo que respondía a las exigencias de evidencia creíble en los resultados de intervenciones en desarrollo. Por lo tanto, en julio de 2007, el Banco Mundial y el GdE fundaron el Fondo Fiduciario para la Evaluación de Impacto y la Gestión basada en Resultados en los Sectores de Desarrollo Humano o Fondo Español para la Evaluación de Impacto (SIEF). El fin de SIEF es apoyar la Evaluación de Impacto (EI) de programas

3

innovadores para mejorar los resultados del Desarrollo Humano (DH). Su fin ulterior es que las políticas de desarrollo sean más eficaces, gracias al incremento de la base de evidencias que de cuenta del impacto de acciones que influyen en el DH.

El GdE otorgó una donación de EUR 10,4 millones al SIEF, que el Banco recibió en un solo monto en octubre de 2007 (USD 14,9 millones, de acuerdo al tipo de cambio en esa época). El monto del aporte se decidió en base a un número de evaluaciones de impacto2. Además, el GdE financió la contratación de dos profesionales por medio del Programa de Financiación Externa para Personal Funcionario para que trabajaran en el Banco Mundial en actividades relacionadas con el SIEF. El aporte del GdE luego fue complementado con un desembolso adicional de USD 2,1 millones (equivalente a GBP 1,5 millones en ese momento) entregado por el DFID, que partió en marzo de 2008 con un monto de USD 500.000. El SIEF es el fondo para evaluación de impacto más grande jamás creado en el Banco Mundial (en realidad, para cualquier tipo de evaluación). El periodo inicial operación del fondo era desde julio de 2007 hasta julio de 2010 y finalmente se extendió hasta junio de 2012.

Las metas estratégicas del SIEF fueron las siguientes: desarrollar capacidades para entender y utilizar las técnicas de evaluación de impacto; respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionadas para mejorar los resultados de Desarrollo Humano (DH); difundir los hallazgos del SIEF y ampliar el acceso a los conocimientos del impacto de los programas de desarrollo humano; utilizar el SIEF como una plataforma para fomentar la gestión de resultados para el desarrollo. Además, en el Anexo 1 del Acuerdo de Administración para el Fondo Fiduciario también se incluyó el fortalecimiento de la capacidad del donante (como parte del objetivo de desarrollar la capacidad para la planificación, la gestión y la evaluación de programas de desarrollo).

Los procesos

El programa SIEF ha sido gestionado por la Oficina del Economista Jefe para el Desarrollo Humano del Banco Mundial. Los recursos del SIEF respaldaron: (i) Programas de evaluación de impacto prospectivas y rigurosas en 11 sectores elegibles de Desarrollo Humano y Desarrollo Sostenible, y a 72 países en desarrollo elegibles de todas las regiones; (ii) Programas intensivos de capacitación sobre los métodos de evaluación de impacto para las contrapartes de gobierno, el personal del Banco y el personal de las agencias de desarrollo; y (iii) La publicación y difusión de los resultados de evaluación por medio de artículos, estudios de meta-análisis y materiales informáticos.

En julio de 2007, el SIEF ya había anunciado la primera convocatoria de propuestas para clústeres (áreas temáticas) de Evaluación de Impacto existentes de DH, con la intención de identificar estudios "Quick Win" (recompensa inmediata) de EI, " con el objetivo de garantizar un comienzo rápido y visible del SIEF y para cerciorarse de que los recursos españoles produzcan resultados tangibles lo antes posible." A estas propuestas se les llamó "quick wins", ya que se esperaba que capitalizaran el trabajo en temas de Desarrollo Humano que ya se estaba llevando a cabo. Para tal fin, se buscaron propuestas de evaluaciones de impacto de alta calidad y prospectivas que necesitaran fondos inmediatos. Las propuestas escogidas se presentaron al

2 El Anexo I del Contrato de Administración del Fondo Fiduciario se indica que cada año el Fondo Fiduciario respaldará al menos 5 evaluaciones de impacto rigurosas (con una meta de 15 evaluaciones en el periodo de 3 años).

4

Comité Directivo del SIEF. Las "quick wins" permitieron al SIEF contribuir con evaluaciones de alta calidad en el corto plazo, aunque no otorgó visibilidad al SIEF en esta primera fase. Por otra parte, esta asignación de fondos a las "Quick Wins" (aproximadamente 6% de los recursos del SIEF) permitió que los equipos consiguieran apalancar recursos de otras fuentes de financiamiento. En los años posteriores, se asignó la mayoría de los recursos del SIEF a nuevos clústeres de EI.

Si se consideran las actividades por sus categorías básicas, la tabla 3 muestra que el 69% de los recursos fueron destinados a la investigación de la evaluación de impacto y que la gestión del programa necesitó menos del 5% de los recursos.

La convocatoria de propuestas exigía una especificación rigurosa y correcta, y la técnica más utilizada por el SIEF en las EI fueron los diseños aleatorios (según el 74% de las respuestas de la encuesta de los LET). El resto de las EI financiadas por el SIEF utilizó la metodología de regresión discontinua, “matching propensity score” y otros enfoques cuasi experimentales u observacionales.

Como mecanismo de control de calidad, se creó un proceso de revisión entre pares de las propuestas que serían financiadas por SIEF. Este proceso integró un equilibrio entre rigor (con una revisión interna y externa) y flexibilidad.

La rotación de personas involucradas en los niveles operacionales y de liderazgo de la cooperación internacional del GdE y la escasez de personal en la unidad de evaluación del MAEC (véase la revisión realizada por expertos del CAD en España en 2011) que debía cumplir una función crucial para el donante, limitaron la participación activa de España en el seguimiento del SIEF. El instrumento de monitoreo clave del SIEF consiste en una hoja de cálculo dinámica, que cuenta con una herramienta de monitoreo en tiempo real. Este instrumento permitió una gestión activa de los recursos del SIEF, dando paso a una transferencia de fondos oportuna para las actividades del SIEF. Además, la hoja de cálculo se utilizó como una fuente de información base para los informes anuales y semestrales. Estos instrumentos fueron útiles en la toma de decisiones acerca de la asignación y reasignaciones de fondos, lo que facilitó la implementación del programa.

Los resultados

Una característica fundamental del SIEF es que los líderes del equipo de tareas apalancaron recursos para el fondo de otras fuentes de financiamiento. En algunos casos se trató de los aportes de colaboradores locales (p. ej., en el caso de una TMC en Indonesia, los recursos nacionales proporcionaron USD 2,8 millones, de los cuales SIEF contribuyó USD 300.000); pero también se apalancaron otras fuentes de financiamiento, tales como la Iniciativa Internacional para la Evaluación de Impacto (3ie) en el caso de la EI al proyecto anti-malaria en Kenia.

Notas para políticas públicas: “Evidencias para Mejores Políticas (E2P)": El SIEF ha respaldado la elaboración de este conjunto de documentos, con el fin de divulgar los resultados de EI en el área de Desarrollo Humano. La primera nota de E2P fue publicada en septiembre de 2010 y para febrero de 2012 se habían producido 11 notas de E2P.

5

Libros: Los resultados de la evaluación de impacto han sido publicados en los siguientes libros “Transferencias Monetarias Condicionadas: Reduciendo la pobreza actual y futura” (SIEF brindó apoyo para su traducción al español), "Making Schools Work: New Evidence on Accountability Reforms" [Como lograr que las escuelas funcionen: Nuevas evidencias de reformas de rendición de cuentas] y “No small matter: The Impact of Poverty, Shocks, and Human Capital Investments in Early Childhood Development” [No es un asunto sin importancia: el impacto de la pobreza, los shocks y las inversiones en capital humano en el desarrollo de la infancia temprana]. Además, se elaboró un manual de capacitación para la evaluación de impacto titulado “La evaluación de impacto en la práctica", que está disponible en inglés, español y francés.

Otras publicaciones: además de los apuntes y libros en materia de políticas, los equipos de evaluación de impacto apoyados por SIEF han elaborado 25 documentos y artículos de investigación.

Presentaciones: SIEF ha apoyado más de 47 presentaciones en conferencias internacionales y otros foros de discusión como una forma de compartir y divulgar el conocimiento.

Cobertura mediática: asimismo, como se menciona en la nota al pie de la tabla 1, algunas publicaciones prestigiosas e influyentes, como las revistas The Lancet, The Economist, Journal of Economic Literature, y periódicos como The Financial Times y The Wall Street Journal han mencionado los resultados producidos con los fondos del SIEF.

Bases de datos: Las evaluaciones de impacto del SIEF han generado datos útiles no solo para la evaluación, sino también para el diseño de nuevas intervenciones. Además, los bases de datos se han incorporado al catálogo de micro datos del Banco Mundial para facilitar su documentación y acceso.

La capacitación de la evaluación de impacto. El objetivo de los talleres de "Turning Promises to Evidence" [Transformar las promesas en evidencias], que son el principal medio por el cual SIEF capacita en evaluación de impacto, ha sido el de proporcionar a los participantes una visión general de la evaluación de impacto. Estos talleres son cursos regionales de una semana de duración que se enfocan en el diseño, implementación y gestión de las evaluaciones de impacto, hechos a medida para equipos de trabajo gubernamentales colaboradores en los países clientes, personal del Banco Mundial y personal de las agencias de desarrollo asociadas. La meta principal de estos talleres ha sido incrementar la eficacia de los programas de desarrollo humano por medio del desarrollo de capacidades en la evaluación de impacto y de la gestión basada en resultados en los países clientes y agencias asociadas. Desde enero de 2008, SIEF ha brindado apoyo a 17 talleres de este tipo con un aporte de USD 1.500.000. Los talleres se llevaron a cabo en todas las regiones del mundo en desarrollo y también tuvieron el patrocinio del Departamento para el Desarrollo Internacional del Reino Unido, el que donó USD 475.000 y el Programa de Asociación Banco-Países Bajos (BNPP). Se han capacitado a 2.406 participantes, lo que corresponde a 251 equipos de proyecto, de los países clientes y agencias asociadas en las técnicas de evaluación de impacto.3 En promedio,

3 El indicador meta para los participantes capacitados con EI, y el número de talleres regionales en la matriz GpRD de SIEF eran, respectivamente, 1893 y 12 (comparados con los actuales que suman 2406 y 17).

6

en cada taller participaron personas de 9 países. Los resultados del estudio de seguimiento sugieren que el programa de capacitación "Turning Promises to Evidence" [Transformar las promesas en evidencia] ha logrado desarrollar con eficacia las habilidades de evaluación de impacto en los países clientes, y ha logrado promover comunidades de práctica entre profesionales y expertos en evaluación de impacto y en desarrollo humano.

En la siguiente tabla se resumen los resultados obtenidos por el SIEF:

Tipos de productos NúmeroEstudios de evaluación de impacto 52Notas de concepto 47Encuestas de línea de base 10Informes de EI (sin publicar) 12Artículos o documentos de EI (publicaciones)

25

Libros (o capítulos de libros) 4Talleres regionales 17Participantes de los talleres regionales

2.406

Ejemplos del uso de EI respaldadas por el SIEF y de su influencia en las políticas públicas

En la última sección del capítulo 4 se incluyen varios ejemplos del uso de la EI respaldada por el SIEF y especialmente de su influencia en las políticas públicas, ya que son indicadores de sus resultados esperados.

Conclusiones y recomendaciones

El Fondo Español para la Evaluación de Impacto hizo una contribución importante al desarrollo de evidencias fiables sobre el impacto de las intervenciones de desarrollo humano en diferentes áreas temáticas, tales como las reformas de la contratación y pago por desempeño en la salud, las transferencias monetarias condicionadas, el control de la malaria, los programas activos de mercados de trabajo y de oportunidades laborales para jóvenes, la rendición de cuentas en educación básica, la prevención del VIH/SIDA y el desarrollo de la infancia temprana. Además, el SIEF contribuyó de manera significativa al desarrollo y consolidación de la práctica de la evaluación de impacto en el Banco Mundial y en países en desarrollo. A pesar de que estas actividades se llevaron a cabo en el contexto de países en desarrollo y en transición, también es posible que sean de interés para España. Además de ser interesante para sus programas y proyectos de cooperación internacional, para España el SIEF puede ser una fuente de información útil para el diseño de su políticas nacionales (por ejemplo, los resultados de los programas de capacitación laboral y oportunidades laborales para jóvenes4) y para fortalecer su capacidad de evaluación. Por otro lado, el SIEF ha tenido una menor participación en las revisiones sistemáticas de la evidencia generada por las evaluaciones de impacto, con excepción de una serie de libros y la organización de conferencias de clúster.

4 Un ejemplo de un producto generado por SIEF que podría ser útil para España según lo que se indica en este párrafo es http://siteresources.worldbank.org/EXTHDOFFICE/resources/5485726-1239047988859/5995659-1239048041095/cf4_zMisc_ALM_SummaryNotes_SIEF-IE-on-ALMP_Jan5_PA_110121.pdf

7

Se creó un proceso de revisión de propuestas entre pares, llevada a cabo por expertos y financiado por SIEF, como mecanismo de control de calidad. Este proceso se llevó a cabo con un equilibrio entre el rigor y la flexibilidad, con un énfasis en la transparencia.

El SIEF logró mejorar aún más sus recursos gracias al trabajo conjunto con otras fuentes de financiamiento. Sin embargo, la combinación de estos fondos vuelve prácticamente imposible distinguir la contribución del SIEF de la de otros donantes.

El modelo clúster del SIEF ha demostrado ser un enfoque útil y replicable5. La asignación de recursos a los clústeres temáticos de EI, en lugar de asignarlos a EI individuales, ha facilitado la consolidación de las comunidades de prácticas de EI. El SIEF contribuyó al fortalecimiento de las comunidades que practican la EI en diferentes áreas de DH, por medio de capacitaciones en el lugar de trabajo, talleres de capacitación y acciones de divulgación. Este fortalecimiento ha sido mayor en algunos clústeres, tales como en las reformas de la contratación y pago por desempeño en la salud y en el de mercados activos de trabajo y oportunidades laborales para jóvenes. Además, en menor medida hubo acciones de difusión del conocimiento entre clústeres, principalmente en los talleres regionales de EI y las reuniones realizadas cada seis meses (en un principio trimestrales), organizadas por el equipo de gestión del programa SIEF.

El enfoque en la capacitación introdujo un formato innovador en doble vía, que coincide con las diferentes demandas de los responsables de la elaboración de políticas, los gerentes de evaluación y los especialistas en evaluación. Este enfoque fortalece tanto la demanda como la oferta de evaluación de impacto a nivel de país, y también la Red de Desarrollo Humano del Banco Mundial, donde tuvo una función catalizadora. Por otro lado, el SIEF no ha sido exitoso en fortalecer las habilidades de evaluación del donante español (que fue uno de los objetivos incluidos en el acuerdo cuando se estableció el SIEF), a excepción del taller de evaluación de impacto realizado en Madrid y las asesorías técnicas proporcionadas a equipos de proyectos financiados por la cooperación española que estaban interesados en llevar a cabo evaluaciones de impacto. El libro "La evaluación de Impacto en la Práctica" elaborado por SIEF y traducido al español y al francés, es un recurso muy valioso que puede ser utilizado en el desarrollo de la habilidad de evaluación de impacto en los países en desarrollo, en el Banco Mundial y en España.

Si se aplica una escala de seis puntos para los resultados (muy satisfactorio, medianamente satisfactorio, medianamente insatisfactorio, insatisfactorio y muy insatisfactorio) a la implementación de las cuatro metas del SIEF, combinando evidencias de diferentes fuentes (encuesta a los LET, revisión de documentación y el sitio web, entrevistas), las calificaciones son las siguientes (en el capítulo 4 se encontrarán calificaciones para cada resultado acordado que corresponde a cada una de las metas diferentes y los argumentos y evidencia tras las calificaciones): Objetivo 1. desarrollar capacidades para mejorar la comprensión y el uso de técnicas de Evaluación de Impacto (EI) Muy Satisfactorio; Objetivo 2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los

5 El enfoque de clúster para la evaluación de subvenciones fue introducido por Kellogg Foundation [Fundación Kelloggs] en la década de 1990, especialmente para pequeñas subvenciones. Algunas lecciones aprendidas de esta experiencia podrían ser útiles en SIEF II. Véase http://www.hfrp.org/evaluation/the-evaluation-exchange/issue-archive/evaluation-in-the-21st-century/cluster-evaluation http://www.wkkf.org/knowledge-center/resources/2010/W-K-Kellogg-Foundation-Evaluation-Handbook.aspx

8

resultados de Desarrollo Humano (DH): Muy satisfactorio; Objetivo 3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento sobre el impacto de los programas de DH, Satisfactorio; y Objetivo 4. Utilizar el SIEF como plataforma para promover la Gestión para resultados de desarrollo (GpRD), Satisfactorio.

Un indicio del éxito del SIEF es que, al aproximarse su fin, se estableció en el Banco Mundial un nuevo fondo fiduciario Multidonante para evaluaciones de impacto, con un aporte inicial del Departamento para el Desarrollo Internacional del gobierno Británico (una fuente secundaria de fondos del SIEF I) de un monto que triplica el financiamiento del SIEF. Además, es interesante que el nuevo fondo mantiene el acrónimo SIEF en inglés (en el cual la "S" ahora significa "Strategic" [estratégico]), lo que es un reconocimiento a la calidad de las operaciones y visibilidad logradas por el Fondo Español para la Evaluación de Impacto. Como se mencionó en la presentación del nuevo SIEF: "se construirá sobre la base del conocimiento e investigación generados por el Fondo Fiduciario para la Evaluación de Impacto".

Recomendaciones

Una nueva fase del SIEF podría centrarse en las revisiones sistemáticas de resultados de EI, al tiempo que se combina la evidencia generada por las EI financiadas por el SIEF con la evidencia de otras EI o estudios. Este cambio permitiría ir más allá de "lo que funciona" (una frase utilizada con frecuencia en las publicaciones del SIEF) para llegar a "lo que funciona, en qué circunstancias y por qué". De esta manera, se estaría fortaleciendo la validez externa y la utilidad de los hallazgos de las EI. Todavía existe un gran porcentaje de EI financiadas por el SIEF que se encuentran en proceso de entrega de resultados finales. A medida que se obtengan tales resultados, será necesario y conveniente llevar acabo revisiones sistemáticas de los resultados de la EI.

Mientras más las evaluaciones de impacto estén diseñadas e implementadas para el mismo tipo de intervenciones en diferentes contextos, mayor será la posibilidad de sacar conclusiones en relación a la validez externa (o generalización) de los resultados de la evaluación de impacto.

Valdría la pena también brindar apoyo a evaluaciones innovadoras (que se distinguen de las evaluaciones de intervenciones innovadoras), tales como, por ejemplo, "los procesos selectivos."

Con el fin de aumentar la flexibilidad de un fondo de evaluación de impacto, valdría la pena complementar las convocatorias de propuestas periódicas con una ventana que se mantenga siempre abierta para aportar pequeñas contribuciones al diseño de las evaluaciones (una especie de capital semilla), lo que podría facilitar la finalización del diseño de propuestas de EI esbozado en los talleres de EI.

En un nuevo fondo, sería conveniente promover una competencia más amplia para estos fondos, para así facilitar que personal que no sea del Banco pueda participar con más facilidad en los equipos seleccionados en la convocatoria de propuestas. Esto podría complementarse con la participación de académicos y responsables de las políticas de desarrollo, que no son del Banco, como asesores externos del comité técnico, y de esta forma garantizar una percepción de total transparencia y atraer a una fuente de conocimientos más amplia.

Compartir la experiencia y el conocimiento adquirido en los clústeres temáticos a durante las reuniones periódicas, o durante los foros, podría contribuir favorablemente al desarrollo de una

9

comunidad de practicas en evaluación de impacto, al tiempo que se avanzaría en el aprovechamiento de economías de escala. Un medio adicional para compartir el conocimiento sería un sitio web adecuado (como se indica en la siguiente recomendación).

Uno de los principales medios para compartir el conocimiento generado por el programa debería ser la creación y mantenimiento de un sitio web actualizado, completo y apto para todo usuario que contiene información del programa sobre evaluaciones de impacto y los resultados obtenidos. Con el fin de garantizar que el sitio web cumpla esta función, valdría la pena llevar a cabo revisiones periódicas del sitio y asignar adecuadamente los recursos para su diseño, mantenimiento y revisión. Asimismo, sería conveniente estudiar la posibilidad de crear un sitio web independiente (por ejemplo, www.sief.org), que no estuviera sujeto a las limitaciones derivadas por pertenecer al sitio del Banco Mundial (www.worldbank.org), pues se trata de un programa de asociación financiado por un donante. El sitio web del programa podría tener una intranet para supervisar el programa de manera interna y para que sea más fácil compartir la información acerca de los procesos que se deben seguir y los productos intermediarios.

Durante la implementación de evaluaciones de impacto, un enfoque proactivo frente a la divulgación podría incluir un conjunto de actividades (tales como videos y fotografías) que, con un costo marginal muy bajo, podrían mejorar significativamente la calidad de la divulgación y al mismo tiempo quedar como material de capacitación.

En relación al desarrollo de la capacidad para la evaluación de impacto, valdría la pena complementar los exitosos talleres de capacitación de evaluación de impacto diseñados e implementados por el SIEF, con el apoyo al desarrollo de capacidades institucionales para la evaluación de impacto independiente a nivel nacional.

Finalmente, valdría la pena promover un mayor compromiso con las comunidades de evaluación ajenas al Banco Mundial, tales como la Asociación Americana de Evaluación, la Sociedad Europea de Evaluación, la Asociación Internacional de Evaluación del Desarrollo, el Grupo de evaluación de las Naciones Unidas y los Grupos de Evaluación y Cooperación de los BDM. Se podrían divulgar las revisiones sistemáticas y de EI a estos y se podrían hacer presentaciones en sus conferencias o reuniones para obtener su retroalimentación.

10

1. Introducción

Propósito de la evaluación

El informe final del SIEF tiene como objetivo ser un aporte para una posible continuación o perfeccionamiento para el presente programa y para otros similares; para el Memorando de Término de la Implementación (ICM); y con fines de registro y documentación.

La meta del informe es examinar hasta qué punto el SIEF ha logrado sus objetivos. Además, este informe se atiene a lo establecido en el Acuerdo Administrativo celebrado en julio de 2007 por el Gobierno de España y el Banco Mundial (fundadores del programa del SIEF): “Dentro de los seis meses siguientes a la fecha del desembolso final especificada en el párrafo 10.1, el Banco deberá proporcionar al donante un informe final de las actividades del proyecto".

La metodología

La metodología utilizada en este informe es una combinación de diferentes enfoques: un estudio preliminar de la documentación del SIEF; entrevistas a informantes claves; una encuesta a los Líderes del Equipo de Tareas (LET), que se incluye como el anexo V y que obtuvo un tasa de respuesta del 75%; una revisión de la literatura de la evaluación de impacto; y una visita a terreno en Argentina. Además, se utilizaron criterios de evaluación generalmente aceptados. Por último, un conjunto de preguntas de evaluación, que se incluye en los TDR (véase anexo 1), sirvieron como pauta para diseñar el cuestionario y preparar este informe.

Cabe señalar que este informe no pretende evaluar el impacto del SIEF.6 Sin embargo, se señalarán evidencias de la influencia de las políticas de desarrollo del SIEF.

2. El diseño

El fondo SIEF se creó en julio de 2007 como resultado de las negociaciones entre el Gobierno de España (Ministerio de Asuntos Exteriores y Cooperación y Ministerio de Economía y Hacienda) y el Banco Mundial (Red de Desarrollo Humano). En esa época el Gobierno de España (GdE) tenía un superávit presupuestario de aproximadamente 2% del PIB y debía cumplir el compromiso de aumentar la AOD al objetivo de 0,7% del Ingreso Nacional Bruto estipulado por la ONU. Además, el GdE estaba interesado en promover la evaluación de impacto tanto en el mundo en desarrollo como en su propia agenda de ayuda (en especial en el área de desarrollo humano) y consideró al Banco Mundial como líder en este terreno. Asimismo, el GdE estaba interesado en contribuir con la producción de evidencia rigurosa de las actuaciones en el área de desarrollo humano como un bien público mundial.

Para el 2005, en el Banco Mundial (como en otras agencias de desarrollo) se intensificó el interés por la evaluación de impacto, lo que respondía a las exigencias de evidencia rigurosa en los

6 Para información sobre las dificultades al llevar a cabo una evaluación de impacto véasehttp://siteresources.worldbank.org/INTISPMA/Resources/383704-1146752240884/Doing_ie_series_14.pdf and for the more general issue of evaluating the use of evaluations, see Feinstein, O.N. (2002) “Use of evaluations and the evaluation of their use” [Uso de evaluaciones y la evaluación de su uso].

11

resultados de las actuaciones de desarrollo. Así, en el 2006, se establecieron las evaluaciones de impacto como "una nueva línea de productos”. 7

Por lo tanto, en julio de 2007, el Banco Mundial y el GdE fundaron el Fondo Fiduciario para la Evaluación de Impacto y la Gestión basada en Resultados en los Sectores de Desarrollo Humano o Fondo Español para la Evaluación de Impacto (SIEF). El fin de SIEF es apoyar la Evaluación de Impacto (EI) de programas innovadores para mejorar los resultados del Desarrollo Humano (DH). Su fin ulterior es que las políticas de desarrollo sean más eficaces, gracias al incremento de la base de evidencias que de cuenta del impacto de las acciones que influyen en el DH. El siguiente diagrama describe brevemente la "teoría del cambio" adoptada por el SIEF

Diagrama 1: "Teoría del cambio “de SIEF

RECURSOS DEL SIEF

ACTIVIDADES RESULTADOS

EvaluacionesConocimiento Mejora

DesarrolloEficacia

Talleres

Divulgación Capacidades

El GdE otorgó un subsidio de EUR 10,4 millones al SIEF, que el Banco recibió en un solo monto en octubre de 2007 (USD 14,9 millones, de acuerdo al tipo de cambio en esa época). El monto del subsidio se decidió de acuerdo con varias evaluaciones de impacto. Asimismo, el GdE financió a dos profesionales a través del Programa de Financiamiento Externo de Personal para trabajar en el Banco Mundial a tiempo completo en actividades relacionadas con el SIEF.

El aporte del GdE luego fue complementado con un subsidio adicional de USD 2.1 millones (equivalente a GBP 1,5 millones en ese momento) entregado por el DFID, que partió en marzo de 2008 con un monto de USD 500.000. SIEF se ha convertido en el fondo más grande que jamás se haya establecido en el Banco Mundial, destinado para la evaluación de impacto (y para cualquier tipo de evaluación).8 El periodo inicial del subsidio era desde julio de 2007 hasta julio de 2010 y se extendió hasta junio de 2012.

Las metas estratégicas del SIEF fueron las siguientes:

7 Para la acceder a la información de una breve presentación sobre la evolución de la evaluación de impacto en el Banco Mundial, en el que se destaca la importancia de SIEF, véase la presentación “Assessing the Use and Influence of Impact Evaluations: Evidence from the World Bank Group [Evaluar el uso e influencia de las evaluaciones de impacto: evidencia del grupo del Banco Mundial]” por Izlem Yenice, Grupo de Evaluación Independiente del Banco Mundial, en la Conferenica de la Asociación de Evaluación Norteamericana en 2011, que incluye hallazgos preliminares del próximo estudio de EI.8 Como un punto de comparación, el Grupo de Evaluación Independiente del Banco Mundial tenía en el años fiscal 12 un total de USD 12 millones como fondos fiduciarios para todo tipo de evaluaciones, y su presupuesto para ese año incluía solamente una evaluación de impacto y una evaluación de impacto meta. Para el año fiscal 13 se planificaron el mismo número de evaluaciones de impacto. Véase http://ieg.worldbankgroup.org/content/dam/ieg/IEGWorkPgrmAndBudget2011.pdf

12

1. Desarrollar capacidades para entender y usar técnicas de evaluación de impacto;

2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los resultados de Desarrollo Humano (DH)

3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento del impacto de los programas de desarrollo humano;

4. Utilizar el SIEF como una plataforma para promover la gestión para el desarrollo de resultados.

El grado de cumplimiento de estas metas tiene una calificación que se encuentra al final de la sección 5 (véase también el anexo iii), de acuerdo con los resultados acordados para cada una de las metas, según la estrategia basada en resultados del SIEF (que también incluye indicadores para los diferentes resultados).

En las siguientes secciones de este capítulo se abordarán las preguntas sobre el diseño que se incluyen en los TDR.

Coherencia entre el diseño del SIEF y sus metas

– ¿Hasta qué punto el diseño y los recursos del SIEF fueron coherentes con las metas planteadas?

Se registró una alta coherencia entre las metas del SIEF y su diseño y recursos.

Puede obtenerse una respuesta parcial a esta pregunta a nivel local, por medio de las respuestas a la encuesta posterior al uso de la subvención, que incluyen la siguiente pregunta: “¿Se asignaron los recursos a su tarea(s) en consonancia con las metas propuestas?”. 33 de 34 respuestas fueron afirmativas (la respuesta negativa corresponde a un caso en Senegal donde el líder del equipo de tareas tuvo la opción de reasignar los recursos a otra EI en Kenia)

Asimismo, para una consideración más global de esta pregunta, es útil tomar en cuenta el presupuesto de 5 años de USD 100 millones de la 3ie, lo que permite realizar de 50 a 60 nuevos estudios cada año (combinación de "quick wins", estudios a gran escala y el diseño de evaluación) 9. A pesar de que el número de estudios anuales excede los del SIEF (corresponde al número de estudios financiados por el SIEF durante su periodo pleno, como se detalla en la tabla 2), el presupuesto anual de la 3ie sería de USD 20 millones sin incluir actividades para desarrollar capacidades. Este es un presupuesto que sobrepasa los recursos del SIEF para su periodo inicial de 3 años (que se convirtieron en 5 años con la extensión hasta junio de 2012).

Plan estratégico y de M&E

– ¿Hasta qué punto tuvo el SIEF un plan estratégico y de M&E útil y confiable que contribuyó a fijar prioridades y rastrear el progreso hacia el cumplimiento de sus metas?

Luego de sus primeros 2 años, el SIEF desarrolló un plan estratégico y de M&E útil y confiable.

9 Véase http://www.google.es/url?sa=t&rct=j&q=&esrc=s&source=web&cd=10&ved=0CHwQFjAJ&url=http%3A%2F%2Fwww.oecd.org%2Fdataoecd%2F4%2F54%2F41681801.ppt&ei=rztrT_y2M-mp0QWB29ndBg&usg=AFQjCNEP8Qui0B9FYL_-CzGmgxJraomDdA&sig2=qx2M1PA64k-riHWE0yWEaw

13

La matriz de la estrategia basada en resultados del SIEF (véase anexo iv) creada luego de sus primeros 2 años (cuando el equipo central del SIEF se fortaleció) proporcionó al SIEF una estrategia y marco útil y funcional para el M&E, el que se completó con el uso de una hoja de cálculo dinámica utilizada como herramienta de monitoreo en tiempo real. La matriz conectaba de una manera explícita las metas con los resultados esperados y los correspondientes indicadores, productos, actividades y recursos según los plazos iniciales del Fondo (no se actualizó para cubrir el periodo de extensión del SIEF).

Plan de divulgación de resultados y conocimiento compartido

– ¿Hasta qué punto tuvo el SIEF un plan de divulgación de resultados y conocimiento compartido útil y confiable?

El plan fue útil y confiable pero no consideró explícitamente al GdE.

El plan de divulgación de resultados y conocimiento compartido fue aprobado por el CD e identificó bien a los destinatarios (con una excepción) como se muestra en el diagrama 2. El público que no fue identificado en el diagrama es el GdE (la excepción que se mencionó anteriormente). Podría haber sido útil identificar organizaciones españolas (tanto las dedicadas a la cooperación como las que lidian con temas de desarrollo humano) entre los destinatarios del SIEF.

Una forma más general de encuadrar este punto es que en un programa de fondo fiduciario es conveniente incluir a donantes o socios como uno de los destinatarios para la divulgación de los resultados del programa.

La implementación del plan de divulgación del SIEF se descentralizó. Se presentaron propuestas de divulgación con un límite máximo inicial de USD 100.000 (se les permitió a los dirigentes de clúster presentar propuestas que no sobrepasaran los USD 185.000 para las actividades de divulgación y coordinación del clúster). En estas propuestas se indicaba el destinatario meta, el cronograma (junio de 2012 como plazo final) y la asignación presupuestaria propuesta para la actividad de divulgación de cada clúster, indicando el LET correspondiente a cargo de la actividad. El tipo de actividades comprendía la producción, edición y traducción de los informes finales de las EI financiadas por los clústeres, organización de (y participación en) conferencias y talleres, apuntes breves y mantenimiento del sitio web. Los objetivos de los talleres consistían en presentar resultados clave, discutir sus consecuencias para las políticas, así como su validez externa, reuniendo a los responsables de elaborar políticas, los investigadores y el personal en funcionamiento, en algunos casos patrocinados por el SIEF y otras fuentes. Estos talleres eran un complemento para los talleres regionales del SIEF y en algunos casos se basaban parcialmente en ellos (los que se discuten en la sección 4 más adelante).

14

DFID EI FF

Diagrama 2 Tipos de destinatarios del SIEF como fue presentado en el Plan de Divulgación el SIEF.

3. Los Procesos

En este capítulo se abordan las preguntas de los TDR en relación a los procesos:

Eficiencia del modelo de gestión del programa del SIEF

– ¿Hasta qué punto el modelo de gestión del programa del SIEF (por ejemplo, instrumentos, recursos económicos, técnicos y humanos; estructura organizacional, flujos de información; toma de decisiones en la gestión) han sido eficientes en comparación con los resultados obtenidos?

El modelo de gestión del programa del SIEF fue eficiente.

15

Unidades de gestión de

evaluación y conocimiento

del GBM: IEG,

PREM,DEC

Comunidad de EI del GBM:

DIME

Sectores y regiones asociados

al DH

Otrasunidades

delGBM

Red de Desarrollo Humano:

HDN

Países clientes

Universidades y centros de investigación

Redes internacionales de EI

Otras organizaciones internacionales

SIEF

El programa SIEF ha sido gestionado por la Oficina del Economista Jefe para el Desarrollo Humano del Banco Mundial. Los recursos del SIEF brindaron apoyo a:

(i) Programas de evaluación de impacto prospectivos y rigurosos en 11 sectores elegibles de Desarrollo Humano y Desarrollo Sostenible, y a 72 países en desarrollo elegibles de todas las regiones;

(ii) Programas de capacitación intensivos en los métodos de evaluación de impacto para los gobiernos colaboradores, personal del Banco y de agencias de desarrollo asociadas; y

(iii) Publicación y divulgación de los resultados de evaluación a través de artículos, meta estudios y materiales informáticos.

El 94% de las respuestas de la encuesta indicó que el modelo de gestión fue eficiente o muy eficiente.10 Los LET valoraron especialmente la flexibilidad para aceptar adaptaciones a cambios en el contexto.

El aprovechamiento de los recursos de SIEF también contribuyó a la eficiencia, ya que permitió mejorar los resultados con los mismos recursos 11. Una característica fundamental del SIEF es el uso, por parte de los líderes del equipo de tareas, de otras fuentes de financiamiento para obtener resultados. En algunos casos se trató de los aportes de colaboradores locales (p. ej., en el caso de una TMC en Indonesia, los recursos nacionales proporcionaron USD 2,8 millones, de los cuales SIEF contribuyó USD 300.000); pero también se recurrió a otras fuentes de financiamiento, tales como la Iniciativa Internacional para la Evaluación de Impacto (3ie) en el caso de la EI de la malaria en Kenia.

Contribución de los dirigentes de clúster

– ¿Hasta qué punto los dirigentes de clúster han contribuido a garantizar la implementación exitosa del programa del SIEF y a promover las comunidades de práctica de la evaluación de impacto en las áreas temáticas claves del programa?

El alcance de la contribución de los dirigentes de clúster fue significativa en algunos equipos de clúster, donde las condiciones iniciales eran favorables y donde los dirigentes cumplían una función más importante para el apoyo.

La encuesta muestra claramente la medida en que los dirigentes de clúster contribuyeron a garantizar la implementación exitosa del programa del SIEF y a promover las comunidades de prácticas de evaluación de impacto en las áreas temáticas clave (aunque el número de respuestas fue demasiado bajo, dado que algunas de las EI no eran parte de un clúster específico, p. ej., eran parte del "fondo de innovación" y en otros casos, la persona que contestó la encuesta fue un dirigente de clúster que se rehusó a responder). Sin embargo, en base a las respuestas de la encuesta y de las entrevistas a los LET, se puede afirmar que los líderes del equipo de tareas valoran el apoyo de los dirigentes de clúster en las actividades de divulgación, especialmente en algunos clústeres, tales como mercados activos de trabajo y oportunidades laborales para jóvenes y Desarrollo de la educación y de la infancia temprana. Esto puede tener su causa en las prácticas

10 En la encuesta se utilizó una escala de seis puntos. Las respuestas mencionadas en este párrafo (y en los que siguen en esta sección) son aquellas mostradas en los dos niveles superiores de la escala.11 Dada la definición del glosario de OCDE “Eficiencia: es "una medida de cómo losrecursos/insumos (fondos, tiempo, etc) se transforman en resultados", http://www.oecd.org/dataoecd/29/21/2754804.pdf.

16

anteriores en las diferentes áreas temáticas y de clúster (en especial su experiencia con las evaluaciones de impacto) y en la medida en que los dirigentes de clúster dieron su apoyo.

La distribución de los Estudios de Evaluación de Impacto (EI) según temas, clústeres y modalidades se presenta en la tabla a continuación.

Tabla 1 Número de estudios de Evaluación de Impacto (EI) financiados por el SIEF

Tipos de estudios de evaluación de impacto Nº1.1. Estudios de EI "Quick wins" 5 *1.2. Estudios de EI del Fondo de Innovación

1.2.1. Desarrollo humano 4 1.2.2. Desarrollo sostenible 7 1.3. Estudios de EI de clúster 1.3.1 - Reformas de la contratación/Pago por desempeño en la Salud 6 1.3.2 - Transferencias Monetarias Condicionadas 5 1.3.3 - Control de la malaria 5 1.3.4 – Mercados activos de trabajo y oportunidades laborales para jóvenes 8 1.3.5 - Responsabilidad respecto a la educación básica 5 1.3.6 - Prevención del VIH y SIDA 3 1.3.7 - Desarrollo de la infancia temprana

4 NÚMERO TOTAL DE IE 52* Para evitar la doble contabilización, 5 Estudios “Quick Win” que recibieron financiamiento de los fondos de clúster no se incluyeron en el número del total de los estudios "Quick Win". Para obtener más detalles de los 52 estudios, véase el anexo VII, Tabla 9.

Gobernanza del SIEF

– ¿En qué medida la gobernanza del fondo a nivel del fiduciario contribuyó a la eficiencia y efectividad del SIEF? ¿En qué medida fue útil para construir una asociación eficaz entre el Banco y los donantes? ¿Permitió el Comité Directivo que la gestión del SIEF hiciera una entrega eficaz de los productos y resultados?

La gobernanza del fondo contribuyó tanto a la eficiencia y eficacia del SIEF, como a construir una asociación bien lograda entre el Banco y los donantes, mientras que el CD proporcionó un entorno propicio para la gestión del SIEF (aunque no se reunió luego del 2009)

Con respecto a la gobernanza del SIEF, los acuerdos que se hicieron fueron los siguientes: Un Comité Directivo del Fondo Fiduciario se reuniría anualmente para confirmar la asignación general de los recursos para el programa de trabajo propuesto, revisar las actividades realizadas y en ejecución, y proporcionar una orientación estratégica al equipo de gestión del programa acerca de los temas prioritarios para futuras evaluaciones. El Comité tendría 7 miembros y su presidencia sería compartida entre el Vicepresidente de la HDN y el Secretario de Estado para la Cooperación Internacional Española, incluyendo a dos representantes españoles y 3 miembros del Banco adicionales, nombrados por el Vicepresidente de la HDN: el Economista Jefe de DH, un representante de la DEC (ya sea un asesor de la DIME o el gerente de la DECRG para las políticas de DH) y un director regional de DH. Asimismo, el vicepresidente de la HDN

17

nombraría a un Comité Técnico con 7 trabajadores expertos del personal del Banco con una amplia experiencia en la investigación y evaluación de impacto en DH y SD, con el fin de brindar apoyo al equipo de Gestión del Programa en el examen y evaluación de las propuestas de evaluación de impacto. Se esperaba que el Comité Técnico estuviera presidido por el Economista Jefe de DH. Algunos de los miembros del Comité Técnico también serían miembros del Comité Directivo.

En la práctica, solo uno de los Comités Directivos (CD) fue copresidido por el Vicepresidente de la HDN y el Secretario de Estado para la Cooperación Internacional Española, quién delegó la presidencia de otras reuniones al Director General y al Economista Jefe de la HDN.

Se llevaron a cabo 6 reuniones con el CD. La última se realizó el 25 de abril de 2012. En la penúltima reunión del CD se aprobó la extensión del SIEF hasta junio de 2012 y la creación del clúster para el Desarrollo de la infancia temprana. Desde entonces y hasta la reunión del CD en abril de 2012, las comunicaciones entre el GdE y el SIEF fueron informales con dos excepciones importantes:

i. en noviembre de 2010 el vicepresidente de DH se reunió con el Secretario de Estado para la Cooperación Internacional con el fin de confirmar el interés de España en continuar respaldando al SIEF, aunque a un nivel presupuestario inferior, y se acordó que se realizaría una última conferencia en España sobre los resultados del SIEF.

ii. en marzo de 2011, como una continuación de la reunión de noviembre, el Economista Jefe de DH se reunió con el Director General de Planificación y Desarrollo de Políticas para el Desarrollo del MAEC y con representantes del MEH. Uno de los resultados de esta reunión fue la decisión de incluir un reconocimiento al financiamiento del SIEF en todos productos para los que se utilizaron fondos del SIEF (véase más adelante la referencia a esta instancia en el caso de los Apuntes E2P) y un acuerdo para mandar al GdE informes mensuales acerca de los resultados del SIEF y su divulgación. En la siguiente tabla se muestra la información sobre los productos del SIEF que se incluyen en estos informes mensuales.

Tabla 2 Información sobre los productos del SIEF que se incluyen en los informes mensuales el SIEF

PRODUCTOS NÚMERO

ACONTECIMIENTOS

23

PUBLICACIONES* 25APUNTES** 6

Fuente: informes mensuales del SIEF, marzo 2011 a marzo 2012

* Se incluyen los informes de EI, documentos y apuntes de divulgación.** Apuntes sobre los productos elaborados con fondos del SIEF (tales como informes de evaluación y libros) en prestigiosas publicaciones (tales como The Lancet, The Economist and the Journal of Economic Literature). Estos apuntes son representantes de la influencia y el reconocimiento a la calidad de los productos.

18

Las entrevistas realizadas en Madrid, en particular aquellas con el MEH, ponen de manifiesto una falta de comunicación con el SIEF, ya que los representantes del GdE querían conocer la información sobre los productos y su costo. Sin embargo, contrario a la percepción general de los funcionarios del GdE en relación a los contenidos de los informes mensuales de los acontecimientos, en la tabla 1 se muestra que estos informes han incluido un mayor número de artículos publicados que de acontecimientos.12 La rotación de personas involucradas en los niveles de funcionamiento y de liderazgo de la cooperación internacional del GdE y la escasez de personal en la unidad de evaluación del MAEC (véase la revisión realizada por expertos del CAD en España el 2011), que debe haber cumplido una función crucial por el lado del donante, limitaron la participación de España en el SIEF. Como lo señala J.A.Alonso: “en (…) aspectos relacionados con la evolución reciente de la cooperación española se ha evidenciado el desequilibrio existente entre el dinamismo de los compromisos suscritos y las limitadas capacidades humanas, técnicas e institucionales”.13

El monto de los gastos incurridos por las diferentes actividades del SIEF se presentan en la tabla 3. Para julio de 2007, el SIEF hizo la primera convocatoria de propuestas a partir de los clústeres de Evaluación de Impacto de HDN existentes, con el fin de identificar los estudios "Quick Win" de EI. Asimismo, como lo expresó el primer gerente del programa del SIEF, esta convocatoria también sirvió " para garantizar un comienzo rápido y visible del SIEF y para cerciorarse de que los recursos españoles produjeran algunos resultados tangibles lo antes posible". A estas propuestas se les llamó "quick wins", ya que se esperaba que capitalizaran el trabajo en temas de Desarrollo Humano que ya se estaba llevando a cabo. Para tal fin, se buscaron propuestas de evaluaciones de impacto de alta calidad y prospectivas que necesitaran fondos inmediatos. Las propuestas escogidas se presentaron al Comité Directivo del SIEF.

A pesar de que las "quick wins" permitieron al SIEF contribuir con evaluaciones de alta calidad en el corto plazo, éstas no otorgaron visibilidad al SIEF en esta primera fase. Por otra parte, la asignación de fondos a las "Quick Wins" (aproximadamente 6% de los recursos del SIEF), como se muestra en la tabla anterior, permitió que el SIEF se valiera de otras fuentes de financiamiento. Durante los siguientes años, como se indica en la tabla 3, se asignó la mayoría de los recursos del SIEF a nuevos clústeres de EI.

Si se consideran las actividades por sus categorías básicas, en la tabla 3 se muestra que el 69% de los recursos fueron destinados a la investigación de la evaluación de impacto y que la gestión del programa gastó menos del 5% de los recursos.

12 En este contexto es importante mencionar la observación hecha en la revisión de expertos CAD 2011 de España, que estipula que existe una "necesidad de garantizar que la agencia de Desarrollo de España tenga suficiente capacidad de dirigir y utilizar un volumen creciente de evaluaciones de proyectos y programas”. (p.62). http://www.oecd.org/dataoecd/23/45/49356882.pdf. 13 Alonso, J.A. (2012) “España y el sistema multilateral: luces y sombras de un proceso de cambio” en de la Iglesia-Caruncho (coordinador) La eficacia de la ayuda y la cooperación española Madrid: Editorial Complutense, p. 179

19

Tabla 3 Montos asignados y gastos según el tipo de actividad

Actividades Asignado

s

% del total

asignado

Gasto

% of total de gasto

1. Estudios de Evaluación de Impacto (EI)

9.817.968 66% 9.817.9

68 69%

1.1 Estudios "Quick wins" de EI 879.851 6% 879.851 6% 1.2 Estudios de EI del Fondo de

Innovación 2.009.2

23 13% 2.009.223 14%

1.3. Estudios de EI de clúster 6.928.894 46% 6.928.8

94 49% 1.3.1 - Reformas de contratación y pago por desempeño en la salud

1.250.539 8% 1.250.53

9 9% 1.3.2 - Transferencias Monetarias

Condicionadas 895.086 6% 895.086 6%

1.3.3 - Control de la malaria 762.790 5% 762.790 5%

1.3.4 – Mercados activos de trabajo y oportunidades laborales para jóvenes

1.276.350 9% 1.276.35

0 9%

1.3.5 - Responsabilidad respecto a la educación básica

1.022.601 7% 1.022.60

1 7%

1.3.6 - Prevención del VIH/SIDA 981.561 7% 981. 561 7%

1.3.7 - Desarrollo de la infancia temprana 739.966 5% 739.966 5%

2. Desarrollo de capacidades 1.700.000 11% 1.681.2

15 12%

3. Resultados de divulgación 1.533.000 10% 1.156.9

06 8% 3.1. Alcance del programa y

resultados de divulgación 600.000 4% 437.519 3% 3.2. Divulgación de los resultados de

clúster 933.000 6% 719.387 5%

4. Otras actividades 1.859.341 12% 1.504.4

42 11%

4.1. Gestión del programa 781.923 5% 597.201 4%

4.2. Coordinación del clúster 510.000 3% 339.822 2%

4.3. Servicios de asesoría 567.418 4% 567.418 4%

5. Total (5=1+2+3+4) 14.910.309 100% 14.160.

530 100%

Transparencia en la asignación de fondos a los equipos de EI

– ¿Qué tan transparente fue la asignación de los recursos del SIEF a los equipos de evaluación de impacto?

La asignación de fondos a los equipos de EI fue transparente.

Respecto al nivel de la transparencia en la asignación de recursos a los equipos de evaluación, un 97% de los LET encuestados respondieron "muy transparente" o "transparente." La convocatoria de propuestas fue un proceso transparente, con "reglas del juego" explícitas.

20

Mecanismos y procesos de control de calidad

– ¿Qué tipos de mecanismos y procesos de control de calidad se establecieron para garantizar la calidad de la cartera de la evaluación de impacto del SIEF?

Se estableció un proceso de estudio por expertos con una revisión interna y externa.

Como mecanismo de control de calidad, se creo un proceso de revisión por expertos de propuestas presentadas para obtener financiamiento del SIEF. Este proceso integró un equilibrio entre rigor (con una revisión interna y externa) y flexibilidad, con dispensa del proceso en caso de que ya se hubiese realizado una revisión rigurosa por el donante o una institución o revista académica; la mayoría de las respuestas a la encuesta del LET indicaron que fue un proceso transparente. La siguiente cita del LET compara el proceso del SIEF con el de otros fondos:

“He recibido apoyo para las labores de investigación de muchas otras fuentes de financiamiento a lo largo de los años (el presupuesto de apoyo a la Investigación del BM, el programa de BNPP, de SFLAC, DFID, ERO, el fondo de la preparación del programa EFA FTI) y creo que el SIEF es un referente por haber instaurado un proceso de revisión competitivo, y que es riguroso, tanto sustancial como analíticamente, pero al mismo tiempo "ligero", flexible y eficiente en su administración. No es fácil llegar a este equilibrio, pero creo que el SIEF lo ha logrado”.

En la revisión entre pares, tanto los revisores externos como internos revisan el apunte de concepto preliminar y, cuando es necesario, piden más información o sugieren cambios. El líder del clúster comunica los comentarios de los revisores a los LET y corrobora los apuntes de concepto corregidos. La gestión del SIEF aprueba el proceso de revisión por expertos y autoriza (o no) al LET a presentar la propuesta para financiamiento.

El llamado a las propuestas exigía una especificación rigurosa y correcta, y la técnica más utilizada por el SIEF en las EI fueron los diseños aleatorios (según el 74% de las respuestas de la encuesta de los LET). El resto de las EI subsidiadas por el SIEF utilizó la regresión discontinua, el apareamiento de las propensiones y otros enfoques cuasi experimentales u observacionales. Por ejemplo, la EI centrada en la instalación en hogares de cañerías para el sistema de aguas residuales en Uruguay y la EI del caso de "Contigo Vamos por Más" en Guanajuato, México, utilizaron un diseño cuasi-experimental con una muestra de localidades de tratamiento y de control, así como el apareamiento de las propensiones y los métodos de diferencia en diferencias combinados con entrevistas semi estructuradas a las partes interesadas importantes.

Instrumentos de monitoreo del SIEF

– ¿En qué medida y en qué formas se utilizaron y fueron útiles los instrumentos de monitoreo del SIEF (informes anuales y semestrales)?

Los instrumentos de monitoreo del SIEF se usaron de manera provechosa.

La hoja de cálculo facilitó una gestión útil de los recursos del SIEF, lo que derivó en la transferencia oportuna de los fondos a las actividades del SIEF. Además, se utilizó la hoja de cálculo como una fuente base de información para los informes anuales y semestrales. Estos instrumentos fueron útiles en la toma de decisiones acerca de la asignación y reasignación de fondos, lo que facilitó la implementación del programa.

21

4. Resultados

Las preguntas de TDR acerca de los resultados del SIEF son las siguientes:

– ¿En qué medida el programa de SIEF ha logrado alcanzar sus objetivos estratégicos?– ¿En qué medida las actividades de desarrollo de capacidades de SIEF han contribuido a una

mejor comprensión y uso de las evaluaciones de impacto?– ¿En qué medida las actividades de investigación y divulgación de SIEF han contribuido a un

mejor acceso al conocimiento sobre el impacto de los programas de Desarrollo Humano? – Cuando los resultados previstos no fueron logrados, ¿cuáles fueron las principales razones? – ¿Hubo algún resultado imprevisto?– ¿Hay alguna enseñanza en cuanto a cómo el SIEF u otros programas similares podrían

haber obtenido mejores resultados? – Si el programa del SIEF continuara o se modernizara, ¿qué posibles resultados podrían

obtenerse? ¿Qué cambios se podrían recomendar para que sea más eficaz?

En lugar de contestar cada pregunta, este capítulo está organizado en torno a la matriz basada en resultados del SIEF. Esta consta de cuatro secciones que corresponden a las 4 metas estratégicas del SIEF: Se calificarán las diferentes metas y sus respectivos resultados o resultados esperados de acuerdo a una escala de 6 puntos y se interpretarán de la siguiente forma (a continuación se muestran las calificaciones específicas a la derecha de las metas GpRD de la matriz del SIEF y los resultados correspondientes) 14:

Muy satisfactorio, Satisfactorio, Medianamente satisfactorio, Medianamente insatisfactorio, Insatisfactorio, Muy insatisfactorio

Desarrollo de la capacidad

– Meta 1: desarrollar capacidades que permitan mejor entender y utilizar las técnicas de evaluación de impacto;

Muy satisfactorio 15 .

Resultado 1.1 (R11): tanto los evaluadores expertos como los investigadores del BM y sus países cliente, como otras organizaciones públicas y privadas, utilizaron las habilidades adquiridas en los talleres y los materiales de capacitación del SIEF para diseñar y realizar los estudios de EI.

Muy Satisfactorio.

Fundamento o evidencia: el objetivo era capacitar a 1893 personas y realizar 12 talleres regionales, pero en realidad se capacitaron a 2403 personas y se realizaron 17 talleres. El estudio de seguimiento proporciona evidencia del uso de habilidades adquiridas en los talleres del SIEF; véase el cuadro A.

14 Véase “calificación de los resultados en http://ieg.worldbankgroup.org/content/dam/ieg/ratings/HarmonizeEvalCriteria.pdf15 La calificación de cada objetivo es el modo de las calificaciones en que se descompone el objetivo (la alta frecuencia de calificación de un conjunto de calificaciones asociadas con un objetivo correspondiente)

22

R12: los gerentes del BM y sus países clientes utilizaron las habilidades de gestión adquiridas en los talleres del SIEF y los materiales de capacitación del SIEF para ayudar en el diseño e implementación de los estudios de EI en sus programas.

Muy Satisfactorio.

Fundamento o evidencia: El estudio de seguimiento y los siguientes párrafos en esta misma subsección corresponden a los R12:

El objetivo de los talleres de "Turning Promises to Evidence" [Transformar las promesas en evidencias], el principal medio por el que el SIEF promovió el desarrollo de la habilidad y la capacitación en la evaluación de impacto, ha sido el de proporcionar a los participantes una visión general de la evaluación de impacto. Estos talleres son cursos regionales de una semana de duración que se enfocan en el diseño, implementación y gestión de las evaluaciones de impacto, personalizados para equipos de trabajo gubernamentales colaboradores en los países clientes, personal del Banco Mundial y personal de las agencias de desarrollo asociadas.

La meta principal de estos talleres ha sido incrementar la eficacia de los programas de desarrollo humano por medio del desarrollo de capacidades en la evaluación de impacto y en la gestión basada en resultados en los países clientes y agencias asociadas. Esto incluye técnicas avanzadas para la evaluación de impacto y la comprensión de su importancia en la elaboración de políticas y diseño de programas, un claro entendimiento de cómo construir una cadena de resultados y habilidades prácticas para aplicar las técnicas de evaluación de impacto en sus propios proyectos. Los talleres consistían en una combinación interactiva de sesiones grupales pequeñas y grandes durante las cuales se practicaba lo aprendido durante la semana.

Una innovación creada por estos talleres ha sido ofrecer a los participantes la posibilidad de escoger entre dos itinerarios formativos alternativos: uno enfocado a los responsables de elaborar las políticas y otro a los investigadores. Ambos itinerarios, impartidos en paralelo, fueron diseñados para garantizar la coherencia y difusión de mensajes claves para ambos grupos. Las sesiones enfocadas a los responsables de elaborar políticas fue primordial para el desarrollo de capacidades orientadas a administrar la evaluación de impacto (y para fomentar su demanda), mientras que las sesiones técnicas desarrollaron capacidades para realizar las evaluaciones de impacto.

Durante los talleres, los responsables de elaborar políticas, el personal técnico y los líderes del equipo de tareas del BM participantes trabajaron juntos en sesiones grupales como equipos de proyecto con evaluaciones de impacto de alta calidad e implementaron planificaciones para sus proyectos. En el último día del taller, los equipos presentaron sus propuestas de diseños de evaluación a todos los grupos y recibieron aportes de ellos y de los moderadores del curso.

Desde enero de 2008 el SIEF ha patrocinado 17 talleres de este tipo con USD 1.500.000. Los talleres se realizaron en todas las regiones en desarrollo y también recibieron apoyo económico del Departamento para el Desarrollo Internacional del Reino Unido (DFID), con un monto de USD 475.000, del programa de Asociación Banco-Países Bajos (BNPP) y de otras unidades y fondos del BM (por ejemplo, los talleres en Rio de Janeiro también fueron patrocinados por la DIME y por la oficina del BM en Brasil).

23

Por medio de estos talleres, se han capacitado a 2406 participantes, lo que corresponde a 251 equipos de proyecto, de los países clientes y agencias asociadas en las técnicas de evaluación de impacto. En promedio, en cada taller participaron personas de 9 países. Se presenta información detallada acerca de estos talleres en la tabla 4.

Tabla 4: Talleres de Evaluación de Impacto regionales

Lugar Fecha Países asistentes Participantes

Equipos de

proyectoCalidad* Utilidad**

Cairo, Egipto 13 a 17 de enero de 2008

12 160 17 4,07 4,14

Managua, Nicaragua 3 a 7 de marzo de 2008

11 104 15 4,83 4,84

Madrid, España 23 a 27 de junio de 2008

1 196 9 3,94 3,51

Manila, Filipinas 1 a 5 de diciembre de 2008

6 137 16 - -

Lima, Perú 26 a 30 de enero de 2009

9 182 18 4,43 4,54

Amán, Jordania 8 a 12 de marzo de 2009

9 206 17 3,93 3,88

Beijing, China 20 a 24 de julio de 2009

1 212 12 4,38 4,10

Sarajevo, Bosnia 21 a 25 de septiembre de 2009

17 115 12 4,37 4,35

Ciudad del Cabo, Sudáfrica.

7 a 11 de diciembre de 2009

10 108 11 4,29 4,16

Katmandú, Nepal 22 a 26 de febrero de 2010

7 118 15 4,33 4,22

Rio de Janeiro, Brasil 26 a 30 de abril de 2010

3 224 22 4,37 4,38

Accra, Ghana 24 a 28 de mayo de 2010

17 143 19 4,37 4,38

Túnez, Túnez 18 a 22 de octubre de 2010

10 80 10 4,63 4,50

Seúl, Rep. de Corea 6 a 10 de diciembre de 2010

10 134 12 4,37 4,42

Seúl, Rep. de Corea 29 de ago. a 2 de sept. de 2011

6 60 13 4,71 4,49

Dacca, Bangladesh 13 a 23 de octubre de 2011

6 127 16 3,90 4,06

Santiago, Chile 16 a 27 de enero de 2012

9 100 17 - -

Total 17 talleres regionales 9,11 2.406 251 4,33 4,26

Respuestas de los participantes al final de los talleres, en promedio, según fue calificado al final de cada taller por los participantes en la escala de 1 (mínimo) a 5 (máximo):* ¿Cómo calificaría la calidad general de la actividad? ** ¿Cómo calificaría la utilidad general de la actividad??

24

La Oficina del Economista Jefe de HDN preparó un informe de seguimiento de estos talleres; sus principales hallazgos se presentan en el siguiente cuadro.

Cuadro A. Hallazgos del informe del estudio de seguimiento del programa de capacitación para la Evaluación de Impacto patrocinado por SIEF

Los resultados del estudio de seguimiento sugieren que el programa de capacitación "Turning Promises to Evidence" [Transformar las promesas en evidencias] ha logrado desarrollar con eficacia las habilidades de evaluación de impacto en los países clientes, y ha logrado promover comunidades de prácticas entre profesionales y expertos en evaluación de impacto y en desarrollo humano. Más concretamente, los resultados de esta encuesta sugieren que:

- Los participantes de estos talleres están utilizando las destrezas que aprendieron al diseñar, implementar y utilizar evaluaciones de impacto en su trabajo. La mayoría de las personas que respondieron declaran que, después del taller, han diseñado evaluaciones de impacto (56%), han ayudado a gestionar estudios de evaluación de impacto (71%) y han desarrollado cadenas de resultados (74%). La gran mayoría de los participantes (93%) informa que han leído evaluaciones de impacto.

- Desde que comenzaron los talleres, un número importante de participantes continúa estando involucrado con el estudio de evaluación de impacto a cuyo diseño contribuyeron durante las sesiones de grupo;

- Los talleres han contribuido a consolidar comunidades de prácticas en los países clientes respecto a la evaluación de impacto en áreas temáticas clave de desarrollo humano;

- Los participantes respaldan encarecidamente la aplicación de técnicas de evaluación de impacto y gestión basada en resultados en sus organizaciones.

La conclusión general de este estudio es que los talleres "Turning Promises to Evidence" han demostrado ser útiles en desarrollar las habilidades de evaluación de impacto de funcionarios de gobierno, profesionales encargados del desarrollo y expertos en evaluación de los países clientes. Los resultados del estudio coinciden con las calificaciones de alta calidad y utilidad asignadas por los participantes al final de cada taller (4,3 en promedio en la escala de 1 a 5, como se ha presentado en la Tabla 4).

Conclusión relacionada con el desarrollo de la habilidad de IE:

El enfoque en la capacitación introdujo un formato innovador de doble itinerario, que coincide con las diferentes demandas de los responsables de la elaboración de políticas, los gerentes de evaluación y los especialistas en evaluación. Este enfoque fortalece tanto la demanda como la oferta de evaluación de impacto a nivel de país, y también en la Red de Desarrollo Humano del Banco Mundial, donde tuvo una función catalizadora. Por otro lado, el SIEF no ha fortalecido las habilidades de evaluación del donante español (que fue uno de los objetivos incluidos en el acuerdo cuando se estableció el SIEF), a excepción de los talleres de evaluación de impacto realizados en Madrid y de las asesorías técnicas proporcionadas a equipos de proyectos financiados por la cooperación española que estaban interesados en llevar a cabo EI. El libro "La evaluación de Impacto en la Práctica" elaborado por SIEF y traducido al español y al francés, es un recurso muy valioso que puede ser utilizado en el desarrollo de capacidades de evaluación de impacto en los países en desarrollo, en el Banco Mundial y en España. El enfoque del SIEF se ha concentrado en desarrollar habilidades de evaluación de impacto en las personas más que en desarrollar capacidades de EI en instituciones.

25

Recomendaciones para el desarrollo de las habilidades de EI:

El nuevo programa de EI podría centrarse no solamente en las habilidades de EI de cada persona, sino también abarcar las capacidades de EI de las instituciones. Por ejemplo, cooperar en la implementación de mecanismos institucionales para gestionar la EI (como en los casos de México y Chile) en organizaciones que no son responsables de la implementación de programas que son evaluados. De esta manera, se estaría fortaleciendo la credibilidad de la evidencia generada por las evaluaciones de impacto.

En relación con la capacitación en EI, en un programa futuro podría ser útil tomar en cuenta las siguientes recomendaciones del informe del estudio de seguimiento de SIEF.

Cuadro B. Recomendaciones para la capacitación de EI

i) Incorporar suficientes recursos con el objetivo de ajustarse a la creciente demanda de capacitación de evaluación de impacto y de servicios de asesoría, de los países clientes y de las agencias asociadas, que se esperan en los próximos años. Aumentar la capacidad de evaluación de impacto de las unidades regionales y promover asociaciones con universidades locales y centros de investigación para permitir que tengan una función cada vez más importante en la satisfacción de la demanda de EI.

ii) Monitorear el progreso de los estudios de evaluación de impacto que se diseñan en los talleres para detectar las necesidades de capacitación y los beneficios potenciales de las actividades de servicio de asesoría que podrían ayudar a reducir el número de estudios de evaluación de impacto que no continúan después del taller. Involucrar a los altos directivos y los responsables de formular políticas en la difusión de resultados para aumentar el apoyo de los altos directivos y los recursos para EI en los países clientes y en las agencias socias.

iii) Diseñar herramientas para proporcionar capacitar a los participantes sobre cómo convencer a sus jefes para que inviertan recursos que permitan realizar evaluaciones de impacto.

iv) Involucrar a los ex participantes de talleres en actividades de capacitación e investigación para consolidar la expansión de las comunidades de prácticas de la evaluación de impacto. Estimular la participación de ex participantes de talleres regionales como profesores/as o moderadores/as para facilitar su transición de miembros activos a miembros "en el corazón mismo" de la comunidad de prácticas .

v) Adaptar la duración y el contenido de los talleres a las necesidades de los países clientes; por ejemplo, se pueden ofrecer talleres de segunda generación que se centren en asuntos técnicos o de políticas específicos, o se puede expandir el componente estatal cuando se detecta la demanda de esa capacitación.

vi) Llevar a cabo actividades de seguimiento y servicios de asesoría para consolidar y mejorar los resultados de aprendizaje de los talleres. Incorporar recursos para entregar actividades de capacitación periódicamente. vii) Mejorar el monitoreo y la evaluación de los talleres de impacto futuros al agregar en el formulario de registro en línea algunas preguntas que registren algunos datos del postulante, como la edad, tipo de organización e idiomas que habla, así como un segundo correo electrónico, y teléfonos. Al comienzo de la capacitación, recoger la información sobre el nivel de destrezas y la participación con trabajo de evaluación de impacto de los participantes, de modo que los resultados del aprendizaje puedan ser medidos en el futuro. Traducir el instrumento de encuesta a otros idiomas, de acuerdo con los idiomas que manejan los participantes y la disponibilidad de recursos. Cuando sea posible, personalizar las solicitudes y recordatorios de la encuesta de acuerdo con el idioma de cada participante.

Apoyo para la EI

– Objetivo 2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los resultados de Desarrollo Humano (DH)

26

Muy satisfactorio

R21. Expertos e investigadores del Banco Mundial y sus países clientes han aplicado cada vez más métodos para medir el impacto que tienen los programas seleccionados en términos de resultados de DH. Responsables del Banco Mundial y sus países clientes están participando cada vez más en el diseño y la conducción de estos estudios.

Muy Satisfactorio

Fundamento o evidencia: el SIEF financió 55 estudios (véase tabla 2), cuando la meta era 5016; además se cuenta con la evidencia de las respuestas a la encuesta de los LET (véase también los ejemplos en la última sección en este capítulo). Estudio de seguimiento (véase Cuadro A)

R22. Directores de áreas seleccionadas relacionadas con el DH perstan cada vez más apoyo a la evaluación del impacto de sus programas.

Muy Satisfactorio

Fundamento o evidencia: tabla 3 y entrevistas.

R23. Los responsables de formular políticas y directores de los países donantes están considerando la aplicación de métodos de EI para medir el impacto de algunos de sus programas de DH.

Satisfactorio

Fundamento o evidencia: respuestas a la encuesta de los LET y entrevistas.

Conclusión sobre el apoyo a las EI: SIEF proporcionó apoyo valioso para la aplicación de la EI en programas de desarrollo para el DH, y excedieron sus metas.

Recomendación: dada la brecha aún significativa en la EI sería importante ampliar el trabajo realizado por SIEF con el objeto de ampliar su alcance. Para este fin, se podría retomar la experticia en EI disponible, otorgada por SIEF, así como los recursos materiales creados por SIEF para desarrollar la capacidad de EI.

16 De hecho, en el Anexo I del Contrado de Administración del Fondo Fiduciario se indicaba cada año que el Fondo Fiduciario respaldará al menos 5 evaluaciones de impacto rigurosas (con una meta de 15 evaluaciones en el periodo de 3 años),

27

Difusión de los hallazgos de SIEF y fomento del acceso al conocimiento

– Objetivo 3. Difundir los hallazgos de SIEF, y promover el acceso al conocimiento respecto al impacto de los programas de DH

Satisfactorio

R31. Expertos e investigadores en evaluación en áreas seleccionadas relacionadas con el DH utilizan la evidencia proporcionada por las publicaciones de SIEF para su trabajo de investigación; comparten conocimiento por medio de las comunidades de práctica de SIEF para diseñar o para progresar en su investigación, y utilizar recursos financiados por SIEF (publicaciones, instrumentos, sitio web) para diseñar o perfeccionar su investigación.

Satisfactorio

Fundamento o evidencia: se muestran ejemplos en los últimos párrafos de esta sección. Existe evidencia adicional en las respuestas de los LET en las encuestas y en las entrevistas. La última sección de este capítulo proporciona algunos ejemplos (como los casos de México, Burkina Faso y Nigeria en el proyecto ampliado de control del paludismo).

R32. Responsables del Banco Mundial y sus países clientes toman en consideración la evidencia mostrada en las publicaciones de SIEF para explorar los cambios posibles respecto a los tipos de procesos de gestión que podrían aumentar el impacto de sus programas; comparten experiencias a través de las comunidades de prácticas de SIEF y utilizan algunos de los recursos otorgados por SIEF para aumentar el impacto de sus programas

Satisfactorio

Fundamento o evidencia: En la última sección de este capítulo se muestran algunos ejemplos (los casos de evaluaciones sobre programas de prevención del VIH/SIDA de Brasil, Malaui y Tanzania) . Existe evidencia adicional en las respuestas de los LET respecto a las encuestas y en las entrevistas.

R33. Directores de las oficinas del Banco Mundial y de los países cliente están utilizando la evidencia proporcionada por SIEF con el objetivo de cambiar el enfoque de sus programas hacia acciones que tengan un impacto mayor en el desarrollo.

Satisfactorio

Fundamento o evidencia: respuestas de los LET respecto a la encuesta y en las entrevistas.

R34. Los responsables de formular políticas son conscientes de la existencia de un cuerpo de evidencias para una mejor toma de decisiones en áreas que tengan efecto en el DH basado en el impacto de los programas.

Medianamente satisfactorio

Fundamento o evidencia: Las notas E2P son instrumentos útiles para que los responsables de formular políticas sean conscientes de la existencia de evidencias relevantes, pero al momento de realizar este informe de evaluación no se encuentran en el sitio web de SIEF y no existe evidencia de que sean utilizadas por los

28

responsables de formular políticas17. Por otro lado, los siguientes párrafos de esta sub-sección se refieren a los productos de SIEF que han sido utilizados (y que podrían ser utilizados incluso más) para la difusión de resultados de EI.

Notas de políticas", “Evidencias para Mejores Políticas (E2P)": El SIEF ha brindado apoyo a la elaboración de esta serie de notas de políticas, para difundir los resultados de EI en el área de Desarrollo Humano. El primer apunte E2P se publicó en septiembre de 2010, y se redactaron 11 notas E2P hasta febrero de 2012 (el anexo iv incluye todos los títulos). Las últimas 7 notas (es decir, aquellas publicados desde marzo de 2011) reconocen explícitamente el apoyo otorgado por el SIEF. Este es un instrumento de difusión valioso que facilita el proceso de entregar los resultados de la investigación y de la evaluación del impacto a los responsables de formular políticas. La información es presentada en una forma agradable para el lector. Una posible limitación de algunas de estas notas es que, a pesar de que sus mensajes corresponden frecuentemente a estudios de casos únicos, son enmarcados de forma que el lector puede no darse cuenta de que su validez externa es limitada.

Libros: Los resultados de la evaluación de impacto han sido publicados en los siguientes libros: “Transferencias Monetarias Condicionadas: Reduciendo la pobreza actual y futura ” (el SIEF financió su traducción al español), "Making Schools Work: New Evidence on Accountability Reforms" [Cómo lograr que las escuelas funcionen: Nuevas evidencias de reformas de rendición de cuentas] y “No small matter: The Impact of Poverty, Shocks, and Human Capital Investments in Early Childhood Develop [“No es un asunto sin importancia: el impacto de la pobreza, los shocks y las inversiones en capital humano en el desarrollo de la infancia temprana”].

Además, se elaboró un manual de capacitación para la evaluación de impacto titulado La evaluación de impacto en la práctica, que está disponible en inglés, español y francés. Este libro ha obtenido críticas positivas en la revista Journal of Economic Literature de la Asociación Estadounidense de Economía (septiembre 2011). La descarga de este manual es gratuita y se puede encontrar con Google o cualquier otro buscador, o directamente en www.worldbank.org/ieinpractice. En el mismo sitio web se encuentra un conjunto completo de herramientas como presentaciones PowerPoint y videos con los contenidos básicos. El libro se encuentra en inglés, español y francés. Este material puede ser utilizado por las personas que no puedan asistir a los talleres regionales. Este libro, como indica el Director del Centro de Evaluación de Políticas de Desarrollo en el Instituto de Estudios Fiscales del Reino Unido, proporciona "una pauta accesible, integrada y clara para la evaluación de impacto".

Otras publicaciones: Además de los apuntes y libros en materia de políticas, los equipos de evaluación de impacto apoyados por SIEF han elaborado 25 documentos y artículos de investigación.

17 Nota del SIEF: en el momento de realizarse esta traducción las notas de políticas E2P están disponibles en la pagina web del SIEF: www.worldbank.org/SIEF

29

Presentaciones: SIEF ha respaldado a más de 47 presentaciones en conferencias internacionales y otros foros de discusión como una forma de compartir y divulgar el conocimiento.

Cobertura mediática: asimismo, como se menciona en la nota al pie de la tabla 1, algunas publicaciones prestigiosas e influyentes, como las revistas The Lancet, The Economist, Journal of Economic Literature, y periódicos como The Financial Times y The Wall Street Journal han mencionado los resultados producidos con los fondos del SIEF.

Tabla 5 Tipo de producto proporcionado por las EI financiadas por SIEF

Tipos de productos Número

Notas conceptuales 47

Encuestas de línea de base 10

Informes de EI (sin publicar) 12

Artículos o documentos de EI (publicaciones)

25

Libros (o capítulos de libros) 4

En el Anexo iii se puede encontrar información detallada sobre los productos proporcionados por las EI financiadas por SIEF. Es importante mencionar que, además de los productos incluidos en la tabla 5, las evaluaciones de impacto financiadas por SIEF han generado datos útiles no solo para la evaluación, sino que también para el diseño de nuevas intervenciones. Además, los bases de datos se han incorporado al catálogo de micro datos del Banco Mundial para facilitar su documentación y acceso.

Sitio web : el sitio web no está actualizado (por ejemplo, no se han mencionado los últimos talleres realizados en 2010, que como se presenta en la tabla 4, se han realizado 3 talleres adicionales desde entonces); no se incluye información detallada sobre las EI que fueron implementadas (prácticamente ninguno de los productos incluido en la tabla 5 se muestran en el sitio web). En la actualidad, el sitio solo muestra parte de la información general sobre SIEF, lo que no es suficiente como para que este sitio funcione como un portal en donde se comparte información sobre las EI financiadas por SIEF. A pesar de que es importante que el sitio haya sido traducido al español, el sitio en español presenta un problema adicional pues la primera página tiene un diseño borroso. Por último, su URL es algo complicado y largo:http://web.worldbank.org/WBSITE/EXTERNAL/EXTABOUTUS/ORGANIZATION/EXTHDNETWORK/EXTHDOFFICE/0,,contentMDK:23150708~menuPK:6508083~pagePK:64168445~piPK:64168309~theSitePK:5485727,00.html

30

Conclusión sobre la difusión y promoción del acceso al conocimiento: SIEF ha producido material valioso que ha sido divulgado principalmente por diferentes medios que no incluyen internet. El sitio web del SIEF no está actualizado ni completo y no ha tenido una función útil en la divulgación del conocimiento generado por SIEF. Existen oportunidades para mejorar en esta área18.

Recomendaciones

Uno de los principales medios para compartir el conocimiento generado por el programa debería ser la creación y mantenimiento de un sitio web actualizado, completo y apto para todo usuario que contenga información del programa sobre evaluaciones de impacto y los resultados obtenidos. Con el fin de garantizar que el sito web cumpla esta función, valdría la pena llevar a cabo revisiones periódicas del sitio y asignar adecuadamente los recursos para su diseño, mantenimiento y revisión. Asimismo, sería conveniente estudiar la posibilidad de crear un sitio web independiente (por ejemplo, www.sief.org), que no estuviera sujeto a las limitaciones derivadas por pertenecer al sitio del Banco Mundial (www.worldbank.org), pues se trata de un programa de asociación financiado por un donante. El sitio web del programa podría tener una intranet para supervisar el programa de manera interna y para que sea más fácil compartir la información acerca de los procesos que se deben seguir y los productos intermediarios.

Un enfoque proactivo respecto a la divulgación (y no tanto a la elaboración de planes de divulgación para cuando se hayan completado las evaluaciones) podría incluir, durante la implementación de las evaluaciones, un conjunto de actividades (como videos y fotografías) que, con un costo marginal muy bajo, podrían realzar significativamente la calidad de la divulgación y al mismo tiempo quedar como material de capacitación.

El uso del SIEF como plataforma para promover la Gestión para Resultados de Desarrollo

– Objetivo 4. Utilizar SIEF como una plataforma para promover la Gestión para Resultados de Desarrollo (GpRD).

Satisfactorio

R41a. Los expertos e investigadores en evaluaciones de países cliente lideraron el diseño y la conducción de algunos estudios de EI.

Satisfactorio

Fundamento o evidencia: Las encuestas a los LET ofrecen evidencia, complementada con la información que se incluye en los informes de EI.

R41b. Los ejecutivos de países clientes del Banco Mundial lideraron la gestión de algunos estudios de EI, e identificaron programas con potencial para ser evaluados en términos del impacto.

Medianamente satisfactorio

18 Nota del SIEF: en el momento de la finalización de esta traducción, el sitio web del SIEF ha sido actualizado y mejorado, incorporando la información y sugerencias señaladas por el autor del informe.

31

Fundamento o evidencia: La forma de proceder de los fondos fiduciarios (FF) en el Banco Mundial limitaron el alcance al cual los responsables de países clientes del Banco Mundial podrían liderar la gestión de estudios de EI financiados por los FF. Sin embargo, existen casos en los cuales los países clientes han identificado programas con potencial para las EI, como se muestra en las entrevistas.

R41c. Los directores y responsables de formular políticas de países clientes del Banco Mundial sugieren programas para ser evaluados por SIEF, de acuerdo con sus prioridades estratégicas de desarrollo; y considerar la posibilidad de integrar periódicamente evaluaciones de impacto en sus organizaciones.

Medianamente satisfactorio

Fundamento o evidencia: igual que R41b.

R42a. Los expertos e investigadores del Banco Mundial comparten recursos para elaborar estudios de EI y divulgar sus resultados. Los expertos en EI del Banco Mundial y sus países clientes, además de otras organizaciones y países, comparten su experiencia y desarrollan esquemas informales de normalización.

Satisfactorio

Fundamento o evidencia: los talleres proveen un foro para compartir recursos, que ayudan a elaborar estudios de EI, y conferencias de clúster (o conferencias en las cuales líderes de clúster participan) los que se utilizaron, entre otros objetivos, para divulgar los resultados de EI y las experiencias compartidas. Existen algunos casos, como la evaluación de impacto del programa de agua potable y saneamiento en Paraguay y la del Programa Juventud y Empleo en República Dominicana, en los que los equipos de EI que reci vieron apoyo del SIEF se coordinan con otras organizaciones internacionales.

R42b. Responsables del BM desarrollan mecanismos de coordinación para evitar la duplicación de esfuerzos entre los estudios de EI que gestionan. Responsables del Banco Mundial y de países clientes, junto a responsables de otras organizaciones internacionales y países, consideran la posibilidad de diseñar evaluaciones conjuntas.

Satisfactorio

Fundamento o evidencia: igual que R42a y el informe de progreso de DIME.

R42c. Los directores y responsables de formular políticas en el BM siguen apoyando iniciativas de coordinación interna para las EI o para la gestión basada en resultados. Los directores y responsables de formular políticas del BM y de sus países clientes, junto a otras organizaciones internacionales, promueven esquemas de normalización de las EI y la gestión basada en resultados.

Satisfactorio

Fundamento o evidencia: Participación en acontecimientos conjuntos con otras organizaciones, centrados en la evaluación de impacto, como la Conferencia en Cuernavaca de 3ie y las reuniones de Redes de Iniciativa de Evaluación de Impacto (Network of Impact Evaluation Initiatives, NONIE). Informe de progreso de la DIME.

32

R43a. Expertos e investigadores en evaluaciones de países clientes del BM contribuyen, a través de las comunidades de prácticas promovidas por el SIEF, a diseñar e implementar planes de gestión basada en resultados.

Satisfactorio

Fundamento o evidencia: Expertos e investigadores en evaluaciones de países clientes del BM participan en la capacitación de evaluación de impacto de SIEF (véase tabla 4). La creación de una cadena de resultados fue uno de los componentes clave en la capacitación de evaluación de impacto de SIEF. El estudio de seguimiento de los talleres del SIEF evidenció que un 74% de las personas que contestaron la encuesta han elaborado cadenas de resultados para sus proyectos desde que participaron en el taller, y un 97% manifestaron que están de acuerdo con que la gestión para resultados puede mejorar el grado en que se logran los objetivos de sus organizaciones.

R43b. Por medio de las comunidades de prácticas promovidas por el SIEF, los ejecutivos de organizaciones internacionales y de países, en especial del BM y sus países clientes, contribuyeron al diseño e implementación de los planes de gestión para resultados.

Satisfactorio

Fundamento o evidencia: Los ejecutivos de organizaciones internacionales y de otros países participaron en la capacitación de evaluación de impacto de SIEF (véase tabla 4). La creación de una cadena de resultados fue uno de los componentes clave en la capacitación de evaluación de impacto de SIEF. En el estudio de seguimiento del taller de SIEF se dejó en evidencia que un 74% de las personas que contestaron la encuesta han elaborado cadenas de resultados para sus proyectos desde que participaron en el taller, y un 97% manifestaron que están de acuerdo con que la gestión para el desarrollo de resultados puede mejorar el grado en que se logran los objetivos de sus organizaciones.

R43c. Los directores y responsables de formular políticas de organizaciones internacionales y de países en desarrollo, y especialmente del BM y de sus países cliente, consideraron la posibilidad de centrar sus esfuerzos para lograr resultados. El BM y los miembros de países donantes del Comité Directivo de SIEF analizaron la información mostrada en los informes de seguimiento y de evaluación de SIEF, con el fin de considerar la posibilidad de redactar una proposición para extender el SIEF, de acuerdo con el marco de gestión basada en resultados.

Satisfactorio

Fundamento o evidencia: el lanzamiento reciente del SIEF II (multidonante) proporciona un marco apropiado para la proposición de extender el SIEF original que se guía según el marco de gestión basado en resultados.

Conclusión: gracias a diferentes iniciativas, SIEF ha sido utilizado para promover la GpRD.

Recomendación: con el objeto de destacar el uso de SIEF como plataforma para promover la gestión basada en resultados, sería importante impulsar las comunidades de prácticas regionales en materia de GpRD, http://www.mfdr.org/CoP/index.html, además del sector y las comunidades de práctica de EI.Ejemplos del uso de EI apoyadas por el SIEF y de su influencia en las políticas públicas.

33

A pesar de que una evaluación completa de la influencia en las políticas podría necesitar estudios de caso, y con la salvedad que podrían existir otros factores que influencien las políticas, es útil ofrecer algunos ejemplos del uso de las EI respaldadas por el SIEF y de su influencia en las políticas públicas, de acuerdo con las encuestas a los LET.

Pago por desempeño en salud:

En el caso de la EI del Plan Nacer, en Argentina, respaldado por SIEF, los resultados preliminares de evaluación de impacto han ayudado a informar la fase siguiente del programa y han estimulado la expansión del programa a otras personas en la población y a nuevos tipos de servicios de salud. Algunas innovaciones introducidas por la EI de esta intervención, que se presentan en el cuadro C, podrían ser útiles en otros países.

Cuadro C. Algunas contribuciones de la EI del Plan Nacer de Argentina, apoyado por el SIEF

Participación importante de los responsables de formular políticasLos secretarios de salud provinciales (dentro del país) participaron en el proceso de discusión de un "programa de evaluación” (que incluya las preguntas de evaluación) y una presentación de los resultados de evaluación.

Las encuestas de línea de base como una adición importante a las estadísticas confiables en el sector de saludLas muestras representativas a nivel provincial permitieron aprovecharon las nuevas fuentes de datos (instituciones, proveedores) que, además, pueden ser utilizadas (y están siendo utilizadas) como un aporte al momento de tomar de decisiones durante la implementación. Las actividades de evaluación del Plan Nacer han aumentado la calidad y la cantidad de los datos de salud a nivel nacional y regional 19, lo que puede conducir al diseño e implementación de intervenciones más eficaces en el sector salud.

Asegurar información confiable por medio de auditorías de la calidad de los datosLos sistemas de pago por desempeño pueden crear incentivos para que el informe de resultados sea manipulado, con la consecuencia de "estafar" el sistema. La introducción de auditorías externas para verificar la calidad de los datos en la evaluación de impacto del Plan Nacer puede servir para impedir la manipulación del informe y alertar cuando ocurra un problema.

El desarrollo de habilidades de evaluación a nivel provincial (dentro del país) La participación de colegas provinciales en el equipo de evaluación proporcionó oportunidades para aprender por medio de la práctica a nivel provincial, además de satisfacer la demanda de evaluación por parte de los responsables de alto nivel. Fuente: entrevistas con el personal de Plan Nacer que participó en su evaluación de impacto.

19 Este es un aspecto importante que se debe considerar cuando se evalúan los costos y beneficios de las evaluaciones de impacto. Otro ejemplo: es el caso de la EI de la malaria en Nigeria, donde lo que comenzó como una actividad de EI contribuyó a mejorar la información sobre la disponibilidad de los servicios de salud a nivel de cada estado.

34

Transferencias Monetarias Condicionadas

En México, los resultados provisionales de la EI ayudaron a desarrollar una estrategia de respaldo para los colegios más desfavorecidos en el país. Los resultados revelan que es necesario un cambio de políticas que se oriente más a brindar ayuda a los colegios del país.

Burkina Faso: los resultados de EI del proyecto piloto de transferencias monetarias condicionadas y no condicionadas son utilizados para la definición de programas de redes de seguridad en Burkina Faso y en otros países en la región.

Control de la malaria

Cuadro D El caso de una EI del Proyecto de Refuerzo en la Lucha contra la Malaria

En concordancia con TF095606, SIEF asignó un total de USD 183.936,06 a la evaluación de impacto del proyecto de Refuerzo en la Lucha contra la Malaria (MCBP) en Nigeria. Este proyecto forma parte de una serie de evaluaciones de impacto coordinadas por la Iniciativa para la Evaluación de Impacto de la Malaria (MIEP) y DIME. El propósito de estas evaluaciones es ayudar a los países afectados por la malaria a: desarrollar programas basados en evidencias para mejorar la salud y los resultados socio-económicos; desarrollar su capacidad de diseñar y gestionar programas de políticas basadas en evidencias; y a contribuir al cuerpo global de conocimientos sobre las intervenciones y políticas para el control eficaz de la malaria.

Los recursos de SIEF fueron claves para el progreso de esta importante evaluación, y han sido asignados en pro del objetivo de EI. Los recursos del SIEF contribuyeron a:

i) realizar un censo de las instalaciones públicas de salud primaria, PMV, laboratorios comunitarios (importantes para comprender la disponibilidad de servicios de diagnóstico a nivel de la comunidad), comunidades y grupos emparentados en los siete estados del proyecto (tres de los cuales han estado participando en las actividades de EI);

ii) analizar datos preliminares para entregar un informe de asignación aleatoria;

iii) desarrollar la capacidad de EI de los estados;

iv) diseñar modificaciones;

v) apalancar aproximadamente USD 1 millón de fondos adicionales del Fondo de Desarrollo Social de Japón y del presupuesto del proyecto para respaldar las actividades de EI; y

vi) mantener un compromiso continuo a nivel federal con el Programa Nacional de Control de Malaria (Ministerio Federal de Salud) y a nivel de estado con el Ministerio Estatal de Salud de cada EI del estado, con el fin de maximizar la probabilidad de que los resultados se tomen en cuenta durante la formulación de políticas.

35

Cuadro E Cambios en las políticas desencadenados por la EI de la malaria en Zambia

Los resultados de ambas evaluaciones en las intervenciones del sector público y de la intervención en el sector privado desencadenaron cambios de políticas. Tomando en cuenta la repercusión significativa del nuevo método de suministro público, Zambia decidió mejorar el sistema nacional de suministro directo. Se espera que esta mejora permita que, para el 2015, haya 16.000 fallecimientos menos de niños menores de cinco años relacionados con la malaria.

Por otro lado, los resultados de la intervención en el sector privado demostraron que existe una función vital que pueden cumplir los proveedores privados para reducir los efectos nocivos de la malaria No obstante, la amplia implementación de este enfoque requiere una mayor reforma regulatoria. La Autoridad Nacional de Regulación de Medicamentos (Pharmaceutical Regulatory Authority, PRA) ha reconocido las limitaciones del marco regulatorio actual, y se espera que se presente una enmienda a la Ley de Regulación de Medicamentos en la próxima sesión del Parlamento, como un proyecto de ley en esta materia para el 2012, con el propósito de hacer un registro y certificación de las farmacias en el país.

Programas para mercados activos de trabajo y oportunidades laborales para jóvenes

En República Dominicana, donde el desempleo entre los jóvenes es un asunto importante, el SIEF financió, en colaboración con el BID, una evaluación de impacto en 2008 que permitirá medir el impacto del programa en los resultados de los mercados laborales, así como en las aptitudes interpersonales y en comportamientos de reisgo, distinguiendo la importancia de la capacitación técnica y vocacional. Aunque la recolección final de datos será realizada en la segunda mitad del año 2012, los hallazgos preliminares de las encuestas longitudinales y los datos de seguimiento recolectados indican que la capacitación ha tenido un impacto positivo en los niveles de ocupación y en los ingresos de las mujeres. La capacitación en destrezas de vida es al menos tan importante como la capacitación en destrezas técnicas, y puede ser más rentable que éste último. La evaluación de impacto llevó al gobierno de República Dominicana a volver a diseñar el programa, en el cual se duplican las horas dedicadas a la capacitación de destrezas de vida y se aumentan las prácticas laborales orientadas a actividades más competitivas, como servicios de carácter comercial, restaurantes y hoteles. Estas mejoras han sido incorporadas al nuevo diseño del programa aprobado para el préstamo del BID de USD 20 millones extendido en julio de 2011.

Uganda Evaluación de impacto del Programa de Oportunidades para la Juventud (Youth Opportunities Program, YOP): un análisis de referencia descriptivo sirvió de ayuda para el diálogo entre los ejecutivos del programa y los funcionarios del gobierno, especialmente en lo que se refiere al género de los participantes en el programa y a algunos resultados en términos de gobernanza. El hallazgo de que un tercio de los miembros del grupo eran mujeres dio lugar a un debate en cuanto al interés que podrían generar los diferentes tipos de programas de capacitación vocacional en grupos mixtos en cuanto a género. Asimismo, dio paso a la discusión en relación a posibles alteraciones de las normas sobre el género de los participantes, para así crear nuevos programas de capacitación vocacional.

36

Responsabilidad con respecto a la educación

En el estado de Pernambuco, Brasil, la investigación sobre la EI, financiada por SIEF, demostró que el impacto positivo del programa de bono para los profesores había sido un factor importante al momento de persuadir a la Secretaría de Pernambuco para que mantuviera el programa. Asimismo, inspiró a la secretaria de Pernambuco, y a varios otros estados y municipalidades brasileños, a impulsar programas similares de bonos para profesores/as. El trabajo de observación de clases financiado por SIEF influyó en la decisión del gobierno de Pernambuco de continuar con la realización de observaciones anuales con un panel de colegios. Esto es una forma de seguimiento del impacto continuo del programa de bonos en los esfuerzos de los profesores y su eficacia en las clases.

En el estado de Andhra Pradesh, India, el SIEF apoyó la evaluación del impacto de tres métodos para estimular una enseñanza más eficaz. Estos incluían la entrega de bonos a los profesores, basados en el rendimiento de los estudiantes, o la entrega de capital a los colegios para comprar provisiones o para contratar un profesor adicional. En el estudio se incluyeron 500 escuelas primarias rurales dirigidas por el gobierno. La iniciativa de pagar un bono adicional a los profesores si sus estudiantes obtenían buenos resultados resultó ser muy eficaz: sus estudiantes tuvieron un resultado mejor en las pruebas de rendimiento que otros estudiantes.

Prevención del VIH/SIDA

Malawi y Tanzania: los programas experimentales de evaluación de impacto no solamente promueven el conocimiento de las condiciones en los programas de transferencias monetarias condicionadas, sino que también aportan información a los responsables de políticas al promover el conocimiento sobre parámetros clave para los programas de transferencias monetarias, como el tamaño de la transferencia y la identidad del receptor/a en el hogar. Asimismo, éstos sirvieron para informar a los responsables de políticas del potencial de los programas de transferencias monetarias para retrasar el embarazo o matrimonio en mujeres adolescentes. El experimento también sirvió como prueba de que los programas de protección social pueden reducir el riesgo de infección de VIH entre las mujeres jóvenes en África subsahariana. Los gobiernos de Malawi y Tanzania están diseñando esquemas de becas o trasferencias monetarias condicionadas para niñas en edad escolar, basados parcialmente en los hallazgos de este estudio.

Otras áreas temáticas

Tanzania: la recolección de datos de referencia financiada por el SIEF para la Fundación de Acción Social de Tanzania (Tanzania’s Social Action Fund, TASAF), un proyecto de desarrollo comunitario que se implementa en toda Tanzania, fue utilizada para la evaluación y para preparar un documento específico que influye en cómo será diseñada la próxima fase de TASAF (TASAF III) entre el Banco Mundial, TASAF y el gobierno de Tanzania. Además, los hallazgos de impacto preliminares influyen en el diseño de componentes específicos de TASAF III y otros programas gubernamentales orientados a la reducción de la pobreza.

Sudáfrica: el Departamento de Asentamientos Humanos ha estado construyendo casas desde 1994 para las comunidades de bajos recursos. Hasta el año 2008, la prioridad ha sido medir el

37

rendimiento (el número de casas que se ha completado), con un énfasis en los paquetes completos de subsidios (casa, posesión, servicios, etc) más que en la modernización gradual. Con la introducción de las evaluaciones de impacto financiadas por SIEF, los indicadores de desempeño se han movido de rendimiento a resultados e impacto, y estos indicadores están siendo incluidos en el marco actual de seguimiento y evaluación a nivel local. Por lo tanto, el respaldo para las EI continuo ha contribuido a mejorar las medidas de desempeño que incorporan un enfoque más holístico frente al desarrollo. El gobierno también está considerando enfocarse más en la modernización gradual (y no en subsidios en bloque), en el cual las EI han proporcionado algunas perspectivas que sirven de ayuda para este proceso. Los resultados de las EI han servido para proporcionar evidencias sobre metodologías eficaces para modernizar los asentamientos humanos y sobre las consecuencias de diferentes modelos de modernización. Los resultados han abierto un debate acerca de la sostenibilidad financiera de los proyectos y de las consecuencias económicas para las comunidades concretas. Como tal, se ha considerado un fortalecimiento de los componentes de alfabetización financiera para la modernización estándar con le propósito de salvaguardar las comunidades contra una mala gestión financiera del hogar. A pesar de que no se han impuesto cambios de políticas, los resultados cada vez cobran más importancia en las discusiones sobre políticas. Incluso, el ministerio ha solicitado proporcionar sugerencias sobre las mejores maneras de poner en funcionamiento algunas de las recomendaciones presentadas en el informe de EI.

5. Conclusiones y recomendaciones

En el capítulo anterior se incluyó un conjunto de conclusiones y recomendaciones luego de la presentación de cada objetivo estratégico y su clasificación. Este capítulo final consiste en conclusiones y recomendaciones más generales.

Conclusiones

El Fondo Español para la Evaluación de Impacto hizo una contribución importante al desarrollo de evidencias fiables sobre el impacto de las intervenciones de desarrollo humano en diferentes áreas temáticas, tales como las reformas de pago por desempeño en salud, las transferencias monetarias condicionadas, el control de la malaria, los programas de mercados activos de trabajo y de oportunidades laborales para jóvenes, la rendición de cuentas en educación básica, la prevención del VIH/SIDA y el desarrollo de la infancia temprana. Además, el SIEF contribuyó de manera significativa a desarrollar y consolidar la práctica de la evaluación de impacto en el Banco Mundial y en países en desarrollo. A pesar de que estas actividades se llevaron a cabo en el contexto de países en desarrollo y en transición, también es posible que sean de interés para España. Más que ser interesante por sus programas y proyectos de cooperación internacional, para España ésta es una fuente de información útil para el diseño de su políticas nacionales (por ejemplo, los resultados de los programas de capacitación laboral y oportunidades laborales para jóvenes20) y para fortalecer su capacidad de evaluación. Por el otro lado, el SIEF ha tenido una menor participación en las revisiones sistemáticas de la evidencia generada por las evaluaciones de impacto, con excepción de una serie de libros y la organización de conferencias de clúster.

20 Un ejemplo de un producto generado por SIEF que podría ser útil para España según lo que se indica en este párrafo es http://siteresources.worldbank.org/EXTHDOFFICE/resources/5485726-1239047988859/5995659-1239048041095/cf4_zMisc_ALM_SummaryNotes_SIEF-IE-on-ALMP_Jan5_PA_110121.pdf

38

Se creó un proceso de revisión de propuestas entre pares, llevado a cabo por expertos y financiado por SIEF, como mecanismo de control de calidad. Este proceso se llevó a cabo con un equilibrio entre el rigor y la flexibilidad, con un énfasis en la transparencia.

El SIEF logró apalancar recursos adicionales gracias al trabajo conjunto con otras fuentes de financiamiento. Sin embargo, la combinación de estos fondos vuelve prácticamente imposible distinguir la contribución del SIEF de la de otros donantes.

El modelo clúster del SIEF ha demostrado ser un enfoque útil y replicable21. La asignación de recursos a los clústeres temáticos de EI, en lugar de asignarlos a EI individuales, ha facilitado la consolidación de las comunidades de prácticas en EI. El SIEF contribuyó al fortalecimiento de las comunidades de prácticas en diferentes áreas del DH por medio de capacitaciones en el lugar de trabajo, talleres de capacitación y acciones de divulgación. Este fortalecimiento ha sido mayor en algunos clústers, tales como en las reformas de pago por desempeño en salud y de mercados activos de trabajo y oportunidades laborales para jóvenes. Además, hubo una menor difusión del conocimiento entre clústers, que se realizó principalmente en forma de talleres regionales de EI y por medio de las reuniones semestrales (en un principio trimestrales) organizadas por el equipo de gestión del programa SIEF.

El enfoque en la capacitación introdujo un formato innovador de doble itinerario, que coincide con las diferentes demandas de los responsables de la elaboración de políticas, los gerentes de evaluación y los especialistas en evaluación. Este enfoque fortalece tanto la demanda como la oferta de evaluación de impacto a nivel de país, y también la Red de Desarrollo Humano del Banco Mundial, donde tuvo una función catalizadora. Por otro lado, el SIEF no ha fortalecido las habilidades de evaluación del donante español (que fue uno de los objetivos incluidos en el acuerdo cuando se estableció el SIEF), a excepción del taller de evaluación de impacto realizado en Madrid y de las asesorías técnicas proporcionadas a equipos de proyectos financiados por la cooperación española que estaban interesados en llevar a cabo EI. El libro "La evaluación de Impacto en la Práctica", elaborado por SIEF y traducido al español y al francés, es un recurso muy valioso que puede ser utilizado para desarrollar capacidades de evaluación de impacto en los países en desarrollo, en el Banco Mundial y en España.

Si se aplica una escala de seis puntos para los resultados (muy satisfactorio, medianamente satisfactorio, medianamente insatisfactorio, insatisfactorio y muy insatisfactorio) a la implementación de las cuatro metas del SIEF, combinando evidencias de diferentes fuentes (encuesta a los LET, revisión de documentación y el sitio web, entrevistas), las calificaciones son las siguientes (en el capítulo 4 se encontrarán calificaciones para cada resultado acordado que corresponde a cada una de las metas diferentes y los argumentos y evidencias tras las calificaciones): Objetivo 1. Desarrollar capacidades para mejorar la comprensión y el uso de técnicas de Evaluación de Impacto (EI) Muy Satisfactorio; Objetivo 2. Respaldar la instauración de técnicas de evaluación de impacto en programas de desarrollo seleccionados para mejorar los

21 El enfoque de clúster para la evaluación de subvenciones fue introducido por Kellogg Foundation [Fundación Kelloggs] en la década de 1990, especialmente para pequeñas subvenciones. Algunas lecciones aprendidas de esta experiencia podrían ser útiles en SIEF II. Véase http://www.hfrp.org/evaluation/the-evaluation-exchange/issue-archive/evaluation-in-the-21st-century/cluster-evaluation http://www.wkkf.org/knowledge-center/resources/2010/W-K-Kellogg-Foundation-Evaluation-Handbook.aspx

39

resultados de Desarrollo Humano (DH): Muy satisfactorio; Objetivo 3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento sobre el impacto de los programas de DH, Satisfactorio; y Objetivo 4. Utilizar el SIEF como plataforma para promover la Gestión para resultados de desarrollo (GpRD): Satisfactorio.

Un indicador del éxito del SIEF es que, al aproximarse su fin, se estableció en el Banco Mundial un nuevo fondo fiduciario Multidonante para evaluaciones de impacto, con un aporte inicial del Departamento para el Desarrollo Internacional del gobierno Británico (una fuente secundaria de fondos del SIEF I) de un monto que triplica el financiamiento del SIEF. Además, es interesante que el nuevo fondo mantiene el acrónimo SIEF en inglés (en el cual la "S" ahora significa "Strategic" [estratégico]), lo que es un reconocimiento a la calidad de las operaciones y visibilidad logradas por el Fondo Español para la Evaluación de Impacto. Como se mencionó en la presentación del nuevo SIEF: "se construirá sobre la base del conocimiento e investigación generados por el Fondo Fiduciario para la Evaluación de Impacto".

Recomendaciones

Una nueva fase del SIEF podría centrarse en las revisiones sistemáticas de resultados de EI, al tiempo que se combina la evidencia generada por las EI financiadas por el SIEF con la evidencia de otras EI o estudios. Este cambio permitiría ir más allá de "lo que funciona" (una frase utilizada con frecuencia en las publicaciones del SIEF) para llegar a "lo que funciona, en qué circunstancias y por qué". De esta manera, se estaría fortaleciendo la validez externa y la utilidad de los hallazgos de las EI. Todavía existe un gran porcentaje de EI financiadas por el SIEF que se encuentran en proceso de entrega de resultados finales. A medida se obtengan tales resultados, será necesario y conveniente llevar acabo revisiones sistemáticas de los resultados de la EI.

Mientras más las evaluaciones de impacto estén diseñadas e implementadas para el mismo tipo de intervenciones en diferentes contextos, mayor será la posibilidad de realizar declaraciones en relación a la validez externa (o generalización) de los resultados de la evaluación de impacto.

Valdría la pena también brindar apoyo a evaluaciones innovadoras (que se distinguen de las evaluaciones de intervenciones innovadoras), tales como, por ejemplo, "los procesos selectivos."

Con el fin de aumentar la flexibilidad de un fondo de evaluación de impacto, valdría la pena complementar las convocatorias de propuestas periódicas con una ventana que se mantenga siempre abierta para aportar pequeñas contribuciones al diseño de las evaluaciones (una especie de capital semilla), lo que podría cultivar la cartera de proposiciones.

En un nuevo fondo, sería conveniente promover una competencia más amplia para estos fondos, para así facilitar personal que no sea del Banco pueda participar con más facilidad en los equipos seleccionados en la convocatoria de propuestas. Esto podría complementarse con la participación de académicos y responsables de las políticas de desarrollo, que no son del Banco, como asesores externos del comité técnico, y de esta forma garantizar una percepción de total transparencia y atraer a una fuente de conocimientos más amplia.

Compartir la experiencia y el conocimiento adquirido en los clústeres temáticos a durante las reuniones periódicas, o durante los foros, podría respaldar el desarrollo de una comunidad de prácticas las evaluaciones de impacto, al tiempo que se encamina hacia economías de alcance.

40

Un medio adicional para compartir el conocimiento sería un sitio web adecuado (como se indica en la siguiente recomendación).

Uno de los principales medios para compartir el conocimiento generado por el programa debería ser la creación y mantenimiento de un sitio web actualizado, completo y apto para todo usuario que contiene información del programa sobre evaluaciones de impacto y los resultados obtenidos. Con el fin de garantizar que el sitio web cumpla esta función, valdría la pena llevar a cabo revisiones periódicas del sitio y asignar adecuadamente los recursos para su diseño, mantenimiento y revisión. Asimismo, sería conveniente estudiar la posibilidad de crear un sitio web independiente (por ejemplo, www.sief.org), que no estuviera sujeto a las limitaciones derivadas por pertenecer al sitio del Banco Mundial (www.worldbank.org), pues se trata de un programa de asociación financiado por un donante. El sitio web del programa podría tener una intranet para supervisar el programa de manera interna y para que sea más fácil compartir la información acerca de los procesos que se deben seguir y los productos intermediarios.

Durante la implementación de evaluaciones de impacto, un enfoque proactivo frente a la divulgación podría incluir un conjunto de actividades (tales como videos y fotografías) que, con un costo marginal muy bajo, podrían mejorar significativamente la calidad de la divulgación y al mismo tiempo quedar como material audiovisual de capacitación.

En relación al desarrollo de la capacidad para la evaluación de impacto, valdría la pena complementar los exitosos talleres de capacitación de evaluación de impacto diseñados e implementados por el SIEF, con el apoyo al desarrollo de capacidades institucionales para la evaluación de impacto independiente a nivel nacional.

Asimismo, valdría la pena promover un mayor compromiso con las comunidades de evaluación ajenas al Banco Mundial, tales como la Asociación Americana de Evaluación, la Sociedad Europea de Evaluación, la Asociación Internacional de Evaluación del Desarrollo, el Grupo de evaluación de las Naciones Unidas y los Grupos de Evaluación y Cooperación de los BDM. Se podrían divulgar las revisiones sistemáticas y de EI a éstos y se podrían hacer presentaciones en sus conferencias o reuniones para obtener su retroalimentación.

Finalmente, el conocimiento generado por SIEF podría ser utilizado por el Gobierno de España para enriquecer el diálogo sobre las políticas, en especial en los mercados de trabajo y en el empleo de la juventud, y promover el desarrollo de las capacidades de evaluación de impacto.

41

ANEXOS

Anexo I

Términos de referencia

Informe final del Fondo Español para la Evaluación de Impacto

22 de Noviembre de 2011

Antecedentes

En julio de 2007, el Banco Mundial y el GdE fundaron el Fondo Fiduciario para la Evaluación de Impacto y la Gestión basada en Resultados en los Sectores de Desarrollo Humano o Fondo Español para la Evaluación de Impacto (SIEF). El fin de SIEF es apoyar la Evaluación de Impacto (EI) de programas innovadores para mejorar los resultados del Desarrollo Humano (DH). Su fin ulterior es que las políticas de desarrollo sean más eficaces, gracias al incremento de la base de evidencias que de cuenta del impacto de las acciones que influyen en el DH.

El programa SIEF es gestionado por la Oficina del Economista Jefe para el Desarrollo Humano del Banco Mundial. Los recursos del SIEF respaldan a: (i) Programas de evaluación de impacto prospectivos y rigurosos en 11 sectores elegibles de Desarrollo Humano y Desarrollo Sostenible, y a 72 países en desarrollo elegibles de todas las regiones; (ii) Programas intensivos de capacitación sobre los métodos de evaluación de impacto para las contrapartes de gobierno, el personal del Banco y el personal de las agencias de desarrollo; y (iii) La publicación y difusión de los resultados de evaluación por medio de artículos, estudios meta y materiales informáticos.

El 27 de julio de 2007, en el Acuerdo de Administración entre el Gobierno de España y el Banco Mundial, por medio del cual se estableció el SIEF, se especifica que: “Dentro de los seis (6) meses siguientes a la fecha del desembolso final especificado en el párrafo 10.1, el Banco deberá proporcionar al donante un informe final de las actividades del proyecto"; y que "el Banco implementará un marco de seguimiento y evaluación con el objetivo de evaluar el Fondo Fiduciario, y las actividades, productos y resultados durante su implementación".

El 3 de diciembre de 2009, el Comité Directivo del SIEF confirmó una estrategia basada en resultados, en la cual se determinan los objetivos específicos, los recursos, las actividades, los productos y los resultados esperados del programa. Luego de esta reunión, el equipo de gerencia del SIEF desarrolló un Plan de Evaluación y Monitoreo que incluye un informe final de la evaluación del programa, el cual debe entregarse al finalizar el programa.

Metal principal del informe final de evaluación del programa redactado por el SIEF

La meta del informe es examinar hasta qué punto el SIEF ha logrado sus objetivos:1. Desarrollar capacidades para entender y usar técnicas de evaluación de impacto;2. Respaldar la instauración de técnicas de evaluación de impacto en programas de

desarrollo seleccionados para mejorar los resultados de Desarrollo Humano (DH);

42

3. Divulgar los hallazgos del SIEF, y promover el acceso al conocimiento del impacto de los programas de desarrollo humano;

4. Utilizar el SIEF como una plataforma para promover la gestión para el desarrollo de resultados.

Además de brindar información al donante, el informe final del SIEF tiene como objetivo ser un aporte para una posible continuación o perfeccionamiento para el presente programa y para otros similares; para el Memorando de Término de la Implementación (ICM); y para llevar un registro.

Preguntas de evaluación:

La evaluación abordará las siguientes preguntas sobre el diseño, el proceso y los resultados alcanzados por el SIEF:

Respecto al diseño:- ¿Hasta qué punto el diseño y los recursos del SIEF fueron coherentes con las metas

planteadas?- ¿Hasta qué punto tuvo el SIEF un plan estratégico y de M&E útil y confiable que contribuyó

a fijar prioridades y rastrear el progreso hacia el cumplimiento de sus metas?- ¿Hasta qué punto tuvo el SIEF un plan de divulgación de resultados y conocimiento

compartido útil y confiable?

Respecto al proceso:- ¿Hasta qué punto el modelo de gestión del programa del SIEF (por ejemplo, instrumentos,

recursos económicos, técnicos y humanos; estructura organizacional, flujos de información; toma de decisiones en la gestión) ha sido eficiente en comparación con los resultados obtenidos?

- ¿Hasta qué punto los dirigentes de clúster han contribuido a garantizar la implementación exitosa del programa del SIEF y a promover las comunidades de práctica de la evaluación de impacto en las áreas temáticas claves del programa?

- ¿En qué medida la gobernanza del fondo a nivel del fiduciario contribuyó a la eficiencia y efectividad del SIEF? ¿En qué medida fue útil para construir una asociación eficaz entre el Banco y los donantes? ¿Permitió el Comité Directivo que la gestión del SIEF hiciera una entrega eficaz de los productos y resultados?

- ¿Qué tan transparente fue la asignación de los recursos del SIEF a los equipos de evaluación de impacto?

- ¿En qué medida y en qué forma el programa de gestión de SIEF aumentó o redujo la eficiencia en entregar productos y lograr resultados?

- ¿Qué tipos de mecanismos y procesos de control de calidad se establecieron para garantizar la calidad de la cartera de la evaluación de impacto del SIEF?

- ¿Qué tipo de obstáculos (administrativo, financiero y de gestión) tuvo que enfrentar SIEF y en qué medida afectó la eficiencia?

- ¿En qué medida y en qué formas se utilizaron y fueron útiles los instrumentos de monitoreo del SIEF (informes anuales y semestrales)?

Respecto a los resultados:- ¿En qué medida el programa de SIEF ha logrado alcanzar sus objetivos estratégicos?- ¿En qué medida las actividades de desarrollo de capacidades de SIEF han contribuido a una

mejor comprensión y uso de las evaluaciones de impacto?

43

- ¿En qué medida las actividades de investigación y divulgación de SIEF han contribuido a un mejor acceso al conocimiento sobre el impacto de los programas de Desarrollo Humano?

- Cuando los resultados previstos no fueron logrados, ¿cuáles fueron las principales razones? - ¿Hubo algún resultado imprevisto?- ¿Hay alguna enseñanza en cuanto a cómo el SIEF u otros programas similares podrían haber

obtenido mejores resultados? - Si el programa del SIEF continuara o se modernizara, ¿qué posibles resultados podrían

obtenerse? ¿Qué cambios se podrían recomendar para que sea más eficaz?

Productos y plazos de entrega del programa:

El consultor es responsable de presentar los siguientes documentos a la gerencia del programa de SIEF:1) Esquema y plan preliminar del informe y plantilla de finalización de la evaluación de

impacto para solicitar a los líderes del equipo de evaluación la información requerida para la evaluación. Esta información se debe entregar a más tardar el 15 de diciembre de 2011;

2) Entrevistas realizadas a los miembros de equipo de SIEF, dirigentes de clúster, líderes e investigadores del equipo de tareas de evaluación de impacto, donantes, y funcionarios gubernamentales escogidos, profesionales del desarrollo y expertos en evaluación de impacto de países cliente. Esta información se debe entregar a más tardar la primera semana de febrero de 2012;

3) El informe final. El informe final debe redactarse en 20 o 30 páginas. Además, debe incluir un resumen ejecutivo de no más de 5 páginas que incluya una descripción breve del programa del SIEF, su contexto y la situación actual, el propósito del examen, su metodología y sus principales hallazgos, conclusiones y recomendaciones. Se debe enviar al equipo de gerencia del SIEF una versión preliminar del informe a fines de febrero de 2012. La versión deberá entregarse antes del 25 de marzo de 2012, después de recibir los comentarios y sugerencias del equipo de SIEF;

4) La presentación. Se deben divulgar las conclusiones y recomendaciones de la versión preliminar del informe entre los funcionarios de gobierno y otros asociados en el área del desarrollo en Madrid, España. Marzo y abril de 2012.

Presupuesto y periodo de trabajo:

La consultoría incluye un total de XXX días trabajados a una tasa diaria de USD XXX por día, lo que suma un total de USD XXX. El periodo de trabajo es hasta el 15 de abril de 2012 e incluye una semana para entrevistas en Washington DC.

La fuente de financiamiento será IE-P105560-IMPE-TF058114

Supervisión:

El consultor trabajará bajo la supervisión de Carlos Asenjo, encargado de la Evaluación y Monitoreo de SIEF, y debe presentar informes al Gerente del Programa de SIEF, Laura Rawlings.

44

Anexo IIListas de personas entrevistadas

Gobierno de España / Actualmente trata con SIEF

Bibian Zamora Giménez, Jefa de la Unidad de Evaluación, MAEC, Gobierno de España

David Conde Lozano, MAEC, Gobierno de España

Ana De Vicente Lancho, MEH, Gobierno de España

Agustín Navarro de Vicente-Gella, MEH, Gobierno de España

Leonardo Rodríguez García, MEH, Gobierno de España

María Jesús Calvo Romerales, MEH, Gobierno de España

Gobierno de España / ex funcionarios que estuvieron involucrados con SIEF

Juan López Doriga, ex Director General de Planificación y Evaluación de Políticas de Desarrollo, MAEC, Gobierno de España

José Antonio González Mancebo, ex Sub-Director General de Políticas de Cooperación al Desarrollo, MAEC, Gobierno de España

Cecilia Rocha, ex Jefa de la Unidad de Evaluación, MAEC, Gobierno de España

Belén Sanz, ex Jefa de la Unidad de Evaluación, MAEC, Gobierno de España

Carlos Ariza, ex miembro de la Unidad de Evaluación, MAEC, Gobierno de España

Iván Touza, ex miembro de la Unidad de Evaluación, MAEC, Gobierno de España

Adán Ruiz, ex miembro de la Unidad de Evaluación, MAEC, Gobierno de España

Banco Mundial

Enrique Giménez de Córdoba, Oficina de ED en España, Banco Mundial

Laura Rawlings, actual Gerente del Programa de SIEF, Banco Mundial

Bárbara Bruns, ex Gerente del Programa de SIEF y líder del clúster de Educación, Banco Mundial

Ariel Fiszbein, Economista Jefe de HDN, Banco Mundial

Paul Gertler, ex Economista Jefe de HDN

45

Adam Ross, miembro del equipo base de SIEF y MDTF de SIEF, Banco Mundial

Rita Almeida, clúster ALMP/YE de SIEF, Banco Mundial

Mattias Lundberg, clúster ALMP/YE de SIEF, Banco Mundial

Phillippe Leite, clúster TMC de SIEF, Banco Mundial

Christel Vermeersch, Clúster de salud P4P de SIEF, Banco Mundial

Damien de Walque, clúster VIH/SIDA de SIEF, Banco Mundial

Arianna Legovini, DIME, clúster de control de la malaria, SIEF, Banco Mundial

Luis Alberto Andrés, LET de SIEF, Banco Mundial

Sebastián Martínez, ex miembro del equipo central de SIEF

Javier Báez, ex miembro de IEG, Banco Mundial

Carlos Asenjo Ruiz, miembro del equipo central de SIEF

Paloma Acevedo, miembro del equipo central de SIEF

Informantes clave sobre la evaluación de SIEF del Plan Nacer

Martin Sabignoso, Coordinador Nacional, Plan Nacer, Gobierno de Argentina

Humberto Silva, Director Técnico, Plan Nacer, Ministerio de Salud, Argentina

Leonardo Zanazzi, Plan Nacer, Ministerio de Salud, Argentina

Luis Orlando Pérez, especialista principal en Salud Pública, Banco Mundial, Argentina

Paula Giovagnoli, Plan Nacer, Banco Mundial, Argentina

46

Anexo V

Cuestionario de encuesta a los LET

Fondo Español para la Evaluación de Impacto (SIEF)

Encuesta posterior al uso de la subvención

Como ya se ha mencionado, el equipo de gerencia del SIEF desarrolló un Plan de Evaluación y Monitoreo que incluye un informe final de la evaluación del programa, el cual debe entregarse al finalizar el programa. Un aporte crucial para este informe es la información otorgada por los LET.

El objetivo de la encuesta es recolectar la información necesaria, de parte de los LET de las evaluaciones de impacto financiadas por el SIEF, para finalizar los informes de término de GRM, los que los LET debe completar dentro delos seis meses después de la fecha de cierre de la subvención. Asimismo, esta encuesta otorga información para los informes finales de evaluación y para el monitoreo de 2011 de SIEF.

Por favor responda a las siguientes preguntas, a más tardar el 26 de enero .

1. ¿Se asignaron los recursos a su tarea(s) en consonancia con las metas propuestas?

2. Por favor, haga una lista de las principales preguntas abordadas por el estudio de evaluación de impacto.

3. Por favor resuma los métodos o técnicas utilizadas para la evaluación de impacto.

4. ¿En qué medida se lograron los objetivos de su tarea (s)? Por favor seleccione una de estas respuestas:

( ) Muy Satisfactorio( ) Satisfactorio( ) Moderadamente satisfactorio ( ) Moderadamente Insatisfactorio ( ) Insatisfactorio( ) Muy Insatisfactorio

5. ¿Hubo algún resultado imprevisto de la evaluación?

6. Cuando los resultados previstos no fueron logrados, ¿cuáles fueron las principales razones?

7. ¿Qué resultados o hallazgos de conocimiento se obtuvieron por la evaluación de SIEF en la cual participó usted?

47

8. Por favor haga una lista de los principales productos de investigación (informes de evaluación de impacto /seguimiento y referencias) entregados por su equipo de tareas con el financiamiento de SIEF.

9. ¿Cómo se divulgaron los resultados logrados por su tarea de evaluación? Por favor haga una lista de los principales resultados o productos divulgados (Publicaciones / Acontecimientos), entregados por su equipo de tareas con el financiamiento de SIEF.

10. ¿Se realizaron actividades para compartir los conocimientos con el uso de los resultados que surgieron de la tarea que lideró?

11. ¿Evaluaría como eficiente el modelo de gestión del programa de SIEF (es decir, instrumentos; recursos económicos, humanos y técnicos; estructura organizacional; flujo de información; toma de decisiones por la gerencia)?

(si se compara con los resultados alcanzados) Por favor seleccione una de estas respuestas:

( ) Muy Eficiente( ) Eficiente( ) Moderadamente Eficiente( ) Moderadamente Ineficiente( ) Ineficiente( ) Muy ineficiente

b) ¿Lo evaluaría como útil?Por favor seleccione una de estas respuestas:

( ) Muy útil( ) Útil( ) Moderadamente útil( ) Moderadamente inútil( ) Inútil( ) Muy inútil

12. ¿Ha tenido que enfrentar algún obstáculo administrativo, financiero o de gestión y en qué medida este afectó la eficiencia de sus tareas?

13. ¿En qué medida han contribuido los líderes del clúster a asegurar la implementación exitosa de las tareas de SIEF que lideró?

Por favor seleccione una de estas respuestas:( ) Contribución muy positiva( ) Contribución positiva( ) Contribución moderadamente positiva( ) Contribución moderadamente negativa( ) Contribución negativa( ) Contribución muy negativa

14. ¿Considera que los líderes del clúster promovieron las comunidades de práctica de la evaluación de impacto en las áreas temáticas clave del programa?

48

15. ¿Qué tan transparente fue la asignación de los recursos del SIEF a los equipos de evaluación de impacto?

Por favor seleccione una de estas respuestas: ( ) Muy transparente( ) Transparente( ) Moderadamente transparente( ) Moderadamente ambiguo( ) Ambiguo( ) Muy ambiguo

16. ¿En qué medida y en qué forma el programa de gestión de SIEF aumentó o redujo la eficiencia al entregar productos y lograr resultados?

Por favor seleccione una de estas respuestas:( ) Eficiencia muy aumentada( ) Eficiencia aumentada( ) Eficiencia aumentada moderadamente( ) Eficiencia moderadamente reducida( ) Eficiencia reducida( ) Eficiencia muy reducida

17. ¿Condujo el estudio de evaluación de impacto a algunos cambios de diseño del programa/proyecto o en la forma en que fue implementado? Si su respuesta es afirmativa, por favor explique brevemente.

18. ¿Se han publicado los resultado de la evaluación de impacto? Si su respuesta es afirmativa, a) ¿informaron cualquier decisión en relación a la continuación/expansión del programa? Por favor explique brevemente. b) ¿provocó algún cambio de políticas? Por favor explique brevemente.

19. ¿Hay alguna enseñanza en cuánto a cómo el SIEF u otros programas similares podrían haber obtenido mejores resultados?

20. Si el programa del SIEF continuara o se modernizara, ¿qué posibles resultados podrían obtenerse? ¿Qué cambios se podrían recomendar para que sea más eficaz?

21. ¿Quiere hacer otros comentarios o sugerencias en relación al programa de SIEF?

Una vez completada esta encuesta, por favor envíela a:

(i) por correo electrónico a Carlos Asenjo (casenjoruiz@worldbank.org) y Osvaldo Feinstein (ofeinstein@yahoo.com)

49

ANEXO VI

Preguntas para las reuniones en España

1. ¿ Hay factores del CONTEXTO que sea conveniente destacar por su influencia durante la implementación del SIEF?

2. ¿Qué esperaban en España como resultado del SIEF? ¿Había alguna expectativa que el SIEF beneficiara de modo directo a España?

3. ¿Concedían las expectativas del MAEC y del MEH? ¿Había diferencias?

4. ¿Ha generado el SIEF beneficios para España?

5. ¿En qué medida consideras que se alcanzaron los objetivos del SIEF?

6. ¿Hubo efectos no buscados?

7. ¿Cuáles fueron los obstáculos o limitaciones que se presentaron en el funcionamiento del SIEF (SIEF los hubo)? Obstáculos que pudieron incidir en una brecha sobre lo que se intentó hacer y lo que efectivamente se hizo

8. ¿Qué lecciones se pueden derivar de la experiencia del SIEF para futuros proyectos de este tipo?

9 . Sobre la contribución del SIEF: ¿Qué permitió hacer el SIEF que no se hubiera hecho sin SIEF? ¿Qué hubiera pasado sin el SIEF?

10. ¿Tiene sugerencias sobre personas a contactar y documentos o publicaciones que sería útil tomar en cuenta en la elaboración del informe final del SIEF?

50

Indicadores ¹ Fin AF2008

(Jun 30, 2008)

Fin AF2009(Jun 30, 2009)

Fin AF2010(Jun 30, 2010)

Fin AF2011(Jun 30, 2011)

Act. AF2012(Abr 20, 2012)

Meta SIEF

Resultados financieros: - - - - - -

% desembolsado / activos tangibles iniciales del SIEF ¹

5% 19% 44% 82% 101% 100%

% desembolsado / fondos disponibles del SIEF² 9% 22% 43% 77% 93% -

Implementación de actividades: - - - - - -

% de equipos de IA que logran su asignación del SIEF 15% 54% 96% 100% 100% 100%

Entrega de productos: - - - - - -

# talleres de EI dictados 3 6 12 14 17 12

# participantes taller c/entrenamiento en métodos de EI

460 985 1.905 2.035 2.406 1.893

# datos basales de EI recolectados² 2 8 13 18 21 -

# datos de seguimiento de EI recopilados² 0 2 8 22 33 -

# estudios de EI completados ³ 0 2 6 10 27 15

# estudios de evaluación de impacto publicados 0 2 8 15 19 -

Anexo VII

Fondo Español para la Evaluación de Impacto (SIEF)Indicadores de desempeño clave y resumen financiero

Al 20 de abril de 2012

Tabla 1.- Indicadores de desempeño clave de SIEF (junio 2008 - abril 2012):

¹ % del total de los activos tangibles iniciales de SIEF (contribución inicial de SIEF una vez deducido el 5% del costo de honorarios de recuperación).² % total de financiamiento de SIEF, incluido el 5% de costo honorarios de recuperación y los ingresos de inversión percibidos por el fondo fiduciario.³ Recolección de datos de referencia y de seguimiento respaldado solamente por SIEF; la recolección de datos de otras fuentes de financiamiento no fueron incluidas.⁴ Los equipos de evaluación de impacto que completaron en análisis de referencia y de seguimiento, sobre los cuales se pueden realizar otras investigaciones de evaluación de impacto.⁵ Matriz estratégica de SIEF (2009). ⁶ Contrato de Administración de SIEF (2007)

51

FlujosFinancieros

Fin AF2008(30 jun, 2008)

Fin AF2009(30 jun, 2009)

Fin AF2010(30 jun, 2010)

Fin AF2011(30 jun, 2011)

Act. AF2012 (30 jun, 2012)

%

Total fondos 14.658.284 15.139.647 15.271.572 15.320.552 15.324.325 100%

Asignados 13.556.214 15.104.793 15.105.933 15.105.487 15.237.448 99%

Recaudados 6.647.125 11.183.960 14.352.270 15.099.644 14.910.309 97%

Comprometidos 2.157.121 4.160.698 8.273.660 12.974.064 14.412.709 94%

Desembolsados 708.295 2.711.872 6.200.325 11.562.275 14.208.714 93%

Gráfico 1.- Indicadores financieros clave de SIEF (junio 2008 - abril 2012) ¹ ² ³ :

Tabla 2.- Indicadores financieros clave de SIEF (junio 2008 - abril 2012) ¹ ² ³ :

¹ Para una descripción de los indicadores usados en esta tabla, véase Cuadro A² Los datos solo reflejan el respaldo de SIEF; otras fuentes de financiamiento (Banco Mundial, DFID) no fueron incluidas.³ % total de fondos cuando se estableció el programa; no se ha incluido el ingreso percibido.

52

Fin AF2008 Fin AF2009 Fin AF2010 Fin AF2011 Fin AF2012

Total fondos Asignado Recaud. Comprom. Desemb.

Actividades

Asignado

(20 abr, 2012)

Recaudado (20 abr,

2012)

Comprom.

(20 abr, 2012)

Desemb.

(20 abr, 2012)

% Desemb. / Recaud. (20 abr,

2012)

% of Total Asignado

(20 abr, 2012)

1. Estudios de evaluación de impacto (EI)

10,145,107

9,817,968

9,832,195

9,817,968

97%

67%

1.1. Quick Win de los estudios de EI

879,851

879,851

879,851

879,851

100%

6%

1.2. Estudios de EI de fondos de innovación

2,079,475

2,009,223

2,014,239

2,009,223

97%

14%

1.3. Conglomerado de estudios de EI

7,185,781

6,928,894

6,938,105

6,928,894

96%

47%

1.3.1 – Contratación salud / Pago realización reformas

1,324,671

1,250,539

1,257,185

1,250,539

94%

9%

1.3.2 - Transf. monetaria condicionada

909,301

895,086

895,086

895,086

98%

6%

1.3.3 – Control de malaria

823.075

762.790

762.790

762.790

93%

5%

1.3.4 – Mercado laboral activo / Empleo juvenil

1,333,125

1,276,350

1,276,352

1,276,350

96%

9%

1.3.5 – Rendición cuentas enseñanza básica

1,038,492

1,022,601

1,025,164

1,022,601

98%

7%

1.3.6 – Prevención VIH/SIDA

982,217

981,561

981,561

981,561

100%

6%

1.3.7 – Desarrollo en la primera infancia

774,900

739,966

739,966

739,966

95%

5%

2. Desarrollo de capacidades

1,700,000

1,700,000

1,695,495

1,679,868

99%

11%

3. Divulgación de resultados

1,533,000

1,533,000

1,249,180

1,183,025

77%

10%

3.1. Difusión del programa y Divulgación

600,000

600,000

489,625

457,019

76%

4%

3.2. Divulgación resultados de conglomerado

933,000

933,000

759,555

726,006

78%

6%

4. Otras actividades

1,859,341

1,859,341

1,635,839

1,527,853

82%

12%

4.1. Administración programa

781,923

781,923

685,083

620,613

79%

5%

4.2. Coordinación de conglomerado

510,000

510,000

383,338

339,822

67%

3%

4.3. Servicios de asesoría

567,418

567,418

567,418

567,418

100%

4%

5. Total (5=1+2+3+4)

15,237,448

14,910,309

14,412,709

14,208,714

93%

100%

Tabla 3. – programa de SIEF: resumen ejecutivo de presupuesto al 20 de abril de 2012 ¹ ²

¹ Para una descripción de los indicadores usados en esta tabla, véase Cuadro A.² Los datos solo reflejan el respaldo de SIEF; otras fuentes de financiamiento (Banco Mundial, DFID) no fueron incluidas.

53

Estudios de evaluación de impacto

País / Num. estudio EI

Líder de equipo tarea

Asignado

Recaudado

Comprometido

Desembolsado

% Desemb. / Asigna

do 1.1. Quick Win de los estudios de EI

4

- 608.661

608.661

608.661

608.661

100%Fondo de acción social de Tanzania

(TASAF II)Tanzania

Berk Ozler

169.907

169.907

169.907

169.907

100%Bono de Desarrollo

Humano(Ecuador)

Norbert Schady

137.091

137.091

137.091

137.091

100%Seguimiento a largo plazo de beneficiarios del programa de

simulaciónJamaica

Christel Vermeersch

57.065

57.065

57.065

57.065

100%Desarrollo de la primera infancia

(DPI)Brasil

Pedro Olinto

119.599

119.599

119.599

119.599

100%Desarrollo de la primera infancia

(DPI)(México)

Sebastian Martinez

0 0 0 0 -Personal docente extra (ETP, por sus siglas en inglés)

(Kenia)

Barbara Bruns

0 0 0 0 -Interacción de Información y reformas en educación básica SBM

(Benín)

Barbara Bruns

0 0 0 0 -Abastecimiento y sanitización de aguas ruarles en Maharashtra y Orissa

India

Priti Kumar

125.000

125.000

125.000

125.000

100%1.2. Estudios de EI de los fondos de

innovación11

- 2.079.475

2.009.223

2.014.239

2.009.223

97%1.2.1. Desarrollo

humano4 - 806.0

75773.824

773.824

773.824

96%Proyecto de EI de vouchers

TIVET Kenia

Shobhana Sosale

262.000

262.000

262.000

262.000

100%Proyecto de tarjetas de evaluación ciudadana

(fase II)Uganda

Damien de Walque

151.050

151.003

151.003

151.003

100%Evaluación de procesos de determinación de

pobrezay de mecanismos de rendición de cuentas

(Filipinas)

Xavier Gine

0 0 0 0 -

Reintegración de ex combatientes y agentes de consolidación de paz en Liberia

Liberia

Mattias Lundberg

333,025

307,276

307,276

307,276

92%Efectos de consejería y pruebas VIH realizadas

en casaKenia

Markus P. Goldstein

60,000

53,545

53,545

53,545

89%1.2.2. Desarrollo

sustentable7 - 1,273,4

001,235,399

1,240,415

1,235,399

97%

Efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica

Sudáfrica

Arianna Legovini

274,150

258,827

263,843

258,827

94%Uso doméstico de irrigación de

aguaEtiopía

Arianna Legovini

147,000

145,974

145,974

145,974

99%EI de GPOVA/SEIF en el agua de

UgandaUganda

Luis Tineo

123,000

120,306

120,306

120,306

98%Soluciones innovadoras de tratamiento de recursos de agua

potable ruralKenia

Arianna Legovini

200,000

199,671

199,671

199,671

100%Impacto de pozos de agua y de drenaje en el bienestar

familiar y en la salud infantil en barrios pobres urbanos

(Nigeria)

Pedro Olinto

0 0 0 0 -

Acceso a infraestructuras de suministro de agua y resultados del desarrollo humano en areas rurales

Paraguay

Miguel Vargas-Ramirez

182,850

171,279

171,279

171,279

94%

Acceso a alcantarillados y resultados positivos de la salud en hogares de zonas urbanas

Uruguay

Carlos E. Velez

151,400

147,135

147,135

147,135

97%

Formalización de derechos de agua y resultados del desarrollo humano

Perú

Marie-Laure Lajaunie

195,000

192,207

192,207

192,207

99%

Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³

54

55

Estudios de evaluación de impacto

País / Num. estudios EI?

Líder equipo tarea

Asignado

Recaudado

Comprometido

Desembolsado

% Desemb / Asigna

do

1.3. Estudios de conglomerados de EI

35

- 7.456.971

7.200.084

7.209.295

7.200.084

97%

1.3.1 – Contratación salud / Pago realización reformas

5 A. Wagstaff, A. Ross, C. Vermeersch

1.324.671

1.250.539

1.257.185

1.250.539

94%

Plan Nacer – Proyecto de inversión regional entre niños y madres

Argentina

Adam Ross

344.766

339.812

339.812

339.812

99%Contratación basada en desempeño de servicios de salud

general y VIHRuanda

Christel Vermeersch

209.800

197.383

197.383

197.383

94%Pago por desempeño en el sector salud de China (Evaluación de

Salud XI)China

Adam Wagstaff

323.629

272.854

276.896

272.854

84%Pago por desempeño en el sector salud de

Turquía(Turquía)

Sarbani Chakraborty

50.476

50.476

50.476

50.476

100%Impact. créditos apoyo para la reducción pobreza en la

salud maternaBenín

Christophe Lemiere

296.000

296.000

296.000

296.000

100%Seguro de salud innovador para gente de escasos

recursos de IndiaIndia

Robert Palacios

100.000

94.013

96.618

94.013

94%1.3.2 – Transferencia monetaria

condicionada6 P. Leite, E.

Galasso, M. Grosh

1.050.492

1.036.277

1.036.277

1.036.277

99%

Transferencias monetarias condicionadas y no condicionadas en Nahouri

Burkina Faso

Damien de Walque

224.600

224.475

224.475

224.475

100%Programa de TMC en educación rural en

MarruecosMarruecos

Nadine Poupart

442.017

442.017

442.017

442.017

100%Estimación efectos dinámicos de Chile

VoluntarioChile

Emanuela Galasso

108.074

108.074

108.074

108.074

100%Evaluación y mejora de transferencia monetaria

condicionada ? Indonesi

aSusan Wong

0 0 0 0 -Programa piloto comunitario de TMC

Tanzania

Anush Bezhanyan

160.000

160.000

160.000

160.000

100%Programa Contigo Vamos por Más Oportunidades en

GuanajuatoMéxico

Theresa Jones

115.800

101.710

101.710

101.710

88%1.3.3 – Control de la

malaria5 Jed Friedman,

Arianna Legovini

823.075

762.790

762.790

762.790

93%

Rol del control de la malaria para mejorar la educación

Kenia

Donald Bundy

100.222

100.222

100.222

100.222

100%Rol del control de la malaria para mejorar la

educaciónSenegal

Donald Bundy

42.952

42.952

42.952

42.952

100%Mejoramiento resultados malaria mediante diseños de programas basados

en evidenciaZambia

Jed Friedman

252.687

193.311

193.311

193.311

77%Mejoramiento resultados malaria mediante diseños de programas basados

en evidencia(Congo, RD)

Jed Friedman

0 0 0 0 -Mejoramiento resultados malaria mediante diseños de programas basados en evidencia

India

Jed Friedman

243.007

242.369

242.369

242.369

100%Distribuidores comunitarios y vendedores de patentes de

medicinaspara el control de la malaria

Nigeria

Arianna Legovini

184.207

183.936

183.936

183.936

100%

Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³ (cont.)

56

Estudios de evaluación de impacto

País / Num. estudios EI

Líder equipo tarea

Asignado

Recaudado

Comprometido

Desembolsado

% Desemb. / Asigna

do

1.3.4 – Programas de mercados laborales activos /Empleo juvenil

7

R. Almeida, M. Lundberg

1,343,124

1,286,350

1,286,351

1,286,350

96%

Evaluación NREG en India

India

Rinku Murgai

270,000

254,327

254,327

254,327

94%Programa de desarrollo

juvenilRep. Dom.

Juan Martin Moreno

224,625

223,622

223,624

223,622

100%Mi Primer

Empleo(Honduras)

Cornelia Tesliuc

9,999

9,999

9,999

9,999

100%Programa de oportunidades juveniles

NUSAF Uganda

Patrick Premand

349,860

349,860

349,860

349,860

100%Steps-To-Work,

Jamaica(Jamaica)

Cornelia Tesliuc

0 0 0 0 -Evaluación de impacto de TVST OVAY

Malawi

S. R. Jobanputra

240,000

239,531

239,531

239,531

100%Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus

siglas en inglés) (Liberia)

Mattias Lundberg

0 0 0 0 -Conversión tesis en empresas

Tunisia

Stefanie Brodmann

55,000

54,727

54,727

54,727

100%Efectividad entrenamiento de la “Turkish National

Employment Agency” Turquía

Cristobal Ridao-Cano

118,640

117,785

117,785

117,785

99%Experimento “A Youth Wage

Subsidy” Sudáfrica

Elizabeth Ninan

75,000

36,498

36,498

36,498

49%1.3.5 – Rendición cuentas enseñanza

básica5 H. Patrinos, D.

Filmer, B. Bruns

1,038,492

1,022,601

1,025,164

1,022,601

98%

Reforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo

Brasil

Barbara Bruns

295,873

295,873

298,436

295,873

100%Escuelas comunitarias de

NepalNepal

Nazmul Chaudhury

150,000

149,931

149,931

149,931

100%AGEs - Programas de Apoyo a la Gestión

EscolarMéxico

Harry A. Patrinos

292,739

292,606

292,606

292,606

100%Rol de la evaluación para proporcionar información de rendición

de cuentasLiberia

Nathalie Lahire

199,880

185,805

185,805

185,805

93%Evaluación aleatoria educación primaria de Andhra

PradeshIndia

V. Sundararaman

100,000

98,386

98,386

98,386

98%1.3.6 – Prevención

VIH/SIDA3 David Wilson,

Damien De Walque

1,102,217

1,101,561

1,101,561

1,101,561

100%

Evaluación TMC para prevenir VIH y otras ETS

Tanzania

Damien De Walque

371,400

371,131

371,131

371,131

100%Evaluación impacto de campaña prevención HIV para la

juventudLesotho

Damien De Walque

384,680

384,680

384,680

384,680

100%TMC, escolarización, riesgos

VIHMalawi

Berk Ozler

346,137

345,751

345,751

345,751

100%

Estudios de evaluación de impacto

País / Num. estudios EI

Líder equipo tareas

Asignado

Recaudado

Comprometido

Desembolsado

% Desemb. / Asigna

do

Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³ (cont.)

Tabla 4.- Programa de investigación de SIEF: Ejecución de presupuesto al 20 de abril de 2012 ¹ ² ³ (cont.)

57

1.3.7 – Desarrollo en la primera infancia

4 Emanuela Galasso

774,900

739,966

739,966

739,966

95%EI y análisis costo-beneficio de 3 tipos de intervenciones de la DCE con

fondos de la FTI

Camboya

Sophie Naudeau

211,000

200,948

200,948

200,948

95%Nadie es Perfecto, EI de un programa para mejorar habilidades

paternalesChile

Emanuela Galasso

225,000

223,309

223,309

223,309

99%EI de DPI en

MozambiqueMozambique

Sophie Naudeau

164,900

141,743

141,743

141,743

86%Atención a Crisis de DPI y efectivo

condicionadoNicaragua

Renos Vakis

174,000

173,966

173,966

173,966

100%Evaluación del programa de paternidad,

Jamaica Jamaica

Harriet Nannyonjo

0 0 0 0 - Total programa investigación SIEF

50

- 10,145,107

9,817,968

9,832,195

9,817,968

97%

Estudios de evaluación de impacto

País / Num. estudiosEI

Líder equipo tarea

Asignado

Recaudado

Comprometido

Desembolsado

% Desemb. / Asigna

do

Tabla 5.- Actividades de Divulgación y Coordinación de Clúster de SIEF: ejecución del presupuesto al 20 de abril de 2012

58

Conglomerado 1 Coordinación y divulgación resultados SIEF

Todo el mundo

Christel Vermeersch

185,000

185,000

154,728

136,883

74%Conglomerado 2 Coordinación y divulgación

resultados SIEFTodo el mundo

Emanuela Galasso

185,000

185,000

120,950

112,598

61%Conglomerado 3 Coordinación y divulgación

resultados SIEFTodo el mundo

Jed Friedman

249,000

249,000

199,747

173,811

70%Conglomerado 4 Coordinación y divulgación

resultados SIEFTodo el mundo

Rita Almeida

250,000

250,000

192,913

192,913

77%Conglomerado 5 Coordinación y divulgación

resultados SIEFTodo el mundo

Harry Patrinos

229,000

229,000

186,022

186,022

81%Conglomerado 6 Coordinación y divulgación

resultados SIEFTodo el mundo Damien de

Walque 185,000

185,000

180,773

162,341

88%Conglomerado 7 Coordinación y divulgación

resultados SIEFTodo el mundo Emanuela

Galasso 160,000

160,000

107,760

101,260

63%

Coordinación total conglomerado

- - 1,443,000

1,443,000

1,142,893

1,065,828

74%

59

Actividades

Asignado

Fin_AF2008

Recaudado

Fin_AF2008

Comprometido Fin_AF2008

Desembolsado Fin_AF2008

Asignado

Fin_AF2009

Recaudado

Fin_AF2009

Comprometido Fin_AF2009

Desembolsado Fin_AF2009

1. Estudios evaluación impacto (EI)

7,412,874

983,785

1,454,042

350,172

8,961,453

5,235,620

2,708,440

1,604,570

1.1. Quick Win de estudios de EI

1,483,955

943,785

350,172

350,172

879,851

922,786

762,101

762,101

1.2. Estudios de EI de fondos de innovación

0 0 376,040

0 2,689,185

576,025

429,336

53,296

1.3. Conglomerado de estudios de EI ³

5,928,919

40,000

727,830

0 5,392,417

3,736,809

1,517,002

789,173

1.3.1 – Contratación salud /Pago realización reformas

1,194,183

40,000

61,438

0 1,047,681

1,099,566

164,891

103,453

1.3.2 –Transferencia monetariacondicionada

1,085,740

0 15,700

0 1,085,740

411,140

216,730

201,030

1.3.3 – Control de la malaria

602,735

0 202,164

0 602,735

493,868

362,127

159,963

1.3.4 - Mercado laboral activo / Empleo juvenil

1,538,125

0 162,456

0 1,148,125

641,935

350,692

188,236

1.3.5 – Rendición cuentas enseñanza básica

756,436

0 254,972

0 756,436

566,300

262,534

7,561

1.3.6 – Prevención VIH/SIDA

751,700

0 31,100

0 751,700

524,000

160,029

128,929

1.3.7 – Desarrollo en la primerainfancia

0 0 0 0 0 0 0 0

2. Desarrollo de capacidades

1,500,000

1,500,000

465,278

259,619

1,500,000

1,500,000

856,271

650,612

3. Divulgación de resultados

1,500,000

1,500,000

56,396

11,021

1,500,000

1,500,000

110,438

65,063

3.1. Difusión del programa y Divulgación

1,500,000

1,500,000

56,396

11,021

1,500,000

1,500,000

110,438

65,063

3.2. Divulgación resultados de conglomerado

0 0 0 0 0 0 0 0

4. Otras actividades

3,143,340

2,663,340

181,405

87,482

3,143,340

2,948,340

485,550

391,627

4.1. Administración del programa

2,133,340

2,133,340

53,708

15,375

2,045,092

2,045,092

169,073

130,740

4.2. Coordinación de Conglomerado

510,000

30,000

55,590

0 510,000

315,000

104,228

48,638

4.3. Servicios de asesoría

500,000

500,000

72,107

72,107

588,248

588,248

212,249

212,249

5. Total (5=1+2+3+4)

13,556,214

6,647,125

2,157,121

708,295

15,104,793

11,183,960

4,160,698

2,711,872

Tabla 6. – Programa de SIEF: Resumen de la ejecución del presupuesto (años anteriores)

60

Actividades

Asignado

Fin_AF2010

Recaudado

Fin_AF2010

Comprom. Fin_AF2010

Desemb. Fin_AF2010

Asignado

Fin_AF2011

Recaudado

Fin_AF2011

Comprom. Fin_AF2011

Desemb.Fin_AF2011

1. Estudios de evaluación de impacto (EI)

9,886,593

9,583,279

5,693,005

3,817,452

10,186,147

10,180,303

9,511,033

8,207,793

1.1. Quick Win de los estudios de EI

879,851

879,851

879,851

879,851

879,851

879,851

879,851

879,851

1.2. Estudios de EI de fondos de innovación

2,046,025

2,042,125

1,091,375

789,040

2,083,375

2,079,475

1,940,185

1,607,267

Conglomerado de estudios de EI ³

6,960,716

6,661,303

3,721,779

2,148,560

7,222,920

7,220,977

6,690,998

5,720,675

1.3.1 – Contratación salud / Pago realización reformas

1,357,681

1,356,042

763,225

336,404

1,326,310

1,324,671

1,223,883

1,018,047

1.3.2 - Transf. monetaria condicionada

811,545

811,545

456,590

352,252

911,540

911,494

854,821

623,715

1.3.3 – Control de malaria

752,735

753,075

468,229

288,179

822,735

823,075

710,972

697,945

1.3.4 – Mercado laboral activo / Empleo juvenil

1,323,125

1,079,485

863,136

566,704

1,333,125

1,333,125

1,202,887

1,122,786

1.3.5 – Rendición cuentas enseñanza básica

982,913

929,039

651,858

392,959

1,071,493

1,071,494

1,007,593

1,000,975

1.3.6 – Prevención VIH/SIDA

982,717

982,217

500,840

194,160

982,717

982,217

955,526

935,916

1.3.7 – Desarrollo en la primera infancia

750,000

749,900

17,903

17,903

775,000

774,900

735,316

321,290

2. Desarrollo de capacidades

1,700,000

1,849,650

1,346,385

1,303,402

1,700,000

1,700,000

1,425,358

1,406,715

3. Divulgación de resultados

1,385,000

785,000

340,011

269,943

1,360,000

1,360,000

615,223

602,639

3.1. Difusión del programa y divulgación

600,000

600,000

243,407

168,872

600,000

600,000

383,463

361,140

3.2. Divulgación resultados de conglomerado

785,000

185,000

96,604

101,071

760,000

760,000

231,760

241,499

4. Otras actividades

2,134,341

2,134,341

894,259

809,528

1,859,341

1,859,341

1,422,450

1,345,128

4.1. Administración programa

1,373,862

1,088,714

172,290

139,353

813,714

781,923

471,695

437,888

4.2. Coordinación de conglomerado

510,000

510,000

186,342

134,548

510,000

510,000

383,338

339,822

4.3. Servicios de asesoría

250,479

535,627

535,627

535,627

535,627

567,418

567,418

567,418

5. Total (5=1+2+3+4)

15,105,933

14,352,270

8,273,660

6,200,325

15,105,487

15,099,644

12,974,064

11,562,275

Tabla 6. – Programa de SIEF: Resumen de la ejecución del presupuesto (años anteriores)

61

Estudios de evaluación de impacto

País/Num. de EI

Líder equipo tarea

Asignado Fin_AF20

08

Recaudado Fin_AF20

08

Comprom. Fin_AF2008

Desemb.Fin_AF2008

Asignado Fin_AF20

09

Recaudado Fin_AF20

09

Comprom. Fin_AF2009

Desemb. Fin_AF2009

1.1. Quick Win de los estudios de EI

4

- 1,145,170

715,000

283,197

283,197

608,661

651,596

608,661

608,661

Fondo de acción social de Tanzania (TASAF II)

Tanzania

Berk Ozler

170,000

170,000

0 0 169,907

169,907

169,907

169,907

Bono de Desarrollo Humano

(Ecuador)

Norbert Schady

400,000

200,000

58,094

58,094

137,091

137,091

137,091

137,091

Seguimiento a largo plazo de beneficiarios del programa de simulación

Jamaica

Christel Vermeersch

100,000

100,000

5,966

5,966

57,065

100,000

57,065

57,065

Desarrollo en la primera infancia (DPI)

Brasil

Pedro Olinto

120,000

120,000

94,137

94,137

119,599

119,599

119,599

119,599

Desarrollo en la primera infancia (DPI)

(México)

Sebastian Martinez

110,290

0 0 0 0 0 0 0

Personal docente extra (ETP)

(Kenia)

Barbara Bruns

64,880

0 0 0 0 0 0 0Interacción de Información y reformas en educación básica SBM

(Benín)

Barbara Bruns

55,000

0 0 0 0 0 0 0

Abastecimiento y sanitización de aguas rurales en Maharashtra y Orissa

India

Priti Kumar

125,000

125,000

125,000

125,000

125,000

125,000

125,000

125,000

1.2. Estudios de EI de los fondos de innovación

11

- 0 0 376,040

0 2,689,185

576,025

429,336

53,296

1.2.1. Desarrollo humano

4 - 0 0 190,862

0 1,144,435

453,025

244,158

53,296

Proyecto de EI de vouchers TIVET

Kenia

Shobhana Sosale

0 0 144,100

0 262,200

0 144,100

0

Proyecto de tarjetas de evaluación ciudadana (fase II)

Uganda

Damien de Walque

0 0 4,802

0 151,050

120,000

43,484

38,682

Evaluación de procesos de determinación de pobrezay de mecanismos de rendición de cuentas

(Philippines)

Xavier Gine

0 0 0 0 398,160

0 0 0

Reintegración de ex combatientes y agentes de consolidación de paz en Liberia

Liberia

Mattias Lundberg

0 0 41,960

0 333,025

333,025

56,575

14,615

Efectos de asesoría y pruebas VIH realizadas en casa

Kenia

Markus P. Goldstein

0 0 0 0 0 0 0 0

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores)

62

Estudios de evaluación de impacto

País/# EI ?

Líder de equipo tarea

AsignadoFin_AF20

10

Recaudado Fin_AF20

10

Comprom. Fin_AF2010

Desemb. Fin_AF2010

Asignado Fin_AF20

11

Recaudado Fin_AF20

11

Comprom.Fin_AF2011

Desemb.Fin_AF2011

1.1. Quick Win de los estudios de EI

4

- 608,661

608,661

608,661

608,661

608,661

608,661

608,661

608,661

Fondo de acción social de Tanzania (TASAF II)

Tanzania

Berk Ozler

169,907

169,907

169,907

169,907

169,907

169,907

169,907

169,907

Bono de Desarrollo Humano)

(Ecuador)

Norbert Schady

137,091

137,091

137,091

137,091

137,091

137,091

137,091

137,091

Seguimiento a largo plazo de beneficiarios del programa de simulación

Jamaica

Christel Vermeersch

57,065

57,065

57,065

57,065

57,065

57,065

57,065

57,065

Desarrollo en la primera infancia (DPI)

Brasil

Pedro Olinto

119,599

119,599

119,599

119,599

119,599

119,599

119,599

119,599

Desarrollo en la primera infancia (DPI)

(México)

Sebastian Martinez

0 0 0 0 0 0 0 0

Personal docente extra (ETP, por sus siglas en inglés)

(Kenia)

Barbara Bruns

0 0 0 0 0 0 0 0

Interacción de Información y reformas en educación básica SBM

(Benín)

Barbara Bruns

0 0 0 0 0 0 0 0

Abastecimiento y sanitización de aguas rurales en Maharashtra y Orissa

India

Priti Kumar

125,000

125,000

125,000

125,000

125,000

125,000

125,000

125,000

1.2. Estudios de EI de los fondos de innovación

11

- 2,046,025

2,042,125

1,091,375

789,040

2,083,375

2,079,475

1,940,185

1,607,267

1.2.1. Desarrollo humano

4 - 746,275

746,075

681,732

529,340

806,275

806,075

765,065

716,470

Proyecto de EI de vouchers TIVET

Kenia

Shobhana Sosale

262,200

262,000

262,000

222,700

262,200

262,000

262,000

262,000

Proyecto de tarjetas de evaluación ciudadana (fase II))

Uganda

Damien de Walque

151,050

151,050

121,219

117,028

151,050

151,050

149,526

149,526

Evaluación de procesos de determinación de pobreza y de mecanismos de rendición de cuentas

(Filipinas)

Xavier Gine

0 0 0 0 0 0 0 0

Reintegración de ex combatientes y agentes de paz en Liberia

Liberia

Mattias Lundberg

333,025

333,025

298,512

189,612

333,025

333,025

304,944

304,944

Efectos de asesoría y pruebas VIH realizadas en casa

Kenya

Markus P. Goldstein

0 0 0 0 60,000

60,000

48,595

0

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

63

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

64

Estudios de evaluación de impacto

País/Num. De EI

Líder equipo tarea

Asignado Fin_AF20

08

Recaudado FIN_AF20

08

Comprom. Fin_AF2008

Desemb. Fin_AF2008

Asignado Fin_AF20

09

Recaudado Fin_AF20

09

Comprom. Fin_AF2009

Desemb. Fin_AF2009

1.2. Quick Win de los estudios de EI

11

- 0 0 376,040

0 2,689,185

576,025

429,336

53,296

1.2.2. Desarrollo sustentable

7 - 0 0 185,178

0 1,544,750

123,000

185,178

0

Efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica

Sudáfrica

Arianna Legovini

0 0 41,470

0 300,000

0 41,470

0

Uso doméstico de irrigación de agua

Etiopía

Arianna Legovini

0 0 9,620

0 147,500

0 9,620

0

EI de GPOVA/SEIF en el agua de Uganda

Uganda

Luis Tineo

0 0 0 0 123,000

123,000

0 0Soluciones innovadoras de tratamiento de recursosde agua potable rural

Kenia

Arianna Legovini

0 0 134,088

0 200,000

0 134,088

0

Impacto de pozos de agua y drenaje en el bienestar familiar y en la salud infantil en barrios pobres urbanos

(Nigeria)

Pedro Olinto

0 0 0 0 245,000

0 0 0

Acceso a infrasetructura de suministro de agua y resultados del desarrollo humano en áreas rurales

Paraguay

Miguel Vargas-Ramirez

0 0 0 0 182,850

0 0 0

Acceso a alcantarillados y resultados positivos de la salud de los hogares en zonas urbanas

Uruguay

Carlos E. Velez

0 0 0 0 151,400

0 0 0

Formalización de derechos de agua y resultados del desarrollo humano

Perú

Marie-Laure Lajaunie

0 0 0 0 195,000

0 0 0

1.3. Estudios de conglomerados de EI

35

- 6,267,704

268,785

794,805

66,975

5,663,607

4,007,999

1,670,442

942,613

1.3.1 – Contratación salud / Pago realización reformas

5A. Wagstaff, A. Ross, C. Vermeersch

1,194,183

40,000

61,438

0 1,047,681

1,099,566

164,891

103,453

Plan Nacer - Child-Mother Provincial Investment Project

Argentina

Adam Ross

164,766

0 39,762

0 164,766

164,766

54,867

15,104

Contratación basada en desempeño de servicios de salud general y VIH

Ruanda

Christel Vermeersch

134,800

40,000

16,380

0 134,800

40,000

53,477

37,097

Pago por desempeño en el sector salud de China (Evaluación de Salud XI) Chin

aAdam Wagstaff

400,000

0 0 0 400,000

400,000

0 0

Pago por desempeño en el sector salud de Turquía

(Turquía)

Sarbani Chakraborty

198,217

0 1,045

0 51,715

198,800

52,297

51,252

Impact. créditos apoyo para la reducción de pobreza en la salud materna

Benín

Christophe Lemiere

296,400

0 0 0 296,400

296,000

0 0

Seguro de salud innovador para gente de escasos recursos de India

India

Robert Palacios

0 0 4,250

0 0 0 4,250

0

65

66

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

67

Estudios de evaluación de impacto

País/Num. De EI

Líder equipo tarea

AsignadoFin_AF20

10

Recaudado Fin_AF20

10

Comprom. Fin_AF2010

Disbursed End_FY2010

Allocated End_FY20

11

Receipts End_FY20

11

Committed End_FY2011

Disbursed End_FY2011

1.2. Estudios de EI de los fondos de innovación

11

- 2,046,025

2,042,125

1,091,375

789,040

2,083,375

2,079,475

1,940,185

1,607,267

1.2.2. Desarrollo sustentable

7 - 1,299,750

1,296,050

409,643

259,700

1,277,100

1,273,400

1,175,119

890,797

Efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica

Sudáfrica

Arianna Legovini

300,000

296,800

126,683

126,083

277,350

274,150

239,228

229,575

Uso doméstico de irrigación de agua

Etiopía

Arianna Legovini

147,500

147,000

96,526

96,526

147,500

147,000

145,913

145,913

EI de GPOVA/SEIF en el agua de Uganda

Uganda

Luis Tineo

123,000

123,000

0 0 123,000

123,000

116,317

114,717Soluciones innovadoras de

tratamiento de Recursos de agua potable rural

Kenia

Arianna Legovini

200,000

200,000

167,610

33,522

200,000

200,000

167,610

167,610

Impacto de pozos de agua y drenaje en el bienestar familiar y en la salud infantil en barrios pobres urbanos

(Nigeria)

Pedro Olinto

0 0 0 0 0 0 0 0

Acceso a infraestructuras de suministro de agua y resultados del desarrollo humano en áreas rurales

Paraguay

Miguel Vargas-Ramirez

182,850

182,850

0 0 182,850

182,850

181,693

59,331

Acceso a alcantarillados y resultados positivos de la salud en hogares de zonas urbanas

Uruguay

Carlos E. Velez

151,400

151,400

18,825

3,569

151,400

151,400

138,698

106,398

Formalización de derechos de agua y resultados del desarrollo humano

Perú

Marie-Laure Lajaunie

195,000

195,000

0 0 195,000

195,000

185,659

67,252

1.3. Estudios de conglomerados de EI

35

- 7,231,906

6,932,493

3,992,969

2,419,751

7,494,110

7,492,167

6,962,188

5,991,865

1.3.1 – Contratación salud / Pago realización reformas

5A. Wagstaff, A. Ross, C. Vermeersch

1,357,681

1,356,042

763,225

336,404

1,326,310

1,324,671

1,223,883

1,018,047

Plan Nacer - Child-Mother Provincial Investment Project

Argentina

Adam Ross

314,766

314,766

199,268

123,126

344,766

344,766

321,971

288,956

Contratación basada en desempeño de servicios de salud general y VIH

Ruanda

Christel Vermeersch

194,800

194,800

127,319

100,799

209,800

209,800

192,164

181,624

Pago por desempeño en el sector salud de China (Evaluación de Salud XI)

China

Adam Wagstaff

400,000

400,000

20,356

20,356

323,629

323,629

272,886

114,945

Pago por desempeño en el sector salud de Turquía

(Turquía)

Sarbani Chakraborty

51,715

50,476

50,476

50,476

51,715

50,476

50,476

50,476

Impact. créditos apoyo para la reducción pobreza en la salud materna

Benín

Christophe Lemiere

296,400

296,000

296,000

0 296,400

296,000

296,000

296,000

Seguro de salud innovador para gente de escasos recursos de India

India

Robert Palacios

100,000

100,000

69,806

41,647

100,000

100,000

90,385

86,047

68

Estudios de evaluación de impacto

País/# EI ?

Líder equipo tarea

AsignadoFin_AF20

08

RecaudadoFin_AF20

08

Comprom. Fin_AF2008

Desemb. Fin_AF2008

Asignado Fin_AF20

09

Recaudado Fin_AF20

09

Comprom. Fin_AF2009

Desemb. Fin_AF2009

1.3. Estudios de conglomerados de EI

35

- 6,267,704

268,785

794,805

66,975

5,663,607

4,007,999

1,670,442

942,613

1.3.2 – Transferencia monetaria condicionada

6P. Leite, E. Galasso, M. Grosh

1,184,525

98,785

72,676

56,976

1,226,931

552,331

357,921

342,221

Transferencias monetarias condicionadas y no condicionadas en Nahouri

Burkina Faso

Damien de Walque

224,600

0 0 0 224,600

0 0 0

Programa de TMC en educación rural en Marruecos

Marruecos

Nadine Poupart

450,000

50,000

41,316

41,316

494,211

444,211

266,660

266,660

Estimación efectos dinámicos deChile Voluntario

Chile

Emanuela Galasso

109,925

48,785

31,360

15,660

108,120

108,120

91,261

75,561

Evaluación y mejora de transferencia monetaria condicionada

Indonesia

Susan Wong

400,000

0 0 0 400,000

0 0 0

Programa piloto comunitario de TMC

Tanzania

Anush Bezhanyan

0 0 0 0 0 0 0 0Programa Contigo Vamos por Más Oportunidades, en Guanajuato

México

Theresa Jones

0 0 0 0 0 0 0 0

1.3.3 – Control de la Malaria

5Jed Friedman, Arianna Legovini

602,735

0 202,164

0 602,735

493,868

362,127

159,963

Rol del control de la malaria para mejorar la educación

Kenia

Donald Bundy

36,587

0 71,587

0 36,587

36,587

71,587

0

Rol del control de la malaria para mejorar la educación

Senegal

Donald Bundy

36,247

0 71,587

0 36,247

36,587

71,587

0

Meoramiento resultados malaria mediante diseños de programas basados en evidencia

Zambia

Jed Friedman

247,687

0 0 0 247,687

247,687

129,236

129,236

Mejoramiento resultados malaria mediante diseños de programas basados en evidencia

(Congo, DR)

Jed Friedman

109,207

0 0 0 109,207

0 0 0

Mejoramiento resultados malaria mediante Diseños de programas basados en evidencia

India

Jed Friedman

173,007

0 50,590

0 173,007

173,007

81,317

30,727

Distribuidores comunitarios y vendedores de patentes de medicinas para el control de la malaria

Nigeria

Arianna Legovini

0 0 8,400

0 0 0

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

69

Estudios de evaluación de impacto

País/Num. De EI

Líder Equipo Tarea

Asignado End_FY20

10

Recaudado End_FY20

10

Comprometido End_FY2010

DesembolsadoEnd_FY2010

Asignado End_FY20

11

Recaudado End_FY20

11

Comprometido End_FY2011

DesembolsadoEnd_FY2011

1.3. Estudios de conglomerados de EI

35

- 7,231,906

6,932,493

3,992,969

2,419,751

7,494,110

7,492,167

6,962,188

5,991,865

1.3.2 – Transferencia monetaria condicionada

6P. Leite, E. Galasso, M. Grosh

952,736

952,736

597,781

493,443

1,052,731

1,052,685

996,011

764,906

Transferencias monetarias condicionadasy no condicionadas en Nahouri

Burkina Faso

Damien de Walque

224,600

224,600

210,543

110,405

224,600

224,600

224,475

224,475

Programa de TMC en educación ruralEn Marruecos

Marruecos

Nadine Poupart

444,211

444,211

279,163

279,163

444,211

444,211

400,414

400,414

Estimación efectos dinámicos deChile Solidario

Chile

Emanuela Galasso

108,120

108,120

108,074

103,874

108,120

108,074

108,074

108,074

Evaluación y mejora de transferenciaMonetaria condicionada

Indonesia

Susan Wong

15,805

15,805

0 0 0 0 0 0

Programa piloto comunitario de TMC

Tanzania

Anush Bezhanyan

60,000

60,000

0 0 160,000

160,000

158,682

17,728Programa Contigo vamos por

Más Oportunidades, en Guanajuato

México

Theresa Jones

100,000

100,000

0 0 115,800

115,800

104,366

14,215

1.3.3 – Control de la Malaria

5Jed Friedman, Arianna Legovini

752,735

753,075

468,229

288,179

822,735

823,075

710,972

697,945

Rol del control de la malaria para Mejorar la educación

Kenia

Donald Bundy

71,587

71,587

71,587

0 100,222

100,222

100,222

100,222

Rol del control de la malaria paraMejorar la educación

Senegal

Donald Bundy

71,247

71,587

71,587

0 42,612

42,952

42,952

42,952

Mejoramiento resultados malaria mediante diseños de programas basados en evidencia

Zambia

Jed Friedman

272,687

272,687

129,236

129,236

252,687

252,687

172,664

170,538

Mejoramiento resultados malaria mediante diseños de programas basados en evidencia

(Congo, RD)

Jed Friedman

0 0 0 0 0 0 0 0

Mejoramiento resultados malaria mediante diseños de programas basados en evidencia

India

Jed Friedman

173,007

173,007

120,237

90,201

243,007

243,007

224,037

218,316

Distribuidores comunitarios y vendedores de patentes de medicinas para el control de la malaria

Nigeria

Arianna Legovini

164,207

164,207

75,582

68,742

184,207

184,207

171,097

165,917

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

70

Estudios de evaluación de impacto

País/Num. De EI

Líder equipo tarea

Asignado Fin_AF20

08

Recaudado Fin_AF20

08

Comprom. Fin_AF2008

Desemb. Fin_AF2008

Asignado Fin_AF20

09

RecaudadoFin_AF20

09

Comprom. Fin_AF2009

Desemb.Fin_AF2009

1.3. Estudios de conglomerado de EI

35

- 6,267,704

268,785

794,805

66,975

5,663,607

4,007,999

1,670,442

942,613

1.3.4 – Programas de mercados laborales activos /Empleo juvenil

7

R. Almeida, M. Lundberg

1,658,125

10,000

172,455

9,999

1,158,124

651,934

360,691

198,235

Evaluación NREG en India

India

Rinku Murgai

390,000

0 46,835

0 290,000

290,000

71,962

25,128Programa de desarrollo

juvenilRep. Dom.

Juan Martin Moreno

249,625

0 115,621

0 149,625

173,075

128,507

12,886Mi Primer

Empleo(Honduras)

Cornelia Tesliuc

308,640

10,000

9,999

9,999

208,639

9,999

9,999

9,999Programa de oportunidades juveniles

NUSAFUganda

Patrick Premand

309,860

0 0 0 209,860

178,860

150,222

150,222

Steps-To-Work, Jamaica

(Jamaica)

Cornelia Tesliuc

400,000

0 0 0 300,000

0 0 0

Evaluación de impacto TVST OVAY

Malawi

Sangeeta Raja Jobanputra

0 0 0 0 0 0 0 0

Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus siglas en inglés)

(Liberia)

Mattias Lundberg

0 0 0 0 0 0 0 0

Conversión tesis en empresas

Tunisia

Stefanie Brodmann

0 0 0 0 0 0 0 0

Efectividad entrenamiento de la “Turkish National Employment Agency”

Turquía

Cristobal Ridao-Cano

0 0 0 0 0 0 0 0

Experimento A Youth Wage Subsidy

Sudáfrica

Elizabeth Ninan

0 0 0 0 0 0 0 0

1.3.5 – Rendición cuentas enseñanza básica

5H. Patrinos, D. Filmer, B. Bruns

756,436

0 254,972

0 756,436

566,300

262,534

7,561

Reforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo

Brasil

Barbara Bruns

175,000

0 14,438

0 175,000

175,000

19,026

4,587

Escuelas comunitarias de Nepal

Nepal

Nazmul Chaudhury

150,000

0 0 0 150,000

150,000

2,974

2,974AGEs - Programas de Apoyo a la Gestión

EscolarEmpoderamiento paternal

México

Harry A. Patrinos

220,136

0 185,744

0 220,136

30,000

185,744

0

Rol de la evaluación para proporcionar información para rendición de cuentas

Liberia

Nathalie Lahire

211,300

0 11,100

0 211,300

211,300

11,100

0

Evaluación aleatoria educación primaria de Andhra Pradesh

India

Venkatesh Sundararaman

0 0 43,690

0 0 0 43,690

0

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

71

Estudio de evaluación de impacto

País/Num. De EI

Líder equipo tarea

Asignado Fin_AF20

10

Recaudado Fin_AF20

10

Comprom. Fin_AF2010

Desemb,Fin_AF2010

Asignado Fin_AF20

11

Recaudado Fin_AF20

11

Comprom. Fin_AF2011

Desemb.Fin_AF2011

1.3. Estudios de conglomerado de EI1.3.4 – Programas de mercados laborales activos /Empleo juvenil

35

- 7,231,906

6,932,493

3,992,969

2,419,751

7,494,110

7,492,167

6,962,188

5,991,865

7

R. Almeida, M. Lundberg

1,333,124

1,089,484

873,135

576,703

1,343,124

1,343,124

1,212,887

1,132,786

Evaluación NREG en India

India

Rinku Murgai

290,000

290,000

250,257

182,613

270,000

270,000

214,761

214,761Programa de desarrollo

juvenilRep. Dom.

Juan Martin Moreno

199,625

199,625

185,582

102,107

224,625

224,625

199,127

170,333Mi Primer

Empleo(Honduras)

Cornelia Tesliuc

9,999

9,999

9,999

9,999

9,999

9,999

9,999

9,999Programa de oportunidades juveniles

NUSAFUganda

Patrick Premand

334,860

334,860

329,522

209,833

349,860

349,860

349,860

341,351

Steps-To-Work, Jamaica

(Jamaica)

Cornelia Tesliuc

0 0 0 0 0 0 0 0

Evaluación de impacto TVST OVAY

Malawi

Sangeeta Raja Jobanputra

200,000

200,000

89,551

63,927

240,000

240,000

234,442

224,477

Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus siglas en inglés)

(Liberia)

Mattias Lundberg

70,000

0 0 0 0 0 0 0

Conversión tesis en empresas

Tunisia

Stefanie Brodmann

55,000

55,000

8,223

8,223

55,000

55,000

54,790

53,457Efectividad entrenamiento de la

“Turkish National Employment Agency”

Turquía

Cristobal Ridao-Cano

98,640

0 0 0 118,640

118,640

117,978

117,978

Experimento A Youth Wage Subsidy

Sudáfrica

Elizabeth Ninan

75,000

0 0 0 75,000

75,000

31,930

430

1.3.5 – Rendición cuentas enseñanza básicaReforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo

5H. Patrinos, D. Filmer, B. Bruns

982,913

929,039

651,858

392,959

1,071,493

1,071,494

1,007,593

1,000,975

Brasil

Barbara Bruns

228,874

175,000

78,439

78,439

328,874

328,875

280,864

274,247

Escuelas comunitarias de Nepal

Nepal

Nazmul Chaudhury

150,000

150,000

92,015

92,015

150,000

150,000

149,931

149,931AGEs - Programas de Apoyo a la Gestión

EscolarEmpoderamiento paternal

México

Harry A. Patrinos

292,739

292,739

243,667

177,709

292,739

292,739

292,607

292,606

Rol de la evaluación en proporcionar información para rendición de cuentas

Liberia

Nathalie Lahire

211,300

211,300

189,180

10,200

199,880

199,880

185,805

185,805

Evaluación aleatoria educación primaria de Andhra Pradesh

India

Venkatesh Sundararaman

100,000

100,000

48,556

34,596

100,000

100,000

98,386

98,386

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

72

Estudios de evaluación de impacto

País/Num. De EI

Líder equipo tarea

Asignado Fin_AF20

08

Recaudado Fin_AF20

08

Comprom. Fin_AF2008

Desemb. Fin_AF2008

Asignado Fin_AF20

09

Recaudado Fin_AF20

09

Comprom. Fin_AF2009

Desemb. Fin_AF2009

1.3. Estudios de conglomerados de EI

35

- 6,267,704

268,785

794,805

66,975

5,663,607

4,007,999

1,670,442

942,613

1.3.6 – Prevención VIH/SIDA

3 David Wilson, Damien De Walque

871,700

120,000

31,100

0 871,700

644,000

162,279

131,179

Evaluación TMC para prevenir VIH y otras ETS

Tanzania

Damien De Walque

290,400

0 8,000

0 290,400

250,000

93,000

85,000

Evaluación impacto de campaña prevención HIV para la juventud

Lesotho

Damien De Walque

306,800

120,000

0 0 306,800

120,000

2,250

2,250

TMC, escolarización, riesgos VIH

Malawi

Berk Ozler

274,500

0 23,100

0 274,500

274,000

67,029

43,929

1.3.7 – Desarrollo en la primera infancia

4 Emanuela Galasso

0 0 0 0 0 0 0 0

EI y análisis costo-beneficio de 3 tipos de intervenciones de la ECD con fondos de la FTI

Camboya

Sophie Naudeau

0 0 0 0 0 0 0 0

Nadie es Perfecto, EI de un programa para mejorar habilidades paternales

Chile

Emanuela Galasso

0 0 0 0 0 0 0 0

EI de DPI en Mozambique

Mozambique

Sophie Naudeau

0 0 0 0 0 0 0 0

Atención a Crisis de DPI y efectivo condicionado

Nicaragua

Renos Vakis

0 0 0 0 0 0 0 0

Evaluación del programa de paternidad, Jamaica

Jamaica

Harriet Nannyonjo

0 0 0 0 0 0 0 0

Total programa investigación SIEF

50

- 7,412,874

983,785

1,454,042

350,172

8,961,453

5,235,620

2,708,440

1,604,570

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

73

Estudio de evaluación de impacto

País/Num. De EI

Líder equipo tarea

Asignado End_FY20

10

Recaudado End_FY20

10

ComprometidoEnd_FY2010

Desemb.End_FY2010

Asignado End_FY20

11

Recaudado End_FY20

11

Comprom.End_FY2011

Desemb.End_FY2011

1.3. Estudios de conglomerados de EI

35

- 7,231,906

6,932,493

3,992,969

2,419,751

7,494,110

7,492,167

6,962,188

5,991,865

1.3.6 – Prevención VIH/SIDA

3 David Wilson, Damien De Walque

1,102,717

1,102,217

620,840

314,160

1,102,717

1,102,217

1,075,526

1,055,916

Evaluación TMC para prevenir VIH y otras ETS

Tanzania

Damien De Walque

371,400

371,400

272,655

85,000

371,400

371,400

365,686

347,259

Evaluación impacto de campaña prevención HIV para la juventud

Lesotho

Damien De Walque

384,680

384,680

128,325

120,000

384,680

384,680

384,680

384,680

TMC, escolarización, riesgos VIH

Malawi

Berk Ozler

346,637

346,137

219,860

109,160

346,637

346,137

325,160

323,977

1.3.7 – Desarrollo en la primera infancia

4 Emanuela Galasso

750,000

749,900

17,903

17,903

775,000

774,900

735,316

321,290

EI y análisis costo-beneficio de 3 tipos de intervenciones de la DCE con fondos de la FTI

Camboya

Sophie Naudeau

211,000

211,000

0 0 211,000

211,000

200,948

58,618

Nadie es Perfecto, EI de un programa para mejorar habilidades paternales

Chile

Emanuela Galasso

200,000

200,000

0 0 225,000

225,000

223,309

26,279

EI de DPI en Mozambique

Mozambique

Sophie Naudeau

165,000

164,900

17,903

17,903

165,000

164,900

141,318

136,118Atención a Crisis de

DPI y efectivo condicionado

Nicaragua

Renos Vakis

174,000

174,000

0 0 174,000

174,000

169,741

100,275

Evaluación del programa de paternidad, Jamaica Jamaic

aHarriet Nannyonjo

0 0 0 0 0 0 0 0

Total programa investigación SIEF

50

- 9,886,593

9,583,279

5,693,005

3,817,452

10,186,147

10,180,303

9,511,033

8,207,793

Tabla 7. – Programa de investigación de SIEF: ejecución del presupuesto (años anteriores; cont.)

74

Estudios de Evaluación de Impacto

País / Núm De Estudios EI

Líder equipo tarea

AsignadoFin_AF20

08

Recaudado Fin_AF20

08

Comprom. Fin_AF2008

Desemb. Fin_AF2008

AsignadoFin_AF20

09

Recaudado Fin_AF20

09

Comprom. Fin_AF2009

Desemb.Fin_AF2009

Conglomerado 1 Coordinación SIEF

Todo el mundo

Christel Vermeersch

85,000

0 0 0 85,000

85,000

9,450

9,450 Conglomerado 2 Coordinación

SIEF Todo el mundo

Emanuela Galasso

85,000

0 0 0 85,000

0 0 0

Conglomerado 3 Coordinación SIEF

Todo el mundo

Jed Friedman

85,000

0 21,540

0 85,000

85,000

42,343

20,803Conglomerado 4 Coordinación

SIEF Todo el mundo

Rita Almeida

85,000

30,000

34,050

0 85,000

85,000

40,133

6,083Conglomerado 5 Coordinación

SIEF Todo el mundo

Harry Patrinos

85,000

0 0 0 85,000

30,000

5,681

5,681Conglomerado 6 Coordinación

SIEF Todo el mundo

Damien de Walque

85,000

0 0 0 85,000

30,000

6,621

6,621Conglomerado 7 Coordinación

SIEF Todo el mundo

Emanuela Galasso

0 0 0 0 0 0 0 0

Coordinación total conglomerado

- - 510,000

30,000

55,590

0 510,000

315,000

104,228

48,638

Estudios de evaluación de impacto

País / Num. estudios EI?

Líder equipo tarea

Asignado Fin_AF20

10

Recaudado Fin_AF20

10

Comprom. Fin_AF2010

Desemb. Fin_AF2010

Asignado Fin_AF20

11

Recaudado Fin_AF20

11

Comprom. Fin_AF2011

Desemb. Fin_AF2011

Conglomerado 1 Coordinación SIEF

Todo el mundo

Christel Vermeersch

185,000

85,000

17,785

17,785

185,000

185,000

62,178

62,178Conglomerado 2 Coordinación

SIEF Todo el mundo

Emanuela Galasso

185,000

85,000

20,080

20,080

185,000

185,000

33,059

33,059Conglomerado 3 Coordinación

SIEF Todo el mundo

Jed Friedman

185,000

85,000

77,460

64,460

185,000

185,000

74,623

74,623Conglomerado 4 Coordinación

SIEF Todo el mundo

Rita Almeida

185,000

85,000

78,913

50,713

185,000

185,000

116,428

95,628Conglomerado 5 Coordinación

SIEF Todo el mundo

Harry Patrinos

185,000

85,000

49,341

45,714

185,000

185,000

183,906

180,279Conglomerado 6 Coordinación

SIEF Todo el mundo

Damien de Walque

185,000

185,000

28,864

28,864

185,000

185,000

66,164

66,164Conglomerado 7 Coordinación

SIEF Todo el mundo

Emanuela Galasso

185,000

85,000

10,503

8,003

160,000

160,000

78,740

69,390

Coordinación total conglomerado

- - 1,295,000

695,000

282,946

235,619

1,270,000

1,270,000

615,098

581,321

Tabla 8.- Divulgación y Coordinación de SIEF: ejecución del presupuesto (años anteriores)

Tabla 8.- Divulgación y Coordinación de SIEF: ejecución del presupuesto (años anteriores; cont.)

75

Proyecto No.

Actividades

País

Líder/coordinador de equipo tarea

Desembolsado

SIEF

Total desemb. en El año hasta marzo AY1

2($ 000)

De los cuales:TF

s

De los cuales:Presup. BM

% SIEF / Total desem

b.

-

1.1. Quick Win de los studios de EI

-

- 879.851

2.020.415

1.718.654

301.762

44%P1081

01Fondo de acción social de Tanzania (TASAF II)

Tanzania

Berk Ozler

169.907

986.022

862.480

123.542

17%P1034

13Bono de Desarrollo Humano

Ecuador

Norbert Schady

137.091

287.429

258.071

29.358

48%

P106250

Seguimiento a largo plazo de beneficiarios del programa de simulación

Jamaica

Christel Vermeersch

57.065

107.065

107.065

0 53%

P109590

Desarrollo en la primera infancia (DPI)

Brasil

Pedro Olinto

119.599

415.663

266.802

148.861

29%P1134

04Desarrollo en la primera infancia (DPI)

México

Sebastian Martinez

0 99.236

99.236

0 0%- Personal docente extra

(ETP)Kenia

Barbara Bruns

0 0 0 0 -- Interaction of Information and SBM Reforms in Basic

EducationBenín

Barbara Bruns

0 0 0 0 -P109258

Maharashtra and Orissa Rural Water Supply and Sanitation

India

Priti Kumar

125.000

125.000

125.000

0 100%

- 1.2. Estudios de EI de los fondos de innovación

-

- 2.009.223

5.525.130

3.686.595

1.838.535

36%- 1.2.1. Desarrollo

humano- - 773.8

242.516.337

2.365.040

151.298

31%P1122

48Proyecto de EI de vouchers TIVET

Kenia

Shobhana Sosale

262.000

417.327

397.000

20.327

63%P0893

86Proyecto de tarjetas de evaluación ciudadana (fase II)

Uganda

Damien de Walque

151.003

700.664

642.576

58.088

22%- Evaluación de procesos de determinación de pobreza y de mecanismos de

rendición de cuentasFilipinas

Xavier Gine

0 0 0 -P114924

Reintegración de ex combatientes y agentes de consolidación de paz en Liberia

Liberia

Mattias Lundberg

307.276

886.770

862.110

24.659

35%P1157

05Efectos de asesoría y pruebas VIH realizadas en casa

Kenia

Markus P. Goldstein

53.545

511.577

463.354

48.223

10%- 1.2.2. Desarrollo

sustentable- - 1.235.

3993.008.793

1.321.556

1.687.237

41%P1175

45Generando un futuro mejor: efecto del Mejoramiento de Viviendas Informales sobre la Salud en Sudáfrica

Sudáfrica

Arianna Legovini

258.827

258.827

258.827

0 100%P1177

33Uso doméstico de irrigación de agua

Etiopía

Arianna Legovini

145.974

152.939

145.974

6.965

95%P1104

42EI de GPOVA/SEIF en el agua de Uganda

Uganda

Luis Tineo

120.306

245.463

206.463

39.000

49%P1174

74Soluciones innovadoras de tratamiento de recursos de agua potable rural

Kenia

Arianna Legovini

199.671

199.671

199.671

0 100%- Impacto de pozos de agua y drenaje en el bienestar

familiar y en la Nigeria

Pedro Olinto

0 0 0 -

P095235

EI: acceso al agua en zonas rurales de Paraguay

Paraguay

Miguel Vargas-Ramirez

171.279

978.580

171.279

807.302

18%

P101432

EI: acceso a alcantarillado en Uruguay

Uruguay

Carlos E. Velez

147.135

348.874

147.135

201.739

42%

P104760

Derechos de agua en Perú

Perú

Marie-Laure Lajaunie

192.207

824.438

192.207

632.232

23%

Tabla 9. – Programa de evaluación de impacto de SIEF: Desembolso total por fuente de financiamiento (2007 – abril 2012)

76

Tabla 9. – Programa de evaluación de impacto de SIEF: Desembolso total por fuente de financiamiento (2007 – abril 2012)

77

Proyecto No.

Actividades

País

Líder/Coordinador de

Equipo Tarea

Desembolsado

SIEF

Total desemb. en El año hasta marzo AF1

2($ 000)

De los cuales:TF

s

Del los cuales:Presup. BM

% SIEF / Total desem

b.

-

1.3. Estudios de conglomerados de EI

-

- 6.928.894

19.185.267

14.372.112

4.813.154

36%- 1.3.1 – Contratación salud / Pago

realización - Christel

Vermeersch, 1.250.539

2.407.861

2.098.192

309.669

52%P1058

04Plan Nacer - Child-Mother Provincial

Argentina

Adam Ross

339.812

418.504

414.502

4.002

81%

P098456

Contratación basada en desempeño de servicios de salud general y VIH

Ruanda

Christel Vermeersch

197.383

448.817

427.299

21.518

44%

P116722

Pago por desempeño en el sector salud de China (Evaluación de Salud XI)

China

Adam Wagstaff

272.854

273.006

272.854

152

100%

P111055

Pago por desempeño en el sector salud de Turquía

Turquía

Sarbani Chakraborty

50.476

56.749

50.476

6.272

89%

P113202

Impact. créditos apoyo para la reducción pobreza en la salud materna

Benín

Christophe Lemiere

296.000

1.068.758

839.048

229.709

28%P1187

34Evaluac. Implementación seguros de salud

India

Robert Palacios

94.013

142.028

94.013

48.015

66%- 1.3.2 – Transferencia monetaria

condicionada- Margaret

Grosh, Phillippe Leite,

895.086

2.888.349

1.849.109

1.039.240

31%

P099430

EI prog.piloto de TMC en educación rural y no condicionadas en Nahouri

Burkina Faso

Damien de Walque

224.475

758.400

599.625

158.776

30%

P109306

Programa de TMC en educación rural en Marruecos

Marruecos

Nadine Poupart

347.806

730.069

447.538

282.531

48%P1103

50Estimación efectos dinámicos de Chile Voluntario

Chile

Emanuela Galasso

61.094

105.059

105.059

0 58%P1196

55Evaluación y mejora de TMC en Indonesia

Indonesia

Susan Wong

0 210

210

0 0%P1026

81Programa piloto comunitario de TMC

Tanzania

Anush Bezhanyan

160.000

970.818

594.967

375.851

16%P1150

67Programa Contigo Vamos por Más Oportunidades, en estado de Guanajuato

México

Theresa Jones

101.710

323.793

101.710

222.082

31%

- 1.3.3 – Control de la malaria

- Jed Friedman, Arianna Legovini

762.790

1.271.699

1.139.227

132.471

60%

P113951

Salud y nutrición escolar: rol del control de la malaria para mejorar la educación

Kenia

Donald Bundy

100.222

100.222

100.222

0 100%P1139

54Salud y nutrición escolar: rol del control de la malaria para mejorar la educ

Senegal

Donald Bundy

42.952

42.952

42.952

0 100%P1132

23Mejoramiento resultados malaria mediante diseños de programas basados en evidencia

Zambia

Jed Friedman

193.311

243.311

243.311

0 79%- Mejoramiento resultados malaria mediante diseños de programas basados

en evidenciaCongo, RD

Jed Friedman

0 0 0 -P106233

Mejoramiento resultados mala mediante diseños de programas basados en evidencia

India

Jed Friedman

242.369

327.916

306.172

21.743

74%P1058

46Distribuidores comunitarios y vendedores de patentes de medicinas para el control de la malaria

Nigeria

Arianna Legovini

183.936

557.298

446.570

110.728

33%

78

Tabla 9. – Programa de evaluación de impacto de SIEF: Desembolso total por fuente de financiamiento (2007 – abril 2012)

79

Proyecto No.

Actividades

País

Líder/Coordinador

De Equipo Tarea

Desembolsado

SIEF

Total desemb. en El año hasta marzo AF1

2($ 000)

De los cuales:TF

s

De los cuales:Presup. BM

% SIEF / Total Desem

b.

-

1.3. Estudios de conglomerado de EI

-

- 6.928.894

19.185.267

14.372.112

4.813.154

36%

- 1.3.4 – Programas de mercados laborales activos /Empleo juvenil

- Rita Almeida, Mattias Lundberg

1.276.350

3.989.433

1.937.434

2.051.999

32%

P104857

Evaluación India National Rural Employment Guarantee

India

Rinku Murgai

254.327

780.834

474.324

306.510

33%

P112569

IE - PJE, Programa Juventud y Empleo

Rep. Dom. Juan Martin

Moreno223.622

223.665

223.665

0 100%

- Mi Primer Empleo

Honduras

Cornelia Tesliuc

9.999

9.999

9.999

0 100%P1057

30Programa de oportunidades juveniles NUSAF (YOP)

Uganda

Patrick Premand

349.860

642.201

642.201

0 54%- Steps-To-Work,

JamaicaJamaica

Cornelia Tesliuc

0 0 0 -

P121256

Conglomerado 4 SIEF: Malawi / Evaluación de impacto TVST OVAY

Malawi

Sangeeta Raja Jobanputra

239.531

367.191

278.536

88.654

65%

P108322

Proyecto de empoderamiento económico de mujeres jóvenes (EPAG, por sus siglas en inglés)

Liberia

Mattias Lundberg

0 72.082

0 72.082

0%P1118

13Conversión tesis en empresas

Tunisia

Stefanie Brodmann

54.727

273.593

54.727

218.865

20%

P120514

Conglomerado 4 SIEF:Turquía

Turquía

Cristobal Ridao-Cano

117.785

518.575

217.484

301.092

23%

P112927

Experimento A Youth Wage Subsidy para Sudáfrica

Sudáfrica

Elizabeth Ninan

36.498

1.101.293

36.498

1.064.795

3%

- 1.3.5 – Rendición cuentas enseñanza básica

- Harry Patrinos, Deon Filmer, Barbara Bruns

1.022.601

4.406.753

3.937.931

468.822

23%

P109100

Evaluación efecto reforma pago por desempeño de maestros escolares de Pernambuco y Sao Paulo

Brasil

Barbara Bruns

295.873

348.547

336.543

12.004

85%P0997

92Proyecto escuelas comunitarias de Nepal

Nepal

Nazmul Chaudhury

149.931

899.606

785.540

114.066

17%P1116

06AGEs – Programa Apoyo a la Gestion Escolar

México

Harry A. Patrinos

292.606

327.802

327.802

0 89%P1034

54¿Cuál es el rol de la evaluación en proporcionar información para la rendición de cuentas?

Liberia

Nathalie Lahire

185.805

1.377.786

1.248.352

129.434

13%

P099794

Evaluación aleatoria educación primaria de Andhra Pradesh

India

Venkatesh Sundararaman

98.386

1.453.012

1.239.694

213.318

7%

- 1.3.6 – Prevención VIH/SIDA

- David Wilson, Damien De Walque

981.561

1.914.493

1.711.886

202.608

51%

P113775

Evaluación TMC para prevenir VIH y otras ETS

Tanzania

Damien De Walque

371.131

767.866

678.297

89.569

48%P1106

11EI campaña prevención VIH para la juventud; abstinencia, fidelidad y sexo seguro

Lesotho

Damien De Walque

264.680

725.838

687.838

38.000

36%P1119

39CCT, Schooling, and HIV Risk

Malawi

Berk Ozler

345.751

420.790

345.751

75.039

82%- 1.3.7 – Desarrollo en la primera

infancia- Emanuela

Galasso739.966

2.306.679

1.698.333

608.345

32%P1139

99EI y análisis costo-beneficio de 3 tipos de intervenciones de la ECD con fondos de la FTICamboy

aSophie Naudeau

200.948

426.070

349.875

76.195

47%P1222

31Nadie es Perfecto, EI de un programa paramejorar habilidades paternalesChil

eEmanuela Galasso

223.309

373.629

277.417

96.212

60%P1214

39EI de DPI en Mozambique

Mozambique

Sophie Naudeau

141.743

141.743

141.743

0 100%P0972

66Atención a Crisis de DPI y efectivo condicionado Nicarag

uaRenos Vakis

173.966

1.025.243

914.527

110.715

17%P0956

73Evaluación del programa de paternidad, Jamaica Jamaic

aHarriet Nannyonjo

0 339.995

14.771

325.223

0%

- Evaluación impacto total SIEF

-

-

9.817.968

26.730.812

19.777.361

6.953.451

37%

80

Cuadro A. Indicadores de flujo financiero y ejecución de presupuesto

En este informe se han tomado en consideración cuatro tipos de flujos financieros:

Las asignaciones son las cantidades que han sido abordadas por el Comité Directivo y Técnico de SIEF o por el Gerente del Programa SIEF para actividades y proyectos específicos. -Strictu senso, estas cantidades no son flujos, pero se tomarán decisiones formales relacionadas con transferencias, compromisos y desembolsos.

Recaudación: son las cantidades transferidas desde la cuenta principal de SIEF a las cuentas de subvención específicas, para que los equipos de evaluación de impacto (o los miembros del equipo básico de SIEF, en caso de que las actividades sean realizadas directamente por ellos, como talleres o servicios de asesoría) puedan tener acceso a las cantidades que han sido asignadas a los proyectos o a las actividades de las cuales son responsables.

Compromisos: son los pagos a terceros -como entidades o consultores- que los equipos de evaluación de impacto (o miembros del equipo básico de SIEF en los casos explicados anteriormente) han acordado formalmente a realizar condicionado a la entrega del producto o servicio específico.

Desembolsos: son las cantidades que son pagadas a terceros cuando se reciban los suministros acordados.

En este informe se utilizan tres indicadores de ejecución de presupuesto:

% Recibidos / Asignados: reflejan la medida en que las asignaciones de SIEF han sido canalizadas hacia los individuos (miembros del equipo básico de SIEF, líderes del clúster y líderes del equipo de tareas de evaluación de impacto) que son responsables directos de entregar los productos o servicios específicos.

% Comprometidos / Asignados: reflejan la medida en que las asignaciones de SIEF son utilizadas para contratar entidades y consultores, para abordar el tiempo con el objeto de asegurar la entrega de productos y/o servicios en un tiempo planeado determinado.

% Desembolsados / Asignados: reflejan la medida en que las asignaciones de SIEF han sido utilizadas para pagar los productos o servicios entregados.

81