nombre y organizaciÓn del responsable de este producto: dr. manuel fuentes - it power autores: dra....
TRANSCRIPT
NOMBRE Y ORGANIZACIÓN DEL RESPONSABLE DE ESTE PRODUCTO:
DR. MANUEL FUENTES - IT POWER
AUTORES:
DRA. ALBA GAMARRA DE GUARDIA ING. WALTER CANEDO ESPINOZA CINER
MONITOREO & EVALUACIÓN DE MONITOREO & EVALUACIÓN DE PROGRAMAS Y PROYECTOS PROGRAMAS Y PROYECTOS
ENERGÉTICOSENERGÉTICOS
MONITOREO & EVALUACIÓN DE MONITOREO & EVALUACIÓN DE PROGRAMAS Y PROYECTOS PROGRAMAS Y PROYECTOS
ENERGÉTICOSENERGÉTICOS
Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza
del Chaco Sudamericano.
Manual de Monitoreo & EvaluaciónPresentado en el Taller en San Bernardino
11 y 12 de marzo, Asunción - Paraguay
Manual de Monitoreo & Evaluación
El Monitoreo es una herramienta que usa la recolección sistemática de datos para indicadores específicos, de manera tal que aporten a la gestión y a los principales actores acerca del desarrollo sobre la marcha de las intervenciones, a través de indicadores para el avance y logro de objetivos; así como el progreso en el uso de los recursos colocados.
Módulo 1:16
La Evaluación es definida como la valoración objetiva y sistemática del diseño, implementación y resultados de un proyecto, programa o política que está en avance o ha concluido. El objetivo es determinar la importancia y el cumplimiento de los objetivos, avance de eficiencia, efectividad, impacto y sostenibilidad. La evaluación debe proveer información que sea creíble y útil, permitiendo la incorporación de lecciones aprendidas en los procesos de toma de decisiones, tanto de receptores como de donantes.Se ocupa de quién, o qué grupo, se ha beneficiado del sistema interinstitucional de trabajo (o fue adversamente afectado), en qué cuantía, de qué manera y por qué.
Módulo 1:16
Dinámica:
Preparación del M&E: Se solicita a los participantes realizar una lluvia de ideas e identificar todas las tareas que están involucradas en la preparación para conducir las actividades de M&E. Tiempo: 10 minutos. Trabajo por parejas. No se compartirá la información en plenaria, hasta la revisión nuevamente por parejas al finalizar el Módulo 1:
Módulo 1:16
Módulo 1: 21
EVALUAR, APRENDER,
DECIDIR
MONITOREAR
REFLEXIONAR, APRENDER, DECIDIR,
AJUSTAR
IMPLEMENTAR
PLANIFICAR
MONITOREAR
IMPLEMENTAR
REFLEXIONAR, APRENDER, DECIDIR,
JUSTIFICAR
IMPLEMENTAR
Procesos del M&E:
• Qué?• Quién?• Cuándo?• Cómo? • Con qué recursos?
El sistema de M&E debe contener los elementos que responden a las siguientes
preguntas:
Módulo 1: 22
• Eficacia: Número de clientes conectados o volumen de ventas.• Efectividad: los actores pueden crear “nuevos usos” para el servicio de electricidad.• Impacto: al haberse incrementado los usos de electricidad ha repercutido en la mejora de condiciones sociales y económicas de los beneficiarios.
Tipos de M&E
Módulo 1: 23 y 24
Indicadores
Módulo 1: 26, 27 y 28
Los indicadores son parámetros seleccionados para representar una situación compleja y a menudo imposible de medir directamente. Estos pueden ser cuantitativos o cualitativos; y la combinación de ellos resulta en indicadores mixtos.
Ejemplos: Analizar ejemplos en páginas 27 -29.
Tipos de M&E:
Módulo 1:30
Se definen en términos de: Características de un buen indicador
Variables Descripción LE AMO MAREA…..R
Calidad ¿Cuán positivo / cuán
bueno?
Limitado en tiempo y cantidad
Medible
Cantidad ¿Cuánto? Específico: orientado al logro del objetivo.
Alcanzable
Tiempo ¿Cuándo? ... Realista
Localización ¿Dónde? Alcanzable Específico
Grupo meta ¿Quiénes? Medible Acotado
Observable Reto
Analizar ejemplo de página No. 30
Pasos para el Monitoreo:
Módulo 1:32
Paso 1: Introducción del concepto de eficacia, efectividad e impacto.
Paso 2: Generar una lista de indicadores para cada aspecto y clarificar qué variables estarán enlazadas.
Paso 3: Decidir cómo realizará la recolección de la información que necesita y dónde se guardará.
Paso 4: Decidir cuán frecuentemente se analizará la información.
Paso 5: Recolectar, analizar y reportar.
Pasos para la Evaluación:
Módulo 1:32
Antecedentes Objetivos Preguntas clave de
evaluación Objetivos específicos Metodología Temas logísticos
Elaborar los TDR s para la evaluación:
Ventajas y desventajas de la evaluación interna y externa
de un proyecto:
Módulo 1:37
Analizar el cuadro en la pagina No. 37.
Pasos para elaborar un Plan de M&E:
Módulo 1:37 -40
1. Identifique los actores involucrados en las necesidades de M&E.
2. Elabore un diagrama de su proyecto.3. Asigne resultados del proyecto a los vínculos
con su cadena de efectos.4. Elija los indicadores y métodos de recolección
de información.5. Trate los temas transversales.6. Elabore un borrador del esquema de M&E.7. Valide su esquema con los actores del M&E.8. Integre los aportes de los actores en el diseño
del M&E:9. Ejecute el M&E como parte del proyecto.10.Elabore conclusiones, presente los resultados
del M&E, los acuerdos para el seguimiento de las recomendaciones.
Módulo 2: Tipos de métodos de M&E
Módulo 2: 56
ZOPP
Hipótesis de desarrollo y factores manejables Objetivo superior:
Meta de la política de desarrollo a la cual contribuye esencialmente el proyecto. Impacto de largo plazo.
Considerando los objetivos prácticos y estratégicos de Género.
Objetivo de desarrollo:
Situación futura que representa el estado de mejoramiento al que aspiran los grupos destinatarios. ´´Cambio de actitudes”.
Especificar de forma diferenciada por Género donde corresponda.
Objetivo del proyecto:
Modificación (efecto del proyecto) que se aspira a ejercer sobre el comportamiento y actuación de los grupos destinatarios (*) Motivación.
Resultados:
Prestaciones del proyecto. (*) Productos.
Actividades:
Paquetes de medidas que se deben llevar a cabo para obtener los resultados. Trabajo a ser desarrollado.
Refleja la división actual por Género de trabajo/roles, al igual que los cambios planeados.
Tipos de métodos de M&E:
Módulo 2: 57
MARCO LÓGICO USAIDJerarquía o Sistema de objetivosFin:
Objetivo de mayor nivel jerárquico. Alude a un objetivo de desarrollo o a una apuesta política de largo aliento que justifica la existencia de la organización y que por sus dimensiones complejas no es posible determinar cuándo se alcanzará.
Propósito:
Es el objetivo que justifica la intervención de la institución a través de un proyecto específico. Nos señala el cambio más importante que esperamos alcanzar con nuestra intervención. El objetivo a nivel de propósito determina el impacto del proyecto. (Nace respuesta al problema central identificado).
Resultados:
Son los objetivos específicos que se propone alcanzar el proyecto para garantizar el logro del Propósito. Los cambios propuestos a este nivel representan los efectos esperados como producto de nuestra intervención y por los cuales asumimos responsabilidad directa.Acciones:
Actividades principales que ejecutándose colectivamente deben producir resultados.
Las acciones nos indican cómo se desarrollará el proyecto y el tipo de recursos humanos y materiales necesarios para su cumplimiento.
Tipos de métodos de M&E:
Módulo 2: 58
Enfoque en la demanda – ESMAP
Este enfoque se concentra en integrar el M&E desde la fase de preparación del proyecto involucrando a la demanda, más que en el enfoque convencional del monitoreo durante la ejecución y la realización de evaluaciones de impacto.
Estadío Proy. Preparación Diseño Ejecución Evaluación de Impacto
M&E convencional
Nuevo enfoque de M&E Fig. 2.1: Enfoque orientado a la demanda
Tipos de métodos de M&E:
Módulo 2: 60
El enfoque basado en Resultados – Banco Mundial
Proveedor del servicio
Insumos
Proveedor del servicio
Receptores
Insumos
Receptores
Enfoque tradicional Enfoque basado en resultados
Financiamiento privado
Financia
miento
público
Financiamiento privado gestionado por el proveedor del servicio.
Financiamiento público para el servicio
Fig 2.2: Enfoque basado en Resultados
Tipos de métodos de M&E:
Módulo 2: 62
El enfoque de sistema de gestión basado en resultados de OECD - DAC
Impacto
Objetivos
Resultados
Procesos
Insumos
Metas
Propósito
Resultados
Actividades
Insumos
Indicadores de M&E Gestión
Incr
em
en
to
en
n
ive
les
de
ri
esg
o. D
ism
inu
ción
en la
Gest
ión.
Re
sulta
dos
Pla
nifi
caci
ón &
Eje
cuci
ón
Fig. 2.4: Resultados basados en la gestión del M&E
Cierre de módulo 2:
Módulo 2: 62
Comparación de enfoques del M&E:
Por el tipo de trabajo que desarrolla, cuál de estos enfoques de M&E sugeriría utilizar en su proyecto?
Comparta con su colega sus puntos de vista.
Tiempo total: 10 minutos.
Módulo 3: Análisis de los participantes en el M&E
Módulo 3: 68
Un actor es la persona u organización con influencia, interés y poder de decisión en el ciclo del proyecto o programa.
Es importante diferenciar al actor con el “interesado” (stakeholder), ya que los interesados son participantes que tienen interés y son afectados positiva o negativamente de alguna manera con el proyecto o programa.
Módulo 3: Análisis de los participantes en el M&E
Módulo 3: 69
Primarios: Individuos o grupos afectados directamente con la intervención del proyecto.Secundarios: Actores involucrados como intermediarios en el proyecto tales como miembros de ONGs, empresas eléctricas, instaladores, etc.Externos: Actores que no están involucrados formalmente en el proyecto; pero cuyas acciones y decisiones pueden crear impacto en las decisiones y actividades del proyecto o programa. Donantes o gobernantes (si es que no son ejecutores) pueden entrar en esta categoría.
Módulo 3: Análisis de los participantes en el M&E
Módulo 3: 70
• Autoridades beneficiarias del sector público.• Donantes.• Autoridades públicas donantes del país.• Usuarios, clientes.• Equipo de gestión del proyecto.• Microempresarios.• Equipo interno del proyecto.
Módulo 3: Análisis de los participantes en el M&E
Módulo 3: 72
SÍNTOMAS DE RESISTENCIA
VERBAL NO VERBAL
RESISTENCIA ACTIVA Argumentación
Reproches
Polémicas
Formalismo
Nerviosismo
Intrigas
Pelea
RESISTENCIA PASIVA Silencio
Chismes
Falta de ánimo
Cansancio
Ausentismo
Olvido
Migración interna
Módulo 3: Análisis de los participantes en el M&E
Módulo 3: 73-74
FORTALEZAS ACCIONES DEBILIDADES ACCIONES
F1.
F2.
F3.
.
.
.
D1
D2
D3
D4
.
.
.
OPORTUNIDADES ACCIONES AMENAZAS ACCIONES
O1
O2
O3
O4
.
.
.
A1
A2
.
.
.
Módulo 3: Análisis de los participantes en el M&E
Módulo 3: 76
Rol Autoridades públicas
Internacional (multi y bilaterales)
Sector no gubernamental (nacional o regional)
Sector privado (empresas, bancos)
Creación de políticas para la reducción de la pobreza.
Implementación de políticas y programas de reducción de pobreza.
Creación y trabajo en niveles de políticas/planes y programas específicos a nivel nacional y regional.
Implementación de políticas energéticas y programas.
Módulo 3: Análisis de los participantes en el M&E
Módulo 3: 80
Que inciden Que son afectados
Módulo 4: Indicadores de M&E
Módulo 3: 80
Insumos Resultados Objetivos Efectos (+ / -)¿Qué es lo que aportas?
•Tiempo•Dinero•Aspectos técnicos•Recursos humanos.•Datos, medios e instrumentos.•Conocimiento e información.
•I: eficiencia. 94-98
¿Cuáles son los resultados de lo que haces?
Bienes y Servicios.
Ej.: Entrenamiento / creación de capacidades.
I: 98 y 99Confort, ahorro, clientes conectados, volumen de ventas
1er. nivel de consecuencias. Dependen de insumos, acciones y decisiones que no dependen del proyecto.
Prácticas y comportamientos.Ej.: Personal mejor capacitado en regulación de energía e implementación de programas.
Diferencia entre los resultados del proyecto y aquellos que se hubiesen logrado sin la intervención.
Directos o indirectos, a corto y largo plazo; positivos o negativos con beneficios y limitaciones.
Ej.: Creación de programas energéticos para el sector rural.Mejora del marco regulatorio en apoyo a la electrificación para sector pobre de la población.
Actividades: ¿Qué es lo que hace el proyecto?
Impactos: Consecuencias en metas de desarrollo nacionales , MDMs. I: 104
Módulo 4: Indicadores de M&E
Módulo 4
Módulo 4: Niveles de impacto
Módulo 4: 104
Efectos directos (beneficios) sobre los grupos destinatarios.
Efectos sobre el tejido socio institucional y sustentabilidad.
Valores y patrones culturales
1
2
3
Módulo 4: Proceso de análisis de indicadores de resultados
Módulo 4: 109
Determine algunos indicadores clave para el proceso de monitoreo / evaluación.
Obtención de información acerca de los indicadores.
Desarrolle una estructura para el análisis de los temas emergentes y preocupaciones, donde Ud. suponga que pueden esperarse variaciones de lo esperado y/o planificado.
Analice la información, organícela bajo temas y asuntos.
Identifique modelos, tendencias y posibles interpretaciones.
Escriba sus descubrimientos y conclusiones. Trabaje posibles vías para seguir adelante (recomendaciones).
Módulo 5: 126
Módulo 5: Proceso de implementación de un Plan de
M&E
Métodos cualitativos
Observación Consulta a los actores
Entrevistas de estudio de caso a profundidad. Documentación
Discusiones con grupos focales / Consultas. Estudios de caso
Líneas de tiempo / cronogramas temporales. Entrevistas abiertas personales.
Mapeos sociales Análisis FODA
Etnografía Ranking de riqueza.
Módulo 5: 126
Módulo 5: Proceso de implementación de un Plan de
M&E
Cuantitativa
Cuestionarios Encuestas
Entrevistas estructuradas (escritas) Análisis costo-beneficio.
Revisión de información contable. Análisis técnico
Censo de población Mapas con Sistemas de Información Geográfico.
Módulo 5: 126
Módulo 5: Proceso de implementación de un Plan de
M&E
Estudios de caso. Observaciones grabadas. Diarios. Grabación de incidentes o análisis importantes (denominados “análisis de incidentes críticos” Cuestionarios estructurados. Entrevistas personales. Grupos focales. Encuestas por muestreo. Revisión sistemática de información oficial de importancia.
Herramientas más comunes para levantamiento de información.
Módulo 5: 126
SISTEMA INTERNO DE RETROALIMENTACION DEL MONITOREO
Diseño de los reportes del Progreso del Proyecto.
Definición del Cronograma de retroalimentación.
Elaboración de recomendaciones y conclusiones.
Proceso de toma de decisiones.
Recepción de reportes / informes individuales.
Entrenamiento del equipo del proyecto y contrapartes.
Evaluación, discusión, modificaciones.
Distribución de los reportes
Elaboración e introducción de cambio.
Seguimiento de recomendaciones.
Evaluación de resultados e impactos.
Sistema Interno de retro-alimentación
Módulo 5: Plan de M&E
Módulo 5: 135
APLICABILIDAD Y COMPROMISOEl objetivo de la tarea es examinar la aplicabilidad institucional del contenido del curso-taller en los proyectos y/o acciones de Monitoreo y Evaluación de la entidad en la que colaboran los participantes, y de cuyo análisis integral se extraen determinaciones concretas acerca de los cambios y mejoras sobre los sistemas de M&E.
Actividades a realizar:
•Identificar las principales acciones que se podrían emprender para mejorar los sistemas de monitoreo y evaluación de su institución, proyecto o programa.•Para la aplicación de esas acciones, identificar los principales obstáculos que pueden presentarse.•Establecer las medidas administrativas, técnicas y financieras y otras que deba realizar para superar los obstáculos y lograr el mejoramiento del sistema.
Módulo 5:
Módulo 5: 136
.
• Proyectos exitosos.•GVEP International.•Agradecimientos.•Contactos: [email protected] •Evaluación•Clausura.