SEMINARIO

MONITOREO Y EVALUACIN

DE PROYECTOS

Departamento de Trabajo Social

Universidad de Antioquia

Docentes: Jos Ferney Torres Piedrahita

Carlos Mario Ramrez Rave

OBJETIVOS

Reconocen los elementos bsicos para la gestin de procesos de M+E en el desarrollo de proyectos de intervencin social.

Cuentan con herramientas para la coordinacin de procesos seguimiento y evaluacin de proyectos de desarrollo, inscritos en organismos sociales.

Se encuentran motivados/as a la profundizacin y aplicacin de contenidos del Seminario en el desarrollo de su ejercicio profesional como practicantes de Trabajo social en las diferentes Organizaciones y grupos en los cuales se encuentran agenciados/as

Los y las estudiantes

del seminario de prctica

participantes del mdulo

de capacitacin en monitoreo y evaluacin de proyectos

sociales

PLAN TEMTICO

SESIN NO 1 SESIN NO 2

Elementos Contextuales y Generalidades sobre Monitoreo y evaluacin de proyectos

Teora de Indicadores

Definicin de Monitoreo y evaluacin de proyectos Definicin de un sistema de M+E

Utilidad de los procesos de M+E Pasos para disear un sistema

Tipos de Evaluacin de proyectos Aspectos a tener presente en el diseo y

gestin de un sistema

Modelo ICEBERG de la evaluacin Caja de herramientas del DRP en la

evaluacin de Proyectos

Enfoques de la evaluacin Herramientas de Priorizacin

Relacin de la evaluacin y la planeacin Diagramas y Mapas

La evaluacin y el ciclo vital de un proyecto

Definicin de indicadores

Estructura de los indicadores

Tipos de Indicadores

Caractersticas de un indicador

Errores en el diseo de los indicadores

PLAN TEMTICO

SESIN NO 3

Sistemas de Monitoreo y

evaluacin

Instrumentos de monitoreo para proyectos

Instrumentos de evaluacin de un proyecto

Monitoreo financiero de proyectos

Seguimiento presupuestal a los proyectos

Los resultados de la Gestin del proyecto, para determinar Logros

Eficiencia en el uso de los recursos

Impacto en relacin con los beneficiarios

Sacar enseanzas para futuros proyectos.

ACTIVIDAD REFLEXIVA Y ANALTICA

Examinar sistemtica y objetivamente Acciones pasadas en relacin a objetivos definidos, recursos empleados y logros obtenidos

- Pertinencia de los mtodos utilizados - Guiar a los tomadores de decisiones - mejorar las actividades futuras.

Instrumento de Seguimiento a la

gestin de proyectos. para recopilar datos

para asegurar la conduccin de

proyectos - para elaborar los informes

Arroja conocimientos -seales de alerta -

para la Toma de Decisiones sobre :

Objetivos - Recursos

Proceso de autoevaluacin -

mirarse en el espejo-examinar eficiencia, eficacia, o el impacto de su propia actividad

y buscar aqu las mejoras posibles

LA EVALUACIN DEL PROYECTO TIENE EN CUENTA

Efectos del proyecto y con ellos de la estrategia del proyecto (objetivos, resultados, actividades, supuestos

Anlisis crtico de todas las actividades y resultados de un proyecto: pertinencia de mtodos utilizados, validez de los objetivos, la eficiencia en el uso de recursos y el

impacto en relacin con los beneficiarios

La eficiencia econmica de la utilizacin de los recursos

Identifica la necesidad de adecuacin de la planificacin (a mediano y largo plazo).

Cuestiona la validez de la planificacin del proyecto

DEFINICIONES BSICAS

El monitoreo significa observar y recolectar informacin y adems

reflexionar sobre lo que ha sido observado para as verificar si

seguimos en el rumbo correcto para alcanzar los objetivos y/o si es necesario cambiar el rumbo. ( GTZ Monitoreo Participativo de

Impactos ).

El monitoreo se relaciona directamente con la gestin administrativa y consiste en un examen continuo o peridico que se efecta durante la implementacin del proyecto, en las etapas de inversin y/u operacin. Se realiza con el objeto de hacer un seguimiento del desarrollo de las actividades programadas, medir los resultados de la gestin y optimizar sus procesos, a travs del aprendizaje que resulta de los xitos y fracasos detectados al comparar lo realizado con lo programado, algn estndar (promedio u ptimo) y/u otros programas o proyectos. Se desarrolla en distintos niveles de la gestin, con el objeto de conocer sobre los insumos, actividades, procesos y productos, cuyos principales indicadores se relacionan con el tiempo, la cantidad, la calidad y el costo que tiene cada uno. (Cepal. Manual de formulacin, evaluacin y monitoreo de proyectos sociales).

DEFINICIONES BSICAS

DEFINICIONES BSICAS

Constante revisin de los progresos del proyecto (comparacin de lo planificado

y lo realizado)

Identifica la necesidad de medidas correctivas a corto plazo en caso de

desviaciones de la planificacin.

Proceso continuo de recoleccin de informacin y tratamiento de datos -

descubrir anomalas durante la ejecucin de los proyectos - brinda la oportunidad de correcciones - reorientaciones tcnicas.

El

Monitoreo

comparacin entre los resultados obtenidos y los medios o recursos disponibles (financieros, materiales) y los esfuerzos que hayan hecho posible el uso ms econmico de los mismos o una menor inversin sin afectar la calidad de los resultados

La eficiencia:

comparacin de los objetivos versus los resultados logrados para ver en qu medida se consigui lo que se propuso

La eficacia:

apreciacin de todos los efectos de las acciones sobre el medio, en los aspectos tcnicos, econmicos, sociales, culturales, polticos, ecolgicos, etc. El cambio que el proyecto produjo sobre la realidad y situacin al final del proyecto as como tambin los cambios no esperados o previstos que determinen una trascendencia del proyecto

El impacto:

CRITERIOS DE LOS PROCESOS DE M+E

CRITERIOS DE LOS PROCESOS DE M+E

La pertinencia es la adecuacin de los resultados y los objetivos de la intervencin al

contexto puede ser definida, en trminos generales, como en que se realiza. Para su

anlisis ser preciso considerar:

los problemas y las necesidades de los

beneficiarios;

las polticas de desarrollo

nacionales, regionales o locales en el sector sobre el

que se interviene;

la existencia de otras actuaciones

sinrgicas, complementarias o competitivas, de la

cooperacin oficial, de la cooperacin

descentralizada o de otros donantes;

la poltica (objetivos y

prioridades) de cooperacin para

el desarrollo del donante;

las capacidades tcnicas y

financieras con las que se cuenta; y

la concepcin que se posee acerca del concepto y el

sentido del trmino desarrollo.

La viabilidad el grado en el que los efectos positivos derivados de la intervencin continan una vez que se ha retirado la ayuda externa. Este criterio parte de la idea de que es conveniente que los beneficiarios o las instituciones contraparte se hagan cargo de continuar cumpliendo con los efectos positivos de la actuacin ejecutada.

UTILIDAD DE LOS PROCESOS DE M+E

Determinar la viabilidad de una inversin e incrementar las probabilidades de sustentabilidad.

Comparar entre varias alternativas excluyentes de inversin.

Determinar los aspectos crticos de ejecucin de una inversin.

Minimizar el riesgo.

Determinar las condiciones apropiadas de financiamiento, de acuerdo a su

TIPOS DE EVALUACINSegn su funcin

Evaluacin

Intermedia y

Evaluacin

Terminal

Se define en funcin del momento de ejecucin del proyecto.

Busca informacin sobre la evolucin del proyecto durante su

ejecucin y al final del mismo.

Formativa y

Sumativa

Se define en funcin de la retroalimentacin. La Formativa se

hace durante y para mejorar una intervencin a un grupo

especfico de personas. La Sumativa al final del proyecto. Su

utilidad es recoger la experiencia de la ejecucin para

determinar los factores de xito o fracaso.

Focalizada y

Global

Se definen en funcin o atencin a un aspecto en particular

(focalizado) o a la totalidad (global). Su utilidad est

relacionada con el tipo de informacin requerida.

Descriptiva y

Explicativa

Se definen de acuerdo a su finalidad. La descriptiva identifica y

describe los aspectos del proyecto, y la explicativa identifica y

explica las causas o efectos del estado del proyecto evaluado

Capacitadora y

Experiencial

Se define en funcin de la experiencia y el conocimiento.

Identifica las argumentaciones que mejor expliquen el resultado

y faciliten el crecimiento, desarrollo y perfeccionamiento de los

que intervienen en el proyecto.

Informal y Formal Se define de acuerdo a los criterios o juicios sobre la utilidad, la

conveniencia o sobre la fase de supuestos subjetivos e

individuales para elegir diferentes cursos de accin. La Formal en

cuanto se define en sentido estricto a un proceso sistemtico y

criterios tcnicos.

TIPOS DE EVALUACIN

Segn quin lo realiza

Externa Responde a las necesidades de la entidad financiadora.

Generalmente es realizada por un tcnico o experto y responde a una

necesidad o tiempo especfico

Interna o

Autoevaluacin

Se realiza de manera autnoma a veces con apoyo tcnico y

metodolgico de un asesor externo que apoya o facilita. Es

participativa, los actores intervienen y acompaan el proceso de

evaluacin mediante su anlisis crtico y objetivo

Mixta Es un intento por conciliar las propuestas de las dos anteriores y ampliar

la participacin de todos los actores y sus contrapartes involucradas

en el proceso de desarrollo

Participativa El objetivo es minimizar la distancia entre los criterios del evaluador y de

los beneficiarios. Buscan crear las condiciones para que se genere una

respuesta endgena del grupo objetivo. Se lo utiliza particularmente

para pequeos proyectos.

TIPOS DE EVALUACIN

Segn el momento que se realiza y el objetivo perseguido

Evaluacin

Ex-Ante

Se realiza en el diseo del proyecto o sea antes de la inversin y laoperacin Permite estimar tanto los costos como el impacto (o beneficios) yas adoptar la decisin (cualitativa) de implementar o no elproyecto. A partir de ella resulta posible priorizar distintos proyectos eidentificar la alternativa ptima para alcanzar los objetivos deimpacto perseguidos. La lnea de base es un insumo clave para la Evaluacin Ex-ante Permite ddeterminar la viabilidad financiera y econmica de un proyecto.

Evaluacin

Ex-Post

Se lleva a cabo tanto en la etapa de operacin como unavez finalizado el proyecto. Centra su atencin en la relacin entre los productos y ellogro de objetivos.

Se incorporan los efectos y el impacto (lo externo, en lapoblacin objetivo). Permite determinar el origen diferencias entre lo previsto yreal. Permite mejorar la metodologa de evaluacin ex -ante. Permite realizar correcciones al proyecto en su operacin y

evitar resultados desfavorables La evaluacin ex post tiene como objetivo principal verificarlos resultados de la operacin frente a lo programadoinicialmente con el fin de guiar la formulacin y elaboracin denuevos proyectos

TIPOS DE EVALUACIN

NIVEL TCNICO

NIVEL PSICOSOCIAL

Sentimientos

MetodologasTiempo

Teoras

Objetivos

Recursos

Expectativas

Poderes

Temores

http://www.perseus.com/blogsurvey/iceberg.htmlhttp://www.perseus.com/blogsurvey/iceberg.html

FINES DEL MONITOREO Y EVALUACIN

El M+E se constituye en un instrumento de poder mediante el cual se garantiza que, las actividades reales y los recursos asignados, correspondan a las actividades y recursos proyectados.

Controlar:

El M+E, generalmente, se utiliza frente a aportadores de recursos econmicos e instancias superiores, con el fin de dar relevancia y respaldar la inversin de recursos en proyectos.

Legitimar:

El M+E es un instrumento para desarrollar y mejorar la calidad y el profesionalismo de un equipo de trabajo, frente a un proyecto determinado.Reflexionar:

Instrumento para satisfacer el inters cientfico.

Conocimiento Cientfico:

ENFOQUES DEL M+E

Enfoque tradicional Enfoque Moderno

Carcter El enfoque principal es financiero

Esta enfocado principalmente a

objetivos y a tareas.

Criterio El criterio importante es el control

El criterio importante es la auto

reflexin.

nfasis Fija su atencin en el pasado Hace adaptacin permanente a las necesidades del usuario, para

la toma de decisiones

nfasis Da mucha importancia a la contabilidad

Hace anlisis de lo logrado, para

un mejoramiento en el futuro.

Generacin

de

Informacin

Tiene afn en acumular datos. Se analizan los datos, y se toman

decisiones con base a ellos.

Organizacin Utiliza normas y procedimientos Responsabilidad orientada en la situacin actual

Dirigida a Esta orientada a autoridades Esta orientada a las tareas de equipos/individuos.

Condiciones Exige alta divisin del trabajo, y es poco flexible.

Esta orientada a equipos, y es

flexible

ENFOQUES DEL M+E

Enfoque tradicional Enfoque Moderno

Propsito

evaluacin

Rendicin de cuentas, Mejora de la gestin,

Empoderamiento,

aprendizaje

Agente

evaluador

Evaluadores externos Poblacin local apoyada por el

facilitador (agente externo)

actitud

evaluador

Objetividad, distancia

con

la poblacin local

Se explicita la subjetividad,

proximidad y fomento de la

confianza

Objeto

medicin

Indicadores

predeterminados

Indicadores negociados

Mtodos de

evaluacin

Mtodos formales,

complejos,

cuantitativos

Mtodos informales, simples,

cualitativos

Cuando se

evala

En momentos

preestablecidos

Peridicamente

TIPOS DE EVALUACIN RELACIONADOS CON LOS NIVELES DE

PLANEACIN

PLANIFICACIN

(MPP)

EVALUACIN

NIVEL

ESTRATEGICO Objetivo General Impactos o

Efectos Objetivo Especifico

NIVEL

OPERATIVO Servicios Servicios

Actividades Actividades

Recursos Recursos

LA EVALUACIN Y EL CICLO VITAL DEL PROYECTO

PROGRAMACIN

Plan Anual

EVALUACIN

Informes de

Evaluacin

FINALIZACIN

Informe

Final

SEGUIMIENTO

Informes de

Seguimiento

EJECUCIN

FORMULACIN

/PLANIFICACIN

Documento del

Proyecto

IDENTIFICACIN

/ DIAGNSTICO

Ficha de

Identificacin

Ciclo de la

intervencin

Lneas de influencia

LA EVALUACIN Y EL CICLO VITAL DEL PROYECTO

Preparacin

del

proyecto

La evaluacin debe generar informacin sobre

experiencia adquirida y prctica ptima que pueden

sugerir mejore enfoques para el diseo de nuevos

proyectos.

Debe incluir datos de referencia e indicadores de

desempeo que son esenciales para el trabajo futuro de

M+E del desempeo de los proyectos. A este nivel, la

introduccin de los principios de evaluacin se considera

formativa, pues sienta las condiciones para la

evaluacin futura.

Ejecucin

del

proyecto

La evaluacin adopta la forma de monitoreo continuo.

Durante la ejecucin la evaluacin es considerada

formativa porque su propsito es respaldar la mejora

continua de a ejecucin del proyecto

Operacin

del

proyecto

El proceso de evaluacin despus de la terminacin del

proyecto reexamina la identificacin y diseo original e

indaga sobre su ejecucin y desempeo de desarrollo,

por ende adquiere un carcter sumativa.

DIFICULTADES Y LIMITACIONES DE LA EVALUACIN

Planificacin incoherente, sin indicadores

Desconocimiento acerca de la formulacin de indicadores.

Resistencias, por parte del equipo, frente al control y/o a utilizar formatos e informes.

Temor de que un sistema de evaluacin institucional requiera demasiado tiempo y esfuerzo.

Concepcin de que la elaboracin de los indicadores y la evaluacin se deben delegar a expertos.

Directores no sensibilizados frente el enfoque

INDICADORES SOCIALES

Los indicadores son criterios de medicin que permiten valorar, analizar y evaluar el comportamiento de variables.

Sin indicadores no es posible comprobar si el proyecto est bien encaminado, o si los objetivos continan siendo adecuados.

INDICADORES SOCIALES

Son instrumentos de monitoreo y observacin de un sistema, construidos a partir de la evaluacin y relacin de variables

del sistema. La medicin de estas variables y su posterior comparacin con los valores metas establecidos permite

determinar el logro del sistema y su tendencia de evolucin.

Los indicadores son necesarios para poder mejorar. Lo que no se mide no se puede controlar, y lo que

no se controla no se puede gestionar.

INDICADORES SOCIALES

Los indicadores describen el significado exacto de los objetivos y ofrecen una descripcin detallada de las condiciones y una

precisin de los contenidos de cada objetivo, a travs del desarrollo de los siguientes componentes o preguntas:

El tiempo: Cundo?

(Hasta cundo?)

La cantidad: Cunto?

(Cuntas veces, cuntas

personas?

Grupo meta: Quin?

El lugar: Dnde?La calidad: Qu

tan bueno?

INDICADORES SOCIALES

En relacin con el logro del objetivo, los indicadores

Destacan las caractersticas importantes del objetivo a ser alcanzado.

Ayudan al equipo a ponerse de acuerdo acerca de los resultados y objetivos

Constituyen una base para el seguimiento o la evaluacin, y as ayudan a facilitar la conduccin del proyecto orientada a los objetivos.

Los indicadores constituyen aspectos cualitativos y cuantitativos de una accin, que permiten verificar el impacto, la eficacia y la eficiencia de un proyecto.

UTILIDAD DE LOS INDICADORES

Permiten verificar los objetivos de un proyecto, mediante criterios claros, para determinar el xito.

Sirven como orientacin del seguimiento al proyecto sea el caso de efectos, reacciones, servicios y recursos, para adaptar la planificacin a nuevas circunstancias.

Dan cuenta del consenso alcanzado entre los involucrados (beneficiarios, destinatarios) sobre lo que quieren o no alcanzar.

Expresan en qu se puede reconocer, exactamente, si se ha logrado un objetivo fijado.

UTILIDAD DE LOS INDICADORES

Ayudan a aterrizar los conceptos globales que presenta el proyecto.

Crea consenso al interior del equipo del proyecto sobre los cambios que

procura el proyecto.

Crean identidad y perfil propio en el equipo que est involucrado en la

gestin del proyecto.

CARACTERSTICAS DE LOS INDICADORES

Vlidos: apropiados para el proyecto

Confiables: veraces, crebles

Especficos: acorde con los objetivos o con los servicios.

Sensibles: al cambio

Accesibles: comprensibles

Unvocos: no permita varias interpretaciones.

Relevantes: priorizar los ms claves con respecto a los objetivos y los servicios.

Precisos: que contenga la estructura bsica del indicador

Independientes: indicadores para cada nivel de la MPP.

Unvocos: no permita varias interpretaciones.

ESTRUCTURA DE UN INDICADOR

CundoTiempo:

CuntosCantidad:

QuinesActor:

DndeLugar:

Qu tan bien, Qu tan bueno Calidad:

LA CALIDAD DE UN INDICADOR

La calidad es el conjunto de

propiedades y caractersticas de un producto o una

accin.

La calidad son los atributos que rigen

el logro de los resultados y el cumplimiento efectivo de la

estrategia generada en la planificacin.

La calidad se puede definir desde las expectativas de los destinatarios de un servicio, desde los profesionales y

tcnicos y desde las personas e

instituciones indirectamente implicadas en el

proyecto.

PISTAS PARA LA CONSTRUCCIN DE LAS CALIDADES

CAPACITADO

APRENDIDO

ACEPTADO

UNA VEZ APLICADO

UNA VEZ APLICADO

APRENDIDO

ACEPTADO

APLICADO

CONTINUACIN

SATIFACIN

No significa

No significa

No significa

No significa

No significa

REVISIN DE LOS INDICADORES

Para cada nivel se eligieron indicadores independientes a la descripcin del nivel

inferior?

Los indicadores elegidos miden lo

esencial del contenido de los

objetivos?

Los indicadores que reflejan el

cumplimiento del objetivo del proyecto

son objetivamente verificables de

diversas maneras (cantidad, calidad,

tiempo, lugar)?

Lo mismo pasa con los indicadores del

nivel de los resultados?

MATRIZ DE PLANIFICACCIN DEL PROYECTO

LOGICA VERTIVAL

Indicadores Fuentes de Verificacin

Supuesto

Objetivo

Superior

Objetivo del

proyecto

Servicios

Actividades Recursos Fuentes de

Verificacin

Costos

Condiciones

previas

TIPOS DE INDICADORES

Recursos humanos financieros y fsicos.De insumo:

Cambios en el nivel de vida.De impacto:

Logros y lmites del proyecto.De resultado:

Cuantifica acciones.De procesos:

Permiten evaluar las actividades, la temporalidad, los recursos.De gestin:

estn relacionados con los resultados que nos indican capacidad o acierto en la consecucin de tareas y/o trabajos planeados.De Eficacia:

estn relacionados con los datos que nos indican los recursos invertidos en la consecucin de tareas y/o trabajos. De eficiencia:

INDICADORES

INDICADORES DE IMPACTO

Se construyen para medir el logro del objetivo de desarrollo y el objetivo del proyecto

Para el objetivo de Desarrollo

debemos preguntarnos

por:

las transformaciones de comportamiento y mentalidad de los

beneficiarios.

la transformacin de las condiciones para

os beneficiarios

En el ao 2001, el 40% de nios y nias es situacin de desnutricin en el barrio 8 de Marzo, han mejorado los ndices de masa corporal (IMC).

INDICADORES

la reaccin esperada de los destinatarios frente a los servicios ofrecidos.

la utilizacin de los servicios.

Para el objetivo del proyecto

debemos preguntarnos por:

En el ao 1999, el 69% de padres, madres y responsables del cuidado de nios y nias es situacin de desnutricin en el barrio 8 de Marzo,

reconocen los criterios de una alimentacin balanceada.

INDICADORES DE IMPACTO

Se construyen para medir el logro del objetivo de desarrollo y el objetivo del proyecto

INDICADORES

INDICADORES DE SERVICIOS

Se construyen para medir la calidad de la oferta y productos del proyecto.

Debemos preguntarnos

por:

cules son los criterios de los profesionales vinculados al proyecto.

cules son las expectativas de los destinatarios de los servicios del proyecto.

cules son los criterios de personas e instituciones relacionadas indirectamente con el proyecto.

INDICADORES

INDICADORES DE SERVICIOS CRITERIOS DE CALIDAD

Desde los

profesionales

Desde los

Destinatarios

Desde los Terceros

Metodologa clara Contenidos

aplicables al

contexto

Amplia cobertura de

asistencia

Cumplimiento de los

objetivos

Cumplimiento de las

expectativas de los

participantes

Posibilidad de replicar

la experiencia

Apropiacin de los

conceptos

Claro y entendible el

conocimiento

impartido

Contenidos

aplicables

Manejo adecuado

de la dinmica de

grupo

Prctico Contenidos

actualizados

Dinmica

participativa del talle

DIFICULTADES EN EL DISEO DE INDICADORES

Contar con informacin insuficiente para su construccin.

Incapacidad del equipo diseador, para construir consensos acerca de los criterios de xito del proyecto.

Equipos que sienten temor frente al control y la critica

Equipos sin tiempo suficiente para el diseo de los indicadores del proyecto.

Insuficientes conocimientos conceptuales frente al tema

Poca valoracin de los indicadores en la gestin de proyectos.