EVALUACION DE POLÍTICAS PÚBLICAS

Econ. Paul Amoretti Ismodes

Objetivo 1. Erradicar la pobreza extrema y el hambre

Meta 1: Reducir a la mitad entre 1990 y 2015 el porcentaje de personas con ingresos inferiores a un dólar 1. Porcentaje de la población con ingresos inferiores a

1 dólar por día (Banco Mundial) 2. Coeficiente de la brecha de la pobreza a 1 dólar por

día (Banco Mundial) 3. Proporción del ingreso o consumo que corresponde

a la quinta parte más pobre de la población (Banco Mundial)

Meta 2: Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padezcan hambre4. Prevalencia de niños menores de 5 años de peso inferior a lo normal (UNICEF) 5. Porcentaje de la población por debajo del nivel

mínimo de consumo de energía alimentaria (subnutrición) (FAO)

Objetivo 2. Lograr la enseñanza primaria universal

Meta 3: Velar por que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo completo de enseñanza primaria6. Tasa neta de matrícula en la escuela primaria (UNESCO) 7. Porcentaje de los estudiantes que comienzan

el primer grado y llegan al quinto grado de la escuela primaria (UNESCO)

8. Tasa de alfabetización de las personas de edades comprendidas entre los 15 y los 24 años (UNESCO)

Objetivo 3: Promover la igualdad entre géneros y la autonomía de la mujer

Meta 4: Eliminar las desigualdades entre los géneros en la enseñanza primaria y secundaria, preferiblemente para el año 2005, y en todos los niveles de la enseñanza antes del fin del año 20159. Relación entre niñas y niños en la educación primaria, secundaria y superior (UNESCO): 10. Relación entre las tasas de alfabetización de las

mujeres y los hombres de edades comprendidas entre los 15 y los 24 años (UNESCO)

11. Proporción de mujeres entre los empleados remunerados en el sector no agrícola (OIT)

12. Proporción de puestos ocupados por mujeres en el parlamento nacional (IPU)

Objetivo 4: Reducir la mortalidad infantil

Meta 5: Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niños menores de 5 años13. Tasa de mortalidad de los niños menores de 5 años (UNICEF) 14. Tasa de mortalidad infantil (UNICEF) 15. Porcentaje de niños de 1 año vacunados

contra el sarampión (UNICEF)

Objetivo 5. Mejorar la salud materna

Meta 6: Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes16. Tasa de mortalidad materna (OMS) 17. Porcentaje de partos con asistencia de

personal sanitario especializado (UNICEF)

Objetivo 6. Combatir el HIV/SIDA, el paludismo y otras enfermedades

Meta 7: Haber detenido y comenzado a reducir, para el año 2015, la propagación del VIH/SIDA18. Tasa de morbilidad del VIH entre las mujeres embarazadas entre los 15 y los 24 años de edad (ONUSIDA) 19. Uso de preservativos dentro de la tasa de uso de anticonceptivos

y Población de 15 a 24 años que tiene conocimientos amplios y correctos sobre el VIH/SIDA

20. Relación entre la matrícula de niños huérfanos y la matrícula de niños no huérfanos de 10 a 14 años (ONUSIDA)

Meta 8: Haber comenzado a reducir, para el año 2015, la incidencia del paludismo y otras enfermedades graves21. Tasa de prevalencia y mortalidad palúdicas (OMS) 22. Proporción de la población de zonas de riesgo de paludismo que

aplica medidas eficaces de prevención y tratamiento del paludismo (UNICEF):

23. Tasa de prevalencia y mortalidad de la tuberculosis (OMS) 24. Proporción de casos de tuberculosis detectados y curados con el

tratamiento breve bajo observación directa (OMS)

Objetivo 7. Garantizar la sostenibilidad del medio ambiente

Meta 9: Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e invertir la pérdida de recursos del medio

Meta 10: Reducir a la mitad, para el año 2015, el porcentaje de personas que carezcan de acceso sostenible a agua

Meta 11: Haber mejorado considerablemente, para el año 2020, la vida de por lo menos 100 millones de habitantes de tugurios

Objetivo 8. Fomentar una asociación mundial para el desarrollo

Meta 12. Desarrollar aún más un sistema comercial y financiero abierto, basado en normas, previsible y no discriminatorio .

Meta 13. Atender las necesidades especiales de los países menos adelantados.

Meta 14. Atender las necesidades especiales de los países sin litoral y de los pequeños Estados insulares en desarrollo.

Meta 15. Encarar de manera general los problemas de la deuda de los países en desarrollo con medidas nacionales e internacionales a fin de hacer la deuda sostenible a largo plazo.

Meta 16. En cooperación con los países en desarrollo, elaborar y aplicar estrategias que proporcionen a los jóvenes un trabajodigno y productivo. Meta 17. En cooperación con las empresas farmacéuticas,

proporcionar acceso a los medicamentos esenciales en los países en desarrollo.

Meta 18. En colaboración con el sector privado, velar por que se puedan aprovechar los beneficios de las nuevas tecnologías, en particular de las tecnologías de la información y de las comunicaciones.

1 2 3 4

Mayor potencial

conflictivo, mayor control

estatal

Mayor potencial

conflictivo, menor control

estatal

Menor potencial

conflictivo, mayor control

estatal

Menor potencial

conflictivo, menor control

estatal

A Económicamenteimportantes

Lima Metropolitana,

Piura, Junín, Arequipa, Tacna

Ancash, Cajamarca, Apurímac,

Moquegua, Loreto

Ica, La Libertad, Lima provincias,

Pasco

B Actividadesilegales

Huánuco, Cusco, Ayacucho, Puno, Madre de Dios,

Ucayali

C Sin actividadeconómicarelevante

San Martín, Huancavelica,

Amazonas

Lambayeque, Tumbes

Políticas Públicas

Evaluación

Concepto de evaluación

Comparación de …Lo

PlanificadoLo realizado

Objetivos ObjetivosCostos CostosTiempo Tiempo

El “logro” de lo planificado es la medida de la performance del proyecto

Evaluación: requisitos esenciales Que exista una planificación

elaborada, que permita la comparación de lo ejecutado con lo planificado

Que se genere la información necesaria y oportuna

El sistema de M + E es en esencia, información

Evaluación del diagnóstico

Análisis del diagnóstico

Problemas Causas y efectos Población objetivoContexto

socioeconómico

Explícitos Claros Rigurosos Completos Medibles Contrastables

Estudio de necesidades

Cuantificada Características Cobertura prevista

Estudios previos Variables (línea de

base) Estudios de

proyección

Fuentes de información

Preguntas fundamentales

¿Cómo está funcionando la Política Pública?

¿Se logró o no el cambio deseado?

¿Si se logro el cambio, en que medida puede ser atribuido a la Política Pública?

¿Por qué evaluar?

EVALUACIÓNMostrar

resultados

TransparenciaAccountability

Mejorara calidad de la

vida…

Lecciones de la experiencia

Pasado

Presente

Futuro

¿Para qué sirve la evaluación? Informar sobre el avance de la Política

Pública Mantener la ejecución de la Política

Pública en línea con lo planificado Examinar la estrategia de la Política

Pública Realizar los ajustes que sean necesarios Aprender de las experiencias para

mejorar la gestión

Monitoreo vs. Evaluación

Seguimiento periódico de actividades

Utiliza indicadores de proceso, principalmente

Busca hacer correcciones y ajustes a tiempo

Es paralela a la ejecución del plan/proyecto

Es función de la Gerencia

Es administración

Es más episódica Utiliza indicadores de

resultados, efecto e impacto

Busca extraer lecciones para futuras intervenciones suele ser retrospectiva

Es función del Directorio

Es Planeamiento EstratégicoAmbos son instrumentos de gestión

Indicadores: rol clave

Información sobre la ejecución de la Política Pública

PLANIFICADO REALIZADO

INDICADORES

Los indicadores resumen la información necesaria para realizar la comparación objetiva entre lo planificado y loa realizado

Sistema de información gerencial El sistema de Monitoreo y Evaluación es

un sistema de información gerencial

Porque es información sobre ejecución Porque es información resumida en

indicadores Porque contiene los indicadores

necesarios para la toma de decisiones

Porque es información sobre ejecución Porque es información resumida en

indicadores Porque contiene los indicadores

necesarios para la toma de decisiones

Tipos de evaluaciónTIPO FRECUENCIA

INDICADORES

PROPOSITO

De Impacto

Baja, luego de un tiempo de maduración

Cambios sustentables en el nivel de la población

objetivo

Estimar impacto en la población

De Resultado

s

Anual o al final del Proyecto

Productos o resultados propuestos

Evaluar cumplimiento de

los objetivos específicos o

productos ofrecidos

De Procesos

Alta (mensual, trimestral)

Actividades realizadas,

gastos ejecutado

(indicadores de proceso)

Estimar avance (monitoreo)

Evaluación de proceso

La evaluación de procesos permite conocer la dinámica de implementación de actividades

Cantidad de actividades realizadas Calidad de las actividades Reacción de la población objetivo

(Satisfacción de usuario/cliente)

Evaluación de procesos: preguntas clave

¿Cuánto hemos hecho?¿Qué tan bien lo hemos hecho?

¿Cuánto ha costado?¿Cómo podríamos mejorar?

Evaluación de procesos: ventajas y desventajas Se enfoca exclusividad en la

implementación de las actividades No investiga la medida en que las

actividades han generado resultados Unidad básica: identifica aspectos

exitosos y aspectos deficientes, con la finalidad de realizar cambios en la programación (decisiones operativas)

De utilidad principal para la institución ejecutora

Evaluación de resultados

Permite determinar el grado de logro de los objetivos

Los objetivos se refieren, por lo general, a cambios en el bienestar de la población Empleo e ingresos Accesos a servicios Derechos políticos

Método general de medición: comparación antes/después Alternativamente: fijación de metas

Evaluación de impacto

Permite determinar la relación causa – efecto: relación entre resultados y las intervenciones públicas

Metodología general. Construcción de escenarios contrafactual o comparación con/sin

Pregunta clave: ¿Qué habría ocurrido si no se hubiera ejecutado la intervención?

Análisis de la eficiencia

GestiónAnálisis de las

causas de ineficiencia

Causas

Conclusiones, recomendaciones y aprendizajes

Evaluación de Impactos

Determinación y valoración de la eficacia del programa

Determinación del impacto del programa

Es Eficaz No es Eficaz

Análisis de las causas de la ineficacia

Contexto socioeconómico

Diseño del programa

IneficienteEficiente

El Marco Lógico

¿Cómo diseñar una evaluación? Determinar (o aclarar) los objetivos del

plan/proyecto, que serán, al mismo tiempo los objetivos de evaluación

Determinar el tipo de evaluación a realizar y la metodología correspondiente

Identificar los indicadores, según el tipo de evaluación

Recopilar información y elaboración del informe de evaluación

Paso 1: determinar objetivos de la evaluación Se realiza sobre la base del Marco Lógico Por lo general, existen 4 tipos de

objetivos: fin, propósito, productos y actividades

Dependiendo del tipo de evaluación que se quiera realizar, se elegirá uno u otro tipo de objetivos.

Idealmente: ¿A quién? Población objetivo ¿Qué? Cambio deseado ¿Cuánto? Magnitud esperada del cambio ¿Cuándo? Horizonte temporal

Paso 2: determinar el tipo de evaluación a realizar y la metodología correspondiente Las evaluaciones pueden ser: de

procesos, de resultados y de impacto. En planes y políticas, se utilizan

evaluaciones de impacto y resultados

En programas y proyectos se utilizan, principalmente evaluaciones de procesos y resultados

Paso 3: identificar los indicadores, según el tipo de evaluación

Para identificar y seleccionar los indicadores se toma en consideración:

El tipo de evaluación elegido Criterios genéricos de selección de

indicadores: La data existente y la que podría obtenerse

a costo razonable

Paso 4: recopilar la información, sobre base de los medios de verificación establecidos Para cada indicador es necesario

recolectar datos de alguna fuente Fuentes de datos cuantitativos Entrevistas estructuradas Estadísticas de servicios (datos

administrativos) Técnicas cualitativas más importantes:

Entrevista en profundidad Grupos focales Observación directa

Paso 5: análisis de la información y elaboración del informe de evaluación

Técnicas de análisis cuantitativo, basados en métodos estadísticos

Técnicas de análisis cualitativo Análisis de casos Análisis de contenido El informe de evaluación debe ser parte de

una estrategia de difusión

MONITOREO Y PLAN OPERATIVO

Plan Operativo Actividades programadas Costos previstos Mestas estructuradas Tiempo previsto Responsables asignados

Monitoreo Procesos realizados Costos efectuados Mestas obtenidas Tiempo real Responsabilidades reales

PLANIFICADO

REALIZADO

Programación

El objetivo de la programación es la optimización de la utilización de los recursos, de tal forma que se cumplan los objetivos de la Política Pública.

Plan Operativo

Es el documento que precisa las actividades del plan o proyecto y su cronograma Los objetivos son los que contiene el documento de

plan o proyecto aprobado. Esto no puede ser variado bajo ninguna circunstancia

Las actividades son aquellas previstas en el documento del plan o proyecto

Se incorporan sub-actividades o tareas, las cuales en el documento del plan o proyecto aún no figuraban, debido a la falta de elementos suficientes para especificarse

Se especifican las metas, las cuales se expresan numéricamente a través de los indicadores

Se incorpora un cronograma de las actividades, trimestral, mensual

Elaboración del Plan Operativo Ordenar las actividades según

componentes, desagregar las actividades en tareas y codificarlas

Ubicar las metas señaladas en el marco lógico para cada actividad o tarea

Estimar la duración de cada actividad y definir el calendario de trabajo

Determinar quienes serán los responsables de cada actividad y tarea

Definir los costos por componente, actividad y tarea

Contenido principal del plan operativo Introducción Objetivos y actividades Cronograma de actividades Cronograma de gastos El control de los riesgos y las

condiciones de éxito

Informe de monitoreo

I. RESUMEN NARRATIVO Resultados logrados Efectos no previstos Problemas internos Problemas externos Posibilidad de éxito del plan o proyecto

II. CRONOGRAMA DE ACTIVIDADES PROGRAMADAS Y REALIZADAS

III. CRONOGRAMA DE DESEMBOLSOS PROGRAMADOS Y EJECUTADOS

Evaluación Integral

SOCIEDAD

NECESIDADESPROBLEMAS IMPACTOS

OBJETIVOS INSTRUMENTOS

RESULTADOS

RACIONALIDAD COHERENCIA

EFICACIA

EFICIENCIA

ACCIÓN PÚBLICA

EVALUACIÓN

EVALUACIÓN DE IMPACTOS

METAEVALUACIÓN

SÍNTESIS DE EVALUACIONES

EVALUABILIDAD

EVALUACIÓN DE GESTIÓN (PROCESO)