1

“Nociones Básicas de Sistemas de PSE. Factores de Éxito y Fracaso.

Emma Lucía RotondoCoordinadora PREVAL

www.preval.org

2

Contenido

1. DEFINICIONES

2. CRONOLOGÍA DE PSE

3. ENFOQUES ACTUALES

4. INSTITUCIONALIZACIÓN DEL PSE

5. GLOSARIO

3

DEFINICIONES

• PLANIFICACIÓN

• SEGUIMIENTO/MONITOREO

• EVALUACIÓN

Investigación/Auditoría/Control

4

CRONOLOGÍA DE PSE

• Década de los sesenta

• Entre 50´s y 60´evaluación educativa, investigadores en ciencias sociales de unviersidades.

• Evaluación en políticas públicas en EUA

5

CRONOLOGÍA PSES

Década de los setenta• SyE herramienta de gerencia y

planificación centralizada.• SyE orientado a generar información • Predominan métodos cuantitativos.• Sistematización y Educación Popular• Evaluación/ámbitos académicos.• 1976 Surgen sociedades de evaluación

profesional

6

CRONOLOGÍA PSE

Década de los ochenta• Surge Evaluación Participativa; métodos de

participación extractivos y consultivos son adoptados ampliamente.

• Inicio de actividades SyE a lo largo del ciclo del proyecto.

• Se perfeccionan herramientas de planificación (Marco Lógico, teorías de cambio, causalidad).

• Se forman las Unidades de PSE o de evaluación interna

7

CRONOLOGÍA PSE

Década de los noventa

• Cambia dirección de proyectos y políticas hacia reducción/alivio a la pobreza; exclusión.

• Se desarrollan SEPs. • Transparencia y eficiencia en gestión; sistemas de información,

datos e indicadores.• Se desarrollan las evaluaciones para mejorar el desempeño y

mejorar el aprendizaje organizacional en sectorpúblico y privado.

Indicadores para el SyE de las políticas públicas; reforzamiento sistema estadístico nacional.

8

CRONOLOGÍA DEL PSE

Década de 2000• Políticas, Proyectos, programas y localidades. Multidimensionalidad del cambio; orientación hacia

resultados e impactos.• Enfoque de demanda; descentralización;

incorporación de actores en gestión.• PSE territorial con gobiernos locales; automonitoreo.• Nuevos SEPs: Vigilancia Ciudadana, Auditoría Social;

Observatorio; CLAR.• Desarrollo de la capacidad evaluativa en

organizaciones; sistemas PSES; gestión del conocimiento

9

Enfoques Actuales

• Externa: independiente, a cargo de donantes o financiadores, opinión pública.

• Interna y continua: sistemas PSE como parte de la gestión; organizacional; desempeño y rendición de cuentas. Aprendizaje.

Ambas se complementan

10

Enfoque de Demanda Incorporación de actores en diseño y planificación

Tendencia a descentralización

Asignación de responsabilidades y autonomía relativa a actores (Coejecución / Cogestión) para:

Ejecución de proyectos y gestión de recursos

Diálogo para negociación de intereses y perspectivas

Mayor complejidad en objetivos y escenarios para proyectos de desarrollo rural (multidimensionalidad)

Cambios en proyectos de desarrollo rural

Enfoques Actuales

11

Enfoques Actuales

• Preocupaciones en impactos y sostenibilidad • Avance hacia los impactos (tendencias) en la

reducción de la pobreza.• La orientación del SyE hacia impacto implica

responder las siguientes preguntas: ¿de qué modo se está contribuyendo a reducir la pobreza

rural?; ¿se han incrementado los ingresos y activos de los

pobres, en qué medida?; y ¿se están desarrollando capacidades en los actores,

hombres y mujeres?

12

Enfoques Actuales

DOS OBJETIVOS - DOS DIMENSIONES:

1. Informar sobre los avances y resultados en la reducción de la pobreza: IMPACTO

2. Fortalecimiento de capacidades: EMPODERAMIENTO generación, análisis y USO DE INFORMACION. Aprendizaje social

13

ENFOQUES ACTUALES

• SISTEMAS PSES ORGANIZACIONALES

• FUNCIÓN DE LA GESTIÓN DE PROYECTOS/PROGRAMAS/POLÍTICAS.

• ESPACIOS DE REFLEXION Y COMUNICACION SOBRE LOS CAMBIOS

• RECOLECCION Y GESTION DE

INFORMACION/CONOCIMIENTO PARA DETERMINAR Y APRECIAR LOS CAMBIOS CON EVIDENCIAS (RESULTADOS DE UNA INTERVENCIÓN)

14

ENFOQUES ACTUALES

• (1) la medición del desempeño orientada a resultados es una función del liderazgo de cada gerente/a, y no solamente como una función de presentación de informes;

• (2) la responsabilidad general por el uso de la evaluación reside en los niveles más altos de la institución, en el equipo técnico; y en los actores y aliados.

• (3) La USE tiene la responsabilidad explícita de impulsar el aprendizaje institucional y el desarrollo organizacional, y no solamente de producir informes.

(Adaptado de Patton, 2005)

15

Enfoques actuales

• OBJETIVOS DE LOS SISTEMAS PSE• Contribuir a una mejor gestión • Desarrollar capacidades en los actores para mejorar la

toma de sus propias decisiones y negociaciones. • Mostrar resultados.• Generar conocimientos, lecciones sobre la práctica • Aprendizaje social e institucional.• Transparencia y rendición de cuentas.

• Debe responder a las necesidades de los actores y usuarios.

16

INSTITUCIONALIZACIÓN DEL PSE

(1) Marco Operacional

(2)Existencia y Calidad de los productos

(3)Uso y comunicación de Resultados.

17

INSTITUCIONALIZACIÓN DEL PSE

I. MARCO OPERACIONAL

1. RECURSOS HUMANOS: Personal técnico entrenado y con experiencia.

2. RECURSOS DISPONIBLES: Equipos y suministros.

3. ASIGNACIÓN Y NIVEL PRESUPUESTAL:

4. ESTRUCTURA Y FUNCIONES DEL PSES EN LOS SISTEMAS INSTITUCIONALES: Descripción de puestos, toma de decisiones, mecanismos y pautas de operación y reporte; función del PSE.

18

INSTITUCIONALIZACIÓN DEL PSE

II. EXISTENCIA Y CALIDAD DE LOS PRODUCTOS

1. Subsistema de Planificación: Visión, Marco lógico, POA

2. Subsistema de Seguimiento: Reportes periódicos, 3. Subsistema de Evaluación: estudios de base,

estudios temáticos, caso o según ciclo.4. Subsistema de Sistematización:

sistematizaciones/estudios de caso.5. Sistema automatizado de base web; herramientas

web 2.0

19

INSTITUCIONALIZACIÓN DEL PSE

III. USO, UTILIDAD Y COMUNICACIÓN DE RESULTADOS

• Oportunidad en el uso de los productos.

• Espacios de uso para la gestión, institucionalizados.

• Información retroalimenta la planificación y las estrategias de intervención.

• Participación de actores clave.

• Difusión y uso de productos para necesidades de actores clave.

20

INSTITUCIONALIZACIÓN PSE 2004-2007

• USES conformadas con equipo técnico capacitado con al menos 3 años de experiencia.

• Desarrollan unas 29 actividades principalmente POA, informes, evaluaciones puntuales.

Sólo un 16% contrata servicios de consultoría externa.

• Muy pocas revisan el ML e indicadores (3%)

21

INSTITUCIONALIZACIÓN DEL PSE

Factores que favorecen

• Adecuación a procesos, usos y toma de decisiones de la gestión de proyectos y programas sociales.

• Arreglos organizacionales ad-hoc dentro de la gestión: marco operacional con roles y delegaciones, recursos humanos y financieros; trabajo en equipo y motivación para intervenir en un proceso participativo.

• La información de los sistemas PSES debe estar en línea con los intereses de gobiernos locales y organizaciones comunitarias.

• El Uso de la Información

22

30.5%

18.3%

9.8%

7.3%

7.3%

6.1%

4.9%

4.9%

4.9%

3.7%

1.2%

1.2%

0% 10% 20% 30% 40%

Documento específico

Informe del Proyecto

Mejor desempeño del SPSE&S

POA 2004 ó 2005

Indicadores y Metas

Términos de Referencia

Memoria Anual

Base de datos

Formatos registro info.

POA reprogramado

Página Web

Estratégia Ajustada

Uso de la Información Generada por el Sistema PSES 2005

23

INSTITUCIONALIZACIÓN DEL PSE

FACTORES DE EXITO• Voluntad Política para gestionar el cambio• Claridad conceptual y operativa del proyecto

e hipótesis de cambio• Involucramiento y motivación de actores• Construcción de un lenguaje homogéneo• Diseño gradual y sencillo, adaptación

permanente.• Herramientas sencillas, de aplicación

progresiva, uso y comunicación de resultados.

24

INSTITUCIONALIZACIÓN DEL PSE

FACTORES DE FRACASO

• DESARTICULACIÓN DE LOS SISTEMAS DE PSES DE POLÍTICAS, PROYECTOS Y PROGRAMAS CON EL SISTEMA ESTADÍSTICO NACIONAL, DE PLANIFICACIÓN Y DE PRESUPUESTO PÚBLICO.

• DELEGACION EXCESIVA A LAS UNIDADES TECNICAS/TERCERIZACIÓN

• PROCESOS PARALELOS A LA GESTION Y SISTEMAS ORGANIZACIONALES Y DE PRESUPUESTO.

• METODOLOGIAS COMPLEJAS DE PLANIFICACIÓN Y RECOLECCIÓN DE INFORMACIÓN.

• AUSENCIA DE MECANISMOS DE INSTITUCIONALIZACION, USO Y COMUNICACION CON USUARIOS.

• DÉBIL CULTURA DE TOMA DE DECISIONES DE POLÍTICAS BASADAS EN EVIDENCIAS.

25

GLOSARIO

Términos y Conceptos

26

Proceso para establecer los objetivos, resultados, acciones de un proyecto y los recursos necesarios (financieros, técnicos, organizacionales).

Oportunidad para establecer consensos sobre el mandato, dirección, prioridades y estrategias; la teoría de cambio.

Producto: Planificación Estratégica; Marco Lógico; Plan Operativo Anual (POA)

Planificación

27

Revisión sistemática o análisis continuo orientado a determinar si las actividades, la inversión de recursos y los productos, se realizan y se obtienen de acuerdo a lo programado.

Objeto de seguimiento: Planes Operativos Anuales (POAs) y cronogramas de trabajo.

Producto: reportes de seguimiento; bases de datos; informes periódicos sobre avance en metas.

Características

Actividad interna - continua

Insumo para evaluaciones y sistematizaciones

Seguimiento

28

Un tipo de investigación aplicada que implica un proceso sistemático, planeado y con un propósito. Implica recolección de información para responder preguntas sobre una sociedad, una organización, un programa, un proceso (Preskill et.al. 2005)

Busca levantar conocimiento para la toma decisiones y mejorar un programa, proceso producto, sistema y organización o para tomar decisiones sobre su continuación. Determinar la medida en que el proyecto/programa/política alcanza sus objetivos.

Orientada hacia el aprendizaje y mejora de la efectividad; se elaboran lecciones aprendidas

Evaluación

29

EVALUACIÓN

• Lógica Evaluativa:

(i) Establecer criterios (dimensiones)

(ii) Construir estándares (indicadores)

(iii) Medición del desempeño y comparación con los estándares.

(iv) Sintetizar e integrar las evidencias en un juicio de valor y mérito.

(v) Recomendaciones (mejoras a futuro)

(vi) Aprendizajes (nuevas hipótesis)

30

Proceso de reflexión crítica aplicado a una experiencia práctica (actores analizan su práctica).

Proceso constructor de conocimiento (a partir de la experiencia - teoría y práctica)

Se basa en la idea de organizar, ordenar, interpretar, reflexionar: APRENDER dar sentido a intervenciones, a conocimientos que estaban dispersos o poco explícitos.

Proceso participativo realizado por los propios actores que intervienen en la experiencia -- fortalecimiento de capacidades y conocimientos.

Sistematización

31

Busca el aprendizaje del actor y su empoderamiento.

Son desarrolladas por todos los actores.

Los actores participan en la gestión: procesos de recopilación, análisis de la información; y en la toma de decisiones que conciernen a la ejecución.

Implica gestión basada en el trabajo en equipo y liderazgo compartido.

Los resultados deben construir aprendizajes para las personas y grupos, y no solamente juicios y opiniones individuales, lo cual es un nuevo paradigma. 

Seguimiento y Evaluación Participativos (SEP)

32

• Evaluación = Aprendizaje y responsabilidad• Investigación = Aprendizaje• Auditoría = Responsabilidad convencional• Control de calidad = Aseguramiento de un nivel de calidad

aceptable• Medición del desempeño = Medición/comparación de indicadores

de• proceso y gestión• Monitoreo = Medición/comparación de resultados y productos de• programas y proyectos

Segone (1998)

33

Bibliografía

• Feinstein Osvaldo “Método para el Análisis Rápido Concentrado (MARCO) de Sistemas de Seguimiento y Evaluación”. FIDA, 1993.

• Khan, Khadija “Strenghtening of Monitoring and Evaluation System” Pakistan Poverty Alleviation Fund Islamabad. June 2003.

• Preskill, Hallie; Russ-Eft, Darlene “Building Evaluation Capacity”. Sage, 2005.

• PREVAL Sondeos de Necesidades 2001 y 2004; Encuesta de impacto (2007)

• PREVAL “Nota conceptual de la Guía para el desarrollo de capacidad en SyE” Lima,,julio 2007.

• PREVAL “Rapid Assessment on the situation of M&E Systems” May 2007.

• PREVAL “Informe del Seminario sobre desarrollo de la capacidad local con socios en SyE del desarrollo rural”. Lima, junio 2007

• Segone, Marco “Evaluación Democrática” UNICEF 1998