Download - Ponencia econometria

24 al 26 de noviembre del 2010, León, Guanajuato, México

Y… ¿Esa inversión sí tiene impacto?

María Gloria Cano Socia-consultora Econometría S.A.

Tipos de evaluación en el proceso

Formulación

Estratégica

Diseño y del

Programa

Intervención

del Programa

Situación sin

Programa

información

(Línea de Base)

Diagnostico evaluación ex

ante

Experiencias

anteriores

Mejoramiento de

variables objetivo

Situación

después del

Programa

Seguimiento y

evaluaciones

intermedias

Evaluación

Ex post

Valoración

social del

Programa

Aprendizajes

Mejoras al

diseño

Diagnósticos y evaluaciones intermedias… Tasa bruta de matrícula de educación superior en 2006

La distribución social de la matrícula muestra una alta concentración de acceso a la educación superior en los quintiles más altos. La tasa bruta de matrícula de educación superior es menos del 20% en el quintil 3, y la mitad en el quintil 2. CINDA, PROYECTO INFORME

LA EDUCACION SUPERIOR EN IBEROAMERICA , 2006

Fuente DANE Encuesta de Calidad de Vida 2003

0

10

20

30

40

50

60

70

80

1 2 3 4 5

Alta gerencia

Gerencia media

Técnica mando medio Técnica

especializada

Trabajadores

calificados

Trabajadores semicalificados

Trabajadores no calificados

4.3% posgrado

70% universitario

13% 12%

Tecnólogo Técnico profesional

12 Técnico profesional

Egresado educación media Egresado educación básica y media

30%

60%

Inadecuada estructura de la oferta de educación superior en 2006 frente a las necesidades de la economía

Diagnósticos y evaluaciones intermedias…

Estrategias para el financiamiento de la demanda y mejoramiento de la equidad Disminución de la deserción estudiantil en educación superior Adecuación y flexibilización de la oferta de educación superior Estrategias para mejoras de calidad Estrategias para aumentar la pertinencia

Plan Sectorial 2006-2010


DISTRIBUCIÓN DE LOS BENEFICIARIOS ACCES SEGÚN LÍNEA DE POBREZA

0

400

800

1200

1600

2000

Miles d

e $

Linea de pobreza - MERPD

Proxy ingreso percapita beneficiarios

El 65% de los hogares se encuentran en

condición de pobreza

FUENTE: UT Econometría SEI encuesta de verificación de

beneficiarios de ACCES 2006 y ECV/03

¿Qué tan bien estamos focalizando? El 65% de los beneficiarios se encuentra por debajo de este umbral. Un 15% de los no pobres, se alejan apenas un 10% de la LP, mientras que un 20% se encuentran muy por encima de la misma.


Los tipos de evaluación se desarrollan a partir de tres grupos de

indicadores:

• Indicadores de Gestión o de Proceso: miden la manera en que

se ha desarrollando una actividad o estrategia en particular.

• Indicadores de Resultado o de Producto: estiman la incidencia

del proyecto o programa sobre sus objetivos.

• Indicadores de Impacto o de Efecto: cuantifican las

externalidades generadas sobre los actores involucrados en el

proyecto o programa (individuos, familias, comunidades o

instituciones).

Los grupos de indicadores según el tipo de evaluación

¿Cuál es el papel de la información?

• Cuando se diseña una evaluación o un mecanismo de seguimiento, se deben formular indicadores que permitan medir adecuadamente los aspectos que se deben medir para saber si lo planeado se cumple

Variables que caracterizan el

proceso

Actividades del proceso de

intervención Indicadores de

gestión o proceso

Productos de las actividades

Variables que caracterizan los

productos

Indicadores de resultados o

producto

Variables que se pretende afectar

Objetivos sobre la población

beneficiaria

Indicadores de impacto o efecto

¿Qué diferencia hay entre evaluaciones de resultados y de impacto?

• Las evaluaciones de resultados buscar verificar la obtención de los productos de las actividades de la intervención. Entendiendo como producto lo que se obtiene de la actividad y es controlable por quien la ejecuta.

• La evaluación de impacto busca comparar la situación de un beneficiario, con la situación que tendrá si la intervención no hubiese existido. A esa situación hipotética se le conoce como escenario contrafactual y no siempre es fácil estimarla.

• Los impactos o efectos derivados de la intervención que pueden estar afectados por decisiones y características de los beneficiarios. Estos efectos pueden ser esperados o no esperados.

¿Cuáles son los pasos para realizar una evaluación de impacto?

Paso 1: Análisis de los objetivos

Para esto es importante preguntarse:

• ¿Cuál es la unidad de intervención de la política?¿Sobre quién o quiénes actúa? ¿a quién quiere cambiar o mantener su situación actual?

• ¿Cual es la variable que se quiere impactar? ¿Sobre cuál o cuáles características de la unidad de intervención se busca actuar?

• ¿En que dirección y proporción se esperan los cambios?

Paso 2: Análisis de la teoría subyacente

Toda intervención supone que existen unos mecanismos (teoría subyacente) que transmiten efectos entre las acciones de intervención y el logro de los objetivos.

Paso 3: Preguntas de evaluación

¿Cuáles efectos evaluar?

¿Qué se quiere saber de los efectos?

Paso 4: Selección de indicadores

Deben definirse varios tipos de indicadores:

Indicador de intervención o participación: en genero es dicótomo. (Y)

Indicador de impacto: debe estar directamente relacionado con el efecto que se quiere medir. (X)

Indicadores de factores exógenos: Representan variables de la unidad de intervención y de su entorno, así como otras intervenciones. No son influidos por los anteriores indicadores (impacto y participación) pero que influyen en al menos uno de ellos . (Z)

Y = f(X, Z, e)

¿Qué tipo de modelo de evaluación es aplicable?

Depende del tipo de intervención, sus características de cobertura, la existencia o no de línea de base, la selección de los beneficiarios y las variables de impacto a medir.


Año

valor observadovalor observado

InformaciInformacióón Histn Históóricarica

sin programasin programa

predicciprediccióón n


BeneficiosBeneficios

estimadosestimados


con programacon programa

Año

valor observadovalor observado



predicciprediccióón n



estimadosestimados


con programacon programa

¿Cómo poder medir la situación con y sin intervención?

Cuando no se puede realizar un diseño experimental, es una buena idea contar con información de línea de base. Es decir, observar los indicadores de evaluación antes y después de la intervención, tanto para la muestra de tratamiento como para la muestra de control.


Año

participantesparticipantes

no no participanresparticipanres


Inicio delInicio del

programaprograma

Año


no no participanresparticipanres


Inicio delInicio del

programaprograma

Cuando existe diferencia inicial entre tratamiento y control …

Cuando no se puede hacer un diseño experimental pero se cuenta con la posibilidad de medir las variables antes de la intervención (línea de base), hacer las diferencias de las diferencias permite controlar el efecto de otras variables no observables que son comunes a los controles y a los tratamientos.

Año


No participantesNo participantes

DiferenciaDiferencia

inicial.inicial.

primeraprimera

medicimedicióónn

AntesAntes Durante el ProgramaDurante el Programa


final.final.

Diferencia neta= Beneficio.Diferencia neta= Beneficio.

úúltima ltima

medicimedicióónn

Año


No participantesNo participantes


inicial.inicial.

primeraprimera

medicimedicióónn

AntesAntes Durante el ProgramaDurante el Programa


final.final.

Diferencia neta= Beneficio.Diferencia neta= Beneficio.

úúltima ltima

medicimedicióónn


Paso 5: Recolección de Información

Diseño Metodológico

Formatos y Formularios

Captura y sistematización

Tipo de muestreo

Tamaño de la muestra

Diseño de Instrumentos

Diseño muestral

Operativo de Campo

Costeo / Presupuesto

Diseño operativo

Información Primaria

Información Secundaria

Observación y medición

Recursos Requeridos

Rutas y Plan de Campo

Entrevistas, Talleres, etc.

Aplicación de Encuestas

EJEMPLO DE IMPACTO DEL CRÉDITO SOBRE LA PERMANENCIA Y DESEMPEÑO ACADÉMICO

Intervención: Crédito educativo con tasa de interés subsidiada focalizado a población de menores recursos.

Variables a medir:

Permanencia

Desempeño académico

Vinculación laboral

Nivel salarial

Modelo: Diferencia entre población tratamiento y control

Metodología para la evaluación de beneficios

Medición de término medio

Tiempo

Indicadores de medición de impacto

Situación sin

proyecto

Situación con el ing reso al Proyecto

Medición final de impactos

• Ingresos laborales

futuros

• Retención en la

educación superior

• Mayores ingresos

tributarios

Línea de Base 2008

Impacto del Proyecto ACCES

EJEMPLO DE IMPACTO

0,0%

5,0%

10,0%

15,0%

20,0%

25,0%

30,0%

35,0%

40,0%

45,0%

Tercero Cuarto Quinto Sexto Séptimo

Beneficiarios No beneficiarios

Fuente: CEDE; 2008

TASA DE DESERCIÓN BENEFICIARIOS Y NO BENEFICIARIOS DE UNO O MÁS DESEMBOLSOS POR SEMESTRE (2008)

EJEMPLO DE IMPACTO

60,0%

65,0%

70,0%

75,0%

80,0%

85,0%

90,0%

95,0%

Primero Segundo Tercero Cuarto Quinto Sexto Séptimo Octavo Noveno Décimo


Fuente: CEDE; 2008

PROPORCIÓN DE MATERIAS APROBADAS POR LOS BENEFICIARIOS Y NO BENEFICIARIOS EN INSTITUCIONES PRIVADAS (2008)

EJEMPLO DE IMPACTO

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

80,0%

90,0%

100,0%


PROPORCIÓN DE BENEFICIARIOS Y NO BENEFICIARIOS YA GRADUADOS QUE COTIZAN SEGURIDAD SOCIAL POR NIVEL EDUCATIVO (2008)

Fuente: Estimaciones de Econometría a partir de ICETEX-OLE-PILA, DANE; ECV (2008).

EJEMPLO DE IMPACTO

INGRESO BASE DE COTIZACIÓN POR NIVEL DE LA IES DE DONDE SE HA GRADUADO (PESOS)

Fuente: Estimaciones de Econometría a partir de ICETEX-OLE-PILA y http://www.webometrics.info/rank_by_country_es.asp?country=co.

-

500.000

1.000.000

1.500.000

2.000.000

2.500.000

3.000.000

1.Técnica profesional 2.Tecnológica 3.Universitaria 4.Especialización 5.Maestria

Beneficiarios

EJEMPLO DE IMPACTO

Análisis Beneficio Costo y de Rentabilidad para la

Economía

INDICADOR VALOR

Total graduados 117.591

Impacto en el ingreso adicional laboral anual por beneficiario universitario

$8.03

Impacto en el ingreso adicional laboral anual por beneficiario técnico o tecnólogo

$4.62

VP Ganancia en ingreso laboral (+) $4.715.116

VP Costo privado de sostenimiento (-) $66.306

VP Costo sistema educativo (-) $3.376.938

VP Costo administrativo ICETEX (-) $8.120

Relación beneficio costo 1.37

Tasa interna de retorno 14.63%

Millones de pesos de 2007

EJEMPLO DE IMPACTO

Análisis Beneficio Costo y de Rentabilidad para el

Beneficiario promedio

INDICADOR VALOR

Impacto en el ingreso adicional laboral anual por beneficiario promedio

$6.3

VP Ingreso recursos del crédito y subsidio ACCES (+) $9.51

VP Ganancia en ingreso laboral marginal (+) $83.50

VP Costo privado de sostenimiento (-) $3.17

VP Costo matricula (-) $12.68

VP Pago marginal de impuesto y seguridad social (-) $16.60

VP Repago del crédito (-) $8.4

Relación beneficio costo 2.28

Tasa interna de retorno 28.49%

Millones de pesos de 2007

EJEMPLO DE IMPACTO

Evaluar programas públicos es un deber. La evaluación debe constituirse en parte de los

procesos. Sus resultados ajustan la gestión en función de los

objetivos, mejora el rendimiento de los recursos públicos, generan transparencia y control de los actos públicos.

Debe planearse. Requiere rigurosidad técnica. Se le deben asignar recursos.

… un mensaje de cierre

GRACIAS

Download - Ponencia econometria

Top Related