análisis de costo-efectividad - · pdf filecosto-efectividad (ace) vs costo-beneficio...

47
Análisis de costo-efectividad Ryan Cooper J-PAL [email protected]

Upload: doquynh

Post on 30-Jan-2018

233 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Análisis de costo-efectividad

Ryan Cooper

J-PAL

[email protected]

Page 2: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Hasta ahora

I. Útilidad de Evidencia en Políticas Públicas

II. Relevancia de Evaluación Experimental

III. ¿Cómo diseñar, implementar, analizar evaluación?

¿Qué hace que evidencia sirva para política pública?

¿Qué necesita el hacedor de políticas en un

gobierno?

Page 3: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Esquema de presentación

I. Introducción: ¿Qué es y de qué sirve?

II. Midiendo impacto

III. Estimando costos

IV. Desafíos

Page 4: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

I. Introducción

Page 5: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

1 Objetivo / 5 Candidatos

Desparasitación

Objetivo:

Incrementar los años de

educación adicional por

estudiante

Uniformes Información de

retornos Becas

Transferencias condicionadas

Page 6: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

¿Cuál es más efectivo?

6

1. 2. 3. 4. 5.

20% 20% 20%20%20%

1. Desparasitación

2. Uniformes

3. Información de

retornos

4. Becas

5. Transferencias

condicionadas

Page 7: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

¿Cuál es más caro?

7

1. 2. 3. 4. 5.

20% 20% 20%20%20%

1. Desparasitación

2. Uniformes

3. Información de

retornos

4. Becas

5. Transferencias

condicionadas

Page 8: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Efectividad

8

0,075

0,064

0,035 0,032

0,013

0

0,01

0,02

0,03

0,04

0,05

0,06

0,07

0,08

Deworming Uniforms Information Returns Scholarships CCT

Años de educación adicional por estudiante

Acá poner resutado de poll al lado de las barras de la realidad.

Page 9: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Costo

9

Acá poner resutado de poll al lado de las barras de la realidad.

8

9

7

11

13

0

2

4

6

8

10

12

14

Deworming Uniforms Information Returns Scholarships CCT

Costo de aumentar 1 año de estudios

Page 10: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

10

Comparación y Elección de Programas

0,075

0,064

0,035 0,032

0,013

0

0,01

0,02

0,03

0,04

0,05

0,06

0,07

0,08

Años de educación adicional por estudiante

8 9

7

11

13

0

2

4

6

8

10

12

14

Costo de aumentar 1 año de estudios

Page 11: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

11

Análisis de

Costo

Efectividad

¡Punto de

partida!

Page 12: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

12

Page 13: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Por qué

•Simplifica la complejidad de un programa. convierte en relación $ / impacto.

•Mide costo de cierto nivel efectividad: Ej, costo de incrementar asistencia en un año.

•O, nivel de efectividad, dado cierto costo: incrementar asistencia dado $100.

•Pueden ser comparables entre sí implica ayuda decisiones políticas

• Metodología deber ser similar

•Puede ayudar a los funcionarios de gobierno a elegir entre programas

13

Page 14: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Costo-Efectividad (ACE) vs Costo-Beneficio (ACB)

• Costo-Beneficio (ACB): valor monetario de efectividad - costo social:

• Por lo tanto un ACB mide todos los beneficios de un programa

• Un ACB es absoluto, nos dice si un programa vale la pena o no

• Al realizar un ACB se deben justificar una serie de supuestos.

• Por ejemplo, valor económico de una vida o de reducir la criminalidad en un barrio

• La gran ventaja de un ACE es su simplicidad.

• Se utiliza una sóla variable impacto medible

• Pero comparación se limita a programas que busquen ese mismo impacto

14

Page 15: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Hay pocos ACE

• ACE es popular en la medicina.

• Henry Levin y Patrick McEwan (2001)

• Hay pocos meta estudios de costo-efectividad.

• Kremer, Miguel and Thornton (2005)

• Banerjee, Cole, Duflo, Linden (2007)

• Los qu sí hay son todos para el mismo tipo de programa y país

• Complicaciones de hacer ACE de evaluaciones en diferentes países:

• Conseguir costos

• Comparar monedas, inflación, eficiencia, tasa de descuento

15

Page 16: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

II. Midiendo impacto

16

Page 17: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Estimaciones de impacto

¿Qué evaluaciones usar?

• Evaluaciones rigurosamente

• Buena información de costos

• Relevantes para el “cliente”

17

Page 18: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Externalidades y Cumplimiento parcial

• 3 posibles efectos al evaluar impacto:

• Efectos en individuos tratados en grupo de tratamiento

• Efectos en individuos no tratados en grupo de tratamiento

• Efectos en individuos tratados en grupo de control

•¿Cuáles impactos incluir?

18

Page 19: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Externalidades y Cumplimiento parcial

• 3 posibles efectos al evaluar impacto:

• Efectos en individuos tratados en grupo de tratamiento

• Efectos en individuos no tratados en grupo de tratamiento

• Efectos en individuos tratados en grupo de control

•¿Cuáles impactos incluir?

Depende del programa y la naturalieza de externalidades y de incumplimiento. PERO…

En general:

• Incluimos no tratados de grupo tratamiento.

• No incluimos controles tratados.

19

Page 20: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Impactos en varias dimensiones

• Costo-efectividad considera un sólo impacto.

• Complicación con programas con objetivos múltiples:

• Podríamos intentar separar los costos atribuibles a un impacto en particular…

• Pero es difícil, por ejemplo, dividir un gasto administrativo

• Hay que ser transparentes y aclarar cuando hay más de un objetivo

20

Page 21: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

21

Page 22: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Imprecisión en estimación punto

• Estimaciones tienen distribución…tienen varianza….

• Puede ser que el impacto estimado es preciso y se aproxima a cero.

• O que el impacto estimado es grande, pero con alta varianza también

• En general

• Es importante tomar en cuenta no solo los primeros momentos de estimación

• A menos que varianzas sean pequeñas y similares, es relevante reportar.

22

Page 23: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Agregando Impacto

Impacto Total = Impacto (por unidad) × Tamaño

de Muestra × Duración de Programa

• Tamaño Muestral: Considerar la muestra relevante.

• Tiempo: efectividad y costos corresponden a mismo tiempo

23

Page 24: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

II. Midiendo costos

24

Page 25: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Cómo consegiur datos

• Método de ingredientes (Levin y McEwan 2001)

• Artículos académicos: A veces enlistan ingredientes, pero no sus precios

• Presupuestos: Enlistan costos, pero no es seguro en qué se usó cada ingrediente

• Conseguir datos de varios lugares

1. Artículos académicos para entender bien la estructura de un programa

2. Contactar a los investigadores para confirmar ingredientes, costos y

presupuestos

3. Los trabajadores de campo y el staff de investigadores para contextualizar el

gasto

Es mucho más fácil cuando los investigadores se proponen, desde un

comienzo, detallar costos.

25

Page 26: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Costos del programa en el margen

¿Qué es un programa?

• Asumir que implementación será sobre infraestructura prexistente

• Ser claro sobre los diferentes impactos en los que la intervención

incide y en aquellos que se desea evaluar

Page 27: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Ejemplo

• Aprendiendo con la ayuda de computadoras

• Si las computadras ya existen en los centros de educación, pero no son

utilizadas, no habría que incluir este costo

• Si las computadores no existen, habría que pagar por ellas

Efectividad/Costo= [Calificaciones con programa] - [Calificaciones sin programa]

[Costos con programa] - [Costos sin programa]

• Especificar margen al cuál agregamos intervención

• Identificar el nivel básico de costos (salarios, materiales de aulas) y de

rendimiento (calificaciones, ausencia de clase) que existe en la ausencia del

programa

• El caso de comparación debe estar bien especificado y ser consistente a

través de los programas que se están evaluando

27

Page 28: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Servicios y productos sin costo

• Algunos servicios y productos son gratis

• Por ejemplo, las píldoras de desparasitación o el trabajo comunitario pueden

ser donaciones…

• El costo de estos servicios y productos debe ser incluído en un

análisis de costo-efectividad

• Muchos de estos ingredientes van a representar un costo real al ser

escalados

• Muy claro en el caso de ACB, adonde se deben incluir todos los costos y

beneficios a la sociedad

• Utilizamos los valores de mercado de estos servicios y productos

• El equipo de investigación muchas veces no lo toma en cuenta, así que

mejor notificarles de la importancia de anotar estos detalles con anticipación

• Para los costos de trabajo, simplemente buscar los costos en el mercado

laboral por trabajo similar

28

Page 29: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Costo del tiempo de usuario

• Los usuarios consumen tiempo

participando en ciertos programas

• Por ejemplo, reuniónes de apoderados

• Nos interesan los costos que un programa

impone a los participantes, porque se

supone que los programas están diseñados

para ayudarlos

• Costo deberían incluírse si el tiempo es

requisito para la participación

• Muchos donantes excluyen estos costos

29

Page 30: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Ingredientes con usos múltiples

Puede que intervenciones nuevas compartan costos

con otros programas

• Un ejemplo es el uso de una encuesta utilizada para identificar tanto

a posibles participantes de PROGRESA como de un programa de

subsidios de granos

• Si el ingrediente fue pagado antes de que el progama comenzara,

no habría por que incluir este costo (similar al análisis en el margen)

30

Page 31: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Ingredientes con usos múltiples

Pero si se compra el ingrediente como parte de un programa,

debemos incluirlo incluso si se va a usar para otras intervenciones

• Difícil modelar la distribución de uso en el futuro

• Programas subsiguientes no lo utilizarán en sus cálculos de costo efectividad

• En situaciones similares, es un costo que se tendrá que asumir

• Si es esencial para el éxito de un programa, igual se va a tener que

presupuestar

• Incluir costo en cálculos iniciales permite a los implementadores decidir si es

un costo importante en su contexto y hace fácil excluirlo

31

Page 32: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Transferencias

Dos tipos de costos asociados a programas de transferencias

• Costos administrativos de hacer llegar las transferencias: son costos reales

y se deben incluir

• Las transferencias representan un costo contable, pero no necesariamenete

un costo social. La pregunta es, ¿se debería contabilizar como un costo del

programa?

Inlcuímos el costo de transferencia en especie

• Porque tendríamos que asumir el valor del beneficio del producto transferido

• La organización que implementa el programa podría valorar el producto de

manera diferente al participante del programa

32

Page 33: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Costos de escala

Programas pequeños acceden a sus “ingredientes” a precios

normales de mercado y administran el programa utilizando

infraestructura pequeña

• Los costos de escalar el programa pueden ser menores a los estimados si

corregimos por economías de escala

• Los costos pueden ser mayores, si se necesita administrar un programa

muy grande que llegue a muchos participantes que se encuentren dispersos

• Por esta razón, tiene sentido utilizar los costos reportados por los

investigadores

33

Page 34: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

c. Ejemplo

34

Page 35: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Evaluación de Campamentos de

Inmunización e Incentivos en Udaipur, India

35

La inmunización es realmente baja en

Rajasthan (menos del 5% en Udaipur)

Una posibilidad es que el canal de abastecimiento sea el problema:

• Región tribal y montañosa con baja asistencia por parte del personal de salud establecido de la ciudad a las clínicas de salud locales (45% de ausentismo)

• Se dirigieron campamentos mensuales de inmunización en 60 pueblos

• Monitoreo con cámaras

Page 36: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

La demanda de la inmunización

36

Segunda posibilidad:

Hay un problema de demanda

• La gente no está interesada en la inmunización. ¿Tienen miedo?

• El costo de oportunidad de tener 5 rondas de vacunación

• ¿Puede verse afectada la demanda?

Page 37: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Incentivando la Demanda

37

Evaluando la demanda:

• Incentivo: En 30 de los campamentos, se entrega un kilo de lentejas por cada inmunización (40 rupias, el sueldo de un día) más un juego de thali para la jornada completa

• 60 pueblos de los campamentos fueron el grupo de control.

Las tasas de inmunización se siguieron en:

pueblos de tratamiento

pueblos de control

y un pueblo vecino de cada uno de los pueblos de tratamiento

Page 38: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

El abastecimiento regular aumentó la

inmunización, y los incentivos ayudaron aún más

38

5,3%

17,5%

36,9%

0,0%

10,0%

20,0%

30,0%

40,0%

Control Villages Camp Villages Camp &Encouragement Villages

Impacto de programa Porcentaje de niños 1-2 completamente inmunizados

Control Abastecimiento +Incentivo

Page 39: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Método de Ingredientes

39

Page 40: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Divida los costos

por el número de

niños totalmente

inmunizados para

obtener la costo-

efectividad de los

campamentos e

incentivos

40

Método de Ingredientes

Page 41: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

IV. Desafíos

41

Page 42: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Tres desafíos claves al elaborar un ACE

I. Incentivos para elaborar el ACE:

• ¿Qué sucede si el programa fue efectivo, pero no rentable?

• No es requisito mostrar el ACE en la mayoría de las revisatas internacionales

II. “Más supuestos para fijar el precio…”:

• por ejemplo, múltiples resultados, qué costo incluir/excluir, externalidades

• No hay una receta obvia

42

Page 43: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Tres desafíos claves al elaborar un ACE

III. Los costos son difíciles de recopilar:

• Tipicamente recopilación de costos no se considera parte clave de evaluación

• Los datos de costos son sorprendentemente difíciles de recopilar

• presupuestos con costos de implementación diferentes

• difícil dividir los gastos generales

43

Page 44: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Recopilación de Datos Forma Retrospectiva

• Desafíos con el método retrospectivo: Datos no son originalmente recopilados por el implementador o evaluador

Personal de campo clave difícil de ubicar

Costos son olvidados o difíciles de estimar al pasar el tiempo

El programa implementado puede haber cambiado en el tiempo

Los datos de costos totales son muchos menos útiles

Qué hacer? Reunir datos de costos de múltiples fuentes:

• Trabajos académicos que describen estructura del programa

• Entrevistas:

• a investigadores para obtener ingredientes adicionales

• Personal del programa y de investigación de campo para costos unitarios

• Complementar con fuentes públicas (salarios locales, costos de transporte, etc.)

44

Page 45: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Recopilación retrospectiva vs. Prospectiva

¡Prospectivamente: El camino a seguir!!

Plantear preguntas de costos de un principio.

Más fácil definir los costos particulares al programa.

Más fácil reunir los costos

Iniciativas de J-PAL entregan modelos estándar para recopilación datos

La armonización facilita la elaboración de un ACE comparativo

45

Page 46: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Conclusiones

• ACE útil para comparar programas con mismo objetivo

• Simplicidad permite aplicación a elaboración de políticas

• Importante tener en cuenta los supuestos

• Análisis de Sensibilidad y aplicación a contexto

• Plantear el ACE prospectivamente facilita el trabajo

• No es la panacea. No resolveremos el mundo en CP

• Pero en esta dirección en LP confiamos ser exitosos

• ¡Necesitamos diseñar asistencia a la medida!

46

Page 47: Análisis de costo-efectividad - · PDF fileCosto-Efectividad (ACE) vs Costo-Beneficio (ACB) • Costo-Beneficio (ACB): valor monetario de efectividad - costo social: • Por lo tanto

Gracias

47