introducción externalidades desgaste cumplimiento … · identificar las principales amenanzas en...

Cumplimiento Externalidades Desgaste Introducción Análisis


Amenazas a la Validez y Análisis

2

Dean Karlan

Professor of Economics

Yale University

[email protected]


Al final de esta presentación se espera que el

participante pueda:

1. Entender los conceptos de validez interna y externa.

2. Identificar las principales amenanzas en el análisis.

3. Proponer soluciones para cada tipo de amenaza.

4. Diferenciar entre TOT y ITT.

Objetivos de aprendizaje


Esquema de la presentación

1. Introducción

2. Externalidades

3. Desgaste

4. Cumplimiento imperfecto

5. Análisis final


1. Introducción


Introducción

Incluso cuando hemos diseñado un buen experimento, pueden haber algunos problemas. Formalmente:

E(Y|T = 1) - E(Y|T = 0)

No siempre refleja:

El efecto promedio del tratamiento E(y(1) - y(0)):

En la población inicial (todos los tratados y todos los controles)

Este es un problema de validez interna: podemos afirmar que los resultados observados son el resultado del tratamiento en la población inicial?

Esto es distinto a la validez externa, que tiene que ver con la medida en que nuestros resultados son generalizables para una población más amplia de la estudiada.


2. Externalidades


¿Qué podría fallar?

Población

objetivo

Población no

evaluada

Muestra

evaluada

Población total

Asignación

aleatoria

Grupo

tratado

Grupo de

control


Externalidades, contaminación

Población

objetivo

Población no

evaluada

Muestra

evaluada

Población total

Asignación

aleatoria

Grupo

tratado

Grupo de

control

Treatment


Externalidades, contaminación

Grupo

tratado

Grupo de

control

Treatment

Población

objetivo

Población no

evaluada

Muestra

evaluada

Población total

Asignación

aleatoria


Ejemplo: Vacunación contra varicela

Suponga que aleatoriza vacunas contra la

varicela dentro de colegios.

Suponga que esto previene la transmisión de

la enfermedad. ¿Qué problemas implica para

la evaluación?

¿Son las externalidades locales? ¿Cómo

podemos medir el impacto total?


Estudiante Tratamiento

(vacuna)

Resultado

1 Yes Sin varicela

2 No Con varicela

3 Yes Sin varicela

4 No Con varicela

5 Yes Sin varicela

6 No Con varicela

Sin externalidades

Tratamiento Resultado

Sí 0% con varicela

No 100% con varicela

Efecto del tratamiento: -100%


Estudiante Tratamiento

(vacuna)

Resultado

1 Yes Sin varicela

2 No Sin varicela

3 Yes Sin varicela

4 No Con varicela

5 Yes Sin varicela

6 No Con varicela

Con externalidades

Tratamiento Resultado

Sí 0% con varicela

No 67% con varicela

Efecto del tratamiento: -67%


En una campaña de educación sexual donde algunos cursos de un colegio reciben la charla y otros no, ¿qué externalidades podrían producirse?

1. Algunos estudiantes del grupo tratado están ausentes el día de la charla

2. Un curso asignado a control recibe la charla

3. Estudiantes tratados le hablan de la charla a los no tratados

4. Algunos estudiantes asignados a control asisten a la charla


15

¿Cómo abordar las externalidades?


¿Cómo medimos el impacto de un programa si hay externalidades?

Soluciones:

Escoge la unidad de aleatorización de

modo que abarque las externalidades.

Si esperamos que las externalidades se

produzcan dentro de los colegios:

Aleatorizar a nivel de colegios permitirá

estimar el impacto agregado.


Obtenga más información acerca de

los individuos tratados.

Ejemplo:

Miguel y Kremer: Desparasitación

Identifican dónde viven los sujetos y determinan el

rango geográfico apropiado para medir

externalidades.

Otras soluciones


Varíe la intensidad del tratamiento Equilibrio general: intervienes en varios mercados y evalúas como los efectos del tratamiento cambian según la intensidad de tratamiento.

Ejemplo:

Duflo et al: Efectos de Desplazamiento en el Mercado de Trabajo francés:

• Las agencias de empleo locales escogieron aleatoriamente la proporción de sujetos beneficiarios (0%, 25%, 50%, 75%, o 100%).

• Los impactos positivos para los participantes individuales no necesariamente implican impactos positivos para el conjunto de la población. El éxito de los beneficiarios podría ser a costa de otros buscadores de empleo con quienes compiten.

Otras soluciones


En el ejemplo de la campaña de educación sexual,

¿qué haría para limitar las externalidades?

A. Aleatorizar a nivel de

estudiantes

B. Aleatorizar clases

C. Aleatorizar colegios

D. Aleatorizar distritos

escolares

19

A. B. C. D.

0% 0%0%0%


3. Desgaste


Desgaste

Es problemático que algunas personas del experimento “desaparezcan” antes de que obtengas los datos?

Es un problema si el tipo de gente que tiende a desaparecer es distinto para control y tratamiento.

Por qué es un problema?

Comparabilidad

Representatividad

¿Por qué podría suceder esto?


Sesgo de desgaste: un ejemplo

El problema que quieres abordar: Algunos niños no van al colegio porque están

debilitados (a causa de la subnutrición).

Lanzas un programa de alimentación escolar y quieres evaluarlo. Tienes un grupo de tratamiento y uno de control.

Los niños debilitados comienzan a ir más al colegio si residen cerca de un colegio tratado. Primer impacto del programa: aumento de matrícula.


Sesgo de desgaste: un ejemplo

También quieres medir el impacto en el crecimiento del niño Segunda medida de interés: peso del niño.

Vas a todas las escuelas (tratadas y control) y mides la situación de todos los que están en el colegio ese dia.

¿La diferencia de peso entre los tratados y los controles estará sobreestimada o subestimada?


Antes Después

T C

20 20

25 25

30 30

25 25

T C

22 20

27 25

32 30

27 25 Media

Diferencia: 0 Diferencia: 2


Antes Después

T C

perdido perdido

25 25

30 30

25 25

T C

22 perdido

27 25

32 30

27 27.5 Mean

Diferencia : 0 Diferencia: -0,5

¿Y si solo los niños por encima de 21 kg van a clase?


Sesgo de desgaste Tasas de respuesta contrafactuales

(heterogeneidad en el efecto del tratamiento)

(no comparabilidad de los respondientes)


27

¿Cómo abordar el desgaste?


Solución 1: ser obstinado

Logra el 100% de tu población muestral.

Lleva a cabo todas las estrategias posibles:

Teléfono, correo, email, sms, visitas.

Haz encuestas más cortas

Incentivos, financieros o de otro tipo


Si no logras el 100%, puede seleccionar una

submuestra de observaciones perdidas y

buscarlas, a un coste mayor:

Rescata una muestra representativa.

Recupera la comparabilidad

Alto costo potencial: poder, tiempo, dinero.

Solución 1: ser obstinado


Asume que la no respuesta es aleatoria, tal vez

condicionalmente en base a ciertas variables.

¿Qué pasa si la tasa de respuesta es la misma?

Añade el supuesto de que el tratamiento solo puede

afectar a la respuesta en una única dirección.

El tratamiento no afectó a la tasa de respuesta.

La validez interna se conserva.

Pero la validez externa puede no mantenerse.

Solución 2: ten suerte


Solución 3: Modelos de Selección Muestral Los modelos de corrección de selección muestral son

aquellos que ofrecen soluciones econométricas al problema de variables dependientes truncadas. En particular, las variables dependientes podrían estar truncadas

porque solo observamos los resultados de aquellos individuos que participan en el programa

Sin la corrección, el parámetro beta de la ecuación siguiente estará sesgado, porque solo observamos y para un grupo de individuos: yi = Ti + ei

Primero, estimamos el modelo de selección muestral

Si =WiY + ei

El procedimiento Heckit corrige beta usando la estimación del modelo de selección.

El modelo se identifica con un instrumento y formas funcionales: halla una variable que afecte a Si pero no afecte directamente a yi.


También podemos usar modelos semi-

paramétricos (Ichimura y Lee, 1991; Ahn y

Powell, 1993)

Relajamos el supuesto de normalidad, pero

requerimos el de restricción de exclusión.

Solución 3: Otros modelos de Corrección de Selección Muestral


En vez de tratar de corregir los estimadores de

efecto, determina un límite para dicho efecto.

Límites de Horowitz y Manski (2000):

Toma valores máximos y mínimos para las variables

de resultado. Útil cuando la variable es binaria.

Problema: los límites pueden ser demasiado amplios

y por tanto no informativos.

Solución 4: Límites


Límites de Lee

Se apoya en pocos supuestos: Los resultados y las respuestas de los participantes

ocurren independientemente de D.

Monotonicidad: Pr(S1 = 0, S0 = 1) = 0

Intuición: La muestra se pule de modo que la proporción de sujetos

observados es igual para ambos grupos

El pulido se puede hacer por arriba o por abajo

Se corresponde con supuestos extremos acerca de la naturaleza de la no respuesta, consistentes con: (i) Los datos observados, y

(ii) Un modelo de selección de un lado

Solución 4: Límites


Límites de Lee: Un ejemplo

35

El efecto de proporcionar crédito a

microempresas (De Mel et al., 2008)

Algunos negocios salen de la muestra: imposible

medir sus utilidades y retornos del capital.

Límites de Lee:

• Algunas firmas salen de la muestra si no son

beneficiarias, pero no salen si son beneficiarias.

• q es 5.2%.

• Resultados:

o Utilidades: efecto del tratamiento es 541, E=404 y 𝐸 =754

o Retornos del capital: efecto del tratamiento es 5.3%,

E=2.6% y 𝐸 =6.7%.


Límites de Lee: discusión y extensiones

36

STATA: leebounds (con errores estándar).

Podrían ser demasiado estricto. Existen soluciones

creativas según el contexto:

Back to De Mel (2008), E supone que las empresas

más rentables desaparecen. Esto es poco probable.

E posiblemente sea trivial.

Angrist et al. (2002, 2006), cupones en Colombia.

Estudian si los cupones aumentan la probabilidad de

que los estudiantes hagan el examen de admisión

universitaria. ¿Qué resultado habrían obtenido en

ausencia del cupón? Usan supuestos distributivos

razonables para construir los límites


¿Cuál es la mejor forma de abordar el desgaste?

A. Se obstinado

B. Asume que es

aleatorio

C. Usa modelos de

selección muestral

D. Usa límites

37

A. B. C. D.

0% 0%0%0%


4. Cumplimiento imperfecto


En la evaluación de un programa de distribución gratuita

de mosquiteras, algunas personas del grupo de

tratamiento no reciben la mosquietara, mientras que

algunos asignados a control sí lo reciben. ¿Qué debemos

hacer?

A. Intercámbialos (pon esos sujetos T en el grupo C, y esos individuos C en el grupo T)

B. Sácalos de tu muestra

C. Compara los grupos originales (independientemente de si recibieron tratamiento o no)

D. Desiste de evaluar

39

A. B. C. D.

0% 0%0%0%


No cumplidores

40

Población

objetivo

Población no

evaluada

Muestra

evaluada

Grupo de

tratamiento

Participantes

No-Shows

Grupo de

control

No

Participantes

Cross-overs

Asignación

aleatoria

¡No!

¿Qué puedes hacer?

¿Puedes intercambiarlos?


No cumplidores

¡No!

¿Qué puedes hacer?

¿Puedes eliminarlos?

41

Población

objetivo

Población no

evaluada

Muestra

evaluada

Grupo de

tratamiento

Participantes

No-Shows

Grupo de

control

No

Participantes

Cross-overs

Asignación

aleatoria


No cumplidores

Puedes comparar los grupos originales

42

Población

objetivo

Población no

evaluada

Muestra

evaluada

Grupo de

tratamiento

Participantes

No-Shows

Grupo de

control

No

Participantes

Cross-overs

Asignación

aleatoria


Cumplimiento Imperfecto

Puede haber sesgo de selección muestral si factores distintos de la asignación aleatoria afectan al reparto

Incluso se si pretendía una asignación aleatoria, esta podría no darse

Hay Cumplimiento Imperfecto cuando:

Individuos en el grupo tratado no reciben tratamiento

Individuos en el grupo de control reciben tratamiento

43


Sesgo de selección muestral

Algunos individuos asignados al grupo de control podrían tratar de entrar en el grupo de tratamiento Programa de alimentación escolar: algunos padres

podrían tratar de que sus hijos se cambien a colegios tratados

Alternativamente, algunos individuos asignados al grupo de tratamiento podrían no recibirlo Programa de alimentación escolar: algunos

estudiantes llevan su propio almuerzo, o optan por no almorzar


45

Cómo abordar el sesgo de selección muestral?

ITT vs TOT


Intention to Treat (ITT)

¿Qué mide el efecto de la “Intención de Tratar”?

“¿Qué le ocurrió al niño promedio perteneciente a un colegio tratado de esta población?”

Esta diferencia, ¿es el efecto causal de la intervención?


¿Cuándo es el ITT útil?

Puede que sea una mejor descripción para programas reales

Por ejemplo, puede que no nos interese tanto el efecto médico del tratamiento de desparasitación, y sí el efecto logrado con un programa de desparasitación real.

Si algunos estudiantes suelen no ir al colegio y no obtienen el medicamento de desparasitación, el efecto de la intención de tratar puede ser el más relevante.


Del efecto ITT al efecto TOT (Treatment on the Treated)

El punto clave es que hay “filtraciones” en la

asignación a los grupos de tratamiento y control,

habiendo diferencias entre la asignación original

y el reparto final.

Los individuos asignados al grupo tratado tienen

una mayor probabilidad de recibir tratamiento

Formalmente, “instrumentamos” la probabilidad

de recibir tratamiento de acuerdo con la

asignación original.

48


Estimando TOT

¿Qué valores necesitamos?

Y(T)

Y(C)

Prob[tratado|T]

Prob[tratado|C]


Tratamiento en los Tratados (TOT)

Partimos de un modelo de regresión

sencillo:

𝑌𝑖 = 𝑎 + 𝐵 ∗ 𝑆𝑖 + 𝑒𝑖

[Angrist y Pischke, p. 67 muestra que]:

𝐵 =𝐸 𝑌𝑖 𝑧𝑖 = 1 − 𝐸 𝑌𝑖 𝑧𝑖 = 0

𝐸 𝑠𝑖 𝑧𝑖 = 1 − 𝐸 𝑠𝑖 𝑧𝑖 = 0


Tratamiento en los Tratados (TOT)

𝐵 =𝐸 𝑌𝑖 𝑧𝑖 = 1 − 𝐸 𝑌𝑖 𝑧𝑖 = 0

𝐸 𝑠𝑖 𝑧𝑖 = 1 − 𝐸 𝑠𝑖 𝑧𝑖 = 0

𝑌 𝑇 − 𝑌 𝐶

𝑃𝑟𝑜𝑏 𝑡𝑟𝑎𝑡𝑎𝑑𝑜 𝑇 − 𝑃𝑟𝑜𝑏[𝑡𝑟𝑎𝑡𝑎𝑑𝑜|𝐶]


Generalizando el enfoque TOT: Variables Instrumentales 1. Regresión de la primera fase:

𝑻𝑨𝒄𝒕𝒖𝒂𝒍 = 𝜶𝟎 + α𝟏𝑻𝟏 + 𝜶𝒊𝐗𝒊 + 𝒆 2. Predice el estatus de tratamiento usando los coeficientes estimados

𝑻 𝒑𝒓𝒆𝒅𝒊𝒄𝒕𝒆𝒅 = 𝒂 𝟎 + 𝒂 𝟏𝑻𝟏 + 𝒂 𝒊𝐗𝒊

3. Predice la variable resultado a partir del estatus de tratamiento predicho

𝒀𝒊 = 𝜷𝟎 + 𝜷𝟏𝑻 𝒑𝒓𝒆𝒅𝒊𝒄𝒕𝒆𝒅 + 𝜷𝑿𝐗𝒊 + 𝜺

4. 𝜷 𝟏 proporciona la estimación del efecto


Requisitos para Variables Instrumentales:

Primera fase

Tu experimento (o instrumento) afecta de

forma significativa a la probabilidad de recibir

tratamiento

Restricción de exclusión

Tu experimento (o instrumento) no afecta a

los resultados por medio de ningún otro canal


5. Análisis Final

54


Múltiples resultados

¿Podemos estudiar varios resultados?

Cuantos más resultados analices, más

probable es que algunos sean

estadísticamente significativos por

casualidad

Especifica de antemano los resultados de interés

Informa de todos los resultados medidos,

incluyendo los no significativos

Corrige los tests estadísticos (Bonferroni)


Variables de control

¿Por qué incluir variables de control?

Podrían explicar parte de la variación y mejorar el poder estadístico

¿Por qué no incluir variables de control?

Da la apariencia de “búsqueda de especificación”

¿Qué variables de control incluir? Si la aleatorización es estratificada: incluye efectos fijos de estrato

Otras variables de control

Regla: Reporta tanto las diferencias “curdas” como los resultados ajustados por medio de regresión


Recapitulando

57

Amenaza Descripción Algunas soluciones

Externalidades El tratamiento contamina

a las unidades de control

1. Aleatoriza a un nivel superior.

2. Obtén más información acerca

de las observaciones.

3. Varía intensidad de tratamiento

Desgaste Algunas observaciones

salen de la muestra.

1. Se obstinado

2. Ten suerte

3. Modelos de selección Heckman

4. Límites

Cumplimiento

imperfecto

El cumplimiento del

protocolo del estudio no

es perfecto (e.g. algunas

unidades de control

reciben tratamiento)

1. Efecto de la Intención de tratar

2. Efecto del Tratamiento en los

Tratados


Conclusión

Hay unas cuantas cosas que pueden salir mal durante la evaluación.

Piensa en estos problemas anticipadamente.

Hemos revisado algunas de estas amenazas para el análisis de la evaluación; para un catálogo de correcciones más completo puedes usar Running Randomized Evaluations.

58


¡Gracias!

59

Dean Karlan

Professor of Economics

Yale University

[email protected]

introducción externalidades desgaste cumplimiento … · identificar las principales amenanzas en...

Documents