estudios aleatorizados - world bankpubdocs.worldbank.org/.../core-sesion-2b-estudios...ii....
TRANSCRIPT
![Page 1: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/1.jpg)
1
Estudios Aleatorizados Francisco Gallego PUC Chile y J-PAL Santiago, 9 de abril de 2013
![Page 2: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/2.jpg)
Mapa I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Validez Externa VI. Material adicional: ¿Cómo aleatorizar?
2
![Page 3: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/3.jpg)
I. Recapitulando
3
Mapa
![Page 4: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/4.jpg)
1. Recapitulando
Algunos conceptos claves : • Evaluaciones de impacto en un contexto de
inferencia causal • Desafío fundamental de identificación del impacto
de un programa: – ¿Cómo habría sido la vida del individuo o grupo son el
programa? ¡NO OBSERVABLE! – Aproximarse a lo “no observable”: Grupo de control o
grupo contrafactual. Problema central: sesgo de selección.
– ¿Cómo? Métodos observacionales o experimentales
![Page 5: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/5.jpg)
I. Recapitulando II. Motivación
5
Mapa
![Page 6: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/6.jpg)
2. Motivación
• En muchos campos (en el pasado en la medicina), hoy en ciencias sociales y políticas públicas, la mejor evidencia de contrafactuales es generada por ensayos aleatorios.
• Bajo ciertas condiciones, los ensayos aleatorios aseguran que los resultados en el grupo control realmente capturen el contrafactual para un grupo tratamiento
6
![Page 7: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/7.jpg)
7
![Page 8: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/8.jpg)
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos
8
Mapa
![Page 9: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/9.jpg)
3.1. Aleatorización e inferencia causal • Los estadísticos recomiendan un modelo en
etapas: – Primera etapa: una muestra aleatoria de unidades
seleccionada de una población definida – Segunda etapa: esta muestra de unidades es
asignada aleatoriamente a los grupos tratamiento y control
• La idea de aleatorización en ambas etapas cumple objetivos muy diferentes…
9
![Page 10: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/10.jpg)
3.2. Caracterización básica de una evaluación aleatoria bi-etápica
10
Población objetivo
No está en la evaluación
Muestra aleatoria de la
evaluación
Asignación aleatoria
Grupo de tratamiento
Grupo de control
Primera Etapa Segunda Etapa
![Page 11: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/11.jpg)
3.3. Aleatorización e inferencia causal • Primera etapa: buscar ayudar a asegurar validez
externa (pero no es condición necesaria ni suficiente, más sobre esto más adelante) – Asegurar que la muestra utilizada en la evaluación
represente a la población (dado un cierto error muestral) – Puede ser una aleatorización estratificada
• Segunda etapa: busca ayudar a asegurar validez interna: – Asegurar que el impacto observado se debe al tratamiento
y no a otro factor (o sea, ayudar a definir adecuadamente el contrafactual)
– Puede ser una aleatorización estratificada 11
![Page 12: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/12.jpg)
• En este tipo de ensayos aleatorios (bietápicos): • Si la muestra es grande (cálculo de potencia/poder),
se asegura que: • ¿Por qué? • Y, por tanto,
estima consistentemente ATE. ¿por qué?
12
[ ] [ ] [ ] [ ]0|1|y 0|1| 0011 ====== DYDYDYDY
[ ] [ ]1|ˆ1|ˆˆ01 =−== DYDYδ
3.3. Aleatorización e inferencia causal
![Page 13: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/13.jpg)
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
13
Mapa
![Page 14: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/14.jpg)
4. Aleatorización: Otros
• Sin embargo, hay otras formas de aleatorización diferentes que se usan en la práctica – Típicamente se desvían del diseño bi-etápico y, por ello es
interesante entender qué permiten estimar y qué limitaciones pueden tener.
• Veremos dos casos – Ensayos aleatorios sin aleatorización en la primera etapa:
• Caso particular: ensayos aleatorios con auto-selección previa
– Ensayos aleatorios con cumplimiento imperfecto
14
![Page 15: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/15.jpg)
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Material adicional: ¿Cómo aleatorizar?
15
Mapa
![Page 16: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/16.jpg)
16
Población objetivo
No está en la evaluación
Muestra seleccionada
de la evaluación
Asignación aleatoria
Grupo de tratamiento
Grupo de control
4.1.2. Evaluación aleatoria con muestra seleccionada
![Page 17: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/17.jpg)
4.1.3. Evaluación aleatoria con Voluntarios
17
Población objetivo
No está en la evaluación
Voluntarios Asignación aleatoria
Grupo de tratamiento
Grupo de control
![Page 18: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/18.jpg)
• Es una sub-población auto-seleccionada (denotemos V=1 si postula) que postula a recibir el tratamiento. – Tratados (D=1|V=1): los que quisieron participar y fueron
asignados al programa con una lotería. – Control (D=0|V=1): los que quisieron participar y no fueron
asignados al programa.
18
4.1.3. Evaluación aleatoria con Voluntarios
![Page 19: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/19.jpg)
• ¿Qué asegura la aleatorización?
y, por lo tanto, nuestro estimador estima consistentemente para los que quisieron participar:
• O sea estamos estimando el efecto del tratamiento en los tratados y no en la población completa. – ¿Es una problema esto? ¿Cuándo? Según Duflo et al.
(2007) este grupo es el que justamente sería afectado por lo política si se expandiese, entonces también es de interés de evaluación.
19
[ ] [ ][ ] [ ]1,0|1,1|y
1,0|1,1|
00
11
=====
=====
VDYVDY
VDYVDY
[ ] [ ]1,0|ˆ1,1|ˆˆ011 ==−==== VDYVDYVδ
4.1.3. Evaluación aleatoria con Voluntarios
![Page 20: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/20.jpg)
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Material adicional: ¿Cómo aleatorizar?
20
Mapa
![Page 21: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/21.jpg)
4.2.1. Caracterización básica de una evaluación aleatoria con cumplimento imperfecto
21
Población objetivo
No está en la evaluación
Muestra de la evaluación
Asignación aleatoria
Grupo de tratamiento
Participantes
No participan
Grupo de control
No participantes
Controles tratados
![Page 22: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/22.jpg)
• Algunos individuos en el grupo de control reciben tratamiento
• Ej. Programa de desparasitación (Miguel y Kremer, 2004); Baird et al. (2011): – Los padres podrían intentar cambiar a sus hijos desde la
escuela de comparación a la escuela en tratamiento – 5% de los alumnos del grupo de control recibió el
tratamiento.
4.2.2. Cumplimiento parcial con el protocolo
22
![Page 23: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/23.jpg)
• Algunos en grupo de tratamiento deciden no tomar
el tratamiento • Ej. Programa de desparasitación:
- Algunos estudiantes asignados a tratamiento en las escuelas en tratamiento no recibieron el tratamiento médico
- 78% de los pupilos asignados para recibir tratamiento recibieron al menos algo de tratamiento
23
4.2.2. Cumplimiento parcial con el protocolo
![Page 24: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/24.jpg)
• ¿Cómo se estima el efecto del programa? • Utilice la asignación original
– Si una niña terminó en una escuela en tratamiento, pero era de control, se debe asignar a control cuando calcula el efecto
• Esto nos brinda el cálculo de intención de tratar (ITT)
4.2.2. Cumplimiento parcial con el protocolo
![Page 25: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/25.jpg)
• Como discutimos antes, el ITT mide el efecto promedio de ofrecer el programa. “Qué le ocurrió al niño promedio que está en
una escuela tratada en esta población?”
• ¿Es este el número adecuado a buscar?, ¿Es el efecto de la desparasitación?
4.2.3. Intención de tratar (ITT)
![Page 26: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/26.jpg)
• Se puede relacionar con programas concretos. En general, no se puede obligar a que los individuos “tomen” los tratamientos. – Por ejemplo, podría no interesarnos el efecto médico del
tratamiento de desparasitación, pero mas bien lo que ocurriría en un programa de desparasitación real.
– Si los estudiantes con frecuencia faltan a la escuela y por lo tanto no reciben el medicamento para la desparasitación, la estimación de la intención de tratar podría ser realmente lo más importante.
4.2.4. ¿Cuándo es útil ITT?
![Page 27: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/27.jpg)
4.2.5. Cumplimiento parcial con el protocolo
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
![Page 28: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/28.jpg)
1. Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento
4.2.6. Algunas Posibilidades
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
![Page 29: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/29.jpg)
1. Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento
• Pero quién recibe el tratamiento no es aleatorio. - En el grupo de control, quienes reciben
tratamiento pueden ser los hijos de padres más motivados.
- En el grupo de tratamiento, quienes no lo reciben pueden ser los hijos de padres menos motivados.
4.2.6. Algunas Posibilidades
![Page 30: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/30.jpg)
2. Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
4.2.6. Algunas Posibilidades
![Page 31: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/31.jpg)
2. Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control
• Pero quién recibe el tratamiento no es aleatorio - En el grupo de tratamiento quienes reciben
son los motivados. - En el grupo de control quienes no lo reciben
son los no motivados
4.2.6. Algunas Posibilidades
![Page 32: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/32.jpg)
3. Comparar a quienes fueron ASIGNADOS a grupo de tratamiento con quienes fueron ASIGNADOS a grupo de control
Escuela 1
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3
Escuela 2
Asignado a Tratamiento
Recibe Tratamiento
Carga Parasitaria
Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3
4.2.6. Algunas Posibilidades
![Page 33: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/33.jpg)
4.2.7. Intención de Tratar: ¡Qué hacer!
33
Promedio de escuela 1: (A)
Promedio de escuela 2: (B)
¿Intención de Escuela 1 tratamiento? ¿Tratado? Pupilo 1 sí sí 4 Pupilo 2 sí sí 4 Pupilo 3 sí sí 4 Pupilo 4 sí no 0 Pupilo 5 sí sí 4 Pupilo 6 sí no 2 Pupilo 7 sí no 0 Pupilo 8 sí sí 6 Pupilo 9 sí sí 6 Pupilo 10 sí no 0
Cambio prom. entre escuela A=
Escuela 2 Pupilo 1 no no 2 Pupilo 2 no no 1 Pupilo 3 no sí 3 Pupilo 4 no no 0 Pupilo 5 no no 0 Pupilo 6 no sí 3 Pupilo 7 no no 0 Pupilo 8 no no 0 Pupilo 9 no no 0 Pupilo 10 no no 0
Cambio prom. entre escuela B=
Cambio observado en el peso
Efecto Intención de tratar 3
0,9
3
,9
2,1
![Page 34: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/34.jpg)
• SIEMPRE se debe respetar la asignación inicial cuando se analizan los datos, independiente de quien termina recibiendo tratamiento
– Asignación inicial es lo único que es aleatorio y por
tanto útil para estimar impacto con validez interna – Tomar o no tomar el tratamiento no es aleatorio
• Notar que externalidades desde el tratamiento al control se pueden pensar como un caso particular de
4.2.8. Cumplimiento parcial con el protocolo
![Page 35: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/35.jpg)
• Además de afectar interpretación de resultados, cumplimiento parcial tiene implicaciones importantes para diseño del experimento
• Afecta cálculos de poder y tamaño muestral – Es importante ANTICIPAR posible cumplimiento
parcial
4.2.8. Cumplimiento parcial con el protocolo
![Page 36: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/36.jpg)
• ¿Puedo saber impacto del tratamiento sobre los que efectivamente lo reciben?
36 36
4.2.8. Cumplimiento parcial con el protocolo
![Page 37: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/37.jpg)
• A veces…
• Necesito supuestos adicionales – Ya no es suficiente la aleatorización
37 37
4.2.8. Cumplimiento parcial con el protocolo
![Page 38: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/38.jpg)
Supuestos: 1. No hay externalidades en el tratamiento
– Niños que no toman desparasitantes en colegios asignados a recibirlos se siguen contagiando como antes
2. No hay efectos indirectos de la asignación del tratamiento
– En diseños aleatorios de estímulo, el estímulo no tiene un impacto directo sobre el resultado
4.2.9. Tratamiento en los tratados (TOT)
38
![Page 39: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/39.jpg)
• El efecto del tratamiento en quienes recibieron el tratamiento: – Suponga que los niños que recibieron el tratamiento
aumentaron de peso A, independiente de si están en un tratamiento o una escuela de control
– Suponga que los niños que no reciben tratamiento tuvieran un aumento de peso de B, nuevamente en ambos tipos de escuelas
– Deseamos conocer A-B, la diferencia entre los estudiantes tratados y no tratados
39
4.2.9. Tratamiento en los tratados (TOT)
![Page 40: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/40.jpg)
• Luego... • Y(T)=A*Prob[tratado|T]+B(1-Prob[tratado|T]) • Y(C)=A*Prob[tratado|C]+B(1-Prob[tratado|C]) • A-B= (Y(T)-Y(C)) / (Prob[tratado|T] – Prob[tratado|C]) = El efecto del “tratamiento en los tratados”.
40
4.2.9. Tratamiento en los tratados (TOT)
![Page 41: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/41.jpg)
4.2.9. Calcular tratamiento en los tratados
¿Intención Escuela 1 de tratar? ¿Tratado?
Pupilo 1 sí sí 4 Pupilo 2 sí sí 4 Pupilo 3 sí sí 4
A = Aumenta si se trata
Pupilo 4 sí no 0 B = Aumenta si no se trata
Pupilo 5 sí sí 4 Pupilo 6 sí no 2 Pupilo 7 sí no 0
Calculador de ToT: A-B
Pupilo 8 sí sí 6 Pupilo 9 sí sí 6 Pupilo 10 sí no 0
A-B = Y(T)-Y(C)
Cambio promedio Y(T)=
Prob(Tratado|T)-Prob(Tratado|C)
School 2 Pupilo 1 no no 2
Y(T)
Pupilo 2 no no 1
Y(C)
Pupilo 3 no sí 3
Prob(Tratado|T)
Pupilo 4 no no 0
Prob(Tratado|C)
Pupilo 5 no no 0 Pupilo 6 no sí 3 Pupilo 7 no no 0
Y(T)-Y(C)
Pupilo 8 no no 0
Prob(Tratado|T)-Prob(Tratado|C)
Pupilo 9 no no 0 Pupilo 10 no no 0
Cambio promedio Y(C) =
A-B
Cambio observado
en el peso
3
0,9
3 0,9
60% 20%
2,1 40%
5,25
Compare a Intención de tratar: 2,1
![Page 42: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/42.jpg)
• En la práctica, el TOT se estima con utilizando la asignación del tratamiento como variable instrumental para recibir el tratamiento. – Ver más adelante en el curso… – Por lo tanto, el efecto estimado es un efecto local.
42
4.2.9. Tratamiento en los tratados (TOT)
![Page 43: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/43.jpg)
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Validez Externa VI. Material adicional: ¿Cómo aleatorizar?
43
Mapa
![Page 44: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/44.jpg)
• La validez interna es una condición necesaria para que los resultados de un experimento aleatorio sean generalizables…
• Pero no es suficiente.
5. Validez externa
44
![Page 45: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/45.jpg)
• Una limitación de las evaluaciones aleatorias es que la evaluación en sí puede provocar que el grupo de tratamiento o de comparación cambie su conducta – La conducta del grupo en tratamiento cambia:
Efecto Hawthorne – La conducta del grupo de comparación cambia:
Efecto John Henry
5.1. Amenaza para la validez externa: Respuestas conductuales para las evaluaciones
45
![Page 46: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/46.jpg)
• Además: un programa puede generar respuestas conductuales que no ocurrirían si el programa fuera generalizado
5.2. Respuestas conductuales para las evaluaciones
46
![Page 47: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/47.jpg)
• Depende de tres factores: – Implementación del programa: ¿se puede replicar
a gran escala (nacional)? • Implementación del programa • Efectos de equilibrio general
– Muestra del estudio: ¿es representativo? – Sensibilidad de los resultados: ¿tendría el mismo
impacto un programa similar, pero levemente diferente?
47
5.3. Generabilidad de los resultados
![Page 48: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/48.jpg)
I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios
I. Con muestra seleccionada II. Con cumplimento parcial
V. Validez Externa VI. Material adicional: ¿Cómo aleatorizar?
48
Mapa
![Page 49: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/49.jpg)
• Unidad y método de aleatorización
• Restricciones del mundo real
• Revisando de nuevo la unidad y el método
• Variaciones en análisis tratamiento-control simple
6.1. ¿Cómo aleatorizar?
![Page 50: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/50.jpg)
• Entender cómo aleatorizar (mecánica) y decidir entre alternativas. – Conceptos clave: Unidad y método de aleatorización,
estratificación
• Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real
• Entender algunas variaciones en análisis tratamiento-control simple
6.2. Objetivos
![Page 51: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/51.jpg)
Cómo aleatorizar, Parte I - 51
Asignación aleatoria
2006
Ingresos por persona, por mes, rupias
1000
500
0 Trat. Comp.
1457 1442
![Page 52: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/52.jpg)
• Es necesario un marco muestral (lista de donde aleatorizar)
• Opciones:
– Sacar del sombrero – Utilice un generador de números
aleatorios en un programa de planilla de cálculo para ordenar las observaciones de manera aleatoria
– Utilice un código del programa Stata
• ¿Qué ocurre si no hay lista existente?
52
6.3. Mecánica de la aleatorización
Fuente: Chris Blattman
![Page 53: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/53.jpg)
1. Aleatorizar al nivel individual 2. Aleatorizar al nivel del grupo
“Estudio aleatorio con observaciones agrupadas”
• ¿A qué nivel se debe aleatorizar?
53
6.4. Unidad de aleatorización
![Page 54: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/54.jpg)
6.4.1. Unidad de aleatorización: consideraciones
• ¿A qué unidad apunta el programa para tratamiento?
• ¿Cuál es la unidad de análisis?
![Page 55: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/55.jpg)
6.4.2. Unidad de aleatorización: ¿individual?
![Page 56: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/56.jpg)
6.4.2. Unidad de aleatorización: ¿individual?
![Page 57: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/57.jpg)
“Grupos de personas”: Estudio aleatorio en unidades agrupadas
6.4.2. Unidad de aleatorización: ¿individual?
![Page 58: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/58.jpg)
6.4.3. Unidad de aleatorización: ¿clase?
![Page 59: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/59.jpg)
6.4.3. Unidad de aleatorización: ¿clase?
![Page 60: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/60.jpg)
6.4.4. Unidad de aleatorización: ¿escuela?
![Page 61: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/61.jpg)
6.4.4. Unidad de aleatorización: ¿escuela?
![Page 62: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/62.jpg)
• ¿De qué manera se administra la intervención?
• ¿Cuál es el área de captación de cada “unidad de intervención”?
• ¿Cuál es la amplitud del posible impacto?
6.4.5. Unidad de aleatorización: población objetivo
![Page 63: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/63.jpg)
• Recuerde: ¿cuál es nuestra medición del impacto?
• ¿Dónde/cómo obtenemos estos datos?
6.4.6. Unidad de aleatorización: análisis
![Page 64: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/64.jpg)
• Tome a 1000 personas y dele el medicamento a la mitad
• ¿Podemos simplemente aplicar este enfoque a programas sociales?
Cómo aleatorizar, 64
6.7. Lotería: Comience con los estudios clínicos como punto de referencia
![Page 65: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/65.jpg)
• Elegido al azar de una selección de postulantes
• Los participantes conocen a los “ganadores” y “perdedores”
• La lotería simple es útil cuando no existe un motivo a priori para discriminar
• Se percibe como justo • Transparente • Comúnmente viable políticamente
6.7. Las loterías son simples, comunes y transparentes
![Page 66: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/66.jpg)
• Por qué las restricciones de recursos son el mejor amigo de un evaluador
• Muchos programas tienen recursos limitados • Muchos más receptores elegibles que recursos
que permitan servir a estos • Bastante comunes en la práctica:
– Capacitación para empresarios o granjeros – Vouchers en educación – Transferencias monetarias
Cómo aleatorizar, Parte I - 66
6.8.1. Restricciones: recursos
![Page 67: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/67.jpg)
• ¡Recuerde el contrafactual! • Si el grupo de control es diferente al del
contrafactual, nuestros resultados pueden estar sesgados
6.8.2. Restricciones: contaminación
![Page 68: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/68.jpg)
• Externalidad • Control tratado • Cumplimiento parcial o incumplimiento del
tratamiento
6.8.2. Restricciones: contaminación Externalidad/control tratado
![Page 69: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/69.jpg)
• Suponga que la administración de medicamentos de desparasitación fuera una de las responsabilidades de un trabajador de la salud
• Suponga que el trabajador de la salud prestó servicios a los miembros de los grupos de control y tratamiento
• Podría ser difícil capacitarlos para seguir diferentes procedimientos para diferentes grupos y llevar un registro de qué se administra a quién
6.8.3. Restricciones: logísticas
![Page 70: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/70.jpg)
• Aleatorizar a nivel del niño dentro de las clases • Aleatorizar a nivel de la clase dentro de
colegios • Aleatorizar al nivel de la comunidad
6.8.4. Restricciones: justicia, política
![Page 71: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/71.jpg)
• El programa es sólo lo suficientemente grande para prestar servicios a un puñado de comunidades
6.8.5. Restricciones: Tamaño de la muestra
![Page 72: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/72.jpg)
• Considere los diseños de lotería no estándares • Podrían aumentar las actividades de
divulgación • ¿Es esto ético?
Cómo aleatorizar, Parte I - 72
6.8.6. ¿Qué ocurre si tiene 500 postulantes para 500 cupos?
![Page 73: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/73.jpg)
• Suponga que hay 2000 postulantes • El filtrado de las solicitudes produce 500 candidatos
“elegibles” • Hay 500 cupos • Una lotería simple no funcionará
• ¿Cuáles son nuestras opciones?
6.8.7. A veces el filtrado importa
![Page 74: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/74.jpg)
• ¿Se filtra para qué? • ¿Qué elementos son esenciales? • Los procedimientos de selección sólo pueden existir
para reducir los candidatos elegibles para cumplir una restricción de capacidad o para focalizar el programa
• Si ciertos mecanismos del filtro aparecen como “arbitrarios” (pero no aleatorios), la aleatorización puede servir para el propósito de filtrar y ayudarnos a evaluar
6.8.7. Considere las normas de filtro o focalización
![Page 75: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/75.jpg)
• A veces puede que un socio no esté dispuesto a aleatorizar entre las personas elegibles.
• Un socio podría estar dispuesto a aleatorizar en “la burbuja”.
• Las personas “en la burbuja”, son personas que están en el límites en términos de elegibilidad – Justo sobre el umbral no elegible, pero casi
• ¿Qué efecto en el tratamiento medimos? ¿Qué significa para la validez externa?
6.9. Aleatorización en la burbuja
![Page 76: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/76.jpg)
Aleatorización en “la burbuja”
Dentro de la burbuja, compare el tratamiento con el control
Participantes No participantes
Tratamiento
Control
![Page 77: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/77.jpg)
• Los funcionarios del programa pueden mantener la discreción
• Ejemplo: Programa de capacitación • Ejemplo: Expansión de los créditos de
consumo en Sudáfrica
6.10. Cuando el análisis importa: Lotería parcial
![Page 78: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/78.jpg)
• Eventualmente todos reciben el programa • El enfoque natural al expandir el programa enfrenta
restricciones de recursos • ¿Qué determina que las escuelas, ramas, etc. se
incluirán cada año?
6.11. Diseño escalonado: aprovecha la expansión
![Page 79: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/79.jpg)
Diseño escalonado
Ronda 1 Tratamiento: 1/3 Control: 2/3
Ronda 2 Tratamiento: 2/3 Control: 1/3
Ronda 3 Tratamiento: 3/3 Control: 0 1
1
1 1
1
1
1
1
1
1 1
1
1
1
2
2
2 2
2
2
2 2
2
2
2
2 2
2
2
2
3
3 3 3
3
3 3
3 3
3
3 3
3
3
3 3
3
Ronda 1 Tratamiento: 1/3 Control: 2/3
Ronda 2 Tratamiento: 2/3 Control: 1/3
Finaliza la evaluación aleatoria
![Page 80: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/80.jpg)
Ventajas • Eventualmente todos reciben algo • Proporciona incentivos para mantener el contacto
Preocupaciones • Puede complicar el cálculo de efectos a largo plazo • Atención con las ventanas de escalonamiento • Expectativas cambian acciones hoy?
6.11. Diseño escalonado
![Page 81: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/81.jpg)
• Los grupos reciben tratamiento en turnos • Ventajas • Preocupaciones
Cómo aleatorizar, Parte I - 81
6.12. Diseño por rotación
![Page 82: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/82.jpg)
Ronda 1 Tratamiento: 1/2 Control: 1/2
Diseño por rotación
Ronda 2 Tratamiento de la Ronda 1 Control ——————————————————————————
Control de la Ronda 1 Tratamiento
Ronda 1 Tratamiento: 1/2 Control: 1/2
![Page 83: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/83.jpg)
• La introducción escalonada puede no proporcionar suficiente beneficio para los participantes de la ronda posterior
• La cooperación del grupo de control puede ser esencial
• Considere la aleatorización entre-grupo • Por ejemplo, programa de balsakhi (Banerjee et al. 2007) • Todos los participantes obtienen algún beneficio • Preocupación: mayor probabilidad de contaminación
6.13. “¿Desea encuestarme? Entonces, trate conmigo”
![Page 84: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/84.jpg)
• A veces es práctica o éticamente imposible aleatorizar el acceso al programa
• Sin embargo, la mayoría de los programas tiene menos de 100% de tasa de participación
• Aleatorice por estímulo a recibir tratamiento
6.14. Diseño por estímulo a participar: ¿Qué hacer cuando no puede aleatorizar acceso?
![Page 85: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/85.jpg)
Diseño por estímulo
Estímulo
No Estímulados
participó
no participó
Cumplimiento
No cumplimiento
compare estimulados con no estimulados
no compare participantes con no participantes
Ajuste para el no cumplimiento en la fase de análisis
Éstos se deben correlacionar
![Page 86: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/86.jpg)
• Algo que hace que algunas personas sean más propensas a utilizar este programa que otras
• No es un “tratamiento” en sí • ¿Para quiénes estamos calculando el efecto
del tratamiento? • Piense en quiénes responden a la motivación
6.14. ¿Qué es “estímulo”?
![Page 87: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/87.jpg)
• Lotería simple • Aleatorización en la “burbuja” • Aleatorización por escalonamiento • Rotación • Diseño por estímulo
– Nota: Éstos no son mutuamente exclusivos.
6.15. Para resumir: Posibles diseños
![Page 88: Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II. Motivación III. Estudios Aleatorios Bietápicos . IV. Otros Estudios Aleatorios . I. Con](https://reader033.vdocuments.net/reader033/viewer/2022050103/5f4222fad42b791ded233b8a/html5/thumbnails/88.jpg)
6.15. Métodos de aleatorización – recapitulación
Diseño Más útil cuando Ventajas Desventajas
Lotería simple Programa supersuscrito Familiar Puede que el grupo de control no coopere Está bien que algunos que no
reciben nada Fácil de comprender
Desgaste diferencial Fácil de implementar Se puede implementar en público
Escalonamiento Se amplía con el tiempo Fácil de comprender La anticipación del tratamiento puede impactar la conducta a corto plazo Finalmente, todos deben recibir
tratamiento Restricción fácil de explicar
Dificultad para medir el impacto a largo plazo
El control acepta dado que espera beneficio posterior
Rotación Todos deben recibir algo en algún Más datos que en la introducción escalonada
Difícil de medir a largo plazo punto, no hay suficientes recursos en el año para todos
Estímulo El programa debe estar abierto para todos
Puede aleatorizar en el nivel individual incluso cuando el programa se entrega a nivel individual
Mide el impacto de quienes responden al incentivo
Cuando la tasa de participación es Baja, pero se puede impactar fácilmente con incentivos.
Necesita un incentivo lo suficientemente grande para la adquisición El estímulo puede tener un efecto directo