nuevos desafíos para la investigación y las políticas

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion

Etica en laInvestigacionCientıfica

RegistrosSesgo dePublicacion

Registros

Planes dePre-AnalisisP-Hacking

Planes dePre-Analisis

ReplicacionesProtocolo delProyecto, Estandaresde Informacion(ReportingGuidelines)

Flujo de trabajo

Control de Versiones

Compartiendo loDatos

LeccionesPara elAnalisis dePolıticasPublicas

Conclusion

Nuevos desafıos para la investigacion y laspolıticas publicas: reproducibilidad,

transparencia y credibilidad

Garret Christensen12

Fernando Hoces de la Guardia1

1UC Berkeley:Berkeley Initiative for Transparency in the Social Sciences

2Berkeley Institute for Data Sciences

Pontificia Universidad Catolica, Octubre 2017Slides disponibles en

https://goo.gl/wU81GA

https://goo.gl/wU81GA

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Primero, un favor: ¿Podrıan completar esta breveencuesta?

https://goo.gl/dxfJRb

https://goo.gl/dxfJRb

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Estructura de la Presentacion

1 Introduccion

2 Etica en la Investigacion Cientıfica

3 Registros

4 Planes de Pre-Analisis

5 Replicaciones

6 Lecciones Para el Analisis de Polıticas Publicas

7 Conclusion

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Outline

1 Introduccion


3 Registros


5 Replicaciones


7 Conclusion

https://www.bitss.org/

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Outline

1 Introduccion


3 Registros


5 Replicaciones


7 Conclusion

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Etica en la Investigacion Cientıfica

Transparencia es un elemento central de la etica delinvestigador.Valores cientıficos acunados por Robert Merton(Merton 1942):

Universalismo: cualquier persona puede presentar unargumento, independiente de su estatus.Comunismo: el conocimiento es compartido demanera abierta.Desinteres: la verdad como motivacion, y no losbeneficios monetarios.Escepticismo Organizado: revision a traves de pares(peer review), replicacion.

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion


Casos de fraude existen (Simonsohn 2013), pero masimportante como investigadores tenemos que admitirnuestra condicion humana, sujeto as sesgos yrazonamiento motivado, transparencia puede ayudarcon esto (Nosek, Spies, Motyl 2012).Quienes llevamos a cabo experimentos o usamosdatos con informacion identificable a nivel individual,tenemos que tomar con seriedad los Comites de EticaInstitucionales (IRBs) (Ch. 11–13 Morton & Williams2010, Desposato 2014).

http://pss.sagepub.com/content/24/10/1875

http://pps.sagepub.com/content/7/6/615.short

http://desposato.org/ethicsfieldexperiments.pdf

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion


Por que nos preocupamos:(Anderson, Martinson, De Vries 2007)(John, Loewenstein, Prelec 2011)

http://www.jstor.org/stable/pdf/10.1525/jer.2007.2.4.3.pdf


Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Outline

1 Introduccion


3 Registros


5 Replicaciones


7 Conclusion

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Sesgo de Publicacion

Existencia del problema:El tamano de los efectos disminuye con el tamanomuestral (Gerber, Green, Nickerson 2001)Las Ciencias Sociales muestran una tasa de rechazode la hipotesis nula mayor que las ciencias duras(Fanelli 2010).La publicacion de efectos nulos esta desapareciendoen el tiempo, en todas las disciplinas. (Fanelli 2011).Estudio que siguio a experimentos completadosmuestra que aquellos experimentos con fuertesresultados son 40pp mas probable de ser publicados, y60pp mas probable de ser escritos. Alto “file drawerproblem”. (Franco, Malhotra, Simonovits 2014)

http://pan.oxfordjournals.org/content/9/4/385.short

http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0010068

http://link.springer.com/article/10.1007/s11192-011-0494-7

http://science.sciencemag.org/content/345/6203/1502

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Problema en todas las disciplinas

Medicina: (Turner et al. 2008)Ciencias Sociales: (Franco, Malhotra, Simonovits 2014)Economıa: (Brodeur et al. 2016)Sociologıa: (Gerber and Malhotra 2008)Ciencias Polıticas: (Gerber and Malhotra 2008)

http://www.nejm.org/doi/full/10.1056/nejmsa065779

http://science.sciencemag.org/content/345/6203/1502.short

https://www.aeaweb.org/articles.php?doi=10.1257/app.20150044

http://smr.sagepub.com/content/37/1/3.short

http://nowpublishers.com/article/Details/QJPS-8024

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Sesgo de Publicacion

Si solo escribimos/publicamos resultados significativos, yno dejamos registro de los no significativos, no tenemosforma de distinguir si nuestros resultados “significativos”son reales, o si son el 5% que deberıamos esperar debido aerror estadıstico.

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Registros

Pre-Registros como una solucion al sesgo de publicacion:Hacer publica la investigacion a ejecutar, publicandopor adelantado las hipotesis a testear.Adopcion casi universal en RCTs en medicina.Journals top (ICMJE) no publican estudios si no estanregistrados. http://clinicaltrials.gov

http://clinicaltrials.gov

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Registros

Nuevos en ciencias sociales, pero:Registro de AEA, actualmente solo para RCTs.http://socialscienceregistry.org

Registro de EGAPhttp://egap.org/design-registration

Registro de 3ie, para evaluaciones en paıses endesarrollo. http://ridie.3ieimpact.orgOpen Science Frameworkhttp://osf.io

Formato abiertoPronto va a estar sincronizado con los de mas arriba

Simple: http://aspredicted.org

http://socialscienceregistry.org

http://egap.org/design-registration

http://ridie.3ieimpact.org

http://osf.io

http://aspredicted.org

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Publicaciones Basadas en Diseno de laInvestigacion

AKA Reportes Registrados, cambia momento de peerreview hacia antes del la recoleccion de dates, analisis yresultados.

1 Disenar un estudio2 Enviar a un journal3 Revision basada en la importancia de la pregunta y

calidad del diseno4 Obtener aceptacion en principio5 Ejecutar el estudio, y publicar incluso con resultados

nulos

20 Journals, 5 mas con con ediciones especiales Link

https://osf.io/8mpji/wiki/home/

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Meta-Analisis

Sıntesis sistematico de los resultados

Organizaciones:Cochrane Collaboration (Medicina)Campbell Collaboration (Polıticas publicas)What Works Clearinghouse (Educacion, Gob. US)CLEAR (Empleo, Gob. US)MAER-NET (Economıa)

http://ies.ed.gov/ncee/wwc/

http://clear.dol.gov/

https://www.hendrix.edu/maer-network/

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Meta-Analisis

Herramientas:Funnel plots del tamano de la muestra vs. tamano delefecto (Card & Krueger 1995)Funnel Asymmetry Test (Stanley & Doucouliagos 2012)P-curve (Simonsohn et al. 2014) Online App

Un p-checker para todos Shiny App

http://www.jstor.org/stable/2117925

https://books.google.com/books?id=jSQEdEsL7VoC

http://p-curve.com/

http://p-curve.com/

http://shinyapps.org/apps/p-checker/

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Outline

1 Introduccion


3 Registros


5 Replicaciones


7 Conclusion

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

P-Hacking

Definicion del problema:Otros nombres: “data-fishing”, grados de libertad delinvestigador, o “data-mining”.Definicion: flexibilidad en el analisis de datos permitepresentar casi cualquier resultado bajo un umbralarbitrario; significancia estadıstica pierde sentido.No es algo unico de investigadores con malasintenciones. Es subconsciente, o simplemente unapractica estandar del analisis estadıstico (Gelman,Loken 2013).

http://www.stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf

http://www.stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

P-Hacking: hagalo usted mismo!

“Science isn’t Broken” —538 reportaje periodıstico conmodulo interactivo Link

Practique p-hacking en R/Shiny App. Link

El Exact Fishy Test Link

http://fivethirtyeight.com/features/science-isnt-broken

http://www.nicebread.de/introducing-p-hacker/

https://macartan.shinyapps.io/fish/

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Planes de Pre-Analisis

Explicacion de la solucion, de 3ie:“Un plan de pre-analisis (PAPs) es una descripciondetallada de los analisis a ser conducidos. Esta descripciones escrita antes de ver los datos que contienen losimpactos del programa bajo evaluacion. Puede especificarlas hipotesis a testear, como se construiran las variables,ecuaciones a estimar, controles a utilizar, y otros aspectosdel analisis. Una funcion clave de los PAPs es incrementarla transparencia en investigacion. Al especificar los detallespor adelantado antes de ver los resultados, el plan es unresguardo contra data mining y busqueda deespecificaciones. Se les recomienda a los investigadoresque desarrollen y suban dichos planes junto con el registrode sus estudios. Sin embargo, esto no es requisito para elregistro de un estudio.”

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Origenes: Regulacion Farmaceutica en USA

“E9 Statistical Principles for Clinical Trials” (1998) Link

§V Consideraciones en el Analisis de Datos1 Pre-especificacion del analisis2 Grupos de analisis3 Tratamiento de NAs y valores extremos4 Transformaciones a los datos5 Estimacion, intervalos de confianza, y testeo de

hipotesis6 Ajuste de significancia y niveles de confianza7 Subgrupos, interacciones, y variables de control8 Integridad de los datos y validez del software

computacional

http://www.fda.gov/downloads/drugs/guidancecomplianceregulatoryinformation/guidances/ucm073137.pdf

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Sugerencias de Glennerster, Takavarasha

Running Randomized Evaluations1 Como se van a medir los principales variables de

resultado,2 Dentro de las variables de resultado: cuales son

primarias, cuales secundarias?3 Composicion exacta de toda la familia de tests

utilizados en analisis de effectos promediosExplicacion de efectos promedio, FWER, FDR enAnderson (JASA 2008).

4 Los subgrupos a ser analizados,5 La direccion esperada de los impactos si queremos

usar test de una cola, y6 La especificacion primaria a ser utilizada en el analisis.

https://are.berkeley.edu/~mlanderson/pdf/Anderson%202008a.pdf

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Sugerencias de McKenzie

World Bank Development Impact Blog1 Descripcion de la muestra a ser utilizada en el estudio2 Fuentes de datos fundamentales3 Hipotesis a testear a traves de la cadena causal4 Especificar como se van a construir la variables5 Especificar la ecuacion donde se estimara el efecto del

tratamiento6 Cual es la estrategia para analizar multiples variables

de resultados y multiples test de hipotesis?7 Procedimiento a utilizar para enfrentar atricion en la

muestra8 Que hara el estudio en caso de limitada variacion en

las variables de resultados?9 Si hay un modelo a testear, este debe ser incluido

10 No olvidar archivarlo (con una fecha estampadadigitalmente)

http://blogs.worldbank.org/impactevaluations/a-pre-analysis-plan-checklist

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Ejemplos

J-PAL Registro de Hipotesis , ver http://www.povertyactionlab.org/Hypothesis-Registry6 ejemplos de papers publicados:

Sierra Leone CDD, Oregon Medicare, Turkey JobTraining, El Salvador TOMS, dos en Indonesia (Olken etal.)

Psicologıa: Hawkins, Fitzgerald, Nosek—Riesgos deConcepcion y Prejuicios

Amplio rango de que es lo que se debe escribirexactamente y cuanto detalle incorporar en el PAP. En unnivel extremo el codigo estarıa listo para ejecutar en cuantolleguen los datos.

http://www.povertyactionlab.org/Hypothesis-Registry

http://www.povertyactionlab.org/Hypothesis-Registry



Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

PAP–Estudios Observacionales

Actual debate en salud publica/epidemiologia.Pre-especificar de manera verificable: difıcil. pero noimposible.Ejemplo: Datos generados periodicamente por elgobierno.Ejemplo: Salario Mınimo (Neumark 2001)

http://onlinelibrary.wiley.com/doi/10.1111/0019-8676.00199/full

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Outline

1 Introduccion


3 Registros


5 Replicaciones


7 Conclusion

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Replicaciones

1 El problema (JMCB Project)2 Protocolo del proyecto, Estandares de publicacion3 Organizacion del flujo de trabajo4 Compartir codigo y datos

http://www.jstor.org/stable/1806061

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Protocolo del Proyecto, Estandares deInformacion

Asegurar disponibilidad de todo lo necesario para que otroinvestigador replique su investigacion.

Encuentre el estandar de informacion apropiado parasu disciplina y sıgalo:http://www.equator-network.org

Informe todos los detalles sobre la implementacion deun proyecto en un protocolo detallado:http://www.spirit-statement.org

Pautas Transparency and Openness Promotion (TOP):http://cos.io/top

http://www.equator-network.org

http://www.spirit-statement.org

http://cos.io/top

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Flujo de trabajo

“Reproducibilidad es simplemente una colaboracion conpersonas que aun no conoces, incluido tu mismo en unasemana mas’ —Philip Stark, UC Berkeley Statistics

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Flujo de trabajo

Sugerencias practicas sobre organizacion yprogramacion

Al realizar cambios a archivos que han sidocompartidos/publicados, implica que debe renombrar elarchivo.Haga referencia a la version necesaria para ejecutarfunciones.Long (2008) The Workflow of Data Analysis Using Stata

Programacion Literaria: comentario extensivo en elcodigo, apuntando a que sea legible por humanosControl de VersionesDocumentos Dinamicos

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion


Utilizar control de versiones puede ayudar a hacer sutrabajo mas reproducible.Que es Control de Versiones?

Control de versiones es un sistema queregistra cambios a uno o varios archivos en eltiempo, de forma tal que versiones especificapueden ser recuperados mas adelante.

–Git, About Version Control

https://git-scm.com/book/en/v2/Getting-Started-About-Version-Control

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Documentos Dinamicos

Meta aspiracional: Escriba su codigo y su paper en elmismo archivo. De esta forma se minimiza la perdida deinformacion y se eliminan errores de copiar/pegar.

Establecido en R/Python y comenzando en Stata.Incluye tablas dentro del archivo, en lugar decopiar-pegar-formatear elementos estaticosTodas las cifras dentro del texto tambien soncalculadas de manera dinamica, eliminando lanecesidad de tipeo de cifras manualmente.Cifras y tablas se actualizan automaticamente.El paper completo es (re)producido con uno o dosclicks

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Compartiendo lo Datos

Publique su codigo y sus datos en un repositorio publico deconfianza.

Encuentre el repositorio apropiado:http://www.re3data.org/

Los repositorios estan disenados para durar mas quesu website.Tambien estan disenados para facilitar la busqueda porparte de otros investigadores.Los repositorios guardan sus datos en formatospublicos que evitan obsolescencia en el tiempo.

http://www.re3data.org/

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Outline

1 Introduccion


3 Registros


5 Replicaciones


7 Conclusion

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Lecciones Para el Analisis de Polıticas Publicas

Link Evidencia-PP con alta transparencia.Link Evidencia-PP con baja transparencia.Nuestra propuesta en BITSS.

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Una forma en la cual la evidencia afecta laspolıticas publicas

TruthResearch

(R)

PolicyAnalysis:

(PA)Gains &losses

PolicyMaker 1

PolicyMaker 2

Support

Oppose

Observed by citizens

Figure: Simplified Model of Connection Between Evidence andPolicy

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Link Evidencia-polıticas publicas con BajaTransparencia y Reproducibilidad

Truth R2

R1

LargeTreatmentEffect

R3

SmallTreatmentEffect

ResearchersDegreesofFreedom

P. AnalystDegreesof Free-dom

Observed by citizens

PA1,2

PA1,1Largegains only

PA1,3

PA22,

PA2,1

PA2,3

PA3,2

PA3,1

PA3,3

Largelossesonly

PolicyMaker 1

PolicyMaker 2

Support

Oppose

Figure: Policy-making with low TR in research and policy analysis

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Nuestra Propuesta Para el Analisis de PolıticasPublicas

1 Publicar pautas de transparencia y reproducibildadpara el analisis de polıticas publicas (similar a PautasTOP, descritas antes).

2 Colaborar con agencias/centro interesados enimplementar estas ideas. Ejemplo aquı.

3 Iterar.

https://rpubs.com/fhoces/dd_cbo_mw

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Outline

1 Introduccion


3 Registros


5 Replicaciones


7 Conclusion

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Conclusion

OK, estoy convencido. Como puedo implementar esto en mipropia investigacion?

Tomen nuestro MOOC (E. Miguel). Link

Suscribance al blog & E-mail de BITSS Link

Apliquen a nuestro Instituto de Verano: RT2. Link

Apliquen a nuestros fondos de investigacion SSMART(fondos adicionales para investigadores de paises endesarrollo). Link

Apliquen al premio Leamer-Rosenthal. Link

Revisen nuestra pagina de recursos. Link

Interesado en incluir parte de estas practicas en elanalisis de polıticas publicas? Hablen [email protected]

https://www.futurelearn.com/courses/open-social-science-research

https://bitss.org/blog

http://www.bitss.org/events/summer-institute/

http://www.bitss.org/ssmart-grants/

http://www.bitss.org/lr-prizes/

http://www.bitss.org/resource-tag/education/

mailto:[email protected]

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

RT2

Tres dıas de entrenamiento. Evento anual que alterna entreBerkeley y fuera de USA (Londres fue hace dos semanas)

’

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Fondos SSMART

Fondos de hasta $30,000 para financiar investigacion entransparencia:

Desarrollo de nuevas metodologıasNuevas herramientas y usos de meta-analisisInvestigacion sobre comportamiento de investigadoresy adopcion de nuevas normas

Financiamiento extra para investigadores de paises endesarrollo.

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Premio Leamer-Rosenthal

Reconocimiento a investigadores que han completadoestudios en/sobre transparencia y reproducibilidad enciencias sociales. Ejemplos:

PsicologıaCiencias PolıticasEconomıa

Transparenciaen

Investigacionen las

CienciasSociales

Introduccion



Registros




Flujo de trabajo




Conclusion

Preguntas?

Muchas Gracias

nuevos desafíos para la investigación y las políticas

Documents