Los orígenes de la aproximación bayesiana a la inferencia

estadística

Para Seminario de Hª de la Matemática

Curso XXXVI

14 de enero de 2015

Miguel A. Gómez Villegas

Catedrático de Estadística y Cálculo de ProbabilidadesDepartamento de Estadística e I.O.

Universidad ComplutenseIMI

AHEPE

RESUMEN

• Preliminares: Jacob Bernoulli y Nicolás Bernoulli, Christian Huygens, Abraham de Moivre

• Aproximación bayesiana• Aproximación frecuentista• ¿Qué pasó luego?• Conclusiones• Bibliografía

3

4

Christian Huygens(1629 – 1695)

Escribe a Van Schooten un tratado sobre los juegos de dados y que dará lugar a De Ratiociniis in Ludo Aleae (El Cálculo en los Juegos de Azar) (1660).

Contiene la sustitución de un juego de azar por su valor seguro

“La esperanza que se tiene de ganar en un juego tiene un valor tal que si se posee ese valor, puede uno procurarse esa misma ganancia mediante un juego equitativo”

𝐸 [ 𝑋 ]=𝑥=∑𝑖=1

∞

𝑥𝑖𝑃 (𝑋=𝑥 𝑖 )

Más Preliminares

5

Jakob Bernoulli(1654 – 1705)

Nicolás Bernoulli(1687 – 1759)

• Ars Conjectandi (El Arte de Conjeturar), publicado en Basilea en 1713.

• Se dan cuenta de que si , entonces

y esto llevó a interpretar, mal, que

• Harald Cramér. “Es lo mismo que definir un punto como el límite de una mancha de tiza cuando el área de ésta se hace pequeña”

6

7

Abraham De Moivre(1667 – 1705)

The Doctrine Chances (La Teoría del Azar) (1718, 1740, 1756)

Resuelve el problema de los puntos sobre la interrupción de un juego Resuelve los cinco problemas que

Huygens plantea en su libro Calcula la probabilidad de los distintos resultados a los que se puede llegar lanzando un número arbitrario de dados y soluciona el problema de la ruina y el problema de la ocupación

Son problemas de probabilidades directas

Hasta aquí no hay “inferencia estadística”

8

Aproximación bayesiana

Nace la inferencia estadística (probabilidades inversas) con Thomas Bayes (1701? – 1761)

An Essay Towards Solving a Problem in the Doctrine of Chances (Un Ensayo Hacia la Resolución de un Problema en la Doctrina del Azar)

leído ante la Real academia Inglesa en 1763 (póstumo)

9

10

Thomas Bayes 1701?-1761

• Su padre, Joshua Bayes, fue uno de los primeros ministros protestantes ordenados públicamente

• Entre 1719 y 1722 estudia en

Edimburgo• 1731 escribió el tratado “Divina

benevolencia o un intento de probar que el fin principal de la Divina Providencia es la felicidad de sus criaturas”

11

• 1736, John Noon publica el tratado “Una introducción a la doctrina de fluxiones y una defensa de los matemáticos frente a las objeciones del autor del analista”

• 1742, es elegido miembro de la Royal Society• 1764, Richard Price publica “Una nota sobre la divergencia de la

serie ln(z!)”• 1764, Richard Price publica “An essay towards solving a problem in

the doctrine of chances”• 1761, el 21 de abril muere y es enterrado en Dunhill Fields el

cementerio reformista donde están enterrados Richard Price, Daniel Defoe,...

• Gómez Villegas, M.A., Girón, F.J., Martínez, M.L. y Rios, D. (2001) “Un Ensayo Encaminado a Resolver un Problema de la Doctrina del Azar” de Thomas Bayes (Traducción) Revista de la Real Academia de Ciencias Exactas Físicas y Naturales 95, 1-2, 63-80.

12

• Distribución inicial

• Modelo

• Distribución final

1 21 1

1 2

(1 )( )

( , )p

B

1 1 21 1

( | ,..., ) ( | , )n n

n i ip x x Beta x n x

1 11( ,..., | ) (1 )

n n

i ix n x

nf x x

13

Richard Price(1723 – 1791)

Problema: Dado el número de veces que un suceso ha ocurrido o fallado, calcular la probabilidad de que la probabilidad de su ocurrencia en un solo experimento esté entre dos valores de probabilidadconocidos,

𝑃 (𝑎<𝜃<𝑏∨𝑋=𝑟 )

Definición de probabilidad:La probabilidad de cualquier suceso esel cociente entre el valor en el que unoespera dependiendo de la ocurrenciadel suceso cuya probabilidad debe ser calculada, y el valor de la cosa esperada una vez que ésta ha ocurrido.

𝑋=∑𝑖=1

𝑛

𝑥 𝑖

14

El significado de la definición de probabilidad puede verse enGómez-Villegas, M.A. (2001). El ensayo encaminado a resolver un problema en la doctrina del azar. Revista de la Real Academia de Ciencias Exactas Físicas y Naturales , 95, 1, 2, 81-85.

15

Opiniones suscitadas por el Ensayo

• Laplace (1812) sus demostraciones son algo complicadas• Todhunter (1865) el resumen sobre la Teoría de la Probabilidad es

excesivamente obscuro• Barnard (1958) el trabajo matemático de Bayes es de la más alta

calidad• K. Pearson (1920) califica el Ensayo como un resultado del siglo XX• Fisher (1956) las contribuciones matemáticas de Bayes le hacen

merecedor de ser considerado en el primer orden de los pensadores independientes

Contribuciones de Thomas Bayes

16

Introducción de las probabilidades inversas

Distribución inicial Uniforme (0,1)

La expresión continua del teorema de Bayes

Cálculo de la distribución final Beta

Pierre-Simon de Laplace• 1749-1827• Nace en Beamount-en-Auge en

la Normandía francesa• La revolución francesa se

produce en el 1789• En 1789 escribe “Memoria

sobre la probabilidad de las causas por los sucesos”

• En 1812, 1814, 1820 escribe

“Teoría Analítica de

Probabilidades”› donde aparece la versión

discreta del teorema de Bayes 17

• P{

Si P{ la expresión queda

• P{

18

19

Distribución inicial o a priori

Verosimilitud o modelo

Distribución predictiva

Distribución final o a posteriori

• La verosimilitud es común a la aproximación frecuentista

• Las distribuciones iniciales y finales son subjetivas

• La fórmula de Bayes permite incorporar la información

( )p

11

1

( ) ( ,..., | )( | ,..., )

( ,..., )n

nn

p f x xp x x

m x x

1( ,..., | )nf x x

1 1( ,..., ) ( ) ( ,..., | )n nm x x p f x x d

20

La aproximación frecuentista

• Históricamente es posterior

• Sólo trabaja con la verosimilitud o modelo

• Introduce un estadístico

• Trabaja con su distribución en el muestreo

1( ,..., | )nf x x

1( ,..., )nT x x

1( ( ,..., ) | )np t x x

21

En la aproximación bayesiana

Ejemplo:

a) Una persona asegura que distingue una partitura de Haydin de una de Mozart.

b) Un amigo asegura que predice si sale cara al tirar una moneda.

c) Una amiga asegura distinguir si el té ha sido hecho echando primero el agua y luego la leche o al revés.

En los tres casos se hacen 10 pruebas y aciertan 8 veces

¿Qué pasó luego?

22

E. Borel (1871 – 1956)

J. Neyman (1894 – 1981)

R.A. Fisher (1890 – 1962)

E. S. Pearson (1895 – 1980)

• Críticas a la subjetividad

• La dificultad del cálculo de las distribuciones finales

• La influencia de personalidades muy destacadas en el desarrollo de métodos “objetivos” como K. Pearson, Wald, Lehman, Wilks, …

23

Pero actualmente se tiene que…

• La aproximación bayesiana es automática y fácil de aplicar

• Hay problemas que solo tienen solución con la aproximación bayesiana

• Las aplicaciones frecuentistas han de esperar al “genio” que las desarrolle

• El teorema de Birnbaum: el principio de verosimilitud es equivalente a los principios de condicionalidad y suficiencia

• ¿Me querrán decir los partidarios de la aproximación frecuentista qué argumento se puede utilizar para negar el principio de condicionalidad o el de suficiencia?

24

25

Bibliografía

• Bernardo, J.M. & Smith, A.F.M.(1994) Bayesian Theory. New York: Wiley.

• Gelman, A., Carlin, J.B., Stern, H.S.& Rubin, D.B.(2004) Bayesian Data Analysis. London: Chapman & Hall.

• Girón, F.J. and Gómez Villegas, M.A. (1998) R.A. Fisher: su contribución a la ciencia estadística. Historia de la Matemática en el Siglo XX. Revista de la Real Academia de Ciencias Exactas Físicas y Naturales, 43-61.

• Gómez Villegas, M.A. (1994). El problema de la probabilidad inversa: Bayes y Laplace. Perspectivas Actuales de Lógica y Filosofía de la Ciencia, (E. Bustos et al., eds). Madrid: Siglo XXI de España Editores, 385-396.

• Gómez-Villegas, M.A. (2000) R.A.Fisher: el inicio del análisis multivariante. 100cias@uned, 3, 51-55.

• Gómez Villegas, M.A. (2001) El “Ensayo encaminado a resolver un problema en la doctrina del azar”, Revista de la Real Academia de Ciencias Exactas Físicas y Naturales (Esp),95, 1-2, 81-85.

• Gómez-Villegas, M.A. (2001) Thomas Bayes (1701-1761) en su tricentenario, Boletin de la SEIO, 17, 2, 15-17.

• Gómez-Villegas, M.A. (2004) Estadísticos significativos, 271-286. Hª. de la Probabilidad y la Estadística (II) (Por Santos, J., García, M. eds.) Madrid: Delta Publicaciones.

• Gómez Villegas, M.A. (2005-2011) Inferencia Estadística, Madrid: Díaz de Santos.

• Gómez Villegas, M.A., Girón, F.J. & Martínez, M.L. & Rios, D. (2001) Un Ensayo Encaminado a Resolver un Problema en la Doctrina del Azar (traducción), Revista de la Real Academia de Ciencias Exactas Físicas y Naturales (Esp),95, 1-2, 63-80. 26

• Gomez Villegas, M.A. (2009) Karl Pearson, el creador de la estadística matemática, Historia de la Probabilidad y la Estadística IV, J. Basalto y J.J. García (Eds) Congreso Internacional de Historia de la Estadística y la Probabilidad, 351-356.

• Gómez-Villegas, M.A.  (2010) Erich Lehman (1917-2009). Obituario, Boletín de Estadística e Investigación Operativa, 26, 2, 183-185.

• Gómez-Villegas, M. A. (2011) Cómo la aproximación bayesiana pasó a ser frecuentista, Historia de la Probabilidad y la Estadística [V], J. Riobóo & I. Riobóo, eds. Santiago de Compostela: Nino-Centro de Impresión Digital, 225-235.

• Gómez-Villegas, M.A.  (2012) Sobre el concepto del p-valor, Historia de la Probabilidad y la Estadística [VI], J.M.Arribas, A.Alma, Zoín, B.Mañas y A. Vallejo, eds. 26, Madrid:UNED, 351 – 356.

27

• Gómez-Villegas, M.A. (2006) ¿Por qué la inferencia estadística bayesiana?, Boletín de la Sociedad de Estadística e Investigación Operativa, 22, 1, 6-8.

• Gómez-Villegas, M.A. (2006) Andrei Markov (1856-1922). En el 150 aniversario de su nacimiento, Boletín de la Sociedad de Estadística e Investigación Operativa, 22, 4, 7-8.

• Gómez-Villegas, M.A.  (2010) Erich Lehmann (1917-2009). Obituario, Boletín de la Sociedad de Estadística e Investigación Operativa, 26, 2, 183-185.

• Gómez-Villegas, M.A. (2014) 2013. Año internacional de la estadística: una panorámica, Historia de la Probabilidad y la Estadística [VII], J.Santos y S.de Paz, eds., Delta: Madrid, 11 - 29.

28

• De Mora, M. (1989) Los Inicios de la Teoría de la Probabilidad, Siglos XVI y XVII, Erandio: Universidad del País Vasco.

• Stigler, S.M. (1986) The History of Statistics, the measurement of Uncertainty before 1900, Cambridge: Harvard University Press.

29

¡Muchas gracias!

30