apostila inferência bayesiana - ricardo ehlers

Download Apostila Inferência Bayesiana - Ricardo Ehlers

Post on 22-Jul-2015

125 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

INFERENCIA BAYESIANARICARDO S. EHLERS

Primeira publica ao em 2002 c Segunda ediao publicada em 2004 c Terceira ediao publicada em 2005 c Quarta ediao publicada em 2006 c Quinta ediao publicada em 2007 c RICARDO SANDES EHLERS 2003-2011

Sumrio a1 Introduo ca 1.1 Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Princ pio da Verossimilhana . . . . . . . . . . . . . . . . . . . . . c 1.3 Exerc cios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Distribuies a Priori co 2.1 Prioris Conjugadas . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Conjugaao na Fam Exponencial . . . . . . . . . . . . . . . . . c lia 2.3 Principais Fam lias Conjugadas . . . . . . . . . . . . . . . . . . . 2.3.1 Distribuiao normal com varincia conhecida . . . . . . . . c a 2.3.2 Distribuiao de Poisson . . . . . . . . . . . . . . . . . . . . c 2.3.3 Distribuiao multinomial . . . . . . . . . . . . . . . . . . . c 2.3.4 Distribuiao normal com mdia conhecida e varincia dec e a sconhecida . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.5 Distribuiao normal com mdia e varincia desconhecidos . c e a 2.4 Priori no Informativa . . . . . . . . . . . . . . . . . . . . . . . . a 2.5 Prioris Hierrquicas . . . . . . . . . . . . . . . . . . . . . . . . . . a 2.6 Problemas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Estimao ca 3.1 Introduao ` Teoria da Deciso . . . . . c a a 3.2 Estimadores de Bayes . . . . . . . . . . . 3.3 Estimaao por Intervalos . . . . . . . . . c 3.4 Estimaao no Modelo Normal . . . . . . c 3.4.1 Varincia Conhecida . . . . . . . a 3.4.2 Mdia e Varincia desconhecidas e a 3.4.3 O Caso de duas Amostras . . . . 3.4.4 Varincias desiguais . . . . . . . . a 3.5 Exerc cios . . . . . . . . . . . . . . . . . i 1 1 11 12 14 14 15 19 19 20 21 22 23 25 28 30 35 35 36 38 39 40 41 42 45 47

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

ii 4 Mtodos Aproximados e 4.1 Computaao Bayesiana . . . . . . . . . . . . . . . . c 4.2 Uma Palavra de Cautela . . . . . . . . . . . . . . . 4.3 O Problema Geral da Inferncia Bayesiana . . . . . e 4.4 Mtodo de Monte Carlo Simples . . . . . . . . . . . e 4.4.1 Monte Carlo via Funao de Importncia . . c a 4.5 Mtodos de Reamostragem . . . . . . . . . . . . . . e 4.5.1 Mtodo de Rejeiao . . . . . . . . . . . . . . e c 4.5.2 Reamostragem Ponderada . . . . . . . . . . 4.6 Monte Carlo via cadeias de Markov . . . . . . . . . 4.6.1 Cadeias de Markov . . . . . . . . . . . . . . 4.6.2 Acurcia Numrica . . . . . . . . . . . . . . a e 4.6.3 Algoritmo de Metropolis-Hastings . . . . . . 4.6.4 Casos Especiais . . . . . . . . . . . . . . . . 4.6.5 Amostrador de Gibbs . . . . . . . . . . . . . 4.7 Problemas de Dimenso Varivel . . . . . . . . . . a a 4.7.1 MCMC com Saltos Reversiveis (RJMCMC) 4.8 Tpicos Relacionados . . . . . . . . . . . . . . . . . o 4.8.1 Autocorrelaao Amostral . . . . . . . . . . . c 4.8.2 Monitorando a Convergncia . . . . . . . . . e

SUMARIO 48 48 48 49 50 54 57 57 60 63 63 64 65 71 72 78 81 86 86 86 88 91 93 93 94 94 94 95 95 95 96 96 96 97 97 97 97 98 98

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

5 Modelos Lineares 5.1 Anlise de Varincia com 1 Fator de Classicaao . . . . . . . . . a a c A Lista de Distribuies co A.1 Distribuiao Normal . . . . . . c A.2 Distribuiao Log-Normal . . . . c A.3 A Funao Gama . . . . . . . . . c A.4 Distribuiao Gama . . . . . . . c A.5 Distribuiao Wishart . . . . . . c A.6 Distribuiao Gama Inversa . . . c A.7 Distribuiao Wishart Invertida . c A.8 Distribuiao Beta . . . . . . . . c A.9 Distribuiao de Dirichlet . . . . c A.10 Distribuiao t de Student . . . . c A.11 Distribuiao F de Fisher . . . . c A.12 Distribuiao de Pareto . . . . . c A.13 Distribuiao Binomial . . . . . . c A.14 Distribuiao Multinomial . . . . c A.15 Distribuiao de Poisson . . . . . c A.16 Distribuiao Binomial Negativa c

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

SUMARIO B Alguns Endereos Interessantes c References

iii 99 101

Cap tulo 1 Introduo caA informao que se tem sobre uma quantidade de interesse fundamental na ca e Estat stica. O verdadeiro valor de desconhecido e a idia tentar reduzir e e e este desconhecimento. Alm disso, a intensidade da incerteza a respeito de e pode assumir diferentes graus. Do ponto de vista Bayesiano, estes diferentes graus de incerteza so representados atravs de modelos probabil a e sticos para . Neste contexto, natural que diferentes pesquisadores possam ter diferentes graus e de incerteza sobre (especicando modelos distintos). Sendo assim, no existe a nenhuma distinao entre quantidades observveis e os parmetros de um modelo c a a estat stico, todos so considerados quantidades aleatrias. a o

1.1

Teorema de Bayes

Considere uma quantidade de interesse desconhecida (tipicamente no oba servvel). A informaao de que dispomos sobre , resumida probabilisticamente a c atravs de p(), pode ser aumentada observando-se uma quantidade aleatria X e o relacionada com . A distribuiao amostral p(x|) dene esta relaao. A idia de c c e que aps observar X = x a quantidade de informaao sobre aumenta bastante o c e intuitiva e o teorema de Bayes a regra de atualizaao utilizada para quanticar e c este aumento de informaao, c p(|x) = p(x|)p() p(x|)p() p(x, ) . = = p(x) p(x) p(, x)d (1.1)

Note que 1/p(x), que no depende de , funciona como uma constante normaa lizadora de p(|x). Para um valor xo de x, a funao l(; x) = p(x|) fornece a plausibilidade ou c verossimilhana de cada um dos poss c veis valores de enquanto p() chamada e distribuiao a priori de . Estas duas fontes de informaao, priori e verossimic c 1

2

CAP ITULO 1. INTRODUCAO

lhana, so combinadas levando ` distribuiao a posteriori de , p(|x). Assim, c a a c a forma usual do teorema de Bayes e p(|x) l(; x)p(), (l-se p(|x) proporcional a l(; x)p()). Em palavras temos que e e distribuiao a posteriori verossimilhana distribuiao a priori. c c c Note que, ao omitir o termo p(x), a igualdade em (1.1) foi substituida por uma proporcionalidade. Esta forma simplicada do teorema de Bayes ser util em a problemas que envolvam estimaao de parmetros j que o denominador apenas c a a e uma constante normalizadora. Em outras situaoes, como seleao e comparaao c c c de modelos, este termo tem um papel crucial. E intuitivo tambm que a probabilidade a posteriori de um particular conjunto e de valores de ser pequena se p() ou l(; x) for pequena para este conjunto. Em a particular, se atribuirmos probabilidade a priori igual a zero para um conjunto de valores de ento a probabilidade a posteriori ser zero qualquer que seja a a a amostra observada. A partir da forma (1.2) a constante normalizadora da posteriori em (1.1) e recuperada como p(x) = p(x, )d = p(x|)p()d = E [p(X|)] (1.2)

que chamada distribuiao preditiva. Esta a distribuiao esperada para a e c e c observaao x dado . Assim, c Antes de observar X podemos checar a adequaao da priori fazendo c predioes via p(x). c Se X observado recebia pouca probabilidade preditiva ento o modelo deve a ser questionado. Em muitas aplicaoes (e.g. sries temporais e geoestatistica) o maior interc e esse na previso do processo em pontos no observados do tempo ou espao. e a a c Suponha ento que, aps observar X = x, estamos interessados na previso de a o a uma quantidade Y , tambm relacionada com , e descrita probabilisticamente e por p(y|x, ). A distribuiao preditiva de Y dado x obtida por integraao como c e c p(y|x) = p(y, |x)d = p(y|, x)p(|x)d. (1.3)

Em muitos problemas estatisticos a hiptese de independncia condicional entre o e

1.1. TEOREMA DE BAYES X e Y dado est presente e a distribuiao preditiva ca a c p(y|x) = p(y|)p(|x)d.

3

Note no entanto que esta no uma hiptese razovel para dados espacialmente a e o a distribuidos aonde estamos admitindo que exista alguma estrutura de correlaao c no espao. De qualquer modo, em muitas aplicaoes prticas a integral em (1.3) c c a no tem soluao analitica e precisa ser obtida por algum mtodo de aproximaao. a c a e c Note tambm que as previses so sempre vericveis uma vez que Y uma e o a a e quantidade observvel. Finalmente, segue da ultima equaao que a c p(y|x) = E|x [p(Y |)]. Fica claro tambm que os conceitos de priori e posteriori so relativos `quela e a a observaao que est sendo considerada no momento. Assim, p(|x) a posteriori c a e de em relaao a X (que j foi observado) mas a priori de em relaao a Y (que c a e c no foi observado ainda). Aps observar Y = y uma nova posteriori (relativa a a o X = x e Y =