【dbda 勉強会 2013 夏】doing bayesian data analysis chapter 4: bayes’ rule

Doing Bayesian Data AnalysisChapter 4: Bayes’ Rule 東京大学松尾研究室修士２年"飯塚修平@tushuhei

2013/08/04 1

導入

•  あの子がオレのことを見て微笑んだ"•  もしかしてオレに気がある！？"

•  残念ながら p(♡|J) ≠ p(☺|♡)."–  p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率"–  p(☺|♡): あの子があなたに好意があるときに、微笑む確率"

•  ベイズの定理によると p(♡|☺) = p(☺|♡)p(♡)/p(☺)"–  p(☺) = Σp(J|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. すべての和であることに注意"

–  とりあえず、p(♡)（あの子があなたに好意がある確率）はどれくらいだと思う？（事前確率）"

2013/08/04 2

ベイズの定理

2013/08/04 5

モデル自体も M としてパラメタに組み込むと、ベイズの定理は、

p(�|D,M) = p(D|�,M) p(�|M)/p(D|M)p(M1|D) = p(D|M1)p(M1)/p(D)p(M2|D) = p(D|M2)p(M2)/p(D)p(M1|D)p(M2|D)

=p(D|M1)p(D|M2)

M1

M2


=p(D|M1)p(D|M2)

M1

M2

なので、

すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。この事前確率の比を Bayers Factor と呼ぶ。


=p(D|M1)p(D|M2)

p(M1)p(M2)

Bayes Factor

と表せる。ここで、

ベイズの定理

2013/08/04 6

出現する証拠はモデルのパラメタθにしかよらないので、

p(D�|�, D) = p(D�|�)

p(�|D�, D) =p(D�|�, D)p(�|D)�d� p(D�|�, D)p(�|D)

=p(D�|�)p(�|D)�d� p(D�|�)p(�|D)

したがって、

再度テストを行うなど、複数回にわたってデータをサンプリングするときに使える

【複数の証拠 D, D’ がある場合】

コイントスの例 •  あなたのコインは公平？それともインチキ？"

2013/08/04 7

H : head, T : tail� = p(H)

H : head, T : tail� = p(H)

p(�) =

��

��

0.25 (� = 0.25, 0.75)0.5 (� = 0.5)0 (otherwise)

→下記のように Prior (事前確率) を設定

おそらくちゃんと作られてるから θ=0.5 "

だけど"もしかしたら偽物で偏ってるかも？

↑ A君の頭のなかの

モデル

コイントスの例

2013/08/04 8

p(�) =

��

��

0.25 (� = 0.25, 0.75)0.5 (� = 0.5)0 (otherwise)

Prior (事前確率)

D = 3H, 9T のときLikelihood (尤度) p(D|�) = �3(1� �)9

=

��

��

1.2� 10�3 (� = 0.25)2.4� 10�4 (� = 0.50)1.6� 10�6 (� = 0.75)0 (otherwise)

データの当てはまり具合

コイントスの例

2013/08/04 9

Posterior (事後確率) ベイズの定理より、

p(�|D) =p(D|�)p(�)�� p(D|�)p(�)

�

��

��

0.71 (� = 0.25)0.29 (� = 0.50)9.0� 10�4 (� = 0.75)0 (otherwise)

合計=1となることに注目。

•  事前確率がもう少し複雑な例を考える"•  ベイズならモデルの比較も簡単！"

コイントスの例２

2013/08/04 10

VS

simple complex

コイントスの例２

p(D|M) simple complex

D = 3H, 9T 0.000416 0.000392

D = 1H, 11T 0.00276 0.00366

2013/08/04 11

モデルMからデータDが生じる確率

日常に潜むベイズの考え方 •  「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべて取り除いてそれが残ったんだったら、どんなに可能性が低くても、それが真実なんだよ。」

2013/08/04 12

•  屋根からなんか落ちてきた→「猫かな？」今隣の家に子供が遊びにきたらしい→「あ、そっちだね」"屋根からなんか落ちてきた→ �cat かな？

p(D|�child)が大きいらしい→ p(D|�i) = Const.(�i �= j)であっても、p(�child|D)が小さくなる

「ワトソン君、何度言ったら分かるんだ。p(D|�i) = 0(�i �= j) ならどんなに p(�j) > 0 が小さくても p(�j |D) = 1なんだよ。」

Exercise 4.2

•  ある病気と検査の話（条件付き確率あるある）"•  病気の確率変数 θ = J, L（事象「かからない」or「かかる」）"•  p(θ=L) = 0.001: 罹患率は 0.1%"•  検査の結果の確率変数 D=＋（陽性）, ー（陰性）"•  p(D=＋| θ=L) = 0.99: 的中率 99%"•  p(D=＋| θ=J) = 0.05: エラー率 5%"•  運悪く、あなたは最初の検査で陽性反応が出てしまいました。"•  不安になってもう一度検査を受けたところ、陰性反応が出ました。"•  さて、このときあなたが病気にかかっている確率は？"•  すなわち、p(θ=L | D1=＋, D2=ー) は？"

2013/08/04 13

Exercise 4.2

2013/08/04 14

p(� = ): |D1 = +, D2 = �)

=p(D2 = +|� = ): , D1 = +)p(� = ): |D1 = +)

p(D2 = +|� = ): , D1 = +)p(� = ): |D1 = +) + p(D2 = +|� = (: , D1 = +)p(� = (: |D1 = +)

=p(D2 = +|� = ): )p(� = ): |D1 = +)

p(D2 = +|� = ): )p(� = ): |D1 = +) + p(D2 = +|� = (: )p(� = (: |D1 = +)p(� = ): |D1 = +, D2 = �)

=p(D2 = +|� = ): , D1 = +)p(� = ): |D1 = +)

p(D2 = +|� = ): , D1 = +)p(� = ): |D1 = +) + p(D2 = +|� = (: , D1 = +)p(� = (: |D1 = +)

=p(D2 = +|� = ): )p(� = ): |D1 = +)

p(D2 = +|� = ): )p(� = ): |D1 = +) + p(D2 = +|� = (: )p(� = (: |D1 = +)

θ=L と D2 についてベイズの定理を適用して

p(� = ): |D1 = +, D2 = �)

=p(D2 = +|� = ): , D1 = +)p(� = ): |D1 = +)

p(D2 = +|� = ): , D1 = +)p(� = ): |D1 = +) + p(D2 = +|� = (: , D1 = +)p(� = (: |D1 = +)

=p(D2 = +|� = ): )p(� = ): |D1 = +)

p(D2 = +|� = ): )p(� = ): |D1 = +) + p(D2 = +|� = (: )p(� = (: |D1 = +)

D2 の結果は D1 とは無関係なので（スライド p6 参照）

あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%

【dbda 勉強会 2013 夏】doing bayesian data analysis chapter 4: bayes’ rule

Education