全脳アーキテクチャ若手の会機械学習勉強会ベイジアンネットワーク

ベイジアンネットワークについて後援 : ドワンゴ

平成 27 年 6 月 29 日藤田恵梨香

1

自己紹介

2

法政大学　理工学部　知的情報処理研究室　 4 年藤田恵梨香

先週、勉強会 (?) で慶応大学に行ってきました。

今週末、院試うけます !!!

ベイジアンネットワークとはベイジアンネットワークとは原因や結果が互いに影響を及ぼす事象をネットワークで表した確率グラフ

できること確率的統計に基づいて原因→結果結果→原因の関係を推定

3

もくじ導入

　確率の概要　条件付き確率　ベイズの定理　最尤推定とベイズ推定

ベイジアンネットワーク　ベイジアンネットワークの概要　学習の流れ

構造学習確率推論

脳とベイジアンネットワーク大脳新皮質の性質ベイジアンネットワークは大脳新皮質か

4

もくじ導入





5

確率の概要

x: 事象実験などにより観測されて起こる出来事

X: 確率変数事象と実数を対応付けた変数

6

主観確率と客観確率の定義主観確率とは人の主観的な信念の度合い

例 ) 試験に合格する確率が 70%

客観確率とは客観的な実験結果により得られる確率

例 ) コインを投げて表が出る確率

主観確率客観確率

7

ベイズ確率

もくじ導入





8

条件付き確率条件付き確率　事象 B=b のもとで事象 A=a となる確率

Ex)01 の信号を伝達するとき0 を送って正しく 0 が受け取られる確率

0 を送信 1 を送信0 を受信

1 を受信9



0 を送信 1 を送信

10



0 を受信

1 を受信11



0 を送信 1 を送信0 を受信

1 を受信12

もくじ導入





13

ベイズの定理条件付き確率の定義　

14

ベイズの定理条件付き確率の定義　

15

ベイズの定理

(2),(4) より =

16

事前確率事後確率尤度

ベイズの定理の拡張

b: 原因 a: 結果

事前確率事後確率尤度

17

ベイズの定理

ベイズの定理により・・・

結果から原因の推定が可能

例 )慶応大学の学園祭でナンパしている人が慶応大生であるかの推定

18

ベイズの定理慶応大生である確率 P(k)=0.5

ある質問に対し間違ったとき

慶応大生である確率は・・・

正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

19

ベイズ更新

事後確率を更新する手法

𝑃 (𝑎∨𝑏)

20

ベイズ更新慶応大生である確率 P(k)=0.048

質問に対し間違ったとき


正しく答えられ

る

誤る

慶応大生 0.9 0.1

他の大学生

0.005 0.995

21

この手法がベイズ更新

もくじ導入





22

最尤推定法最尤推定法を推定する方法サンプルに対し当てはまりの良いモデルを推定する

B

P(a=a|B)

σ

μ

𝜃={𝜇 ,𝜎 }

23

最尤推定法

BP(a=a|B)

σ

μ

𝜃={𝜇 ,𝜎 }分布の形が分かっているとき

一意に決まる

最尤推定法　 N 個のデータ D{} の発生確率・・・ (9): 尤度関数

あるにより決まるモデルによるデータの発生確率を求める

B

P(a=a|B)

σ

μ

𝜃={𝜇 ,𝜎 }

25

尤度小

最尤推定法　 N 個のデータ D{} の発生確率・・・ (9): 尤度関数

モデルによるデータの発生確率が最大→ 尤もらしいモデル !!!

B

P(a=a|B)

𝜃={𝜇 ,𝜎 }

26

尤度大

ベイズ推定法ベイズ推定法事後確率 ( 分布 ) を推定するための手法

ベイズの定理やベイズ更新によりデータが得られるたびに確率分布を更新する

例 )・慶応大学でナンパしている人が慶応大生で　あるかの推定

27

ベイズ推定法

慶応大生である確率 P(k)=0.5ある質問に対し間違ったとき


正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

28

値

ベイズ推定法慶応大生である確率 P(k)=0.5ある質問に対し間違ったとき


正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

29

確率分布



正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

0 0.5 10

0.5

1

事前確率

K

P(K)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.5

1

P(質問への回答 )

X:質問への回答

P(X)

0 0.5 10

1

尤度

K

P(質問への回答

|K)

30



正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

0 0.5 10

0.5

1

事後確率

K

P(K|誤った

)

31

最尤推定法とベイズ推定法最尤推定法とベイズ推定法の違い

最尤推定法ベイズ推定法

推定するもの尤度事後確率 ( 分布 )

データ量大量少なくても推論可

モデルの更新なしあり

32

もくじ導入





33

もくじ導入





34

ベイジアンネットワークとはベイジアンネットワークとは原因や結果が互いに影響を及ぼす事象をネットワークで表した確率グラフ

できること確率的統計に基づいて原因→結果結果→原因の関係を推定

35

ベイジアンネットワークの構成要素ノード : 事象 , 確率変数

アーク : ノードを繋ぐ矢印

CPT(Conditional probability table): 条件付き確率表

y1 y2X=1

X=2・・・

36

ベイジアンネットワークの性質因果独立の仮定アークによりつながっている直接の親ノード以外は因果的に独立とする

　　

代表から発表を依頼される

ニコ生で発表する

大澤が嫌いになる

友達にいじられる

炎上する

37


　　

代表の大澤から発表を

依頼される

ニコ生で発表する

大澤が嫌いになる

友達にいじられる

炎上する

38


同時確率を求める際の　　試行の組み合わせを少なくできる

39

たとえば・・・5 個のノードが 2 値の確率変数の同時確率を求めるための組み合わせ

依頼発表嫌い炎上いじられる

P(依頼 ,発表 ,嫌い ,炎上 ,いじられる )

0 0 0 0 0 0.12

0 0 0 0 1 0.06

0 0 0 1 0 0.2

0 0 0 1 1 0.17

・・・

ベイジアンネットワークの性質

40


右図のベイジアンネットワークでは・・・

同時確率は

41

発表依頼 P(発表 |依頼 )

0 0 0.2

0 1 0.1

1 0 0.4

1 1 0.3

ベイジアンネットワークの性質炎上発表 P(炎上 |発

表 )

0 0 0.3

0 1 0.1

1 0 0.2

1 1 0.4

42

発表いじられる

P(いじられる |発表 )

0 0 0.1

0 1 0.5

1 0 0.2

1 1 0.2

ベイジアンネットワークの性質依頼嫌い P(嫌い |依

頼 )

0 0 0.3

0 1 0.1

1 0 0.2

1 1 0.4

43

右図のベイジアンネットワークの同時確率

これら 4 つの表の組み合わせで表現できる


は

44

ノード間の因果関係 BN は以下の 3 つの組み合わせでできている

(1) (2) (3)

45

ノード間の因果関係(1)Head-to-tail connectionB が決定すると・・・その親ノードと子ノードは独立になる

一方、 B の値が分からないと・・・C は A の影響を受ける

A

B

C

代表から発表を依頼されるニコ生で喋るニコ生で炎上す

る

事象が発生ここの確率は ??

46

(2)Tail-to-tail connection　 A が決まると B と C は独立になる( 各ノードは親ノードの値のみから値が決まる )

B だけがわかると B→A に影響を与えA→Cへ影響を与える

A

B C

ノード間の因果関係

47

(3)Head-to-head connectionA,B は親ノードを共有していない→ 独立

C が決まると独立ではなくなるC が生起するけれど A は生起していない→B が生起した確率は高そう

A B

C

Explaining away effect

ノード間の因果関係

48

どんなに複雑なモノでもこれら 3 つの組み合わせでできている

A

B C

F

G

ED

ベイジアンネットワークと同時確率

49

どんなに複雑なモノでもこれら 3 つの組み合わせでできている

A

B C

F

G

ED


50

この部分だけ見るとP(E,F,G)=P(E)P(F|E)P(G|F)

E

F

G


51

この部分だけ見るとP(B,D,E)=P(B)P(D|B)P(E|B)

ED

B


52

この部分だけ見るとP(B,C,E)=P(B)P(C)P(E|B,C)

E

CB


53

同時確率を部分的に求められる全体の同時確率はそれらを組み合わせて求まる

P(A,B,C,D,E,F,G)=P(G|F)P(F|E)P(E|B,C)P(C|A)P(D|B)P(B|A)P(A)

A

B C

F

G

ED


54

周辺化とは

同時確率をいくつかの確率変数を消して得ること

周辺化

B P(B|A)

A P(A)

𝑃 (𝐵=𝑏)= ∑𝐴∋𝑎𝑖

𝑃 (𝑏∨𝑎𝑖 )𝑃 (𝑎𝑖)

55

もくじ導入





56

もくじ導入





57

ベイジアンネットワーク構築の流れ

データ→　構造学習 →条件付き確率の決定→確率推論

・ MWST アルゴリズム

・ AIC アルゴリズム

・確率伝播法

・ k2 アルゴリズム・ジャンクションツリーアルゴリズム

58

ベイジアンネットワーク構築の流れ




・確率伝播法


59

ベイジアンネットワーク構築の流れ - 構造学習




・確率伝播法


60

MWST アルゴリズム仮定 : ベイジアンネットワークは木構造

真の同時分布 :P(T) BN から得られる同時分布 :( 右図での P(A,B,C,D,E))

これらの近さを KL 情報量で表す : )→近さが最小なら真のモデルに最も近い !!

B

DC

A観測したデータより求められる

E

61

MWST アルゴリズム

62

) を最小化→ 最大化に帰着H:相互情報量

同様に全てのノード間の H

を計算し H を最大化す

る B

DC

A

E

𝐻 (𝐴 ,𝐵)

𝐻 (𝐴 ,𝐷)𝐻 (𝐴 ,𝐶)

𝐻 (𝐴 ,𝐸)

EX)

63

H は相互情報量

つまり・・・相互情報量 H の最も大きくなる場所にアークを追加していけばよい

C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968


MWST アルゴリズム仮定 :木構造(1) すべてのノード間の相互情報量を求め情報量が最大となる枝を選択

(2) ループができるならやめて　次に情報量の大きい枝を選択

(3) アークが n-1 になるまで繰り返す

64

MWST アルゴリズム例 )

上表について木を作ってみる。

H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025 0.001

C 0.001 0.2

D 0.08

E

65

各ノード間の相互情報量


H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A

66


H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

67


H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

E

68


H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

E

ループ

69


H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

E

70

D

もくじ導入





71

確率伝播法確率伝播法とは事後確率を求める方法

𝑃 ( 𝐴∨𝐷 ) は??

𝑃 ( 𝐴∨𝐸 ) は??

A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)Ex)

CP(C|B)

72

ベイジアンネットワーク構築の流れ - 構造学習




・確率伝播法


73

確率伝播法

事後確率 A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)Ex)

CP(C|B)

・・・ (11)

74

確率伝播法

事後確率 A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)Ex)

CP(C|B)

効率が悪い

75

確率伝播法事後確率を求めるための工夫

メッセージ

順方向への伝播

𝑚𝐴𝐵

𝑚B𝐶

A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)

Ex)

CP(C|B)

Y X A𝑚𝑋𝑌 𝑚𝐴𝑋

P(X|A)

76

確率伝播法逆方向への伝播 A

B

D

EP(E|B)

P(B|A)

P(A)Ex)

C

P(C|B)

P(D|C)P(C,E|B)

P(D|C)

77

確率伝播法

　 A

B

D

E

P(B|A)

Ex)

C

P(C|B)

𝑚DC

𝑚C 𝐵 𝑚𝐸𝐵

𝑚𝐴𝐵 𝑚𝐵𝐴

)

78

ベイジアンネットワークの特徴

結合の強さは条件付き確率 ([0,1] の値 )

推論時の情報の流れが双方向

因果確率の仮定から局所的に学習が可能局所的な推論も可能

S

A C

𝑚𝑆𝐴

B G

𝑚𝑆𝐴

79

もくじ導入



条件付き確率の決定構造学習


80

もくじ導入





81

大脳新皮質の概要

82

理性・知性をつかさどる

視覚野や聴覚野、運動野など 52 の領野に　分けられそれぞれの領野で働きなどが異なる

大脳新皮質の特徴

均質構造基本構造が似ていて領野にかかわらず構造や処理は均質

階層構造領野間には上下関係がある上の階層へ行くほど情報が抽象化される

83

大脳新皮質の特徴 6層構造細胞の形状や密度が異なる

上向きの経路 , 下向きの経路がある

Layer 1 Laye

r 1

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

84

大脳新皮質の特徴コラム構造複数の神経細胞からなる柱状の構造・ミニコラム・マクロコラム

特定の入力パターンに対して特定のコラムが反応する .

学習後 :入力パターンが不完全でも細胞が興奮する

85

もくじ導入





86

ベイジアンネットワークと大脳新皮質ベイジアンネットワークと大脳新皮質の類似点

情報の流れが双方向

不完全なデータでも推論ができ、局所的な　学習ができる

A

B

D

𝑚𝐵𝐴

C E

𝑚𝐴𝐵

コラム構造

87

ベイジアンネットワークと大脳新皮質ベイジアンネットワークと大脳新皮質の類似点

長期記憶

処理は内積の計算程度

因果関係から合理的な推論ができる

88

大脳新皮質モデルに有効か ??問題

特徴抽出ができない

ベイジアンネットワークと大脳新皮質

89

90

大脳新皮質上位の領野へ行くほど情報が抽象化される

一方・・・

抽象化に必要な特徴抽出がベイジアンネットワークではできない


大脳新皮質モデルに有効か ??問題

特徴抽出ができない

→BESOM モデルの提案


91

BESOM とは・・・

SOM+ ベイジアンネットワーク

ネットワーク構造は固定

確率伝播アルゴリズムの工夫

データ→学習ステップ→認識ステップ

92

BESOM モデルと大脳新皮質

確率変数値 :ミニコラムノード :マクロコラム

構造の固定

SOM で入力の抽象化確率伝播法の工夫

引用元上 : 一杉裕志 , 大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカル

レポート AIST11-J00009,2011 による図を一部修正　　　　下 : 一杉裕志 , 大脳皮質とベイジアンネット , 日本ロボット学会誌 ol.29 No.5, pp414, 2011

による図を一部修正

93

他の大脳新皮質モデル大脳新皮質モデル

DeSTIN HTM階層 HMM

共通の部分・階層構造・時系列処理

94

BESOM は大脳新皮質のモデルに有効か

大脳新皮質と多くの類似点がある

しかし・・・ベイジアンネットワークや BESOM は長期記憶→ 時系列処理は実装されていない

95


一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正


確率伝播アルゴリズムの工夫- 近似確率伝播アルゴリズム

96




4層→ 3層

97




第 3層→上位領野第 4層

98




第 5層→下位領野第 1層

99




第 5層→下位領野第 1層

100




対応が取れている !!!

101




一方・・・　　　

102




第 1層水平繊維　　　

103




第 4層→第 2層　

104

まとめベイジアンネットワークを用いたモデルは　大脳新皮質モデルに有効か ??

　・多くの類似点がある　　・時系列処理は出来ない

　

105

参考文献[1] 一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp412-415, 2011

[2]長谷川亮 ,白石俊彦 ,森下信 :A Study on a Neural Network Based on Structual Characteristics of Cerebral Neocortex, 日本機械学会 Dyn Des Conf (CD-ROM),2008,ROMBUNNO.448,2008

[3]安田宗樹 , 片岡駿，田中和之 :確率的グラフィカルモデル - ベイジアンネットワークとその周辺 -オペレーションズ・リサーチ :経営の科学， 58(4), pp.191-197, April 2013.

[4]Yuuji ICHISUGI:The cerebral cortex model that self-organizes conditional probability tables and executes belief propagation, In Proc. Of International Joint Conference on Neural Networks (IJCNN2007),pp.1065-1070,Aug 2007.

106

参考文献[5]解説：「確率伝播アルゴリズムとは」https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf

[6]荒木雅弘 , フリーソフトで始める機会学習入門 ,森北出版株式会社 ,2014

[5]C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968

[6] 一杉裕志、細谷晴夫： BESOM を用いたスパース符号化の一手法 ,電子情報通信学会技術研究報告ニューロコンピューティング ,Vol.109 No.461, pp.345--350, Mar 2010.

[7]全脳アーキテクチャへの要求仕様https://docs.google.com/document/d/1Hmngsuz4mELlGlMIQTC6jJM3enoS1lJPkJFZ-Hy_6Ew/edit?pli=1#

107

https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf



https://docs.google.com/document/d/1Hmngsuz4mELlGlMIQTC6jJM3enoS1lJPkJFZ-Hy_6Ew/edit?pli=1



参考文献[8] 一杉裕志 , 大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカルレポート AIST11-J00009,2011

108

全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク

Software

全脳アーキテクチャ若手の会機械学習勉強会ベイジアンネットワーク