全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク

ベイジアンネットワークについて後援 : ドワンゴ

平成 27 年 6 月 29 日藤田恵梨香

1

自己紹介

2

法政大学　理工学部　知的情報処理研究室　 4 年藤田恵梨香

先週、勉強会 (?) で慶応大学に行ってきました。

今週末、院試うけます !!!

ベイジアンネットワークとは ベイジアンネットワークとは原因や結果が互いに影響を及ぼす事象をネットワークで表した確率グラフ

できること確率的統計に基づいて原因→結果結果→原因の関係を推定

3

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

4

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

5

確率の概要

x: 事象実験などにより観測されて起こる出来事

X: 確率変数事象と実数を対応付けた変数

6

主観確率と客観確率の定義主観確率とは 人の主観的な信念の度合い

例 ) 試験に合格する確率が 70%

客観確率とは 客観的な実験結果により得られる確率

例 ) コインを投げて表が出る確率

主観確率 客観確率

7

ベイズ確率

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

8

条件付き確率条件付き確率　 事象 B=b のもとで事象 A=a となる確率

Ex)01 の信号を伝達するとき0 を送って正しく 0 が受け取られる確率

0 を送信 1 を送信0 を受信

1 を受信9

条件付き確率条件付き確率　 事象 B=b のもとで事象 A=a となる確率

Ex)01 の信号を伝達するとき0 を送って正しく 0 が受け取られる確率

0 を送信 1 を送信

10

条件付き確率条件付き確率　 事象 B=b のもとで事象 A=a となる確率

Ex)01 の信号を伝達するとき0 を送って正しく 0 が受け取られる確率

0 を受信

1 を受信11

条件付き確率条件付き確率　 事象 B=b のもとで事象 A=a となる確率

Ex)01 の信号を伝達するとき0 を送って正しく 0 が受け取られる確率

0 を送信 1 を送信0 を受信

1 を受信12

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

13

ベイズの定理条件付き確率の定義 　

14

ベイズの定理条件付き確率の定義 　

15

ベイズの定理

(2),(4) より =

16

事前確率事後確率 尤度

ベイズの定理の拡張

b: 原因 a: 結果

事前確率事後確率 尤度

17

ベイズの定理

ベイズの定理により・・・

結果から原因の推定が可能

例 )慶応大学の学園祭でナンパしている人が慶応大生であるかの推定

18

ベイズの定理慶応大生である確率 P(k)=0.5

ある質問に対し間違ったとき

慶応大生である確率は・・・

正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

19

ベイズ更新

事後確率を更新する手法

𝑃 (𝑎∨𝑏)

20

ベイズ更新慶応大生である確率 P(k)=0.048

質問に対し間違ったとき

慶応大生である確率は・・・

正しく答えられ

る

誤る

慶応大生 0.9 0.1

他の大学生

0.005 0.995

21

この手法がベイズ更新

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

22

最尤推定法 最尤推定法を推定する方法サンプルに対し当てはまりの良いモデルを推定する

B

P(a=a|B)

σ

μ

𝜃={𝜇 ,𝜎 }

23

最尤推定法

BP(a=a|B)

σ

μ

𝜃={𝜇 ,𝜎 }分布の形が分かっているとき

一意に決まる

最尤推定法　 N 個のデータ D{} の発生確率 ・・・ (9): 尤度関数

あるにより決まるモデルによるデータの発生確率を求める

B

P(a=a|B)

σ

μ

𝜃={𝜇 ,𝜎 }

25

尤度小

最尤推定法　 N 個のデータ D{} の発生確率 ・・・ (9): 尤度関数

モデルによるデータの発生確率が最大→ 尤もらしいモデル !!!

B

P(a=a|B)

𝜃={𝜇 ,𝜎 }

26

尤度大

ベイズ推定法 ベイズ推定法事後確率 ( 分布 ) を推定するための手法

ベイズの定理やベイズ更新によりデータが得られるたびに確率分布を更新する

例 )・慶応大学でナンパしている人が慶応大生で　あるかの推定

27

ベイズ推定法

慶応大生である確率 P(k)=0.5ある質問に対し間違ったとき

慶応大生である確率は・・・

正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

28

値

ベイズ推定法慶応大生である確率 P(k)=0.5ある質問に対し間違ったとき

慶応大生である確率は・・・

正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

29

確率分布

ベイズ推定法慶応大生である確率 P(k)=0.5ある質問に対し間違ったとき

慶応大生である確率は・・・

正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

0 0.5 10

0.5

1

事前確率

K

P(K)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.5

1

P(質問への回答 )

X:質問への回答

P(X)

0 0.5 10

1

尤度

K

P(質問への回答

|K)

30

ベイズ推定法慶応大生である確率 P(k)=0.5ある質問に対し間違ったとき

慶応大生である確率は・・・

正しく答える

誤る

慶応大生 0.95 0.05

他の大学生 0.01 0.99

0 0.5 10

0.5

1

事後確率

K

P(K|誤った

)

31

最尤推定法とベイズ推定法最尤推定法とベイズ推定法の違い

最尤推定法 ベイズ推定法

推定するもの 尤度 事後確率 ( 分布 )

データ量 大量 少なくても推論可

モデルの更新 なし あり

32

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

33

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

34

ベイジアンネットワークとは ベイジアンネットワークとは原因や結果が互いに影響を及ぼす事象をネットワークで表した確率グラフ

できること確率的統計に基づいて原因→結果結果→原因の関係を推定

35

ベイジアンネットワークの構成要素ノード : 事象 , 確率変数

アーク : ノードを繋ぐ矢印

CPT(Conditional probability table): 条件付き確率表

y1 y2X=1

X=2・・・

36

ベイジアンネットワークの性質因果独立の仮定アークによりつながっている直接の親ノード以外は因果的に独立とする

代表から発表を依頼される

ニコ生で発表する

大澤が嫌いになる

友達にいじられる

炎上する

37

ベイジアンネットワークの性質因果独立の仮定アークによりつながっている直接の親ノード以外は因果的に独立とする

代表の大澤から発表を

依頼される

ニコ生で発表する

大澤が嫌いになる

友達にいじられる

炎上する

38

ベイジアンネットワークの性質因果独立の仮定アークによりつながっている直接の親ノード以外は因果的に独立とする

同時確率を求める際の　　試行の組み合わせを少なくできる

39

たとえば・・・5 個のノードが 2 値の確率変数の同時確率を求めるための組み合わせ

依頼 発表 嫌い 炎上 いじられる

P(依頼 ,発表 ,嫌い ,炎上 ,いじられる )

0 0 0 0 0 0.12

0 0 0 0 1 0.06

0 0 0 1 0 0.2

0 0 0 1 1 0.17

・・・

ベイジアンネットワークの性質

40

ベイジアンネットワークの性質

右図のベイジアンネットワークでは・・・

同時確率は

41

発表 依頼 P(発表 |依頼 )

0 0 0.2

0 1 0.1

1 0 0.4

1 1 0.3

ベイジアンネットワークの性質炎上 発表 P(炎上 |発

表 )

0 0 0.3

0 1 0.1

1 0 0.2

1 1 0.4

42

発表 いじられる

P(いじられる |発表 )

0 0 0.1

0 1 0.5

1 0 0.2

1 1 0.2

ベイジアンネットワークの性質依頼 嫌い P(嫌い |依

頼 )

0 0 0.3

0 1 0.1

1 0 0.2

1 1 0.4

43

右図のベイジアンネットワークの同時確率

これら 4 つの表の組み合わせで表現できる

ベイジアンネットワークの性質

は

44

ノード間の因果関係 BN は以下の 3 つの組み合わせでできている

(1) (2) (3)

45

ノード間の因果関係(1)Head-to-tail connectionB が決定すると・・・その親ノードと子ノードは独立になる

一方、 B の値が分からないと・・・C は A の影響を受ける

A

B

C

代表から発表を依頼される ニコ生で喋る ニコ生で炎上す

る

事象が発生 ここの確率は ??

46

(2)Tail-to-tail connection　 A が決まると B と C は独立になる( 各ノードは親ノードの値のみから値が決まる )

B だけがわかると B→A に影響を与えA→Cへ影響を与える

A

B C

ノード間の因果関係

47

(3)Head-to-head connectionA,B は親ノードを共有していない→ 独立

C が決まると独立ではなくなるC が生起するけれど A は生起していない→B が生起した確率は高そう

A B

C

Explaining away effect

ノード間の因果関係

48

どんなに複雑なモノでもこれら 3 つの組み合わせでできている

A

B C

F

G

ED

ベイジアンネットワークと同時確率

49

どんなに複雑なモノでもこれら 3 つの組み合わせでできている

A

B C

F

G

ED

ベイジアンネットワークと同時確率

50

この部分だけ見るとP(E,F,G)=P(E)P(F|E)P(G|F)

E

F

G

ベイジアンネットワークと同時確率

51

この部分だけ見るとP(B,D,E)=P(B)P(D|B)P(E|B)

ED

B

ベイジアンネットワークと同時確率

52

この部分だけ見るとP(B,C,E)=P(B)P(C)P(E|B,C)

E

CB

ベイジアンネットワークと同時確率

53

同時確率を部分的に求められる全体の同時確率は それらを組み合わせて求まる

P(A,B,C,D,E,F,G)=P(G|F)P(F|E)P(E|B,C)P(C|A)P(D|B)P(B|A)P(A)

A

B C

F

G

ED

ベイジアンネットワークと同時確率

54

周辺化とは

同時確率をいくつかの確率変数を消して得ること

周辺化

B P(B|A)

A P(A)

𝑃 (𝐵=𝑏)= ∑𝐴∋𝑎𝑖

𝑃 (𝑏∨𝑎𝑖 )𝑃 (𝑎𝑖)

55

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

56

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

57

ベイジアンネットワーク構築の流れ

データ→　 構造学習 →条件付き確率の決定→確率推論

・ MWST アルゴリズム

・ AIC アルゴリズム

・確率伝播法

・ k2 アルゴリズム・ジャンクションツリーアルゴリズム

58

ベイジアンネットワーク構築の流れ

データ→　 構造学習 →条件付き確率の決定→確率推論

・ MWST アルゴリズム

・ AIC アルゴリズム

・確率伝播法

・ k2 アルゴリズム・ジャンクションツリーアルゴリズム

59

ベイジアンネットワーク構築の流れ - 構造学習

データ→　 構造学習 →条件付き確率の決定→確率推論

・ MWST アルゴリズム

・ AIC アルゴリズム

・確率伝播法

・ k2 アルゴリズム・ジャンクションツリーアルゴリズム

60

MWST アルゴリズム 仮定 : ベイジアンネットワークは木構造

真の同時分布 :P(T) BN から得られる同時分布 :( 右図での P(A,B,C,D,E))

これらの近さを KL 情報量で表す : )→近さが最小なら真のモデルに最も近い !!

B

DC

A観測したデータより求められる

E

61

MWST アルゴリズム

62

) を最小化→ 最大化に帰着H:相互情報量

同様に 全てのノード間の H

を 計算し H を最大化す

る B

DC

A

E

𝐻 (𝐴 ,𝐵)

𝐻 (𝐴 ,𝐷)𝐻 (𝐴 ,𝐶)

𝐻 (𝐴 ,𝐸)

EX)

63

H は相互情報量

つまり・・・相互情報量 H の最も大きくなる場所にアークを追加していけばよい

C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968

MWST アルゴリズム

MWST アルゴリズム仮定 :木構造(1) すべてのノード間の相互情報量を求め 情報量が最大となる枝を選択

(2) ループができるならやめて　次に情報量の大きい枝を選択

(3) アークが n-1 になるまで繰り返す

64

MWST アルゴリズム 例 )

上表について木を作ってみる。

H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025 0.001

C 0.001 0.2

D 0.08

E

65

各ノード間の相互情報量

MWST アルゴリズム

H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A

66

MWST アルゴリズム

H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

67

MWST アルゴリズム

H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

E

68

MWST アルゴリズム

H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

E

ループ

69

MWST アルゴリズム

H A B C D E

A 0.02 0.3 0.09 0.1

B 0.26 0.025

0.001

C 0.001

0.2

D 0.08

E

C

A B

E

70

D

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

71

確率伝播法確率伝播法とは 事後確率を求める方法

𝑃 ( 𝐴∨𝐷 ) は??

𝑃 ( 𝐴∨𝐸 ) は??

A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)Ex)

CP(C|B)

72

ベイジアンネットワーク構築の流れ - 構造学習

データ→　 構造学習 →条件付き確率の決定→確率推論

・ MWST アルゴリズム

・ AIC アルゴリズム

・確率伝播法

・ k2 アルゴリズム・ジャンクションツリーアルゴリズム

73

確率伝播法

事後確率 A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)Ex)

CP(C|B)

・・・ (11)

74

確率伝播法

事後確率 A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)Ex)

CP(C|B)

効率が悪い

75

確率伝播法 事後確率を求めるための工夫

メッセージ

順方向への伝播

𝑚𝐴𝐵

𝑚B𝐶

A

B

D

E

P(E|B)

P(B|A)

P(D|C)

P(A)

Ex)

CP(C|B)

Y X A𝑚𝑋𝑌 𝑚𝐴𝑋

P(X|A)

76

確率伝播法逆方向への伝播 A

B

D

EP(E|B)

P(B|A)

P(A)Ex)

C

P(C|B)

P(D|C)P(C,E|B)

P(D|C)

77

確率伝播法

　 A

B

D

E

P(B|A)

Ex)

C

P(C|B)

𝑚DC

𝑚C 𝐵 𝑚𝐸𝐵

𝑚𝐴𝐵 𝑚𝐵𝐴

)

78

ベイジアンネットワークの特徴

結合の強さは条件付き確率 ([0,1] の値 )

推論時の情報の流れが双方向

因果確率の仮定から局所的に学習が可能局所的な推論も可能

S

A C

𝑚𝑆𝐴

B G

𝑚𝑆𝐴

79

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

条件付き確率の決定 構造学習

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

80

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

81

大脳新皮質の概要

82

理性・知性をつかさどる

視覚野や聴覚野、運動野など 52 の領野に　分けられそれぞれの領野で働きなどが異なる

大脳新皮質の特徴

均質構造基本構造が似ていて領野にかかわらず構造や処理は均質

階層構造領野間には上下関係がある上の階層へ行くほど情報が抽象化される

83

大脳新皮質の特徴 6層構造細胞の形状や密度が異なる

上向きの経路 , 下向きの経路がある

Layer 1 Laye

r 1

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

84

大脳新皮質の特徴 コラム構造複数の神経細胞からなる柱状の構造・ミニコラム・マクロコラム

特定の入力パターンに対して特定のコラムが反応する .

学習後 :入力パターンが不完全でも細胞が興奮する

85

もくじ導入

　確率の概要 　条件付き確率 　ベイズの定理 　最尤推定とベイズ推定

ベイジアンネットワーク 　ベイジアンネットワークの概要 　学習の流れ

構造学習 確率推論

脳とベイジアンネットワーク 大脳新皮質の性質 ベイジアンネットワークは大脳新皮質か

86

ベイジアンネットワークと大脳新皮質ベイジアンネットワークと大脳新皮質の類似点

情報の流れが双方向

不完全なデータでも推論ができ、局所的な　学習ができる

A

B

D

𝑚𝐵𝐴

C E

𝑚𝐴𝐵

コラム構造

87

ベイジアンネットワークと大脳新皮質ベイジアンネットワークと大脳新皮質の類似点

長期記憶

処理は内積の計算程度

因果関係から合理的な推論ができる

88

大脳新皮質モデルに有効か ??問題

特徴抽出ができない

ベイジアンネットワークと大脳新皮質

89

90

大脳新皮質 上位の領野へ行くほど情報が抽象化される

一方・・・

抽象化に必要な特徴抽出がベイジアンネットワークではできない

ベイジアンネットワークと大脳新皮質

大脳新皮質モデルに有効か ??問題

特徴抽出ができない

→BESOM モデルの提案

ベイジアンネットワークと大脳新皮質

91

BESOM とは・・・

SOM+ ベイジアンネットワーク

ネットワーク構造は固定

確率伝播アルゴリズムの工夫

データ→学習ステップ→認識ステップ

92

BESOM モデルと大脳新皮質

確率変数値 :ミニコラムノード :マクロコラム

構造の固定

SOM で入力の抽象化確率伝播法の工夫

引用元 上 : 一杉裕志 , 大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカル

レポート AIST11-J00009,2011 による図を一部修正　　　　 下 : 一杉裕志 , 大脳皮質とベイジアンネット , 日本ロボット学会誌 ol.29 No.5, pp414, 2011

による図を一部修正

93

他の大脳新皮質モデル大脳新皮質モデル

DeSTIN HTM階層 HMM

共通の部分・階層構造・時系列処理

94

BESOM は大脳新皮質のモデルに有効か

大脳新皮質と多くの類似点がある

しかし・・・ベイジアンネットワークや BESOM は長期記憶→ 時系列処理は実装されていない

95

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

確率伝播アルゴリズムの工夫- 近似確率伝播アルゴリズム

96

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

4層→ 3層

97

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

第 3層→上位領野第 4層

98

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

第 5層→下位領野第 1層

99

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

第 5層→下位領野第 1層

100

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

対応が取れている !!!

101

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

一方・・・　　　

102

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

第 1層水平繊維　　　

103

BESOM は大脳新皮質のモデルに有効か

一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp414, 2011による図を一部修正

Hawkins,J.et al., 2004,”On Intelligence,”Times Books.

第 4層→第 2層　

104

まとめ ベイジアンネットワークを用いたモデルは　大脳新皮質モデルに有効か ??

　・多くの類似点がある　　・時系列処理は出来ない

105

参考文献[1] 一杉裕志 : 大脳皮質とベイジアンネット , 日本ロボット学会誌 Vol.29 No.5, pp412-415, 2011

[2]長谷川亮 ,白石俊彦 ,森下信 :A Study on a Neural Network Based on Structual Characteristics of Cerebral Neocortex, 日本機械学会 Dyn Des Conf (CD-ROM),2008,ROMBUNNO.448,2008

[3]安田宗樹 , 片岡駿，田中和之 :確率的グラフィカルモデル - ベイジアンネットワークとその周辺 -オペレーションズ・リサーチ :経営の科学， 58(4), pp.191-197, April 2013.

[4]Yuuji ICHISUGI:The cerebral cortex model that self-organizes conditional probability tables and executes belief propagation, In Proc. Of International Joint Conference on Neural Networks (IJCNN2007),pp.1065-1070,Aug 2007.

106

参考文献[5]解説：「確率伝播アルゴリズムとは」https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf

[6]荒木雅弘 , フリーソフトで始める 機会学習入門 ,森北出版株式会社 ,2014

[5]C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968

[6] 一杉裕志、細谷晴夫： BESOM を用いたスパース符号化の一手法 ,電子情報通信学会技術研究報告 ニューロコンピューティング ,Vol.109 No.461, pp.345--350, Mar 2010.

[7]全脳アーキテクチャへの要求仕様https://docs.google.com/document/d/1Hmngsuz4mELlGlMIQTC6jJM3enoS1lJPkJFZ-Hy_6Ew/edit?pli=1#

107

参考文献[8] 一杉裕志 , 大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカルレポート AIST11-J00009,2011

108