ニューラルネットワークから グラフィカルモデルへsmapip/2005/... ·...
TRANSCRIPT
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
ニューラルネットワークからグラフィカルモデルへ
田中 利幸[email protected]
京都大学大学院情報学研究科システム科学専攻
2005 年 11 月 8 日
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
応用
不確実性を含む対象のモデリングとそれにもとづく推論,意思決定
医療診断,故障診断
プランニング,制御
パターン認識,理解
ユーザモデリング
データマイニング
誤り訂正符号,移動体通信,磁気記録
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
応用
不確実性を含む対象のモデリングとそれにもとづく推論,意思決定
医療診断,故障診断
プランニング,制御
パターン認識,理解
ユーザモデリング
データマイニング
誤り訂正符号,移動体通信,磁気記録
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
応用
不確実性を含む対象のモデリングとそれにもとづく推論,意思決定
医療診断,故障診断
プランニング,制御
パターン認識,理解
ユーザモデリング
データマイニング
誤り訂正符号,移動体通信,磁気記録
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
応用
不確実性を含む対象のモデリングとそれにもとづく推論,意思決定
医療診断,故障診断
プランニング,制御
パターン認識,理解
ユーザモデリング
データマイニング
誤り訂正符号,移動体通信,磁気記録
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
利点
数理の体系として確立している.
欠点
多くの場合,計算論的困難に直面.
ブレークスルー
情報処理ハードウェアの性能向上
計算論的困難を回避できる状況についての理解
⇒ 欠点の克服,広範な応用.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
利点
数理の体系として確立している.
欠点
多くの場合,計算論的困難に直面.
ブレークスルー
情報処理ハードウェアの性能向上
計算論的困難を回避できる状況についての理解
⇒ 欠点の克服,広範な応用.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
利点
数理の体系として確立している.
欠点
多くの場合,計算論的困難に直面.
ブレークスルー
情報処理ハードウェアの性能向上
計算論的困難を回避できる状況についての理解
⇒ 欠点の克服,広範な応用.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
利点
数理の体系として確立している.
欠点
多くの場合,計算論的困難に直面.
ブレークスルー
情報処理ハードウェアの性能向上
計算論的困難を回避できる状況についての理解
⇒ 欠点の克服,広範な応用.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
利点
数理の体系として確立している.
欠点
多くの場合,計算論的困難に直面.
ブレークスルー
情報処理ハードウェアの性能向上
計算論的困難を回避できる状況についての理解
⇒ 欠点の克服,広範な応用.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
基本的なコンセプト
グラフィカルモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
基本的なコンセプト
ベイジアンネットワーク
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
確率モデルにもとづく情報処理
基本的なコンセプト
グラフィカルモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
グラフィカルモデルとは
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
ラフな定義
確率分布をグラフによって表現したもの.
確率変数をノードで表現.
確率変数間の確率的依存関係,相関関係をエッジで表現.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
グラフィカルモデルとは
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
そのココロ
命題論理 (「A ならば B」) の確率化.
「局所的」な特徴づけによる対象全体の記述.
⇒ ニューラルネットワークとの類比.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
グラフィカルモデルとは
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
そのココロ
命題論理 (「A ならば B」) の確率化.
「局所的」な特徴づけによる対象全体の記述.
⇒ ニューラルネットワークとの類比.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
グラフィカルモデルとは
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
そのココロ
命題論理 (「A ならば B」) の確率化.
「局所的」な特徴づけによる対象全体の記述.
⇒ ニューラルネットワークとの類比.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
ニューラルネットワーク
目標
並列・分散型の情報処理原理の探究
アプローチ
単純な情報処理要素を多数,互いに接続させてつくられるシステムで,いかに複雑な情報処理が可能となるかを調べる.
形式ニューロン
「相互接続のありようが機能を担う (“connectionism”)」
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
ニューラルネットワーク
目標
並列・分散型の情報処理原理の探究
アプローチ
単純な情報処理要素を多数,互いに接続させてつくられるシステムで,いかに複雑な情報処理が可能となるかを調べる.
形式ニューロン
「相互接続のありようが機能を担う (“connectionism”)」
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
ニューラルネットワーク
目標
並列・分散型の情報処理原理の探究
アプローチ
単純な情報処理要素を多数,互いに接続させてつくられるシステムで,いかに複雑な情報処理が可能となるかを調べる.
形式ニューロン
「相互接続のありようが機能を担う (“connectionism”)」
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
形式ニューロン
x1
x2
xN
w1
w2
wN
�
�
�
�
�
�
u =∑
k wkxkf
y = f (u)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
グラフィカルモデルの構成要素
x1
x2
xN
�
�
�
p(·|x)y ∼ p(·|x)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
G. E. Hinton & T. J. Sejnowski, Proc. IEEE Conf. CVPR, 1983.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
G. E. Hinton & T. J. Sejnowski, Proc. IEEE Conf. CVPR, 1983.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
G. E. Hinton & T. J. Sejnowski, Proc. IEEE Conf. CVPR, 1983.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
グラフィカルモデルとは
ここまでのまとめ
グラフィカルモデル: 確率分布をグラフによって表現.
ニューラルネットワークの一般化とも見なせる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
. . . て何?ニューラルネットワークとの関係
グラフィカルモデルとは
ここまでのまとめ
グラフィカルモデル: 確率分布をグラフによって表現.
ニューラルネットワークの一般化とも見なせる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
グラフィカルモデルにおける推論
A 転移性腫瘍
B高カルシウム血症 C 脳腫瘍
D昏睡 E 激しい頭痛
推論
いくつかの確率変数について,観測によって値が得られる.⇒「隠れた」変数について何が言えるか?
一般には計算論的困難を伴う.
困難が回避できる場合がある.
基本的な例: 隠れマルコフモデル
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
隠れマルコフモデル
グラフ表現
x1
y1
x2
y2
� � �
xn
yn
• 初期確率 p(x1)• 遷移確率 p(xl+1|xl) (l = 1, 2, . . . , n − 1)• 出力確率 p(yl |xl) (l = 1, 2, . . . , n)
⎫⎬⎭ → given
周辺事後確率
p(xk |y) = · · · ?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
隠れマルコフモデル
グラフ表現
x1
y1
x2
y2
� � �
xn
yn
• 初期確率 p(x1)• 遷移確率 p(xl+1|xl) (l = 1, 2, . . . , n − 1)• 出力確率 p(yl |xl) (l = 1, 2, . . . , n)
⎫⎬⎭ → given
周辺事後確率
p(xk |y) = · · · ?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
事前確率
p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xn|xn−1)
= p(x1)n−1∏l=1
p(xl+1|xl)
出力確率
p(y|x) =n∏
l=1
p(yl |xl)
事後確率,周辺事後確率
p(x|y) =p(y|x)p(x)∑x′ p(y|x′)p(x′)
, p(xk |y) =∑x\xk
p(x|y)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
事前確率
p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xn|xn−1)
= p(x1)n−1∏l=1
p(xl+1|xl)
出力確率
p(y|x) =n∏
l=1
p(yl |xl)
事後確率,周辺事後確率
p(x|y) =p(y|x)p(x)∑x′ p(y|x′)p(x′)
, p(xk |y) =∑x\xk
p(x|y)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
事前確率
p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xn|xn−1)
= p(x1)n−1∏l=1
p(xl+1|xl)
出力確率
p(y|x) =n∏
l=1
p(yl |xl)
事後確率,周辺事後確率
p(x|y) =p(y|x)p(x)∑x′ p(y|x′)p(x′)
, p(xk |y) =∑x\xk
p(x|y)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
事前確率
p(x) = p(x1)p(x2|x1)p(x3|x2) · · · p(xn|xn−1)
= p(x1)n−1∏l=1
p(xl+1|xl)
出力確率
p(y|x) =n∏
l=1
p(yl |xl)
事後確率,周辺事後確率
p(x|y) =p(y|x)p(x)∑x′ p(y|x′)p(x′)
, p(xk |y) =∑x\xk
p(x|y)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
周辺事後確率の計算
記号の準備
[xi ]ml ≡ (xl , xl+1, . . . , xm)
x ≡ [xl ]n1, y ≡ [yl ]
n1
plij ≡ p(xl+1 = j |xl = i)
fl(y |x) ≡ p(yl = y |xl = x)
⇒ 結合確率は以下のように略記できる.
p(x, y) = p(x1)n−1∏l=1
[p(xl+1|xl )p(yl |xl)
]p(yn|xn)
= px1
n−1∏l=1
[plxl xl+1
fl(yl |xl)]fn(yn|xn)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
周辺事後確率の計算
記号の準備
[xi ]ml ≡ (xl , xl+1, . . . , xm)
x ≡ [xl ]n1, y ≡ [yl ]
n1
plij ≡ p(xl+1 = j |xl = i)
fl(y |x) ≡ p(yl = y |xl = x)
⇒ 結合確率は以下のように略記できる.
p(x, y) = p(x1)n−1∏l=1
[p(xl+1|xl )p(yl |xl)
]p(yn|xn)
= px1
n−1∏l=1
[plxl xl+1
fl(yl |xl)]fn(yn|xn)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
周辺事後確率の計算
p(xk , y) =∑
[xl ]k−11
∑[xl ]
nk+1
px1
n−1∏l=1
[plxl xl+1
fl(yl |xl)]fn(yn|xn)
= p([yl ]k−11 , xk)p([yl ]
nk |xk)
p([yl ]k−11 , xk) ≡
∑[xl ]
k−11
px1
k−1∏l=1
[plxl xl+1
fl(yl |xl )]
p([yl ]nk |xk) ≡
∑[xl ]
nk+1
n−1∏l=k
[plxl xl+1
fl(yl |xl )]fn(yn|xn)
‖
×
p(xk |y) =p(xk , y)
p(y)=
p([yl ]k−11 , xk)p([yl ]
nk |xk)∑
s p([yl ]k−11 , xk = s)p([yl ]
nk |xk = s)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
周辺事後確率の計算
p(xk , y) =∑
[xl ]k−11
∑[xl ]
nk+1
px1
n−1∏l=1
[plxl xl+1
fl(yl |xl)]fn(yn|xn)
= p([yl ]k−11 , xk)p([yl ]
nk |xk)
p([yl ]k−11 , xk) ≡
∑[xl ]
k−11
px1
k−1∏l=1
[plxl xl+1
fl(yl |xl )]
p([yl ]nk |xk) ≡
∑[xl ]
nk+1
n−1∏l=k
[plxl xl+1
fl(yl |xl )]fn(yn|xn)
‖
×
p(xk |y) =p(xk , y)
p(y)=
p([yl ]k−11 , xk)p([yl ]
nk |xk)∑
s p([yl ]k−11 , xk = s)p([yl ]
nk |xk = s)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
定義αk(x) ≡ p([yl ]
k−11 , xk = x)
=∑
[xl ]k−11
p(x1)k−1∏l=1
p(xl+1|xl)p(yl |xl )
βk(x) ≡ p([yl ]nk |xk = x)
=∑
[xl ]nk+1
n−1∏l=k
[p(xl+1|xl)p(yl |xl )
]p(yn|xn)
(k = 1, . . . , n)
⇒ p(xk = x |y) =αk(x) · βk(x)∑s αk(s) · βk(s)
αk(x), βk(x)がわかれば周辺事後確率の計算は容易
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
Forward-backwardアルゴリズム
x1
y1
x2
y2
� � �
xn
yn
αk(x) ⇒ ⇐ βk(x)
αk(x) は右向きにβk(x) は左向きに
}それぞれ再帰的に計算が可能
少ない計算量で周辺事後確率が求められる
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
Forward-backwardアルゴリズム
x1
y1
x2
y2
� � �
xn
yn
αk(x) ⇒ ⇐ βk(x)
αk(x) は右向きにβk(x) は左向きに
}それぞれ再帰的に計算が可能
少ない計算量で周辺事後確率が求められる
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{αk(x)} に関する漸化式
αk(x) =∑
s
p([yl ]k−11 , xk = x , xk−1 = s)
=∑
s
p([yl ]k−21 , xk−1 = s)
× p(xk = x |xk−1 = s)
× p(yk−1|xk−1 = s)
=∑
s
αk−1(s)pk−1sx fk−1(yk−1|s)
α1(x) = p(x1 = x)
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
{βk(x)} に関する漸化式
βk(x) =∑
s
p([yl ]nk , xk+1 = s|xk = x)
=∑
s
p([yl ]k+1|xk+1 = s)
× p(xk+1 = s|xk = x)p(yk |xk = x)
= fk(yk |x)∑
s
βk+1(s)pkxs
βn(x) = 1
‖
×
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
Forward-backwardアルゴリズム
x1
y1
x2
y2
� � �
xn
yn
αk(x) ⇒ ⇐ βk(x)
αk(x) は右向きにβk(x) は左向きに
}それぞれ再帰的に計算する
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
小まとめ
forward-backward アルゴリズム
{αk(x)}, {βk(x)} を効率的に求める再帰的アルゴリズム.x に関する推定の問題は {αk(x)}, {βk(x)}が既知であれば容易に解ける.
ループのない一般のグラフィカルモデルに容易に拡張可能.
⇒ 確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
小まとめ
forward-backward アルゴリズム
{αk(x)}, {βk(x)} を効率的に求める再帰的アルゴリズム.x に関する推定の問題は {αk(x)}, {βk(x)}が既知であれば容易に解ける.
ループのない一般のグラフィカルモデルに容易に拡張可能.
⇒ 確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
小まとめ
forward-backward アルゴリズム
{αk(x)}, {βk(x)} を効率的に求める再帰的アルゴリズム.x に関する推定の問題は {αk(x)}, {βk(x)}が既知であれば容易に解ける.
ループのない一般のグラフィカルモデルに容易に拡張可能.
⇒ 確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
小まとめ
forward-backward アルゴリズム
{αk(x)}, {βk(x)} を効率的に求める再帰的アルゴリズム.x に関する推定の問題は {αk(x)}, {βk(x)}が既知であれば容易に解ける.
ループのない一般のグラフィカルモデルに容易に拡張可能.
⇒ 確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
アルゴリズムの特徴
グラフがループを含まない場合は,推論に必要な諸量は,グラフ構造を利用した再帰的計算によって効率よく求められる.
グラフがループを含む場合には . . . ?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
確率伝搬法
アルゴリズムの特徴
グラフがループを含まない場合は,推論に必要な諸量は,グラフ構造を利用した再帰的計算によって効率よく求められる.
グラフがループを含む場合には . . . ?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
ループがある場合の推論
ループを含むグラフィカルモデル
確率伝搬法の直接の適用 . . . 理論的には正しい結果を与えない.対処:
クラスタリング (いくつかの確率変数をひとつにまとめる)
コンディショニング (グラフをループのない部分グラフへ分割)
モンテカルロ法
「えいやっ」と適用してしまう.
⇒ 不思議とうまくいく場合がある.
どういう場合に,なぜうまくいくのか?
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報理論
ターボ符号 (Berrou, Glavieux, & Thitimajshima, 1993)
それまでの誤り訂正符号の性能をはるかに凌ぐ高性能.
ターボ復号アルゴリズム = 確率伝搬法 (ループあり)(McEliece, MacKay, & Cheng, 1998)
低密度パリティ検査 (LDPC) 符号 (Gallager, 1963)
ターボ符号をさらに上回る高性能.
30 年以上を経て再発見. (MacKay & Neal, 1995)
sum-product 復号アルゴリズム = 確率伝搬法 (ループあり)(MacKay, 1999)
確率伝搬法 (ループあり) に注目が集まる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報理論
ターボ符号 (Berrou, Glavieux, & Thitimajshima, 1993)
それまでの誤り訂正符号の性能をはるかに凌ぐ高性能.
ターボ復号アルゴリズム = 確率伝搬法 (ループあり)(McEliece, MacKay, & Cheng, 1998)
低密度パリティ検査 (LDPC) 符号 (Gallager, 1963)
ターボ符号をさらに上回る高性能.
30 年以上を経て再発見. (MacKay & Neal, 1995)
sum-product 復号アルゴリズム = 確率伝搬法 (ループあり)(MacKay, 1999)
確率伝搬法 (ループあり) に注目が集まる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報理論
ターボ符号 (Berrou, Glavieux, & Thitimajshima, 1993)
それまでの誤り訂正符号の性能をはるかに凌ぐ高性能.
ターボ復号アルゴリズム = 確率伝搬法 (ループあり)(McEliece, MacKay, & Cheng, 1998)
低密度パリティ検査 (LDPC) 符号 (Gallager, 1963)
ターボ符号をさらに上回る高性能.
30 年以上を経て再発見. (MacKay & Neal, 1995)
sum-product 復号アルゴリズム = 確率伝搬法 (ループあり)(MacKay, 1999)
確率伝搬法 (ループあり) に注目が集まる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報理論
ターボ符号 (Berrou, Glavieux, & Thitimajshima, 1993)
それまでの誤り訂正符号の性能をはるかに凌ぐ高性能.
ターボ復号アルゴリズム = 確率伝搬法 (ループあり)(McEliece, MacKay, & Cheng, 1998)
低密度パリティ検査 (LDPC) 符号 (Gallager, 1963)
ターボ符号をさらに上回る高性能.
30 年以上を経て再発見. (MacKay & Neal, 1995)
sum-product 復号アルゴリズム = 確率伝搬法 (ループあり)(MacKay, 1999)
確率伝搬法 (ループあり) に注目が集まる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報理論
ターボ符号 (Berrou, Glavieux, & Thitimajshima, 1993)
それまでの誤り訂正符号の性能をはるかに凌ぐ高性能.
ターボ復号アルゴリズム = 確率伝搬法 (ループあり)(McEliece, MacKay, & Cheng, 1998)
低密度パリティ検査 (LDPC) 符号 (Gallager, 1963)
ターボ符号をさらに上回る高性能.
30 年以上を経て再発見. (MacKay & Neal, 1995)
sum-product 復号アルゴリズム = 確率伝搬法 (ループあり)(MacKay, 1999)
確率伝搬法 (ループあり) に注目が集まる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報理論
ターボ符号 (Berrou, Glavieux, & Thitimajshima, 1993)
それまでの誤り訂正符号の性能をはるかに凌ぐ高性能.
ターボ復号アルゴリズム = 確率伝搬法 (ループあり)(McEliece, MacKay, & Cheng, 1998)
低密度パリティ検査 (LDPC) 符号 (Gallager, 1963)
ターボ符号をさらに上回る高性能.
30 年以上を経て再発見. (MacKay & Neal, 1995)
sum-product 復号アルゴリズム = 確率伝搬法 (ループあり)(MacKay, 1999)
確率伝搬法 (ループあり) に注目が集まる.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報統計力学
ベーテ近似
統計力学ではよく知られている平均場近似の一種.
ベーテ近似にもとづく LDPC 復号アルゴリズム = 確率伝搬法 (ループあり) (Kabashima & Saad, 1998)
ベーテ近似 = 確率伝搬法 (ループあり) / クラスター変分法にもとづく一般化確率伝搬法の提案 (Yedidia, Freeman, &
Weiss, 2001)
統計力学との分野複合的な視点からの研究も盛んに.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報統計力学
ベーテ近似
統計力学ではよく知られている平均場近似の一種.
ベーテ近似にもとづく LDPC 復号アルゴリズム = 確率伝搬法 (ループあり) (Kabashima & Saad, 1998)
ベーテ近似 = 確率伝搬法 (ループあり) / クラスター変分法にもとづく一般化確率伝搬法の提案 (Yedidia, Freeman, &
Weiss, 2001)
統計力学との分野複合的な視点からの研究も盛んに.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報統計力学
ベーテ近似
統計力学ではよく知られている平均場近似の一種.
ベーテ近似にもとづく LDPC 復号アルゴリズム = 確率伝搬法 (ループあり) (Kabashima & Saad, 1998)
ベーテ近似 = 確率伝搬法 (ループあり) / クラスター変分法にもとづく一般化確率伝搬法の提案 (Yedidia, Freeman, &
Weiss, 2001)
統計力学との分野複合的な視点からの研究も盛んに.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報統計力学
ベーテ近似
統計力学ではよく知られている平均場近似の一種.
ベーテ近似にもとづく LDPC 復号アルゴリズム = 確率伝搬法 (ループあり) (Kabashima & Saad, 1998)
ベーテ近似 = 確率伝搬法 (ループあり) / クラスター変分法にもとづく一般化確率伝搬法の提案 (Yedidia, Freeman, &
Weiss, 2001)
統計力学との分野複合的な視点からの研究も盛んに.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報幾何学
近似推論の幾何学
ナイーブな平均場近似 (Tanaka, 1996)
高次の近似理論,線形応答 (Tanaka, 1998)
確率伝搬法の情報幾何 (Ikeda, Tanaka, & Amari, 2004)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
隠れマルコフモデル隠れマルコフモデルにおける推論確率伝搬法ループを含むグラフにおける推論
情報幾何学
近似推論の幾何学
ナイーブな平均場近似 (Tanaka, 1996)
高次の近似理論,線形応答 (Tanaka, 1998)
確率伝搬法の情報幾何 (Ikeda, Tanaka, & Amari, 2004)
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
まとめ
確率モデルにもとづく情報処理
多様な分野での広範な応用
鍵となるコンセプト: グラフィカルモデル (ニューラルネットワークの一般化)
重要な研究課題: 確率伝搬法 (ループあり) の理解情報理論情報統計力学情報幾何学. . .
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
まとめ
確率モデルにもとづく情報処理
多様な分野での広範な応用
鍵となるコンセプト: グラフィカルモデル (ニューラルネットワークの一般化)
重要な研究課題: 確率伝搬法 (ループあり) の理解情報理論情報統計力学情報幾何学. . .
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
まとめ
確率モデルにもとづく情報処理
多様な分野での広範な応用
鍵となるコンセプト: グラフィカルモデル (ニューラルネットワークの一般化)
重要な研究課題: 確率伝搬法 (ループあり) の理解情報理論情報統計力学情報幾何学. . .
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
まとめ
確率モデルにもとづく情報処理
多様な分野での広範な応用
鍵となるコンセプト: グラフィカルモデル (ニューラルネットワークの一般化)
重要な研究課題: 確率伝搬法 (ループあり) の理解情報理論情報統計力学情報幾何学. . .
田中 利幸 ニューラルネットワークからグラフィカルモデルへ
確率モデルにもとづく情報処理グラフィカルモデル
グラフィカルモデルにおける推論まとめ
文献
田中,「人工知能と確率推論」,数理科学,2004 年 3 月号.
本村,「ベイジアンネットによる確率的推論技術」,計測と制御,42 巻,8 号,2003 年.
田中 利幸 ニューラルネットワークからグラフィカルモデルへ