prml復々習レーン#13 前回までのあらすじ
DESCRIPTION
PRML復々習レーン#13 前回までのあらすじ 発表資料TRANSCRIPT
![Page 1: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/1.jpg)
PRML復々習レーン#13 前回までのあらすじ
2013-08-24
Yoshihiko Suhara
@sleepy_yoshi
v.1.0
![Page 2: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/2.jpg)
前回のおさらい
• 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容
• 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください
• 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため
ポイントだよ
2
ポイント小僧の向きに意味はありません
ポイントだよ
![Page 3: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/3.jpg)
前回の範囲 • 8章 グラフィカルモデル
– 8.1 ベイジアンネットワーク • 8.1.1 例:多項式曲線フィッティング • 8.1.2 生成モデル • 8.1.3 離散変数 • 8.1.4 線形ガウスモデル
– 8.2 条件付き独立性 • 8.2.1 3つのグラフの例 • 8.2.2 有効分離 (D分離)
– 8.3 マルコフ確率場 • 8.3.1 条件付き独立性 • 8.3.2 分解特性 • 8.3.3 例: 画像のノイズ除去 • 8.3.4 有向グラフとの関係
– 8.4 グラフィカルモデルにおける推論 • 8.4.1 連鎖における推論 • 8.4.2 木 • 8.4.3 因子グラフ • 8.4.4 積和アルゴリズム • 8.4.5 max-sum アルゴリズム • 8.4.6 一般のグラフにおける厳密推論 • 8.4.7 ループあり確率伝播 • 8.4.8 グラフ構造の学習
3
前回の範囲
![Page 4: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/4.jpg)
8.2 条件付き独立性
4
![Page 5: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/5.jpg)
8.2 条件付き独立性
確率変数が観測された際に その他の確率変数同士の独立性が成立することを
条件付き独立性と呼ぶ
• 𝑐が与えられた下で𝑎は𝑏に対して条件付き独立 𝑝 𝑎 𝑏, 𝑐 = 𝑝 𝑎 𝑐
• これは特定の𝑐の値に限らず,𝑐が取りうる可能な値すべてにおいて成立する
– 参考: @shuyo さんのブログ http://d.hatena.ne.jp/n_shuyo/20130722/prml
ポイントだよ
5
![Page 6: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/6.jpg)
8.2.1 3つのグラフの例
tail-to-tail, head-to-tail, head-to-head の3パターンがある
• 観測されると条件付き独立: tail-to-tail, head-to-tail • 観測されないと条件付き独立: head-to-head
• 覚え方: 観測されたノードに矢印の頭 (head) がついているか,矢印のおしり (tail) がついているか
ポイントだよ
6
条件付き独立 条件付き独立 条件付き独立じゃない!
![Page 7: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/7.jpg)
補足: ナイーブベイズ
tail-to-tailのノードを観測することによって 他のノードが条件付き独立となる性質を利用した
ベイズ識別器
• クラスが与えられたもとで特徴ベクトルの各要素が条件付き独立 – e.g., テキストの場合には単語
argmax𝐶𝑃 𝐶 𝑿 = argmax𝐶𝑃 𝑿 𝐶 𝑃 𝐶 = argmax𝐶𝑃(𝐶) 𝑃(𝑋𝑖|𝐶)
𝑖
ポイントだよ
7 ⋯
単語
クラス
𝑃(𝑋𝑖|𝐶)には,よく多項分布が用いられるが 連続分布 (たとえばガウス分布) も利用可能
![Page 8: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/8.jpg)
8.2.2 有向分離 (D分離)
一般のグラフにおいてもさきほどの例から 得られた結果を用いて条件付き独立性を論じられる
• 排他的なノード集合A, B, Cを考える.以下の条件のうちいずれかを満たす経路は遮断されている – 集合Cに含まれるノードであって,経路に含まれる矢印がそこでhead-to-tailあるいはtail-to-tailである
– 経路に含まれる矢印がそのノードでhead-to-headであり,自身あるいはそのすべての子孫のいずれもが集合Cに含まれない
• マルコフブランケット – あるノードをネットワークから孤立させるために観測が必要なノード集合
ポイントだよ
8
𝑎 ⊥ 𝑏|𝑓?
𝑎 ⊥ 𝑏|𝑒? 𝑎 ⊥ 𝑏|𝑓?
𝑎 ⊥ 𝑏|𝑒?
![Page 9: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/9.jpg)
8.3 マルコフ確率場
9
![Page 10: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/10.jpg)
8.3 マルコフ確率場
リンクが方向性を持たない無向グラフに おいても因数分解や条件付き独立性を
論じることができる
• 変数に対応するノード集合とノード対を接続するリンク集合から成る
–ただしリンクは方向性を持たない
ポイントだよ
10
![Page 11: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/11.jpg)
8.3.1 条件付き独立性
無向グラフにおいてはノード間の経路が 遮断されているかで確認すればよい
• ノード集合Aとノード集合Bの任意のノード間の経路はノード集合Cによって遮断されている例
• 無向グラフのマルコフブランケットは簡単
ポイントだよ
11
![Page 12: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/12.jpg)
8.3.2 分解特性
無向グラフを極大クリークに分解し, 同時確率を複数のポテンシャル関数で表現する
• 無向グラフの同時確率を極大クリークのノードで構成されたポテンシャル関数𝜓𝐶 𝒙𝐶 の積で表現する
𝑝 𝒙 =1
𝑍 𝜓𝐶 𝒙𝐶𝐶
• ポテンシャル関数は正であるとしたので,たとえばエネルギー関数𝐸(⋅)を用いて以下のように計算できる
𝜓𝐶 𝒙𝐶 = exp{−𝐸 𝒙𝐶 }
ポイントだよ
12
極大クリーク
極大でないクリーク
![Page 13: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/13.jpg)
8.3.3 例: 画像のノイズ除去
無向グラフを用いた簡単な例
• 以下をモデル化 – 隣接したノードが同じ値を持つ方が低いエネルギーを持つ – 潜在ノードと観測ノードが同じ値を持つ方が低いエネルギーを持つ
• 反復条件付きモード (ICM) で解く – 他の潜在変数を固定して対象とする潜在変数の値がエネルギーが小さい方に更新 – グリーディな探索であるため,大域的最適解が得られない
• ほんとうは...
– 全ノードの確率変数の組み合わせ 2#𝑛𝑜𝑑𝑒の中からエネルギー関数が最小(=同時確率が最大)になるものを見つけたい
– グラフカットアルゴリズムならばそれが可能
ポイントだよ
13
![Page 14: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/14.jpg)
8.3.4 有向グラフとの関係
任意の有向グラフは無向グラフに変換可能
• 共通親にリンクを張ることをモラル化と呼ぶ
• ただし,無向グラフに変換することで条件付き独立性が失われる
• グラフは,ある条件付き独立性を持つ確率分布を表現するための手段
ポイントだよ
14
![Page 15: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/15.jpg)
8.4 グラフィカルモデルによる推論
15
![Page 16: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/16.jpg)
8.4 グラフィカルモデルにおける推論
グラフのいくつかのノードの値が観測された場合に 残りのノードに関する事後分布を計算する
• 局所的なメッセージがグラフ全体にわたる伝播として表現できる
–本節では厳密推論の方法について論じる
ポイントだよ
16
![Page 17: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/17.jpg)
8.4.1 連鎖における推論
連鎖グラフにおいては,あるノードを中心として 前向きに伝えるメッセージと後ろ向きに伝わるメッセージの
和で計算可能
𝑝 𝑥𝑛 = … … 𝑝(𝒙)
𝑁𝑥𝑛+1𝑥𝑛−1𝑥1
=1
𝑍 𝜓𝑛−1,𝑛 𝑥𝑛−1, 𝑥𝑛 … 𝜓2,3 𝑥2, 𝑥3 𝜓1,2 𝑥1, 𝑥2
𝑥1𝑥2𝑥𝑛−1
𝜓𝑛,𝑛+1 𝑥𝑛, 𝑥𝑛+1 … 𝜓𝑁−1,𝑁 𝑥𝑁−1, 𝑥𝑁𝑥𝑁𝑥𝑛+1
⋯
ポイントだよ
17
𝜇𝛼 𝑥𝑛
𝜇𝛽 𝑥𝑛
![Page 18: PRML復々習レーン#13 前回までのあらすじ](https://reader036.vdocuments.net/reader036/viewer/2022081720/559b43cb1a28ab5f5e8b4771/html5/thumbnails/18.jpg)
つづく さぁ今日も一日 がんばるぞ
18