Download - Anomaly detection char10
10. 疎構造学習による異常検知
natsu
1
疎構造学習による異常検知
10.1 (異常検知?) 変数間関係に基づく異常の判定
10.2-3 (構造学習?) 変数同士関係の表し方、ガウス型グラフィカルモデル
10.4 (疎構造学習による異常検知?)グラフィカルラッソ
10.5 (応用?)
10.1変数間の関係に基づく異常の判定:基本的な考え方 2
問題定義
10.1変数間の関係に基づく異常の判定:基本的な考え方
3
夏降水日数
台風発生回数
過去五十年間夏のデータ
疎構造学習による異常検知• どんな異常?:変数同士の依存関係の崩れ
今年 異常ですね
410.1 変数間の関係に基づく異常の判定:基本的な考え方
夏平均気温
疎構造学習による異常検知• どうやって異常を検知?:個々の変数の相関異常度
510.1 変数間の関係に基づく異常の判定:基本的な考え方
異常度
x1
x1
x2
x3
x4
x5
過去データに基づくモデル
x2 x3x4 x5
X2とX4の関係がおかしい
1
5
4
2
3
1
5
4
2
3
10.1 変数間の関係に基づく異常の判定:基本的な考え方 6
疎構造学習による異常検知
定義10.1 (異常箇所同定問題 anomaly localization)
訓練データとしてM次元の標本がN個,D={x(1),…,x(N)}のように与えられている,異常箇所同定問題とは,新たな標本x’,または標本の集合D’={x’(1’),…, x’(N’)}が与えられた時、各次元に対して異常度を計算する問題である
• モデル?ー 変数同士の関係の表現• 異常度? ー モデルに基づく異常度の計算
モデル構築
10.1変数間の関係に基づく異常の判定:基本的な考え方
7
10.2 変数同士の関係の表し方 8
変数同士の関係の表現関係の定義: 直接関係 vs. 間接関係
教会数 強盗件数??
人口(万人)Vs. 教会数
人口(万人)Vs. 強盗件数
教会数Vs. 強盗件数
周辺分布
他の変数からの間接関係含める
条件付き分布
他の変数を一定値にし、そこからの間接関係含めまない
直接関係 直接関係 間接関係
(10.2) (10.3)
10.2 変数同士の関係の表し方 9
変数同士の関係の表現モデル: 対マルコフグラフ
対マルコフネットワーク・対マルコフグラフ
2つの変数が統計的に(他の変数を与えた時に条件付き)独立である|他の変数 ⇔ と の間に辺がない
• Pairwise -三変数以上の絡み合いは考えない
構造学習:データからグラフ構造を学習する問題
X1(人口)
X3(強盗数)
X2(教会数)
10.3 正規分布に基づく対マルコフグラフ 10
ガウス型グラフィカルモデル-1確率分布p(x)として多変量正規分布を想定したマルコフグラフモデル
1. Dの各標本 の第i成分(i=1,…,M)に対して標準化変換
2. 精度行列Λによる多変量正規分布を条件付き式10.3に代入し
3. (x3,...,xMを一定と見て),式10.5のx1x2の部分のみ拾うと
(10.4)
(10.5)
10.3 正規分布に基づく対マルコフグラフ 11
ガウス型グラフィカルモデル-2
=0• x1とx2が統計的に独立なら
⇔ |他の変数
• x1とx2が直接相関なら⇔ 直接相関
相関係数
10.3 正規分布に基づく対マルコフグラフ 12
ガウス型グラフィカルモデル-3
• Λ =
* * * * * 0* * * * * 0* * * 0 0 0* * 0 * 0 0* * 0 0 * 00 0 0 0 0 *
x2
x1
x6x5
x4
x3
正常時のモデルを疎なグラフとして保持• ノイズへの頑強性(無関係な変数の急な変動など)• 計算量
モデルを解く
10.4 疎なガウス型グラフィカルモデル学習 13
14
ラプラス事前分布による疎な構造の実現
入力:標本共分散行列S
10.4 疎なガウス型グラフィカルモデル学習
求める解:精度行列Λ=S-1
• 変数の数が10以上では、そもそも実用上数値的に正則でないことが多く、逆が存在しない傾向
• あったとしても疎にならない• 閾値による切り捨てを使うと、疎になるが結果が敏感になる
15
ラプラス事前分布+事後確率最大原理推定で精度行列Λを求める
ラプラス事前分布:
ただし
最大事後確率推定 (定義3.1)
観測モデルの正規分布を代入すると
10.4 疎なガウス型グラフィカルモデル学習
(10.9)
(3.12)
(10.10)
16
ラプラス事前分布+事後確率最大原理推定で精度行列Λを求める
式10.5を代入すると
f を最大化する最適解がΛ
10.4 疎なガウス型グラフィカルモデル学習
対数尤度 L1正則化項
(10.12)
17
ブロック座標降下法による最適化
• fの勾配
• 座標降下法:Λのほかを既知(定数)として、一つの列・行を解く、収束するまで繰り返す
• 疎な精度行列を、明示的な逆行列計算なしに求める
10.4 疎なガウス型グラフィカルモデル学習
(10.13)
18
ブロック座標降下法による最適化
次の最適化問題を解く
ただし
式10.24をΛΛ-1=I から得られる(wTl+σλ)=1と合わせ、
収束するまで繰り返す
10.4 疎なガウス型グラフィカルモデル学習
(10.27)
(10.24)
(10.25) (10.26)
応用
1910.5 疎構造学習に基づく異常度の計算
外れ値解析
• 新しい観測x’の第i次元についての異常度:
2010.5 疎構造学習に基づく異常度の計算
異常解析
• 新しい観測データ集合D’の第i次元についての異常度:
2110.5 疎構造学習に基づく異常度の計算
実験
• GraphLasso(alpha=1,max_iter=1000)
• FXデータ(通貨ペア週高値)
–変数:[USD/JPY, EUR/JPY, GBP/JPY, AUD/JPY, CHF/JPY]
–学習データ1(2014年データ 週単位): 2014/01/03-2015/01/02
–学習データ2(2015年データ 週単位): 2015/01/23-2015/11/13
22
精度行列による相関係数(白=0, 青=1)
10.1変数間の関係に基づく異常の判定:基本的な考え方
23
2014年データによる学習:
精度行列による相関係数(白=0, 青=1)
24
2015年データによる学習:
ユーロとの依存関係が減少
異常度
25
間のデータ(2015/01/16)異常を見てみましょう
-50
-40
-30
-20
-10
0
10
20
30
USD EUR GBP AUD CHF
何が起きた?
26