![Page 1: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/1.jpg)
0
音楽数理情報処理の技術3(ベイズの定理と最尤推定)
片寄晴弘関西学院大学理工学部情報科学科
音楽情報処理(第11回)
![Page 2: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/2.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 1
音楽音響信号の分析・理解(全体的な枠組み)音楽の心象(クオリア)
音楽プリミティブ
楽譜
楽音
時間周波数表現と差分系(パワー・周波数)
音響信号
音楽学
認知科学
パターン認識
心理学
神経生理学
信号処理
物理学
関連領域
記譜法
音楽学領域でのクオリア
リズム 旋法和声
奏法スタイル
音響レベルでのクオリア
ハーモニックエンベロープ
ゲシュタルト変化点アテンション
音源定位
非調波構造
アーリーオーディション
音量弁別 周波数弁別 位相弁別
![Page 3: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/3.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 2
•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報
![Page 4: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/4.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 3
本日のトピック:「~っぽい」を数理的に取り扱う手法
ストーンズっぽい(進行)マッシブっぽい(音)メロディっぽい(音列)スパムメールっぽい麻雀をする人なら「平和待ちっぽい」とか
「観測」と「経験」がベース(最も「尤もらしい」を選んでいく手法)
音楽音響信号の分析・理解(アプローチ)
![Page 5: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/5.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 4
<関連パターン認識技術:ここで大きな問題・・>•他科目での既習:なし•受講中:「音声情報処理」「認知情報処理」
最後の2~3回(ちょうど今?)非受講者も多い
•そもそも基礎となる確率・統計、情報理論、を学んでいない受講者も結構いる!
•前半はできるだけ基礎的なお話しと事例から入るようにします•後半も事例や図的理解から入るようにしますが、数式もでてきます
音楽音響信号の分析・理解(アプローチ)
![Page 6: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/6.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 5
赤玉・白玉(+箱)問題見た目が全く同じ箱が 2 つある. 箱1 と 箱2とする.箱1には赤玉が 9 個, 白玉が 1個箱2には赤玉が 2 個, 白玉が 8個入っているとする. どちらの箱か分からないが, 手を入れて玉を一つだけ取りだしてみると赤い玉だった. この場合, 選んだ箱が箱1であった確率は?
箱1は、箱2より 4.5倍 赤が出やすい。この直感を確率として計算すると・・・・
99 + 1
99 + 1 +
22 + 8
=911
![Page 7: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/7.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 6
ベイズの定理
読み方: p 𝜃 given X (Xの条件下で 𝜃 が起こる確率)
事前確率:情報が提示される前の確率先ほどの例で玉取り出しの前だと、「箱1」か」「箱2」かは「50%」取り出した玉が「赤玉」だったとわかると、9/11≒ 82%(事後確率)(「ベイズ更新」:データの観測により事後確率が高まること)
例題(とある関東の大学の40年前入試の問題)5回に1回の割合で帽子を忘れるくせのあるK君が、正月に A、B、C 3軒を順に年始回りをして家に帰ったとき、帽子を忘れてきたことに気がついた。2軒目の家 B に忘れてきた確率を求めよ。
𝑃 𝜃 𝑋 =𝑃 𝑋 𝜃 𝑃(𝜃)
𝑃(𝑋) = 𝑃 𝜃 ∗𝑃(𝑋|𝜃)𝑃(𝑋) 𝑃 𝜃! 𝑋 =
𝑃 𝑋 𝜃! 𝑃(𝜃!)∑!"#$ 𝑃 𝜃! 𝑃(𝑋|𝜃!)
![Page 8: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/8.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 7
ベイズの定理とMAP推定
【まず、赤玉・白玉+箱問題での直感】さまざまな数の組み合わせで「赤玉、白玉」が合計10個入っている箱が複数ある。任意で選んだ一つの箱から「赤玉」が出たとわかったとして、どの箱だったかを考える。元々最も「赤玉」が多かった箱が答えのはず・・・
この直感を解くのMAP推定(観測条件下で最も事後確率を大きくする条件)を選ぶ・・・式で書くと
𝜃 を決めるタスクに 𝑃(𝑋) は関係ないので、
𝜃∗ = argmax&
𝑃 𝜃 𝑋 =𝑃 𝑋 𝜃 𝑃(𝜃)
𝑃(𝑋)
𝜃∗ = argmax&
𝑃 𝜃 𝑋 = 𝑃 𝑋 𝜃 𝑃(𝜃)
![Page 9: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/9.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 8
MAP推定(例題1)
過去の調査から、無作為に選んだメールの 20%が迷惑メール、80%が一般メールだと分かっている。調査によると、迷惑メールが『キャンペーン』という単語を含んでいる確率は 30 %、一般メールが『キャンペーン』という単語を含んでいる確率は 44 %である。無作為に選んだメールが『キャンペーン』という単語を含んでいた場合、これが迷惑メールである確率は?このメールは「迷惑メール」「一般メール」のいずれと判断されるか?
![Page 10: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/10.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 9
Coffee break 統計学にまつわる注意(その1)
•患者が実際に病気であるならば、99%の場合には(確率0.99)検査結果は正しく「陽性」となる。•患者が実際は病気でないならば、95%の場合には(確率0.95)検査結果は正しく「陰性」となる。•そして患者の0.1%が実際に病気だとしよう(確率0.001)。
•検査結果が陽性だったという条件下で、それが偽陽性(本当は陽性ではない)の確率をベイズの定理を用いて計算しよう。
![Page 11: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/11.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 10
Coffee break 統計学にまつわる注意(その2)
•いろいろな生活習慣の調査。一日に2度歯磨きをしている人は,他の事項とくらべて有意(確率的 に偶然とは考えにくく、意味があると考えられる)に長生きだった。
•長生きをするために一日に2度歯を磨こう
• 正しい呼びかけか?
![Page 12: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/12.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 11
•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報
![Page 13: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/13.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 12
マルコフ過程と最尤推定
マルコフ過程:記号の出現確率が、直前のm個の記号によって決定されるような確率過程特に,m = 1の場合
A 地方の天気遷移
A = {aij}=
0.4 0.3 0.30.2 0.6 0.20.1 0.1 0.8
!
"
# # #
$
%
& & &
雨へ 曇へ 晴へ雨から
曇から
晴から
晴
曇雨
0.8
0.1
0.4
0.6
0.3 0.1
0.20.2
0.3
1
3
2
𝑃(𝑥!|𝑥!"#)𝑃(𝑥!|𝑥!"#, 𝑥!"$,''' 𝑥!"%)
![Page 14: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/14.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 13
マルコフ過程と最尤推定「目隠しして見知らぬ街に連れて来られてここはどこ問題」天気は{晴:最初},晴,晴,雨,雨,晴,曇,雨となった。
先ほどのA地方(モデル)だとして、このことが起こる確率は・・・
P[3]*P[3|3]**P[3|3]*P[1|3]*P[3|1]*P[2|3]*P[3|2]=1*0.8*0.8*0.1*0.4*0.3*0.1*0.2=1.536*10-4
確率をかけているだけなので、・・・・観測データ系列を ベクトル y とした時の式は、
𝑀∗ = argmax'
𝑃(𝑦│𝑀)
𝑃 𝑦 𝐴 =,!
𝑃(𝑦! |𝑎!"#, 𝐴)
A地方意外に他のたくさんの地方(モデル M)があって、どの地方であればその観測データが最も起こりやすいかを考えて
晴
曇雨
0.8
0.1
0.40.6
0.3 0.1
0.20.2
0.3
1
3
2
![Page 15: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/15.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 14
マルコフ過程と最尤推定(例題)「目隠しして見知らぬ街に連れて来られてここはどこ問題」
連れて来られる先が、先ほどの地方Aと、晴、曇、雨のすべての遷移確率が等しく1/3の地方 B のいずれかであることがわかっている。
天気は{晴:最初},晴,晴,雨,雨,晴,曇,雨となった。
どちらの地方に連れて来られたと考えるべきか?
晴
曇雨
0.8
0.1
0.40.6
0.3 0.1
0.20.2
0.3
1
3
2
![Page 16: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/16.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 15
ここまでの知識でできることコード進行 bi-gramで、アーティスト判別
とあるサイトによれば、Mr.Chidren(2015年までのシングル)Ⅳ→Ⅴ: 7曲Ⅰ→Ⅳ: 7曲Ⅰ→Ⅴ: 6曲Ⅰ→Ⅲ: 4曲Ⅵm→Ⅴ:3曲それ以外:2曲
他のアーティストで同様の調査をすれば、コード進行による(~っぽさ)の判定も可能に。他の特徴量も捉えていくことで推定確率もあげていける。
![Page 17: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/17.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 16
•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報
![Page 18: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/18.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 17
マルコフ過程とHidden Markov Model目隠しして見知らぬ街に連れて来られてここはどこ問題 その2
窓がなく、看守の行動パターンしかわからない看守の行動パターン:「仕事をする」 「出かける」「ゲームをする」の三つ看守の行動パターンは天気と関係があり、「晴」「曇」「雨」のそれぞれで三つのうちどの行動をするのかがわかっている。
晴
曇雨
0.8
0.1
0.40.6
0.3 0.1
0.20.2
0.3
1
3
20.7
0.3
0.0 出かける
仕事ゲーム 0.4
0.3
0.3出かける
仕事ゲーム
0.1
0.4
0.5出かける
仕事ゲーム
• 行動は直接観測できる• 天気は直接観測できない• 行動は天気に応じて確率的に与えられる→「隠れた状態遷移モデルがあり、そのモデルが確率的な記号出力を与える」Hidden Markov Model
【直感】看守の行動パターンを観察すればどこに連れて来られたか類推できそう!
![Page 19: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/19.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 18
マルコフ過程とHidden Markov Model• 【直感】看守の行動パターンを観察すればどこに連れて来られたか類推できそう! → できる
• みたい対象が直接観測できないが間接的に観測できる→ 多々ある
• Hidden Markov Model に基づく最尤推定手法の発展(特に、音声認識領域で)
• 音声や音楽領域での課題(時間変動成分がある、発話スピード・テンポの揺らぎ、音価の違い)→
Bakis モデルを例に説明(次ページ)
![Page 20: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/20.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 19
HMM(Hidden Markov Model)の利用へ
Bakis モデル [] 内は,a, b の出現確率自身,次のノード,その次のノードへの連結により時間変動成分を吸収. → 長さの変わる音声認識等で利用
このモデルが,aba を与える確率は?
![Page 21: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/21.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 20
HMM(Hidden Markov Model)の利用へ
下図の Bakis モデルが[a, b, a] を与える遷移は
q1→q1→q3→q5, q1→q2→q3→q5, q1→q2→q4→q5,q1→q3→q3→q5, q1→q3→q4→q5, q1→q3→q5→q5
P(y |M) = P(qitt∏
i 0,i1⋅⋅⋅iT∑ | qit−1,M) ⋅P(yt | qit−1,qit ,M)
やりたいこと 𝑀∗ = argmax'
𝑃 𝑦 𝑀 再掲
![Page 22: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/22.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 21
HMM(Hidden Markov Model)の利用
q1→q1→q3→q5, q1→q2→q3→q5, q1→q2→q4→q5,q1→q3→q3→q5, q1→q3→q4→q5, q1→q3→q5→q5
P(y |M) = P(qitt∏
i 0,i1⋅⋅⋅iT∑ | qit−1,M) ⋅P(yt | qit−1,qit ,M)
P1=0.3×0.7×0.2×0.5×0.3×0.6 = 0.00378P2=0.5×0.8×0.6×0.6×0.3×0.6 = 0.02592P3=0.5×0.8×0.2×0.7×0.5×0.4 = 0.0112P4=0.2×0.5×0.4×0.1×0.3×0.6 = 0.00072P5=0.2×0.5×0.3×0.4×0.5×0.4 = 0.0024P6=0.2×0.5×0.3×0.4×1.0×0.1 = 0.0012
P(aba|M)=P1+P2+P3+P4+P5+P6 = 0.04522
![Page 23: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/23.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 22
HMM(Hidden Markov Model)の利用へ
• HMMの計算は基本は積算の上、加算• 最適パスの存在
最適パスが与える確率 >>それ以外の確率
• パスのうち最も確率の高いものへの着目→高速化手法として「動的計画法」利用→ Viterbi(ビタビ)アルゴリズム
• 認識精度はきっちりやった場合とほぼ同様
![Page 24: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/24.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 23
ここまでの知識でできそうなこと例えば、・・
ギターソロからのギタリスト推定指癖(当該スケールの中でメロディでどの音を順にならしていくか)は典型パターンがいくつかある音価の割り当ては比較的自由になされる
Bakis モデルが使えそう!隠れ状態としてスケール、コード進行とかあるのでは?(yes, そのようなモデルを組み、十分な教師データを用意することで、実際に認識率があがります。)
次週、ここまでの知識での実応用例として、音価推定とビートトラッキングへの応用のお話をします。
![Page 25: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/25.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 24
•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報
![Page 26: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/26.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 25
k-meansとEMアルゴリズムの図的理解•応用領域
n音の群化n画像処理nその他パターン認識系なんでも
• 機械学習アルゴリズムの一つnクラスタリング→教師なし学習器
その応用先の一つがポスタリゼーション →
通称ビショップ本 パターン認識と機械学習 上下(ベイズ理論による統計的予測) C.M. ビショップ 著 (2006)
![Page 27: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/27.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 26
Coffee break 教師あり学習 vs 教師なし学習
機械学習
教師あり学習
教師なし学習
強化学習
回帰
分類
クラスタリング
アソーシエーション分析
Q-学習
モンテカルロ法
![Page 28: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/28.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 27
クラスタリング与えられたデータを外的基準なしに自動的に分類する手法 →教師なしデータ分類手法データの集まりをデータ間の類似度にしたがっていつかのグループに分ける
1次元データ3クラスタの場合 2次元データ4クラスタの場合
![Page 29: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/29.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 28
K-means クラスタリング(図的理解)
(a)×印はμ1とμ2の初期選択を表す.(b)各データを近いクラスタに割り当てる.(c)割り当てられたデータの平均値をクラスタの中心とする.(d)収束するまで繰り返す.
n 例題:2次元データ2クラスタ分割
![Page 30: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/30.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 29
K-means クラスタリング
•N個のデータ集合{x1,…xn}をK個のクラスタに分割する.•Kの値は既知とする.•クラスタとは、データ点間距離が小さいグループを表す.•μkをk番目クラスタの中心をする。•各クラスタに存在するデータからμkへの二乗距離の総和を最小にする.
![Page 31: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/31.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 30
K-meansクラスタリング• データ点のクラスタへの割り当てを表現する.• 各データxnに対応する二値指示変数
rnk∈{0,1} (k=1,…K)を定める.• xn がクラスタ k に割り当てられる場合
rnk=1,j≠kの場合はrnj=0とする.• 目的変数Jを定義する.
• Jを最小にするrnkとμkを求める.• rnkとμkを最適化するステップを繰り返す.• 最初にμkの初期値を選ぶ.• μkを固定して,Jを最小化するrnkを求める.• rnkを固定して,Jを最小化するμkを求める.
€
J = rnk xn −µk2
k=1
K
∑n=1
N
∑
𝒓!" = #1 𝑖𝑓 argmin
#𝒙! − 𝝁#
$
0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒
![Page 32: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/32.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 31
• rnk を固定した下で,μkを最適化する.•目的関数Jはμkの二次関数なので 偏微分=0 を解くと最小化できる.
•μkについて解くと,
• k番目クラスタに割り当てられた全データの平均値である.→K-meansアルゴリズム
€
2 rnk (xn −µk )n=1
N
∑ = 0
€
µk =rnk xnn
∑rnkn∑
K-meansクラスタリング
€
J = rnk xn −µk2
k=1
K
∑n=1
N
∑
![Page 33: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/33.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 32
K-meansクラスタリング• データ点のクラスタへの割り当てを表現する.• 各データxnに対応する二値指示変数
rnk∈{0,1} (k=1,…K)を定める.• xn がクラスタ kに割り当てられる場合
rnk=1,j≠kの場合はrnj=0とする.• 目的変数Jを定義する.
• Jを最小にするrnkとμkを求める.• rnkとμkを最適化するステップを繰り返す.• 最初にμkの初期値を選ぶ.• μkを固定して,Jを最小化するrnkを求める.• rnkを固定して,Jを最小化するμkを求める.• 収束するまで繰り返す.
€
J = rnk xn −µk2
k=1
K
∑n=1
N
∑
![Page 34: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/34.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 33
K-means クラスタリング
画像の画素値ベクトル:赤,青,緑の3つ組 {R,G,B}.各画素ベクトルを割り当てられたクラスタの平均{R,G,B}で置き換える.
注)色は:μkの重心
概念の拡張が肝要!
n 例題:N色ポスタリゼーション〈3次元データNクラスター分割〉
![Page 35: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/35.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 34
•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報
![Page 36: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/36.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 35
K-means vs EMアルゴリズム
•K-means:データ点を1つのクラスタに割り当てる•EM:ガウス分布を仮定した事後確率の最大化(クラスタ数は与えるのは同じ) 1
(2πσ k2 )1 2
exp −x −µk
2( )2σ 2
"
#$$
%
&''
先に反復推定アニメーションをみよう!
![Page 37: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/37.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 36
その前に EMアルゴリズムの図的理解
𝝁, 𝜮 が更新されていく部分がポイント!
EMアルゴリズム:先ほどの定義を言い換えると・・・観測データ(関数)にガウス分布がフィッティングする(対数尤度が最大になる)よう、 𝝁, 𝜮を反復推定していくアルゴリズム
アニメーションをみてみよう!https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efb より
あるいはhttps://www.slideshare.net/yag_ays/em-algorithm-animation
![Page 38: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/38.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 37
•緑はデータ点の中心.青と赤の円は,ガウス分布の標準偏差の等高線•青と赤の両クラスタの負担率に比例したインクで描写
負担率€
p(x) = π kN(xµk,∑k )k=1
K
∑
混合ガウス分布
EMアルゴリズムによる混合ガウス分布推定(図的理解)
![Page 39: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/39.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 38
EMアルゴリズムによる混合ガウス分布推定(図的理解)
•緑はデータ点の中心.青と赤の円は,ガウス分布の標準偏差の等高線•青と赤の両クラスタの負担率に比例したインクで描写•ガウス分布(青/赤)の平均は各データ点が持つ(青/赤)インクの重み付き平均(重心).共分散(相関)はインクの共分散•繰り返し
![Page 40: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/40.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 39
K-means vs EMアルゴリズム
•K-meansとEMは強い類似性がある.•K-meansはデータ点を1つのクラスタに割り当てるが,EMは事後確率に基づいて割り当てる.•混合ガウス分布に関するEMの極限としてK-meansを導出できる.
•各ガウス要素の共分散がεの混合ガウス分布を考える.
•この形のK個混合ガウス分布のEMを考える.•ただし,εは推定しない固定定数とする.€
p(xµk,∑k ) =1
(2πε)D 2 exp −12ε
x −µk2&
' (
) * +
![Page 41: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/41.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 40
EMアルゴリズムによる混合ガウス分布推定
•離散的な潜在変数を用いた混合ガウス分布を定式化する.
• ガウス分布: 平均 𝜇kと分散 Σk
•K次元の2値確率変数zを導入する.•1つのzkだけ1,他は0の1-of-K表現• zkは,zk∈{0,1}かつΣkzk=1を満たす.•Zの周辺分布は,混合係数πkで定まる.
€
p(x) = π kN(xµk,∑k )k=1
K
∑
€
p(zk =1) = π k
1 2 3
1 0 0 1
2 1 0 0
3 1 0 0
4 0 0 1
5 0 1 0
π 0.4 0.2 0.4
x k
z
€
p(x) = π kN(X µk,∑k )k=1
3
∑
![Page 42: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/42.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 41
k
z
EMアルゴリズムによる混合ガウス分布推定
![Page 43: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/43.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 42
•μk,Σk,πkをEMアルゴリズムを用いた最尤推定法で解を見付ける.•最初に,平均,分散,混合係数の初期値を選ぶ.•Eステップ(expectation):初期パラメータを用いて負担率 𝛾(𝑧45) を計算する.•Mステップ(maximization):負担率に基づき平均,分散,混合係数のパラメータを再計算する.•対数尤度,またはパラメータの変化量が閾値より小さくなったとき,収束したとする.
EMアルゴリズムによる混合ガウス分布推定
![Page 44: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/44.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 43
(a) 同時分布p(z)p(x|z)からのサンプル.混合要素に対応するZの状態を赤,緑,青で描写.
(b) 同サンプルを周辺分布(x)から生成.Zの値を無視し,xの値のみ描写.
(c) 同サンプルの負担率 𝛾(𝑧45)を表現𝛾(𝑧23) (k=1,2,3)に比例する量の赤,青,緑のインク
EMアルゴリズムによる混合ガウス分布推定
![Page 45: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/45.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 44
•Eステップ(expectation):負担率 𝛾(𝑧45) を計算 の補足
EMアルゴリズムによる混合ガウス分布推定
確率分布式で書くと
![Page 46: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/46.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 45
•Mステップ(maximization): μ, 𝜮, 𝜋3の計算• μの最尤解を求める→偏微分
• μの最大化
• 𝜮 の最大化
• 𝜋!の計算・・・ラグランジュの未定乗数法を利用で
EMアルゴリズムによる混合ガウス分布推定
𝜕𝜕𝜇ln𝒩 𝒙 𝝁, 𝜮 = Σ"#(𝒙 − 𝝁)
𝜕𝜕𝜇𝒩 = 𝒩 > 𝜮"#(𝒙 − 𝝁)
?$%#
&
𝛾(𝑧$')(𝒙$−𝝁') = 0
𝜇' の最大化なのでこれも偏微分して解くと
𝜇' =1𝑁'
?$%#
&
𝛾(𝑧$')𝒙$
μのと同様、対数尤度関数に対して偏微分して解いていくと
Σ' =1𝑁'
?$%#
&
𝛾(𝑧$') (𝒙$ − 𝝁')(𝒙$ − 𝝁')(
𝜋' =1𝑁?$%#
&
𝛾(𝑧$') 最尤解はすべて負担率(インク) 𝛾(𝑧!") に依存
![Page 47: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/47.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 46
クラスタリングの課題と発展
•クラスタ重心 μkが重なる場合n 写像,カーネルトリック
•クラスタ数もあわせて最尤推定していきたい場合
n ノンパラメトリックベイズモデルn 階層ベイズモデル
モデルの複雑さとデータとの適合度とのバランスを取る指標は?
cf. KL-ダイバージェンスAIC(赤池情報基準), BIC・・・
![Page 48: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/48.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 47
ここまでの知識での応用として、次週
• EMアルゴリズム• メロディ抽出(PreFEst by 後藤 2004)• 調性推定(Tonnetz by E. Gómez’s 2006)
• GMM• 音源分離(HTC by 亀岡 2005)
を紹介します。
![Page 49: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/49.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 48
•ベイズの定理•マルコフ過程と最尤推定•HMM•k-meansアルゴリズムの図的理解•EMアルゴリズムによるGMM推定の図的理解•実装例情報
![Page 50: 音楽数理情報処理の技術3 (ベイズの定理と最尤推定) · <関連パターン認識技術:ここで大きな問題・・> •他科目での既習:なし](https://reader033.vdocuments.net/reader033/viewer/2022060321/5f0d27557e708231d438f057/html5/thumbnails/50.jpg)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020 49
実装例(コード)情報• HMM
• HMM learnTensorFlow API
• EMアルゴリズムとGMM• https://qiita.com/kenmatsu4/items/59ea3e5dfa3d4c161efbPythonによるわかりやすい解説です
• https://yokaze.github.io/2019/08/30/TensorFlow(とGoogle Colaboratory)利用TensorFlow のoptimizersを利用。機械学習環境のオープン化のおかげで、随分シンプルにコーディングできる時代となりました