高斯混合模型 (gaussian mixture model)
DESCRIPTION
高斯混合模型 (Gaussian Mixture Model). 高斯分布. 其中 μ 為平均值 (Mean) , σ 為標準差 (Standard Deviation). 高斯混合模型. 利用高斯模型的 平均值描述特徵參數的分佈位置 , 共變異矩陣來描述分型形狀的變化 ,因此高斯混合模型可以很平滑的描述聲音的特徵分佈. 高斯混合模型 (10 個高斯成分 ) 表示圖. 高斯混合模型. 用一個高斯混合模型來表示一位語者. 高斯混合模型. 高斯混合密度為 M 個高斯密度的權重加總,其公式為 : 混合權重必須符合 之條件 - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/1.jpg)
高斯混合模型(Gaussian Mixture Model)
![Page 2: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/2.jpg)
高斯分布
其中 μ 為平均值 (Mean) , σ 為標準差 (Standard Deviation)
![Page 3: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/3.jpg)
高斯混合模型
利用高斯模型的平均值描述特徵參數的分佈位置,共變異矩陣來描述分型形狀的變化,因此高斯混合模型可以很平滑的描述聲音的特徵分佈
高斯混合模型 (10 個高斯成分 ) 表示圖
![Page 4: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/4.jpg)
高斯混合模型• 用一個高斯混合模型來表示一位語者
![Page 5: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/5.jpg)
高斯混合模型• 高斯混合密度為 M 個高斯密度的權重加總,其公式為 :
• 混合權重必須符合 之條件
• 基本密度是 D 維的高斯函數
M
iii xbwxp
1
)()|(
其中 為特徵向量, 為高斯機率密度值, wi 為混合權重值x
)(xbi
M
iiw
1
1
)}()(2
1exp{
||)2(
1)( 1
2/12/ iiT
ii
Di xxxb
其中 為平均向量, 為共變異矩陣, D 為特徵向量的維度 i
i
![Page 6: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/6.jpg)
演算法流程
![Page 7: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/7.jpg)
LBG 演算法
![Page 8: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/8.jpg)
Dtotal = D1 + D2
D1
D2
![Page 9: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/9.jpg)
LBG 演算法• 計算整體平均向量
• 進行分裂 :
• 將分裂後的平均向量進行分類,並計算出新群集的平均向量
T
ttx
T 1
1
)1(
)1(
mm
mm
![Page 10: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/10.jpg)
LBG 演算法• 計算平均向量與特徵參數的距離總和,使得總體距離和獲
得最小,也就是當更新率小於 δ 時即停止
• 重複之前的步驟,直到分裂到所設定的數目
D
DD )'(
其中, D’ 為前一回合的總距離值
![Page 11: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/11.jpg)
EM 演算法
![Page 12: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/12.jpg)
估算初始參數值• 假設有 12 個特徵參數 ( 音框 ) ,分群後的其中一個 A 群
聚由特徵參數 1 、 4 、 7 和 8 四個特徵參數所組成,如下 :
• 混合權重值 wi
• 平均向量
1 2 3
4 5 6
7 8 9
10 11 12
特徵參數 1
特徵參數 4
特徵參數 7
特徵參數 8
4/12=0.3334
i
T
ttx
T 1
1 5.5 6.5 7.5
![Page 13: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/13.jpg)
估算初始參數值
• 共變異矩陣 i
]))([(]))([(
]))([(]))([(]))([(
]))([(]))([(]))([(
]])[])([[(
11
2222221122
1122111111
Tnnnn
Tnn
Tnn
TT
Tnn
TT
T
XXEXXE
XXEXXEXXE
XXEXXEXXE
XEXxEXE
![Page 14: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/14.jpg)
估算初始參數值• 假設有三組特徵參數分別為 ,
則
]65[]43[]21[ 321 XXX
)4
6
4
2
(46423
1)3
5
3
1
(46423
1
)4
6
4
2
(35313
1)3
5
3
1
(35313
1
1 2
3 4
5 6平均值為 3 平均值為 4
667.2667.2
667.2667.2
![Page 15: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/15.jpg)
EM 演算法
• 取得第 i 個混和的事後機率值
M
k tkk
tiit
xbw
xbwxip
1)(
)(),|(
第 1 個特徵參數第 2 個特徵參數第 3 個特徵參數第 4 個特徵參數
w1b1
w2b2
w3b3
![Page 16: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/16.jpg)
EM 演算法• 對各參數進行重新估算
T
tti xip
Tw
1
),|(1
T
t t
T
t tti
xip
xxip
1
1
),|(
),|(
T
t t
T
t itT
itti
xip
xxxip
D1
1
),|(
)())(,|(1
![Page 17: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/17.jpg)
EM 演算法• 進行最大相似估算
• 收斂條件
T
tt
T
tt xpxpXp
11
)|(log)|()|(
)|()|( )()1( kk XpXp 收斂門檻
M
itiit xbwxp
1
)()|( 其中
![Page 18: 高斯混合模型 (Gaussian Mixture Model)](https://reader030.vdocuments.net/reader030/viewer/2022033008/56812a46550346895d8d80f7/html5/thumbnails/18.jpg)
辨識• 將每個樣本與待測的語音進行最大相似估算,機率值最大
的,即為答案
SkkXpS
1
)|(maxargˆ
T
tkt
SkxpS
11
)|(logmaxargˆ