gmm, distance entre gmms, svm pour la vérification du locuteur. najim dehak gérard chollet
TRANSCRIPT
GMM, distance entre GMMs, GMM, distance entre GMMs, SVM pour la vérification du SVM pour la vérification du
locuteur.locuteur.
Najim DehakNajim Dehak
Gérard CholletGérard Chollet
GMM pour la vérification du locuteurGMM pour la vérification du locuteur
UBMApprentissageÉnoncé de pseudo-imposteurs
Énoncé du locuteur
Adaptation Modèle du
locuteur
TestÉnoncé de test Score et
décision
GMM pour la vérification du locuteurGMM pour la vérification du locuteur
• UBM => GMM modèlesUBM => GMM modèles
• L’apprentissage à base de L’apprentissage à base de l’algorithme EMl’algorithme EM
• Les rôles du UBM : Les rôles du UBM : 1.1. Adapter les modèles clients.Adapter les modèles clients.
2.2. Normalisateur de scores dans la phase Normalisateur de scores dans la phase de test.de test.
GMM pour la vérification du locuteurGMM pour la vérification du locuteur
• Pourquoi faire une adaptation?Pourquoi faire une adaptation?
• Adaptation MAP:Adaptation MAP:
• Scores et décision:Scores et décision:
K
kkkk
smwSmwpSmYNwSmw
1),,(
),,(),(maxarg)ˆ,ˆ,ˆ(
N
n n
nX yp
Xyp
NYS
1 )/(
)/(log
1)(
Distance entre modèlesDistance entre modèles
UBMApprentissageÉnoncé de pseudo-imposteurs
Énoncé du test
Adaptation Modèle du Test
Énoncé du locuteur
AdaptationModèle
du locuteur
Score calculéà base de Distance
&décision
Distance entre modèlesDistance entre modèles
• Divergence de Kullback-Leibler entre 2 mélange de Divergence de Kullback-Leibler entre 2 mélange de densité:densité:
)~
||()w~||w(
~log~log
~~log
~~log~~||
ii
ii
i i
iii
i i
ii
i
i
iii
i ii
i ii
iii
iii
iii
ffKLwKL
f
ffw
w
ww
fw
fwfw
fw
fwfwfwfwKL
Distance entre modèlesDistance entre modèles
• Divergence de Kullback-Leibler entre 2 GMMs:Divergence de Kullback-Leibler entre 2 GMMs:
• Dans le cas de la VL avec seulement l’adaptation Dans le cas de la VL avec seulement l’adaptation des moyennes des gaussiennes:des moyennes des gaussiennes:
• On utilisant la distanceOn utilisant la distance
)N~
||(.w)w~||KL(w )p~||(K
1kkk
kNKLpKL
D
d dk
dkdkk
K
k
mmwpKL
12,
2,,
1
)~(
2
1)p~||(
D
d dk
dkdkk
K
k
mmwpKLpKLpKLD
12,
2,,
1
)~( p)||~()p~||()p~,(
Distance entre modèlesDistance entre modèles
• Espace des Espace des modèles:modèles:
dk
dkdkkdk
mmw
,
)(,,
, .
1,2
Y1
Y2
Ω
pP’
Ω
pP’
1,1
D(p,p’)
D
d dk
dkdkk
K
kE
mmwppD
12,
2,,
1
)'()',(
Distance entre modèlesDistance entre modèles
• Distance et scores de décisionDistance et scores de décision
))p(y/||(p(y/Y)D-))p(y/||)/((
))p(y/||)(KL(-))p(y/||)((
])/(
)([log]
)/(
)([log
])/(
)/([log
)/(
)/(log
1)(
2E
2
1
XYypD
XyMyMKL
Xyp
yME
yp
yME
yp
XypE
yp
Xyp
NYS
E
YY
YMy
YMy
My
N
n n
nX
DET curveDET curve
Distance entre modèlesDistance entre modèles
UBMApprentissageÉnoncé de pseudo-imposteurs
Énoncé du test
Adaptation Modèle du Test
Énoncé du locuteur
AdaptationModèle
du locuteur
Score calculéà base de Distance
&décision
Normalisation Des modèles
Distance entre modèlesDistance entre modèles
• Normalisation dans Normalisation dans l’espace des modèles M-l’espace des modèles M-normnorm
• Les nouvelles moyennesLes nouvelles moyennes
normX )(1,1Ω )(
1,1X
normX )(1,2
)(1,2X
Modèle initial
Modèle norm
)(,
)(, ),(
Xdk
E
normXdk XD
Dref
)()(
),(
)(
),(1
kE
Xk
XE
normXk m
XD
Drefm
D
Drefm
Courbe DETCourbe DET
Distance entre modèlesDistance entre modèles
• Peut être appliquer pour la Peut être appliquer pour la vérification du locuteur dans les vérification du locuteur dans les cartes à puce.cartes à puce.
• On peut faire une normalisation on On peut faire une normalisation on utilisant une ACPutilisant une ACP
SVM pour la VLSVM pour la VL
• Distance entre GMMs => fonction Distance entre GMMs => fonction noyau entre GMMs;noyau entre GMMs;
• Distance => kernelDistance => kernel
• Kernel => distanceKernel => distance
eD
yxk2
),( e
BADyxk
),(
),(2),(),(),( jijjiiji xxKxxKxxKxxd
SVM pour la VLSVM pour la VL
• Les travaux de Pedro J. Moreno et Les travaux de Pedro J. Moreno et Purdy P. HoPurdy P. Ho
• Avec comme distance :Avec comme distance :
e
BxpxpAD
jiji
ji
xpxpkXXk
))/(),/((
)/(),/(),(
))/(
)/(log()/()
)/(
)/(log()/())/(),/((
i
jj
j
iiji xp
xpxpdx
xp
xpxpxpxpD
Courbe DETCourbe DET
Courbe DETCourbe DET
SVM pour la VLSVM pour la VL
• Kernel Mixture models:Kernel Mixture models:
• Dans le cas de mélange de Dans le cas de mélange de gaussiennesgaussiennes
n
nmnmm
xxKnpmpdxnxpmxpnpmpxxk )',()(')()/(')./()(')()',( ,,
'')'(
)2
'''22
exp(')2(
)/('.)/())/('),/(()',(
11111
112/2/2/12/)21(
,,
tttD
Rnmnm Ddxnxpmxpnxpmxpkxxk