apprentissage de variétés de faible dimension - …journées d’etudes gdr isis mars 2006...
TRANSCRIPT
![Page 1: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/1.jpg)
Journées d’EtudesGDR ISIS Mars 2006
Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences audio
José Anibal Arias ([email protected])IRIT – UPSÉquipe SAMOVA(Structuration Analyse et MOdélisation de la Vidéo et de l’Audio)
![Page 2: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/2.jpg)
Plan
o Méthodes de réduction de la dimensionnalité
o Expériences avec la paroleo Perspectives
![Page 3: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/3.jpg)
Introduction
o Mécanismes complexes de production de données génèrent de vecteurs de haute dimension
o Contraintes physiques limitent cette production. On attend donc que les vecteurs soient groupés en zones de haute densité
![Page 4: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/4.jpg)
Apprentissage de variétés
o On a de données de haute dimension groupés en zones que l’on veut découvrir
![Page 5: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/5.jpg)
Plan
o Méthodes de réduction de la dimensionnalité
o Expériences avec la paroleo Perspectives
![Page 6: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/6.jpg)
Une grande quantité des méthodes disponibles
o Linéairesn PCA, MDS, PPCA
o Linéaires superviséesn LDA, FA
o Non linéairesn ISOMAP, C-ISOMAP, Landmark ISOMAP, LLE,
HLLE, CLLE, SDE, Landmark SDE, KPCA, Spectral clustering, NL-PPCA, LaplacianEigenmaps, MVU, GPLVM
o Non linéaires superviséesn S-ISOMAP, SLLE, Multiclass ISOMAP
o Multiple variétés
![Page 7: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/7.jpg)
Méthodes linéaireso Analyse en composantes principalesn Vecteurs propres de la matrice de covariance :
axes de variance maximale par rapport à un ensemble de données
n Les axes où la variance est réduite peuvent être éliminés
o Algorithme d’échelle multidimensionnellen À partir des distances entre points, on peut
déterminer un système de coordonnées qui préserve ces distances
o PCA->Covariance, MDS->Matrice de Gram
![Page 8: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/8.jpg)
Méthodes non linéaires
o ISOMAP [Tenenbaum et al, 2000]n Utilise distances géodésiques au lieu
d’Euclidiennes pour initialiser MDSn Un graphe est l’approximation discrète
d’une variété
![Page 9: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/9.jpg)
ISOMAPo Pas 1n Construire un graphe avec les données. Un
sommet est adjacent à un autre seulement s’ils sont proches (knn ou e). Les arêtes son pondérées avec la distance Euclidienne entre les vecteurs
o Pas 2n Calculer les distances point à point plus courtes
sur le graphe. Programmation dynamique (algorithme de Floyd ou Djikstra)
o Pas 3n MDS
![Page 10: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/10.jpg)
ISOMAP
o Hypothèsesn Le graphe est connectén Les voisins sur le graphe sont des voisins
sur la variétén Le graphe est dense et sans trousn Le nombre de valeurs propres
significatifs donne une estimation fiable de la dimensionnalité intrinsèque des données
n Trop chère en temps de calcul pour problèmes de grande échelle
![Page 11: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/11.jpg)
LLE [Roweis & Saul, 2000]o Philosophie contraire à ISOMAPn Préserve la géométrie locale. La variété est
considérée comme l’union de petits espaces linéairesn Construit des graphes creusesn Utilise les vecteurs associés aux plus faibles valeurs
propres
![Page 12: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/12.jpg)
LLEo Pas 1 n Recherche des voisins plus proches
à chaque point xi
o Pas 2n Solution par moindres carrés des
poids Wij qui représentent la géométrie de chaque voisinage
o Pas 3n La solution à l’optimisation des
coordonnées en faible dimension est la diagonalisation d’une matrice non dense construite avec les Wij.
Φ(W ) =
rxi − Wij
rx j
j∑
i∑
2
Ψ(y) = ryi − Wij
ry jj∑i
∑2
![Page 13: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/13.jpg)
Exemple
o Mise en évidence des modes de variation
o Pas d’estimation de la dimensionnalité intrinsèque
o Pas d’extension à points de test
![Page 14: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/14.jpg)
KPCA = PCA en feature space
![Page 15: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/15.jpg)
Plan
o Méthodes de réduction de la dimensionnalité
o Expériences avec la paroleo Perspectives
![Page 16: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/16.jpg)
Spectral clustering
![Page 17: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/17.jpg)
ISOMAP
silences
nasals
fricatifs
V[ou]
V[i]
![Page 18: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/18.jpg)
Différents locuteurs, même phrase
![Page 19: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/19.jpg)
S-ISOMAP
On peut pondérer différemment les distances entre voisins s’ils appartienent à la même classe.
![Page 20: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/20.jpg)
Multiple variétés
![Page 21: Apprentissage de variétés de faible dimension - …Journées d’Etudes GDR ISIS Mars 2006 Apprentissage de variétés de faible dimension : un prétraitement pour comparer séquences](https://reader036.vdocuments.net/reader036/viewer/2022070706/5e99afd3da5a5f5a6b16728c/html5/thumbnails/21.jpg)
Perspectives
o Identification des modes de variation propres à la parole
o Modélisation des classes phonétiquesn Identification du type de discoursn Identification de langues
o Variétés combinéesn Séparation de sources