utilisation des méthodes support vector machine (svm) dans
TRANSCRIPT
logo
Utilisation des methodes Support VectorMachine (SVM) dans l’analyse des bases de
donnees
Abdelhamid DJEFFAL
Encadre par: M.C. BABAHENINICo-Encadre par: A. TALEB-AHMED
Departement d’informatique, Laboratoire LESIAUniversite de Biskra
Mai 2012
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Plan
1 Problematique
2 Data mining
3 SVM
4 SVM & analyse des BDD
5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications
6 Conclusion
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Outline
1 Problematique
2 Data mining
3 SVM
4 SVM & analyse des BDD
5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications
6 Conclusion
3
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining
PropositionUtilisation des SVMs pour l’analyse des BDD
4
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining
PropositionUtilisation des SVMs pour l’analyse des BDD
4
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining
PropositionUtilisation des SVMs pour l’analyse des BDD
4
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining
PropositionUtilisation des SVMs pour l’analyse des BDD
4
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining
PropositionUtilisation des SVMs pour l’analyse des BDD
4
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining
PropositionUtilisation des SVMs pour l’analyse des BDD
4
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?
5
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?
5
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?
5
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?
5
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Motivations de la these
ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?
5
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Outline
1 Problematique
2 Data mining
3 SVM
4 SVM & analyse des BDD
5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications
6 Conclusion
6
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Definition
Data mining
DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...
7
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Definition
Data mining
DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...
7
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Definition
Data mining
DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...
7
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Definition
Data mining
DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...
7
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Definition
Data mining
DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...
7
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Definition
Data mining
DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...
7
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Processus
Processus de data mining
Analyse du problème
Collecte des données
BDD originales BDD initiales
BDD préparées
Préparation des données
Fouille de données
Modèles/patterns Motifs
Evaluation
Connaissances
Déploiement
8
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Taches
Data mining
Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...
9
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Outline
1 Problematique
2 Data mining
3 SVM
4 SVM & analyse des BDD
5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications
6 Conclusion
10
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Introduction
Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik
Principe
Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:
2‖w‖2
11
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Introduction
Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik
Principe
Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:
2‖w‖2
11
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Introduction
Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik
Principe
Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:
2‖w‖2
11
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Introduction
Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik
Principe
Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:
2‖w‖2
11
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Introduction
Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik
Principe
Resoudre l’equation:Minimiser 1
2 ‖w‖2 + C
n∑i=1
ξi
Avec yi(wT xi + b) ≥ 1− ξi ; i = 1..nξi ≥ 0
11
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Introduction
Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik
SolutionIntroduire les multiplicateurs de Lagrange αi
Minimiser 12
n∑i=1
n∑j=1
αiαjyiyj⟨xi , xj
⟩−
n∑i=1
αi
Avecn∑
i=1αiyi = 0
0 ≤ αi ≤ C
La fonction de decision est: H(x) =n∑
i=1αiyi 〈xi , x〉+ b
11
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Introduction
Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik
SolutionIntroduire les multiplicateurs de Lagrange αi
Minimiser 12
n∑i=1
n∑j=1
αiαjyiyj⟨xi , xj
⟩−
n∑i=1
αi
Avecn∑
i=1αiyi = 0
0 ≤ αi ≤ C
La fonction de decision est: H(x) =n∑
i=1αiyi 〈xi , x〉+ b
11
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Utilisation des noyaux
y
x
φ
φ-1
Espace original Espace de caractéristiques
Espace original
12
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Utilisation des noyaux
Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)
Lineaire: K (xi , xj) = xTi xj
Polynomial: K (xi , xj) = (xTi xj)
d
Gaussien: K (xi , xj) = e
(−‖xi−xj‖2
2σ2
)
...
12
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Utilisation des noyaux
Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)
Lineaire: K (xi , xj) = xTi xj
Polynomial: K (xi , xj) = (xTi xj)
d
Gaussien: K (xi , xj) = e
(−‖xi−xj‖2
2σ2
)
...
12
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Utilisation des noyaux
Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)
Lineaire: K (xi , xj) = xTi xj
Polynomial: K (xi , xj) = (xTi xj)
d
Gaussien: K (xi , xj) = e
(−‖xi−xj‖2
2σ2
)
...
12
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Utilisation des noyaux
Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)
Lineaire: K (xi , xj) = xTi xj
Polynomial: K (xi , xj) = (xTi xj)
d
Gaussien: K (xi , xj) = e
(−‖xi−xj‖2
2σ2
)
...
12
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Utilisation des noyaux
Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)
Lineaire: K (xi , xj) = xTi xj
Polynomial: K (xi , xj) = (xTi xj)
d
Gaussien: K (xi , xj) = e
(−‖xi−xj‖2
2σ2
)
...
12
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Principe
Utilisation des noyaux
Le probleme dual a resoudre devient:Minimiser 1
2
n∑i=1
n∑j=1
αiαjyiyjK (xi , xj)−n∑
i=1αi
Avecn∑
i=1αiyi = 0
0 ≤ αi ≤ C
La fonction de decision est: H(x) =n∑
i=1αiyiK (xi , x) + b
12
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Implementation
Implementation
OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi
Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)
Probleme avec les grands ensembles de donnees
13
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Implementation
Implementation
OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi
Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)
Probleme avec les grands ensembles de donnees
13
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Implementation
Implementation
OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi
Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)
Probleme avec les grands ensembles de donnees
13
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Implementation
Implementation
OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi
Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)
Probleme avec les grands ensembles de donnees
13
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Implementation
Implementation
OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi
Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)
Probleme avec les grands ensembles de donnees
13
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Implementation
Implementation
OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi
Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)
Probleme avec les grands ensembles de donnees
13
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Architecture
Architecture
Vecteur x à tester
Vecteurs supports x1..xs
Fonction noyau K
Multiplicateurs
Fonction de décision
1 si f >0
autre sinon
…
K(x2,x) K(x1,x
K(xi,xj) K(xs,x) … K(xs-1,x)
𝑓𝑓 = �αiyiK(xi, x) + 𝑏𝑏
α1 α2 αs-1 αs
K(x1,x)
b
Décision Décision
14
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Variantes
Variantes
SVM Multiclasse
H12
H14 H23
{1,2,3,4}
{2,3,4} {1, 3,4}
2 4 1
Ecarter 2 Ecarter 1
Ecarter 3 Ecarter 4
H24 H34 H13
Ecarter 3 Ecarter 2
{2,4} {3,4}
Ecarter 2
3
Ecarter 4 Ecarter 1
Ecarter 1
{1, 3}
Ecarter 3
Ecarter 4
X2 Classe 1
Classe 2
Classe 3
X1
H23(x)
H12(x)
H 13(x)
?
X2 Classe 1
Classe 2
Classe 3
X1
H1(x)
H2(x)
H3(x)
1 Vs Reste 1 Vs 1
DAG
15
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Variantes
Variantes
SVM Monoclasse (Novelty detection)
Classe cible
Origine
15
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Variantes
Variantes
SVM pour la regression (SVR)
2ε
y = wx + b y
x
y
x
φ φ-1
Espace original Espace de caractéristiques Espace original
15
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Variantes
Variantes
SVM pour le clustering (SVC)
X1
X2
x1
x3
x4
x2
15
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Variantes
Variantes
SVM pour le renforcement (Transductive)
X1
X2
+
+ +
+
-
-
-
-
Hyperplan sans renforcement
Hyperplan avec renforcement 15
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Evaluation
Evaluation des SVMs
Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).
16
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Evaluation
Evaluation des SVMs
Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).
16
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Evaluation
Evaluation des SVMs
Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).
16
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Evaluation
Evaluation des SVMs
Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).
16
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Outline
1 Problematique
2 Data mining
3 SVM
4 SVM & analyse des BDD
5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications
6 Conclusion
17
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Ou sont utilisees les BDDs
Bases de données
Images Son Web Textes …
Extraction des caractéristiques
Entrepôt de données (bases de données)
Analyse
Analyse
Connaissances (bases de données)
Acquisition
Extraction des connaissances
Visualisation et intégration
18
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acquisition
Utilisation des SVMs pour l’acquisition
Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.
19
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acquisition
Utilisation des SVMs pour l’acquisition
Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.
19
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acquisition
Utilisation des SVMs pour l’acquisition
Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.
19
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acquisition
Utilisation des SVMs pour l’acquisition
Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.
19
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acquisition
Utilisation des SVMs pour l’acquisition
Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.
19
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Extraction des connaissances
Utilisation des SVMs pour l’Extraction desconnaissances
Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)
20
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Extraction des connaissances
Utilisation des SVMs pour l’Extraction desconnaissances
Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)
20
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Extraction des connaissances
Utilisation des SVMs pour l’Extraction desconnaissances
Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)
20
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Extraction des connaissances
Utilisation des SVMs pour l’Extraction desconnaissances
Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)
20
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Extraction des connaissances
Utilisation des SVMs pour l’Extraction desconnaissances
Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)
20
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Problemes
Attributs symboliquesUtilisation des noyaux symboliques (text mining)
Sac de motsp-spectrum,All Sub Sequences,...
Nombre eleve d’enregistrementUtilisation des techniques d’acceleration
SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).
21
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.
22
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.
22
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.
22
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Problemes d’utilisation des SVMs
Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.
22
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Outline
1 Problematique
2 Data mining
3 SVM
4 SVM & analyse des BDD
5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications
6 Conclusion
23
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Observations1 Les vecteurs non support
n’ont aucune influence surl’hyperplan,
2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.
IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Observations1 Les vecteurs non support
n’ont aucune influence surl’hyperplan,
2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.
IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Observations1 Les vecteurs non support
n’ont aucune influence surl’hyperplan,
2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.
IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Observations1 Les vecteurs non support
n’ont aucune influence surl’hyperplan,
2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.
IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Contribution 1: CB-SR
Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques
24
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Covering Based Samples Reduction
FiltrageDetecter les vecteurssupports potentiels par deshyperplans locaux
RevisionRajouter les exempleseventuellement ecartes parerreur.
25
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Covering Based Samples Reduction
FiltrageDetecter les vecteurssupports potentiels par deshyperplans locaux
RevisionRajouter les exempleseventuellement ecartes parerreur.
25
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Covering Based Samples Reduction
FiltrageDetecter les vecteurssupports potentiels par deshyperplans locaux
RevisionRajouter les exempleseventuellement ecartes parerreur.
25
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Zone de couvertureLa zone de couverture de xi par rapporta xk = Zone delimitee par H+
ik et H−ik :xj / −1 ≤ Hik (xj) ≤ 1
Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk . mais ...
X2
X1
X2 X4
xi
xk
Zone de couverture de xi
par rapport à xk
Hik=-1
Hik=+1
xj
Classe + Classe -
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Zone de couvertureLa zone de couverture de xi par rapporta xk = Zone delimitee par H+
ik et H−ik :xj / −1 ≤ Hik (xj) ≤ 1
Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk . mais ...
X2
X1
X2 X4
xi
xk
Zone de couverture de xi
par rapport à xk
Hik=-1
Hik=+1
xj
Classe + Classe -
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Couverture mutuelleOn dit que xi et xj ∈ yi(±1) sontmutuellement couvert par rapport axk ∈ yk = −yi si chacun se situe dans lazone de couverture de l’autre.
Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk et xi ne se situe pas dans lazone de couverture de xj par rapport a xk
X2
X3
X4
xi
xk
xj
Couverture de xi
par rapport à xk
Couverture de xj
par rapport à xk
Hik=-1
Hjk=-1
Hjk=+1
Hik=+1
Classe - Classe + X2
X1
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Couverture mutuelleOn dit que xi et xj ∈ yi(±1) sontmutuellement couvert par rapport axk ∈ yk = −yi si chacun se situe dans lazone de couverture de l’autre.
Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk et xi ne se situe pas dans lazone de couverture de xj par rapport a xk
X2
X3
X4
xi
xk
xj
Couverture de xi
par rapport à xk
Couverture de xj
par rapport à xk
Hik=-1
Hjk=-1
Hjk=+1
Hik=+1
Classe - Classe + X2
X1
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Couverture totaleOn dit qu’un exemple xi d’une classe yi(±1) est totalementcouvert par rapport a la classe −yi , si pour tout exemple xk dela classe −yi , il existe un exemple xj de la classe yi qui couvrexi par rapport a xk :∃ xj non ecarte ∈ N+/(−1 ≤ Hik (xj) ≤ 1) et (−1 > Hjk (xi) ouHjk (xi) > 1)
FiltrageEcarter tous les exemples totalement couverts.
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Couverture totaleOn dit qu’un exemple xi d’une classe yi(±1) est totalementcouvert par rapport a la classe −yi , si pour tout exemple xk dela classe −yi , il existe un exemple xj de la classe yi qui couvrexi par rapport a xk :∃ xj non ecarte ∈ N+/(−1 ≤ Hik (xj) ≤ 1) et (−1 > Hjk (xi) ouHjk (xi) > 1)
FiltrageEcarter tous les exemples totalement couverts.
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Filtrage
Exemple recapitulatif
26
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Tuning
Utilisation du parametre ρ
X2
X1
X2 X4
xi
xk
Zone de couverture de xi
par rapport à xk
Hik=-1
Hik=+1
xj
Classe + Classe -
ρ
ρ
27
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Tuning
Effet: controle du taux de filtrage
27
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Rajouter les exemples ecartes par erreurs
Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant
Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,
Optimisation: heuristiques et critere d’arret)
ResultatEcarter des vecteurs supports potentiels
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Rajouter les exemples ecartes par erreurs
Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant
Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,
Optimisation: heuristiques et critere d’arret)
ResultatEcarter des vecteurs supports potentiels
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Rajouter les exemples ecartes par erreurs
Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant
Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,
Optimisation: heuristiques et critere d’arret)
ResultatEcarter des vecteurs supports potentiels
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Rajouter les exemples ecartes par erreurs
Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant
Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,
Optimisation: heuristiques et critere d’arret)
ResultatEcarter des vecteurs supports potentiels
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Rajouter les exemples ecartes par erreurs
Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant
Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,
Optimisation: heuristiques et critere d’arret)
ResultatEcarter des vecteurs supports potentiels
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions
KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de
l’hyperplan precedent (valeurs precedentes des αi )
ResultatObtenir un hyperplan final
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions
KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de
l’hyperplan precedent (valeurs precedentes des αi )
ResultatObtenir un hyperplan final
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions
KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de
l’hyperplan precedent (valeurs precedentes des αi )
ResultatObtenir un hyperplan final
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions
KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de
l’hyperplan precedent (valeurs precedentes des αi )
ResultatObtenir un hyperplan final
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions
KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de
l’hyperplan precedent (valeurs precedentes des αi )
ResultatObtenir un hyperplan final
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions
KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de
l’hyperplan precedent (valeurs precedentes des αi )
ResultatObtenir un hyperplan final
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Revision
Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions
KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de
l’hyperplan precedent (valeurs precedentes des αi )
ResultatObtenir un hyperplan final
28
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Donnees utilisees pour les tests
Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI
Tables
Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309
29
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Donnees utilisees pour les tests
Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI
Tables
Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309
29
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Donnees utilisees pour les tests
Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI
Tables
Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309
29
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Donnees utilisees pour les tests
Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI
Tables
Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309
29
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Evaluation
Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances
Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &
Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]
30
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Evaluation
Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances
Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &
Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]
30
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Evaluation
Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances
Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &
Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]
30
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Evaluation
Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances
Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &
Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]
30
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Evaluation
Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances
Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &
Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]
30
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Evaluation
Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances
Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &
Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]
30
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Evaluation
Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances
Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &
Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]
30
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Resultats
Resultats sur des toys
SVM seule apres Filtrage
N T(s) R(%) N T(s) R(%)1169 432.656 100 471 60.516 99,65
31
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Resultats
Resultats sur des toys
SVM seule apres Filtrage et Revision
N T(s) R(%) N T(s) R(%)1169 432.656 100 679 93.268 100
31
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Acceleration des SVMs par reduction d’exemples
Resultats
Resultats sur des BDDs du cite UCI
Base de test Methode N ρ T(s) R(%)German SVM 500 / 501.375 72.8
KBK-SR 156 / 60.42 70.83CB-SR 3 0.95 0.578 72.8
Tow Spirals SVM 300 / 10.687 100Lin 92 / / 99.95
CB-SR 37 0.86 0.875 100Tow Ellipses SVM 300 / 12.395 100
Lin 39 / / 100CB-SR 12 0.79 0.126 100
Segmentation SVM 2309 / 84.61 100CB-SR 32 / 0.937 100
31
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse
OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...
Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Travaux anterieurs (HvsH: Han-sheng & al, 2005)
ABC vs DEF
A vs BC DE vs F
B vs C D vs E
F
C DB E
AA
AA A
A
A
A A A
BB
BB B
B
B
B B B
FF
FF F
F
F
F F F
DD
DD D
D
D
D D D
EE
EE E
E
E
E E E
CC
CC C
C
C
C C C
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Travaux anterieurs (OC-SVM:Yang & al, 2007)
R3
R1
R2
C3
C1
C2
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Travaux anterieurs (R-1vsR: Arun & al, 2010)
Reduced-1vsRPour chaque hyperplan: utiliser les exemples restants et lesvecteurs supports precedents
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Contribution 2: OCBM
Travaux anterieurs (ODT-SVM: Agrawal & al, 2011)
Classe 1
Classe 2
Classe 3
Classe 4 1vs(2,3,4)
3vs4
2vs(3,4) classe1
Classe2
Classe3 Classe4
32
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Principe
Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur
33
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Principe
Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur
33
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Principe
Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur
33
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Principe
Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur
33
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Principe
𝒙𝒙𝒌𝒌−
𝒙𝒙≠𝒌𝒌−
Hyperplan OC-SVM Hyperplan décalé
Classe K (cible)
Les autres classes ≠ K
𝑯𝑯𝒌𝒌
𝑯𝑯𝒅𝒅𝒌𝒌
𝑯𝑯(𝒙𝒙≠𝒌𝒌− ) 𝑯𝑯(𝒙𝒙𝒌𝒌−)
33
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Principe
Classe 1 Classe 2
Classe 3
Classe 4
X2
Classe 1 Classe 2
Classe 3
X1
Classe 4
X1
X2
Classe 1 Classe 2
Classe 3
X1
Classe 4
OC-SVM Décalages
Maximum de profondeur
33
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Evaluation
Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance
Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)
34
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Analyse de complexite
SoitK : nombre de classesNc : Nombre d’exemple par classeβ: constante relative aux conditions d’executionδ:nombre d’octets necessaires au stockage d’une valeurd’un attribut
Exemple d’applicationK = 10, Nc = 20, β = 1, δ = 1
35
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Analyse de complexite
Temps d’entrainement
Methode # hyperplans Temps estime Exemple1vsR K K 3βN2
c 4000001vs1 K (K − 1)/2 2βK 2N2
c 80000ODT K − 1 K 3
3 βN2c 27000
HvsH 2log2K − 1 2βK 2N2c 80000
R-SVM K K 3
3 βN2c 27000
OC K KβN2c 4000
OCBM K KβN2c 4000
35
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Analyse de complexite
Temps de classification
Methode # hyperplans Temps estime Exemple1vsR K K 2βNc 20001vs1 K (K − 1)/2 K (K − 1)βNc 1800DAG (K − 1) 2(K − 1)βNc 360ODT K − 1 (K (K+1)
2 − 1)βNc 1080HvsH log2K 2KβNc 400
R-1vsR K ODT 1080OC-SVM K KβNc 200OCBM K KβNc 200
35
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Analyse de complexite
Taille du modele
Methode # hyperplans Taille estime Exemple1vsR K 2K 2δNc + K δ 40101vs1 K (K − 1)/2 K (K − 1)(2Nc + δ
2) 3600ODT K − 1 2(K (K+1)
2 − 1)δNc 1769HAH 2log2K − 1 2Klog2(K )δNc 1409R-1vsR K ODT-SVM 1769OC K K δ(Nc + 2) 220OCBM K K δ(Nc + 2) 220
35
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Resultats sur des toys
1vs1 DAG
Te(s) Tt (s) R(%) T(KB) Te(s) Tt (s) R(%) T(KB)343.5 644.2 100 302.5 343.5 152.3 100 302.5
36
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Resultats sur des toys
1vsR OCBM-SVM
Te(s) Tt (s) R(%) T(KB) Te(s) Tt (s) R(%) T(KB)546 454.3 100 209.5 0.656 132.5 100 60.2
36
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Resultats sur des BDDS UCI
Base ODT HvsH R-1vsR OC OCBMIris 98 100 / 90.67 100Scc / 99.44 / / 93.88Glass 77.57 / / 71.03 99.53Wine 98.98 / / 54.49 100Yeast 68.65 / / / 99.93PenDigits / 98.37 98.82 / 98.01SatImage 93.98 / 91.9 / 94.2
37
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Bilan
Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.
38
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Bilan
Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.
38
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Bilan
Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.
38
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
SVM multiclasse acceleree a base de OC-SVM
Bilan
Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.
38
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Applications
Applications
Calculatrice vocale
Speech audio
Traitement de signal et extraction des
coefficients
Classification des nouvelles entrées
Calculatrice
Création du profile du locuteur
Base de données des profiles
Vecteurs
Vecteurs
Mot (chiffre ou opération)
Apprentissage
Prononciation du résultat
Validation du résultat par l’utilisateur
39
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Applications
Applications
Trieuse des dattes
Construction d’une base d’apprentissage
Apprentissage par SVM
Prétraitements
Extraction des caractéristiques
Vecteur de caractéristiques
Classes
Modèle de décision
Classification par SVM
Classe
Apprentissage Classification
39
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Applications
Applications
Reconnaissance des caracteres manuscrits arabes
Prétraitement, segmentation et extraction de caractéristiques
Post-traitement
Image brute
Résultat final كتـاب
Interfaces Acquisition
Base de modèles
Classification Apprentissage SVM Vecteurs
té i ti
39
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Outline
1 Problematique
2 Data mining
3 SVM
4 SVM & analyse des BDD
5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications
6 Conclusion
40
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions
CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM
3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Resultats4 publications internationales,10 communications nationales et internationales
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Resultats4 publications internationales,10 communications nationales et internationales
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Resultats4 publications internationales,10 communications nationales et internationales
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Conclusion & perspectives
Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)
41
logo
Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion
Fin de l’expose
Merci pour votre attention ...
42