aprendizaje estadístico con funciones kernel
TRANSCRIPT
![Page 1: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/1.jpg)
Universidad Nacional de Educación a Distancia
Máster en Matemáticas Avanzadas
Trabajo Fin de Máster
Aprendizaje Estadístico con Funciones Kernel
Tutor: Prof. Hilario Navarro VeguillasAutor: Juan José Gibaja Martíns
Madrid, 5 de octubre de 2010
![Page 2: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/2.jpg)
● Datos● Patrones en datos● Aprendizaje estadístico● Patrones lineales y no lineales● La solución kernel● Fundamentos matemáticos● Perspectiva histórica● Support Vector Machines● Ejemplo: elipses entrelazadas● Ejemplo: base de datos IRIS● Kernel PCA● Ejemplo: parábola● Conclusión
Índice
![Page 3: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/3.jpg)
Datos
![Page 4: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/4.jpg)
Patrones en datos
![Page 5: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/5.jpg)
Perspectiva histórica
Patrones en datos
Ventaja competitiva
Nuevo paradigmacientífico
![Page 6: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/6.jpg)
Aprendizaje estadístico
![Page 7: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/7.jpg)
Perspectiva histórica
Aprendizaje estadístico
Aprendizajesupervisado
Aprendizajeno supervisado
![Page 8: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/8.jpg)
Patrones lineales y no lineales
![Page 9: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/9.jpg)
Perspectiva histórica
Patrones lineales y no lineales
Algoritmos eficientesPatrones simples
Algoritmos no eficientesPatrones complejos
![Page 10: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/10.jpg)
La solución kernel
![Page 11: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/11.jpg)
Perspectiva histórica
La solución kernel
Cambiar la representación(vídeo)
![Page 12: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/12.jpg)
Perspectiva histórica
La solución kernel
![Page 13: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/13.jpg)
Perspectiva histórica
La solución kernel
INEFICIENCIA
![Page 14: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/14.jpg)
Perspectiva histórica
La solución kernel
k(x,y)= φ(x),φ(y)⟨ ⟩
![Page 15: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/15.jpg)
Perspectiva histórica
La solución kernel
¿Y si razonamos al revés?
![Page 16: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/16.jpg)
La solución kernel
φ y ,⟨ ⟩ k
...pero...
![Page 17: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/17.jpg)
La solución kernel
k φ y ,⟨ ⟩ ?¿
SÍ. Si k es FINITAMENTESEMIDEFINIDA POSITIVA
![Page 18: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/18.jpg)
Fundamentos matemáticos
![Page 19: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/19.jpg)
Perspectiva histórica
Fundamentos matemáticos
● Espacio vectorial● Producto interno● Espacio con producto interno● Espacio de Hilbert● Espacio de Hilbert separable e isomorfía● Matriz de Gram y matriz kernel● Funciones finitamente semidefinidas positivas● Caracterización de las funciones kernel● Reproducing Kernel Hilbert Space
![Page 20: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/20.jpg)
Perspectiva histórica
![Page 21: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/21.jpg)
Perspectiva histórica
Perspectiva histórica (kernels)
D. HilbertMercer (1909)
Aronszajn (1950)Aizerman et al. (1964)Poggio y Girosi (1990)
![Page 22: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/22.jpg)
Perspectiva histórica
Perspectiva histórica(clasificadores)
Fisher (1936)Vapnik y Lerner (1963)
Vapnik y Chervonenkis (1964)Cover (1965)
Mangasarian (1965)Smith (1968)
Duda y Hart (1973)Bennett y Mangasarian (1992)
![Page 23: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/23.jpg)
Perspectiva histórica
Perspectiva histórica (SVM)
Vapnik y Chervonenkis (1974)Vapnik (1979, 1982)
Boser, Guyon y Vapnik (1992)Cortes y Vapnik (1995)
Vapnik (1995)Shawe-Taylor (1998)
Shawe-Taylor y Cristianini (2000)
V. Vapnik
![Page 24: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/24.jpg)
Perspectiva histórica
Perspectiva histórica (otros algoritmos)
Baudat y Anouar (2000)Schölkopf, Smola y Müller (1998)
Van Gestel et al. (2001)Burges (2005)
Girolami (2001)
B. Schölkopf
![Page 25: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/25.jpg)
Support vector machines
![Page 26: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/26.jpg)
Perspectiva histórica
Support vector machines
Clases separables vs.no separables
![Page 27: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/27.jpg)
Perspectiva histórica
Support vector machines
Enfoque primal vs. dual
![Page 28: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/28.jpg)
Perspectiva histórica
Support vector machines
Incorporación del kernel
![Page 29: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/29.jpg)
Ejemplo: espirales entrelazadas
![Page 30: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/30.jpg)
Perspectiva histórica
Ejemplo: espirales entrelazadas
![Page 31: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/31.jpg)
Perspectiva histórica
Ejemplo: espirales entrelazadas
![Page 32: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/32.jpg)
Ejemplo: Base de datos IRIS
![Page 33: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/33.jpg)
Perspectiva histórica
Ejemplo: Base de datos IRIS
![Page 34: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/34.jpg)
Perspectiva histórica
Ejemplo: Base de datos IRIS
![Page 35: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/35.jpg)
Perspectiva histórica
Ejemplo: Base de datos IRIS
![Page 36: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/36.jpg)
Perspectiva histórica
Ejemplo: Base de datos IRIS
![Page 37: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/37.jpg)
Perspectiva histórica
Ejemplo: Base de datos IRIS
![Page 38: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/38.jpg)
Kernel PCA
![Page 39: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/39.jpg)
Perspectiva histórica
Kernel PCA
PCA a partir de covarianzas
PCA a partir de productos escalares
![Page 40: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/40.jpg)
Ejemplo: parábola
![Page 41: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/41.jpg)
Perspectiva histórica
Ejemplo: parábola
![Page 42: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/42.jpg)
Perspectiva histórica
Ejemplo: parábola
![Page 43: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/43.jpg)
Perspectiva histórica
Ejemplo: parábola
![Page 44: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/44.jpg)
Perspectiva histórica
Ejemplo: parábola
![Page 45: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/45.jpg)
Perspectiva histórica
Ejemplo: parábola
![Page 46: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/46.jpg)
Perspectiva histórica
Ejemplo: parábola
![Page 47: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/47.jpg)
Conclusión
![Page 48: Aprendizaje Estadístico con Funciones Kernel](https://reader033.vdocuments.net/reader033/viewer/2022052905/558437dfd8b42a77068b4b95/html5/thumbnails/48.jpg)
Perspectiva histórica
Conclusión
El Aprendizaje Estadístico basado en Funciones Kernel es una vía prometedorapara conjugar las ventajas de losalgoritmos lineales y no lineales dedetección de patrones en bases de datos.