deep neural networks - uchile.cl
TRANSCRIPT
![Page 1: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/1.jpg)
•
Deep Neural NetworksMatías Silva Cares
17/11/2016
![Page 2: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/2.jpg)
Overview
1. Redes neuronalesa. Motivaciónb. Orígenc. Estructurad. Aplicaciones
2. Redes neuronales profundasa. Conceptob. Redes neuronales convolucionalesc. Redes neuronales recurrentes
![Page 3: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/3.jpg)
NN: Motivación
![Page 4: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/4.jpg)
NN: Orígen
• 1943 (McCulloch & Pitts): Inspiración biológica para generar modelo matemático.
• 1951 (Minsky & Edmons): Primera implementación en hardware
![Page 5: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/5.jpg)
NN: Orígen
• 1958 (Rosenblatt): Concepto de perceptrón
![Page 6: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/6.jpg)
NN: Orígen
• 1980-90 : Aplicación de BackPropagation, aparición de redes convolucionales y recurrentes.
• 1993 (Yann LeCun): CNN aplicado a imágenes
![Page 7: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/7.jpg)
NN: Orígen
• 2006 : Aparición del DeepLearning, entrenamiento de una red con muchas capas.
• 2012 (Kriztevsky & Sutskever): Ganadores del ImageNet Classification bajando 10 puntos la tasa de error de clasificación usando CNN.
![Page 8: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/8.jpg)
Estructura
• Perceptrón (Unidad)• Perceptrón Multicapa• Función de activación.• Backpropagation - Gradiente descendiente.• DataSet: Entrenamiento, Validación, Test.• Batches• Regularización
![Page 9: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/9.jpg)
Simulación MLP
http://playground.tensorflow.org/
![Page 10: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/10.jpg)
Aplicaciones NN
Clasificadores.
Detector de patrones.
Predicciones de mercado.
Compresión de imágenes.
![Page 11: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/11.jpg)
•
Deep Neural NetworksMás capas...
![Page 12: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/12.jpg)
Concepto: ¿Por qué más capas?
• Mayor dimensionalidad .• (Abarcar modelos más complejos).
• Computadores más veloces para procesar.• (Poder entrenar)
• Usar redes para elegir mejores features.• (Lo importante).
![Page 13: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/13.jpg)
CNN
• Paradigma: Extracción de features simples a más complejos.• Nueva estructura para clasificar imágenes, aprovechando
espacialidad.• Obtuvo resultados notables en competencia de clasificación de
imágenes.• Se considera “Deep” dada su estructura con muchas capas (de
diferente procesamiento).• Aplicaciones orientadas a procesar imágenes o datos donde la
espacialidad sea algo importante.
![Page 14: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/14.jpg)
CNN: Paradigma
![Page 15: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/15.jpg)
CNN: Esquema
![Page 16: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/16.jpg)
CNN: Parámetros
• Ventaja de escalabilidad.• Uso de arquitectura es heurística.• Parámetros:
• Filtros, padding.• Subsampling (Pooling).• Regularización.
• Estrategias:• Generalización (Dropout).• Transfer Learning (Clasificación con pocos datos).
![Page 17: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/17.jpg)
CNN: Conclusiones
• Uso para datos con importancia espacial (Imágenes).• Definir arquitectura no es fácil y requiere práctica
(Prueba y error).• Requiere mucho procesamiento en el entrenamiento.• Aplicaciones:
• Clasificación de objetos en imágenes.• Filtros de fotografía (Deep-Art & Deep-Dream)
![Page 18: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/18.jpg)
CNN: Deep-Art
![Page 19: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/19.jpg)
CNN: Deep Dream
![Page 20: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/20.jpg)
RNN
• Paradigma: Retroalimentar neuronas para considerar en la decisión el valor obtenido en el frame anterior.
• Se considera “Deep” dada su estructura con muchas capas (al “estirar” las recurrencias).
• Aplicaciones orientadas a procesar datos temporales.• Predicción de palabras y oraciones.
![Page 21: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/21.jpg)
RNN
![Page 22: Deep Neural Networks - uchile.cl](https://reader035.vdocuments.net/reader035/viewer/2022072521/62de22ee6d5ede794c75ba01/html5/thumbnails/22.jpg)
•
Deep Neural NetworksMatías Silva Cares
17/11/2016