Глубинное обучение, лето 2016: Введение в глубинное...
TRANSCRIPT
![Page 1: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/1.jpg)
Deep LearningЛекции в computer science клубе
Санкт-Петербург, лето 2016
![Page 2: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/2.jpg)
Структура курса
• Занятие 1. (Дмитрий Кропотов) Стохастическая оптимизация, автоматическое дифференцирование
• Занятие 2. (Алексей Артёмов) Свёрточные нейронные сети, библиотеки для работы с нейросетями
• Домашнее задание 1
• Занятие 3. (Екатерина Лобачёва) Рекуррентные нейронные сети. • Домашнее задание 2
• Занятие 4. (Дмитрий Ветров) Нейробайесовские модели
http://compsciclub.ru/courses/deep-learning/2016-summer/
![Page 3: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/3.jpg)
ImageNet (image-net.org)
14,197,122 изображений21841 категорий
![Page 4: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/4.jpg)
![Page 5: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/5.jpg)
AlexNet: свёрточная нейронная сеть
![Page 6: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/6.jpg)
12 лет назад: дескриптор SIFT
D. Lowe. Distinctive Image Features from Scale-invariant Keypoints, 2004.
![Page 7: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/7.jpg)
12 лет назад: мешок слов
![Page 8: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/8.jpg)
12 лет назад: мешок слов
![Page 9: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/9.jpg)
12 лет назад: SIFT + мешок слов + классификатор
![Page 10: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/10.jpg)
CNN vs. SIFT+мешок слов+классификатор
![Page 11: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/11.jpg)
GD vs. SGD
Град. спуск Стох. град. спуск Стох. град. спускв окрестности оптимума
![Page 12: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/12.jpg)
SGD vs. SGD+mom
Стох. град. спуск Стох. град. спуск+ моментум
Стох. град. спуск+ моментумв окрестности оптимума
![Page 13: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/13.jpg)
![Page 14: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/14.jpg)
Batch normalization
Ioffe, Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 2015.
![Page 15: Глубинное обучение, лето 2016: Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов)](https://reader030.vdocuments.net/reader030/viewer/2022020108/587c5fe21a28ab633c8b5a8f/html5/thumbnails/15.jpg)
Литература
• deeplearningbook.org – основная книга по Deep Learning• J. Nocedal, S. Wright. Numerical Optimization, 2006 – лучшая книга
по классической оптимизации, в ней также рассматривается автоматическое дифференцирование
• M. Schmidt. Notes on Big-n Problems – обзор методов стохастической оптимизации