Основы машинного обучения - singularis labОсновы машинного...
TRANSCRIPT
![Page 1: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/1.jpg)
Основы машинного обучения
Алексей Алексеев
Roboschool, 19-24 ноября 2018, Волгоград
![Page 2: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/2.jpg)
0
План
19-24 ноября 2018 Roboschool, Волгоград 2
• Общая информация о машинном обучении
• Процесс обучения
• Сверточные нейросети
• Фреймворки машинного обучения
• Текущие интересные результаты
![Page 3: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/3.jpg)
0
Что такое машинное обучение
19-24 ноября 2018 Roboschool, Волгоград 3
Машинное обучение (англ. Machine Learning, ML) —класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач.
Машинное обучение – это поиск модели (зависимости выходных переменных от входных) на основе известных наблюдений, называемых обучающей выборкой.
Любая достаточно развитаятехнология неотличима от магии.
Третий закон Кларка
![Page 4: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/4.jpg)
0
Задачи машинного обучения
19-24 ноября 2018 Roboschool, Волгоград 4
https://www.mactores.com/services/aws-big-data-machine-learning-cognitive-services/
![Page 5: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/5.jpg)
0
Классификация
19-24 ноября 2018 Roboschool, Волгоград 5
![Page 6: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/6.jpg)
0
Классификация
19-24 ноября 2018 Roboschool, Волгоград 6
Гамбургеры
Лаймы
Лимоны
Желтизна
Мн
ого
цве
тно
сть
![Page 7: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/7.jpg)
0
Регрессия
Пример: предсказание цены дома по его параметрам
19-24 ноября 2018 Roboschool, Волгоград 7
![Page 8: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/8.jpg)
0
Типы данных
• Структурированные (табличные)
• Неструктурированные:
1) Изображения
2) Звук
3) Текст на естественном языке
19-24 ноября 2018 Roboschool, Волгоград 8
![Page 9: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/9.jpg)
0
Предобработка и анализ данных
19-24 ноября 2018 Roboschool, Волгоград 9
Предобработка и анализ данных в реальных задачах занимает до 90% всего времени решения задачи, причины:
• Данные зашумлены
• Данные размечены неверно
• Структура данных неверная
• Данных недостаточно
![Page 10: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/10.jpg)
0
Разделение данных
Данные делят на три группы:Тренировочные (train) – те данные, которые используются для обучения.Валидационные (val) – те данные, которые используются для оценки качества во время обучения.Тестовые (test) – показывают качество полученной модели.Соотношения разные, но обычно тренировочные и валидационные делят в пропорции 80/20, тестовые по ситуации.
19-24 ноября 2018 Roboschool, Волгоград 10
![Page 11: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/11.jpg)
0
Тестовая задача
19-24 ноября 2018 Roboschool, Волгоград 11
![Page 12: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/12.jpg)
0
С чего все началось?
19-24 ноября 2018 Roboschool, Волгоград 12
https://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part1.html
![Page 13: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/13.jpg)
0
С чего все началось? Прорыв 2012
19-24 ноября 2018 Roboschool, Волгоград 13
https://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part1.html
![Page 14: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/14.jpg)
0
Популярность машинного обучения сегодня, причины
19-24 ноября 2018 Roboschool, Волгоград 14
• Информационный взрыв
• Рост вычислительных ресурсов
• Широкий выбор инструментов для работы с машинным обучением
• Огромное количество примеров и опубликованных материалов
![Page 15: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/15.jpg)
0
Как работает машинное обучение
19-24 ноября 2018 Roboschool, Волгоград 15
Метод машинного обучения
Входные данные
Выходные данные
![Page 16: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/16.jpg)
0
Как работает машинное обучение
19-24 ноября 2018 Roboschool, Волгоград 16
Метод машинного обучения
Картинка с кошкой или
собакой
Ответ: кошка или
собака
![Page 17: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/17.jpg)
0
А что в ящике?
19-24 ноября 2018 Roboschool, Волгоград 17
![Page 18: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/18.jpg)
0
А что в ящике?
19-24 ноября 2018 Roboschool, Волгоград 18
![Page 19: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/19.jpg)
0
А что в ящике?
19-24 ноября 2018 Roboschool, Волгоград 19
![Page 20: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/20.jpg)
0
Нейрон настоящий
19-24 ноября 2018 Roboschool, Волгоград 20
![Page 21: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/21.jpg)
0
Нейрон искусственный
19-24 ноября 2018 Roboschool, Волгоград 21
![Page 22: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/22.jpg)
0
Функция активации
19-24 ноября 2018 Roboschool, Волгоград 22
![Page 23: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/23.jpg)
0
Искусственные нейронные сети
19-24 ноября 2018 Roboschool, Волгоград 23
Полносвязная (Fully connected, FC) нейросеть
![Page 24: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/24.jpg)
0
Что такое «обучение»?
19-24 ноября 2018 Roboschool, Волгоград 24
Обучение нейросети – итеративный процесс минимизации (обычно) функции потерь с помощью оптимизатора.
Итеративный – за раз мы даем некоторое количество данных (не все).
Функция потерь – функция, которая является критерием для определения насколько ваша модель хороша на данных.
Оптимизатор находит минимум (обычно) функции потерь, то есть такие параметры нейросети, при которых наша модель работает лучше всего.
![Page 25: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/25.jpg)
0
Функция потерь (Loss function)
19-24 ноября 2018 Roboschool, Волгоград 25
Функция потерь зависит от задачи, например, для бинарной классификации (два класса) это бинарная кроссэнтропия (y –реальное значение, y с крышечкой – предсказанное):
Для задачи регрессии MSE:
![Page 26: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/26.jpg)
0
Оптимизаторы
19-24 ноября 2018 Roboschool, Волгоград 26
Почти все оптимизаторы основаны на алгоритме градиентного спуска.
Градиент — вектор, своим направлением указывающий направление наибольшего возрастания функции.
Градиентный спуск (GD) — метод нахождения локального экстремума (минимума или максимума) функции с помощью движения вдоль градиента.
![Page 27: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/27.jpg)
0
Оптимизаторы
19-24 ноября 2018 Roboschool, Волгоград 27
Learning RateWeights
Loss function
![Page 28: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/28.jpg)
0
Оптимизаторы
19-24 ноября 2018 Roboschool, Волгоград 28
![Page 29: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/29.jpg)
0
Learning rate
19-24 ноября 2018 Roboschool, Волгоград 29
Learning rate (скорость обучения) – один из важнейших гиперпараметров обучения, по сути, определяет, как быстро мы будем шагать по функции потерь. Слишком быстро – пролетим мимо минимума, слишком медленно – застрянем в плохом локальном минимуме:
![Page 30: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/30.jpg)
0
Оптимизаторы, проблемы
19-24 ноября 2018 Roboschool, Волгоград 30
• Много данных
• Много параметров ( == количеству весов)
• Сложный ландшафт целевой функции
• Некоторые параметры обновляются редко, некоторые слишком часто
• Выбор Learning Rate
![Page 31: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/31.jpg)
0
Оптимизаторы, проблемы
19-24 ноября 2018 Roboschool, Волгоград 31
Седловые точки:
![Page 32: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/32.jpg)
0
Оптимизаторы, решения
19-24 ноября 2018 Roboschool, Волгоград 32
• Много данных – используется стохастический градиентный спуск (работает на части данных) - SGD
• Сохранять импульс (NAG, Adam)
• Отдавать предпочтения параметрам, которые меняются реже (Adagrad, RMSProp, Adam)
![Page 33: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/33.jpg)
0
Оптимизаторы
19-24 ноября 2018 Roboschool, Волгоград 33
![Page 34: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/34.jpg)
0
Оптимизаторы
19-24 ноября 2018 Roboschool, Волгоград 34
![Page 35: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/35.jpg)
0
Что значит итеративный?
19-24 ноября 2018 Roboschool, Волгоград 35
Так как все данные использовать за раз нам не хватит вычислительных ресурсов – все оптимизаторы построены на SGD и «частичном поглощении данных»
Порция данных, которая «поглощаются за раз» –называется batch, один из важных параметров обучения – batch size, в общем случае чем больше, тем лучше, однако объем памяти ограничен.
За одну итерацию происходит пересчет весов на основе одного батча.
Полный проход по всем данным называется эпохой, то есть в эпохе количество итераций = количество данных / размер батча
![Page 36: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/36.jpg)
0
Что такое «обучение»?
19-24 ноября 2018 Roboschool, Волгоград 36
Обучение нейросети – итеративный процесс минимизации (обычно) функции потерь с помощью оптимизатора.
![Page 37: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/37.jpg)
0
Переобучение и недообучение
19-24 ноября 2018 Roboschool, Волгоград 37
Недообучение Правильный результат Переобучение
Для диагностики этих ситуаций используются значения на тренировочной и валидационной выборках
![Page 38: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/38.jpg)
0
Виды нейросетей
19-24 ноября 2018 Roboschool, Волгоград 38
https://cdn-images-1.medium.com/max/2000/1*gccuMDV8fXjcvz1RSk4kgQ.png
![Page 39: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/39.jpg)
0
Сверточные (convolutional) нейросети
19-24 ноября 2018 Roboschool, Волгоград 39
Yann LeCun, 1988
![Page 40: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/40.jpg)
0
Типовая архитектура сверточной нейросети
19-24 ноября 2018 Roboschool, Волгоград 40
![Page 41: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/41.jpg)
0
Свертка (convolution)
19-24 ноября 2018 Roboschool, Волгоград 41
Свертка – это операция вычисления нового значения функции (пикселя), учитывающая значения окружающих его значений (пикселей). Для вычисления значения используется матрица, называемая ядром свертки.
Мы будем говорить о 2D свертках (применяются в обработке изображений)
![Page 42: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/42.jpg)
0
Свертка (convolution)
19-24 ноября 2018 Roboschool, Волгоград 42
![Page 43: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/43.jpg)
0
Свертка (convolution)
19-24 ноября 2018 Roboschool, Волгоград 43
CONV( , ) =
![Page 44: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/44.jpg)
0
Параметры свертки
19-24 ноября 2018 Roboschool, Волгоград 44
Размер ядра – обычно небольшие значения, от 1х1 до 7х7, редко больше
Шаг – шаг применения свертки (обычно 1 –каждый пиксель, иногда 2 или 3 – для fully convolutional вариантов)
![Page 45: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/45.jpg)
0
Сверточный слой
19-24 ноября 2018 Roboschool, Волгоград 45
• Сверточный слой представляет собой K сверток одинакового размера WxH.
• Чтобы задать сверточный слой, нам нужно задать количество входных изображений (каналов), количество выходных изображений (каналов) и размер одной свертки.
• Количество входных каналов не задается, если информацию можно получить из предыдущего слоя.
![Page 46: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/46.jpg)
0
Subsampling (pooling)
19-24 ноября 2018 Roboschool, Волгоград 46
![Page 47: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/47.jpg)
0
Почему «глубокое» обучение (Deep learning)?
19-24 ноября 2018 Roboschool, Волгоград 47
Глубокое – потому что очень много слоев.
![Page 48: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/48.jpg)
0
Существующие архитектуры
19-24 ноября 2018 Roboschool, Волгоград 48
Сейчас существует огромное количество архитектур сверточных нейросетей со своими особенностями:
• Inceptions (v2, v3, v4)
• ResNets (18,34,50,…)
• ResNeXts
• Xception
• Nasnets
• Densenets
• SeNets
![Page 49: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/49.jpg)
0
Пример: Inception block
19-24 ноября 2018 Roboschool, Волгоград 49
![Page 50: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/50.jpg)
0
Пример: SeNet
19-24 ноября 2018 Roboschool, Волгоград 50
![Page 51: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/51.jpg)
0
Перенос обучения (transfer learning)
19-24 ноября 2018 Roboschool, Волгоград 51
Источник: https://www.udemy.com/advanced-computer-vision/
![Page 52: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/52.jpg)
0
Перенос обучения (transfer learning)
19-24 ноября 2018 Roboschool, Волгоград 52
≈ 14 000 000 Images
![Page 53: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/53.jpg)
0
Перенос обучения (transfer learning)
19-24 ноября 2018 Roboschool, Волгоград 53
≈ 1000 Images
![Page 54: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/54.jpg)
0
Перенос обучения (transfer learning)
19-24 ноября 2018 Roboschool, Волгоград 54
Кошка или собачка?
![Page 55: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/55.jpg)
0
Почему transfer learning работает?
19-24 ноября 2018 Roboschool, Волгоград 55
Фичи (особенности) разных уровней
![Page 56: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/56.jpg)
0
Почему transfer learning работает?
19-24 ноября 2018 Roboschool, Волгоград 56
![Page 57: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/57.jpg)
0
Почему transfer learning работает?
19-24 ноября 2018 Roboschool, Волгоград 57
Извлечение особенностей Определение класса
![Page 58: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/58.jpg)
0
Почему transfer learning работает?
19-24 ноября 2018 Roboschool, Волгоград 58
![Page 59: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/59.jpg)
0
Фреймворки машинного обучения
19-24 ноября 2018 Roboschool, Волгоград 59
![Page 60: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/60.jpg)
0
PyTorch
19-24 ноября 2018 Roboschool, Волгоград 60
Плюсы:
• Основной фреймворк Facebook для ML
• Поддержка ОС: Windows, Unix, MacOS
• Быстро работает
• Сравнительно понятный синтаксис
• Большое количество предобученных на ImageNet моделей (пакет https://github.com/Cadene/pretrained-models.pytorch ) 45 штук сейчас (для сравнения у kerasв районе 10)
• Динамический граф вычислений
![Page 61: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/61.jpg)
019-24 ноября 2018 Roboschool, Волгоград 61
Минусы:
• Документация и поддержка не самые хорошие
• Только Python
• Ограничен сферой применения из-за малого количества API
![Page 62: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/62.jpg)
0
Tensorflow
19-24 ноября 2018 Roboschool, Волгоград 62
Плюсы:• Разрабатывается Google• Хорошая документация• Поддержка многих языков: Официальные API: Python, C++, Java, SwiftРеализации: JS, Go, HaskellНеофициальные API: Rust, Ruby, Scala, Julia, C#• Поддержка ОС: Windows, Unix, MacOS, Android, iOS• Хорошая документация и сообщество• Инструменты для визуализации (TensorBoard) и для
продакшена (TensorFlow Serving)https://www.tensorflow.org/
![Page 63: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/63.jpg)
0
Tensorflow
19-24 ноября 2018 Roboschool, Волгоград 63
Минусы:
• Сложно отлаживать из-за
статического графа вычислений
• Взяты идеи из Theano, которые немного устарели
• Не самый приятный «синтаксис»
• Для «простых» задач избыточен
![Page 64: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/64.jpg)
0
Keras
19-24 ноября 2018 Roboschool, Волгоград 64
• «Синтаксический сахар» для tensorflow (еще поддерживает CNTK и Theano)
• Код становится сильно проще
• Из-за упрощений закономерное ограничение свободы – есть рамки организации процесса обучения
![Page 65: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/65.jpg)
0
Практический опыт, классификация картин
19-24 ноября 2018 Roboschool, Волгоград 65
Классификация художественных картин по жанрам.
Задача: дано изображение художественного произведения. Необходимо определить жанр картины.
Использовался Tensorflow и Keras.
![Page 66: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/66.jpg)
0
Практический опыт, классификация картин
19-24 ноября 2018 Roboschool, Волгоград 66
![Page 67: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/67.jpg)
0
Практический опыт, классификация картин
19-24 ноября 2018 Roboschool, Волгоград 67
![Page 68: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/68.jpg)
0
Практический опыт, классификация картин
19-24 ноября 2018 Roboschool, Волгоград 68
![Page 69: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/69.jpg)
0
Практический опыт, классификация картин
19-24 ноября 2018 Roboschool, Волгоград 69
![Page 70: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/70.jpg)
0
Практический опыт, классификация картин
19-24 ноября 2018 Roboschool, Волгоград 70
• Жанр у абстракций
• Жанр цакли
• Человеческий фактор
«Оранжевое, красное, жёлтое», М. Ротко
![Page 71: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/71.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 71
https://www.udemy.com/deep-learning-gans-and-variational-autoencoders/
![Page 72: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/72.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 72
![Page 73: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/73.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 73
![Page 74: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/74.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 74
https://t.me/loss_function_porn/254
![Page 75: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/75.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 75
https://arxiv.org/abs/1808.07371
![Page 76: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/76.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 76
Удаление фона:
http://www.k4ai.com/imageops/index.html
![Page 77: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/77.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 77
https://t.me/loss_function_porn/255
![Page 78: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/78.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 78
![Page 79: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/79.jpg)
0
На пике прогресса, GAN
19-24 ноября 2018 Roboschool, Волгоград 79
https://github.com/jayleicn/animeGAN
![Page 80: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/80.jpg)
0
На пике прогресса, GAN, Deepfake
19-24 ноября 2018 Roboschool, Волгоград 80
![Page 81: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/81.jpg)
0
На пике прогресса, RL
19-24 ноября 2018 Roboschool, Волгоград 81
![Page 82: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/82.jpg)
0
На пике прогресса, RL
19-24 ноября 2018 Roboschool, Волгоград 82
AlphaGo — программа для игры в го, разработанная компанией Google DeepMind в 2015 году.
AlphaGo стала первой в мире программой, которая выиграла матч без гандикапа у профессионального игрока в го на стандартной доске 19 × 19, В марте 2016 года программа выиграла со счётом 4:1 у Ли Седоля, профессионала 9-го дана (высшего ранга), во время исторического матча.
![Page 83: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/83.jpg)
0
На пике прогресса, RL
19-24 ноября 2018 Roboschool, Волгоград 83
Боты Deepmind победили профессиональных игроков в режиме 1х1 и 5х5 с ограничениями, но пока проигрывают в режиме без ограничений.
![Page 84: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/84.jpg)
0
На пике прогресса, RL
19-24 ноября 2018 Roboschool, Волгоград 84
Вот когда в шахматы победит тогда поговорим
Вот когда в Go победит тогда поговорим
Вот когда в Dota 2 победит тогда поговорим
Вы находитесь здесь
Вот когда в Dota 2 победит без ограничений тогда поговорим
Вот когда мир захватит тогда поговорим
![Page 85: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/85.jpg)
0
На пике прогресса, RL
19-24 ноября 2018 Roboschool, Волгоград 85
Сеть учится одеваться:
https://www.cc.gatech.edu/~aclegg3/projects/LearningToDress.html
![Page 86: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/86.jpg)
0
На пике прогресса, RL
19-24 ноября 2018 Roboschool, Волгоград 86
Сеть учится акробатике:
https://bair.berkeley.edu/blog/2018/10/09/sfv/
![Page 87: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/87.jpg)
0
На пике прогресса, RL
19-24 ноября 2018 Roboschool, Волгоград 87
https://t.me/loss_function_porn/201
![Page 88: Основы машинного обучения - Singularis LabОсновы машинного обучения Алексей Алексеев aleksey.alekseev@singularis-lab.com](https://reader033.vdocuments.net/reader033/viewer/2022052800/5f1030cc7e708231d447e477/html5/thumbnails/88.jpg)
0
Заключение
19-24 ноября 2018 Roboschool, Волгоград 88
• Машинное обучение вообще и глубокое обучение в частности развиваются очень быстро, работы старше 2-3 лет уже считаются «устаревшими»
• Некоторые задачи по распознаванию изображений нейросети решают лучше людей
• Однако, «серебряной пули» пока нет, все решения работают только в своей области (обычно маленькой).