А.Левенчук -- Образование по машинному обучению
TRANSCRIPT
Образование по машинному обучению.
Семинар РАБО и МТИ «Нейротехнологии: новая перспектива в бизнес-образовании»
Москва8 июня 2016г.
Чему учим? Практика = дисциплина + технология
Дисциплинированные (компетентные) исполнители,
обеспеченные необходимыми для поддержки дисциплины инструментами2
ВУЗ, ШКОЛА
(education)
Производство,
повышение квалификации (training)
Главное,
невидимое!
Вторичное, видимое!
3
Схематизация: различение дисциплины и технологии в практике
• дисциплины = мышление (операции с абстрактными типизированными объектами). Меняются за 30 лет. Учатся в школе и ВУЗе. Практика определяется по её дисциплине. Инвестиции в «человеческий капитал».
• технологии = инструменты и рабочие продукты (поддержка мышления в экзокортексе). Меняются каждые 5 лет. Учатся на производстве. Проекты используют технологии как «ресурсы». Инвестиции в традиционный капитал.
• Понимание связи дисциплин и технологий, идеальных объектов дисциплин и рабочих продуктов в жизни нужно ТРЕНИРОВАТЬ, для этого обычно нужен преподаватель
В жизни ни одного слова из учебника
В учебнике ни одного слова из жизни
=Компоненты, функциональные единицы,альфы
=Модули, конструктивные единицы, рабочие продукты
Главная дилемма образования
• Формальное образование против материального• Быдлокодеры и быдлонейротехнологи
Биологическое «нейро»
• Нейро – обычно всегда «живое», нейрофизиология• Искусственное «нейро» -- deep learning или
machine learning• Они родственники, но дальние! (вдохновляют друг
друга, но не более)
• Справка по нейронет• Коллаборативный нейронет (мониторинг когнитивной
нагрузки, в т.ч. при обучении)• НТИ Нейронет («Рособороннейро»)
6
Моделирование, программирование, проектирование
• Противопоставляются обучению• Развивается ускоренными темпами: конвергенция• Главный тренд: «мета» (модели моделей, уровни абстракции)• Они всё про одно и то же: формальные описания мира• Разница: цели, способы выполнения, языки• Моделирование: выполнение=«как договоримся»
• Онтологизирование: моделирование концептов («formal specification of shared conceptualization»).
• Физическое моделирование
• Программирование: выполнение = вычисление в семантике какого-то языка
• Проектирование: выполнение=воплощение в пространстве-времени
• Граница с обучением размывается: множество работ типа диссертации Войцеха Зарембы «Learning Algorithms from Data» (http://www.cs.nyu.edu/media/publications/zaremba_wojciech.pdf)
И тут пришёл коннекционизм («нейронные сети»)
http://blogs.nvidia.com/blog/2016/01/12/accelerating-ai-artificial-intelligence-gpus/
2012 – догадались использовать GPU для распознавания изображений
2015 –стали распознавать лучше людей
С тех пор темп открытий не уменьшился.
8
В чём суть сегодняшнего прорыва в машинном интеллекте?• Отказ от логики (даже нечёткой) в пользу
многоуровневых распределённых представлений (коннекционистская парадигма) – http://ailev.livejournal.com/1228029.html• Распределённость – это не раскиданные по разным
носителям тексты! Это совсем-совсем другое (более похоже на голограммы против растровой или векторной графики – нельзя указать, где в голограмме хранится какой пиксель или вектор картинки).• В распределённых представлениях можно также делать
логический вывод – http://ailev.livejournal.com/1266905.html
9
За счёт чего сверхчеловеческие (superhuman) результаты?• Многослойность нейронной сети: каждый уровень сети – это
уровень абстракции.• У людей немного уровней нейронной сети, в компьютерах уже
сегодня число уровней моделируется больше, чем в мозге.• Это означает, что мощность представления мира в нейронных
сетях в каждой предметной области выше. Так что речь сейчас идёт больше о наборе достаточной «широты» (предметных областей), глубины (числа уровней абстракции) уже хватает.
• Снятие ограничения на число уровней абстракции заодно позволяет нейронной сети быть «умней» в науке и инженерии: работать с более сложными, более абстрактными теориями и эвристиками – в том числе и недоступными для понимания человеком.
10
Машинное обучение, обучение репрезентациям, deep learning (собственно «нейро»).
Shallow LearningBig Data
Deep Learning
Neuroevolution
Bayes Army
SymbolicТеорема бесплатного завтрака
Master AlgorithmPedro Domingos [module/construction]
• Symbolic• Evolution• Connectivist• Bayesian• Analogy[No free lunch!]
Sarath Chandar [component/function]•multi-task learning• transfer learning• zero-shot/one-shot
learning•multi-modal learning• reinforcement learning
11
http://apsarath.github.io/2016/01/19/agi/ http://www.amazon.com/dp/0465065708/
12
Специальность «инженерия машинного обучения»• Systems engineering [Bell Labs in 1940s, boosted as a
profession by NCOSE 1990]• Software engineering [term appeared in 1965, boosted
by NATO as a profession in 1968]• Machine learning engineering [term appeared in 2011]
https://www.google.com/trends/explore#q=machine%20learning%20engineering&cmpt=q&tz=Etc%2FGMT-3
13
Intelligence Platform Stackand machine learning engineering in it
Application (domain) Platform
Cognitive Architecture Platform
Learning Algorithm Platform
Computational library
General Computer Language
CPU
GPU/FPGA/Physical computation Drivers
GPU/FPGU/Physical computation Accelerator
Neurocompiler
Neuromorphic driver
Neuromorphic chip
Disr
uptio
n en
able
rsDisruption dem
and
Thanks for computer gamers for their disruption demand to give us disruption enabler such as GPU!
С чего начать
14
Недавно в ходе пятидневного вводного курса, проводимого Обучающим центром МТИ, одна женщина-менеджер из конструкторского отдела компании Ford лаконично сформулировала ситуацию: «Спустя пару дней, — сказала она, — я начинаю понимать, о чем вся эта история с системным мышлением и интеллектуальными моделями. Мне это напоминает время, когда я только начала знакомиться с высшей математикой. Сначала я чувствовала себя совершенно потерянной. Все это было мне совершенно чуждо. Но потом я начала «схватывать» суть. Через год я уже вполне владела основами этого дела. Через пять лет это стало основой моей профессии». Потом она добавила: «Если бы высшую математику изобрели сегодня, ни одна из наших корпораций не смогла бы ею овладеть. Мы бы посылали каждого на трехдневные курсы. Затем каждый получал бы три месяца на то, чтобы посмотреть, работают ли «все эти штуки». А когда выяснялось бы, что они не работают, мы бы начинали пробовать что-нибудь другое».
Питер Сендж, "Пятая Дисциплина"
Что внутри (компетенции)• Это не похоже на образование программиста!• Непрерывная математика:
• линейная алгебра• Матанализ• Байесовская статистика• Численные методы• Математическая оптимизация (включая нелинейную)
• Спецкурсы по машинному обучению• Проблема: каждый год предметная область существенно обновляется!
• Программная инженерия• Scientific computing: [было Fortran и MATLAB], С++, Python, будет Julia (остальное
маргинально, например R главным образом используется в shallow learning)
• Кавалерийский наскок (трёхдневные курсы повышения квалификации) не поможет!
• Переучивать программиста дольше, чем доучить физика или инженера (линейная алгебра и матан заходят в мозг долго и требуют тяжёлого труда – современных программистов этому по факту не учат).
Conversion of engineeringsandDisruption of engineerings
16
Systems
Engineering
Control Engineering
Software Engineering
Machine Learning
Engineering
???
Janosh Szepanovits. Convergence: Model-Based Software, Systems And Control Engineering
+
http://www.infoq.com/presentations/Model-Based-Design-Janos-Sztipanovits
Le Bottou – «Machine Learning disrupts software engineering»http://leon.bottou.org/slides/2challenges/2challenges.pdf
We can add:• Machine learning disrupts
systems engineering• Machine learning disrupts
control engineering• …• Machine learning disrupts
contemporary engineering
А что с инженерным образованием?!
Ещё?• Такие же изменения в структуре предметов, которые когда-то
вызвали • информационные технологии (по содержанию работы)• интернет (по организации работы)
• Пример: лингвистика уже совсем-совсем другая, массовая нужда в нейролингвистах:• Чатботы колл-центров• Чатботы всех устройств с контроллерами• Обработка и синтез текстов на многих языках• Лингвистика сегодня – это и про обработку изображений (описания
изображений, построение изображений по описаниям)• Реклама и маркетинг с пропагандой, игры и развлечения,
социальные сети, системы безопасности, ПРАКТИЧЕСКИ ВЕЗДЕ, ГДЕ НУЖЕН ЧЕЛОВЕК: можно • автоматизировать то, что делалось людьми раньше• Делать то, что раньше люди делать не могли (в силу ограничений
человека).
