machine learning and azure machine learning

MACHINE LEARNING & AZURE ML SERVICES

ОБО МНЕ

Александр КондуфоровData Science Group Leader,

Software Architect @ AltexSoft

В прошлом – .NET разработчик, Software Architect,

Project Lead

Kharkov AI club

СОДЕРЖАНИЕ

1. Что такое Machine Learning, зачем он нужен

2. Примеры применений ML

3. Типы обучения

4. Популярные ML-алгоритмы

5. Supervised Learning workflow

6. ML в .NET

7. Обзор Azure ML Services

8. Azure ML demo

MACHINE LEARNING

“Field of study that gives computers the ability to learn without being explicitly programmed”

Arthur Samuel

Для некоторых задач невозможно написать алгоритм

КОГДА НЕ ОБОЙТИСЬ БЕЗ ML

• Человек не может объяснить свой опыт и создать алгоритм –

распознавание образов, голоса, координация движений и т.д.

• Человеческий опыт не существует как таковой – навигация на

Марсе

• Обстановка меняется со временем и нужно адаптироваться –

биометрия людей, биржевые индексы, цены на недвижимость

ТИПЫ ОБУЧЕНИЯ

• Supervised Learning

• Semi-supervised Learning

• Unsupervised Learning

• Hybrid (Supervised + Unsupervised)

• Reinforcement Learning

• Online Learning

SUPERVISED LEARNING

Данные – (input, correct output)

UNSUPERVISED LEARNING

Данные – (input, ???)

REINFORCEMENT LEARNING

• Роботы

• Игровой AI

ОСНОВНЫЕ ТИПЫ ЗАДАЧ

Supervised learning

• Классификация

• Регрессия

Unsupervised learning

• Кластеризация

• Определение выбросов

Гибридные

• Коллаборативная фильтрация (рекомендации)

ПОПУЛЯРНЫЕ АЛГОРИТМЫ

• Регрессия

• Деревья решений

• Искусственные нейронные сети

• k-means кластеризация

• Collaborative Filtering

РЕГРЕССИЯ

Y = b0+b1x1+b2x2+…+bkxk Y = b0+b1x+b2x2+b3x3

DECISION TREE / RANDOM FOREST

Создание дерева на основании данных и определение

условий в каждом узле дерева.

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Построены на базе нейронов мозга

Множество видов:

• многослойный перцептрон

• сеть Хопфилда

• сеть Кохонена

• неокогнитрон

• спайковые сети

• сверточные сети

K-MEANS КЛАСТЕРИЗАЦИЯ

COLLABORATIVE FILTERING

User-based recommendation:

SUPERVISED LEARNING WORKFLOW

• Data analysis and preprocessing (cleaning, transformation)

• Feature engineering (new, correlated)

• Fit selected model (training data)

• Evaluate model (test data, choose error type)

• Change data, algorithm and model parameters until

satisfied

• Use model for predictions

GENERALIZATION VS. MEMORIZATION

Overfitting – features of the model that arise from relations that are in

the training data, but not representative of the general population.

BIAS-VARIANCE TRADEOFF

VALIDATION / CROSS-VALIDATION

Validation:

60%/40% 50%/50% 80%/20%

Cross-validation:

• K-fold CV

• Leave-one-out CV

CLASSIFICATION ERRORS

ML В .NET

• Infer.NET (MS Research)

• Accord.NET

• AForge

• Numl

•Math.NET Numerics

• Azure ML Services

AZURE ML SERVICES

Cloud-based predictive analytics from Microsoft

ОСНОВНЫЕ ВОЗМОЖНОСТИ

• ML Studio

• Built-in data preprocessing and ML algorithms

• Integration with Azure data storages and other services

• Plots for data analysis

• R support

• Fast conversion to web-service

ЦЕНЫ

РЫНОК АЛГОРИТМОВ И ДАННЫХ

TIME FOR SOME DEMO

ПОЛЕЗНЫЕ ССЫЛКИ

• http://azure.microsoft.com/en-us/services/machine-

learning/

• https://www.coursera.org/courses?orderby=upcoming&

cats=cs-ai

• http://bit.ly/1zTTKrF - Data Science Dojo tutorials!

• http://kaggle.com

СПАСИБО !

• Blog: http://merle-amber.blogspot.com

• Kharkiv AI Club: http://aikharkov.wordpress.com/

• Skype: alex_konduforov

• @konduforov