SQL SERVER 2016,

고급 분석으로 날개를 달다

마이크로소프트

이남근

마이크로소프트 고급 분석

성별나이감정

감정

성인나이성별

행동감지(Motion Detection)

시간대별 장소 및 행동 분석

마이크로소프트 “고급 분석 기술”

SQL서버에서데이터베이스

의 데이터마이닝 기능

정크메일을필터링 하기

위하여컴퓨터의

로직을 활용

키넥트의사용자 제스처

감지기능

Azure ML서비스를

일반에 제공

Machine Learning기반의

검색엔진 활용

Bing맵 교통량분석 예측에ML의 사용

실시간음성통역 기능

존 플랫 (John Platt)Distinguished Scientist Microsoft Research

1999 201220082004 2014 ~ 현재20102005

Machine Learning은 이미 마이크로소프트의 모든 제품에 연관돼있다.“ ”

1999년부터 현재

행동인식실시간

언어분석기계학습

Junk

이메일분석ML

검색 엔진MS-SQL

데이터마이닝Bing

교통예측

클라우드와 온프라미스의 일관된 서비스 제공

Microsoft Tableau Oracle

$120

$480

$2,230

Self-service BI per user

In-memory across all workloads

built-inbuilt-in built-in built-in built-in

at massive scale

0 14

0 03

3429

22

15

5

22

6

43

20

69

18

49

3

0

10

20

30

40

50

60

70

80

1 2 3 4 5 6

SQL Server Oracle MySQL SAP HANA TPC-H

Oracle is #5#2

SQL Server

#1

SQL Server

#3

SQL Server

4

SQL Server 2016: 고급분석기능 통합 빌트인

데이터의 의사결정 가치

가치

Data

$1.6Trillion

(1800조원)

행동의사결정

Microsoft 고급분석을 위한 제안

CortanaAnalytics Suite

SQL Server 2016

(2)하이브리드

다양한 고급 분석의 기본 과정

수집(Ingest)변환

(Transform)탐색(Explore)

모델선정( Model)

분석 전개

스코어링(Score)

시각화(Visualize)

평가(Measure)

모델

스코어

ƒ(x)

분석 준비 단계 분석 모델링

분석 환경 구축

데이터 사이언티스트 = 모델의 수립 및 테스트

데이터 사이언티스트 평균 임금- 년간 350 K

수집(Ingest)변환(Transform)

탐색(Explore)

모델 선정(Model)

분석 전개(Deploy)

스코어링(Score)

시각화(Visualize)

평가(Measure)

모델

스코어

ƒ(x)

분석준비단계 분석 모델링

분석 환경 구축

그러나 현실은 …

15%

데이터 사이언티스는 대부분은

수집(Ingest)

변경(Transform)

탐색(Explore)

모델선정(Model)

분석전개(Deploy)

스코어링(Score)

시각화(Visualize)

평가(Measure)

모델

스코어

ƒ(x)

분석준비단계 분석 모델링

분석 환경 구축

80%

5%

15%

R 이란?

Open source “사실상 표준어”

분석, 컴퓨팅, 모델링

글로벌 커뮤니티

수백만 명의사용자

7,000+ 패키지

빅데이터생태계

확장성

• 가장 많이 사용되는 데이터 분석 소프트웨어• 2백만 명 이상의 데이터사이언티스트, 통계학자 및

분석가가 활용

• 오픈소스 커뮤니티의 성장성• 분석 리서치의 최첨단

• 가장 강력한 통계 프로그래밍 언어• 유연성, 기능 확장성, 포괄성 등으로 생산성이 높음

• 고급인력 격차 해소• 최근의 연구생들은 R을 선호함

R 패키지(Package) 예시

• ggplot2을 이용한 시각화:

백만 회 이상 다운로드(2015년)

• RODBC: 전통적으로 SQL Server에서 데이터를 가져오는 방법

• 각종 데이터 가공, 통계분석, 예측분석을 위한 패키지들:CRAN주, Bioconductor, GitHub등에 공개주) The Comprehensive R Archive Network

https://cran.r-project.org/

http://www.maths.lancs.ac.uk/~rowlings/R/TaskViews/

Open source R 사용시 어려움

$?

기업 관점에서TCO와 ROI에 대한불확실성

(오픈소스 프로젝트관리를 위한인력구성, 교육, 기술지원 영역)

체계적인 관리가되지 않을 경우, 데이터 인프라와통합이 복잡하고Silo를 방지하기쉽지 않음

스케일과 성능 문제 데이터 이동으로인하여 효율적인데이터 모델링이방해받음

Revolution ROpen

Revolution REnterprise

Multi-core 프로세싱을 포함한 R 언어 엔진 포함됨 지원됨

R Reproducibility Toolkit & MRAN 포함됨 오픈소스 그대로 지원됨

ParallelR: 병렬처리 프로그래밍 툴킷 오픈소스 그대로 지원됨

RHadoop: Hadoop 맵리듀스를 위한 R 인터페이스 오픈소스 그대로 지원됨

DeployR Open: 웹 서비스 API 오픈소스 그대로 지원됨

RRE DeployR – 다중 서버, 엔터프라이즈 인증 지원 RRE 라이선스로 지원됨

RRE ScaleR – 빅데이터 툴킷 및 R를 위한 PEMA*지원 RRE 라이선스로 지원됨

RRE DistributedR – EDW, 그리드, Hadoop 활용 연산 RRE 라이선스로 지원됨

AdviseR 기술 지원 지원됨

Revolution Analytics 제공 서비스 (컨설팅 / 교육) Available Available

Open source R vs Microsoft R server

* PEMAs: Parallel External Memory Algorithms

14

File NameCompressedFile Size (MB) No. Rows

Open Source R

(secs)Revolution R

(secs)

Tiny 0.3 1,235 0.00 0.05

V. Small 0.4 12,353 0.21 0.05

Small 1.3 123,534 0.03 0.03

Medium 10.7 1,235,349 1.94 0.08

Large 104.5 12,353,496 60.69 0.42

Big (full) 12,960.0123,534,969 Memory! 4.89

V.Big 25,919.7247,069,938 Memory! 9.49

Huge 51,840.2494,139,876 Memory! 18.92

Public US Flight Data 활용 사례

– 8 file-sizes; • tiny ~1k rows

• huge ~500m rows !

• 29 컬럼`

– Big (full) = 22년간의 미국항공사비행 데이터

선형회귀(Linear Regression) 모델분석

– 비행기 도착 지연 원인 분석(일별, 주별) 선형회귀 분석 상기 시험은 4 core 랩탑, 16GB RAM 및

500GB SSD 환경에서 수행되었음

병렬 알고리즘을 활용시 오픈소스 표준에 비해 수십~수백배의 성능 기대 가능

Open source R vs Microsoft R server 성능 비교

Microsoft Server R 제품군

Revolution R Open

Revolution R Enterprise

Microsoft R Server for Hadoop on RedHat

Microsoft R Server for TeradataDB

Microsoft R Server for RedHat Linux

Microsoft R Server for SUSE Linux

• 보안강화, 확장성을 확보한 지원서비스를포함한 R 배포판

• Revolution Analytics이 개발한 성능/기능개선을 위한 컴포넌트 포함

• 무료이며, 오픈소스 R 배포판임

• Revolution Analytics에 의해 개선 및 배포

MS SQL 2014R Server on Window

Microsoft R Server : The All-Inclusive Big Data Big Analytics Platform

DistributedR

DeployR DevelopR

ScaleR

ConnectR

DevelopR : RStudio같은 개발툴 DeployR : 개발된 결과를 특정 서버에 배포하고, 개발자가쉽게 접근할 수 있는 웹서비스 API로 노출 – 엑셀, BI, LOB에서 활용– 연동 BI : Tableau, QlikView, Excel, Jaspersoft 등– API: Java, JavaScript, .NET 지원– 로드분배, 스케쥴링 지원– Secure web services– SSO, LDAP, AD, PAM, Basic Authentication 지원– 접근권한 관리기능

ConnectR : 여러 소스 연결– ASCII, SAS, SPSS, ODBC, HDFS, Teradata TPT, XDF (out-of-memory data object)

ScaleR : multi-core multi-thread를 지원하는 알고리즘들(참고 : click)

DistributedR : 다양한 플랫폼의 자원을 활용하도록연결하는 병렬 연산 프레임웍

CRAN(Comprehensive R Archive Network): 5800개이상의 사용자가 직접 개발한 패키지를 공유

17

Microsoft R Enterprise : 통합 Big Data Big Analytics 플랫폼

성능 극대화

DistributedR

ScaleR

ConnectR

DevelopR

18

Deploy R :한번 개발하고 여러 플랫폼에 배포

SCALE, PORTABILITY & PERFORMANCE를 위한 설계

In the Cloud Azure

Workstations & Servers LinuxWindows

Clustered Systems Linux Clusters (LSF For Now)Microsoft HPC

EDW Teradata

HadoopHortonworksClouderaMapR (soon HDInsight)

Naïve Bayes

ScaleR: 가장 많이 활용되는알고리즘에 대해 고성능 병렬처리가 가능하도록 구현됨

19

Data import – Delimited, Fixed, SAS, SPSS, OBDC

Variable creation & transformation Recode variables Factor variables Missing value handling Sort, Merge, Split Aggregate by category (means, sums)

Min / Max, Mean, Median (approx.) Quantiles (approx.) Standard Deviation Variance Correlation Covariance Sum of Squares (cross product matrix for set

variables) Pairwise Cross tabs Risk Ratio & Odds Ratio Cross-Tabulation of Data (standard tables &

long form) Marginal Summaries of Cross Tabulations

Chi Square Test Kendall Rank Correlation Fisher’s Exact Test Student’s t-Test

Subsample (observations & variables) Random Sampling

Data Step Statistical Tests

Sampling

Descriptive Statistics

Sum of Squares (cross product matrix for set variables)

Multiple Linear Regression Generalized Linear Models (GLM) exponential

family distributions: binomial, Gaussian, inverse Gaussian, Poisson, Tweedie. Standard link functions: cauchit, identity, log, logit, probit. User defined distributions & link functions.

Covariance & Correlation Matrices Logistic Regression Classification & Regression Trees Predictions/scoring for models Residuals for all models

Predictive Models K-Means

Decision Trees Decision Forests Gradient Boosted Decision Trees

Cluster Analysis

Classification

Simulation

Variable Selection Stepwise Regression

Simulation (e.g. Monte Carlo) Parallel Random Number Generation

Combination PEMA-R API rxDataStep rxExec

ScaleR: 고성능 병렬 처리가 가능 알고리즘

데이터 건수 10억건 10억건

파라미터 7개 이하 7개

시간 80 초 44 초

데이터 위치 메모리 디스크

노드수 32 5

코어수 384 20

RAM 1,536 GB 80 GB

Double

45%

1/6th

5%

5%Microsoft R이 같은 양의 데이터를 core 수는 1/20, RAM은 1/20, 노드는 1/6만을 쓰고, 데이터를 RAM에 미리 올리지 않는방식을 쓰고서도 더 빠른 결과를 얻을 수 있었음

Bottom Line: Microsoft R Enterprise Performance = Greatly Reduced TCO*As published by SAS in HPC Wire, April 21, 2011

로지스틱 회귀분석:

20

Microsoft R 이 저비용으로 S사의 성능을 앞선 테스트 사례

20

S 사 Microsoft R Server

24/7 지원,

SQL 2016에 RRE 포함및 지원

다양한 데이터 infra 로부터 단일 분석 플랫폼제공

빠르고, 정확한 의사결정 지원

하이브리드 클라우드,

재사용 가능한 Code,

fewer limits

SQL Server 2016 R 서비스 제안

SQL Server 2016 R Services

• In-DB 분석 (SP에서 R호출)

• 고성능 병렬쓰레딩/프로세싱

운영의 용이성

• 개발자, DBA, 데이터사이언티스트가 선호하는도구를 쓸 수 있음

“온프레미스에서 모델링하고, 클라우드에서 스코어링하고“–또는 그 반대로

메모리 한계를 극복하는 손쉬운방법 – 대용량 데이터 처리시이점

• SQL Server 2016에 포함

• 기존의 R 코드를 재사용하고최적화할 수 있음

• 재개발 및 교육 비용 절감

$

Best of both worlds

SQL 사용 영역 : 인메모리 컬럼스토어 인덱스를 이용한 빠른 쿼리

R 사용 영역 : 데이터 탐색, 예측 모델링, 스코어링, 시각화

SQL Server 2016 R Services

SQL Server 2016 R Services

• SQL2016 Server R 장점• 데이터 이동의 최소화

• 분석을 위한 성능 극대화 지원(Parallelized Analytics)

• Security 노출의 감소

• 데이터 엔지니어의 SQL 기술 재사용

• App 개발자의 SQL 기술 재사용

• 어플리케이션의 조작 편의성 증대

• Enterprise R Analytics

Typical Advanced Analytics Process

OperationalizeModelPrepare

SQL 2016

• 분석모델 , 구현 & 환경 통합분석 주기의 지원(Support Entire Analytics Lifecycle)

SQL 2016에서 R 지원(SQL 2014에서도 사용가능)

SQL 사용자가 BI 어플리케이션을 이용한 R 분석

데이터 베이스에 내장된 고급 분석(In-database advanced analytics)

데이터 사이언티스트

데이터와 직접 상호작용

SQL 개발자 및 DBA데이터와 분석로직을

함께 관리

확장모듈솔루션 예시

영업 Forecasting

재고 효율화

예측 정비

신용 리스크 방지

…

010010

100100

010101

관계형 데이터

Analytics libraryT-SQL 인터페이스

?R 통합모듈

Built into SQL Server 2016

010010100100010101

데이터를 이동할 필요 없이실시간으로 운영데이터 분석

R과 인메모리 고성능 분석을 동시에,병렬 쓰레드/프로세싱 R 함수 활용

Microsoft Advanced Analytics 고객 사례출판일 고객 사용 사례 출판 유형 관련 기사

2015년 12월Russell Reynolds Associates

기존의 인재채용 검색은 노동집약적이고 데이터베이스에 저장된 데이터에 의존하여 직접 작성한 쿼리를 이용하는 수작업이었음. Russell Reynolds Associates는 이제 MS의 빅데이터/고급분석 기술을 활용하여 정형/비정형 데이터를 검색할 때, 시스템이 학습을 통해 제시하는“인재 추천“ 정보를 활용할 수 있게 됨

ML BlogCortana Analytics Suite Powers Russell Reynolds Associates’ Search for the Perfect Match

2015년 12월 ServusNetServusNet는 현재 일일 날씨예보를 활용하여 Farm 수준의 풍력발전 예보를 생성하는 온프레미스 소루션을 사용함. ServusNet은이제 클라우드에서 End-to-End로 구성된 솔루션을 통해 제품군을 확대하고 글로벌 차원의 다수의 풍력발전 Farm 포트폴리오와 고객을지원하고자 함

ML BLogServusNet Forecasts Wind Power Using Cortana Analytics Suite

2015년 10월 OpenFieldOpenField는 선도 데이터관리 기업으로 세계적으로 유명한 축구클럽과 유럽의 다수 스포츠 및 공연장에 사용되는 솔루션을 공급함. OpenField는 Cortana Analytics를 활용하여 contextual 마케팅 솔루션에서 데이터를 보다 효율적/효과적으로 사용함으로써 통찰력을 실행력으로 연결시킴.

ML BlogOpenField Uses Cortana Analytics to Get Ahead in the Marketing Game

2015년 9월 Diebold사전 계획되지 않은 장비 다운타임은 여러 산업에 걸쳐 심각한 비즈니스 장애이며, 매출 감소, 갑작스럽게 발생되는 수리비용, 고객 불만족 등으로 이어짐. IoT의 발전과 더불어 이 문제를 정기적으로나 연속적인 장비 상태 모니터링과 연계한 예측정비 관점에서 접근할 수 있게 됨.

ML BlogCortana Analytics Suite Helps Diebold Predict ATM Failures

2015년 8월Optolexia

인구 이동 추적데이터와 클라우드 기반의 MS Azure Machine Learning으로 구축한 분석엔진을 활용함으로써, Optolexia는 학교에서 난독증 학생들을 현재의 검진방법보다 훨씬 빠르게 식별하고자 노력함.

Customer Case Study

Swedish researchers build dyslexia screening tool with cloud-based analytics solution

2015년 6월 Tacoma Public School

소프트웨어는 어떤 학생이 중퇴할 것인지 예측할 수 있는가? Tacoma, WA의 한 공립학교의 명성은 얼마 전까지만 해도 그다지 좋지 않았음. 이 Tacoma 공립학교는 어떻게 극적인 전환을 하게 되었을지?

ML BlogML Predicts School Dropout Risk & Boosts Graduation Rates

2015년 6월 Genscape Genscape는 에너지 시장에서 데이터와 인텔리전스를 공급하는 기업임. 수일에 걸친 수요예측 모델 개발 Pilot을 수행함.Customer Case Study

Fueling the energy market with fast, predictive, cloud-based intelligence

2015년 5월 Mendeley Mendeley는 연구자 소셜 문서 플랫폼임. 핵심 사용자를 예측하기 위한 모델을 만들어 이메일 타겟 마케팅을 실행하고 사용자층 확대. ML BlogHow Azure ML Helps Mendeley Engage the World’s Researchers

2015년 4월Gaffery Healthcare

수작업 데이터수집을 위한 인원 없이 서드파티를 통한 클레임 지급 가능성을 예측함. ML BlogHow ML Accelerates Claim Automation & Revenue at GAFFEY Healthcare

2015년 3월 eSmart SystemseSmarts는 노르웨이의 유틸리티 고객을 위해 스마트 그리드/미터용 소프트웨어를 개발함. 다양한 레벨(미터레벨과 상위 집계레벨들)에서의 에너지 부하를 예측하고, 이에 따라 병목 예측을 수행, 그 결과물을 자동 부하 분산을 위한 최적화 알고리즘에 활용함.

Customer Case Study

Making cloud technologies the brain of the modern smart grid

2015년 2월 Aerocrine전세계 수백만의 천식 환자는 Aerocrine의 모니터링 도구를 이용하여 효과적으로 천식을 진단하고 치료하고 있음. 하지만 이 보구들은 현실 환경에서의 자그만 변화에 민감함. 이로 인해 Aerocrine은 클라우드 기반 분석 솔루션을 이용해 안정성을 높임.

Customer Case Study

Deeper Data, Better Health

2014년 12월 JJ Food Service주문하려는 상품이 이미 쇼핑 카트에 담겨져 있는 것이 고객이 원하는 바임. JJ Food Service의 고객들은 온라인이나 전화로 주문을 할 때이미 매번 그러한 사용자 경험을 하고 있음. 이는 MS의 Azure Machine Learning과 Dynamics AX를 잘 활용한 결과임.

Customer Case Study

Food Delivery Service Uses Machine Learning to Revolutionize Customer Service

2014년 12월 Pier 1 Imports유통업체인 Pier 1 Imports는 데이터 이사이트를 통해 고객과 더 연결되기를 원함. 이를 위해 예측분석 솔루션을 검토하였고 클라우드 기반의 MS Azure Machine Learning과 Power BI를 접목하였음.

Customer Case Study

Finding a Better Connection with Customers Through Cloud Machine Learning

2014년 9월Carnegie Mellon University

Carnegie Mellon University (CMU)는 MS Azure과 PI System™ (MS의 글로벌 ISV인 OSIsoft사의 제품)을 이용하여 건물 유지 및 에너지비용을 절감하고자 하였음. 이제 CMU는 Azure Machine Learning을 추가하여 고장탐지, 진단 등 운용효율화 측면의 개선을 실행함

Customer Case Study

Carnegie Mellon Sees a Way to Cut Energy Use by 20 Percent with Cloud Machine Learning Solution

2014년 8월 ThyssenKruppThyssenKrupp Elevator는 서비스 안정성에 집중함으로서 경쟁력을 확보하였음. IoT와 ML의 잠재력을 끌어냄으로써, ThyssenKrupp 은 경쟁사가 제공하지 못하는 예측 및 사전정비를 서비스 내에 실현하였음

News ArticleThe Internet of Things gives the world’s cities a major lift

Finance Insurance

Healthcare & Pharma Digital Economy Analytics Service Providers

Manufacturing & High Tech

이제까지의 Revolution Analytics 사용 고객

26

협력 파트너 구성

27

Deployment / Consumption

Data / Infrastructure

Advanced Analytics

ETL

SI / Service

Corios

MSP / DSP

Microsoft Server R