금융및제조기업 사례로살펴보는아파치 하둡기반빅데이터여정 ·...

© 2017 IBM Corporation

백지훈 지사장Hortonworks

금융 및 제조 기업사례로 살펴보는 아파치하둡 기반 빅데이터 여정

© 2017 IBM Corporation 2Page

Opensourceisawaytoenableagroupofcollaborative peopletofurthertheir

individualinterests whilecontributing backtothecommunity forthecommongood.

오픈 소스는 공동 작업자 그룹이 공동 이익을 위해 공동체에기여하는 동시에 개인의 이익을 추구합니다.

Open Source


WHO아파치 소프트웨어 재단은 공익을 위해 오픈 소스 소프트웨어프로젝트의 Apache 커뮤니티를 관리하고 각 프로젝트에 필요한인프라와 법률 프레임 워크를 제공하는 독립적인 비영리 법인입니다.

WHAT아파치 프로젝트는 협업적이고 합의를 바탕으로 한 개발 프로세스,공개적이고 실용적인 소프트웨어 라이센스,그리고 그 분야에서앞서가는 고품질의 소프트웨어를 만들려는 욕망을 특징으로 합니다.

Apache Software Foundation(apache.org)


AGE OF DATA


APACHE HADOOP COMMIT TERS

호튼웍스는 커미터를 고용아파치 하둡 프로젝트와 20개가 넘는 Apache 주요프로젝트에 걸쳐 2위 업체보다 2배 이상 많은 208개의커미터 시트를 보유한 Hortonworks는 엔터프라이즈Hadoop시장에서 요구되는 데이터 액세스,보안,운영 및거버넌스에 집중하는 Apache커미터를 가장 많이 고용하고있습니다.

호튼웍스는 하둡 로드맵에 영향력을 보유최신 데이터 아키텍처를 혁신하며, 로드맵을 제공합니다.

Hortonworks Influences the Apache Community


2015년 8월 인수

HORTONWORKS TO ACQUIRE ONYARA

하둡으로의 데이터 이전 작업은 복잡하고번잡하여 제대로 완수하려면 수 주혹은 수 개월이 소요


IBM + Hortonworks Committers

0

50

100

150

200

250

300

IBM+Hortonw

orks

AsofJanuary2016– basedoncompanyaffiliationof2,200ASFCommitters

# o

f A

pache

Com

mit

ters

IBM과 호튼웍스가 함께 하면 다른 어떤 회사보다 아파치 커미터가 3배 이상이 많습니다.

8 ©HortonworksInc.2011– 2017.AllRightsReserved

호튼웍스의 접근개발

배포서비스

설계


포착스트리밍 데이터

전달사라지는 통찰력

결합새로운 혹은 과거 데이터

저장영구적인 데이터

접근멀티테넌트 데이터 레이크

모델인공지능

DATAATRESTHortonworksDataPlatform

(PoweredbyApacheHadoop)

DATAINMOTIONHortonworksData Flow

(PoweredbyApacheNIFI)

행동가능한지능

사라지는 통찰력 역사적인 통찰력

©HortonworksInc.2011– 2016.AllRightsReserved

DatainMotion

DataatRest

DeepHistoricalAnalysis

DATA C ENTER

StreamAnalytics

EdgeData

DatainMotion

MachineLearning

C LOUD EdgeData

EdgeAnalytics

DataatRest

변화된 응용프로그램에서는 연결 데이터가 필요


연결된 시대가 만드는 데이터의 영웅들

비전 분석 아키텍처

ExecutiveSponsorship DataScience ITSystems&Ops


Hortonworks,ExecutiveSponsors와 제휴 – 데이터의 비전 제시

우리를 혁신적인 팀으로생각해주어서 흥미롭습니다.

우리는 예상치 않은 행동변화를만드는 새로운 방식에 있어전통적인 데이터 접근방법을 잊어버리고 새로운 방법으로 데이터를접근합니다.

직원들은 더 자유롭고 가치있다고느낍니다.

비전 제시자는 연결된 데이터프로젝트를 후원


Hortonworks, 데이터 과학자와 협력

“우리는 간단히 갈 수 없었던곳를 탐험 할 수 있습니다.

이 기술을 사용하기 전에는불가능했습니다.

이것은 어떤 경우에는 무한한통찰력을 발휘할 시간을갖게했습니다.

몇 가지 쿼리는 이전에는불가능했으며 지금은 하루안에 결과를 알수 있습니다."

데이터 과학자들이연결데이터앱으로 실용적인인텔리전스 제공


Hortonworks, 데이터 아키텍트와 파트너

연구와 관련하여 여러 가지 다른격리된 데이터저장소를옮겼습니다. 우리는 전통적인 ETL메카니즘을 요구할 필요가없었습니다. 우리는 데이터노드에 데이터를 탑재하고이동할 수 있었고, 하둡의도구들을 사용하여 노드(서버)를조작할 수 있습니다.

아키텍트는 비지니스가치를 위해호튼웍스 기술을 통합

15 ©HortonworksInc.2011– 2017.AllRightsReserved15 ©HortonworksInc.2011– 2017.AllRightsReserved

I NNOVATERENOVATE

TRANSF

ORM

DATAD ISCOVERY

ACT IVEARCH IVE

S INGLEV IEW

ETLONBOARDO

PTI

MIZE

P RED ICT IVEANALYT ICS

DATAENRICHMENT

EXPLO

RE Time-Series

AnalyticsBatch

GenealogiesQualityAnalysis

Logistics

Customer360°

Factory360°

PredictiveMaintenance

EnergyManagement

Real-TimeOperations

YieldAnalysis

SingleViewofProduct

YieldOptimization

Warranty&Service

ProcessMonitoring

ConnectedCar

InventoryPredictions

SupplyChain

Tracking

SupplyChainOptimization

InvestmentPlanning

SupplierScorecards

ProductMonitoring

DefectDetection

CustomerSegmentation

SingleViewofDistribution

CustomerSupport

SourcingRawMaterials

CyberSecurity

EXAMPLE MANUFACTUR ING JOURNEY

Cross-BatchAnalysis

EquipmentMonitoring

QualityOptimization


머크의 제약 제조에서의 골든 배치

DATADISCOVERY

DATADISCOVERY역학(疫學)

실패한 배치는1백만 달러를 소비

SINGLEVIEW과학적 검색

마케팅백신을 만드는것은 생물학적인

요소들의정확한 조절이필요

수율은 배치에서배치로광범위하게

변함

ACTIVEARCHIVE센서 데이터 저장

머크는 1개의 백신에10년의 데이터

상황

결합된 10년의데이터

5.5백만건

첫해 수율 향상

맥킨지 분석

별도로 저장된10억개의 레코드

교차된 배치 비교

4000만건더 많은양,1,000만 달러이익영향 5

50% 수율향상

백신 수율최적

“과거 수년간에 걸쳐 더 많은 계측기의 더 많은 데이터를 사용하여 과거에는볼수 없었던패턴으로부터 개별기계 및 주요 구성요소에 대한성능 프로파일을 설정할 수 있습니다.이로써운영의 전반적인 생산성을향상시키고불필요한 중단을피할 수 있습니다.”JerryMegaro,혁신 및 제조 분석담당이사


Centrica, 유틸리티 고객을 위한 변신

3백만 고객

ETL효율성 향상

하루 300GB 생성

EDWs 폐기

스마트에너지리포르에 접근

작업당 11시간에서45분

현장엔지니어 작업합리화

매년수백만달러절약

S ITUAT ION

데이터 조각화는분석가의 비즈니스

패턴을숨김

기존인프라로 인해데이터로드가 어렵고 분석

병목현상이 발생

목표 :비용절감,고객의싱글뷰를 위한 프로세스

간소화

DATADISCOVERY

SmartMeterData

PREDICTIVEANALYTICS

EngineerScheduleOptimization

SINGLEVIEW

CustomerSegmentAnalysis

SINGLEVIEWProductCross-Sell

PREDICTIVEANALYTICSTailoredServices

S INGLE V IEWSmartMeterMobileApp

DATAENRICHMENTOn-SiteDataCapture

ACTIVEARCHIVEEDW

Offload

ETLOFFLOADStreamingIngest

"혁신에 중점을두고 기존의 기존방식을 잊어 버리고 새로운 방식으로 접근하면 사람들이 더자유롭게느끼고 가치를 느끼기때문에 예기치 않은 행동 변화가 발생합니다."Dajit Rehal수석시스템책임자


연결 제조(Connected Manufacturing ) 및 예측 유지보수(Predictive Maintenance)

DatamodelingPredictiveAnalysisMachineLearningDashboards

Dashboardsandalerts

InternetofAnyting (IoA)


I NNOVATERENOVATE

TRANSF

ORM

DATAD ISCOVERY

ACT IVEARCH IVE

S INGLEV IEW

ETLONBOARDO

PTI

MIZE

ATMOfferOptimization

PRED ICT IVEANALYT ICS

DATAENRICHMENT

EXPLO

RE HomeLoan

Cross-SellEnhanced

SARAccuracy

CustomerLoyalty&Advocacy

MortgageProcessing

Collections&Recovery

TransactionMonitoring

LoanDefault

Prediction

CyberAttack

DetectionFraud

Detection

AutoLoanUp-Sell

CustomerChurn

Reduction

DepositRiskAnalysis

BaselIII&CCARRiskCalculations

CreditRiskCalculation

PortfolioRisk

Analysis

OnboardingDue

Diligence

Anti-MoneyLaunderingCompliance

PersonalizedWeb

Experience

PaymentCardFraudMonitoring

Customer360

ConsumerAccountCross-Sell

MarketSegmentation

CompetitivePricing

WebsiteOptimization

SentimentAnalysis

DepositRiskAnalysis

EXAMPLE BANK ING JOURNEY

NextProducttoBuyRecs


I NNOVATERENOVATE

TRANSF

ORM

DATAD ISCOVERY

ACT IVEARCH IVE

S INGLEV IEW

ETLONBOARDO

PTI

MIZE

P RED ICT IVEANALYT ICS

DATAENRICHMENT

EXPLO

RE Call

AnalysisLoss

ControlSensorData

Analysis

Cross-Sell

Customer360°

RiskAnalysis

NextBestAction

RiskModeling

ClaimSeverity

Telematics

CustomerRetention

FraudMitigation

ProductDesign M&A

AdPlacement

LossControl

ClaimAnalysis

CatModeling

InvestmentPlanning

ChannelScorecards

SocialMapping

DueDiligence

RiskAssessment

MarketSegments

CustomerSupport

FraudResearch

CyberSecurity

EXAMPLE INSURANCE JOURNEY

RiskSolvency

SentimentAnalysis

SolvencyAnalysis


안전하게 운전하는 하는 고객에 대한 보상과 교육체증 개선

ETLOFFLOADSensorData

Ingest

DATADISCOVERYWebLogAnalysis

ACTIVEARCHIVEIndividual

DrivingHistories

2,3일만에100%

+12억

WEPAPP사용

$2.6억

HDF기반의 ‘스냅샵’으로캡처한 운전세부정보

운전한 마일의 저장

고객이 운전세부사항을보고 안전을향항

2014년의 프리미엄매출

기존데이터 시스템이효율적으로확장되지

않음

사용자 기반의‘스냅샵’프로그램

차량용 센서로IoT데이터캡쳐

UBI데이터의 25%만변형하는 데 7일

이상걸림

고객사 상황DATA

DISCOVERYOnlineAdPlacement

DATADISCOVERYClaimNotes

Mining

PRED ICT IVEANALYT ICSUsage-BasedInsurance(UBI)

“우리는결코꿈꿀수 없었던데이터 세트를 보고 있습니다. 우리가 연결할 수 있음을알지못했던점들을 연결하는것을 보고 있습니다. Pawan Divakarla,비지니스 데이터 분석리더


Hortonworks - A Leader In Big Data Warehouses

Forrester가 평가한 하둡 3사중 유일하게

DW분야에서 최상위 그룹

100% 오픈소스

기술파트너사들(2100개+)의 방대한 생태계

온프라비스와 클라우드 빅데이터구축을 위한비용절감,빠르고확장가능한 아키텍처


고객수

모든주요산업 및정부등1100개 이상의

기업/기관

오픈소스 선구자

ApacheHadoop및 ApacheNiFi에서 커미터 중 가장 많

은 비중을차지

파트너사

기술,전략,컨설턴트,리셀러사 2100+

트렌드혁신자

클라우드컴퓨팅,빅데이터 및 IoT 3가지

급성장부분

US포천100기업60%이상구독고객

포천글로벌 500기업

30%이상구독고객


성안의코끼리를 지켜라Kerberos,

WireEncryption

HDFS Encryption

ApacheRangerNetworkSegmentation,

Firewalls

LDAP/AD

ApacheKnox


THANK YOU

금융및제조기업 사례로살펴보는아파치 하둡기반빅데이터여정 ·...

Documents