로보어드바이저분야의 빅데이터분석솔루션 적용기술 · 소셜미디어 확대...
TRANSCRIPT
로보어드바이저분야의빅데이터분석솔루션
적용기술
New ExperienceFor Analytical Enterprise
1. 빅데이터분석 트랜드
2. 로보어드바이저
3. 적용사례
4. CruxCX
1. 빅데이터분석 트랜드 > 글로벌기업
모바일트래픽의증가로인한비정형및정형데이터의급격한증가로기업들은빅데이터분석을통해
상품개발, 상품추천및수익/위험예측을강화하여경쟁력을확보하고있습니다.
• Amazon : 판매의 35% 가 추천으로부터 발생
• Netflix : 대여 영화의 2/3가 추천으로부터 발생
• Google News : 38% 이상 조회가 추천에 의해 발생
모바일트래픽 증가 상품
추천
2
• StarBucks : 고객분석으로 무설탕/무우유 상품 출시
• Nike : 700만명 고객데이터 분석 Nike+ 출시 (매출30%+)
• Netflix : 고객분석으로 배우 및 감독 캐스팅 (House of Cards)
• 미국 해양기상청 : 위성/선박/항공/센서 등 매일 35억 건 분석
• 미국국세청 컴플라이언스 : 탈세 및 과세격차, 세액 예측
• Reel Pulse : 영화 개봉 8주전 실적 예측, 티켓 판매 예측
소셜미디어확대
IoT 기술발전 급격한
데이터
증가
상품개발
미래예측
1. 빅데이터분석 트랜드 > Value Chain 별
실제기업활용사례를보면,마케팅, 영업, R&D, 서비스및전사관리, 인력관리등전체 Value-Chain에서차별화가진행되고있으며, 이를통해경쟁우위를확보하고있습니다.
Marketing R&D Service/HRMSales
Needs 분석
고객목소리 -> 제품SPEC
사전대응
진단
대응
처리
VOC
고객분석
Single View, 360도 분석
고객외부정보
내부정보
Enterprise
평판분석
기업, 제품 평판분석
긍정 부정
위험예측
내부 및 외부 이슈 도출
개인 기업
3
변환 VOEVOC
제품분석
제품 경쟁 차별화
매력도
경쟁도 당사
경쟁
경쟁분석
제품, 서비스 경쟁 분석
지역분석
영업점별 이슈 및 정보 분석
개선도출
VOC
마케팅
영업
서비스
전사
고객외부정보
내부정보
조기경보
전사 KPI 기준설정 및 감시
위험 경고 양호
70% 30%사기방지민원예측이탈예측
부실예측평판분석
채용
Reject
채용
직무로그
평가
인력계획
2. 로보어드바이저 > 출현배경 (1/3)
AI 기법을활용한주가예측모델은이미 20여년전부터개발되오고있었으나, 기술적인한계로불규칙적인급격한외부변수에영향을받는주가변동원인을파악하지못했습니다.
지도학습 위주의 인공지능 적용à 불규칙적 영향에 대한 예측 불가
지수에 영향을 미치는 독립변수 제한적: 대표적 정형데이터 지표만을 적용
지수예측의 한계
4
지도학습 위주의 인공지능 적용à 불규칙적 영향에 대한 예측 불가
머신러닝 기반이 아님à 지속적 기계학습에 의한 개선 없음
분석속도가 느림à 분석 당일의 외부영향 분석 불가
2. 로보어드바이저 > 출현배경 (2/3)
개인주식투자자들은거의대부분기관등보다투자정보비대칭및양질의투자정보전달시간 지연
이라는 handicap을가지고주식투자를실행해왔습니다.
5
정보부족과 전략의 부재
포트폴리오 관리의 어려움
불안정한 매수/매도 시점
2. 로보어드바이저 > 출현배경 (3/3)
저금리저성장의경제기조로투자자및자산운용사들은좀더안정적인수익및운용저비용및컴퓨팅
기술의발전으로인공지능등의신기술이적용된자산관리가요구되고있습니다.
6
2. 로보어드바이저 > 국내시장 (자산관리)
2020
7
2016
2018
2020
2. 로보어드바이저 > 국내시장 (자산운용사)
급증하는 자산운용사 자산운영 규모
8
2. 로보어드바이저 > 해외시장 (미국)
9
2. 로보어드바이저 > 발전방향 (1/2)
단순자문서비스에서직접운용을통한이익발생쪽으로기술및서비스가이관되어갈것으로예상
되고있습니다.
로보어드바이저
10
Auto Advising Auto Trading
수수료 수익 배분
전략 포트폴리오 판매 및 운용
2. 로보어드바이저 > 발전방향 (2/2)
11
2. 로보어드바이저 > 국내시장
퀀트분석방식의 Rule based Chart 예측기술에서나아가머신러닝방식으로자동으로학습하는로보어드바이저엔진들을개발중입니다. (주로 ETF 등안정적인투자상품분석에집중하고있음)
12
3. 적용사례: 주식투자자문
투자성과를예측하기위해투자정보관련한정형데이터와비정형데이터를실시간적으로분석하여
로보어드바이저에탑재하여서비스합니다.
Analysis
Offline
거래
회원
개인Data Analytics
Transaction
수익예측
위험예측
고객분석
수익분석
Collection
MachineLearning
Data Processing(transformation)
Online
Data
Rule
Customer Channel Data
Training
Strea-ming
BigdataDW
DataMining
13
Social
행동
감성
이슈
기업
Call Center
공공
Text Analytics
Unstructured
Transaction
Event & Log
위험예측
상품추천
감성분석
이슈분석
위험분석
패턴분석
Text Processing(text to data)
Data
Text
사전Model
NLPRule
BasedML
Based
Strea-ming
BigdataDW
DataMining
상품개발
Planning
Colleting
Modeling
Opening
Strategic Analysis Feedback (Closed Loop Cycle)
자산운용사 운용역의핵심경쟁력인투자운용노하우를자산운용딥러닝기술을바탕으로한지속학습
형로보어드바이저를탑재, 지속적으로투자포트폴리오구성모델을개선시킵니다.
3. 적용사례: 자산운용
종목별
{ROE,
영업이익성장
률,
매출액 성장률,
PBR,
이자보상비율,
섹터, … ,
애널리스트
View}
Matrix
ROE + 영업이익성장률, PER*PBR
Func(ROE+영업이익성장률, PER*PBR)
롱숏전략: Non-linear Combination of Functions
Ø빅데이터 엔진을 통해 정제된 지표들은 심층신경망 알고리즘을 통해 세 가지 전략 산출
1) 자동 포트폴리오 구성
2) 자동 리밸런싱 타이밍 신호
3) 시장 위험 신호
Ø인공지능 엔진의 결과물과 운용역의
투자 행동을 비교분석해 ‘최적 전략’
생성, 정기적 supervised learning 진행
Ø펀드 스펙 및 리스크관리 제한조건을
만족시키면서 최대 수익률 도출로
최적화
14
…
종목별
{ROE,
영업이익성장
률,
매출액 성장률,
PBR,
이자보상비율,
섹터, … ,
애널리스트
View}
Matrix
Optimal Portfolio
Back Propagation
삼성전자:
0.14
LG화학: -
0.21
현대차: 0.32
KT: -0.24
Ø빅데이터 엔진을 통해 정제된 지표들은 심층신경망 알고리즘을 통해 세 가지 전략 산출
1) 자동 포트폴리오 구성
2) 자동 리밸런싱 타이밍 신호
3) 시장 위험 신호
Ø인공지능 엔진의 결과물과 운용역의
투자 행동을 비교분석해 ‘최적 전략’
생성, 정기적 supervised learning 진행
Ø펀드 스펙 및 리스크관리 제한조건을
만족시키면서 최대 수익률 도출로
최적화
[ 롱숏펀드(예) ]
3. 적용사례: 투자상품 개발
로보어드바이저가직접투자결정을내리는로보어드바이저투자상품을 개발해일정기간테스트베딩
이후투자상품으로서비스할수있습니다.
Ø로보어드바이저가 직접 시스템트레이딩 하는 여러가지 파생투자상품을 개발
(6개월의 테스트베딩 필요)
Ø정기적인 리벨런싱을 통해 안정적이면서도 수익율 경쟁력을갖춘 투자상품으로 개선
Ø자금운용 분석 비용의 절감으로 고객 투자수익율 제고
15
Ø로보어드바이저가 직접 시스템트레이딩 하는 여러가지 파생투자상품을 개발
(6개월의 테스트베딩 필요)
Ø정기적인 리벨런싱을 통해 안정적이면서도 수익율 경쟁력을갖춘 투자상품으로 개선
Ø자금운용 분석 비용의 절감으로 고객 투자수익율 제고
은행권보험사들의 PB 고객들대상의투자정보 Reporting 서비스를제공합니다.
PB 전담Reporting
Service WEB
기업정보 (네이버)
재무정보 (네이버)
주가정보 (코스콤) 주가
기업
재무
예측정보Data
정제
Marketing
환경
수익
상품
관리
ML자문가입 자문가입
Payment
가입
DWA
C
C
Big Data Analysis Layer PB Reporting Layer
3. 적용사례 : 자산관리 (투자정보 Reporting)
16
PB 고객
상품주문
운용관리
예측/결과
상품주문
기본정보
분석정보
….
재무정보 (네이버)
뉴스 (언론사, 포털)
주식(증권사,전문가)
재무
언론
주식
펀드
TextMining
SNS (블로그, FB,,,) SNS
감성
이슈
요약주문
상품
경제지표 (네이버) 경제 …..
…..
수집/정제
사전
NLP
자문가입 자문가입
기본정보
관리
정보
분석정보
관리
TM PB Call
Center
가입
상담, 서비스
ML
C
C
C
C
C
C
BUSINESS
PB자문
의료서비스정보영역의빅데이터분석결과를적용하여건강평가및환자서비스부문에서헬스케
어자문서비스를제공하여의료서비스품질을높이고있습니다.
3. 적용사례 : 헬스케어 자문
환자 약품관리 지원 건강 결과 평가 의료사기, 질병치료, 고객만족
17
유나이티드 헬스케어
• 의료사기, 신원도용 감지 (SNS 이용)• 콜센터 목소리로 정서파악 환자 대응
(STT)• 질병관리 프로그램 수익성 예측
익스프레스 스크립츠
• 15억 건 조제정보 빅데이터 분석/활용• 저렴한 약제 보충방법을 메시지 전송• 복용주기나 양을 지키지 않는 환자
사전 대응
인터마운틴 헬스케어
• 9,000만건 EHR(전자의료기록) 분석• 특정인자의 환자건강 영향도 제공• 치료, 건강사이 관계 제공 (신약 vs
개선)
의료정보통합으로의사및의료전문가의진료지원과환자방문예측으로서비스를개선하고있습니다.
3. 적용사례 : 의료진단 자문 (1/2)
EHR용 지식시스템 재발병율 감소유전/환경적 질환 정밀의료 진단
18
MD 앤더슨 병원
•‘왓슨’ 암진단정확도 (전문의이상 96% )-유전 5%, 치료의학 20, 비의료 75%
• 가천의대 길병원, 부산대학 병원 적용
파트너스 헬스케어
• 금융, 운영 및 임상분석 시스템 통합• QPID(환자추론문서) 개발로 현장
실시간 분석• 의사/의료전문가 5,000명 실무 활용
파시트와 웩스너 의료 센터
• 환자들의 진료 예약 건너뛰기 연구및 개선
• 빅데이터 분석을 통해 원인 분석• 불편한 교통, 계절(겨울 늦은 오후)
국내에서는의료정보표준화를통한진료개선과방문예측, 응급정보공유를통한의료혁신을 추진
중이고, 이영역에도빅데이터로보어드바이저기술적용이필수적으로필요합니다.
3. 적용사례 : 의료진단 자문 (2/2)
정부주도 의료진료정보 공유 환자 내진 종류별 수요예측 응급처치 골든타임 최적화
거점병원(분당서울대병원
• 2009년~2010년• 성남의원 35개
19
응급실 상황의 실시간 공유
• 응급실 상황 공유로 위급환자 도움• 응급실별 상황 실시간 데이터
수집,통합• 유관 조직 실시간 공유 (병원, 경찰)
신속한 진료 및 정확한 진단
• 의료정보간 상호호환 표준 개발(05년 ~ 10년)
• 시범사업 및 법적 제도 준비 (16년)• 빅데이터 플랫폼으로 진료정보 공유
수요예측 통한 서비스 개선
• 지역별 진료정보 통합으로 서비스개선
• 수요 예측으로 인력, 약품, 재료 예측• 진료정보의 실시간 수집 및 분석
의료정보공유플랫폼
거점병원(경북대병원,대구의료원)
거점병원(근로복지공단병원
• 2014년~2015년• 대구소재 병의원 40개
• 2014년~2015년• 산재지정병원 6개
아마존, 구글과같은거대글로벌 ICT 기업들은고객개인들의음성정보를인식하고취향을학습하여보다개인화되고스마트한다양한음성/음향컨텐츠서비스를제공하고있습니다.
3. 적용사례 : 개인비서
[음성비서 아마존 ‘에코’] [음성비서 구글 ‘구글홈’]
20
[주행수행비서 GM ‘온 스타 고’]
유통, 주유, 접객, 미디어 및 엔터테인먼트, 음식점, 여행 및 교통 분야등 개인화된 Contents 제공
[음성비서 SK ‘레베카’]
4. 빅데이터 솔루션 CruzCX Overview
자사개발솔루션, CruzCX는정형및비정형빅데이터의통합적인분석및서비스플랫폼으로다양한비즈니스 Domain에서편리하게실무에서활용할수있는 Log, Data 및 Text 분석이가능합니다.
Analysis
Offline
거래
행동개인
Collection
Online
Customer Channel Data
Log마케팅
영업
Log Analysis(Log to Data)
• Transaction Analysis• UX pattern Analysis• System Log Analysis
21
Social
감성
이슈
회원기업
Call Center
공공
Online
Data
TextText Analysis(Text to Data)
Data Analysis(Data to Insight)BigData
영업
기획
전사
• Issue Analysis• Sentiment Analysis• Document Classification
• Predict Profit• Predict Risk• New Product Design• Recommendation
R&D
생산
4. 자사 빅데이터 솔루션 CruzCX Overview > Log Analysis
Log 분석서비스는제1금융권의방대한금융거래정보처리경험을바탕으로설계되어져안정성과확장성이우수하여다양한로그분석에활용이가능합니다.
Collecting Searching Visualizing
[Application]• Trend• Timeline• Issue• FDS
SchemaLog
MachineLog
Schema Log(시스템, 접근 로그)
자동변환
대용량로그수집
클러스터
실시간통합Log
Index
SearchEngine
&API
[Customizing]• Dashboard• KPI• Alerting• Mobile
22
대용량 금융 거래 및 로그에 최적화된 빠른 수집
• 제1금융권에 대한 방대한 금융거래 데이터에 대한 처리 경험• 머신로그 및 금융거래 로그의 통합적인 수집 및 대용량 처리• 다양한 금융거래 데이터에 대한 Schema 확보 및 정형데이터화
대용량 데이터 색인
• 머신로그 및 거래 로그의통합적 색인처리 검색
• 로그 및 내부 데이터의통합적 검색 가능
시계열 및 다양한 레포팅
• 다양한 비주얼라이징 제공• 검색 API 제공으로
커스터마이징 가능• Data Analysis 연계
SchemaLog Index
FinanceTradingLog
None Schema Log(금융거래, 상품거래,,)
자동변환
대용량로그수집
클러스터
실시간통합Log
Index
SearchEngine
&API
[Customizing]• Dashboard• KPI• Alerting• Mobile
[Data Analysis]• Risk predict• Issue detect
API
API내부DB
빅데이터 플랫폼
4. 자사 빅데이터 솔루션 CruzCX Overview > Text Analysis
Text 분석은다양한내/외부비정형데이터의신속한수집및편리한인터페이스로쉽게누구나인사이트를파악할수있으며, 이슈/감성분석및문서분류활용이가능합니다.
Issue Analysis Sentiment Analysis Document Classification
Tag Cloud
Topic Relation
Rule & Machine Learning based Approach
23
도대체 무슨 일이?
• 빠른 수집 및 분석 (1시간 이내 결과분석)
• 편리한 수집대상 지정• 결과의 레포팅 및 모바일 확인 가능
뭐라고 하는지?
• 업종 감성단어의 신속한 구축 (50% 이상 절감)
• 룰 및 머신러닝 기반 정확도 향상• 결과의 업무활용 및 모바일 확인
어떻게 활용하지?
• 편리한 분류체계 관리 및 생성• 룰 및 머신러닝 기반 분류 정확도
향상• 분류결과의 Data화를 통한 분석
Word Ranking
4. 자사 빅데이터 솔루션 CruzCX Overview > Data Analysis
Machine Learning을데이터전문가없이실무현업담당자가쉽게실행할수있도록 Simple한분석절차와상세한가이드를제공하여수집에서분석, 실무활용까지 End to End 기능을제공합니다.
Planning Fitting EvaluatingCollecting Modeling Opening
Market Driven Analysis Process(Machine Learning)
24
무엇을 분석할것인가?
• 분석 목표명확화
• Y Target 정의• X Feature 정의
데이터에 이상은없는가?
• 데이터자동정제
• Feature 상관분석
학습모델의정확도는 어떤가 ?
• 모델 정확도평가
• 모델 Tuning
어떻게 수집할것인가?
• 실시간수집/통합
• 채널 Feedback
어떤 분석모델을적용할 것인가?
• 분석 모델 추천• 분석 설정 추천• Training/Test
Data
학습모델을 어떻게활용할 것인가?
• 배치 작업 실행• 실시간 작업
실행• 채널 API 제공
4. 자사 빅데이터 솔루션 CruzCX-RA (On going Robo-Advisor Project)
로보어드바이저업체인 SBCN과협력하여투자의달인브랜드를통해주가예측상품및기업, 산업, 테마에대한분석레포팅서비스를제공할예정이며현재개발을진행중입니다.
Project Scope 주가예측 분석 Report
분석레포팅
25
주가예측 및 분석레포팅 제공
• Robo-Advisor 구현• API를 통해 로보어드바이저 서비스• 주가 관련 다양한 정보의 신속한
수집처리
머신러닝 기반 주가예측
• 과거 거래데이터를 활용한 모델 생성• 주식전문가에 의한 핵심 Feature 추출• 주가 및 대외변수에 대한 통합적
모델링
주가 및 시황분석 Report
• 종목별 이슈 및 투자전략 자동 레포팅• 산업 및 테마별 투자전략 자동 레포팅• 수작업 배제로 인한 고품질 서비스
제공
CruzCX-RA
DataAnalysis
TextAnalysis
주가예측
분석레포팅
종목별학습
데이터
BinaryClass. Model
실제데이터
4. 자사 빅데이터 솔루션 CruzCX-RA (On going Robo-Advisor Project)
주가에영향을미치는여러경제지표및성과지표와같은정형데이터뿐만아니라외부의텍스트
(비정형데이터)까지도분석하여우량주식을추천하고주식지수를예측합니다.
‘투자의 달인’ – 빅데이터 분석 프로세스
QuantitativeData
• Real-time Market Data
Pre-process Analyzer
Engine
Market strategi
es
마켓 대응 AI 전략 생성• Portfolio Organization
• Rebalancing Signals• Market Alert Signals
26
Qualitative(Big) Data
• News Feeds• Social Feeds• Blogs• Web Search• Private Sources
QuantitativeData
• Real-time Market Data
Pre-process
MachineLearning
자연어분석(감정/논조)
• 키워드-딕셔너리 매칭 분석
• 키워드-시장영향력 점수산출
• Inaugural supervised pattern Leaning of market strategy by keywords
• Automated unsupervised deep-learning on real-time data
• Keyword-market strategies feedback
• 텍스트 수집• 형태소 분석• 중심어/연관어추출
• 키워드 점수 실시간 점수 생성
마켓 대응 AI 전략 생성• Portfolio Organization
• Rebalancing Signals• Market Alert Signals
4. 자사 빅데이터 솔루션 CruzCX-RA (On going Robo-Advisor Project)
로보어드바이저업체인 SBCN과협력하여주가예측상품및기업, 산업, 테마에대한분석레포팅서비스를제공할예정이며현재구현후테스트를진행중입니다.
27
Random 효과!
4. 자사 빅데이터 솔루션 CruzCX-RA: Machine Leaning 기술 적용
지도학습모형을채택하여통계분석으로초기예측모형을수립하고, 이후실제데이터를주기적으로입력하여자동으로기계가학습하여예측모형이개선되도록 하는머신러닝기술을구현하였습니다.
지도학습(Supervised Learning)
훈련용 데이터(training data)에 알고리즘을적용하여 함수를 추론하고, 그 추론된함수를 통해 컴퓨터가 알아서 답을 찾도록만드는 것
1. Classification (분류)1. kNN2. Naïve Bayse3. Support Vector Machine4. Decision Tree
2. Regression (회귀)1. Linear regression2. Locally weighted linear regression3. Ridge4. Lasso
데이터 수집종속변수(Y)독립변수(X)후보군 선택
이상치(outlier)제거
[1단계]
초기 예측모형 수립 예시
28
지도학습(Supervised Learning)
훈련용 데이터(training data)에 알고리즘을적용하여 함수를 추론하고, 그 추론된함수를 통해 컴퓨터가 알아서 답을 찾도록만드는 것
1. Classification (분류)1. kNN2. Naïve Bayse3. Support Vector Machine4. Decision Tree
2. Regression (회귀)1. Linear regression2. Locally weighted linear regression3. Ridge4. Lasso
Linear Model신규 적용
Linear Model적용
[2단계]
[3단계]
Stepwise 실행등분산성,
독립성 검정
정규성 검정최종 회귀모형
확정
End of DocumentEnd of Document
Business Contactwww.cruzcx.com