빅데이터와활용사례 -...

63
2016.05 조완섭 충북대학교 경영정보학과 빅데이터분석센터 [email protected] 043-261-3258 010-2487-3691 June 2011 빅데이터와 활용사례

Upload: others

Post on 28-Dec-2019

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

2016.05조완섭충북대학교 경영정보학과빅데이터분석센터[email protected]

June 2011

빅데이터와 활용사례

Page 2: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 2

목차

• 빅데이터 개요

• 빅데이터 활용사례

– 국내외 사례

– 충북대 사례

• 빅데이터 기술

• 데이터과학자

• 결론

빅데이터 버거넌스

Page 3: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 3

빅데이터 개요

• 빅데이터 시대의 도래

전세계 데이터는

매년 40% 증가

빅데이터 활용으로 년간

미국 의료분야에서 $3,300억 가치생산

유럽 공공분야에서 €2,500억 절감효과

2018년까지 미국에서만 년간

분석전문가 14~19 만명,데이터 기반 관리자 150 만명 추가 수요

(출처) McKinsey (2011,05), “Big Data: The next frontier for innovation, competition, and productivity”

세계는 2010년 zettabyte 시대에 돌입1 Zettabyte : 美의회도서관 정보(235TB, 11/4 기준)의 4백만 배, 16GB iPad로 축구장 넓이로 쌓아도대기권 높이 두배

Global information created and available storage (Exabytes)

Source: IDC (2011)

Information Created

Available Storage

Page 4: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 4

빅데이터 개요

• 빅데이터란 ?

– 기존 컴퓨팅 기술로는 저장, 관리, 분석이 불가능할 정도로큰 데이터 집합과 관련 기술, 인력 등을 포괄하는 의미

– IT 기술에서 출발했으나 정치, 사회, 문화, 등 삶 전체의 이슈,

혁신 패러다임으로 부각 (Economist, Gartner, McKinsey, NYT)

• 빅데이터의 특징 : 3Vs

시대에 따라 다른 기준

Page 5: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 5

빅데이터 개요

• 빅데이터는 생성 원천은 ?

Tesco : 매달 15억 건 이상의고객 관련 데이터를 수집

비즈니스 데이터

동영상YouTube, CC 카메라의료장비 등

동영상YouTube, CC 카메라의료장비 등

실시간분석 ?

Social Data소통

사물인터넷(IoT) / M2M2014년 500억개 무선단말기(Ericsson)

편리한세상

생체정보건강한 사회

Page 6: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 6

빅데이터 개요 - 효과와 전망

• 빅데이터 효과– 인류가 직면한 의료, 환경, 식량, 에너지 등의 분야에서 해결방안 제시

Page 7: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 7

빅데이터 개요 - 효과와 전망

• 빅데이터의 효과 - 산업분야별 경제적 효과

2016-09-30

스페인 의료비의 2배 그리스 GDP 규모

Page 8: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 8

빅데이터 개요 - 효과와 전망

시장 전망

60%

40%

Page 9: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 9

빅데이터 – 활용사례(의료)

• KBS 보도자료 “빅데이터, 세상을 바꾸다”

– 대학병원 미숙아실의 첨단 의료장비들에서 생성되는 스트림 데이터

• 초당 10,000건의 데이터 발생

– 빅데이터 기술로 실시간 통합, 분석하면 응급상황 조기 예측

• 기존방식보다 24시간 전에 예측

– 미숙아 사망률 감소는 물론 의사와 간호사 노동 감소

http://news.kbs.co.kr/economic/2012/02/01/2428163.html

Page 10: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 10

빅데이터 – 활용사례(스마트카)

• Google의 무인자동차

– 자동차 운행 관련 데이터가 실시간으로 수집, 통합 분석 => 운전 의사결정

• 초당 1GB 데이터 생성 => 년간 차량당 2PB 생성

• 2020년까지 도로에 활성화된 연결 차량 센서는 1억 5,200만개; 이들 센서는 차

량의 진단과 위치 추적, UX(User Experience) 데이터 수집, ADAS 데이터 수집

http://news.kbs.co.kr/world/2012/05/09/2473444.html

StreetView

센서: 실시간 주변정보

실시간 운전 의사결정

300여개의 센서빅데이터 처리가 핵심기술

Page 11: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected]) 11

빅데이터 - 활용사례(스마트카)

112016-09-30

최근에는 300여개의 센서빅데이터 생성 => 분석 => 자율주행

Page 12: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 12

빅데이터 - 활용사례(스마트카)

Page 13: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 13

빅데이터 – 활용사례 (WD/WC)

• Google Glass– http://www.youtube.com/watch?v=T2uwki9jk_8

– http://www.youtube.com/watch?v=cHix5yWJ_0Y

• 구글 글라스 체험단 모집 (미국)– 엄청난 데이터 생성, 관리 (lifelog data)

– 스마트폰, 디카 대체, 응용 분야는 가늠하기 조차 어려운 상황

– 사람들의 생활 모습은 ?

Big Data

Page 14: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 14

빅데이터 – 활용사례(제조)

(출처) 빅데이터와 제조부문 적용사례 (이씨마이너) 발표자료, 2012 : S 반도체 사례

• 스마트 제조 분야

공정단계에서 생성되는 빅데이터 분석으로불량 감소 / 예지 정비

Page 15: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 15

빅데이터 – 활용사례 (제조)

PLC, CNC 작업시간작업일지 재료평가/특징조작방법/순서/평가기준 비디오온도 레이져검사/측정 진동

(출처) ETRI – 충북대 공동연구 (산자부, 스마트 제조)

Page 16: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 16

빅데이터 – 활용사례 (금융)

현금=>통장=>카드=>스마트폰 (클릭 몇 번으로)은행지점=>ATM기기=>인터넷/스마트폰결제 => 송금, 외환거래, 대출, 투자, 보험, 증권 등으로 확대 ….

상품개발, 부정방지, 신용평가, 마케팅 등 4대 금융 업무가스마트폰 빅데이터 활용으로 빠르고 정확하게 처리 가능

Page 17: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 17

의생명 빅데이터는 가장 크고 복잡한 데이터,그러나 가장 가치가 높은 빅데이터 분야 (맥킨지 2011)

빅데이터 – 활용사례 (의료)

웨어러블 건강장치

Page 18: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 18

앱택시

앱택시 - “ 앱하나로 관제없이 더 빠르고 정확하게 택시 호출”

관제센터기존 콜 택시기존 콜 택시

승객호출 기사수락

앱택시앱택시

1분 마다 택시 위치정보전송으로 탑승위치 부정확

5초 마다 위치정보 전송함으로써정확도 개선

택시 오는 모습이지도에 보인다

2012

충북대 사례

=> 방대한 위치 데이터를 실시간 처리해서 지도상에 표현

Page 19: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 19

빨간색 -현재택시공급초과지역

심야시간대

8개월 평균다양한 서비스 개발 가능함

앱택시 운행결과 분석 (충북대-단골택시)

앱택시2012

충북대사례

Page 20: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 20

ETLVOC/제품data 추출

미국, 중국사이트

자연어

처리

DB

사전

감성

분석

(OLAP/R)

가시화

보고서

(1) Sample data로 사전구축제품 및 감성단어에 해당하는명사, 형용사, 동사, 동의어

(2) VOC 데이터 추출과 감성분석

제품개발에유용한 정보

(3) 사전의 보완을 통한정확도 개선

세티즌, 어바웃

Data Sources

고객감성분석 (L전자)

온라인 쇼핑몰에서 고객 감성분석

2012

충북대 사례

Page 21: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 21

고객감성분석 (LG전자)2012

국내 사이트

Amazon

충북대 사례

Page 22: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 22

교통빅데이터 (청주시)

과학적의사결정

풍부한교통데이터 활용연구

편리한교통서비스

빅데이터전문가 양성

빅데이터전문기업육성

대학

기업

수집수집분석인프라분석인프라

활용활용

(매일 새벽4시)

청주시 교통 빅데이터 분석 시스템 (충북대-청주시)

2013

충북대 사례

Page 23: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 23

승객수가 많은 정류장 순서대로- 시설/환경개선- 마케팅연계 (광고 등)

134개 노선2012 개 정류장

노선별 승객수 분석 및 시각화 (다양한 조건부과)

교통빅데이터 (청주시)2013

충북대 사례

Page 24: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 24

노선명 기준운행시간 첨두 실제운행시간 비첨두 실제운행시간

711 84분 88분 82분

513 68분 61분 57분

115 70분 104분 85분

823 126분 144분 150분

30-1 89분 66분 75분

OK!

배차간격조정제안

탄력적 배차제안

0

20

40

60

80

100

120

140

160

기준시간

첨두

비첨두

기준시간

첨두

비첨두

기준시간

첨두

비첨두

기준시간

첨두

비첨두

기준시간

첨두

비첨두

노선운영, 배차간격을탄력적으로 ?

기준시간축소

기준시간확대

513 번711 번 823 번 115 번 30-1 번

기준시간확대

노선별 운행 기준시간 결정 (주말, 출퇴근 시간)

교통빅데이터 (청주시)2013

충북대 사례

Page 25: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 25

청주시-충북대

105번 노선에서시내버스 두 대가 겹쳐서 오는 곳시간간격이 매우 긴 정류장사람이 많이 타는 곳

Page 26: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 26

교통경찰 배치네비게이션 등과연계 서비스

교통혼잡 지도 (주말, 출퇴근 시간, 심야 시간 등)

교통빅데이터 (청주시)2013

충북대 사례

Page 27: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 27

노선개편 => 환승보조금 최소화 (년간 80억)월별/요일별/시간대별로 탄력적으로 노선운영

환승객이 많은 정류장은 ? (출퇴근시간, 주말 등)

교통빅데이터 (청주시)2013

충북대 사례

Page 28: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 28

1. 데이터 수집 2. 데이터 분석 3. 시각화 및 보고서작성

비정형데이터

1. 데이터 수집

관광명소정보DB

공공데이터Open API 이용

정형 데이터

충북관광명소이슈분석및 불만사항분석 결과 도출

3. 시각화 및 보고서작성

이슈 분석

뉴스DB

블로그DB

사전 DB 구축

자체수집기Open API 이용

온라인설문조사분석

DW 구축 및 다차원 분석 전체/지역/테마/채널별 빈도 상위 관광명소 도출

연관 키워드분석

지역별 상위 5개 관광명소 키워드 동시 발생 키워드 도출

연관 관광명소 및 유형별 연관 키워드 분석

감성 분석 감성단어 및 어휘패턴을 이용한 감성사전 구축 감성사전 기반 긍/부정 분류 및 요인 분석

지역별상위 5개 관광명소대상

감성분석대상 12개의관광명소대상

연관 관광명소

이슈 관광명소

연관 관광명소 키워드 분석

설문 조사 결과 분석

관광명소만족도

주요 관광명소에 관한불만 사항 및 개선사항 도출

APP: 사용자

결과보고서

이슈 여행지 정보제공지역별, 테마별 여행지

내국인 및 외국인 대상설문조사 결과 분석

스마트 관광 (충청북도)

100만건

2014

충북대 사례

Page 29: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 29

북부권 관광명소 빈도수

1 충주호 15232

2 제천 의림지 7887

3 제천 청풍호 5197

4 충주 수안보 5145

5 단양 도담삼봉 4453

6 제천 박달재 3916

7 단양 고수동굴 2868

8 단양 구인사 2115

9 충주 탄금대 1530

10 단양 온달관광명소 1522

충북 북부권(충주,제천,단양)

남부권 관광명소 빈도수t

1 영동 민주지산 1246

2 영동 천태산 1097

3 옥천 정지용 생가 773

4 옥천 장수마을 700

5 옥천 육영수 생가 688

6 영동 물한계곡 614

7 보은 구병산 604

8 옥천 용암사 595

9 영동 와인코리아 595

10 영동 백화산 581

충북 남부권(보은,옥천,영동)

중부권 관광명소 빈도수

1 청주 수암골 3610

2 청주동물원 3124

3 괴산 산막이옛길 2796

4 청주 상당산성 2424

5음성 큰바위얼굴조각공

원1788

6 진천 농다리 1556

7 괴산 화양계곡 1372

8 청원 청남대 1295

9 청주고인쇄박물관 1245

10 청주 우암산 1180

충북 중부권(통합청주시,증평,진천,괴산,음성)

61.55%

26.98%

11.47%

* 전체 건수: 104,380 (건)

* 전체 건수: 19,448(건)

* 전체 건수: 45,757(건)

북부권

중부권

남부권

스마트 관광(충청북도)

이슈 분석

2014

충북대 사례

Page 30: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 30

청남대는 자연경관, 산책, 트래킹 등 자연경관에 대한 긍정적인 의견이 높았으며, 전반적으로 시설 관리는

잘 되어 있으나, 매표소 안내에 대한 불만과 여름에는 햇볕을 피할 곳이 없다는 부정적인 의견이 나타났음.

관광 교통 및 정보에 관한 부정적인 의견이 많았으며, 특히 사전 예약제 시행으로 불편하다는 의견이 있었음.

매표소에서 청남대까지 이동 수단(셔틀버스)과 주차장 확충이 필요한 것으로 보임.

감성 분석 => 시설 등의 개선

충청북도내350여개 관광지- 이슈분석- 감성분석- 연관분석

스마트 관광(충청북도)2014

충북대 사례

Page 31: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 31

봄, 여름, 겨울에는 낚시와 관련된 ‘배스’, ‘입질’, ‘포인트’ 등의 연관 키워드가 많이 도출 된 것으로 보

아 배스낚시가 유명한 것으로 보임 => 관광 마케팅에 활용

또한, 봄에는 ‘벚꽃’을 보러 충주호를 방문하고, 가을에는 ‘단풍’을 보러 방문한다는 것을 도출된 키워

드를 통해 확인 할 수 있음

스마트 관광(충청북도)

연관 분석 => 패키지 관광

2014

충북대 사례

Page 32: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 32

CCTV 사각지대와 순찰코스 추천

스마트 치안(시흥시)

시흥시 160만건범죄관련 데이터

2015

충북대 사례

Page 33: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 33

시흥시스마트 치안 시스템(충북대-시흥경찰서)

스마트 치안(시흥시)2015

충북대 사례

Page 34: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 34

103 구역

학생 밀집지역성범죄자 거주지역이면서아동범죄가 주변에 4건 발생그러나 CCTV 사각지대

시흥시스마트 치안 시스템(충북대-시흥경찰서)

스마트 치안(시흥시)2015

충북대 사례

Page 35: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 35

어린이교통사고(수원시)

교통사고DB(일부데이터, 주소정보 부정확) 도로교통공단/경찰청/손해보험사

교통안전시설물(횡단보도, 과속방지턱,과속신호단속카메라, 신호등)

수원시

어린이교통안전 시설물(어린이보호구역) 수원시

어린이 이용시설물(학교, 유치원, 어린이집, 도서관어린이박물관, 미술관, 과학관, 체육시설 등어린이 체험시설물)

수원시수원시교육청

도로정보 도로교통공단 /수원시

도로별 차량제한속도 수원시

기상정보 기상청

어린이교통안전교육 캠페인 / 교육 학교/유치원/어린이집

2015

충북대 사례

Page 36: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 36

어린이교통사고(수원시)2015

17 18 19

7월

8월

9월

충북대 사례

3, 4월과, 7~9월 사고가 많으며퇴근시간대에 어린이 교통사고 집중

월별/시간대별 교통사고 발생현황

Page 37: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 37

연령대별 사고 유형분석교통사고 가해자 연령대별 사고 상해유형 비교 –상해없음 기타불명을 제외한 경우

전반적으로 20대가 가해자인 교통사고가 상해 정도가 심각함을 알 수 있음10대, 30대, 40대는 비슷한 정도를 나타냄가해자가 10대 미만으로 표기된 데이터도 있으며, 소스데이터 품질개선 필요

어린이교통사고(수원시)2015

충북대 사례

Page 38: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 38

어린이교통사고(수원시)충북대 사례2015

C초등학교

H초등학교

교통시설 개선효과 ?

C초등학교 H초등학교

13 14 15 13 14 152013

교통사고 빈발 초등학교

Page 39: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 39

부동산(경기도청)

부동산 실거래가 공개시스템 데이터 (약 25만건)- 매매, 전세, 월세; 아파트, 단독, 다세대, 연립임대차 계약 데이터 (약 120만건)- 임차인/임대인/전월세 거래정보부동산 포털로그 데이터 (약 25만건)- 경기도 부동산포털에 축적된 관심지역 클릭로그 데이터

소스 데이터 (경기도부동산포털)

부동산 특이패턴 분석 => 전년대비 투기지역 발견지역별 거래량/가격 상관관계 분석동일지역내 전월세/매매 가격의 상관관계 분석유입인구-거래가격 상관관계의 시계열분석

다차원, 시계열, 공간 분석

충북대 사례2015

Page 40: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 40

부동산(경기도청)

김포

과천

용인

의왕

안양

성남

하남

경기도 주요도시 년도별 평균 전세보증금 추이

충북대 사례2015

2014년전세폭등

전세고가행진

전세고가행진

화성

Page 41: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 41

부동산(경기도청)

도시별, 년도별 전월세 거래량

2015

충북대 사례

고양

부천성남수원

용인

전세거래량 월세거래량

Page 42: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 42

부동산(경기도청)

도시별, 년도별 전월세 보증금 평균

2015

충북대 사례

과천시

김포시

용인/의왕

하남/화성

Page 43: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 43

부동산(경기도청)2015

충북대 사례

다른 해와 비교하여2011년 전세 보증금의편차가 매우 큼

월세금액

전세 보증금액

2010 2011 2012 2013 2014

과천시가 최고

2010 2011 2012 2013 2014

과천시가전세보증금도 최고

Page 44: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 44

부동산(경기도청)2015

충북대 사례

지역별거래유형별전월세금액/거래금액

매매 월세 전세

다가구 다세대 단독 아파트 연립

2013

2014

Page 45: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 45

SNS 분석(세종시)2015

충북대 사례

Page 46: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 46

분류 데이터 종류 전체 수집 건수(건)

게시글 네이버 카페 45,616건(4년 5개월)

분석 과정

SNS 분석 (세종시)

주요 결과

2015

충북대 사례

Page 47: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 47

데이터 수집데이터저장관리

데이터 분석

데이터 소스 선정수집 계획수립수집방법/주기데이터 수집시행

데이터 전처리분산저장관리

다차원 분석데이터 마이닝통계분석

데이터활용/업무혁신

데이터 거버넌스와지속적 모니터링

품질관리(수명관리메타데이터 관리)보안관리프라이버시 관리

관련부서 업무적용지속적 업무개선성과평가 ->인센티브

빅데이터 프로젝트 가이드라인

지속적인관리와 개선

데이터 소스

Page 48: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 48

빅데이터 기술

신사업 창출비즈니스 지능화, 최적화마이닝, R-통계분석

CloudComputing(HW인프라)

Hadoop, NoSQL(SW 인프라)

R(분석기술)

기존방식으로 처리하기엔 너무 큰 데이터컴퓨팅 파워 부족기존 HW SW 변화 요구

Page 49: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 49

빅데이터 기술

Page 50: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 50

데이터과학자

• 데이터 분석을 통해 가치(data product)를 창출하는 전문가– 데이터의 다양한 소스를 찾아 데이터를 추출하고,

– 크고 복잡한 데이터를 구조화/단순화하여 분석이 가능하게 만들며,

– 이상한 데이터를 실시간으로 탐지해 내고,

– 적절한 통계적 모델링을 통하여 예측을 수행하며,

– 인사이트를 발견한 후 시각화하여 비즈니스의 방향을 제시함

Page 51: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 51

데이터 과학자

최근 기업들은머리는 수학/통계 지식으로,손은 컴퓨터 해커 수준으로,눈은 예술적 안목을 가진 사람 (data scientist)을찾는데 애를 먹고 있음 (NPR, November 30, 2011)

2012년 최고의 신규 유망직종 (CNN)

데이터과학자는 그들은 구하기도 힘들고,고용하려면 비싸고, 과학-IT-분석능력을겸비한 사람은 찾기 어렵다 (HBR, 2012)

빅데이터학과 설립 – 대략 국내 10개 미만, 미국 50여개 이상충북대학교 – 학부, 석사, 박사과정 설립 (2012~, 미래부지원)

Page 52: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 52

데이터 과학자

• 데이터과학자 수요– 국가별 향후 3-5년 이내 수요

• 미국 : 18만명의 분석전문가, 150만명의 데이터기반 관리자(맥킨지 2011년 보고서)

• 영국: 5만명 예상

• 우리나라 : 2017년까지 약 11,000명 예상

(KISDI Premium Report」(14-10)‘빅데이터 2.0시대, 주요 이슈와 정책적 시사점)

2016-09-30 52

신규취업자 중에서데이터과학자의 비율 데이터과학자의 job trends

Page 53: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 53

• Data Scientist – Venn Diagram

The skills needed for data scientists출처 : http://www.dataists.com/2010/09/the-data-science-venn-diagram/

데이터과학자는IT 기술 (hacking skills),수학 및 통계 지식현장 업무 지식 (business, science 등)을모두 갖추어야 한다.

두 가지만 갖추면기존 과학자나 기계학습 혹은위험한 사람(danger zone)이 된다.

데이터 과학자

DT 혁명에 기반을 둔 중소기업이 창의력을 발휘하도록 대기업과 정부가 지원해야 할 것이다.

Page 54: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 54

데이터과학자 - 분석지능

• 분석지능 (AQㆍAnalysis Quotient)

– 빅 데이터로부터 통찰력을 얻고, 미래를 예측하는 능력

– 조직의 AQ 4단계

• 1단계 – 빅데이터 분석에 관심을 갖기 시작한 조직

• 2단계 – 빅데이터를 활용하는 조직 (비즈니스와의 연계는 부족)

• 3단계 – 빅데이터로 비즈니스 연계 (미래예측까지는 못하는 조직)

• 4단계 – 빅데이터로부터 미래를 예측하고, 성과를 창출하는 조직

– AQ가 높은 기업일수록 혁신능력과 리스크 관리 능력이 우수함=> 조직에서 데이터과학자 육성, 채용 필요

Page 55: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30

데이터과학자 - 분석지능

• 직관을 능가하는 분석 (MIT, CEO 3000명 설문결과)

55

Top-Performing 회사가 그렇지 않은 회사에 비해서5배 이상의 분석능력을 갖고 있음

55

Page 56: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 56

빅데이터 관리체계

• IT 거버넌스 정의– IT가 조직의 전략과 목표에 부합되도록 하는 IT 관리체계

IT (전산실)조직

전략과 목표IT 관리체계

Page 57: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 57

IT 거버넌스

57

통제/밀폐된 전산실일부 업무만 지원 (연산 위주)전문가가 관리 통제

오픈된 (네트워크로 연결된) 데이터 센터수많은 사람이 인터넷, 모바일로 직접 접속조직 업무의 IT의존도 증대ITG가 중요해짐 !전산실을 넘어 CEO 문제 !

• 전산실 역할변화와 IT 거버넌스의 중요성

70 ~ 80년대 90년대, 2000년대, 2010년대

ERP, CRM, SCM, BIERP, CRM, SCM, BIe-Business, MobileRFID, Cloud, IoTBig Data, SNS….

ITG중요 !ITG중요 !

빅데이터

Page 58: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 58

데이터 거버넌스

정수장, 파이프(HW), 규정과 매뉴얼(SW)

기존데이터작고, 정형적이고, 느린 특성

정보 시스템 (HW, SW, 정보화 규정) : ITG

빅데이터크고, 비정형적이고,빠른 특성 (3Vs)

빅데이터 거버넌스데이터 품질관리, 프라이버시, 수명관리, 메타데이터, 조직과 규정 등

• HW/SW만 잘 관리하면 (ITG) 빅데이터가 관리되나 ?

Page 59: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 59

데이터 거버넌스

IT 거버넌스Data 거버넌스ISO/IEC JTC 1/SC40

1. Evaluate the current and future use of data.2. Direct preparation and implementation of strategies

and policies to ensure that use of data meets businessobjectives.

3. Monitor conformance to policies and performanceagainst the strategies.

Page 60: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 60

데이터 거버넌스

• 데이터 거버넌스의 정의와 필요성– 전사차원에서 보유하고 있는 데이터에 대한 관리체계

– 데이터에 대한 품질과 표준, 프라이버시, 메타 데이터, 수명관리 등의관리체계를 수립하고, 관련 조직과 규정을 정립하며, 이를 자동화하는(시스템 구축) 데이터 관점에서의 IT 관리 체계

– IT 거버넌스가 데이터 거버넌스를 보장하지는 못함

=> IT 복잡성, 위험성 증가

• 데이터 거버넌스의 목적– 고품질 데이터를 확보하여 안전하고 효과적인 관리를 통해 데이터가필요한 사람에게 적시에 공급되고, 조직의 다양한 가치 창출에 기여하는 것 (인체의 혈액)

Page 61: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 61

결론

NIA 자료

Page 62: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 62

결론

• 빅데이터가 성공하려면 ?

– 데이터 기반 조직문화 형성• 직관보다 데이터 기반의 과학적 의사결정 중시 문화가 필요

• CEO 의지가 가장 중요한 관건임

– 조직의 분석지능 제고• 빅데이터 시대에 분석지능이 높은 조직(기업, 국가)일수록 혁신능력과 리스크 관리 능력이 우수함(MIT Report) - 데이터과학자

• 작은 업무에서라도 빅데이터 분석을 시작!

• 재직자 교육의 필요성 (경기도 사례)

– 분석결과가 업무혁신으로 연결, 지속되어야 함• 작은 데이터부터 빅데이터까지 모두 고려

• 업무혁신으로 연결되어야 하고, 지속되어야 함

• 1회성 => 분석결과가 살아 움직이게…

Page 63: 빅데이터와활용사례 - contents.kocw.netcontents.kocw.net/KOCW/document/2016/chungbuk/chowanseop/1.pdf• kbs보도자료“빅데이터,세상을바꾸다” – 대학병원미숙아실의첨단의료장비들에서생성되는스트림데이터

조완섭([email protected])2016-09-30 63

결론

빅데이터 거버넌스는데이터의 품질보장, 프라이버시 보호, 데이터 수명관리, 전담조직과 규정정립,데이터 소유권과 관리권 명확화 등을 통하여 빅데이터가 적시에 필요한 사람에게 제공되도록 체계를 확립하는 것

빅데이터 거버넌스가 확립되지 못하면- 품질이 낮은 데이터를 중요한 의사결정에 사용함으로써 심각한 문제를 야기- 개인 프라이버시 관련 데이터로 인해 빅브라더의 우려가 현실화- 폭증하는 데이터에 대한 메타 데이터 & 수명 관리 소홀로 인한 IT 비용 급증- 데이터 관련 문제를 전담하고 책임지는 조직과 인력이 없다면 빅데이터효과는 일회성에 그칠 것임

• 지속가능한 빅데이터가 되려면 ?

– 빅데이터의 활용과 함께 데이터 거버넌스가 구축되어야 !