understanding data

89
Understanding Data Copyright © 2014 Hanmin Jung 식품의약품안전처 세미나 (2014.12) 한국과학기술정보연구원 (KISTI) 실장 과학기술연합대학원대학교 (UST) 교수 중앙공무원교육원 객원교수 정한민

Upload: hanmin-jung

Post on 16-Jul-2015

176 views

Category:

Data & Analytics


2 download

TRANSCRIPT

Understanding Data

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

한국과학기술정보연구원 (KISTI) 실장과학기술연합대학원대학교 (UST) 교수

중앙공무원교육원객원교수

정 한 민

Let Me Introduce Myself :-)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 2

Recent Social Activities* 국가과학기술연구회 기술서비스사업 기술평가위원* S/W 마에스트로 심사위원* ITRC 과제기획위원회 IoT 분과 기획위원* ICT미래기술연구소 기획위원회 위원* 교육부 BK21 플러스 선정평가위원회 위원* 안전행정부/한국정보화진흥원정책연구 (중앙-지자체전자정부의데이터개방플랫폼연구) 전문가위원회위원* 중앙공무원교육원 World Class COTI 필수교육 분과위원회 위원* 연구개발특구지원본부 기술사업화위원회 위원* 보건복지부빅데이터기술전문가패널* 한국연구재단 융합연구우수성평가위원회 위원* 기술표준원빅데이터표준-R&D 활성화분과위원* ITRC 과제기획위원회빅데이터분과, UI/UX 분과, IoT 분과기획위원/기술간사* 국가경쟁력강화위원회 ‘범부처 Giga KOREA 사업’ 전문가 위원회 위원* 국가과학기술위원회기술영향평가위원회위원 (빅데이터기술)* 방송통신위원회빅데이터포럼인력양성분과위원장/자문위원/운영위원* IBS 장비심의위원회, 지식경제부 중앙장비심의위원회 심의위원* 한국과학창의재단 과학창의앰배서더* 지식경제부 ‘SW+인문 포럼’ 멘토* IT VC 전문성 강화 프로그램 전문강사* ISO/IEC JTC1/SC32 전문위원회위원, JTC 1/SC34 표준개발위원회위원* ISO 20022 TC68 Advisory Expert* 지식경제부 ITRC 사업: 차세대컴퓨팅분과 –빅데이터과제기획위원회 –기술간사* 한국정보통신기술협회정보통신표준화위원회 –디지털콘텐츠/SW품질평가/메타데이타/사물지능통신

프로젝트그룹위원* 교육과학기술부 차세대정보컴퓨팅분과 – 기획위원* 국무총리실 정보지식인대회 출제/평가위원* 문화체육관광부 공공문화정보 전문가 위원

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 3

* 국가과학기술연구회 기술서비스사업 기술평가위원* S/W 마에스트로 심사위원* ITRC 과제기획위원회 IoT 분과 기획위원* ICT미래기술연구소 기획위원회 위원* 교육부 BK21 플러스 선정평가위원회 위원* 안전행정부/한국정보화진흥원정책연구 (중앙-지자체전자정부의데이터개방플랫폼연구) 전문가위원회위원* 중앙공무원교육원 World Class COTI 필수교육 분과위원회 위원* 연구개발특구지원본부 기술사업화위원회 위원* 보건복지부빅데이터기술전문가패널* 한국연구재단 융합연구우수성평가위원회 위원* 기술표준원빅데이터표준-R&D 활성화분과위원* ITRC 과제기획위원회빅데이터분과, UI/UX 분과, IoT 분과기획위원/기술간사* 국가경쟁력강화위원회 ‘범부처 Giga KOREA 사업’ 전문가 위원회 위원* 국가과학기술위원회기술영향평가위원회위원 (빅데이터기술)* 방송통신위원회빅데이터포럼인력양성분과위원장/자문위원/운영위원* IBS 장비심의위원회, 지식경제부 중앙장비심의위원회 심의위원* 한국과학창의재단 과학창의앰배서더* 지식경제부 ‘SW+인문 포럼’ 멘토* IT VC 전문성 강화 프로그램 전문강사* ISO/IEC JTC1/SC32 전문위원회위원, JTC 1/SC34 표준개발위원회위원* ISO 20022 TC68 Advisory Expert* 지식경제부 ITRC 사업: 차세대컴퓨팅분과 –빅데이터과제기획위원회 –기술간사* 한국정보통신기술협회정보통신표준화위원회 –디지털콘텐츠/SW품질평가/메타데이타/사물지능통신

프로젝트그룹위원* 교육과학기술부 차세대정보컴퓨팅분과 – 기획위원* 국무총리실 정보지식인대회 출제/평가위원* 문화체육관광부 공공문화정보 전문가 위원

* ICDIM2015 Organizing Chair* NABD2015 Technical Program Committee Chair* AINA2015 Keynote Speaker* HCII2015 Parallel Session Organizer* CWCN-S2015 Organizing Committee* ACHI2015 Technical Program Committee* ICIT2015 Program Technical Committee* ITNG2015, ISI2015 Program Committee* Information Processing & Management Reviewer* SWCIB2014 at JIST2014 Organizer, Reviewer* Journal of Computer Science Reviewer* British Journal of Mathematics & Computer Science Reviewer* DSAA2014 Session (Session: Statistical and Mathematical Tools for Data Mining) Program Committee* ICDIM2014 International Program Committee, Keynote Speaker* Journal of Information Science and Engineering Reviewer* Review of Information Engineering and Applications Editor/Reviewer* Open Journal of Communications and Software Reviewer* InfoTech2014Session (Session 2-5: Artificial Intelligence System) Co-Chair* APIC-IST2014 Workshop Chair* ISWC2014 Research Track/Posters and Demos Track Program Committee* UCAWSN2014 General Vice-Chair* Journal of Internet and Information Systems Reviewer* KONVENS2014 Program Committee, IPaMin2014 Workshop at KONVENS2014 Organizer* KCST2014 Reviewer* Journal of Middle East Applied Science and Technology Editor* ASET2014 Steering and Technical Committee* IMIS2014 Session (Session 11: Intelligent Technologies and Applications on Big Data) Chair* AMC2014 Session Chair* JIST2014 Poster and Demo Chair, Program Committee* IRC2014, ICCNT2014 Organizing Committee* BIH2014, AMT2014, IEEE SMC2014, JURISIN2014 Program Committee* WILIS2014 Workshop at BigComp2014 Organizer

Recent Academic Activities

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

* ICDIM2015 Organizing Chair* NABD2015 Technical Program Committee Chair* AINA2015 Keynote Speaker* HCII2015 Parallel Session Organizer* CWCN-S2015 Organizing Committee* ACHI2015 Technical Program Committee* ICIT2015 Program Technical Committee* ITNG2015, ISI2015 Program Committee* Information Processing & Management Reviewer* SWCIB2014 at JIST2014 Organizer, Reviewer* Journal of Computer Science Reviewer* British Journal of Mathematics & Computer Science Reviewer* DSAA2014 Session (Session: Statistical and Mathematical Tools for Data Mining) Program Committee* ICDIM2014 International Program Committee, Keynote Speaker* Journal of Information Science and Engineering Reviewer* Review of Information Engineering and Applications Editor/Reviewer* Open Journal of Communications and Software Reviewer* InfoTech2014Session (Session 2-5: Artificial Intelligence System) Co-Chair* APIC-IST2014 Workshop Chair* ISWC2014 Research Track/Posters and Demos Track Program Committee* UCAWSN2014 General Vice-Chair* Journal of Internet and Information Systems Reviewer* KONVENS2014 Program Committee, IPaMin2014 Workshop at KONVENS2014 Organizer* KCST2014 Reviewer* Journal of Middle East Applied Science and Technology Editor* ASET2014 Steering and Technical Committee* IMIS2014 Session (Session 11: Intelligent Technologies and Applications on Big Data) Chair* AMC2014 Session Chair* JIST2014 Poster and Demo Chair, Program Committee* IRC2014, ICCNT2014 Organizing Committee* BIH2014, AMT2014, IEEE SMC2014, JURISIN2014 Program Committee* WILIS2014 Workshop at BigComp2014 Organizer

4

* 고령화 사회에서 ICT 융합 기술의 역할 (Vol. 1670)* 사물인터넷 실현을 위한 플랫폼 및 기술 동향 (Vol. 1665)* 차세대 실시간 빅데이터 분산 시스템 동향 – 스파크와 스톰을 중심으로 - (Vol. 1661)* 웨어러블 컴퓨팅 환경에서의 센서 역할 및 활용 방향 (vol. 1655)* 차세대 웨어러블의 현재와 미래 그리고 이슈 (Vol. 1637)* IT융합 기반 디지털 인체 모델 생성 및 활용 (Vol. 1616)* 과학기술 빅데이터 동향 및 활용방안 (Vol. 1593)* 모바일 비즈니스 인텔리전스 기술 동향 (Vol. 1573)* 시맨틱 소셜 네트워크를 구성하는 온톨로지 어휘 기술 현황 (Vol. 1560)* 정부 빅데이터 분석 기술 적용 동향 (Vol. 1556)* 제품 및 기술 수명 주기 활용 동향 (Vol. 1550)* 개체 식별 관점에서 바라본 링크드 데이터 동향 (Vol. 1524)* 유망 기술 발굴 모델 및 서비스 동향 (Vol. 1521)* 포지셔닝의 측면에서 살펴본 모바일 태블릿 컴퓨터 동향 (Vol. 1486)* 테크놀로지 인텔리전스 동향 (Vol. 1477)* 추론 기술 연구 동향 (Vol. 1446)* 트리플 레파지토리 벤치마킹 (Vol. 1439)* 차세대 IT 기기와 HCI 기술 동향 전망 (Vol. 1435)* 시맨틱 검색 기술 동향 (Vol. 1431) * 시맨틱 웹 국내 특허 동향 (Vol. 1420)* 감성 분석과 브랜드 모니터링 기술 동향 (Vol. 1396)* 시맨틱 웹이 경제 사회에 미치는 영향 (Vol. 1372)* 웹 매핑 서비스 비교 분석 (Vol. 1352)* 시맨틱 웹 2.0 기술 동향 (Vol. 1344)* 국내 포털 검색 시장 및 특허 동향 (Vol. 1341)* Open API 기술 동향 (Vol. 1296)* 엔터프라이즈 검색 기술 동향 (Vol. 1276)* 전자상거래 검색 기술 동향 (Vol. 1273)* 시맨틱 웹 포털 기술 동향 (Vol. 1264)

Technical Reports

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

* 고령화 사회에서 ICT 융합 기술의 역할 (Vol. 1670)* 사물인터넷 실현을 위한 플랫폼 및 기술 동향 (Vol. 1665)* 차세대 실시간 빅데이터 분산 시스템 동향 – 스파크와 스톰을 중심으로 - (Vol. 1661)* 웨어러블 컴퓨팅 환경에서의 센서 역할 및 활용 방향 (vol. 1655)* 차세대 웨어러블의 현재와 미래 그리고 이슈 (Vol. 1637)* IT융합 기반 디지털 인체 모델 생성 및 활용 (Vol. 1616)* 과학기술 빅데이터 동향 및 활용방안 (Vol. 1593)* 모바일 비즈니스 인텔리전스 기술 동향 (Vol. 1573)* 시맨틱 소셜 네트워크를 구성하는 온톨로지 어휘 기술 현황 (Vol. 1560)* 정부 빅데이터 분석 기술 적용 동향 (Vol. 1556)* 제품 및 기술 수명 주기 활용 동향 (Vol. 1550)* 개체 식별 관점에서 바라본 링크드 데이터 동향 (Vol. 1524)* 유망 기술 발굴 모델 및 서비스 동향 (Vol. 1521)* 포지셔닝의 측면에서 살펴본 모바일 태블릿 컴퓨터 동향 (Vol. 1486)* 테크놀로지 인텔리전스 동향 (Vol. 1477)* 추론 기술 연구 동향 (Vol. 1446)* 트리플 레파지토리 벤치마킹 (Vol. 1439)* 차세대 IT 기기와 HCI 기술 동향 전망 (Vol. 1435)* 시맨틱 검색 기술 동향 (Vol. 1431) * 시맨틱 웹 국내 특허 동향 (Vol. 1420)* 감성 분석과 브랜드 모니터링 기술 동향 (Vol. 1396)* 시맨틱 웹이 경제 사회에 미치는 영향 (Vol. 1372)* 웹 매핑 서비스 비교 분석 (Vol. 1352)* 시맨틱 웹 2.0 기술 동향 (Vol. 1344)* 국내 포털 검색 시장 및 특허 동향 (Vol. 1341)* Open API 기술 동향 (Vol. 1296)* 엔터프라이즈 검색 기술 동향 (Vol. 1276)* 전자상거래 검색 기술 동향 (Vol. 1273)* 시맨틱 웹 포털 기술 동향 (Vol. 1264)

5

Current Interests (Press)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 6

Current Interests (Press)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 7

Current Interests (Press)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 8

Nature of Data

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 9http://izquotes.com/quotes-pictures/quote-i-have-no-data-yet-it-is-a-capital-mistake-to-theorize-before-one-has-data-insensibly-one-begins-arthur-conan-doyle-305167.jpg

Global Search Engine Market Share (2012)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 10http://www.relentlesstechnology.com/insights/search-engines.html

USA Search Engine Market Share (2012)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 11http://www.relentlesstechnology.com/insights/search-engines.html

Canadian Search Engine Market Share (2012)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 12http://www.relentlesstechnology.com/insights/search-engines.html

Korean Search Engine Market Share (2014)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 13http://cfile22.uf.tistory.com/image/2711614C542C975B050D8F

Sense of Proportion (Populations)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 14http://www.crtc.gc.ca/eng/publications/reports/PolicyMonitoring/2014/images/image161.jpg

Sense of Proportion (Download Speed)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 15https://lh3.ggpht.com/-3tCJWxFPch4/TYd-7Rrz0hI/AAAAAAAAD8k/w2tQj6uIuiM/s1600/e-canada-us-population-by-approximate-us-race-ethnicity-category-2006-pie.png

Sense of Proportion (Internet Speed)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 16https://d28wbuch0jlv7v.cloudfront.net/images/infografik/normal/chartoftheday_2783_Top_10_Countries_With_Fastest_Internet_n.jpg

Search Engine Market Share

Search Engine Market Share =

f(Population, Internet Speed, …)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 17

Search Engine Market Share =

f(Population, Internet Speed, …)

Social Media

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 18http://marketingland.com/wp-content/ml-loads/2014/07/social-media-explained-cats.png

Social Media - Tweeter

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 19https://twitter.com/search?q=%23%ED%99%98%ED%92%8D%EA%B5%AC&src=typd

Sense of Proportion (Social Media)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 202012년 총선 유권자의 미디어 이용 형태 보고서

Statistical Distortion

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 21http://www.google.com/trends/

Statistical Distortion

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 22http://www.google.com/trends/

Elsa Dress

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 23http://3.bp.blogspot.com/-S0C0tA-tbRE/UtsqYxpdWrI/AAAAAAAABtE/JfN0AiCmtJM/s1600/RMH_9108.jpg

Let It Go

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 24http://3.bp.blogspot.com/-S0C0tA-tbRE/UtsqYxpdWrI/AAAAAAAABtE/JfN0AiCmtJM/s1600/RMH_9108.jpg

Data Cleaning (Noise Filtering)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 25http://www.google.com/trends/

Socially Controversial Agenda

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 26http://www.edaily.co.kr/news/public/pop_print.asp?newsid=01886006606248984

Data Curation

담배업계의 다른 관계자는 "인도와러시아는 담배 가격이 한 갑에 2달러수준으로 비슷하지만 흡연율은러시아가 3배나 높다"며 "또 프랑스는담뱃값이 한 갑에 8.3달러로2.2달러인 한국보다 3.8배나 높지만두 나라의 흡연율은 23%로유사하다"고 밝혔다.

http://www.yonhapnews.co.kr/bulletin/2014/09/11/0200000000AKR20140911114900030.HTML

가격정책인 담뱃값 인상의 효과와관련해 2006년 유럽의 52개국 자료를분석한 결과 담뱃값을 10% 인상하면담배 소비는 5~7% 감소한다는 연구결과가 있다. 특히 담뱃값 인상은저소득층과 청소년의 흡연율을낮추는 데 효과가 크다.

http://www.hani.co.kr/arti/society/health/579628.html

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 27

담배업계의 다른 관계자는 "인도와러시아는 담배 가격이 한 갑에 2달러수준으로 비슷하지만 흡연율은러시아가 3배나 높다"며 "또 프랑스는담뱃값이 한 갑에 8.3달러로2.2달러인 한국보다 3.8배나 높지만두 나라의 흡연율은 23%로유사하다"고 밝혔다.

http://www.yonhapnews.co.kr/bulletin/2014/09/11/0200000000AKR20140911114900030.HTML

가격정책인 담뱃값 인상의 효과와관련해 2006년 유럽의 52개국 자료를분석한 결과 담뱃값을 10% 인상하면담배 소비는 5~7% 감소한다는 연구결과가 있다. 특히 담뱃값 인상은저소득층과 청소년의 흡연율을낮추는 데 효과가 크다.

http://www.hani.co.kr/arti/society/health/579628.html

Implicit Fact

- Company A는 어느 기간 마다 주문하는가?- Company A는 어느 품목에 상대적으로많은 비용을 지불하는가?

- Company A는 무료 배송 이벤트에 민감하게반응하는가?

- Company A는 평균 주문 금액이 어느 정도되는가?

- Company A는 시즌과 품목 구입에 연관성을보이는가?

- Company A는 결국 …배송료에 민감하며, 가구 구입에는 돈을 아끼지않는 구매자이다.

- Company A를 공략하기 위해서는 무료 배송이벤트와 신규 입고 가구 정보에 초점을 맞추어마케팅을 한다.

- 섹터 분석은 실패하기 쉽다.(예) Diamond Card 부서와 Gold Card 부서가자기 부서 관점에서 분석하면 동일인에게 서로다른 상품의 브로셔를 보내면 해당 고객이스팸 처리할 가능성이 커진다.

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 28http://i.msdn.microsoft.com/dynimg/IC311178.jpg

- Company A는 어느 기간 마다 주문하는가?- Company A는 어느 품목에 상대적으로많은 비용을 지불하는가?

- Company A는 무료 배송 이벤트에 민감하게반응하는가?

- Company A는 평균 주문 금액이 어느 정도되는가?

- Company A는 시즌과 품목 구입에 연관성을보이는가?

- Company A는 결국 …배송료에 민감하며, 가구 구입에는 돈을 아끼지않는 구매자이다.

- Company A를 공략하기 위해서는 무료 배송이벤트와 신규 입고 가구 정보에 초점을 맞추어마케팅을 한다.

- 섹터 분석은 실패하기 쉽다.(예) Diamond Card 부서와 Gold Card 부서가자기 부서 관점에서 분석하면 동일인에게 서로다른 상품의 브로셔를 보내면 해당 고객이스팸 처리할 가능성이 커진다.

Getting Insights from Data

Set Goals Control Data (for answering to users)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 29

Data and Tools

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 30http://inspireicons.com/wp-content/uploads/2014/09/Michael-schumacher-poster.jpg

Trends of Data

Web -> Social -> Thing

“The next Google or Facebook may well bean Internet of Things company.”by R. MacManus (ReadWriteWeb)

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 31

Web -> Social -> Thing

“The next Google or Facebook may well bean Internet of Things company.”by R. MacManus (ReadWriteWeb)

Social Data

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 32http://www.youtube.com/user/TworldTV

Machine (Thing) Data

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 33http://www.youtube.com/user/TworldTV

Coca-cola Amatil

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 34http://www.youtube.com/watch?v=KRYRxYz3uFE

Device Flood

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 35https://texasceomagazine.com/wp-content/uploads/Dept-Tech-Figure1.jpg

Things on IoT

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 36http://www.marketsandmarketsblog.com/wp-content/uploads/2014/06/Internet-of-Things-Trillion-Dollar-Industry.png

Bottleneck in Data Ecosystem

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 37http://quizzicaleyebrow.files.wordpress.com/2011/03/pict0044.jpg

Big Data Platform

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 38http://marscommons.marsdd.com/wp-content/uploads/Digital-Intelligence-Architecture-copy.png

154 Web Sites

URL

Data Gathering Process

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

News URLs

Crawlers CrawlersCrawlers

NewsCollector

NewsParser&Filter

HTML Page

URL

URLNews Text &

Meta data

Preprocessed Web News Data

n39

39

Data Inputs

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 40

Evolution on Analytics

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 41https://www-304.ibm.com/connections/blogs/ibm_healthcare/resource/BLOGS_UPLOADED_IMAGES/AnalyticsJourney.png

KFRI

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 42

Big Data Platform

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 43http://marscommons.marsdd.com/wp-content/uploads/Digital-Intelligence-Architecture-copy.png

대전 E 초등학교 1주일 실제 급식과 비교1식당 만족도 16~30 퍼센트 포인트 향상, 칼로리 유지, 나트륨 함량 327~1939mg 감소

KFRI

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

nhttp://article.joins.com/news/article/article.asp?total_id=15178002&cloc=olink|article|default

44

KFRI

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 45

구분 수집건수 비고 지재권

웹 뉴스 6,755,488 154개 웹 사이트 대상2001년 이후의 게시물 실시간 수집

X

논문 (국외) 11,446,514 PubMed 입수, 2001~2014년 발간된 논문 대상 X

논문 (국내) 962,984 2001년~2013년 O

KFRI

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

논문 (국내) 962,984 2001년~2013년 O

SNS (트위터) 287,824,713 2014년 1월부터 실시간 수집 X

재난데이터 3,605 침수, 수해상습지 정보국토교통부 공개

X

환자데이터 3,900,000건강보험심사평가원에서 유료 구입입원환자, 전체환자, 고령환자, 소아청소년환자 표본추출 데이터

O

식품 및 과학기술용어 37,400 식품나라(식품과학용어사전) 입수, KISTI 가공 X

합계 310,930,704 (2014.11.24)

NIPA

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 47

KISA

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 48

KRIBB

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 49

KRIBB

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 50

Technical Issue – Identity Conflict

n URI Aliasesn URIs that refer to the same real-world objects

n E.g. http://dbpedia.org/resource/Berlin (for Berlin in DBpedia)n E.g. http://sws.geonames.org/2950159 (for Berlin in Geonames)

n Information providers can set owl:sameAs links to URI aliasesthey know about

n Resolution of Data Conflicts in Data Fusionn Choosing a value in situations where multiple sources provide

different values for the same property of an object

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

nChristian Bizer, Tom Heath, and Tim Berners-Lee, “Linked Data – The Story So Far”, 2009.

n URI Aliasesn URIs that refer to the same real-world objects

n E.g. http://dbpedia.org/resource/Berlin (for Berlin in DBpedia)n E.g. http://sws.geonames.org/2950159 (for Berlin in Geonames)

n Information providers can set owl:sameAs links to URI aliasesthey know about

n Resolution of Data Conflicts in Data Fusionn Choosing a value in situations where multiple sources provide

different values for the same property of an object

51

n Namesn소녀시대, 소시,少女時代, しょうじょじだい, 少時,Sho Jo Ji Dai, So Nyeo Shi Dae, SoShi,Girl’s Generation, SNSD, So Nyuh Shi Dae, …

Technical Issue – Identity Conflict

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 52

Technical Issue – Identity Conflict

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 53

n Resolved Data on Ontology

Technical Issue – Identity Conflict

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 54

Government 3.0

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 55

Open Government Initiative

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 56

Data.gov

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 57

Data.gov.uk

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 58

N. Shadbolt @ Dinner

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 59

Data.gov.uk

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 60

Efficiency & Effectiveness

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 61http://staffingstream.wpengine.netdna-cdn.com/wp-content/uploads/2014/05/481505493.jpg

Fill That Hole

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 62http://www.fonant.com/sites/fonant.com/files/Untitled-9_0.png

Traffic Injury Map

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 63http://www.road-injuries.info/map.html

Causes of Death UK

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 64http://image.guardian.co.uk/sys-files/Guardian/documents/2011/10/28/Factfile_deaths_2_2011.pdf

Transparency & Public Trust

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 65http://www.fluxfactory.org/wp-content/uploads/2012/09/imageidea2.jpg

Compare A-level Schools

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 66http://data.gov.uk/apps/compare-level-schools

Shoothill GaugeMap

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 67http://data.gov.uk/apps/shoothill-gaugemap-live-river-level-data-england-and-wales

Ratemyplace

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 68http://data.gov.uk/apps/ratemyplace

Smoking-Tax Correlation

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 69http://data-gov.tw.rpi.edu/w/images/b/ba/10026-smoking-tax-correlation.png

Public Participation & Collaboration

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 70http://jmgoldson.com/wp-content/uploads/2012/01/DSC_0049.jpg

Crime Map UK

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 71http://data.gov.uk/apps/crime-map-uk

Walkonomics

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 72http://data.gov.uk/apps/walkonomics-how-walkable-your-street

Doorda.com

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 73http://data.gov.uk/apps/doordacom

Neighbourhood Checker

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 74http://data.gov.uk/apps/neighbourhood-checker

Find Properly

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 75http://data.gov.uk/apps/find-properly

Goal of Open Government

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 76http://4.bp.blogspot.com/-33XgfoVRwfg/UGnUiM5H8PI/AAAAAAAADao/aZ49g7mRRgE/s1600/evidence.jpg

“Data to Knowledge to Action”

n Updated Big Data Initiative (Nov. 2013)n Deriving greater value for American consumers and grow the Nation’s

economy

n Facilitating powerful new approaches to discovery and decision-making

n “America is rich with institutions that are expert at generating data, …merging pre-competitive resources, partnering on analytics, and sharinglessons learned”

n Building virtual clinical trials: learning computer network for unlockingand analyzing vast quantities

n Improving access to clinical trials: machine-readable ‘target health profile’for improving patient access to information about clinical trials

n Bringing NASA data down to Earth: the power of the crowd for analyzingmassive data sets

n Applying data analytics to society’s problem-solvers: communicationtechnologies for improving the health of under-served and disconnectedcommunities

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

n Updated Big Data Initiative (Nov. 2013)n Deriving greater value for American consumers and grow the Nation’s

economy

n Facilitating powerful new approaches to discovery and decision-making

n “America is rich with institutions that are expert at generating data, …merging pre-competitive resources, partnering on analytics, and sharinglessons learned”

n Building virtual clinical trials: learning computer network for unlockingand analyzing vast quantities

n Improving access to clinical trials: machine-readable ‘target health profile’for improving patient access to information about clinical trials

n Bringing NASA data down to Earth: the power of the crowd for analyzingmassive data sets

n Applying data analytics to society’s problem-solvers: communicationtechnologies for improving the health of under-served and disconnectedcommunities

http://www.whitehouse.gov/sites/default/files/microsites/ostp/Data2Action%20Press%20Release.pdf

77

Where is it in Big Data Platform?

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 78http://marscommons.marsdd.com/wp-content/uploads/Digital-Intelligence-Architecture-copy.png

Government 3.0 of Korea

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 79http://www.gov30.go.kr/gov30/index.do

Data.go.kr

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 80

Open.go.kr

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 81

Data.go.kr – Unusable Contents

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 82

Open.go.kr – Unusable Contents

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 83

Social Data Among Available Data

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 84국립재난안전연구원, 소셜미디어 & 재난No. 8, 2014.9.

Balancing “The Carrot and The Stick”

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 85http://michael-whitehead.com.au/wp-content/uploads/2011/08/emo-2211298661_fa63c612f2_o1.jpg

My Opinion on Open Government Data

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 86

Three Steps for Publishing Data Set

1. Assign URIs to the entities described by the data set and provide fordereferencing these URIs over the HTTP protocol into RDFrepresentations

2. Set RDF links to other data sources on the Web, so that clients cannavigate the Web of Data as a whole by following RDF links

3. Provide metadata about published data, so that clients can assess thequality of published data and choose between different means ofaccess

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12)

nChristian Bizer, Tom Heath, and Tim Berners-Lee, “Linked Data – The Story So Far”, 2009.

1. Assign URIs to the entities described by the data set and provide fordereferencing these URIs over the HTTP protocol into RDFrepresentations

2. Set RDF links to other data sources on the Web, so that clients cannavigate the Web of Data as a whole by following RDF links

3. Provide metadata about published data, so that clients can assess thequality of published data and choose between different means ofaccess

87

Understanding Technology

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 88http://thewiredhomeschool.com/wp-content/uploads/2014/01/bill-gates-tech-quote.png

“A lot of times, people don’t know what they want until you show it to them.”by Steve Jobs

“Many people won’t be convinced until they’ve seen it for themselves.”by Jakob Nielsen

Copyright © 2014 Hanmin Jung식품의약품안전처 세미나 (2014.12) 89

[email protected]