예측의 천재&<신호와 소음>저자 네이트 실버가 밝히는

빅데이터 트렌드 분석 및 미래예측 전략(3)

이 자료는 빅데이터 및 베어즈 이론에 대한 내용을 쉽게 정리한 예측

의 천재 네이트 실버의 <The Signal and Noise>(한국에서는 ‘신호와

소음’이라는 제목으로 출간)을 바탕으로 작성한 자료입니다.

자료에 대한 문의 및 추가정보는 길벗출판사(www.gilbut.co.kr)

홈페이지를 참고하시기 바랍니다.

슬라이드 쉐어에 현재 업로드 돼 있는 빅데이터 트렌드 분석 및 미래

예측 전략(1), (2)을 먼저 보시고 현재 자료를 참고하시면 좋습니다.

http://www.slideshare.net/shezcom/big-data-37266027

http://www.slideshare.net/shezcom/big-data-2-37442344

7

어느 날, 라퀼라를 휩쓴 재앙 : 지진

예측된 라퀼라의 지진

1315년, 라퀼라에서 대규모 지진 처음 기록

1349년, 1452년, 1461년, 1501년, 1646년, 1703년....계속 되는 지진

1786년 5,000명이 넘게 사망한 대규모 지진 발생

2009년, 기존의 지진보다 더욱 강력한 지진이 발생!그러나...

지진예고를 무시했던 라퀼라의 최후

지진예고를 했던 줄리아니의 경고를 무시한 공무원

지진의 영향을 엄청나게 받을 수 있는 지리적인 상황

건축법규, 긴급 구호 체계 등 지진 대비책 전무

어느 정도 예측이 가능한 허리케인과 달리 지진은 예측이 어려움

지진은 예측할 수 있다 VS 없다

허리케인으로 사망하는 수보다 지진 사망수가 더 많다?

1. 예측은 지진이 언제 그리고 어디에서 일어날 것인지 구체적이고

명시적으로 말하는 것이다. 이를테면 ‘대규모 지진이 6월 28일에

일본 교토를 강타할 것이다’가 예측이다.

2 예상은 확률적 진술이며 대개는 장기적 차원의 발상이다. 예를 들

면 ‘지진이 30년 안에 캘리포니아 남부 지역에서 일어날 확률은

60퍼센트다’가 예상이다.

지진을 예측할 수는 없어도 예상할 수는 있다-미국지질조사소-

“기상 체계라면 쉽습니다. 대기에서 무슨 일이 일어나는지 보고 싶으 면 그냥 고

개를 들어 하늘을 보기만 하면 되니까요. 하지만 우리는 땅속 을 봐야 합니다. 지

진 현상은 대부분 지구 표면의 15킬로미터 아래에서 일어납니다. 현실적으로 거

기까지 땅을 팔 수도 없는 노릇입니다. SF영 화가 아니거든요. 이게 본질적인 문

제입니다. 땅속에서 진행되는 압력을 직접 측정할 방법이 없다는 거요.”

-지질학자 데이비드 보먼-

VS

우리는 우리가 접할 수 있는 증거에서 그 구조를 추론해내

야 한다. 이 과정에서, 자료가 한정 되어 있고 소음이 많을

때 그리고 자료 안에 내재된 근본 관계에 대한 이해가 부족

할 때, 사람들은 대개 과잉적합의 오류를 범한다. 이러한

사정은 지진 예측에도 마찬가지다.

과잉적합에 주목하라!

VS

도호쿠에서 진도가 7 중반대에서 후반대에 이르는 지진은

꽤 있었다. 이 규모의 지진이 세계의 다른 지역에서도 일어났었다면, 그보다 큰 지진이 발생할 가능성은 얼마든지 있다는 뜻이다. 도호쿠가 예외적인 지역이라고 생각할 근거는

그 어디에도 없었다. 그러나 전문가들은 우측하단의 그래프처럼 소수의 자료를 갖고 9.0이상의 지진은 일어날 수 없다는 결론을 내렸고 이후 9.0이 넘는 지진이 일어났다.

과잉적합의 사례 : 후쿠시마 핵 원자로 폭발사건

8

숫자에 속지 마라 : 평균과 불확실성

그랜드포크스 범람

미국 국립기상청이 예보에서 오로지 홍수 예측 수위인 49피트만 강조했을 뿐 불확

실성에 대해서는 분명하게 얘기하길 꺼렸다는데 있었다. 기상예보관들은 예보에 불

확실성이라는 개념을 함께 넣을 경우 예보의 신뢰성이 의심받을까 두려워서 그렇게

했다고 나중에 연구자들에게 털어놓았다.

미국경제 전문가의 예측과 실제

전문 예측가 서베이’ 경제 전문가들의 예측이 그들이 말한대로 정확하다면, 우리는 GDP 성장의 실제 값이 열 번 가운데 아홉 번은 그 예측구간 안에 놓일 것으로 기대할 수 있다. 그러니까 내가 설정한 전체 18년 가운데 2년만 빗나가야만, 그들의 예측이 맞는다고 볼 수 있다.

하지만 현실에서 GDP 성장률의 실제값은 ‘전문 예측가 서베이’ 경제 전문가들의 예측구간에서 열여덟 건 가운데 여섯 번이나 빗나갔다. 3분의 1이 빗나간 셈이다.

미국경제 전문가의 예측과 실제

‘즐거운 지식놀이터 <더퀘스트>‘에는 정치 분야 및 금융분야(최근 미국의 주택거품에 관한 리얼한 상황, 그리고 신용평가사들의 탐욕 등에 관한 금융에 대한 진실을 다룬 내용이 있음)에 관한 전문가들과의 대화를 녹음해 올린 팟캐스트가 있으니 참고.

팟빵 링크 : http://www.podbbang.com/ch/7882

아이블러그 링크 : http://thequest.iblug.com/index.jsp?cn=FP13352A5N0119409

아이튠즈 링크 : https://itunes.apple.com/kr/podcast/deokweseuteu-jeulgeoun-jisig/id897316258?mt=2