ビッグデータ
DESCRIPTION
TRANSCRIPT
ビッグデータはマーケティングを変えるのか？
第23回JMRX勉強会 （公開用資料）
2012年 1月
株式会社 野村総合研究所
ICT・メディア産業コンサルティング部
主任コンサルタント 鈴木 良介
〒100-0005
東京都千代田区丸の内1-6-5 丸の内北口ビル
「ビッグデータ」の
定義・特性は何か？
1
ビッグデータとは何か？
本稿ではビッグデータとは、
「事業に役立つ知見を導出するための、「高解像」「高頻度生成」「非構造なものを含む多様」なデータ」
と定義する。（公的機関等による確定的な定義はない。）
2
① 高解像であること が付加価値に繋がる
② 高頻度生成
リアルタイムであること が付加価値に繋がる ③ 多様・非構造であること
が付加価値に繋がる
事業への付加価値を生むようなデータ特性を想定すると、
結果として「ビッグ」
① 高解像であること。
解像度とは同じ現象をどれだけ細かく表現することができるか、ということ。
3
30代男性
低
▼ 例えば販売促進活動のためのデータで言うと …
高
佐藤 鈴木
田中
山田 加藤
② 高頻度生成・リアルタイムであること。
4
月に一度の分析に基づく
「おむつとビール」のような傾向把握 今、負けているひとにマッサージ券
③ 多様・非構造であること。
5
基幹DB
購買履歴は基幹DBにあるが、
購入に至るまで、
購入をしなかった経緯は
基幹DBの分析だけではわからない。
防犯カメラの
映像
ウェブの
アクセスログ
参考： 誰がビッグデータと言い始めたのか？
その他、医療の世界における「EBM:evidence-based medicine（根拠に基づいた医療）」 や、
科学の世界における「Data Centric Science 」も関連する潮流と言える。
6
1997 John R. Mashey
Chief Scientist, SGI
2008 Nature ビッグデータ特集
2010 英Economist誌
大量データ活用特集
なぜ、このタイミングで
ビッグデータなのか？
7
確かに振り返れば屍山血河。
高度情報化社会、ユビキタス、センサーネット、と何が違うのか？
なぜこのタイミングで「ビッグデータ」であるのか？
「高度情報化社会」「マルチメディア社会」「ニューメディア」
ユビキタス
ウェアラブルコンピューティング
センサーネットワーク
ビジネスインテリジェンス
データマイニング
ライフログ
Web2.0（CGM）
・・・
2000年前半のユビキタス等とは何が違うのか？
8
「BI/DMはもうこりごり！
●●にいくら払ったと
思っているんだ！！ 」
理由１： この10年間の「電子化・自動化」の進展により 使えるデータがたまってきたため。
2001年以降の10年間においてどのような変化があったのか？
2002年のITバブル崩壊の印象が強すぎるが、確実に電子化・自動化は進展していた。
9
GPSの標準搭載は2004年～
当時は500円玉サイズ、
1ユニット17万円。
（今は数百円）
2001年交通系サービス開始
2004年ショッピングサービス開始
Suica
FOMAサービス開始
FOMA
サービス iPod
iPod 第1世代
登場
理由２： 利用サイド事業者にて、IT活用の段階を 進めざるを得ない競争状態に入ったため。
「IT活用」「情報化」は一つの意味ではない。
「電子化・自動化」ができていることと、「事業に寄与する知見導出」ができていることには大きな隔たりがある。
同業種の中で「第二の壁」を越えた事業者と越えてない事業者が勝負しようとしたとき、競争力に大きな差が生ずる。
10
それぞれの段階にある事
業者の状況
社内稟議は、紙とハンコがぐるぐると社内を回る。
顧客情報は担当者の手帳に手書きで保存されているだけ、など。
「書類保管費用の削減」など、情報活用とは別の面からのインセンティブが働き、この１０年間で大きく進展。
電子化をして、本業の効率化には成功したけれど、
「まだまだしゃぶりつくせていない」「IT活用の余地はあるはず」という想いを抱いている。
キーワードは
「電子化はしたけれども…」
このステップを乗り越えた事業者が、「データ活用、ビジネスインテリジェンスの優等生」として、取り上げられる。
現在は、この段階の
事業者が多い。
第１の壁
電子化・自動化
ができているか？
第２の壁
データから、
事業に寄与する知見が
導出できているか？
未解決群 解決群 未解決群 解決群
理由３： ビッグデータを「取得・生成」「蓄積」「処理・分析」 するためのツールが成熟してきたため。
11
データを把握する・収集する データを蓄積する
処理可能な状態にする データを処理・分析する
各種センサ技術の成熟
ミドルウェアとして通信の活用およびクラウドとの連携を促すAndroid
情報発信や閲覧・購買・コミュニケーション動態把握。
（公開APIからのデータ収集）
移動体通信
モジュールの活用
CEP （複合イベント処理）、ストリーム・コンピューティング
▼ためずに、処理する（リアルタイム処理）
▼大量に蓄積する ▼大量のデータを処理する
NoSQL /
Scipy NumPy…
クラウドコンピューティング環境 （IaaSほか）
▼大量処理の基盤
PPDM プライバシ保護データマイニング
（匿名化、秘密計算、再構築計算） SDC 統計的開示抑制
▼秘匿と活用の両立
DWH データウェアハウス
▼データを分析可能な状態とする
MDM マスターデータ管理
可視化技術
トレーニングを重ねた
優れたアルゴリズム
人手による入力データや
クリックストリーム
二次利用可能な
統計データ等
業務付随データ
（事業者保有データ）
支援サイド事業者（ITベンダなど）がビッグデータに取り組む理由
背景にはクラウド利用の進展がある。 安さが動機となった遷移であるがゆえに、ICT市場の規模は縮小する。
クラウド利用は、ユーザ企業サイドから見た場合には、「総費用の低減」という強い魅力があるが、
サービス提供事業者サイドから見た場合には、「市場セグメントの縮小遷移」と「海外流出」を促しうる脅威となる。
その脅威は、通信事業者よりも、SIerやハードウェアベンダを直接的に襲うこととなる。
12
国内事業者が
提供する市場
海外事業者が
提供する市場
クラウド化の進展による
コストの低減により、ICT市場は縮小する。
１
かつ、海外事業者が提供する
クラウドサービスに顧客がとられ、
国内ICT市場は縮小する。
２
縮小移行
支援サイド事業者（ITベンダなど）がビッグデータに取り組む理由
クラウドは「電子化・自動化により、業務効率を上げる」というIT活用の極地。コストセンターから収益をあげていくことは、ますます厳しくなる。
情報システムのユーザー企業の多くは、クラウド利用の目的として、情報システム関連支出の低減を意図している。情報システム部門は大抵の場合、「いかにすれば、現在と同等の活動を、より低いコストで実現することができるか」ということを考えざるを得ない立場にある。
もちろん、志としては「経営と情報システムは表裏一体であり、戦略的な投資が必要である」といった掛け声を意識はするものの、経営サイドからコスト削減を至上命題とするような指示を受ける状況はめずらしくない。
新しい事業領域としてのビッグデータビジネスを発展させるためには収益増加を目的に、コストや投資の按分を制御することができる事業部門に対して付加価値を訴求するような手立てが必要ではないか？
13
総務部門
情報システム部門
コストセンター
（コストカットが行動規範） 仮想化、クラウド化、マネジドサービスが訴求。
事業部門
プロヒットセンター
（適切な投資に基づく、
収益拡大が行動規範） ビッグデータ活用？
ICT業界にとっての
新たな収益源？
既存ICT市場を縮小代替する形で、個々のソリューションは進展。
ビッグデータ活用の事例
14
“Gang of Four” 消費者の一般的なデータに関する「四強」
一般的な「興味（interest）」に関する広範なデータ。
それを多くの媒体（動画、Blog、写真）などにわたって保有。
財布情報は持っていない。
Amazon.com
一般的な「物品」の購買データを膨大に保有。
そもそも”Data is King”を標榜。
物品のみならず、デジタルコンテンツの販売にも大きく拡大。
当然にして財布情報を保有。
ソーシャルグラフ・データ。
誰をつつけば、誰に訴求するか、ということが分かりうる。
Apple
消費者接点を魅力的なデバイスで押さえている。
iTunes Storeを介して、財布情報を保有。
デジタルコンテンツを中心としたインタレストと購買実績を保有。
15
「利用サイド事業者」「支援サイド事業者」の動向
16
ビッグデータの
利用サイド
事業者
ビッグデータの
支援サイド
事業者
内製事業者
製造、流通、金融…
などの事業会社 従来のITベンダ等
Google, Amazon.comなどの
ウェブサービス事業者等
四強以外の事業者においても、
ユニークなデータを取得・保有している
ケースはある。（Paypal, Twtitter等）
国内事業者でもクックパッドなどは
データ外販サービス「たべみる」を実施。
彼らがビッグデータ活用を強く牽引している。
ビッグデータの活用は、事業者に対してどのような付加価値を与えるか？
将来的にどのような施策を講ずれば良いのかがわかり、事業の効率的な実施を行うことが可能となる。
具体的には次のような業務プロセスにおいて効用を得ることができる。
「製品開発」 において、どのような製品を開発することが消費者に対して訴求するのか、ということが分かる。
「販売促進」 において、誰に、何を、いつ売れば良いのかが分かる。
「保守・メンテナンス・サポート」 において、いつ、どのようなメンテナンスを行えばよいかが分かる。（総コストの低減も）
「コンプライアンス」 において、不正の予兆や、特に注視するべき事象が何であるかがわかる。
「業務基盤・社会インフラの運用」 において、全般的な性能向上・コスト削減が実現される。
17
事例
Amazon Kindle Popular Highlights
Amazon.comの基本思想は”Data is King.”この思想は小売情報の範囲を越えて拡大中。
「電子書籍上でハイライトされた箇所」に関する情報をクラウド上に集約・共有を開始。
Popular Highlightsは、電子書籍における「アンダーライン」情報を集約。
マーケティングや、製品開発上の活用が想定される。
GOOG-411による、音声認識アルゴリズムの洗練
自社の音声認識アルゴリズムを洗練させるべく、大量のデータを収集するためだけのサービス提供。
「世界中のクルマの情報を集めて、開発に利用する」
例えば、あるお客さんが買ったクルマのエンジンなどの状態が全部、メーカー側で見える。
そうなれば、クルマの時間的な状態の変化がリアルタイムで分かるので、問題があったらすぐに手を打てます。
クルマの性能や品質を飛躍的に向上させる仕掛け作りは、ネットワークなしには考えられません。
「世界中のクルマの情報を集めて、開発に利用する」ことを夢として持っています。
（出典： インターネットITS協議会）
パーソナライズドリコメンデーション
昔は、「おむつとビール」。
ITの登場により、この10年で格段に進歩したのは、「フィードバックを個人単位で行う」こと。Amazon.comに代表される、ECサイトでのリコメンデーションはその典型例。
先鋭的な事例としての「カジノでの引き止め」。
スマート○○
例： スマート・イリゲーション（水撒き） 現状において世界の水の7割は農業に使われているが、その多くが非効率に使われている。天気予報（近く雨が降るかどうかといった情報）や、各種センサーから得られるデータを活用することにより、最適な配水を行おうとするものである
18
販売促進に関する事例
南アフリカにて開発の “Dynamic Discount Solution”（DDS） は 通信設備の混雑状況に基づき、リアルタイムでの割引施策を行い混雑を平準化。
トラフィックが集中する時間帯においては、料金を高くし、脆弱なインフラにおいても耐えられるよう使用を平準化する。
類似のサービスとして、”Billing and Revenue management”サービスの一環として、“Location Based Charging”の提供も行っている。
これは、2008年に開設した現地研究所(Ericsson Innovation Center in South Africa)から登場したもの。
19
▼ Ericssonによる、 “Dynamic Discount Solution”（DDS）
時間帯や場所により設定される通話料金の割引状況を示す。
参考： http://wn.com/Dynamic_Discount
http://www.esato.com/board/viewtopic.php?topic=186740
ビッグデータ活用の類型化と具体的な事例
20
蓄積したデータの 分析結果をフィードバック【ストック型】
リアルタイムにデータを分析して フィードバック 【フロー型】
系全体 への
フィードバック
製品開発
アルゴリズム改良
ウェブ動線、陳列棚の配置最適化
…
スマートグリッド
スマート～
…
個別 への
フィードバック
ECサイトにおけるリコメンデーション
…
行動ターゲティング広告
クレジットカードの不正検知
高速での証券取引
…
なにをもって「リアルタイム」とするかは、業種業態、データの利用目的によって異なる。
ここが要らなくなった
わけではないが…
１
技術的に可能と
なりつつあること。
よりリアルタイムに、
よりパーソナルに、
施策を講ずる必要があると
考える傾向が強まる。
２
ビッグデータとは何か？ （再）
ビッグデータとは、 “事業に役立つ知見を導出するための、「高解像」「高頻度生成」「多様・非構造」なデータ」”
21
パーソナライゼーションなど
個々に施策を講じたい。
リアルタイムに施策を講じたい。
多面的な判断材料に基づいて
施策を講じたい。
事業実施上のニーズの変化 結果求められるデータ（ビッグデータ）の特徴
ビッグ
データ
ビッグデータ活用の効用を得る上での課題は何か？
22
人材不足
ボトルネックはビッグデータ取扱いに関するリテラシを持つ人が 不足していること。（サービスを受ける側としても、提供する側としても。）
「ボトルネックは、ビッグデータの取り扱いができる・理解がある人がいないこと」？
大量のデータを見て、「なにかありそう！」とワクワクできる人はそう多くない。
300万行のデータとか見ると、気持ち悪くなってしまう人が多勢。
外注事業者とコミュニケーションできる程度のリテラシを有した人が尐なくとも社内に必要。
システムや、ツール類も重要だが、根幹は数理モデリングに関する人材不足だ。
「そもそも発注したことがない。データ分析に金を払う文化が無い。」
マーケティングに関しては、電通とか博報堂に頼みやすい風土がある。
「ああ、電博に外注するのね」で稟議が通りやすい。
自社のデータを外出ししましょう、というような文化醸成も必要だろう。
23
出典： データ解析を業務とする各社担当者に対するNRIヒアリング結果より抜粋（2009年～2010年）
人材不足
シリコンバレーにおいても、データ解析人材の争奪戦が始まっている。
24
「統計学の素養があって、
“Hadoop”が使える、
優秀なやつが入れば、
すぐに年棒10万ドル出すぜ！」
2011年3月 Strata Conference 2011
今後10年間で
最もセクシーな職業は
統計家である。
2009年 Hal Varian, Google Chief Economist
プライバシ・機微データの取扱
課題としての「プライバシ」 / 英国Allow社のケース
Allowは消費者の個人情報売買をサポートするサービス。
Personal information like your name and address is being traded for profit every day.
Now you can help stop this trade and
turn your data into cash for yourself with ALLOW’s new, free service.
25
http://www.i-allow.com/
誤用・不適切利用
リコメンデーション機能の不適切な推薦がトラブルの原因となったケースもある。
事例
「この商品を買った人はこんな商品も買っています」
ネット通販大手アマゾン・ドット・コムでは、欲しい商品を検索すると、その説明画面に、こんな「おすすめ」商品が表示される。ほかの利用者の購入実績などから、自動的に導き出される一覧だ。
この春、アマゾン日本版で不思議な現象が起きた。ある洗剤の商品名を検索すると、何の関係も無さそうな「おすすめ」商品が次々に現れる。薬品、家電製品用のタイマー付きコンセント、ポリ袋、そして「自殺」に関連する書籍。
このころ、浴室などで硫化水素ガスを発生させる自殺が、各地で相次いでいた。ある洗剤と薬品を混ぜると、ガスが発生する。そんな情報がネットで流布していた。
特定の洗剤を買った人が、混ぜるとガスを発生させるという薬品を買い、「自殺」関連書籍を買っていた――。「おすすめ」が示していたのは、そういうことだった。アマゾンジャパンは対策をとり、現在この表示は出てこない。
出典： 2008/11/05 朝日新聞
違法ではない。有害かと尋ねられれば疑問。だが、健全な状態ではない。
26
将来動向 「第３の壁」と情報流通基盤事業の可能性
27
計算基盤は外部提供で十分。顧客の情報を管理するべきソフトウェアも外部提供。 「いっそのこと、CRMサービスに顧客情報を入れた状態で売っていただけないかな？」
IT基盤（HaaS/PaaS含む）は、情報システムを入れるための「器」に過ぎない。情報システム（SaaS含む）は、事業遂行のために必要なデータを入れるための「器」に過ぎない。
「事業遂行のために必要なデータ」は様々なレベル存在する。
公開企業の財務情報は、ウェブで確認することが容易な、「必要なデータ」。
○○社情報システム部長のご趣味が鉄道写真の撮影であることは、営業マンが足で稼いだ、「必要なデータ」。
「いっそ、ノンコアジェネラルな情報（うちの社員が汗をかく甲斐のない情報）は、サービスとして提供してくれないかな？」という着想にいたってもおかしくはないのではないか？
例： 現状では顧客データのどんぶりに過ぎないSFDCのCRMソフトが「もしかして… ●●興産は営業先として最適？」とサジェスト。
28
「膨大な情報」との付き合い方は、事業者ごとに大きく段階が異なる。
「膨大な情報（ビッグデータ）」の取り扱いに関する進捗は、事業者ごとにその段階が大きく異なる。
米国ではデータの「流通事業」なども、その端緒が見え始めている
29
第1の壁： 電子化・自動化が不十分であることが課題
第2の壁： データが活用できる状態になっていないことが課題。
ステップの概況
「書類保管費用の削減」など、情報活用とは別の面からのインセンティブが働き、比較的進展しつつある。
しかし、「顧客情報は担当者の手帳に手書きで保存されているだけ」といったケースもまだまだ多い。
電子化をして、本業の効率化には成功したけれど、「まだまだしゃぶりつくせていない」という想いを抱いている。
「電子化はしたけれども…」
このステップを乗り越えた事業者が、「データ活用、ビジネスインテリジェンスの優等生」として、取り上げられる。
「情報を買ってきて、それを活かそう」という考え方や、「自社に死蔵している情報の資本回転率が低い」という問題意識はまだまだ低い。
ここで商機を見出そうとする、データ流通事業者が、尐しずつではあるが登場しつつある。
第3の壁： データ活用が自社内に閉じてしまっていることが課題。
未解決群 解決群
今はここが
ボリュームゾーン
しかし、本領域こそが
情報基盤事業であるし、
着手している事業者も増大中 １
２
データ売買の基盤サービス
Infochimps
Windows Azure Marketplace Data Markets
参考： Googleによる”Web-Data Exchange”サービスの計画が報じられた。
30
「弊社にはビッグデータなんてございませんよ。」 「死蔵あるいは、垂れ流してしまっているだけかもしれません。」
業務付随データは宝の山？ 四強（Google, Amazon, FB, Apple）が持ち得ぬ、データが大量に存在する。
31
国内におしぼりレンタル事業者は400~500社存在する。彼らが保有する営業データは、彼らにとっては、営業記録にすぎないかもしれない。
しかし、グルメサイトにしてみればどうだろう？精度の高い来店者数を把握するための、極めて有用な（幾ばくかの金を払うに値する）データであるとは考えられないだろうか。
「ビッグデータで救え、３万人の命」 社会基盤事業「SSP」を通した底上げは成立するか？
異業種間情報流通モデルの実証はできまいか？
例： “Smart Suicide Protection”
ビッグデータ活用による自殺予防がゴール。
まずは死者の自殺直前における動態データの分析から始まるだろうが、死者であるのでプライバシに関する障壁がかなり低くなると想定される。
（Lifelogではなく、Dying Log）
米国例： “Data Mining Approaches to Suicide and Suicidal Behavior” (Washington Univ.)
32
まとめ
従前より「データ分析の重要性」を説きながらも看板倒れに終わったブームはいくつもあったが、電子化・自動化が成熟したこの段階における「データ分析の重要性」は、これまでと比べても蓋然性の高い潮流。
一般の事業者においては「製品開発」「販売促進」「保守・メンテナンス」など、多様な業務プロセスでの効用が期待できる。
逆に効用を得ていかない限りにおいては、ビッグデータ活用を進める競合と比較して务位に置かれる。
ITベンダ等の支援サイド事業者にとっては、電子化・自動化が究極の成熟（クラウド）に伴う市場縮小を克服するための、新市場と言える。決して容易な市場ではないが、進出せざるを得ない。
「我社にはビッグデータはない」というのは誤解。貴社には価値がなくても、他社には価値があるデータがあるかもしれない。
最大のボトルネックは人材不足。事業とITとデータリテラシに富む人材の獲得・養成が不可欠。
33