[d24] あなたのビジネスを変えるinfinidbケーススタディ by toshihide hanatani
Post on 29-Nov-2014
675 Views
Preview:
DESCRIPTION
TRANSCRIPT
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 1
あなたのビジネスを変えるInfiniDB ケーススタディ
株式会社アシストデータベース技術本部花谷 俊英
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 2
はソフトウェア活用をアシストする会社です
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 3
つなぐ 貯める 活かす
データ連携が標準化され、データ加工/ロードが自動化、高速化
されたバックエンド
信頼性と高速性を同時に実現できるデータベース
誰でも必要な時に必要な情報を活用でき、柔軟性に富んだフロントエンド
自由分析ダッシュボード
自由分析ダッシュボード
定型レポート定型レポート
半定型レポート半定型レポート
DWH
データ整備
予算データ
販売システム
経理システム
ETLETLデータの
変換/加工
原価管理システム
DM(データマート)BI
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 4
InfiniDBの特長
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 5
DWHにおけるユーザの期待
細かく幅広いデータ分析 - 精度/粒度/鮮度 - 保持期間
PDCAサイクルの活性化 - 要件変更の柔軟性、容易性 - デリバリスピード
利用ユーザ部門 企画・開発部門
快適なパフォーマンス - ストレスを感じないレスポンス - 情報提供までのスピード向上
高い投資対効果 - 初期投資の抑制、資産の流用 - 段階的な拡張性とシナリオ
シンプルなシステム基盤 - 維持運用コストの抑制 - 既存資産に対する影響小
経営・購買部門 情報システム・運用部門
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 6
「DWH特化型DB」という製品分野
汎用RDBMSDWH専用
アプライアンスDWH専用ソフトウェア
パフォーマンス ×担当者スキルに依存した性能
◎専用機材で性能が担保される
○機能特化することで高性能を実現
拡張性 ×スケールアウトは困難
○ただし、実際の拡張は高コスト
○スケールアップ/アウトに対応
保守、運用性 △確立されているケースが多い
△ベンダー依存度が高い
○システム任せの
要員、操作性 ○使い慣れたインタフェース
△専用のスキルや知識が必要
○汎用RDBMSと同等
コスト △安価なエディションあるが・・・
×低コストは望めない
○専用機材が不要
「DWHは、構築と運用にコストと時間がかかりすぎる」
「汎用RDBMSでは、もはや期待する検索パフォーマンスが出ない」
「DWHアプライアンスは、どれも高額で手が出せない」
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 7
昨今の情報系インフラの選択肢
データウェアハウス見るべき情報を
的確に見る、見せる
ビッグデータ未知なる知見を
データからあぶり出す
構造化データ中心数百GB~数十TB
構造化データに留まらず非構造化データも
TBから PBにまたがることも
一般的なRDBMSDWH専用機材
多種多様な選択肢が増加(クラウド、Hadoop、NoSQL..)
10年前 現在
トレンド目的
ソース規模
インフラ
ビッグデータデータウェアハウス
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 8
本日のテーマ
多種多様なアーキテクチャ、プロダクトが存在する昨今の情報系インフラ市場において、
「列指向型データベース」=「InfiniDB」を題材に、● どのように企業システムで活用されているのか、● 導入した結果、どのような効果をもたらしたか、
についてご紹介します。
列指向型データベースご検討/ご活用の一助となれば幸いです。
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 9
ケーススタディ1
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 10
取扱データが増えると売上・利益は増える?
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 11
ビッグデータ基盤をパブリック・クラウドで構築
●数十ペタバイト(PB)規模
●数TB単位/日の規模で増加
● Webログ、デバイスログ 等々
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 12
パブリック・クラウド利用のメリット・デメリット
メリット
必要な時に必要なリソースがすぐに調達できる運用をおまかせできる定期的に最新化される物理インフラ低コストで環境を利用できる
デメリット
リソース共有による性能安定性(HW・NW等)サービス個別での安定性(使い方を誤ると)安くない データ連携、高スペックリソース恒常利用
美味しいところをつまんで使う
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 13
具体例① NOKIAのケース
SQLによるアドホック分析
パブリッククラウド活用することで伸縮性を確保
@Nokia
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 14
ユーザ分析環境は「都度調達」● データ分析が必要になったら・・・
1. データ量などを考慮して、必要なスペックを決める
(足りなかったら、あとから足せる)
2. Amazon AWS上で仮想マシンを調達
3. InfiniDBをセットアップし、データを投入して分析する
4. 分析が終わったら、環境を削除して終了(リリースする)
ライセンス保有(40コア分)
必要に応じてマシンを調達クラウドの柔軟さを活用
分析必要!
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 15
利用期間次第!?
【参考】 インフラ費用の比較
利用するサービス インスタンスファミリー、タイプ vCPU DISK
オンデマンドインスタンス 4 32.4 2*420GB $1.08 ¥2,835,612 ¥4,726,020
--- --- $0.03 ¥65,700 ¥109,500
¥2,901,312 ¥4,835,520
マシンモデル 科目 CPU DISK
HP Proliant DL360p サーバー本体、保守 4 32GB 300GB*6 ¥1,210,780.00 ¥1,257,580.00
※キッティング(組み立て)費用を含む ¥1,257,580 ¥1,356,580
パブリッククラウ ド(Amazon W eb Service)
メモリ(GB)
単価(時間)
3年(円換算)
5年(円換算)
ハイメモリオンデマンドインスタンスダブルエクストララージ(m2.2xlarge)
EBS最適化インスタンス ハイメモリオンデマンドインスタンスダブルエクストララージ(m2.2xlarge)
オ ンプレミス(HP Prol iant DL360p)
メモリ(GB)
単価(1年) 3年 5年
¥1,356,580
パブリッククラウド:オンプレミス= \480万:\135万
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 16
(参考)Hadoop or 分析用DB
定型バッチ
対話型分析
得られる結果は同じ、違いは利用シーン
PLANCHECK
早い(すぐに試せる)速い(すぐに結果が得られる)
DO
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 17
ケーススタディ2
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 18
専任DBAがいない
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 19
システム担当(DBA)が不要なDB?!
● 基幹業務は全て外部委託
● 情報システム部は数名
● 情報系システムDBを刷新
● 数名でも運用可能なDBって?!
DBA不在でプロジェクト回せる?
● 構築フェーズ
定期的なシステム更改 運用フェーズ
構築フェーズ設計フェーズ
・DWH特有の設計思想が必要・将来的なユーザー要件の変化意識して設計
・ETLやBI/各フロントAPLとの連携実装・性能チューニング、マート、サマリ表作成
・たび重なるユーザー要件の変化への対応・レポート追加の度に、DBチューニングを実施
・かならずやって来るシステム更改への対応・新環境への移行コストは、新規導入の数倍?!
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 20
情報系システム
。。。な情報系システムの現場
運用
企画
開発
積み重なる追加・修正終わらないチューニング企画と運用の板挟みユーザ
変更リスクが大きく、施策や変更が受入できない膨らみ続ける維持コスト
ユーザから追加・改善要求PDCAサイクルが回せない投資対効果を実証しづらい
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 21
NO チューニング項目 概要 難易度(コスト・スキル)
備考
1 索引追加 個別最適/アクセスパスの最適化 高・中 運用コスト大 (再作成)
2 SQLヒント文調整 個別最適/アクセスパスの最適化 高・高 チューニングコスト大 SQL修正
3 処理パラレル化 個別最適/リソース最大活用 高・低 オプションコスト大 SQL修正
4 パラメータ調整 全体最適/リソース最大活用 低・低 設計&初期リリース
5 統計情報 全体最適/アクセスパスの最適化 高・低 運用コスト大 (定期収集)
6 物理配置 全体最適/ディスクIO分散 中・中 設計
7 データ分割 (パーティショニング)
全体最適/ディスクIO分散 高・中 オプションコスト大 設計
8 データ圧縮 全体最適/ディスクIO削減 高・低 オプションコスト大 設計
9 サーバ増強 全体最適/リソース追加 高・低 ライセンスコスト大
DBAによるDBチューニング作業
InfiniDBは開発/運用の妨げとなる「DBチューニング作業」を自動化
InfiniDBは開発/運用の妨げとなる「DBチューニング作業」を自動化
並列処理
索引管理パーティション化
列単位の圧縮
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 22
BIシステムのスモール&スピード開発
・ 数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない
・ 既存システム増強には数千万円の投資が必要
・ 工数(時間、リソース)が確保できない
・ DBチューニングに詳しいエンジニア不在
・ 数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない
・ 既存システム増強には数千万円の投資が必要
・ 工数(時間、リソース)が確保できない
・ DBチューニングに詳しいエンジニア不在
・ PCサーバ1台でのスモールスタート
・ 使い慣れたBI(WebFOCUS)の有効活用 - DBチューニング不要、レポート作成に集中
・ メンテナンスが簡単 - DM(サマリ表)作成不要 - 索引・統計といったDBバックエンドメンテ不要
・ PCサーバ1台でのスモールスタート
・ 使い慣れたBI(WebFOCUS)の有効活用 - DBチューニング不要、レポート作成に集中
・ メンテナンスが簡単 - DM(サマリ表)作成不要 - 索引・統計といったDBバックエンドメンテ不要
POSデータの営業企画・支援への活用POSデータの営業企画・支援への活用
10億レコード のPOSデータ集計が 数秒~数十秒 で完了!
POSデータ レポーティング
医薬品製造・販売会社様の場合
ETLETLデータの
変換/加工
限られた人員(DBA不在)
少ない投資予算 「スピード感」のあるPDCAサイクル
BIBIデータの抽出
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 23
ケーススタディ3
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 24
DWH専用xxxって高い!?
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 25
情報系システムで利用されるDBと投資予算
200万円未満500万円未満
1000万円未満3000万円未満
5000万円未満5000万円以上
0
2
4
6
8
10
12
14
TeradataNetezzaGreenplumMySQL (MariaDB )PostgreSQLDB2SQLServerOracleDatabase
2012.11.21 弊社InfiniDBセミナー 事前アンケートより
パフォーマンス重視導入コスト
重視
コストとパフォーマンスはトレードオフの関係に
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 26
昨今の技術進化
コストは同じCPUコア「8倍」、メモリ「10倍」
スループットは「50倍」
http://www.spec.org/性能データの出展:The Standard Performance Evaluation Corporation (SPEC)
某社ミッドレンジモデルの性能向上(2002年~2012年)
注文ID 商品ID 単価 個数 顧客ID 注文日
15332 212 3000 30 433 2013/04/03
15333 427 1500 15 156 2013/04/05
15334 58 800 20 333 2013/04/05
15335 145 1800 20 261 2013/04/08
15332153331533415335
21242758145
30152020
300015008001800
433156333261
2013/04/032013/04/052013/04/052013/04/08
列ごとに物理的に分離したブロック
※赤字:取り出すデータ領域
列指向アーキテクチャ
SQL> SELECT 商品ID , SUM(単価 × 個数) ...
「進化したPCサーバー」と「列指向アーキテクチャが」情報系システムの選択肢に変化をもたらす
IOネックを最小化
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 27
(参考)アプライアンスとの比較● 某社PoC(導入事前検証)の結果抜粋
Query
既存環境 InfiniDB
検索期間 件数実行時間
Mem 同時実行 Mem 同時実行 Mem 同時実行
1st 2nd Ave 単体 5 単体 5 単体 5
test00
20110101-20110105 4,417 28 23 25.5 1.44 5.64 1.85 6.68 1.58 4.65
20110101-20110110 71,664 34 23 28.5 1.81 5.43 2.53 6.74 2.21 5.16
20110101-20110132 530,285 39 24 31.5 6.39 10.43 7.53 12.51 5.86 12.53
構成#1 構成#2 構成#3
既存環境(DWHアプライアンス)と比較して、5倍~20倍の性能向上※費用差額も踏まえ、アプライアンスの最新機種は除外
W/最新PCサーバ
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 28
性能優位≠置換え可● 性能面はあくまで一つの評価指標
● 異種DB置換えには必ず移行コストが発生
本体価格(ソフト、ハード)
保守費用
ハードウェア
ソフトウェア
保守費用
移行費用
移行費用
DWHアプライアンス最新機種への更改
コスト差額
置換えるだけの価格メリットもしくは同等の価値があるか
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 29
● 5年単位のリプレース計画は、主にハードウェアの老朽化対策として行われる
● ソフトウェア製品は、システム更改時のライセンス再購入不要
InfiniDBとアプライアンス製品のランニングコストの比較
アプライアンス型製品の場合
ソフトウェア型の場合
5~6年目
4年目
3年目
2年目
初年度 H/W 移行 保守
保守
5年間の投資総額
H/W
保守
保守
保守
保守
保守
保守
保守
保守
5~6年目
4年目
3年目
2年目
初年度 H/W+S/W 保守
5年間の投資総額
保守
保守
保守
保守
H/W+S/W
コストの差額
費用の差額 : システム更改の度に買い直しが発生し、累積では多額の費用負担となる。
システム更新時に毎回システム全体の購入が必要!
S/W
(参考)ランニングコストの比較
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 30
ケーススタディ4
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 31
RDBMSはやっぱり偉大
RDBMSの自由度、万能さは捨てがたい。。。
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 32
トータルバランスを考えてそれぞれの能力を最大限引き出す
RDBMS 列指向型DB
現在 対象 過去
更新処理1行データの抽出
得意大量データ処理
分析・集計
大量データの抽出(分析・集計)
不得意更新処理
1行データの抽出
一つのアーキテクチャに固執しない
RDBMSRDBMS
列指向型DB
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 33
レスポンス課題を列指向DBで解消する
独自構築した日本最大規模のデータベース(消費者9,500万件・企業情報750万件)を用いてデータベースマーケティング支援とCRM戦略立案を提供
課題
株式会社ランドスケイプがこれまで内製で作り 上げたマーケティング・システムは、長年に渡る チューニング作業の結果、システム全体では 非常に高い検索性能を 実現できていた。 が、一部の大量データに対する検索処理は、 検索に1分以上を要するなど、長年のシステム 課題となっていた。
ランドスケイプ社
上位エディション + オプション機能
全文検索エンジン への置き換え
既存DB環境をブラッシュアップ
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 34
組合せてコストパフォーマンスを最適化
営業担当:150名
独自に同期処理を実装
検索処理&更新(メンテナンス)
法人データ :750万件過去履歴累計 :4000万件
マーケティングDB(法人DB)の性能改善マーケティングDB(法人DB)の性能改善
重い検索処理(LIKE検索)
Oracle SEと併用することで、移行コストも最小にOracle SEと併用することで、移行コストも最小に
1分以上かかっていた検索が2秒に、2週間かかっていた商談が3日に
ランドスケイプ社の場合
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 35
汎用DBMSを使い倒す!!
業務系AP
販売管理システム性能の安定販売管理システム性能の安定
業務担当者
企画・管理者
売上速報みたい在庫状況みたい
販売傾向知りたい過去実績比較
某スポーツ用品メーカーの場合
業務系DB
基幹業務である販売管理システムを刷新、情報活用・見える化を推進
情報系AP月末締めになると負荷増で
パフォーマンスダウン
上位エディション + オプション機能
既存DB環境をブラッシュアップ
設計上の問題?チューニング?
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 36
業務系DBと組合せてリアルタイム&負荷軽減
業務系AP
販売管理システム性能の安定販売管理システム性能の安定
業務担当者
企画・管理者
売上速報みたい在庫状況みたい
販売傾向知りたい過去実績比較
某スポーツ用品メーカーの場合
業務系DB
基幹業務である販売管理システムを刷新、情報活用・見える化を推進
情報系AP
ETL経由 リアルタイムデータの照会(当月の範囲)
過去データ照会(当月以前)
業務用DBの負荷軽減情報系システムのレスポンス向上
業務用DBの負荷軽減情報系システムのレスポンス向上
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 37
まとめ
●廉価なPCサーバにおいても、必要十分な性能が期待できます
●BIのバックエンドに置く小規模なデータベースから、大規模なDWH環境まで幅広く活用いただいています
●動作環境は、パブリック・クラウドから自社内の仮想環境まで、
幅広く対応しています。
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 38
百聞は一見に如かず
お手持ちの実データで、「速さ」と「手軽さ」を是非体験ください
http://infinidb-tech.ashisuto.co.jp/
検 索
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 39
:本資料に記載されている社名、製品名は各社の商標または登録商標です。:本資料の全体または一部に記載されている内容については、予告なく変更 する場合があります。
top related