[db tech showcase tokyo 2016] b22: 超高速nosqlデータベースと超高速ssdの融合 by...
Post on 07-Jan-2017
473 Views
Preview:
TRANSCRIPT
© 2016 Toshiba Corporation
超高速NoSQLデータベースと超高速SSDの融合
db tech showcase 2016@秋葉原UDX Conference 6F日時:2016年7月14日(木)11:00-11:50(セッション2)セッション会場:セッションルームB
株式会社東芝 ストレージ&デバイスソリューション社メモリ事業部 SSD統括部 SSD応用技術部SSD応用技術企画担当 参事
Aerospike, Inc. カントリーマネージャー 田村 俊明
星野 純一
© 2016 Toshiba Corporation 2
• はじめに
• Aerospike製品紹介
• 東芝SSD製品紹介
Agenda
© 2016 Toshiba Corporation 3
東芝SSD製品の用途
幅広いSSDラインアップで、多様なアプリケーションに対応
Toshiba SSD
ハイエンドPC ホームサーバ
データセンタ
監視カメラ
カムコーダ航空機内AVシステム
組み込み用ストレージ
POSシステム
タブレット
タブレットPC
エンタープライズサーバ/ストレージ
東芝NAND Flashメモリ搭載
© 2016 Toshiba Corporation 4
Aerospikeと東芝の協業の背景
AerospikeはSSD専用No SQLデータベース
Aerospike社のエンドユーザに東芝SSDを活用していただきたい。 Aerospike社と協業し、SSDの評価や製品開発に活かす。
© 2016 Toshiba Corporation 5
Aerospike社と東芝の協業
Aerospike東京米国
+Toshiba東京米国
米国、日本の計4拠点によるグローバルな連携
© 2016 Toshiba Corporation 6
Aerospike製品紹介
High Performance NoSQL Database
Speed at Scale
Powering New Opportunities at Scale
8© 2016 Aerospike Inc. All rights reserved.
■Internet以前
■限られた端末
■限られたユーザ数
■7秒ルール
■Internet以降
■数多くのデバイス
■数限りないユーザ数
■1秒ルール
Big Dataの時代
■Internet of Thingsの時代へ
■無数のセンサー
■M2M
■msルール(仮)
Source: Business Insider
9© 2016 Aerospike Inc. All rights reserved.
Internet時代のデータベースの要件
必須要件 内容
高トランザクション処理 激増するトランザクション量への対応
大量データの管理 システム当たり数百TBが視野に
不揮発性データ保存高パフォーマンスと一貫性を犠牲にすることなく、大量のデータの保存が必須
低レイテンシ レスポンスが一貫して5ミリ秒未満
高信頼性 高可用性(サービス停止無し)、SPOF無し
スケーラビリティの保証と容易な運用管理
ノード追加時・ダウン時に自立的な稼働、手作業無し
低TCO 少ないサーバで高パフォーマンス
オープン性 & 相互運用性 既存システムとの統合が必要
10© 2016 Aerospike Inc. All rights reserved.
■高パフォーマンス
■高スループット
■低レイテンシ
■性能の一貫性・安定性
■Flash (SSD)に最適化
■高信頼性
■SPOF無し
■自動フェイルオーバー
■5年間無停止の実績
Aerospikeの特徴
■容易な運用性
■シャーディングの必要無し
■自動フェイルオーバー
■容易なスケールアウト
■リニア・スケーラビリティ
■低TCO
■高スループット
■Flash (SSD)に最適化
■リニア・スケーラビリティ
11© 2016 Aerospike Inc. All rights reserved.
高パフォーマンス:高スループット、低レイテンシ
250
17.8
0
50
100
150
200
250
300
Aerospike Cassandra
平均スループット
(1,000TPS)
スループット比較(50% read / 50% update)
2.3 4.0
97.594.0
0.0
20.0
40.0
60.0
80.0
100.0
120.0
Read Update
平均レイテンシ
(ミリ秒)
レイテンシ比較
Aerospike
Cassandra
12© 2016 Aerospike Inc. All rights reserved.
性能の一貫性・安定性
13© 2016 Aerospike Inc. All rights reserved.
Flash (SSD)に最適化
BLOCK INTERFACE
SSD SSD
OPEN NVM
SSD
AEROSPIKE
HYBRID MEMORY SYSTEM™
OTHER DATABASE
OS FILE SYSTEM
PAGE CACHE
BLOCK INTERFACE
SSD HDD
OTHER DATABASE
AEROSPIKE FLASH OPTIMIZEDIN-MEMORY DATABASE
• デバイスに直接、アクセス
• 大きな書き込みブロック
• インデックスはDRAM上に展開
• 複数のSSDを並列処理
• 独自ファイルシステム
• 共有メモリを利用したFast restart
14© 2016 Aerospike Inc. All rights reserved.
■SSDのベンチマークのためのツール
■Read/Write混在環境でのスループットとレイテンシを測定
■実環境を模擬
■SSDベンダに提供
■パフォーマンス向上に寄与
■十分なパフォーマンスのSSDが必須
■遅いSSDを速くすることは不可能
■ホームページにて、推奨SSDを公開中
■東芝製SSDは非常に良い性能
■世界最高速レベル
■レイテンシのバラツキが少ない
ACT: Aerospike Certification Tool
15© 2016 Aerospike Inc. All rights reserved.
Flash (SSD)の有無によるTCO
16© 2016 Aerospike Inc. All rights reserved.
■課題
■読み取り時の低レイテンシ(ミリ秒)
■毎秒10万〜500万件の処理
■100%稼働の保証
■達成目標
■10億〜60億個のクッキーを管理
■毎秒500万件のオークション
■100msで広告表示 → 50msでRTB
→ 1msでデータベースアクセス
■平均1.5KBのオブジェクト
■選定理由
■ノード数が十分の1 → TCOが十分の1
■読み取り時のレイテンシが二十分の1
■高スループット
事例 1:インターネット広告のRTB (Real-Time Bidding)
Ads is Displayed
Publishers
Ad Networks & SSPs
Ad Exchanges
Demand SidePlatform
Data Management Platforms
Brands Agencies Buyers
0 ms 100 ms
17© 2016 Aerospike Inc. All rights reserved.
■課題■処理全体:750 ms
■高レイテンシによる機会損失
■1回のクレジットカードのトランザクションに数百回のDBアクセス
■急速な拡大が必要■10TB → 100TB
■100億 → 1,000億オブジェクト
■20万TPS → 100万TPS
■選定理由■Flash (SSD)最適化
■高スループット下での安定した低レイテンシ
■即時一貫性、データ損失無し
■データセンター間のリプリケーション(XDR)
■サーバ20台でクラスタを構成
事例 2:クレジットカードの不正取引検出
Credit Card Processing System
Fraud Detection & Protection App
Rules
Rule 1
Rule 2
Rule 3
Historical Data
Rule 1-Passed
Rule 2-Passed
Rule 3-Failed
Account Behavior
Static Data
Account Statistics
18© 2016 Aerospike Inc. All rights reserved.
■講演者
■Brian Bulkowski, Founder, CTO & Product
■内容(仮)
■Flash (SSD)がさらに速く、大容量になったら、何が起こるか?(随時通訳付)
■日時
■8月第一週、18:30〜
■場所
■未定
■その他
■ビール・ピザをご提供する予定
弊社CTOによるMeetupのご案内
© 2016 Toshiba Corporation 19
Aerospike
Speed Scale Reliability
SSD
性能 高容量 Enterpriseの信頼性
AerospikeとSSD
© 2016 Toshiba Corporation 20
東芝製SSD製品
© 2016 Toshiba Corporation 21
表中数値:
上段>SSD容量 [GB]下段>スペック性能
PCIe® /NVMe SAS 12Gb/sSATA 6Gb/s
Enterprise&Data center
PC
BGシリーズ
XG3
PX04SH
PX04SM
PX04SV
PX04SR
SG5
HK4R
HK4E
PX04PM
128, 256, 512, 1024 GB
128, 256 GB
128, 256, 512, 1024 GB
120, 240, 480, 960, 1920 GB
200, 400, 800, 1600 GB
800, 1600, 3200 GB200, 400, 800, 1600 GB
400, 800, 1600, 3200 GB
480, 960, 1920, 3840 GB
480, 960, 1920, 3840 GB
PX04SL2000, 4000 GB
960, 1920, 3840 GB
DWPD=10
DWPD=3
DWPD=25
DWPD=10
DWPD=3
DWPD=1
DWPD=0.5
1000, 2000, 4000 GB DWPD=1
PCIe Gen3x4
PCIe Gen3x4
PCIe Gen2x2
2.5”SFF7 mmH
2.5”SFFM.2
2.5”SFF15 mmH
AICHHHL
M.2 2280
M.2 2230BGA
2.5”SFF15 mmH
※東芝OCZ製品は除く
<Seq.Read/Seq.Write/Rand.Read/Rand.Write>
[MiB/s] [MiB/s] [KIOPS] [KIOPS]
120GB: <500/120/75/4>240GB: <500/270/75/10>480GB: <500/480/75/12>960/1920GB :<500/480/75/14>
200GB: <500/270/75/20>400/800/1600GB:<500/480/75/30>
800/1600/3200GB <3100/2350/660/185>
960/1920/3840GB:<3100/2350/660/105>
1000/2000/4000GB:<3100/2350/660/80>
200/400/800GB:<1900/850/270/125> 1600GB:< 1500 / 750 / 270 / 120 >
400/800/1600GB:< 1900 / 850 / 270 / 90 >3200GB:< 1500 / 750 / 270 / 85 >
480/960/1920GB:< 1900 / 850 / 270 / 60 >3840GB:< 1500 / 750 / 270 / 55 >
480/960/1920GB:<1900/850/270/22>3840GB:<1500/750/270/22>
2000GB:<1900/850/270/19>4000GB:<1500/750/270/19>
128/256/512/1024GB:< up to 520 / up to 370 / - / - >
128/256/512/1024GB: < up to 2400 / up to 1500 / - / - >
128/256GB:<up to 715/up to 228/-/->※仕様は予告なく変更となる場合があります
SAS 12Gb/s x 2 (デュアルポート)
Toshiba SSD ラインアップ
© 2016 Toshiba Corporation 22
最新東芝Enterprise SSD製品 (SAS/NVMe)
Model PX04S PX04P
Interface SAS 12G PCIe Gen3 x4
Protocol SAS-3(SCSI) NVMe 1.0e
Form Factor 2.5” SFF 2.5” SFFPCIe AIC
SoC (SSD/NANDController)
Toshiba Latest Generation SSD Controller
NAND Flash Toshiba A19nm eMLC
Design
© 2016 Toshiba Corporation 23
SSD専用に設計された新しいストレージインタフェース:NVMe®
CPU
PCIe
Traditional I/F:• HDD
Compatible• Two level
transition• Big overhead
NVMe®:• Only for SSD• CPU Direct• Small
overhead
CPUHBA
(e.g.,SAS)SSD
ControllerNVM
PCIeStorage
Interconnect(e.g., SAS)
Proprietary Standard(SAS etc.) SSD
NVMeSSD
ControllerNVM
NVMe® SSDStandard(NVMe®)
NVMe®: Non Volatile Memory Express
東芝NVMe® SSD
多様な形状
U.2(2.5”SFF)AIC
M.22280
BGA
M.22230
© 2016 Toshiba Corporation 24
Data Sheet性能比較Toshiba A社 B社 C社PX04P A製品 B製品 C製品
Max Capacity (Max)
GB 3200 2000 3200 3200
Interface PCIe Gen.3 x4 PCIe Gen.3 x4 PCIe Gen.3 x4 PCIe Gen.3 x4
Form Factor PCIe AIC HHHL
2.5" SFF 15mmH
PCIe AIC HHHL2.5" SFF 15mmH
2.5" SFF 15mmH
2.5" SFF 15mmH
Performance
Seq. Read/Write (MB/s) (128KiB)
Read 3100 2800 3000 3100
Write 2350 2000 1600 2000
Random Performance(KIOPS) (4KiB)
Read 660 450 743 750
Write 185 175 140 120
W30%/R70% 340 265 310 N/A
Endurance DWPD x10 x17 x3 x5Limited Warranty With Media Usage (years)
5 5 5 5
Power
Power Consumption (W)
Active 18 25 25 25
Idle 6 4 8 7
Schedule
Customer Samples Available Available Available Available
Data sourceToshiba
DatasheetA社 Datasheet B社 Datasheet C社 Datasheet
© 2016 Toshiba Corporation 25
Sequential I/O
東芝PX04Pと競合製品のIO性能比較
0
50
100
150
200
250
Read[MB/s]
Random I/O
性能検証 (自社検証)
Write[MB/s]
0
100
200
300
400
500
600
700
0
500
1000
1500
2000
2500
3000
0
500
1000
1500
2000
2500
3000
3500
+27% +16% +22% +45%
Read[KIOPS]
Write[KIOPS]
競合他社製品と比べ、最大約1.45倍の性能を確認。様々な処理要求に対して高速に読書きすることが出来る
Condition: IOmeter 2006.07.27.win32.i386Sequential Read/Write: Worker x1, QD 128, 128KiB TransferRandom Read/Write: Worker x8, QD 128(8+16), 4KiB Transfer
他社Aの製品:PX04Pと同等クラスのEnterprise用途のNVMe SSD製品
東芝他社A
© 2016 Toshiba Corporation 26
東芝PX04Pの容量について
DWPD
1 3 10
低容量モデル(GB) 1,000 960 800
中容量モデル(GB) 2,000 1,920 1,600
高容量モデル(GB) 4,000 3,840 3,200
Random Write性能(KIOPS) 85 105 185
OP領域 小 中 大
DWPD(Drive Write Per Day)の数値が高いと、書き換え耐性が優れる。OP(Over provisioning)領域も多く確保され、Radom Write性能も向上する。
豊富なラインナップが揃っており、データベース要件に合うSSDが選択できる
DWPD(Drive Write Per Day)とは:動作保証期間(例えば5年間)中、平均的に使用すると仮定した場合に1日にドライブの全容量を最高何回まで書き換えられるかを表した指標
© 2016 Toshiba Corporation 27
5年間の稼働保証
NANDの特性を考慮した高性能コントローラ
信頼性
四日市工場NAND
SSD
© 2016 Toshiba Corporation 28
Aerospike DB性能測定
© 2016 Toshiba Corporation 29
Aerospikeの視点
スループットが高いこと
レイテンシが遅くないこと
Database安定稼働の観点から、性能が安定していること
Aerospike導入観点でのSSDへの要求
H/WとS/Wを含めたDatabaseプラットフォームとしての安定性
エンドユーザ視点
より多くのデータをより短いレイテンシ、より小さい性能振れ幅で処理
© 2016 Toshiba Corporation 30
テストデータ
3000 ACT TPS(1秒当たりの処理トランザクション量)
読込/書込処理混合比率 : 67%/33%
1.5 KBのデータ処理
テスト実行方法
SSD単体での、読書き混在負荷(3000xn)に対するレイテンシ確認
24時間以上の連続稼働
SSDに対する性能要件
1msを超えるレイテンシの割合 : 5%以内
8msを超えるレイテンシの割合 : 1%以内
64msを超えるレイテンシの割合 : 0.1%以内
ACT Toolによる性能測定要件
読書き混在ワークロード
安定稼動
高性能、安定性能
© 2016 Toshiba Corporation 31
性能測定結果比較例
測定SSD:PX04P 800GB
セッションにて、投影
© 2016 Toshiba Corporation 32
まとめ
東芝製NVMe SSD製品の以下3つの特長は、Aerospikeの要件に適している。
特長 高い性能と性能の安定性 高容量 5年稼働保証などのエンタープライズクラスの信頼性
高速なNo SQL プラットフォーム
Speed + Scale + Reliability
AerospikeSSD専用高速No SQLデータベース
+ Toshiba高速SSD
© 2016 Toshiba Corporation 33
参考情報
© 2016 Toshiba Corporation 34
参考情報(関連セッション紹介:日本電気株式会社様)
東芝NVMe SSD製品を用いた製品の紹介セッション:日本電気株式会社 星野智則様7月13日(水):セッションルーム D Session4(14:00-14:50)
NVMeフラッシュストレージを用いた高性能高拡張高可用なデータベースシステムの実現方法~ExpEther技術の活用~
© 2016 Toshiba Corporation 35
• PCIeは、PCI-SIGの登録商標です。
• NVMeは、NVM Express, Inc.の商標です。
Disclamer
top related