kvm cluster with drbd, iodrive2 and infiniband (130802 osc京都)
Post on 03-Jul-2015
1.523 views
DESCRIPTION
DRBD、ioDrive2、Infinibandを組み合わせて2台のIAサーバだけで構成できるKVM仮想基盤は、高可用ストレージサーバ、ライブマイグレーション、ホストレベルでの集中パックアップなどをサポートする実用的な仮想化基盤です。 このプレゼンテーション資料は、仮想クラスタの基礎、ioDrive2+Infinibandを使った場合のディスクI/Oパフォーマンスのベンチマーク結果を説明しています。TRANSCRIPT
Your Way to Data Protection
Linux-HAによる仮想マシンクラスタ (KVM)ioDrive2 + Infinibandによる高性能化
株式会社サードウェア
久保 元治
Copyright 2011, ThirdWare Inc.2
Your Way to Data Protection
目次
● ローコストで高性能なKVMクラスタ● ioDrive2 + Infinibandのパフォーマンス
Copyright 2011, ThirdWare Inc.
3Your Way to Data Protection
「使える」仮想基盤の条件
● 物理サーバの障害に耐える可用性● 複数物理サーバ間のライブマイグレーション
● 高信頼・高性能ストレージ● 十分な実績とノウハウ
Copyright 2011, ThirdWare Inc.
4Your Way to Data Protection
これまでの仮想基盤
SAN/NASストレージ
仮想化ホストサーバ
高性能・高信頼ストレージは高価
仮想化ホストサーバ
仮想化ホストサーバ
Copyright 2011, ThirdWare Inc.
5Your Way to Data Protection
今日お話しする仮想化クラスタは
仮想化ホストサーバ
&ストレージ
仮想化ホストサーバ
&ストレージ
必要なのは 2台の IAサーバのみ
Copyright 2011, ThirdWare Inc.
6Your Way to Data Protection
Linux-HAによるストレージサーバ
● DRBDによる完全同期リアルタイムレプリケーション● 2台以上のストレージに同一データを記録● どちらかがクラッシュしても他のサーバで処理を継続
● Pacemaker/Heartbeatによる高可用クラスタ● サーバ故障時にフェールオーバして可用性を維持
● iSCSIターゲット● 各種アプライアンスにも採用されている LIOターゲット
● NFSサーバ
Copyright 2011, ThirdWare Inc.
7Your Way to Data Protection
Linux-HAによるストレージサーバサーバ 1
DRBD
LVM2
サーバ 1
DRBD (プライマリ )
LVM2
iSCSI ターゲット
1 2 3 4
サーバ 1
DRBD
LVM2
サーバ 2
LVM2
iSCSI ターゲット
DRBD (セカンダリ )
リアルタイム・レプリケーション
NFSNFS
Copyright 2011, ThirdWare Inc.
8Your Way to Data Protection
Linux-HAによるストレージサーバサーバ 1
DRBD
LVM2
サーバ 1
DRBD (プライマリ )
LVM2
iSCSI ターゲット
1 2 3 4
サーバ 1サーバ 2
リアルタイム・レプリケーション
NFS
サーバダウン!
物理サーバ障害時にフェールオーバ
Copyright 2011, ThirdWare Inc.
9Your Way to Data Protection
KVM
● RHEL6の標準機能● ストレージサーバに仮想マシンを同居させることも可能
Copyright 2011, ThirdWare Inc.
10Your Way to Data Protection
ストレージサーバ+ KVM仮想化サーバ 1
DRBD
LVM2
サーバ 1
DRBD (プライマリ )
LVM2
iSCSI ターゲット
1 2 3 4
サーバ 1
DRBD
LVM2
サーバ 2
LVM2
iSCSI ターゲット
DRBD (セカンダリ )
リアルタイム・レプリケーション
NFSNFS
iSCSIイニシエータ iSCSIイニシエータ
KVM KVM
ゲストOS1
ゲストOS2
ゲストOS3
ゲストOS4
Copyright 2011, ThirdWare Inc.
11Your Way to Data Protection
ストレージサーバ+ KVM仮想化サーバ 1
DRBD
LVM2
サーバ 1
DRBD (プライマリ )
LVM2
iSCSI ターゲット
1 2 3 4
サーバ 1
DRBD
LVM2
サーバ 2
LVM2
iSCSI ターゲット
DRBD (セカンダリ )
リアルタイム・レプリケーション
NFSNFS
iSCSIイニシエータ iSCSIイニシエータ
KVM KVM
ゲストOS1
ゲストOS2
ゲストOS3
ゲストOS4
ライブマイグレーションも実現
Copyright 2011, ThirdWare Inc.
12Your Way to Data Protection
機器構成例
SASSAS SASSAS
ioDrive2
eth0
ib0
eth3
SASSAS SASSAS
RAID (BBWC)
eth0
ib0
ib1
LAN
ioDrive2
Infiniband
RAID (BBWC)
iSCSIアクセス
DRBDレプリケーション
Copyright 2011, ThirdWare Inc.
13Your Way to Data Protection
仮想マシンクラスタのメリット
● 外付けNAS/SANストレージ不要● コストを抑えられる● 省スペース、省電力
● ライブマイグレーション可能● ストレージ一体化によるメリット
● スナップショットを使った仮想ディスクの集中バックアップ
● 災害対策● DRBD Proxyを組み合わせた遠隔レプリケーション
Copyright 2011, ThirdWare Inc.
14Your Way to Data Protection
パフォーマンス
● DRBD● DRBD 8.4.3● al-extents 6433● sndbuf-size 、 rcvbuf-sizeは自動調整
● ファイルシステム● xfs● マウントオプション logbufs=8,logbsize=256k
Copyright 2011, ThirdWare Inc.
15Your Way to Data Protection
パフォーマンス
● カーネルチューニング● TCPパフォーマンスチューニング
/sbin/sysctl -q -w net.ipv4.tcp_timestamps=0 /sbin/sysctl -q -w net.ipv4.tcp_sack=0 /sbin/sysctl -q -w net.core.netdev_max_backlog=250000 /sbin/sysctl -q -w net.core.rmem_max=16777216 /sbin/sysctl -q -w net.core.wmem_max=16777216 /sbin/sysctl -q -w net.core.rmem_default=16777216 /sbin/sysctl -q -w net.core.wmem_default=16777216 /sbin/sysctl -q -w net.core.optmem_max=16777216 /sbin/sysctl -q -w net.ipv4.tcp_rmem="4096 87380 16777216" /sbin/sysctl -q -w net.ipv4.tcp_wmem="4096 65536 16777216"
Copyright 2011, ThirdWare Inc.
16Your Way to Data Protection
パフォーマンス
● pgbench● PostgreSQL 9.2.4● pgbench -i -s 1000 <database> (約 15GB)● pgbench -c 100 -j 50 -T 600 <database>
Copyright 2011, ThirdWare Inc.
17Your Way to Data Protection
ストレージサーバとしての性能
● 比較項目● HDD (RAID1+0)● HDD (RAID1+0) + 10GB NIC + DRBD● HDD (RAID1+0) + Infiniband + DRBD● ioDrive2 (785GB)● ioDrive2 (785GB) + 10GB NIC + DRBD● ioDrive2 (785GB) + Infiniband + DRBD
Copyright 2011, ThirdWare Inc.
18Your Way to Data Protection
ストレージサーバとしての性能
ioDrive2
PostgreSQL DRBD
PostgreSQL
DRBD
ioDrive2 ioDrive210G NIC
DRBD
PostgreSQL
DRBD
ioDrive2 ioDrive2Infiniband
HDD
PostgreSQL
HDD
PostgreSQL DRBD
PostgreSQL
DRBD
HDD HDD10G NIC
DRBD
PostgreSQL
DRBD
HDD HDD10G NIC
DRBD
PostgreSQL
DRBD
HDD HDDInfiniband
DRBD
PostgreSQL
DRBD
HDD HDDInfiniband
Copyright 2011, ThirdWare Inc.
19Your Way to Data Protection
ストレージサーバとしての性能
なし C A C A なし C A C AN/A Infiniband Infiniband 10G NIC 10G NIC N/A Infiniband Infiniband 10G NIC 10G NICHDD HDD HDD HDD HDD ioDrive2 ioDrive2 ioDrive2 ioDrive2 ioDrive2
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
pgbenchベンチマーク結果
ストレージサーバとしての性能
tps
約20パーセントのオーバヘッド
Copyright 2011, ThirdWare Inc.
20Your Way to Data Protection
ゲストOSのディスクアクセス性能
● ゲストOS上で pgbenchを実行● 1ゲストのみの実行● 2ゲストで同時実行● …...● 5ゲストで同時実行
Copyright 2011, ThirdWare Inc.
21Your Way to Data Protection
ゲストOSのディスクアクセス性能
KVMクラスタHDD InfinibandInfiniband
ゲスト1
ゲスト2
ゲスト3
ゲスト4
ゲスト5
pgbench pgbench pgbench pgbench pgbench
KVMクラスタioDrive InfinibandInfiniband
ゲスト1
ゲスト2
ゲスト3
ゲスト4
ゲスト5
pgbench pgbench pgbench pgbench pgbench
Copyright 2011, ThirdWare Inc.
22Your Way to Data Protection
ゲストOSのディスクアクセス性能
ストレージ(HDDまたは ioDrive2)
DRBD
iSCSIターゲット
iSCSIイニシエータ
Infiniband
KVM (virtio)
ゲストOS
多数のレイヤが介在パフォーマンス的には不利
Copyright 2011, ThirdWare Inc.
23Your Way to Data Protection
ゲストOSのディスクアクセス性能
0
500
1000
1500
2000
2500
3000
pgbenchベンチマーク結果
複数ゲストで同時にベンチマークを実行
ゲスト5
ゲスト4
ゲスト3
ゲスト2
ゲスト1tps
<===========ioDrive2===========><============HDD============>
ゲストを増やしても
ゲストあたりの処理能力は
あまり低下しない
Copyright 2011, ThirdWare Inc.
24Your Way to Data Protection
パフォーマンス試験結果
● レプリケーションによるオーバヘッドは存在する● DRBD 8.4.3は約 20%と推定● DRBD 8.3は半分以下に低下● Infiniband と 10G NICの差はほとんどない
Copyright 2011, ThirdWare Inc.
25Your Way to Data Protection
パフォーマンスについて
● ioDriveはやはり速い!● 単体性能はHDD (RAID 1+0)の 10倍以上● DRBDオーバヘッドの影響は受けるが、それでもHDDより
10倍程度速い● ゲストOSでDBを同時実行しても、ほぼリニアに性能が伸びる (HDDベースの物理サーバよりも高速! )
Copyright 2011, ThirdWare Inc.
26Your Way to Data Protection
仮想マシンクラスタの用途
● 物理サーバベースのDBのマイグレーション● 複数DBを同時に稼働させても、数年前の物理サーバよりも数倍以上高速なトランザクションが期待できる
● 部門単位または中小企業のサーバ統合・仮想化● 仮想マシンの災害対策
● DRBD Proxyとの併用