![Page 1: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/1.jpg)
LT2 : Ceph on SoftLayer
2015年3月10日
TIS株式会社 松井 暢之
Tech-Circle #3 & OCDET #7SDS(Software Defined Storage)勉強会
![Page 2: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/2.jpg)
2
松井暢之(まつい のぶゆき)
TIS株式会社 戦略技術センター
~2003
2003~2008
2009
2010~2012
2013~
現場PJでアーキテクト兼モデラー兼プログラマ兼…を歴任
基盤技術センター(現戦略技術センター)で不芳PJの火消しに奔走
全社生産性向上の企画策定に従事
オープンでエッジな技術を活用した事業企画に従事
Cloud Orchestrator “CloudConductor®” の企画開発とOSS化開始
http://cloudconductor.org
nbyk.matsui nmatsui
nbyk.matsui@n_matsui
![Page 3: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/3.jpg)
3
今回はSoftLayer上でCephを
動かしてみたという話をします
![Page 4: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/4.jpg)
Cephとは
Ceph is a distributed object store and file system designed to provide excellent performance, reliability and scalability.- See more at: http://ceph.com/
4
なんかイイカンジに高可用でスケールしてくれる分散オブジェクトストレージ
&ファイルシステム
![Page 5: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/5.jpg)
Cephとは
RADOS:Reliable, Autonomic, Distributed Object Store
RADOSGW:RADOS GateWay(S3/Swift互換なREST API)
RBD:RADOS Block Device(iSCSI的なブロックデバイス)
CEPH FS:CEPH File System(POSIX互換のファイルシステム)
5http://ceph.com/docs/v0.86/_images/stack.png
![Page 6: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/6.jpg)
6
今回は、SoftLayer上に構築したCephクラスタの
RBD & CEPH FSのI/O性能を検証しました
(Object Storageとしての使い勝手はまたこんど!)
![Page 7: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/7.jpg)
7
Cephはceph-deployでインストールした
v0.80.7 Fireflyです
Cephをインストールするansible-playbookも作ったよ!
![Page 8: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/8.jpg)
今回構築したCephクラスタ①
同一DC内で分散(San Jose 1 x3)
Cephクラスタの設定はデフォルトのまま
Cephクラスタノード(Baremetal Server)のスペック
・Xeon 1270 4Core 3.40GHz ・8GB RAM
・1TB SATA x2 ・1Gbps NIC
8
San Jose 1
Ubuntu 14.04
CephClient
fio
Virtual Server
eth0
OS Data
Journal
Ubuntu 14.04
OSDMDSMON
eth0
Baremetal Server
OS Data
Journal
Ubuntu 14.04
OSDMDSMON
eth0
Baremetal Server
OS Data
Journal
Ubuntu 14.04
OSDMDSMON
eth0
Baremetal Server
Private VLAN
Hourly最安のBaremetal(NICだけグレードアップ)
![Page 9: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/9.jpg)
別DCと分散(San Jose 1 x2 + Dallas 1 x1)
Cephクラスタの設定はデフォルトのまま
Cephクラスタノード(Baremetal Server)のスペック
・Xeon 1270 4Core 3.40GHz ・8GB RAM
・1TB SATA x2 ・1Gbps NIC
今回構築したCephクラスタ②
9
San Jose 1
Ubuntu 14.04
CephClient
fio
Virtual Server
eth0
OS Data
Journal
Ubuntu 14.04
OSDMDSMON
eth0
Baremetal Server
OS Data
Journal
Ubuntu 14.04
OSDMDSMON
eth0
Baremetal Server
OS Data
Journal
Ubuntu 14.04
OSDMDSMON
eth0
Baremetal Server
Dallas 1
Private VLANPrivate VLAN
Hourly最安のBaremetal(NICだけグレードアップ)
![Page 10: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/10.jpg)
対照実験
対照実験として、以下のI/O性能も測定
10
San Jose 1
OS Data
Ubuntu 14.04
Baremetal Server
fio
Baremetal ServerのLocal SATA HDD
San Jose 1
Ubuntu 14.04
CephClient
fio
Virtual Server
eth0
Block Storage(iSCSI)
SoftLayerのBlock Storage Service
(iSCSI)
San Jose 1
Ubuntu 14.04
CephClient
fio
Virtual Server
eth0
File Storage(NAS)
SoftLayerのFile Storage Service
(NAS)
Hourly最安のBaremetal
Consistent Performance無し Consistent Performance無し
![Page 11: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/11.jpg)
計測方法
fioを用い、以下のジョブを実行
11
[global]ioengine=libaioiodepth=1size=1gdirect=1runtime=60directory=/mntfilename=fio-diskmark
[Seq-Read]bs=1mrw=readstonewall
[Seq-Write]bs=1mrw=writestonewall
[Rand-Read-512K]bs=512krw=randreadstonewall
[Rand-Write-512K]bs=512krw=randwritestonewall
[Rand-Read-4K]bs=4krw=randreadstonewall
[Rand-Write-4K]bs=4krw=randwritestonewall
[Rand-Read-4K-QD32]iodepth=32bs=4krw=randreadstonewall
[Rand-Write-4K-QD32]iodepth=32bs=4krw=randwritestonewall
![Page 12: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/12.jpg)
計測結果
全結果
12
![Page 13: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/13.jpg)
計測結果
Sequential Read/Write
ceph①(同一DC内で分散)のReadは、NAS Serviceと同程度のI/O帯域が出る(iSCSI Serviceより速い)
ceph②(別DCと分散)のReadは遅い
cephのwriteはStorage Serviceに比べて圧倒的に遅い
13
![Page 14: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/14.jpg)
計測結果
Random Read/Write(ブロックサイズ 512K、iodepth=1)
ceph①(同一DC内で分散)のReadは、NAS Serviceと同程度のI/O帯域が出る(iodepth=1の場合、iSCSI Serviceより速い)
ceph②(別DCと分散)のReadは遅い
cephのwriteはStorage Serviceに比べて圧倒的に遅い
14
![Page 15: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/15.jpg)
計測結果
Random Read/Write(ブロックサイズ 4K、iodepth=1 & 32)
iodepthを32にし、非同期並列読み込み数を増やすと、ceph①(同一DC内で分散)のRBD Readが最大となる
15
![Page 16: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/16.jpg)
計測結果
ceph①(同一DC内で分散)と ceph②(別DCと分散)
ceph②(別DCと分散)は ceph①(同一DC内で分散)と比べて半分以下のI/O帯域しか得られていない
16
![Page 17: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/17.jpg)
まとめ
安価なBaremetal Server 3台を用い、同一DC内で構築したcephクラスタをファイルシステムとしてマウントした場合、Readに関してはConsistent PerformanceではないNAS Storageサービスと同程度のI/O帯域が期待できる
安価なBaremetal Server 3台を用い、同一DC内で構築したcephクラスタをブロックデバイスとしてマウントした場合、iodepthを適切に調整できれば、Readに関してはConsistent PerformanceではないiSCSI Storageサービスと同程度のI/O帯域が期待できる
ceph v0.80.7 fireflyでは、RBDやCEPH FSでGeoLocationを意識した設定ができないため、DC間で分散させたcephクラスタでは低いI/O帯域しか得られない
適切にチューニングしなければ、cephクラスタへのwriteは低いI/O帯域しか得られない
17
![Page 18: 【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer](https://reader031.vdocuments.net/reader031/viewer/2022032617/55ac6b411a28abb5668b4868/html5/thumbnails/18.jpg)