AWS Storage gateway　　　　　　　　の使用レ

ポート

Takayuki Saito 　 @taka3110_pcc

自己紹介

工場への人材営業から 24/365 の IT 運用スタッフへ転身という変わった経歴をもち、IT 運用スペシャリストを目指す現場主義のエンジニア。またの名を復旧請負人。NW 設計からクエリチューニングまでマルチレイヤでの対応をモットーとしている。現在は某 MSP にて誰もが幸せになれる、愛される IT 運用を実現すべく日々奮闘中。コードネームはドン。Zabbix 認定スペシャリスト / AWS 認定 SA第３回チューニンガソン　入賞インストールマニアックス Final 準優勝

Takayuki Saito ( 斉藤 孝之 ) 　@taka3110_pcc

https://github.com/taka3110

https://www.chatwork.com/don

menu

• AWS StorageGateway の特徴• 今回試した構成• 追加 EBS 、 samba 共有との性能比較• EBS との料金比較• 結果

※ 本資料は 2014/05/07 時点での検証結果に基づく資料です。

AWS storage gateway の特徴◎ 　 iSCSI 接続が可能◎ 　容量がほぼ無限 (EBS は 20TiB)

• よく使うファイルを EBS に置く ( キャッシュ / バッファ ) 事で、 S3 でも低レイテンシ接続が可能• 仮想テープ / バックアップ・ DR 用などに分かれており、用途によって使い分けが可能• スナップショット等、バックアップが簡単に取得出来る• 直接オンプレ仮想環境に接続させる事も可能だし、 EC2 で Gateway することも可能• などが、凄い詳しく載っている資料は↓

http://www.slideshare.net/AmazonWebServicesJapan/20130515-aws-meisterregeneratestoragegwpublic

by AWS 北迫さん

今回試した構成

• などの、作り方が凄い詳しく載っている資料は↓http://memocra.blogspot.jp/2013/02/storage-gatewayec2centoss3.htmlby アイレット miura satoru さん

iSCSI m1.xLarge

StorageGateway

instance

t1.micro

FileServerWindows2008R

2

5GBnormal

Upload Buffer

5GBnormal

Local Cache

100GB

Volume StorageStorageGatewa

y

atatched

atatched

Office

Internet

Client

Client

FileSharing

今回試した構成

• などの、作り方が凄い詳しく載っている資料は↓http://memocra.blogspot.jp/2013/02/storage-gatewayec2centoss3.htmlby アイレット miura satoru さん

iSCSI m1.xLarge

StorageGateway

instance

t1.micro

FileServerWindows2008R

2

5GBnormal

Upload Buffer

5GBnormal

Local Cache

100GB

Volume StorageStorageGatewa

y

atatched

atatched

Office

Internet

Client

Client

FileSharing

NTFS フォーマットネットワーク共有ドライブ

追加 EBS 、 samba 共有との性能比較

• FileServer 上から「 CrystalDiskMark 」を使用して性能比較http://crystalmark.info/

iSCSI m1.xlarge

StorageGateway

instance

t1.micro

FileServerWindows2008R

2

5GBnormal

Upload Buffer

5GBnormal

Local Cache

100GB

Volume StorageStorageGatewa

y

atatched

atatched

Office

Internet

Client

Client

FileSharing

FileServer 上で実施

追加 EBS 、 samba 共有との性能比較• 測定内容

シーケンシャルの read/write 速度512KB 、 4KB のランダム read/write 速度

• 実施内容測定回数： 2 回測定バイト数： 50MB

※ 課金が見えなかったので、かなり控えめ ( 最低条件 ) 実施。　 参考程度の扱いでお願いします。

　　※ SMB 共有は EBS(OS) を ubuntu 上で samba を起動　　　 し、ネットワークドライブとして windows で認識させたもの。　　　 s3fs でマウントした領域を smb で共有した状態での　　　 テストも実施しましたが、そもそも書き込めませんでした。

EBS(OS)

EBS( 追加 )

SMB共有

StorageGW

単位 [MB/S] Read Write Read Write Read Write Read Write

シーケンシャル 103.1 29.34 99.14 27.90 8.626 8.425 13.95 11.07

512KB ランダム 98.89 25.78 95.47 24.82 8.836 10.35 12.87 10.70

4KB ランダム 7.808 1.290 7.615 1.175 1.732 1.001 1.012 0.442

4KB Queue Depth = 32

46.12 8.717 62.53 9.235 8.242 8.196 11.41 4.736

追加 EBS 、 samba 共有との性能比較

Seq 512K 4K 4KQD320

20

40

60

80

100

120

103.198.89

7.808

46.12

99.14 95.47

7.615

62.53

8.626 8.8361.732

8.24213.95 12.87

1.01211.41

READ

EBS(OS) EBS( 追加 ) SMB 共有 StorageGW

テスト項目

MB

/S

追加 EBS 、 samba 共有との性能比較

Seq 512K 4K 4KQD320

5

10

15

20

25

30

35

29.34

25.78

1.29

8.717

27.9

24.82

1.175

9.2358.42510.35

1.001

8.19611.07 10.07

0.442

4.736

WRITE

EBS(OS) EBS( 追加 ) SMB 共有 StorageGW

テスト項目

MB

/S

EBS との料金比較• EBS をファイルサーバストレージとする場

合とStorageGateway をストレージにする場合で料金を比較

• StorageGateway を EC2 上で使う為、専用インスタンス (m3.xlarge 以上 ) を使用※今回は m3.xlarge で計算

• FileServer 用インスタンスを用意※今回は m3.medium で計算

• StorageGateway は EBS が 2 つ(cache+buffer) 必要

• StorageGateway は Volume が安いが、必要なものが多い為、単純に容量比較をした場合は EBS より高くなる。

iSCSI m3.xlarge

StorageGateway

instance

m3.medium

FileServerWindows2008R

2

normal

Upload Buffer

normal

Local Cache

Volume StorageStorageGatewa

y

atatched

atatched

m3.medium

FileServerWindows2008R

2

atatchednormal

Storage

StorageGateway

EBS

EBS との料金比較• 固定費

EBS/StorageGW 双方　 FileServer(m3.medium) ＝ 2,538 円StorageGW のみ　専用インスタンス (m3.xlarge) ＝10,103 円

• ストレージ費用EBS Volume　 1GB ＝ 8.24 円StorageGateway Volume　 1GB ＝ 3.399 円

※ インスタンスの月額は全て 1年重度使用のリザーブドインスタンス (初期費用を 12 分割して足したもの )で計算※ 1 ドル =103 円で計算※ StorageGateway のバッファ / キャッシュは、それぞれ容量の 1/5 として計算。 ( 上限は 1TB とする )

※ 右表と別で通信料が必要となる。

容量 (GB) EBS 月額Storage

Gateway 月額500 ¥ 6,657 ¥ 28,245

1000 ¥ 10,777 ¥ 31,592

2000 ¥ 19,017 ¥ 38,287

3000 ¥ 27,257 ¥ 44,982

4000 ¥ 35,497 ¥ 51,677

5000 ¥ 43,737 ¥ 58,372

6000 ¥ 51,977 ¥ 61,771

7000 ¥ 60,217 ¥ 65,170

8000 ¥ 68,457 ¥ 68,569

9000 ¥ 76,697 ¥ 71,968

10000 ¥ 84,937 ¥ 75,367

結果• Buffer/Cache の容量を計算し、適切に見積もる事で StorageGateway は FileServer と

して使用するに十分に足りるレイテンシを確保可能

• S3 を使用する事で 99.999999999% の堅牢性を保持している為、バックアップや DR に対する運用コストを削減し、ファイル誤操作に対する運用に注力できる。

• 規模によっては StorageGateway の方が費用が高くなる。 Buffer/Cache の容量次第だが、単純比較では 8000GB 以上でお得に。容量計算方法： http://understeer.hatenablog.com/entry/2012/02/02/072607　 understeerさん awsmemo より

• SMB 共有や NFS よりもある程度低レイテンシで接続が出来るようなイメージ。• 以下のような構成例の他、 Glacier と連携させる事で使わない画像データ等にも有効に使

える。医療やアニメ等の画像データ、 Web 上で蓄積させる為のデータには都合が良さそう。http://aws.amazon.com/jp/cdp/fileserver/?utm_source=AWS&utm_medium=awswebsite&utm_campaign=LP_jpcdp&00N500000026nJd=LP_jpcdp