jaws days 2014 aceに聞け! s3
DESCRIPTION
JAWS DAYS 2014のACEに聞け!でお話した内容です。 - web http://jawsdays2014.jaws-ug.jp/ - togetter http://togetter.com/li/639933TRANSCRIPT
![Page 1: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/1.jpg)
株式会社サーバーワークス坂井田 保彦
S3
![Page 2: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/2.jpg)
はじめに
•Twitterハッシュタグ#jawsdays #ace
![Page 3: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/3.jpg)
今日は何の日?
![Page 4: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/4.jpg)
![Page 5: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/5.jpg)
We launched Amazon S3 onMarch 14, 2006
![Page 6: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/6.jpg)
Happy Birthday S3!
![Page 7: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/7.jpg)
自己紹介
•坂井田保彦(さかいだ やすひこ)
•株式会社サーバーワークステクニカルチーム
•@idacchiPicture by popowa - http://www.pixiv.net/member_illust.php?mode=manga&illust_id=42092662
![Page 8: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/8.jpg)
アジェンダ
•S3って何?
•S3のユースケース
•S3を使う
•S3を使う上でのポイント
![Page 9: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/9.jpg)
S3って何?AmazonSimpleStorageService
![Page 10: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/10.jpg)
S3って何?
•99.999999999% の耐久性と99.99% の可用性をもつAWSのオンラインストレージ
•1GBあたり約10円
![Page 11: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/11.jpg)
S3のユースケース
•ディザスタリカバリー→EC2のAMIの保存先として
•ファイルストレージ→安価で大容量
![Page 12: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/12.jpg)
S3を使う:Management Console
![Page 13: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/13.jpg)
S3を使う:GUI tool
![Page 14: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/14.jpg)
•dgtools•s3sync•s3cmdetc...
S3を使う:CUI tool
![Page 15: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/15.jpg)
•インターネットにつながらないとS3につながらない
S3を使う上でのポイント:ネットワーク
![Page 16: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/16.jpg)
S3を使う上でのポイント:ネットワーク
![Page 17: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/17.jpg)
S3を使う上でのポイント:ネットワーク
EIP or public IP
![Page 18: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/18.jpg)
•オブジェクトへのアクセス状況のログを出力できる
•ログ自体もS3へ保存
S3を使う上でのポイント:アクセスログ機能
![Page 19: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/19.jpg)
• 84f3ecaec919ad5e9e76d14fe22875668f4957e3e82297050b83fdf9c98c0cab swx-sakaida-0 [04/Jun/2013:13:55:10 +0000] 10.115.82.47 84f3ecaec919ad5e9e76d14fe22875668f4957e3e82297050b83fdf9c98c0cab ABA0E38F38B88D2C REST.PUT.LOGGING_STATUS - "PUT /jaws-sakaida-0?logging HTTP/1.1" 200 - - - 325 - "-" "S3Console/0.4" -
S3を使う上でのポイント:アクセスログ機能
![Page 20: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/20.jpg)
•オブジェクトのライフサイクル設定でGlacierへの転送設定ができる
S3を使う上でのポイント:Glacierとの連携
![Page 21: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/21.jpg)
•Glacier???
•1GBあたり約1円(S3の1/10)
•即時にデータを取り出せない
S3を使う上でのポイント:Glacierとの連携
![Page 22: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/22.jpg)
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
S3を使う上でのポイント:Glacierとの連携
![Page 23: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/23.jpg)
•Management ConsoleからGlacierのオブジェクトを取り出せない
S3を使う上でのポイント:Glacierとの連携
![Page 24: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/24.jpg)
•S3のライフサイクル設定でGlacerに送ったファイルはS3のManagement Consoleから取り出せる
S3を使う上でのポイント:Glacierとの連携
![Page 25: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/25.jpg)
•大量のGETをさばく必要がある場合→Cloud Front
S3を使う上でのポイント:パフォーマンス
![Page 26: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/26.jpg)
•GETだけじゃなくて複数のリクエストタイプある場合(GET、PUT、List Objects)→オブジェクト名の付け方を工夫する
S3を使う上でのポイント:パフォーマンス
![Page 27: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/27.jpg)
S3を使う上でのポイント:パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj<bucket>/2014-03-15-jaws_00002.obj<bucket>/2014-03-15-jaws_00003.obj...<bucket>/2014-03-15-jaws_99997.obj<bucket>/2014-03-15-jaws_99998.obj<bucket>/2014-03-15-jaws_99999.obj
好ましくない命名
![Page 28: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/28.jpg)
S3を使う上でのポイント:パフォーマンス
<bucket>/2014-03-15-jaws_00001.obj<bucket>/2014-03-15-jaws_00002.obj<bucket>/2014-03-15-jaws_00003.obj...<bucket>/2014-03-15-jaws_99997.obj<bucket>/2014-03-15-jaws_99998.obj<bucket>/2014-03-15-jaws_99999.obj
好ましくない命名
オブジェクト名のprefixがstatic
![Page 29: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/29.jpg)
S3を使う上でのポイント:パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj<bucket>/7b54-2014-03-15-jaws_00002.obj<bucket>/921c-2014-03-15-jaws_00003.obj...<bucket>/fe21-2014-03-15-jaws_99997.obj<bucket>/c532-2014-03-15-jaws_99998.obj<bucket>/a81f-2014-03-15-jaws_99999.obj
パフォーマンス向上が期待できる
![Page 30: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/30.jpg)
S3を使う上でのポイント:パフォーマンス
<bucket>/232a-2014-03-15-jaws_00001.obj<bucket>/7b54-2014-03-15-jaws_00002.obj<bucket>/921c-2014-03-15-jaws_00003.obj...<bucket>/fe21-2014-03-15-jaws_99997.obj<bucket>/c532-2014-03-15-jaws_99998.obj<bucket>/a81f-2014-03-15-jaws_99999.obj
パフォーマンス向上が期待できる
オブジェクト名のprefixがhash
![Page 31: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/31.jpg)
S3を使う上でのポイント:パフォーマンス実際に測ってみた
•100,000個のオブジェクトをS3に置く
•オブジェクト名のprefixの違いでList Objectsのスピードに差があるのか?
![Page 32: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/32.jpg)
S3を使う上でのポイント:パフォーマンス実際に測ってみた
•s3cmdでList Objectsする時間をtime コマンドで測定
•EC2インスタンスAmazon Linux 64bitc3.large
![Page 33: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/33.jpg)
S3を使う上でのポイント:パフォーマンス
実際に測ってみた:static[ec2-user@ip-10-0-0-230 s3cmd-master]$ time ./s3cmd ls s3://jaws-sakaida/home/ec2-user/prefix_static/ > result_static.txt
real 1m31.959suser 1m8.492ssys 0m1.836s
![Page 34: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/34.jpg)
S3を使う上でのポイント:パフォーマンス
実際に測ってみた:hash[ec2-user@ip-10-0-0-230 s3cmd-master]$ time ./s3cmd ls s3://jaws-sakaida/home/ec2-user/prefix_hash/ > result_hash.txt
real 1m22.980suser 1m7.256ssys 0m1.972s
![Page 35: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/35.jpg)
S3を使う上でのポイント:パフォーマンス
prefixがhashのほうが速い
prefix time
static 1m31.959s
hash 1m22.980s
![Page 36: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/36.jpg)
• http://www.slideshare.net/AmazonWebServices/maximizing-amazon-s3-performance-stg304-aws-reinvent-2013
• http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/request-rate-perf-considerations.html
S3を使う上でのポイント:パフォーマンス
参考資料
![Page 37: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/37.jpg)
one more thing...
![Page 38: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/38.jpg)
AWSをとりまくもうひとつのS
![Page 39: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/39.jpg)
![Page 40: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/40.jpg)
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•AWSに特化したSI
•クラウドインテグレーター
•170社超の導入実績!
•APN Advanced Consulting Partner
![Page 41: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/41.jpg)
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•14:00~ ACEに聞け! SWF桶谷 拓也
•14:00~ 最強のサムライ小室 文
今日も仲間が話します
![Page 42: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/42.jpg)
•使用頻度が高いものはS3
•使用頻度が低いものはGlacier
•今日もジョブボードに掲載中!
•気軽に声かけてね
仲間募集中!
![Page 43: JAWS DAYS 2014 ACEに聞け! S3](https://reader031.vdocuments.net/reader031/viewer/2022020217/54804a9eb4af9ff73b8b4612/html5/thumbnails/43.jpg)
Thank you!