jawsug osaka s3 cloudsearch

Amazon Simple Storage Service &

Amazon CloudSearch

NRIネットコム株式会社　佐々木拓郎

2015/2/7JAWSUG関西特別編

佐々木拓郎 @dkfj

課長

AWSの事業推進の他にモバイルとデータ解析チームのマネジメントをしています

blog: http://blog.takuros.net

自己紹介

http://blog.takuros.net

ちょっと宣伝

Rubyによるクローラー開発技法巡回・解析機能の実装と21の運用例

http://amzn.to/1lsJ5id

ジュンク堂書店　コンピュータ書年間総合ランキング14位

http://amzn.to/1lsJ5id

もう1つ宣伝

AWS本を執筆中

ある程度、AWSを理解した上で、・AWSのサービスの選択のポイント・セキュリティの考え方・運用のノウハウ・サードパーティ製の便利なサービスの紹介・パターン別構築例 ⇒もう一歩レベルが上げられるような内容を目指しています。

想定の対象読者は、JAWSUGに参加している皆さんです

NRIネットコム

Web周りのビジネスを専門としている会社

• Webシステムの企画・設計・開発・運用 • 24時間365日の運用体制 • デザインを重視し、自社内でディレクタ／デザイナが多数在籍 • スマホ／タブレットも得意 • もちろんAWSをはじめとするクラウドにも力を入れている

会社の紹介

Amazon Simple Storage Service

究極のオンライン・ストレージサービス

安価かつ高い耐久性を持つオンラインストレージサービス

AWSのストレージサービス

S3

Glacier

StorageGateway

EBS

超安価かつ高い耐久性を持つコールドストレージサービス

オンプレミス環境と連携したバックアップ＆ストレージサービス

仮想サーバ（EC2）にマウントできるディスクサービス

S3の用語

バケットオブジェクトの保管場所。バケット名は一意の必要があるバケット名は、ドメインと同じで早い者勝ち

オブジェクト S3上に保存されたファイル 99.999999999%の耐久性（イレブン・ナイン）

キーオブジェクトごとに付与される一意のキーディレクトリ構造に似て見えるが実態はフラット構造

オンラインストレージ全てのオブジェクトには、一意のURLが付与オブジェクトは、APIを通じて操作

とにかく堅牢 3か所以上のデータセンタに自動複製 99.999999999%の耐久性（イレブン・ナイン）

従量課金で安い 1バイト～5TBまで。オブジェクト数は無制限 1GB／月で約3円

Amazon S3の特徴

S3の利用料金（東京リージョン）

データ保存料金月あたり$0.0330/GB～より低コストな低冗長化ストレージもある。$0.0264/GB～

APIリクエスト料金 PUT,Copy,Post,List　1,000リクエストあたり$0.0047 GET　10,000リクエストあたり$0.0037

データ転送料金外部からAWS（イン）　無料 AWSから外部へ（アウト）$0.140/GB～ AWSから別のAWSリージョン　$0.090/GB～

主な機能

アクセスコントロールロギングライフサイクル機能バージョニングイベント通知機能静的Webサイト機能相手先払い（DevPay） Glacier連携

静的Webサイトホスティング機能

S3 Webホスティング費用・ストレージ料金 $0.033/GB ・リクエスト料金 $0.0037/10,000回・転送量 $0.140/GB

・300ページビュー　10円程・3万ページビュー　260円程・300万ページビュー　2万6千円程

デモ

http://youtu.be/er3S2MH6jEY

バケットの作成

一意のバケット名を入力

Websit Hostingの設定

Enable Website Hostingを選択

バケットポリシー（アクセス権限）の設定

{ "Version": "2008-10-17", "Statement": [ { "Sid": "AllowPublicRead", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": "s3:GetObject", "Resource": “arn:aws:s3:::your-bucke-name/*” } ] }

対象のバケット名を指定

イベント通知

ファイルPut,Post, etc

通知

SQSキュー

SNSトピック

Lambda Function

（）

S3のオブジェクトに対しての処理をイベントを検知し、後続の処理を行う

イベント

Amazon CloudSearch

CloudSearchとは？

Lucene/Solrベースの全文検索エンジンフリーワードやカテゴリによる検索、検索用の索引づくり様々なアルゴリズムで順位付け

フルマネージド Sドキュメントのサイズ／数およびリクエスト数でオートスケール内部的には、EC2やS3、EMRなど様々なAWSリソースを利用・コントロール

日本語に対応含め、様々な機能日本語形態素解析（Bi-gramも利用可能）サジェスト機能（AutoComplete）

検索エンジンとは？

インデックス構築器

インデックス管理器

文章管理器

インデックス検索器

検索アプリ

利用者検索キーワード

結果

検索キーワード

結果

一般的な検索エンジンの構造

検索エンジンの内部は、それなりに複雑複数の機能が連携インデックスの管理は、地味に大変

⇒CloudSearchは、機能も運用も全部込みのフルマネージドサービス

文章

日本語の検索は、どう動いているの？形態素解析

日本語の検索はどう動いているの

ストップワードの除去

日本語検索動い

インデックス化

Q. 自分で検索エンジン作りたいですか？


A. 趣味で作るのは、楽しそうです。


A. 趣味で作るのは、楽しそうです。仕事として運用するのは嫌です！！


A. 趣味で作るのは、楽しそうです。仕事として運用するのは嫌です！！

検索エンジン自作入門

⇐この本、面白いです。

Amazon CloudSearch

お手軽便利

気の効いた機能もあります検索サジェスト

自分で作るのは大変入力される度に、入力文字を送信入力文字列を形態素解析形態素ごとにサジェストデータベースを検索結果を返して表示

参考資料

AWS Black Belt Techシリーズ Amazon Simple Storage Service (Amazon S3) http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belttechwebinar2014s3public

Amazon Simple Storage Service ドキュメント http://aws.amazon.com/jp/documentation/s3/

第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive http://www.slideshare.net/AmazonWebServicesJapan/15-solr-solrjp-amazon-cloudsearch-deep-dive

http://www.slideshare.net/AmazonWebServicesJapan/15-solr-solrjp-amazon-cloudsearch-deep-dive

ご静聴、ありがとうございました。

jawsug osaka s3 cloudsearch

Internet