20120625 aws meister-reloaded-sg-vmie-public

© 2012 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc.

AWS Storage Gateway

&

VM Import/Export

AWSマイスターシリーズ Reloaded!

2012年6月25日

ソリューションアーキテクト松尾康博 ( @understeer)

渡邊源太 ( @gentaw0 )


Agenda

AWS Storage Gateway

VM Import/Export


AWS Storage Gateway


AWS Storage Gatewayとは？

既存データセンターのデータをクラウドストレージへ安全にバックアップするサービス

• 安価で耐久性の高いAmazon S3にデータをバックアップ

• データ転送/保存ともに暗号化

• 東京リージョンを含む全リージョンで、 2012年1月に開始

• 遠隔バックアップ、ディザスタリカバリのコストを最小化

Amazon S3

既存アプリケーションサーバ

オンプレミスのデータセンタ AWSクラウド

AWS Storage Gateway

バックアップ

リストア


Storage Gatewayは仮想アプライアンス

オンプレミスのデータセンタ

SGサーバ

ハイパーバイザ

Storage Gateway

(仮想アプライアンス)

Storage Gatewayは、仮想アプライアンスとして、

無償でOVFを提供

ハイパーバイザ上で起動するだけで、

iSCSI対応のストレージになる

VMWare ESXi 4.1/5.0に対応


仮想アプライアンスとは？

VMWare, Xenといった仮想化基盤上で動作する仮想イメージ

OS,各種ソフトウェアが予めインストール・設定されており、すぐに利用可能


物理サーバ


仮想アプライアンス

すぐ動く！


iSCSI対応ストレージになる


アプリ・サーバ

iSCSI イニシエータ

SGサーバ


Storage Gateway

ネットワーク経由

アプリ・サーバからは、

iSCSI形式でローカル側でディスクとして

利用できる

iSCSIを利用する側は Windows, RedHatのイニシエータを使う


SG上のデータをS3に自動複製

Amazon S3

AWS Storage Gateway サービス

Amazon Web Services


アプリ・サーバ

iSCSI イニシエータ

SGサーバ


Storage Gateway

SGに書き込まれたデータを、スケジュールにあわせ、自動的にAmazon S3に転送

差分のみ、圧縮して、暗号化して転送！


データ復旧・リカバリ

Amazon S3

AWS Storage Gateway サービス

Amazon Web Services


SGサーバ


Storage Gateway

保存形式が EBSスナップショットなので、

差分のみ料金がかかる

Amazon EBS

Amazon EC2

データのリストアも容易にできる

AWSクラウド上でシステムリカバリ

も可能！

EBSスナップショット EBSスナップショット EBSスナップショット EBSスナップショット


AWS Storage Gatewayの適用分野

バックアップ • テープを別拠点に送付する必要が無く、別拠点の準備も必要ない • バックアップ先のストレージのスペースを、先に購入しておく必要が無く、S3の場合は容量無制限で利用できる

• バックアップのスケジュールも容易に周期設定できる

ディザスタリカバリとBCP • ディザスタリカバリ用のデータセンタ、サーバを用意する必要がなく、ハードウェア投資を削減

• 仮想サーバ(Amazon EC2)の準備のために、既存のVMイメージをクラウドに持ち込んでもよい(VM Importと呼ばれる)

データ移行 • データを既存データセンターからクラウドへ移行、もしくはその逆も簡単に行える


セキュリティへの配慮

AWSと各ゲートウェイの間のデータ転送は、 SSLで暗号化

クラウド側のデータ(耐久性99.999999999%設計のAmazon S3に保存される)は、AES-256を用いて暗号化

iSCSIのinitiatorは、CHAP (Challenge-Handshake Authentication protocol)を用いて、暗号化認証を実施


AWS Storage Gatewayの詳細機能

ストレージゲートウェイのコントロール • マネジメントコンソールから、ボリューム操作

• １ボリューム最大1TiB

• １ゲートウェイで最大12TiB (12ボリューム)

• ボリューム数の上限緩和申請も可能

• スナップショット作成/復旧、作成スケジュールの構成

• 1, 2, 4, 8, 12, 24時間間隔で設定可能

Webコンソール、APIで操作可能

https://aws-portal.amazon.com/gp/aws/html-forms-

controller/StorageGatewayRequest

https://aws-portal.amazon.com/gp/aws/html-forms-controller/StorageGatewayRequest








AWS Storage Gatewayの詳細機能

ストレージゲートウェイの自動アップデート

• アップデートやパッチを自動的にダウンロード、インストール、デプロイ

• メンテナンスウィンドウを設定可能。

• Amazon CloudWatchを用いて、各ゲートウェイを監視し、ログ化、アラーム設定を行える

転送ネットワークのオプション

• ローカルのプロキシサーバ経由も可能

• 専用線接続サービス( AWS Direct Connect)利用も可能


料金体系

利用料金の内訳 • ゲートウェイ利用数

• データ保存料金

• データ転送料金

ゲートウェイ利用数 • 毎月$125/1ゲートウェイ

データ保存料金 • 通常のEBSスナップショットの料金が適用

データ転送料金 • AWSから出るデータ転送料が通常どおり必要

• AWSに向かう転送量は通常通り無料 →バックアップ時のデータ転送は無料

AWS無料使用枠の利用条件も適用される


想定利用ケース

バックアップサーバ用iSCSIストレージとして

• S3へのスナップショットが、遠隔バックアップの役割を果たす

• 定期的に書き込まれるバックアップとスナップショット取得のタイミングを調整することでタイムラグを削減可能

iSCSI Storage

Gateway

NetBackup/NetVault/ARCserve/etc

Local

Backup

S3

Snapshots

DAS/SAN

DBサーバ/Fileサーバ

定期バックアップ



iSCSI targetのヘッドとして

• 既存のiSCSIストレージ環境に挿し込む形

• 更新量が性能的に許容できる場合に限られる（参照がメインなど）

iSCSI

Storage

Gateway

iSCSI

Storage

S3

Snapshots

DBサーバ/Fileサーバ/etc

iSCSI



Direct Connectを利用

• 安定した転送帯域・速度を確保でき、転送に必要な時間が予測可能に

• 大量の更新データを高頻度にスナップショット取得可能

iSCSI Storage

Gateway

Local

Backup

S3

Snapshots

Direct

Connect


AWS Direct Connectとは？

AWSとデータセンター、オフィス、コロケーション環境間にプライベート接続を確立するサービス

• 高スループット、低レイテンシ

• 一貫性のあるネットワーク体験!

お客様

AWS Cloud

EC2, S3などの

Public サービス

Amazon VPC

相互接続ポイント専用線


Storage Gatewayのボリューム管理

新規ボリューム作成の場合

• ボリューム内は空（既存データが存在するとクリア）

• S3側にスナップショットは存在しない

• 初回スナップショットで、ボリューム内の全データをアップロード

volume snapshot



既存ボリュームを管理対象にする場合

• ボリューム内のデータを残して利用

• 作成時に、ボリューム内の全データをアップロードしてスナップショット作成

• 既存データの移行などで使用

volume snapshot



スナップショットからボリュームを再作成する場合

• オンプレミスのボリュームをリカバリするケース

• 作成時に、スナップショット内の全データをダウンロードしてスナップショット作成

• ボリュームリカバリなどで使用

• (EBSのスナップショットはサポート対象外）

volume snapshot



スナップショットからEBSを作成する場合

• オンプレミス側からクラウドに切り替えるケース

• 通常のEBS・スナップショットの操作と同じ

• 作成したEBSはEC2にアタッチ可能

volume snapshot volume

EC2


Working Storageとは

Working Storageとは

• iSCSI経由で書きこまれたデータを一時的に保持するために必要

• Snapshot作成時にAWSに転送後、クリアされる

• 最大2TiB（複数ボリュームを束ねてた合計）


Working Storageの動作

ある時点でスナップショット完了直後の状態

volume Working Storage snapshot



Snapshot取得後、ボリューム対して更新

• Working Storageにも更新ブロックを保持

volume Working Storage snapshot iSCSI



Snapshot時はWorking Storageの差分をアップロード

• アップロード済みのブロックはWorking Storageから削除

volume Working Storage snapshot


Working Storageがあふれると

異常ステータス PASS THROUGHに遷移する

• スナップショットが取れない状態

• ローカルディスクの読み書きは可能

• 実質、S3へのアップロードが停止している状態

復旧するには

• Working Storageの増強( ただし Max 2TiBまで）

• ボリューム削除・再作成（サイズに応じた時間がかかる）


リリース後のサービスアップデート

対象リージョン追加

• 南米(サンパウロ)リージョンでも利用可能に

固定IPアドレス対応

• DHCPが使えないセグメントでも利用可能に

API経由の操作が可能に

• 外部システムからsnapshot取得等の操作がAPI経由で実行可能

• IAMにも対応し、Storage Gatewayの操作のみ行う権限のユーザを作成可能

VMWare ESXi 5サポート

• ESXi 4.1に加えて、5もサポート

• 動作環境は変わらず、4vCPU, 7.5GB RAM, 75GB for OVA


まとめ

既存データセンタのデータを、クラウドに安全にバックアップするサービス

• 安価で耐久性の高いAmazon S3にデータをバックアップ

• データ転送/保存、ともに暗号化される

• 東京リージョンを含む全リージョンで利用できる

• バックアップ、ディザスタリカバリのコストを最小化

Amazon S3

既存アプリケーションサーバ

オンプレミスのデータセンタ AWSクラウド

AWS Storage Gateway

バックアップ

リストア


参考情報

AWS Storage Gateway

• http://aws.amazon.com/jp/storagegateway/

Blog

• http://aws.typepad.com/aws_japan/2012/01/aws-storage-gateway.html

User Guide

• http://docs.amazonwebservices.com/storagegateway/latest/userguide/GettingStarted.html

FAQ

• http://aws.amazon.com/jp/storagegateway/faqs/

http://aws.amazon.com/jp/storagegateway/

http://aws.typepad.com/aws_japan/2012/01/aws-storage-gateway.html






http://docs.amazonwebservices.com/storagegateway/latest/userguide/GettingStarted.html



http://aws.amazon.com/jp/storagegateway/faqs/


VM Import/Export

AWSマイスターシリーズ Reloaded!


VM Import/Export

データセンターのVMアプリケーションのAmazon EC2への移行

• VM Importのプロセスにより、既存のVMイメージをお客様の環境からAmazon EC2にインポート

• Auto Scaling、Elastic Load Balancing、CloudWatchが利用可能

VMイメージのディザスタリカバリ用イメージの作成

• バックアップまたはディザスタリカバリのためにVMイメージをインポートし、AMIとして保管

EC2およびS3の標準的な使用料金のみで利用可能


www.example.com

Amazon Route 53

AMI

EC2

①AMIから EC2を起動

②S3からEBSを作成

VM ImportによるバックアップからEC2への復旧

保存ファイル

③名前を切り替える既存DC

既存サーバー

AWS Import/Export

郵送

AWS VM Import


VM Import

既存の仮想マシンをそのままAmazon EC2にインポートすることが可能

• Windows Server 2003 R2

• Windows Server 2008 / R2

以下の仮想ディスクフォーマットに対応

• VMware vSphere VMDK

• Microsoft Hyper-V VHD

• Citrix XenServer VHD


VM Importによる仮想マシンのアップロード（1/2）

アップロードを行う前にかならず管理用リモートデスクトップサービスを有効にしておくこと

VMware/Hyper-V/XenServerから、OVF形式で仮想マシンをエクスポート



ec2-import-intanceコマンドを使用して仮想マシンイメージをアップロード

• ec2-import-instance DISK_IMAGE_FILENAME -t INSTANCETYPE -f FORMAT -a ARCHITECTURE-SYSTEM -b S3_BUCKET_NAME -o OWNER -w SECRETKEY

• 例：ec2-import-intance Windows_Server_2008_R2.vmdk –t m1.small –f VMDK –a x86-64 –b mybucket -o AKIAIOSFODNN7EXAMPLE -w wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY



仮想マシンのイメージがEC2にアップロードされると、自動的にイメージのコンバージョンタスクが実行される

ec2-decribe-conversion-tasksコマンドによりタスクIDを指定してコンバージョンのステータスを確認することが可能 • 例：ec2-describe-conversion-tasks import-i-ffvko9js

タスクが完了するとManagement Consoleまたはec2-start-instancesコマンドでインスタンスを起動可能

アップロードに使用されたファイルがS3バケットに保存されているため、ec2-delete-disk-imageコマンドを使用して削除しておく • 例：ec2-delete-disk-image –t import-i-ffvko9js

-o AKIAIOSFODNN7EXAMPLE -w wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY


Windows VMのライセンシングモデル

Windows VMイメージをインポートすると、Windows ServerライセンスキーがAWSによって用意される

既存のWindowsライセンスは使用されないため、オンプレミス環境にて再利用可能


Amazon EC2 VM Import Connector for VMware vCenter

VMware vCenterと連携してVMware vSphere Clientから仮想マシンのインポートが可能

• VMware ESX 4.0/4.1/5.0

• VMware vCenter 4.0/4.1/5.0

仮想アプライアンスとしての提供

• OVF形式でVMware ESX上にデプロイ可能

前提条件

• 物理メモリ 256MB

• ディスク容量 250GB以上

• DHCPサーバー


Amazon EC2 VM Import Connector仮想アプライアンスの実行

起動した仮想アプライアンスを選択してコンソールを開く

「Management Website」および「Management Password」が表示される


Amazon EC2 VM Import Connector for VMware vCenterブラウザの起動

ブラウザを起動し、「Management Website」に接続する

「Management Password」を入力してログイン


Connector Statusによるステータスの確認

「vSphere Frontend」「AWS Upload Daemon」「AWS Connectivity」ステータスが[OK]となっていることを確認

「Register Now」をクリックしてvCenterを登録


vCenter Connector Registration

vCenterのIPアドレス、ユーザー名およびパスワードを入力し、「Register Connector with vCenter」をクリック


vCenter Connector Registratonの確認

「vCenter Connector registered with the vCenter Server successfully」と表示されたら登録

うまくいかない場合は、vCenterが正常に動作してるか確認


Connector Statusの確認

「Connector Status」がすべて「OK」と表示されたら設定完了

この時点でvSphere Clientに「Import to EC2」タブが追加される


AWS Credentialsの入力

vSphere Clientを使用して「Import to EC2」タブを開くと、Access Key IDとSecret Access Keyの入力を求められる


Instance Parametersの入力

必要なパラメータを入力して「Import To EC2」→「Import」をクリックすると、自動的にVMをEC2にインポートする

「Launch in VPC」オプションによりVPCでの起動も可能


VM Exportによるインスタンスのエクスポート(1/2)

VM ImportしたインスタンスをAWS外にエクスポートするためのコマンド

• EC2上で作成したインスタンスはExport不可

Export先となるS3バケットへのアクセス権の付与

• [email protected]に対してWRITEおよびREAD_ACLの権限が必要


VM Exportによるインスタンスのエクスポート(2/2)

エクスポートしたインスタンスはS3のバケットにOVF形式で格納される

• ec2-create-instance-export-task instance_id -e target_environment -f disk_image_format [-c container_format] -b S3_bucket [-p S3_prefix] [-d description]

• 例：ec2-create-instance-export-task i-c5fc87c5 –e vmware -b gentaw

ec2-describe-export-tasksコマンドでタスクの状態を監視


VM Import/Exportの注意点

IPアドレスの設定はインポート時に引き継がれない

• あらかじめDHCPの設定にしておく

インポートするVMに複数の仮想NICがある場合

• NICの設定はリセットされる

• 必要に応じてENI（Elastic Network ）で仮想NICを追加

Amazon EC2 VM Import Connector for VMware vCenterではEC2へのインポートのみ

現在のところ、Windowsのみサポート


まとめ

データセンターのVMアプリケーションのAmazon EC2への移行

• VM Importのプロセスにより、既存のVMイメージをお客様の環境からAmazon EC2にインポート

• Auto Scaling、Elastic Load Balancing、CloudWatchが利用可能

VMイメージのディザスタリカバリ用イメージの作成

• バックアップまたはディザスタリカバリのためにVMイメージをインポートし、AMIとして保管

EC2およびS3の標準的な使用料金のみで利用可能


参考情報

VM Import/Export

• http://aws.amazon.com/jp/ec2/vmimport/

Using Instances of Your Virtual Machine in Amazon EC2

• http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/

UsingVirtualMachinesinAmazonEC2.html?r=9064

Using the Amazon EC2 VM Import Connector to Import

Your Virtual Machine to Amazon EC2

• http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/

UsingEC2VMImportConnector.html

http://aws.amazon.com/jp/ec2/vmimport/

http://aws.amazon.com/jp/ec2/vmimport/

http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/UsingVirtualMachinesinAmazonEC2.html?r=9064




http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/UsingEC2VMImportConnector.html




AWS Support 日本語でのサポートをご提供しております http://aws.amazon.com/jp/premiumsupport/

ベーシックデベロッパービジネスエンタープライズ

サポートフォーラム利用可能利用可能利用可能利用可能

サポートへのコンタクト

EC2の健全性エラーが発生した場

合コンタクトフォーム

電話、チャット、コンタクトフォーム

電話、チャット、コンタクトフォーム

最速初期応答不可 12時間以内

（営業時間内） 1時間１５分

連絡先登録 1 5 無制限

24/365対応なしなしありあり

上級サポートエンジニアへの直接ルーティング

なしなしありあり

専任スタッフなしなしなしあり

特別サポートなしなしなしあり

料金（月額）無料 $49

AWS利用総額の $0~$10K: 10% $10K~$80K: 7%

$80K~$250K: 5% $250K～ 3% （最低$100）

AWS利用総額の $0~$150K: 10%

$150K~$500K: 7% $500K~$1000K: 5%

$1000K～ 3% （最低$15K）

20120625 aws meister-reloaded-sg-vmie-public

Technology