hundreds of thousands of customers in 190...
Post on 20-Mar-2020
11 Views
Preview:
TRANSCRIPT
ハイブリッド構成を支えるAWSテクノロジー 荒木靖宏 プリンシパルソリューションアーキテクト 玉川憲 技術統括本部 本部長
Wifiは全セッション会場 展示会場にて、ご利用いただけます。
SSID: awssummit #awssummit
自己紹介 • 名前
– 荒木 靖宏 • 所属
– アマゾンデータサービスジャパン株式会社 プリンシパルソリューションアーキテクト
• ID – Twitter: ar1
• 好きなAWSサービス – Amazon Virtual Private Cloud – AWS Direct Connect
なぜハイブリッド環境なのか?
既存のアセットを最大限に活かす
AWSのメリットを享受する
ハイブリッド構成
開発での利用パターン
バーチャルマシン
開発 ステージング
環境の持ち運び
再現性 本番
DRでの利用パターン
DR
誘導・切替 Internet
本番
データ同期
データベース同期
複数のシステムがハイブリッドでやりとり
業務B 業務A
移行:システム移行、データ移行、切替
VPN
監視・制御
システム間連携
1つのシステムがハイブリッド
バースト対応 レイテンシ
帯域 バッチ
ハイブリッド構成例
運用LAN
社内LAN
本番 本番
ステージング
開発
AZ:B AZ:A
AD DNS
VMware
Storage Gateway
Manage ment
Console
Operation Terminal
アクセス チェック
Hybrid 監視
Internet
データセンター
Public Segment Private Segment
Private Segment Public Segment
Private Segment Public Segment
VM VM
ボリュームコピー VM移行
監視
Router
運用機能の一元化
拠点間広域接続網
データ
Internet
ハイブリッドシステムへの移行に考えること
• リージョン設計 • 対象アプリ決定 • VPC設計 • インターネット
VPN • 専用線
• ブロックデバイス • ファイル • VM • DB
• ユーザ管理 • 機器変更管理 • 監視 • ログ • ステージング環境テスト
• ユーザ誘導
インフラ データ:移行とバックアップ 運用
VPC内のシステム構築のために
• ネットワーク分割のベストプラクティス – ログインする必要のないELB,RDS, Elasticache用のサブネット
• 目的別には分けずに、/22や/24など、わかりやすく大きめのネットワークを指定する。
– ログインする必要のあるEC2は目的別に。
• AWSのAPI使用にはインターネット接続が必要 – EIPを使用 – NATインスタンスを使用 – オンプレ側インターネット線の使用
• AWSのリソースは原則ホスト名を使ってアクセス
AWS Direct Connect • AWSとデータセンター、オフィス、コロケーション環境間を専用線で接続
• 特徴 • ネットワークのコスト削減 • スループット向上 • インターネットベースの接続より帯域が安定
お客様
AWS Cloud EC2, S3などの Public サービス
Amazon VPC
専用線サービス
コロケへの専用線引き込みと違ってサーバ設置場所を限定しない。 相互接続ポイントはサーバの置かれた建屋とは独立した場所
CloudHubのHubとしてのVPC
Virtual Private Cloud
本社
Virtual Gateway
VPN Connection
AWS Direct Connect
Router
ファイルコピー
S3へ
ファイル転送高速化のために • バケットのリージョンを確認 • 数十MBを超えるならばマルチパート化 • 並列転送 • 数十TPSを超えるならばキー名を分散化 • 無駄なオペレーションは使わない
インスタンスへ
任意のプロトコル、 任意のアプリケーションを利用可 転送高速化プログラムも • Tsunami-UDP • Aspera • Skeed
ブロックデバイスコピー
S3へ
AWS Storage Gateway 分割構成が必要な場合 – キャッシュ型:32TB/ボリューム – 保管型:1TB/ボリューム
インスタンスへ
DRBD DRBD Proxy • 高遅延、低速度の場合
VM
Storage Gatewayを使ったボリュームコピー
Storage
Management Console /API端末
vCenter&OS Operation Terminal
VMware
VM Storage Gateway
Upload Buffer Volume
SAN接続
i-SCSI
Internet
差分抽出
差分snapshot
差分 snapshot
EBS作成 (全分)
Attach&Mount
Storage Gateway
VM Import/Exportを使ったシステムコピー
Storage
Management Console /API端末
vCenter&OS Operation Terminal
VMware
VM
VMDK Volume
SAN接続
Internet
VM Import API実行
Launch
Attach&Mount
VMDK
Vcenterから export/import
データベースの同期 • ファイル、ブロック、バーチャルマシンのコピーでは対応できないアプリケーション
– レイテンシやセキュリティが問題になることも
MySQL Slave
MySQL Master
Internet
http://awsofa.info
西海岸 東海岸
転送最適化サービスを使った例
• データ圧縮 • 重複排除 • TCP最適化 • 伝送路暗号化
• OFAではCloudOptを利用 • Market Place でAMIも
– CloudOpt (時間課金有り) – Silver Peak (BYOL)
CloudOptの動作イメージ(MySQLのサンプル)
AWS Cloud
Region Region
MySQL Slave
MySQL Master
Internet
AWSの提供する運用支援サービス
• AWS Identity and Access Magement
• AWS OpsWorks • AWS Trusted
Advisor • AWS
Management Console
• 各種言語用SDK
• Amazon Cloudwatch
• Amazon SNS
• AWS Data Pipeline
マネージメント 監視と通知 ログ
IAMによるユーザ権限管理 APIやマネジメントコンソールからの アクセスに対して、権限をチェック
全操作可能
S3はすべて操作可能
S3参照だけ
IAM security token service (STS) • 一時期的(60分〜)なユーザ権限を与える
ADやLDAP情報と
連携
サードパーティー(APN ISV)の提供する運用支援サービス
• Puppet Labs (puppet) • Opscode (chef)
• AppDynamics • new relic • AppNeta
• splunk • sumologic • loggly • treasure data
マネージメント 監視 ログ
VPCによるステージング環境テスト
• EIP以外の設定は本番と同様にできる – IPアドレス – インスタンスタイプ
• CloudFormation – AWS::CloudFormation::Stack をつかった分割も有効 – Outputsにテスト目的情報を出力
Route53の重み付け切り替え
新システム
現行システム
重み付け配分
ハイブリッド構成例
運用LAN
社内LAN
本番 本番
ステージング
開発
AZ:B AZ:A
AD DNS
VMware
Storage Gateway
Manage ment
Console
Operation Terminal
アクセス チェック
Hybrid 監視
Internet
データセンター
Public Segment Private Segment
Public Segment Private Segment
Public Segment Private Segment
VM VM
Private AS
差分バックアップ
VM移行
監視
Back Bone Router
運用機能の一元化
拠点間広域接続網
データ
Internet
AWSクラウドはハイブリッド構成への近道
地理的に分散したインフラストラクチャ
分散システムを支えるビルディングブロック
Availability Zones
AWS Regions
EC2
ロードバランサー
複数DCで冗長化されたストレージとDBのサービス
S3
RDS
DynamoDB
疎結合なサービスとプロセス間連携機能
の提供
SWF
SNS
SQS
Internet
AWSにおける可用性向上の考え方
AP (Act)
AP (Act)
DB (Act)
Availability Zone
Availability Zone
Region
Amazon S3
EBS
ELB (Act)
ELB (Act)
Backup
• ネットワークレイヤー – フルマネージド
• Front Endレイヤー – マネージドLB – 冗長化、即座なリソースの切替
え
• Back Endレイヤー – 即座なリソース切換え、SWと
組み合わせたHA化
• Storageレイヤー – インスタンス間のDiskの
付け替え
• Backupレイヤー – マネージドサービスとして
の提供
• データセンター – データセンタレベルでの可
用性
SDKによるサービスカスタマイズと省力化
• 各種言語用のSDKあり – http://aws.amazon.com/sdkforjava/ – http://aws.amazon.com/php/ – http://aws.amazon.com/ruby/ – http://aws.amazon.com/net/ – http://aws.amazon.com/jp/sdkfornodejs/
• サードパーティを含めれば主要言語はほぼ網羅
既存環境からAWSとのハイブリッド
新規システム 既存システム
データ転送・ネットワーク
移行方法・利用ツール 移行コスト スケジュール 運用コスト システム連携
移行コスト スケジュール 運用コスト 切替方法
Amazon Redshift
Amazon EMR
AWS Direct Connect VPN Connection
Route 53 Amazon RDS Amazon S3 Amazon Glacier
AWS CloudFormation
IAM AWS Data Pipeline
ハイブリッド構成はすでに現実
• AWSを使えばハイブリッド構成の構築をあらゆるユーザが – もっと簡単に – もっと安全に
• AWSをつかったハイブリッド構成ならば – 今あるシステムに加えて使用 – 現実的な時間 – 現実的なコスト
Thank You ハイブリッド構成を支えるAWSテクノロジー 荒木靖宏 プリンシパルソリューションアーキテクト
玉川憲 技術統括本部 本部長
top related