aws re:invent2019 re:cap| ai/ml amazon sagemaker update · くれるpython...

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Amazon SageMakerupdateShoko Utsunomiya

A W S r e : I n v e n t 2 0 1 9 r e : c a p | A I / M L

Machine Learning Solutions ArchitectAmazon Web Service Japan K.K.


Amazon SageMaker

AWS re:Inevent 2019 にてたくさんの SageMaker 関連のリリースがありました

これまでの Amazon SageMaker

これまでの開発・学習・デプロイの⽅式を⼤きく変えることなく、機械学習プロセス全体を効率化できる• 開発・学習・デプロイのインフラ管理は不要• 既存のコード・コンテナなどを持ち込んで学習・推論可能• ラベリング・モデル変換などもサポート

アノテーション開発学習モデル変換デプロイマーケットプレイス

Amazon SageMaker: お客様から多かったご要望

共同開発環境を使いたい

• 前処理やアルゴリズム選択⼿軽に実⾏したい分析・可視化・管理を簡素に

デバッガー

モデルの監視⼈間の介⼊をプロセスとして取り込みたい

https://aws.amazon.com/sagemaker/

Amazon SageMaker

Amazon SageMaker の Update ⼀覧開発学習デプロイ

• AWS Single Sign-On (AWS SSO) , AWS IAM でアクセス可能

https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-studio-the-first-fully-integrated-development-environment-for-machine-learning/

GAAmazon SageMaker Studio

Amazon SageMaker Studio

• AWS Single Sign-On (AWS SSO) , AWS IAM でアクセス可能

https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-studio-the-first-fully-integrated-development-environment-for-machine-learning/

GA

Amazon SageMaker Studio

Amazon SageMaker Notebooks Preview

• AWS SSO でのアクセス

• 待ち時間なくワンクリックで

• リソースの拡⼤・縮⼩はバックエンドで⾃動的に

ユーザーを登録し共同作業

https://aws.amazon.com/about-aws/whats-new/2019/12/introducing-the-new-amazon-sagemaker-notebook-experience-now-in-preview/

AWS Single Sign-On (SSO)

SSO アプリケーション⼀覧

SSO グループ

SageMaker グループにユーザーを追加

Amazon SageMaker Autopilot GA

https://aws.amazon.com/blogs/aws/amazon-sagemaker-autopilot-fully-managed-automatic-machine-learning/

Amazon SageMaker Autopilot Candidate Definition Notebook

SageMaker Model Monitor - visualizing monitoring results

Amazon SageMaker Processing• SageMaker Processing SDK

https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-processin-fully-managed-data-processing-and-model-evaluation/

GA

Processing.py

Amazon SageMaker Debugger

• Amazon SageMaker Debugger SDK

Keras, Apache MXNet, PyTorch, XGBoost に対応

https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-debugger-debug-your-machine-learning-models/

GA

S3 Bucket

Amazon SageMaker Experiments • SageMaker Experiments SDK

https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-experiments-organize-track-and-compare-your-machine-learning-trainings/

GA

⼊⼒アルゴリズムパラメーターデータセットなど

出⼒モデル、チェックポイント、メトリック

Amazon SageMaker Model Monitor

https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-model-monitor-fully-managed-automatic-monitoring-for-your-machine-learning-models/

GA

Amazon SageMaker Model Monitor

https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.htmlhttps://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/

Deequon Spark

(Built-in orCustom container)

Amazon Augmented AI

⼊⼒データ推論モデルAugmented

AI

確信度が⾼い結果は修正なし

確信度が低い結果は⼈間による修正を⾏う

アプリケーション

https://aws.amazon.com/about-aws/whats-new/2019/12/announcing-amazon-augmented-ai/

Preview

Amazon SageMaker の Update ⼀覧開発学習デプロイ

Amazon SageMaker Operators for Kubernetes

• Kubernetes を利⽤している開発者が、 Amazon SageMaker を利⽤して機械学習モデルの学習・デプロイするための機能

• Kubernetes API や kubectl などのツールを利⽤してSageMaker を呼び出し、SageMakerでジョブの作成・操作が可能

• ⽶国東部（オハイオ）、⽶国東部（バージニア北部）、⽶国⻄部（オレゴン）、およびEU（アイルランド）AWSリージョンで⼀般的に利⽤可能

Amazon SageMaker

https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-operators-for-kubernetes

GA

Amazon Elastic Kubernetes Service

Deep Graph Library (DGL) が SageMaker で利⽤可能

• DGL: GNNのすばやい開発・学習・評価を補助してくれる Python のオープンソースライブラリ

• PyTorch や Apache MXNetとの連携が可能• 下記のユースケースの予測モデル⽣成が可能

• ソーシャルネットワーク: ⼈同⼠の関係性を⽰すグラフ• 推薦システム: カスタマーと商品の関係性を⽰すグラフ• 化学構造解析: 化合物が原⼦やそれらの結合としてモデル

化されているグラフ• サイバーセキュリティ: ソースとデスティネーション IP

アドレスの関係性を⽰すグラフ

GA

https://aws.amazon.com/jp/blogs/news/now-available-on-amazon-sagemaker-the-deep-graph-library/

AWS Step Functions Data Science SDK

• AWS Lambda, Glue などにも対応したサーバーレスオーケストレーション• AWS Step Functions Data Science SDK が登場、Pythonで前処理〜学習〜

デプロイ〜のデータサイエンスワークフローを作成し、視覚化できます

Start EndTrain DeployFetch dataPre-process

AWS Lambda, AWS Glue Amazon SageMaker AWS Lambda (Amazon SageMaker)Amazon CloudWatch Events

(Schedule / event trigger) https://aws.amazon.com/jp/about-aws/whats-

new/2019/11/introducing-aws-step-functions-data-science-sdk-amazon-sagemaker/

NEW!

• Athena を使って SQL クエリから直接推論を呼び出し可能に• 機械学習モデルをコンソール、API、JDBCドライバからに呼

び出し可能• SageMaker で学習したモデルや Marketplace で購⼊したモ

デルを SageMaker hosting service としてデプロイ、AthenaからSQLで呼び出しが可能

• Amazon Athena の ML 機能は、バージニア北部リージョンで現在 preview

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-athena-adds-support-for-invoking-machine-learning-models-in-sql-queries/

https://docs.aws.amazon.com/athena/latest/ug/querying-mlmodel.html

Amazon Athena で SQL クエリから ML 実⾏ NEW!

Amazon Aurora Machine Learning• SQL⾔語を使⽤して、データベースに機械学習の予測機能を追加• Auroraデータベースから、Amazon SageMaker および Amazon

Comprehend へ統合• Amazon SageMaker モデルトレーニングのために、Amazon Aurora から

データを S3 にエクスポート

https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/aurora-ml.html

例）SQLでSageMakerエンドポイントにアクセスして、顧客離反予測

NEW!

SQL

マルチモデルエンドポイント(MME)が利⽤可能に

https://aws.amazon.com/blogs/machine-learning/save-on-inference-costs-by-using-amazon-sagemaker-multi-model-endpoints/

• ⼀つのエンドポイントの裏で複数のモデルを切り替えて推論コストを削減

• 学習済みモデルは S3にストアしてエンドポイントを動的に切り替え可能に

NEW!


ML フレームワークとインフラストラクチャアップデート

Inf1 インスタンス• 機械学習の推論を低レイテンシかつ安価に実現する推論⽤チップ AWS

Inferentia を搭載した Inf1 インスタンスを発表• G4インスタンスと⽐較して推論処理で最⼤3倍のスループット、最⼤

40%のコスト削減効果を期待できる• 4つのインスタンスサイズから選択でき、CPUはIntel Xeon(Cascade

Lake)を搭載。バージニアとオレゴンのリージョンで利⽤可能• 以下にも対応予定• Amazon SageMaker• Amazon ECS• Amazon EKS

Inf1ファミリ Inferentiaチップ数

vCPU メモリ(GiB)

EBS帯域(Gbps)

NW帯域(Gbps)

inf1.xlarge 1 4 8 Max 3.5 Max 25

inf1.2xlarge 1 8 16 Max 3.5 Max 25

inf1.6xlarge 4 24 48 3.5 25

inf1.24xlarge 16 96 192 14 100

GA

https://aws.amazon.com/blogs/aws/amazon-ec2-update-inf1-instances-with-aws-inferentia-chips-for-high-performance-cost-effective-inferencing/

AWS Inferentia• AWSによる独⾃設計推論プロセッサ• 4 Neuronコア / チップ• チップ当たり最⼤128 TOPS (2,000 TOPS @24xlarge)• 2ステージメモリハイアラーキー• - ⼤容量オンチップキャッシュとDRAMメモリ• FP16, BF16, INT8 データタイプをサポート

• FP32で構築された学習モデルをBF16で実⾏可能

• ⾼速チップ間通信をサポート• Neuronコア間、プロセッサ間をパイプラインモードで接続することにより、⼤規

模モデルを各オンチップキャッシュメモリ上に展開し、⾼スループット、低レイテンシを実現

TPB 5

TPB 6

TPB 8

TPB 7

Memory Memory

Memory Memory

NeuronEngine

NeuronEngine

NeuronEngine

Inferentia

Neuron Core

cache

Memory

Neuron Core

cache

Memory

Neuron Core

cache

Memory

Neuron Core

cache

Memory

AWS Neuron SDK

https://aws.amazon.com/machine-learning/neuron/

• Amazon EC2 Inf1 インスタンス向けのコンパイラ• TensorFlow, MXNet, PyTorch に統合• コンパイラ、ランタイム、プロファイリング、デバックツールから構成• モデルをNeuronで実⾏可能なファイル形式（NEFFファイル）に最適化

されたバイナリ形式にコンパイルする• DLAMI versions 26.0 以降で利⽤可能• DL container にも対応予定

GA

Amazon SageMaker update まとめ


Amazon Braket / Amazon Quantum Solutions LabShoko Utsunomiya

A W S r e : I n v e n t 2 0 1 9 r e : c a p | A I / M L

Machine Learning Solutions ArchitectAmazon Web Service Japan K.K.

Amazon Braket ~�量⼦コンピュータのマネージドサービス~• 独⾃の量⼦アルゴリズムをゼロから設計、または事前に構築された⼀連のアルゴリズムから選択• フルマネージドなシミュレーションサービスで、実装のトラブルシューティングと検証を⽀援

https://aws.amazon.com/jp/braket/https://aws.amazon.com/jp/blogs/news/amazon-braket-get-started-with-quantum-computing/

Amazon�Braket (preview) ~�量⼦コンピュータのマネージドサービス~

AWSから量⼦コンピュータ実機へのアクセスが可能に• ゲートベース量⼦コンピュータ

• Rigetti :�超伝導量⼦ビット (The Rigetti 16Q Aspen-4)

• IonQ :�イオントラップ量⼦ビット (IonQ linear�trap)

• 量⼦アニーリング• D-Wave�:�超伝導量⼦ビット（D-Wave�2000Q）

• 量⼦ビットと量⼦回路を体験するAmazon�Braket SDK�を提供• Notebook�インターフェースで、簡単にBraket にアクセス• 量⼦回路のシミュレーション環境下で回路設計を⾏い、実際の量⼦デバイスの上で別途量⼦計算を実⾏する

Amazon�Braket SDK

デバイスの開発・構築実⾏は⾮常に⾼度な技術を必要とする上、運⽤も⾼コスト。クラウドベースのオンデマンドに適している。

https://aws.amazon.com/braket/hardware-providers/

https://aws.amazon.com/braket/hardware-providers/

Rigetti Computing�:汎⽤ゲート型超伝導量⼦ビット

• 超伝導量⼦ビットに基づく汎⽤ゲートモデルの量⼦マシン• Aspenシリーズチップ:�• 固定量⼦周波数と可変超伝導量⼦ビットによる構成による精度、スケール、速度の強⼒な組み合わせ

• 8⾓形グラフ接続で量⼦ビット接続性は3倍• Aspen-7の平均ゲートフィデリティは97.2%• ２量⼦ビットエンタングルゲート:��CZゲート

Rigetti 32Q Aspen-7Avg. Time Duration

(μs)T1 Lifetime 41T2 Lifetime 35Single qubit gate operation 0.080

Two qubit gate operation 0.34

Readout operation 1.3Register reset operation 10

Rigetti 32Q Aspen-7 Avg. Fidelity (per op.)

Single-qubit gates 98.7 %Two-qubit gates 95.2 %SPAM 96.4 %Geometric mean op. 97.2 %

The Rigetti 16Q Aspen-4 https://aws.amazon.com/braket/hardware-providers/#Rigetti

Rigetti Aspen�シリーズチップ:�スケーラブルな回路トポロジ。base-8でラベル付けされたグラフ構造の量⼦ビット間接続

AWS�量⼦コンピューティングセンターを設⽴

Amazon�Quantum�Solutions�Lab

• カリフォルニア⼯科⼤学（Caltech）に隣接する量⼦研究センター• 世界をリードする量⼦コンピューティングの研究者とエンジニアを集めて、量⼦コンピューティングハードウェアとソフトウェアの開発を加速します

• AWSの顧客をAmazonの量⼦コンピューティングエキスパートと⾮常に厳選されたコンサルティングパートナーと結びつける新しいプログラム

• 計算化学、機械学習、最適化など、さまざまな専⾨分野を持つ企業と提携• 量⼦コンピューティングの専⾨家が、顧客のビジネスにとって最も有望な近い将来の量⼦コンピューティングソリューションを調査し、発⾒します

パートナー例）1Qbit:�カナダのスタートアップ。量⼦コンピューティングハードウェア⽤の汎⽤アルゴリズムを開発。計算ファイナンス、量⼦化学、材料科学、⽣命科学に焦点をあて、ユニバーサル量⼦計算、⾼度AI、量⼦アニーリングのソリューションを構築

https://aws.amazon.com/quantum-solutions-lab/

aws re:invent2019 re:cap| ai/ml amazon sagemaker update · くれるpython...

Documents