エヌビディアのディープラーニング戦略 tesla p100 & nvidia dgx-1

エヌビディア合同会社 マーケティング本部部長 林憲一

エヌビディアのディープラーニング戦略TESLA P100 & NVIDIA DGX-1

人工知能にとって驚くべき一年

AlphaGo世界チャンピオンを倒す

マイクロソフトとグーグルが画像認識で人間を超える

マイクロソフトスーパーディープネットワーク

バークレーのブレット全てのロボットを

一つのネットワークで

Deep Speech 2二つの言語を

一つのネットワークで

新コンピューティングモデルがポップカルチャーにも

拡がり続けるモダンAIの地平

1000以上のAIベンチャー

5000億円調達

ディープラーニングは新しいコンピューティングモデル

ディープラーニングによる物体認識DNN + データ + HPC

従来からのコンピュータービジョン専門家 + 時間

ディープラーニングが人間を超える成果を達成

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

2009 2010 2011 2012 2013 2014 2015 2016

Traditional CV

Deep Learning

ImageNet

エヌビディア ディープラーニング プラットフォーム

コンピュータ ビジョン 会話と音 振る舞い

Object Detection Voice Recognition TranslationRecommendation

EnginesSentiment Analysis

cuDNN cuBLAS cuSPARSE

NCCL

cuFFT

Mocha.jl

Image Classification

ディープラーニングSDK

フレームワーク

アプリケーション

GPU プラットフォーム

クラウド GPU

Tesla P100

TeslaK80/M40/M4

Jetson TX1

サーバー

DGX-1

GIE

DRIVEPX2

ディープラーニング 数学ライブラリ マルチ GPU 間通信

GPU コンピューティング 10年の歩み

2006 2008 2012 20162010 2014

Fermi: 世界初のHPC 用 GPU

オークリッジ国立研究所の世界最速GPUスーパーコンピュータ

世界初のHIVカプシドの原子モデルシミュレーション

GPU AIシステムが碁の世界チャンピオンを破る

スタンフォード大学がGPUを利用したAIマシンを構築

世界初のヒトゲノムの3次元マッピング

CUDA 発表

世界初の GPU Top500 システム

Google がImageNetで人間を超える

H1N1 の異変の仕組みを解明

GPU を利用したAlexNetが圧勝

倍精度 5.3TF | 単精度 10.6TF | 半精度 21.2TF

TESLA P100ハイパースケールデータセンターのための世界で最も先進的な GPU

TESLA P100 の先進テクノロジー

16nm FinFETPascal アーキテクチャ HBM2 積層メモリ NVLink システムインターコネクト

あらゆる面で大きな飛躍

3倍のメモリバンド幅3倍の演算性能 5倍のGPU間通信速度

Tera

flops

(FP32/FP16)

5

10

15

20

K40

P100

(FP32)

P100

(FP16)

M40

K40

Bandw

idth

(G

B/Sec)

40

80

120

160 P100

M40

K40

Bandw

idth

1x

2x

3xP100

M40

TESLA P100 for PCIe-based Servers世界最先端のデータセンターアクセラレータ

TESLA P100 アクセラレータ

Tesla P100 for NVLink-enabled Servers

Tesla P100 for PCIe-Based Servers

倍精度 5.3 TF

単精度 10.6 TF

半精度 21.2 TF

メモリ容量 16 GB

メモリバンド幅 720 GB/S

倍精度 4.7 TF

単精度 9.3 TF

半精度 18.7 TF

Config 1: メモリ容量 16 GB

メモリバンド幅 720 GB/S

Config 2: メモリ容量 12 GB

メモリバンド幅 540 GB/S

ディープラーニングに最適化

8基の Tesla P100

NVLink システムインターコネクト

半精度 170 テラフロップス

主要AIフレームワークを加速

NVIDIA DGX-1世界初のディープラーニング用スーパーコンピュータ

K40 K80 + cuDNN1

M40 + cuDNN4

P100 + cuDNN5

0x

10x

20x

30x

40x

50x

60x

70x

ディープラーニングの

イノベーションを

急速に加速

AlexNet training throughput based on 20 iterations, CPU: 1x E5-2680v3 12 Core 2.5GHz. 128GB System Memory, Ubuntu 14.04

M40 bar: 8x M40 GPUs in a nodeP100: 8x P100 NVLink-enabled

ディープラーニング トレーニング パフォーマンスCaffe AlexNet

2013 2014 2015 2016

Speed-u

p o

f Im

ages/

Sec v

s K40 in 2

013

日本での販売NVIDIA DGX-1: 世界初のディープラーニング用スーパーコンピュータ

http://www.nvidia.co.jp/DGX1

エヌビディア合同会社 マーケティング本部エンタープライズ マーケティング マネージャー 佐々木邦暢

16

NVIDIA DGX-1 ソフトウェアスタックディープラーニング性能に最適化

ディープラーニングトレーニングの加速

cuDNN NCCL

cuSPARSE cuBLAS cuFFT

コンテナを利用したアプリケーション

NVIDIA クラウドマネジメント

DIGITSディープラーニングフレームワーク

GPU アプリ

研究・開発 適用・管理パッケージング・

テスト

17

NVIDIA DGX-1 ソフトウェアスタックディープラーニング性能に最適化

NVIDIA DGX-1

NVIDIA cuDNN と NCCL

NVDocker

NVIDIA GPU ドライバ

GPU に最適化された Linux

クラウド マネジメント• コンテナの作成と展開

• 複数ノードDGX-1クラスターの管理

• ジョブスケジューラー

• アプリケーションのリポジトリ

• システムのパフォーマンス監視

• ソフトウェアの更新機構

NVIDIA

DIGITS

GPU 最適化ディープラーニングフレームワーク

18

統合されたプラットフォームとしてのDGX-1柔軟性、パフォーマンス、スケーラビリティ

クラウドを活用

DGX-1

計算ノード

DGX-1

クラウドサービス

DGX-1

アプリケーションリポジトリ

DGX-1のソフトウェアは常に進化を続けます

ノードには最小限のソフトウェア

すべてのジョブをコンテナで実行

変更に強い柔軟なシステム

NVIDIA が最適化したアプリケーション群

常に最新のアプリケーションを追加

パブリック及びプライベート、2種類のリポジトリ

ジョブスケジューリング

パフォーマンス監視

ノードの管理

ワークロードの分析

サービスとしての API

19

コンテナのスケジューリングアプリケーションコンテナを DGX-1で起動

NVCaffe

コンテナ

Mesos

compute.nvidia.com

DIGITSDL SDKTheanoTorchNVCaffeTensorFlowCNTKKaldiChainerMXNet…

NVIDIA リポジトリ NVCaffe

コンテナ

NVCaffe

コンテナ

DGX-1

自前のアプリ 1自前のアプリ 2…

プライベートリポジトリ

NFSボリューム

20

オンプレミス

DGX-1でのコンテナ起動の流れ管理はクラウドベース ・ データはオンプレミスに

Web ブラウザ

ノードの管理

ユーザー認証

Docker イメージのプッシュ・プル

ジョブスケジューラーのWeb 画面

ハードウェア・ソフトウェアのメトリクス

アプリケーションの全データ

NFSストレージ

対話的にアプリケーションを利用

compute.nvidia.com 1. ユーザーがジョブを投入

3. ユーザーがアプリケーションを

利用

DGX-1