jetson agx xavier for autonomous machinesnsight developer tools tensorrt cudnn visionworks opencv...

27
JETSON AGX XAVIER FOR AUTONOMOUS MACHINES

Upload: others

Post on 13-Jun-2020

13 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

JETSON AGX XAVIERFOR AUTONOMOUS MACHINES

Page 2: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

2

Jetson Overview

Page 3: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

3

GPU コンピューティングの隆盛

ディープラーニングの「ビッグバン」

1980 1990 2000 2010 2020

GPUコンピューティング性能;1.5 倍/年

2025年までに1000倍

Original data up to the year 2010 collected and plotted by M. Horowitz,

F. Labonte, O. Shacham, K. Olukotun, L. Hammond, and C. Batten New plot and data collected for 2010-2015 by K. Rupp

102

103

104

105

106

107

シングルスレッド性能

1.5X 倍/年

1.1倍/年

マイクロプロセッサーの40年の動向データ

Page 4: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

4

NVIDIA : 世界最大のAIプラットフォーム

単一アーキテクチャ - CUDA

Page 5: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

5

AI – エッジからクラウドまで

JETSON TESLA DGX

TENSORRT DEEPSTREAM JETPACK NVIDIA GPU CLOUD DIGITS

エッジ/ゲートウェイデバイス サーバー

クラウド学習と推論

エッジ と オンプレミス推論

Page 6: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

6

Jetson の驚異的な成長ペース

50+エコシステムパートナー

K

50K

100K

150K

2015 2016 2017 2018

Jetson デベロッパー

150K+デベロッパー

1500+カスタマー

1M+販売ユニット数

Page 7: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

7

膨大な数の自律動作マシーン

産業ロボット 航空/防衛 ヘルスケア 建築 農業 スマートシティ

検査 サービス小売り 物流 在庫管理 配達

Page 8: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

8

Page 9: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

9

Jetson AGX Xavier 概説

Page 10: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

10

例 – AI デリバリー

センサーフュージョン

障害物検知

トラッキング

自己位置推定

マッピング

経路探索 制御

HMI

合計 : ~20 TOPS

Page 11: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

11

例 – ビデオ解析

典型的なアプリケーション: 30+ TOPS

Page 12: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

12

次世代の自律動作マシーン“不可能な” コンピュータ能力の飛躍

配達20 TOPS

ビデオ解析30+ TOPS

AOI15 TOPS

空中からの検査20 TOPS

Page 13: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

13

Jetson AGX Xavier自律動作マシーン向けの世界初の AI コンピューター

AI サーバー級の性能を 30W 15W 10Wで

512 Volta CUDA コア 2x NVDLAエンジン

8 コア CPU

32 DL TOPS

Page 14: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

14

Jetson AGX Xavier

JETSON TX2 JETSON AGX XAVIER

GPU 256 Core Pascal 512 Core Volta

DL アクセラレーター - NVDLA x 2

Vision アクセラレーター - VLA – 7 way VLIW Processor

CPU6 core Denver and A57

CPUs8 core Carmel CPUs

メモリ8 GB 128 bit LPDDR4

58.4 GB/s

16 GB 256 bit LPDDR4x

137 GB/s

ストレージ 32 GB eMMC 32 GB eMMC

エンコーダー2x 4K @30

HEVC

2x 4K @ 60 / 4x 4K @30

HEVC

デコーダー2x 4K @30

12 bit support

2x 8K @ 30 / 8x 4K @30

12 bit support

カメラUp to 6 cameras

CSI2 D-PHY 1.2

2.5Gbps/lane

Up to 8 cameras

CSI2 D-PHY 1.2 2.5 Gbps/lane

寸法50mm x 87mm

400 pin connector

100mm x 87mm

699 pin connector

New!

+2

x4

x2

x2

New!

New!

New!

Page 15: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

15

Jetson AGX Xavier20x performance in 18 months

55

112

JetsonTX2

JetsonXavier

1.3

11

JetsonTX2

JetsonXavier

1.3

32

Jetson TX2 Jetson Xavier

24x DL / AI 8x CUDA 2x CPU

58

137

JetsonTX2

JetsonXavier

2.4x DRAM BW

2

8

JetsonTX2

JetsonXavier

4x CODEC

TO

PS TFLO

PS (

FP16)

Cum

. D

MIP

S

GB/s

4K E

ncode a

nd D

ecode

Page 16: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

16

Intel Core i7 Skylake + GTX 1070

150 W

28 TOPS

4000 cm3

コンシューマ・グレード

$1100

自律動作マシーンプロトタイプ

Page 17: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

17

1 Jetson AGX Xavier

30 W

32 TOPS

600 cm3

業務用グレード

$1799

JETSON AGX XAVIER 製品化プラットフォーム

Page 18: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

18NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

JetPack SDK

FOR AI AT THE EDGE

Jetson SDK 概観

Jetson AGX Xavier

DeepStream SDK

ビデオ解析 (IVA)

Isaac SDK

ロボティクス

Page 19: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

19

Jetpack SDK – 全ての AI at the Edge アプリ用

サンプルコード

ディープラーニング

CUDA, Linux4Tegra, ROS

Multimedia API

メディアコンピューター・ビジョン グラフィックス

Nsight Developer Tools

TensorRT

cuDNN

VisionWorks

OpenCV

Vulkan

OpenGL

libargus

Video API

Jetson AGX Xavier

Page 20: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

25

Jetson デベロッパーサイト

JetPack、Isaac SDK 等のダウンロード

開発ツール

設計用ファイル・ドキュメント

フォーラム

教育コンテンツ・チュートリアル

エコシステム

アイデアから製品までのEnd-to-end 開発

developer.nvidia.com/jetson

Page 21: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

27

Jetson AGX Xavier 開発キット

28万5000円 (小売価格)

20万5900円 (qty. 10+)

14万9800円 (「NVIDIA 開発者プログラム」 登録者価格)

Page 22: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

28

Jetson SDK

Page 23: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

29

Jetpack SDK – 全ての AI at the Edge アプリ用

サンプルコード

ディープラーニング

CUDA, Linux4Tegra, ROS

Multimedia API

メディアコンピューター・ビジョン グラフィックス

Nsight Developer Tools

TensorRT

cuDNN

VisionWorks

OpenCV

Vulkan

OpenGL

libargus

Video API

Jetson AGX Xavier

Page 24: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

30

CUDA アプリケーション エコシステム容易な導入から、特別チューニングされたパフォーマンスまで

AI FrameworksApplications Libraries Directives and Languages

Page 25: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

31

NVIDIA TensorRT

DRIVE

JETSON

NVIDIA DLA

TESLA P4

TensorRT

TESLA V100Compile and Optimize Neural NetworksSupport for Every Framework

Optimize for Each Target Platform

Page 26: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム

32

TensorFlow サポート

Page 27: JETSON AGX XAVIER FOR AUTONOMOUS MACHINESNsight Developer Tools TensorRT cuDNN VisionWorks OpenCV Vulkan OpenGL libargus Video API Jetson AGX Xavier 30 CUDA アプリケーションエコシステム