HPE HPC & AIフォーラム 2019

~ HP-CAST Japan ~

日本ヒューレット・パッカード株式会社ハイブリッド IT 事業統括 クラウドプラットフォーム統括本部ミッションクリティカルソリューション部藤川 智博

ついに見えてきたメモリ主導型コンピューティングの「カタチ」！

チップセットからエクサスケール・スパコンまでHPEの製品戦略

The Machine プロジェクトのマイルストーンメモリ主導型コンピューティングの実現に向けた活動

2016年11月

メモリ主導型コンピューティングのプロトタイプ稼働成功

2017年

2017年11月

DZNEが100倍高速で結果を取得– The Machineユーザーグループ: 600人以上のユーザー数

– IEEE Rebooting Computingの取り組みでのリーダーシップの継続

2017年1月～3月

The Machineプロトタイプのスケールアップ

2017年6月

エクサスケールコンピューティングDoE PathForward賞

2017年

メモリ主導型コンピューティングの原理をHPEポートフォリオ全体に採用– 「シリコンレベルの信頼性

(Silicon Root of Trust)」技術を採用したHPE ProLiant Gen 10サーバー

– HPE Persistent Memory– HPE Superdome Flex

2018年1月

Gen-Zの主要なマイルストーン– 仕様1.0のリリース– 52社以上のコンソーシアムメンバー

2018年4月

Catalyst UKプログラム– ARMとの提携によるHPE Apollo

70 HPC

– 英国の大学3校、ARM、Cavium、SuSEとのパートナーシップ

Vanguard Astra Apollo 70 HPC 世界最大規模のARMスーパーコンピューター

2016年 2018年

2017年6月

DZNEと初のコラボレーションを発表

2017年5月

世界最大規模のシングルメモリコンピューターシステムを発表– 160TBの共有メモリを搭載した

The Machineプロトタイプ– 1280 ARMコア

2019年

2019年6月

メモリ主導型コンピューティング開発キットをアナウンス

2018年6月

メモリ主導型コンピューティング・サンドボックス

– 48TB の共有メモリ

サンドボックスでJungla稼働

– 遺伝子研究を加速

メモリ主導型コンピューティングとは？

2

現在のコンピューター・アーキテクチャーの問題点

3

CPUソケットあたりのコア数

コアあたりのキャッシュ容量

コアあたりのメモリ容量

コアあたりの I/O帯域幅

コアあたりのメモリ帯域幅

利用可能なメモリと I/O帯域幅に対してCPUコア数が急速に増加

0

1

2

3

4

5

6

7

8

2012 2013 2014 2015 2016 2017 2018 2019

一般的なサーバー・プロセッサの

最近の傾向（2012年を基準に）

Cores Pins DDR Channels PCIe Lanes

>4000 ピン数

8 DDR チャンネル

64+ PCIeレーン数

64+ コア数

パーシステント・メモリは救世主か？

メモリ・アクセス (バイト単位) ブロック・アクセス (豊富なデータサービス)

不揮発性（パーシステント）揮発性

Processor 1 ns

SRAM/Cache5 ns

Persistent Memory100’s – 1000’s ns

これで問題解決？

Hard Disk10,000,000 ns

Tape40,000,000 ns

DRAM100 ns

Flash10,000 ns

2019年、Intel社より OPTANE DCパーシステント・メモリ販売開始！

4

パーシステント・メモリは素晴らしい、が接続方法に問題あり

5

パーシステント・メモリは PCIe スロットかDDR DIMM スロットに接続・・・

• サーバー内にしか設置できない

‒ 複数のサーバーでの共有が困難

• 最大搭載数はスロット数により制限

‒ スロットに空きがない場合は CPU の増設が必要

• 接続はシングル・リンクのみ

‒ マルチパスができないので性能や可用性に制限

現在の一般的な x86 サーバー

それでも共有はできる？ ネットワーク / ファブリックにも問題あり

6

• 多すぎるプロトコル• 用途別に異なるプロトコルを併用• システムが複雑に• コストも増加

• メモリ・アクセスに最適なファブリックがない• バイト単位でアクセスできない• CPU ロード・ストアをサポートしていない

• データの共有には複雑なプロトコル変換が必要• レイテンシーの増加• 帯域幅の減少• コスト増加• 消費電力増加

DR

AM

PM

DR

AM

PM

DR

AM

PM

DR

AM

PM

Server Server Server ServerServer Server Server ServerServer Server Server ServerServer Server Server ServerServer Server Server ServerServer Server Server ServerServer Server Server Server

Ethernet

SAS

PM ・・・ Persistent Memory

メモリ主導型コンピューティング

HPE が開発する次世代コンピューター・アーキテクチャー

既存のプロセッサ主導型から、メモリ主導型コンピューティングへ

8

メモリ

メモリ

メモリ

メモリ

CPU

SoC

SoC

SoC

GPU

AS

IC

Quantum

RIS

CV メモリ

プロセッサとメモリは で接続

新しいインターコネクト技術 Gen-Z とは？

9

DR

AM

PM

コンピュータ アクセラレータ

メモリ・ストレージ I/O

Gen-Z: オープンな新しいインターコネクト・プロトコル

FPGACPU GPUGPU

ネットワーク

ストレージDRAM PM DRAM

CPU

DR

AM

Dedicated or Shared Fabric-attached Memory

PM

PM

直接接続、またはファブリック接続

https://genzconsortium.org/

メモリに最適化された広帯域、低レイテンシー

ハードウェア主導のマルチリンク・マルチパス

IoTからエクサスケールまで

オプティカル・インターコネクトをサポート

業界で幅広くサポートされたオープンなコンソーシアム（68）

System OEM

Cisco

Cray

Dell EMC

Liqid

H3C

Hitachi

HP

HPE

Huawei

Lenovo

NetApp

Node Haven

Nokia

Yadro

CPU/Accel

AMD

Arm

IBM

Qualcomm

Xilinx

Mem/Storage

Everspin

Micron

Samsung

Seagate

SK Hynix

Smart Modular

Spintransfer

Kingston Tech

Toshiba

WD

Silicon

Broadcom

IDT

Marvell

Mellanox

Microsemi

Sony Semi

IP

Avery

Cadence

Intelliprop

Mentor

Mobiveil

PLDA

Synopsis

Connect

3M

Aces

AMP

FIT

Genesis Contect

Jess Link

Lotes

Luxshare

Molex

Samtec

Senko

TE

Software

Redhat

VMware

Govt/Univ

ETRI

IIT Madras

Oak Ridge

Simula

UNH

Yonsei U

Technology

Service Provider

Google

Microsoft

Node Haven

Eco/Test

Allion Labs

Keysight

Teledyne LeCroy

2019年8月現在

Gen-Z 開発関連製品を続々リリース

12

初の Gen-Z規格対応アナライザ/ジャマーSummit M5x

https://teledynelecroy.com/protocolanalyzer/gen-z/summit-m5x

新しい 256GB Gen-Z メモリ・モジュール ZMM

(Gen-Z Memory Module)

https://www.smartm.com/products/dram/Gen-Z_ZMM.asp

SFF-TA-1002ユニバーサル・コネクタ

高い互換性: OS の変更なしに Gen-Z をサポート

Gen-Z の論理 PCIe (LPD)機能を利用

• PCIeディスカバリで検出

標準の NVMe ドライバを使用

既存のパーシステント・メモリ対応ファイル・システムを利用

既存の NVDIMM ドライバを使用

Ethernet NIC ドライバをエミュレート

• Gen-Zで Ethernet をトンネリング

HPC MPI向けの OFI/Libfabric

ブロックストレージ パーシステント・メモリ メッセージング

13

NVMe Driver NVDIMM Driver

Gen-Z が既存のコンピューター・アーキテクチャーを大きく変革

14

現行のアーキテクチャーはCPU により制限

DDR

Ethernet

PCI

1つのCPUに接続可能なコンポーネント数を超えた場合は別のCPUが必要

メモリ主導型コンピューティング:

メモリの速度で全てのコンポーネントを組み合わせる

SATA

HPEは様々な業界標準規格の普及に尽力した歴史を持つ

15

CXL (Compute Express Link) とは？

16

• CPU とデバイス間の新しいオープンなインターコネクト• Intel社など9社が共同で 2019年3月に発表• 一般的な PCIe物理層の上で流れる新しいプロトコル• 最初の CXLは PCIe 5.0で登場予定

www.ComputeExpressLink.org

CXL設立プロモーター

PCIe 5.0

スロット

CXL と Gen-Z のカバー領域

17

低レイテンシー・メッセージング

ノード内のメモリやアクセラレータ

ラック・スケールのコンポーザブル・インフラ

メモリ主導型コンピューティング

ブリッジ

お互いオープンな規格なのでコラボレーションも可能！

ノード内接続 ノード外接続

メモリ主導型コンピューティングの製品化戦略

18

HPEが計画する Gen-Z製品

エクサスケール・スーパーコンピューター

19

https://www.exascaleproject.org/

PathForward プログラムX

3 Organizations Jointly Delivering Technology Over 3 Years

技術の破壊的シフトを促進

シリコン・フォトニクスの設計と製造

Gen-Z チップセットの開発

Gen-Z オプティカル・インターコネクトの開発

Gen-Z ファブリックに接続されるメディア・デバイスの開発

なぜオプティカル・インターコネクト？

20

管理が大変・・・

エレガント！

もしこれら多くのケーブルを・・・ 1本の光ケーブルに置き換えることができたら？

ファブリック

フォトニクス接続で「距離をなくす」ことにより、数キロメートル以上の距離でもメモリ速度の通信を実現

Gen-Z とオプティクス・インターコネクトが切り開く広大な拡張性

21

4,096ヨタバイト

292バイト

メモリ空間:

デバイス1,600万台

224アドレス

ファブリックサイズ:

エクサスケール・コンピューター1,600台

270FLOPs

処理能力:

HPEは Gen-Z を核として PathForward システムを構築

メモリ主導型コンピューティング・サンドボックス、米国にて稼働開始

22

• 初の商用製品を使ったメモリ主導型コンピューティングの検証環境

• HPE Superdome Flex上に The Machine ソフトウェアを実装

• 先進的な顧客・パートナーが非常に大きなワークロードの稼働実験を実施中

メモリ主導型コンピューティング・サンドボックスMemory-Driven Computing Sandbox

サンドボックスの仕様• 2 ラック• 16 シャーシ• 64 CPU ソケット、2,304 CPU コア• 48 TB メモリ• ソフトウェア定義スケーラブル・メモリ

• 計算ノードとメモリ・ノードの分離• インターコネクト

• NUMAlink（高速・低レイテンシー）

業界最高の信頼性99.999%の高可用性を実現

業界最大の拡張性最大32ソケット/896コア/48TB DRAM

スモールスタートモジュラー型で5Uから導入可能

第2世代 Superdome Flex 絶賛販売中Intel Xeon スケーラブルプロセッサ Cascade Lake を搭載

23

HPC

Artificial Intelligence

パーシステント・メモリのサポートにより史上最強のメモリマシンに

24

5U, 4 ソケットシャーシ

シングルシステムとして、最大 8 シャーシ、32 ソケットまでスケールアップ拡張が可能

512GB Persistent Memory

最大搭載可能メモリ合計

120 TB*

128GB DDR4 Memory

最大 192 枚 最大 192 枚

＋

• Intel Xeonスケーラブルプロセッサの仕様により シングルシステム（パーティション）の最大搭載可能メモリは 64 TB です。また実際にサポートされる容量は利用するOS/ハイパーバイザーに依存します。

メモリソケット 48枚 メモリソケット 384枚

まとめ

25

まとめ

–メモリ主導型コンピューティングの開発は順調に推移

– Intel 社から初の DIMM 型不揮発性メモリ Optane DCパーシステント・メモリの製品出荷開始

– 新インターコネクト技術 Gen-Z に新たに Microsoft や Hitachiが参加、メンバー数は 70社近くに

– Gen-Z 開発関連製品（プロトコル・アナライザ、メモリ・モジュールなど）が続々と販売開始

– CPU とデバイス間の新しいインターコネクト技術 CXL発表、Gen-Z と容易な相互接続が可能に

26

–メモリ主導型コンピューティングがいよいよ製品化へ

– HPEが Gen-Z チップセットとオプティカル・モジュールを開発

– エクサスケールを実現する HPE の次世代スーパーコンピューターに Gen-Z を導入

– メモリ主導型コンピューティング開発キットを発表、来年提供開始

– 第二世代 Superdome Flex でパーシステント・メモリをサポート、最強のメモリ・マシンとして絶賛販売中

Thank you