z8 g4 workstationでのansys19.1 mechanical ベンチマーク ...3 © copyright 2018 hp development...

© Copyright 2018 HP Development Company, L.P.

Z8 G4 WorkstationでのANSYS19.1 Mechanicalベンチマーク結果紹介資料（フル版）

株式会社日本HPサービス・ソリューション事業本部技術本部クライアント技術部清水康輔（Workstation Technical Specialist）Sep 2018

© Copyright 2018 HP Development Company, L.P.2

システム構成Workstation : Z8 G4 WorkstationCPU : Xeon Platinum 8160 (2.1-3.7GHz, 24cores) x 2CPUメモリ : 192GB (2600MHz, 8GBx24 DIMMs)演算用グラフィックス : Quadro GV100 / GV100x2(NVLink)

Quadro GP100 / GP100x2(NVLink)表示用グラフィックス : Quadro P620ストレージ : 1TB SATA HDD (7200rpm) / 512GB Z Turbo Drive G2BIOSバージョン : v1.61OS : Windows 10 Proグラフィックスドライバー : v397.93

ソフトウェア : ANSYS Mechanical APDLANSYSバージョン : 19.1並列手法 : Distributed Memory Parallelライセンス1 : ANSYS Mechanical Enterprise x1ライセンス2 : ANSYS HPC Pack x3MPI種類 : Intel MPIMPI バージョン : 17.0.0.051GPUオプション : nvidia(on) / none(off)メモリオプション : In-core / out-of-core標準ベンチマークモデル : 10パターン

HP Z8 G4 Workstation

NVIDIA Quadro GV100（2枚、NVLink接続）


ベンチマークモデル紹介 No.1有限要素モデル詳細 GPU対応

“V19cg-1” – Power Supply Module –解析手法と概要：定常電熱線形解析、荷重ステップ数：1接点数：5,266,730、要素数：2,303,613、自由度数：5.3MDOFメモリ：トータル13GB、データベース：2,500MBソルバ：JCG（実数型、対称マトリクス）要素タイプ：高次四面体ソリッド、高次六面体ソリッド

NVIDIA

“V19cg-2” – Tractor Rear Axle –解析手法と概要：静的線形構造解析接点数：4,109,776、要素数：2,366,046、自由度数：12.3MDOFメモリ：トータル22GB、データベース：1,900MBソルバ：PCG（実数型、対称マトリクス、msave,off）要素タイプ：高次四面体ソリッド、高次六面体ソリッド

NVIDIA

“V19cg-3” – Engine Block –解析手法と概要：静的線形構造解析接点数：4,728,103、要素数：3,181,628、自由度数：14.2MDOFメモリ：トータル13GB、データベース：2,400MBソルバ：PCG（（実数型、対称マトリクス、msave,on）要素タイプ：高次四面体ソリッド

N/A


有限要素モデル詳細 GPU対応

“V19ln-1” – Gear Box –解析手法：モーダル解析、モード数：10接点数：2,588,135、要素数：1,710,122、自由度数：7.7MDOFメモリ：トータル19GB、データベース：1,300MBソルバ：PCG Lanczos（実数型、対称マトリクス、msave,off）要素タイプ：高次四面体ソリッド

NVIDIA

“V19ln-2” – Radial Impeller –解析手法：モーダル解析、周期対称性、モード数：50接点数：337,916、要素数：222,725、自由度数：2.0MDOFメモリ：トータル42GB、データベース：500MBソルバ：Subspace（実数型、対称マトリクス）

NVIDIA

“V19sp-1” – Peltier Cooling Block –解析手法：定常電熱-電気連成場非線形解析接点数：319,080、要素数：133,009、自由度数：0.6MDOFメモリ：トータル24GB、エータベース：600MBソルバ：SPARSE（実数型、非対称マトリクス）要素タイプ：高次四面体ソリッド、高次六面体ソリッド

NVIDIA

ベンチマークモデル紹介 No.2



“V19sp-2” – Semi-Submersible –解析手法：過度構造非線形解析、累積イタレーション数：11接点数：793,257、要素数：268,881、自由度数：4.7MDOFメモリ：トータル31GB、データベース：1,000MBソルバ：SPARSE（実数型、対称マトリクス）要素タイプ：高次四角形シェル、高次三角形シェル、高次ビーム

NVIDIA

“V19sp-3” – Speaker –解析手法：周波数応答解析、周波数1,000Hzのみ接点数：1,683,465、要素数：1,222,294、自由度数：1.7MDOFメモリ：トータル51GB、データベース：1,700MBソルバ：SPARSE（複素数型、対称マトリクス）要素タイプ：高次四面体ソリッド、高次六面体ソリッド

NVIDIA

“V19sp-4” – Turbine –解析手法：静的構造非線形解析、累積イタレーション数：1接点数：715,008、要素数：483,631、自由度数：3.2MDOFメモリ：トータル62GB、データベース：1,200MBソルバ：SPARSE（実数型、対称マトリクス）要素タイプ：高次四面体ソリッド

NVIDIA




“V19sp-5” – BGA –解析手法：静的構造非線形解析、累積イタレーション数：1接点数：2,004,837、要素数：1,249,417、自由度数：6.0MDOFメモリ：トータル78GB、データベース：3,000MBソルバ：SPARSE（実数型、対称マトリクス）要素タイプ：高次四面体ソリッド、高次六面体ソリッド）

NVIDIA



CPUコア並列数の効果


CPUコア並列数の効果 - 1 -内容

並列手法 Distributed Memory parallel（DMP）

MPIの種類 Intel MPI

CPUコア数パターン7パターン

2 / 4 / 8 / 16 / 24 /32 /48

ストレージ種類 1TB SATA HDD (7200rpm)

ソルバ実行時のメモリオプション In-core

ベンチマークモデル10パターン

V19cg-1 / V19cg-2 / V19cg-3 / V19ln-1 / V19ln-2 / V19sp-1 / V19sp-2 / V19sp-3 / V19sp-4 / V19sp-5


1.00

1.89

3.20

4.88 5.08 5.19

4.48

0.0

1.0

2.0

3.0

4.0

5.0

6.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

ベンチマークモデル10ケースの平均

32並列あたりでサチュレーションが発生しています

CPUコア並列数の効果 - 2 -


1.00 1.68

2.71

4.81 5.65

6.21 5.15

0.01.02.03.04.05.06.07.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19cg-1

1.00 1.75

2.77

4.30 4.43 4.86

4.44

0.0

1.0

2.0

3.0

4.0

5.0

6.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19cg-2

1.00 1.78

3.78

6.16

7.71 8.92 8.44

0.0

2.0

4.0

6.0

8.0

10.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19cg-3

1.00 2.02

3.64

6.07

7.64 7.37 6.72

0.0

2.0

4.0

6.0

8.0

10.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19ln-1



1.00 1.81

2.84

4.53 4.74 4.27

5.25

0.0

1.0

2.0

3.0

4.0

5.0

6.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19ln-2

1.00 1.61

3.05

4.77

6.10 6.64 6.80

0.0

2.0

4.0

6.0

8.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19sp-1

1.00 1.79

2.99

4.56 5.49

6.32 6.69

0.0

2.0

4.0

6.0

8.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19sp-2

1.00

2.25

3.10 2.67

1.94 1.97 1.52

0.00.51.01.52.02.53.03.5

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19sp-3



1.00 2.52

4.13

7.44 7.73

5.63 5.49

0.0

2.0

4.0

6.0

8.0

10.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19sp-4

1.00

1.99

3.39

5.59 4.79

5.34

2.45

0.0

1.0

2.0

3.0

4.0

5.0

6.0

2 4 8 16 24 32 48

速度

向上

倍率

CPUコア数

V19sp-5



GPUの効果


GPUの効果 - 1 -内容

並列手法 Distributed Memory parallel（DMP）

MPIの種類 Intel MPI

CPUコア数パターン 3パターン8 / 16 / 32

ストレージ種類 512GB Z Turbo Drive G2 (NVMe SSD)

GPU種類 4パターンGV100 x1 / GV100 x2(NVLink) / GP100 x1 / GP100 x2(NVLink)

ソルバ実行時のメモリオプション In-core

Benchmark Models 2パターンV19cg-2 / V19ln-1


1.00

1.51

1.72

1.33 1.10

0.64

1.52 1.42

0.66

1.56 1.91

2.07

1.62

2.15 2.21

0.0

0.5

1.0

1.5

2.0

2.5

8 16 32

速度

向上

倍率

CPUコア数

V19cg-2

1.00

1.66

1.90

1.34 1.31

0.62

1.47 1.32

0.64

1.52

2.06 2.08

1.38

2.20 2.25

0.0

0.5

1.0

1.5

2.0

2.5

8 16 32

速度

向上

倍率

CPUコア数

V19ln-1

CPU Only

/w GP100

/w GP100x2

/w GV100

/w GV100x2

GPUの効果 - 2 -


ストレージの比較


ストレージの比較 - 1 -Contents

並列手法 Distributed Memory parallel

MPI種類 Intel MPI

CPUコア数パターン 3パターン8 / 16 / 32

ストレージ種類4パターン

SATA HDD / Z Turbo Drive G2 (NVMe SSD) x1 / Z Turbo Drive G2 (NVMe SSD) x2(RAID0) / Z Turbo Drive G2 (NVMe SSD) x4(RAID0)

GPU種類 GV100 x1

ソルバ実行時のメモリオプション out-of-core

ベンチマークモデル 3パターンV19cg-2 / V19ln-1 / V19sp-1


1.00

1.35

1.50 1.38

1.72 1.69

1.23

1.63 1.72

1.23

1.69 1.74

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

8 16 32

速度

向上

倍率

CPUコア数

V19cg-2

1.00

1.41 1.54

1.11

1.66 1.73

1.10

1.57 1.46

1.17

1.54 1.60

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

8 16 32

Spee

dUP

Ratio

CPUコア数

V19ln-1

SATA HDD

ZTDx1

ZTDx2

ZTDx4

ストレージの比較 - 2 -


1.00 0.84

0.51

3.03

3.49

2.81

3.55

4.17

3.71 3.59

4.40

3.93

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

4.5

5.0

8 16 32

速度

向上

倍率

CPUコア数

V19sp-1

SATA HDD

ZTDx1

ZTDx2

ZTDx4

NVMe SSDは1本でもSATA HDDに比べてかなりの効果があります。更に4本でストライピングを組む

と効果がでるケースも見受けられます

ストレージの比較 - 3 -


まとめ

MPIを使った並列計算でも32並列あたりでサチュレーションを起こしやすいため、デュアルCPUで合計32コア以上あるもの、かつベースクロック周波数が高いものが望ましいと思われます。

Z8 G4は最大6チャンネルのメモリをサポートしているため、1CPUあたり6枚単位の接続にし、トータルサイズも解析規模によりますが192GB以上がオススメです。CPU Memory

StorageGPGPU

CPUに加えてGV100を使うとかなりアクセラレーション効果が期待できます。2枚でNVLinkを組んだ場合、大きな性能向上はそれほど期待できないため、GPGPUは1枚で充分と言えます。

ANSYS側で「out-of-core」設定にした場合、スクラッチ用でかなり頻繁なI/Oが発生するため、Z Turbo Drive G2（NVMe SSD）を使うと、高い性能向上が期待できます。ある意味必須のオプションと言えます。


ANSYS Mechanical用推奨ワークステーション構成＜CPU＞

・Xeon Gold 6154 （3.0GHz - 3.7GHz、18コア）×2CPU（トータル36コア）・Xeon Platinum 8160 （2.1GHz - 3.7GHz、24コア）×2CPU（トータル48コア）

＜メモリ＞

・192GB（8GBモジュール×24枚、16GBモジュール×12枚）・384GB（16GBモジュール×24枚、32GBモジュール×12枚）

※ 6チャンネルで動作させたほうが高速なため、デュアルCPU時は12枚、24枚構成のどちらかをお選びください。※ 将来的にメモリを増設される予定がある場合は、24枚構成ではなく12枚構成をお選びください。

＜ストレージ＞

・512GB HP Z Turbo G2 ドライブ(M.2接続 TLC, SSD)・1TB HP Z Turbo G2 ドライブ(M.2接続 TLC, SSD)

※ OSのスワップ領域なども考慮し、物理メモリの2倍以上の容量に加え、アプリケーションのスクラッチ領域などもご考慮ください。※ VROCモジュールを使用し、M.2 SSDでハードウェアRAIDを構成することも可能です。

＜グラフィックス（表示用）＞

・Quadro P620・Quadro P2000

※ Pre/Post処理用で大きめの3Dモデルを表示される場合は、「Quadro P2000」を選択してください。

＜グラフィックス（Solver用）＞

・Quadro GV100

※ GV100をSolverで使われる場合、nvidia-smiツールにてTCC（Tesla Compute Cluster)モードへ変更する必要があります※ GV100×2枚構成の場合は、消費電力が大幅に増加し、CPUやメモリ等の構成に制限が発生する可能性がありますので、予めHPの

Workstation担当窓口へご相談ください。



Z8 G4用推奨パフォーマンス設定


Hyper-Threading DisableNon-Uniform Memory Access (NUMA) DisableSub-NUMA Clustering DisableIsoc Mode DisableWorkload Configuration I/O-FocusedIdle Power Savings Normal with Enhanced Halt State disabled

BIOS設定

Windowsの電源プラン

「究極のパフォーマンス」（Ultimate Performance）

※Windows 10 Pro for Workstation（RS4以降）で利用可能


参考情報

HP Z8 G4 Workstationシステム構成図http://jp.ext.hp.com/lib/jp/ja/products/workstations/spec_z8g4.pdf

ANSYS and HP Z Workstationshttp://jp.ext.hp.com/workstations/isv/ansys/


Thank you

z8 g4 workstationでのansys19.1 mechanical ベンチマーク ...3 © copyright 2018 hp development...

Documents