star-ccm+ の大規模並列化仕様とクラウドライセ...

STAR-CCM+ の大規模並列化仕様とクラウドライセンス(PoD) ソリューション

株式会社CD-adapco 吉田稔彦

ソフトウエア側の対応機能

– クライアント – サーバアーキテクチャ（リリース当初からの設計仕様）

– 区分化(Partitioning) 機能の実装 (V8.04)

– パフォーマンス改善 (V8.02, V8.04)

– パラレルトリマーの実装 (V8.06)

ライセンス種別による対応

– hpcdomain オプション（Partitioning 数に応じたライセンス）

– PowerSession オプション（並列無制限ライセンス）

クラウド側のハードウエア利用

– Power of Demand ライセンス（必要な計算時間での課金システム）

大規模モデルと STAR-CCM+

© CD-adapco 20131

クライアントプロセス-サーバプロセス

STAR-CCM+ は開発当初から

GUI 操作などを行うクライアントプロセスと

CFD の実態処理を行うサーバプロセスが分離された設計となっています。

ユーザのプラットフォーム環境に応じた最適パフォーマンスを提供します。

STAR-CCM+ クライアント・サーバアーキテクチャ

© CD-adapco 20132

新規作成、読み込み画面から並列数を簡単に指定

物理連続体ごとの領域分割

（Continuum-Wide Partitioning）

– 並列計算時に物理連続体ベースで領域分割をするオプション機能（従来は領域ベース）

– 並列計算効率が改善

– 従来の手法で並列効率が著しく悪くなっていた大きな解析領域中に小さな領域があるようなケースを解決

V8.04 から実装された区分化機能

© CD-adapco 20133別領域だが、同じ物理連続体

新しい領域分割12並列従来の領域分割

対象となる解析事例複数領域のある解析車両熱害解析など

計算実行中に自動、且つ計算結果依存した再パーティション分割実行機能を搭載

計算速度（並列性能）パフォーマンスを大幅に改善

ラグランジェ/DEM ロードバランスの改善(V8.02)

© CD-adapco 20134

0

5

10

15

20

25

30

35

40

45

50

0 8 16 24 32 40 48 56 64 72 80 88 96 104 112 120 128

Elap

sed

tim

e p

er

ste

p [

s]

Cores

With Load Balancing

Without Load Balancing

対象となる解析事例 SCR デバイススプレードライヤ化学反応スプレー

2.5倍以上の計算速度改善を達成

不連続メッシュのインターフェース生成の時間短縮

定常 & 非定常解析

最大２倍のスピードアップ

直接インターフェイス生成の改善 (V8.04)

© CD-adapco 20135

対象となる解析事例移動メッシュケース回転翼機ファン自動車熱害

STAR-CCM+1000万セル非定常軸流ファン解析

インターフェース x2 – 149k & 228k フェース各時間ステップあたりの所要計算時間

1700万セル非定常ヘリコプター解析インターフェース x1 – 560k フェース各時間ステップあたりの所要計算時間

v8.02 21.91s 5,98s

v8.04 11.39s 2.72s

トリムメッシュの並列化処理機能を実装

– 最大で３倍のスピードアップ

– シリアルメッシングと同等のメッシュサイズ、メッシュ品質を再現できるよう設計

– 100万cell を下回ると予想された区分は自動的にシリアル処理

– ロードバランスを意識した均等区分化設計

パラレルトリマーの実装 (V8.06)

© CD-adapco 20136

Image courtesy of Daimler A.G.

STAR-CCM+のパフォーマンスは開発サイクルを通しモニターされます

– 毎日17ケースのテストデータが実行されます

• パラレルとシングルコアのパフォーマンスがチェックされます

• 実行環境

– Linux と Windows 64bit ワークステーション

–最大192コアのLinux クラスタ

– 24 コア Windows server 2008 R2 クラスタ

– 毎月そして、主要な開発マイルストーン時に9ケースの大規模テストデータが実行されます

• Linux 64 bit クラスタ上での最大1152コアでのパフォーマンステスト

– 必要に応じて、追加のテストが上記以外にも実行される可能性があります

• 特定の開発のテスト、パートナーであるハードウェアベンダーのクラスタ上にて

STAR-CCM+ パフォーマンステスト

すべてのテストの実行環境は：

– 64bit Scientific Linuxで実行される64 ブレードクラスタ

– 各ブレード

• 2 Intel E5-2680 2.70 GHz ８コアCPU

• 32 GB 物理メモリ

– Mellanox QDR Infiniband 相互接続

– Panassas パラレルファイルシステム

実行環境

– 使用可能なパラレル I/O

– MPI CPU 親和性を有効化

– 前もって40イタレーションの助走計算

– パフォーマンスは20イタレーション以上の平均経過時間を基に計測

実行環境

車両のアンダーフード冷却解析– 4千6百万トリムメッシュ

• 7 Region（76万セル～ 4 千万セル）

– 分離型ソルバ

– 物理連続体毎の並列区分化設定のテスト

データセット：車両アンダーフード

極超音速の抗力 Polar

– 640万セルのポリヘドラルメッシュ

– 連成型解法

データセット： HL-20 MACH 10

0

1

2

3

4

5

6

7

8

10245122561286432

イタレーション毎の経過時間

8.06

8.04

複数領域のターボチャージャ CHT


– 分離型解法

データセット：ターボチャージャ

0

200

400

600

800

1000

1200

1400

0 144 288 432 576 720 864 1008 1152

パラレル効率Ideal speedup

8.02

8.04

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

10245122561286432


8.06

8.04

内部流れ


– 分離型解法

データセット：原子炉

0

1

2

3

4

5

6

10245122561286432


8.06

8.04

外部空力

– 2000万セルのトリムメッシュ

– 連成型解法

データセット：民間定期航空機

0

1

2

3

4

5

6

7

8

102451225612864


8.06

8.04

外部空力


– 分離型解法

データセット：ルマン車両

0

1

2

3

4

5

6

7

8

9

10

10245122561286432


8.06

8.04

外部空力

– 1億4百万セルのトリムメッシュ

– 分離型解法

データセット：ルマン車両

hpcdomain ライセンス

契約並列数に応じた計算利用可ライセンスファイル内に hpcdomain フィーチャが明記

※ccmpsuite フィーチャ（通常の STAR-CCM+ 起動ライセンス）の数だけ指定並列数が使用できます。

hpcdomain オプションライセンスの特徴

契約してる Partition 数であれば

複数ジョブも利用可能。

例： hpcdomain=100 partition で

以下のようなアレンジが可能です。

100 partition を１ジョブで利用

50 partition を 2 ジョブで利用

25 partition を４ジョブで利用

・・・・・・

１ジョブ計算に対して

解析対象や、

ハードウエアの空き状況に応じて

自由に並列数を増やせます。

Power Session ライセンス

1 ジョブにつき並列数無制限利用可

ライセンスファイル内に ccmppowerフィーチャが明記

Power Session オプションライセンスの特徴

4 並列

8 並列

16 並列

32 並列

・・・・並列

• 必要なときに STAR-CCM+ Power Session にアクセスできる革新的な製品ライセンスモデル

– スループットの向上

• 非常に多くのパーティションとセッション

– 柔軟性の向上

• クラスター、クラウド、ネットワークで動作（独自のクラスターを含む）

– 強力なライセンス機能

• クラウド上の CAE へのゲートウェイ

STAR-CCM+ Power-on-Demand

• 1 時間単位のリアルタイムライセンス（PoDクレジット）を購入（500 時間以上）

• PoDクレジットは 12 か月間有効

• カスタマーポータルにログインしライセンスタブを開きます

– 複数のタブが表示されます

• Account Activity、Account Usage、Manage Keys

使い方は?

• PoDクレジットの使い方

– 例

• 500 時間のPoDクレジットが利用できる場合

– 1 つの Power Session ジョブを 16 コアで 500 時間使用可能

– 5 つの Power Sessions ジョブを 128 コアで 100 時間ずつ使用可能

– 500 の Power Sessions ジョブを 64 コアで 1 時間ずつ使用可能

– お持ちのPoDクレジットをどのように分割し、使用するかはユーザー次第です

– 複数のジョブをPoDライセンスを用いて並列で実行する場合、ジョブ実行の際の合計のPoDクレジット予約時間がお持ちのPoDクレジットを超えることができないという制限があります

具体的には...

• キーは使用状況の記録に使用されます

• 1 つのキーでいくつでもジョブを開始できます

• 必要に応じてキーの作成と削除を行うことができます。キーにアクセスしている間、予約時間が使用されます

• キーには有効期間があります。この期間以外は使用できません

キー

• キーは [Manage keys] タブで作成して管理します

キーの作成と管理

• PoDクレジットの使用状況は [Account Usage] タブで確認できます。また、レポートを作成することもできます

使用状況の確認

• STAR-CCM+ を対話モードで実行すると、sim ファイルの読み込み画面から PoD セッションが開始します

• この操作を行うには、新しいセッションを開始するか、既存の sim ファイルを読み込んで関連するボックスに情報を入力します

• Power-on-Demand キーをバッチで設定するには、次のフラグを使用します

-podkey <key value>

Power-On-Demand の使用

PoDクレジットの持ち時間により、同時実行できるセッション数に制限があります

同時実行されるセッションすべてに対して、PoDクレジットの予約時間が確保されます

予約時間の合計がお持ちのPoDクレジットを超えてセッションを実行することができません

＊ 100時間のPoDクレジットをお持ちの場合

• 世界標準時で1時に計算開始：23時間分の予約時間が確保されます

• 4つのセッションを実行：92時間分の予約時間が確保されます

• PoDクレジット残は、“8”時間ですが、5つ目のセッションまで実行することが可能です

• 6つ目のセッションを起動した際に、クレジット残が“0”時間のため、実行することができません

Power-On-Demand クレジット消費に関する注意点

© CD-adapco 201328

お問い合わせ先

株式会社CD-adapco

横浜オフィス

Tel: 045-475-3285 Fax: 045-475-3295

横浜市港北区新横浜2-3-12 新横浜スクエアビル 16F

大阪オフィス

Tel: 06-4807-7840 Fax: 06-4807-7845

大阪市淀川区宮原1-6-1 新大阪ブリックビル 9F

E-mail

[email protected]

Your CAE Partner for Success

www.cd-adapco.com/ja

star-ccm+ の大規模並列化仕様と クラウドライセ...

Documents

star-ccm+ の大規模並列化仕様とクラウドライセ...