構造解析・熱流体解析・電磁場解析・バイオメカ解析などのCAEソフトウェアを販売するCAEコンサルティング・カンパニー

English株式会社テラバイトお問合せ、資料請求はこちら

技術情報

HOME > 解析事例 > 技術情報 > PCクラスタを利用した解析例

 PCクラスタを利用した解析例

昨今、開発工期の短縮、試作コストの削減など、シミュレーションへの要求がますます高まってきております。CPUのマルチコア化、ネットワークの高速化など、実行環境も大きな転換期を迎えており、並列計算による業務の効率化が注目を集めています。

本ベンチマーク計算では、非線形動的構造解析ソフトウェアAnsys LS-DYNAを用 いて、最新CPU(インテル Haswell)、高速ネットワーク(Infiniband)などから構成されるPCクラスタ環境において、並列計算の効率を評価しております。

クラスター仕様

  TB Cluster 2012 (旧クラスタ) TB Cluster 2016 (新クラスタ)
CPU名 ()内の名称が正式名称 Sandy Bridge (Xeon E5-2680) Haswell (Xeon E5 2687W v3)
CPU クロック数 2.70 GHz 3.10 GHz
CPU クロック数(TurboBoost時, ※1) 3.50 GHz 3.50 GHz
コア数(1 ノードあたり) 16 20
搭載メモリ量(1ノードあたり) 64 GB 128 GB
メモリチャンネル数(1CPUあたり) 4 (Quad Ch.) 4 (Quad Ch.)
ノード数 4 7
ノード間通信 FDR-10 (40Gb/s) FDR (56Gb/s)
最大並列計算数 64 140
備考   現在運用中の構成

※1)TurboBoost: CPUが熱的に余裕がある場合、CPUのクロック数を動的に向上させる仕組み。

PCクラスタ計算解析例

解析モデル

【自動車の衝突・破壊解析】
静止している2台の自動車に、60km/hで最後尾のワゴン車が衝突

解析対象時間 : 0.1秒
要素数 : 794,776要素

並列計算数増加に対する、スケーラビリティ

使用ソルバ:Ansys LS-DYNA 971 R6.1.0 倍精度

SMPソルバー、MPPソルバーの並列計算コア数に対する性能向上を確認しました。 棒グラフは左側目盛、折れ線グラフは右側目盛に対応しています。効率が良いほど、棒グラフが短くなります。

  1. SMPソルバーについては、旧クラスター → 新クラスターの移行に伴い、性能が劇的 に向上しています。例えば、並列数8では34%向上しています。
  2. 新クラスターでは、SMP並列数8から16にかけて、新クラスターでは性能が低下しています。
  3. MPPソルバーについては、旧クラスター → 新クラスターの移行に伴い、性能が向上しています。
    並列数16以上では 25%以上の向上です。一方、並列数8以下では、3~13%の向上です。
    16コア以上の並列計算においては、新クラスターでは1ノードあたり20コア中16コアの利用ですので、4コアを使わない状態でベンチマークを取っています。熱的な余裕から、新クラスターではTurboBoost機能が効果的に働くことが期待できます。 一方、旧クラスターでは、1ノードあたり全16コアの利用ですので、TurboBoost機能が働いていない可能性があります。 これらの影響から、並列計算16コア以上で、25%以上もの性能向上となっていると考えられます。

命令セット SSE2 vs AVX2 の比較

Haswellの最新命令セット AVX2の性能を検証しました。
棒グラフは左側目盛、折れ線グラフは右側目盛に対応しています。
効率が良いほど、棒グラフ短くなります。

使用したソルバーはMPPDYNA Ver. R8.0.0 SSE2版、および AVX2版です。
従来の命令セットSSE2と比較して、3~5%程度の向上が見られています。
AVX2命令セットに対応したソルバーに変更するだけで、計算時間の短縮が期待できます。

 

新旧ソルバー性能の比較

MPPDYNA Ver.971 R6.1.0は比較的古いコンパイラー(Intel Compiler 10.1)で構築されています。
一方、MPPDYNA Ver. R8.0.0 は比較的新しいコンパイラー(Intel Compiler 13.1)で構築されています。両者の違いを検証しました。
棒グラフは左側目盛、折れ線グラフは右側目盛に対応しています。
効率が良いほど、棒グラフ短くなります。

MPPDYNA Ver.R8.0.0 の方が性能が向上しています。
特に、並列計算コア数の増加に対して、Ver.971 R6.1.0より優位に立っています。
計算アルゴリズム改良による性能向上、コンパイルの最適化による性能向上等が考えられます。

 

まとめ

2世代前のCPU Sandy Bridgeと比較して、Haswell CPUの性能は向上している結果が得られています。
新命令セット AVX2 も性能向上に寄与していることを確認しました。
また、Ansys LS-DYNAのバージョンが上がることでも性能向上していることも確認しました。

非線形構造解析ソフト Ansys LS-DYNAのページ

構造系

  • 段ボール構造体の落下衝撃シミュレーション
  • 携帯電話の落下試験とシミュレーション
  • 衝撃による構造挙動の考え方
  • 材料試験

計算機

  • JMAG GPUソルバーのベンチマーク結果
  • PCクラスタを利用した解析例

流体-構造連成

  • シミュレーションによるはんだ接合の変形推定

© Terrabyte Co.,Ltd.

Example