Prometech Particleworks on Rescale
Download as pptx, pdf0 likes241 views
Prometech Summer Seminar 2017 in NAGOYA
![0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
0 16 32 48 64 80 96 112 128 144 160
Speed(a.u.)
number of cores
Rescale Onyx (MPI only)
Rescale Onyx (MPI + OMP)
Hybrid並列 (MPI + OMP) を使いこなそう！
28
MPI process
OMP thread
Core
CPU
[MPI only]
1core - 1MPI-process
[Hybrid型]
1socket-1MPI-process
残りはOMP
少し設定に工夫はいるが、Hybrid型の方がスケーラビリティーが良い](https://image.slidesharecdn.com/2017-07-06-particleworksrescaleengineerversion-170726043834/85/Prometech-Particleworks-on-Rescale-28-320.jpg)
![計算時間: GPUの使いどころ
30
0
5
10
15
20
25
30
16cores,4GPUs 2cores, 1GPU 16cores, 8GPUs 1 node
(18cores)
2 nodes
(36cores)
4 nodes
(72cores)
Jade (K520) Obsidian (K80) Onyx (MPI + OMP)
Calc-Time[sec/step]
本モデルでは 1node+GPUs で Onyx 4nodes程度の計算時間となっている
調査中
Good
Onyx 4 nodes と
同等程度の計算
時間
GPU GPU
GPU GPU
GPU](https://image.slidesharecdn.com/2017-07-06-particleworksrescaleengineerversion-170726043834/85/Prometech-Particleworks-on-Rescale-30-320.jpg)
![0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
16cores,4GPUs 2cores, 1GPU 16cores, 8GPUs 1 node
(18cores)
2 nodes
(36cores)
4 nodes
(72cores)
Jade (K520) Obsidian (K80) Onyx (MPI + OMP)
Time[yen/step]
料金: GPUの使いどころ
31
調査中
Particleworksは、GPUの性能が出やすいアプリケーション。このケースではGPUがコスト効果高い
計算モデルと納期に応じたコアの使い分けが効果的
Good
GPU GPU
GPU GPU
GPU
計算時間は同程度だがコ
ストはGPUを使った方が安
い(HWは従量課金)](https://image.slidesharecdn.com/2017-07-06-particleworksrescaleengineerversion-170726043834/85/Prometech-Particleworks-on-Rescale-31-320.jpg)
![CASESTUDY
0
5
10
10 20 30 2 4 6 10 20 30 100200300
水準1 水準2 水準3 水準4
SN比[dB]
SystemInput Output
誤差因子
L18直交表, N=2, 外に6水準 => 合計 216 cases
Operation
品質工学(Taguchi method) も Rescale で 用意に実現可能。ワークフロー毎保存できる
直行表に対応したCSVファイルを準備 直行表に対応した因子をもつ入力ファイルのテンプレートを準備
因子に対して適当なタグ名を入れ保存
実験計画法を選択
Solution : 品質工学を用いたロバスト設計
17](https://image.slidesharecdn.com/2017-07-06-particleworksrescaleengineerversion-170726043834/85/Prometech-Particleworks-on-Rescale-45-320.jpg)
Prometech Particleworks on Rescale
- 1. Particleworks on Rescale Rescale Japan 株式会社 Solution Architect 長尾 太介 July 3th, 2017
- 2. 自己紹介 ? 長尾 太介 (Daisuke Nagao) ? 職歴 – 精密機器メーカ (粉体シミュレータの開発、スパコン環境の導入?管理) – NVIDIA Japan: Cloud Service Provider 向けの BD – Rescale Japan: 2016年7月にソリューションアーキテクトとしてJoin ? コミュニティー – JAWS-UG HPC専門支部(コアメンバ) – JAWS-UG AI (コアメンバ) 2
- 3. サンフランシスコ(本社), 東京オフィス 300%+ annual growth SaaS タイプの Cloud HPCを提供 (設計者対象) 36+ global data centers, 200+ simulation apps Company Technology Customers Investors 100+ Leading Global 2000 Enterprises Peter ThielJeff Bezos Richard Branson Rescale - Company Overview 3
- 4. On-Premise 型 (社内設備) IaaS 型 SaaS 型 Build 左記を解決する手段 として, SaaSタイ プが注目されている なぜ SaaS Type Cloud HPC なのか ? 5 ? 導入まで長いリードタイム ? 維持?管理に多大な工数 ? システム変更が困難 ? 低い稼働率 or 多数のジョブ待ち ? HPC 環境の構築と維持 ? アプリケーションのインストール ? クラウドベンダロック インストール環境構築 マシンの監視 IaaS
- 6. GUISoftwareHardware マルチクラウドを実現、インフラは完全に抽象化 Rescale の特徴?メリット (HW) 9 ? アジリティー/スケーラビリティー ? アプリケーションに応じて最適なインフラを選択 (インフィニバ ンド / GPU 利用可能) Private Cloud
- 7. GUISoftwareHardware マルチクラウドを実現、インフラは完全に抽象化 200+ のアプリケーションがすでにインストール Rescale の特徴?メリット (GUI/SW/HW) 9 ? アプリケーションのインストール作業不要 ? 30程度のアプリは従量課金で利用可能 (OSS除く) ? 高速に動かすためのノウハウが詰め込まれている ? アジリティー/スケーラビリティー ? アプリケーションに応じて最適なインフラを選択 (インフィニバ ンド / GPU 利用可能) Private Cloud
- 8. GUISoftwareHardware 設計者の視点で設計された、シンプルかつ効果的な User Interface マルチクラウドを実現、インフラは完全に抽象化 200+ のアプリケーションがすでにインストール ? パラメータスタディースタディー機能 ? ワークフローの保存?コピー?共有が簡単 ? VDIも統合化、計算結果をダウンロードする必要がない ? APIによる操作が可能、Deep Learning 用でJupyterも利用可能 ? アプリケーションのインストール作業不要 ? 30程度のアプリは従量課金で利用可能 (OSS除く) ? 高速に動かすためのノウハウが詰め込まれている ? アジリティー/スケーラビリティー ? アプリケーションに応じて最適なインフラを選択 (インフィニバ ンド / GPU 利用可能) Rescale の特徴?メリット (GUI/SW/HW) 9 Private Cloud
- 9. GUI ≈≈≈≈ SWHW ≈ Browser Deep Learning Rescale の 全体像 https://twitter.com/rescaleJapan CAE/CFD/SIMULATION Private Cloud RestAPI jupyter Caffe Remote Desktop
- 10. GUI ≈≈≈≈ SWHW ≈ Browser Deep Learning Rescale の 全体像 https://twitter.com/rescaleJapan CAE/CFD/SIMULATION Private Cloud jupyter Caffe Remote Desktop ユーザさまはシステムの 維持?管理の必 要はありません ? On-Premise, IaaS HPC の 課題を解決 RestAPI
- 12. 12
- 17. 17
- 18. DEMO 18
- 20. Submit Job Upload Input Files Calc-Result API or Kick the submit node. Start the remote-desktop Input File Run Instance for Desktop Calc-Result Start desktop-service Operation from desktop クラウド BackendClient Submit Job Visualization w/ Remote DeskTop Object Storage (Cloud) 安価?高信頼 容量を気にしない 14 Private Cloud
- 21. HOW IT WORKS： AWSコアタイプを使って計算を実行をしたときの具体例 21 Time Loadaverage SubmitJob アプリケーションの実行 クラスタの削除 必要なときに必要な分だけ HPC Clusterを利用可能 この動作をすべて自動で実施し、ユーザは意識する必要はありません ソルバー実行中 HPCクラスタ構築 EBS インスタンス起動 マシンイメージ Incetances ファイルステージング データの復号化 Cloud Storage (S3) データの暗号化 ファイルステージング Cloud Storage (S3)
- 22. downloadUploadSecureで高速なファイル転送方法 22 UI (転送ツール) File Encryption RescaleOn-premise File Decryption RescaleOn-premise Webserver HTTPS (TLSv1.2) UI (転送ツール) Webserver テンポラリークレデンシャル テンポラリークレデンシャル 暗号化されたファイルのDownload 暗号化されたファイルのUpload ? Browser ? Rescale CLI ? Rescale CLI ? Rescaleファイル転送ツール 対応ツール HTTPS (TLSv1.2) HTTPS (TLSv1.2) HTTPS (TLSv1.2)
- 23. downloadUploadSecureで高速なファイル転送方法 23 UI (転送ツール) File Encryption RescaleOn-premise File Decryption RescaleOn-premise Webserver HTTPS (TLSv1.2) UI (転送ツール) Webserver テンポラリークレデンシャル テンポラリークレデンシャル 暗号化されたファイルのDownload 暗号化されたファイルのUpload ? Browser ? Rescale CLI ? Rescale CLI ? Rescaleファイル転送ツール 対応ツール HTTPS (TLSv1.2) HTTPS (TLSv1.2) HTTPS (TLSv1.2)
- 24. SSH Tunnel で Rescale の License Proxy に接続するのが最も一般的 (他にも3つほど接続方法があります) お手持ちのライセンスサーバと Rescaleをつなぐ BYOL (Bring Your Own License) 接続 SSHでリモートポート転送 オンプレミスの ライセンスサーバへアクセス License Proxy License Server Internet HPC Cluster SSH Tunnel
- 27. PERFORMANCE 3472631 粒子 (Fluid Particle), 撹拌モデル ベンチマーク 27
- 28. 0.0 1.0 2.0 3.0 4.0 5.0 6.0 7.0 0 16 32 48 64 80 96 112 128 144 160 Speed(a.u.) number of cores Rescale Onyx (MPI only) Rescale Onyx (MPI + OMP) Hybrid並列 (MPI + OMP) を使いこなそう！ 28 MPI process OMP thread Core CPU [MPI only] 1core - 1MPI-process [Hybrid型] 1socket-1MPI-process 残りはOMP 少し設定に工夫はいるが、Hybrid型の方がスケーラビリティーが良い
- 29. 0.0 1.0 2.0 3.0 4.0 5.0 6.0 7.0 0 16 32 48 64 80 96 112 128 144 160 Speed(a.u.) number of cores Xeon E5-2660v3 Rescale Onyx (MPI only) Rescale Onyx (MPI + OMP) On-premise HPC (Infiniband)との比較 29 Cloudの10GEtherは別物、100 core程度であれば Infinibandに負けないことも多い CloudでもInfinibandのシステムを使うと高額になるので、まずは10GEtherで大丈夫かを確認する On-Premise Xeon E5-2660v3 Haswell 2.6GHz Infiniband (FDR) (1ソケットにつき8コアずつ使用) Rescale Onyx Xeon E5-2666v3 Haswell 2.9GHz 10GEther
- 30. 計算時間: GPUの使いどころ 30 0 5 10 15 20 25 30 16cores,4GPUs 2cores, 1GPU 16cores, 8GPUs 1 node (18cores) 2 nodes (36cores) 4 nodes (72cores) Jade (K520) Obsidian (K80) Onyx (MPI + OMP) Calc-Time[sec/step] 本モデルでは 1node+GPUs で Onyx 4nodes程度の計算時間となっている 調査中 Good Onyx 4 nodes と 同等程度の計算 時間 GPU GPU GPU GPU GPU
- 31. 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 16cores,4GPUs 2cores, 1GPU 16cores, 8GPUs 1 node (18cores) 2 nodes (36cores) 4 nodes (72cores) Jade (K520) Obsidian (K80) Onyx (MPI + OMP) Time[yen/step] 料金: GPUの使いどころ 31 調査中 Particleworksは、GPUの性能が出やすいアプリケーション。このケースではGPUがコスト効果高い 計算モデルと納期に応じたコアの使い分けが効果的 Good GPU GPU GPU GPU GPU 計算時間は同程度だがコ ストはGPUを使った方が安 い(HWは従量課金)
- 32. Benchmark まとめ ? ハイブリッド(MPI + OMP)を使った方がスケーラビリ ティーが良い ? オンプレミスと比較しても150コア程度であれば問題ない ? GPUのコスト効果が高い モデルによっても状況は変わる可能性があるので、まずはコ ア数やコアタイプを変えてデータを取得することが大事 32
- 34. Cloud HPC とパラメータスタディー Cloud HPC の特徴 誰でも ? 必要な時 (Agility) ? 必要な量 (Scalability) Cloud の Scalability を活かすポイント 34 Job1 Job2 Job3 Job4 Job1 Job2 Job3 Job4 On-Premise Cloud 10TB run auto_mesh データ転送を極力しない努力 プリ/ポストの自動化 ワークフロー/データの管理 従量課金のため同時に計算しても料 金は変わらない Time Time
- 35. 何も考えずにやると??? 35 Pre Process Solver Post Process 計算結果の転送が ボトルネック フォルダに入って いるだけになって いない？ Data の管理 手作業のプリ作業 がボトルネック
- 36. Cloudの領域を広げる：ワークフローの作り込み 36 Pre Process Solver Post Process 目的関数, 特性値を 決めバッチ処理でき る状態へ (可視化も合わせて) SaaSの機能にお 任せ Data の管理 メッシュ生成、粒 子配置など自動化 することを考える 最低限必要 なデータ 10TB run auto_mesh データ転送を極力しない努力 プリ/ポストの自動化 ワークフロー/データの管理
- 37. 特にパラメータスタディーの時は??? ? Rescale DoE (Design of Engineering) 機能がお勧め ? ワークフローの作り込みができる 37 Operation パラメータの表をCSVで準備 パラメータを反映させる入力 ファイルのテンプレートを準備 実験計画法を選択 ポスト処理を定義
- 43. 43
- 44. SOLUTION 44
- 45. CASESTUDY 0 5 10 10 20 30 2 4 6 10 20 30 100200300 水準1 水準2 水準3 水準4 SN比[dB] SystemInput Output 誤差因子 L18直交表, N=2, 外に6水準 => 合計 216 cases Operation 品質工学(Taguchi method) も Rescale で 用意に実現可能。ワークフロー毎保存できる 直行表に対応したCSVファイルを準備 直行表に対応した因子をもつ入力ファイルのテンプレートを準備 因子に対して適当なタグ名を入れ保存 実験計画法を選択 Solution : 品質工学を用いたロバスト設計 17
- 46. CASESTUDY SW1: 構造解析を実行し微小な空隙を求める SW1の結果を使って、SW2の計算を行う SW2: 空隙に対して放電/帯電計算をする 空隙 Operation 計算結果を次のSWに渡していくようなワークローも簡単に作成?展開可能 Abaqus > In-house App > Matlab のような使い方も簡単にできる 180+ 豊富なアプリケーション Solution : 弱連成解析 19
- 47. CASESTUDY 計算専門家による ワークフローの開発 A: 実験専門家 B: 派遣さん C: 新人さん 特定トラブルの解析用ツール ワークフローが決まった定形的な計算 専門家以外への展開、知の共有 Operation ワークフローの作成?保存 ジョブの共有機能を使い、ワーク フロー毎、計算ノウハウを共有す る 計算を一度成功させワークフローを完成する 専門家によりワークフローを作りこみ(ツール開発)、それをRescaleのプラットフォーム を通じて一般ユーザに共有?展開する。(容易な知の共有) Solution : 計算スキルが必要なワークフローの社内展開 (知の共有) 18
- 48. CASESTUDYOperation Rescale キューを用意して, RescaleAPI or RescaleCLIを実行するノードを1台用意する ことで簡単にRescaleにジョブを投入することができる。すぐにハイブリッド環境を実現 Solution : お使いのオンプレミスHPCをすぐにハイブリッド化する 18 API Rescale CLI Create API-key (Need to create API-Key only once) Submit Node (e.g PBS) Node for Rescale API On-Premise Cluster Rescale queue $ qsub –q rescale ./myRun.sh API https
- 49. CASESTUDYOperation Rescale キューを用意して, RescaleAPI or RescaleCLIを実行するノードを1台用意する ことで簡単にRescaleにジョブを投入することができる。すぐにハイブリッド環境を実現 Solution : お使いのオンプレミスHPCをすぐにハイブリッド化する 18 API Rescale CLI Create API-key (Need to create API-Key only once) Submit Node (e.g PBS) Node for Rescale API On-Premise Cluster Rescale queue $ qsub –q rescale ./myRun.sh API https
- 50. Solution: 最適化ツール ? Rescale CLI (Command Line Interface) 50 File Encryption File decryption HTTPS HTTPS TLSv1.2 TLSv1.2 Rescale CLI ? Rescale の はCLIを通してブラックボックスとして使う ? 動的に変わるIPアドレスに対してSSHを使う必要がない。REST API のためHTTPSでリソースを操作できる 最適化ツール Solver
- 51. Rescale CLI CLI Upload Create Submit Monitor Download 細かい制御はできないが、単純なジョブであればほと んど自動化されており、コード量は少なくてすむ TLSv1.2 File Encryption ローカルで暗号化後、マルチパートアップロードでクラウ ドストレージに直接保存(よりセキュアで高速な転送) HTTPS
- 52. まとめ ? HW/SWの導入維持管理なしで Particleworks をスタートできる ? ブラウザ上からの簡単操作で実行できる ? 手持ちのモデルに合わせて、Hybrid(MPI+OMP)でのジョブ投入、GPUの活用 を検討し計算速度とコストパフォーマンスの最適化する ? ワークフローを作り込むことで、クラウドのボトルネックを避け、効果的に活 用する 26 Rescale Confidential
- 53. Subtitle Date