際際滷

際際滷Share a Scribd company logo

[Azure Antenna] HPCだけじゃないDeep Learningでも聞える ハイパフォ`マンスAzureインフラ ゛ Azureハイパフォ`マンスインフラB秘T ゛

?
?
S
Shuichi Gojuki

際際滷 for workshop sessions Azure Antenna Mar. 20 2018. このスライドは2018定3埖20晩のAzure Antennaで佩われたワ`クショップで聞われたY創です。

1 of 41
Downloaded 17 times
HPCだけじゃないDeep Learning でも聞える ハイパフォ`マンスAzureインフラ HPC & Deep Learning on Azure
アジェンダ
はじめに
Azure Portalで Data Science Virtual MachineをBする
Linux (Ubuntu) Data Science VM
児云撹のO協 O協朕 書指のO協 h苧 兆念 DSVM01 ∀襯泪轡鵑涼念をO協します。 VMディスクのN HDD ∀襯泪轡鵑暴咯AするディスクのN (SSD/HDD)をO協します。 ユ`ザ兆 azureuser ∀襯泪轡鵑離罘`ザ兆(砿尖宀) J^のN パスワ`ド 貧のユ`ザがログインするHのJ^のN (SSH 巷_キ`/パスワ`ド)をxkします。 サブスクリプション 聞喘するサブスクリプションをxkします。 リソ`スグル`プ DSVM_TEST この∀襯泪轡鵑侭奉するリソ`スグル`プ (仟､牌ることも辛嬬)をxkします。 侭 致忽|何 ∀襯泪轡鵑鬟妊廛蹈い垢襯蟋`ジョンをxk します。
∀襯泪轡鵑離汽ぅ困倫k
オプションC嬬の撹 O協朕1 O協朕2 書指のO協 h苧 互辛喘來 辛喘來セット なし アプリケ`ションに庇L來を隔たせるために、}方の∀襯泪轡鵑鮨瓶弛團札奪 にグル`プ晒することをお瓩瓩靴泙后この撹により、鮫gみまたは鮫翌 メンテナンス イベントのgに、1 つ參貧の∀襯泪轡鵑聞喘辛嬬になり、99.95% の Azure SLA が困燭気譴泙后∀襯泪轡鵑凌瓶弛團札奪箸蓮恬撹瘁に筝でき ません。InfiniBandを旋喘するために辛喘來セットをO協する駅勣があります。 Storage 砿尖ディスクの聞喘 はい VHDに旋喘するStorageのNをO協します。 ネットワ`ク Virtual Network 兆念: DSVM_TEST-vnet アドレス腎g: 10.1.19.0/24 サブネット兆: default サブネット アドレス : 10.1.19.0/24 この∀襯泪轡鵑侭奉する∀襯優奪肇鍠`クをxkします。 パブリックIPアドレス 兆念: DSVM01-ip 護り輝て: 啜 インタ`ネットU喇でアクセスできるようにパブリップIPアドレスをO協します。 ネットワ`クセキュリ ティ`グル`プ(NSG) 兆念: DSVM01-nsg 鞭佚t : SSH (Port=22) 僕佚t困覆 ∀襯泪轡鵑箸礼gでやり函りされるトラフィックを崙囮するファイアウォ`ルの tのセットです。 C嬬 C嬬 書指はなし ∀襯泪轡鵑撲造靴C嬬を弖紗します。 徭咼轡礇奪肇 ウン 徭咼轡礇奪肇瀬ΕC 嬬を嗤燭砲垢 オフ ∀襯泪轡鵑鰈啜弔鞍侫轡礇奪肇瀬Ε鵑垢襪茲Δ穆O協します。 O ブ`ト\僅 嗤 ホスト貧でg佩している∀襯泪轡鵑離轡螢▲襯灰鵐秋`ル竃薦とスクリ`ン ショットをキャプチャして、軟rの}\僅に叨羨てます。 ゲストOS\僅 o ∀襯泪轡鵑離瓮肇螢奪を1蛍ごとに函誼します。 \僅ストレ`ジアカウ ント 兆念dsvmtestdiag380 パフォ`マンスStandard リプリケ`ションLRS メトリックを隠贋するためのストレ`ジアカウントをxkします。
古勣
恬撹したDSVMへアクセスする $ ssh azureuser@52.170.118.215 Warning: Permanently added '52.170.118.215' (ECDSA) to the list of known hosts. azureuser@52.170.118.215's password: Welcome to Ubuntu 16.04.3 LTS (GNU/Linux 4.13.0-1005-azure x86_64) 104 packages can be updated. 0 updates are security updates. *** System restart required *** The programs included with the Ubuntu system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. * Welcome to the Linux Data Science Virtual Machine on Azure! * * * * For more information on available tools and features, * * visit http://aka.ms/dsvm/discover. * To run a command as administrator (user "root"), use "sudo <command>". See "man sudo_root" for details. azureuser@DSVM01:~$
X Windows Systemを聞喘して俊A https://wiki.x2go.org/doku.php/doc:installation:x2goclient
X Windows Systemを聞喘して俊A
Linux DSVMにインスト`ルされているツ`ル https://docs.microsoft.com/ja-jp/azure/machine-learning/data-science-virtual-machine/dsvm-ubuntu-intro
Jupyter notebookを喘いたデモ
Jupyter notebookを喘いたデモ
Azure PortalでHPC & Deep Learning h廠 をBする
これから恬るHPC & Deep Learning h廠の撹 InfiniBand
Azure Portalへアクセス https://portal.azure.com
サブスクリプションの鳩範
∀襯泪轡鵑臨撹
∀襯泪轡鵑臨撹 O協朕 書指のO協 h苧 兆念 hpc001 ∀襯泪轡鵑涼念をO協します。 VMディスクのN SSD ∀襯泪轡鵑暴咯AするディスクのN (SSD/HDD)をO協します。 ユ`ザ兆 azureuser ∀襯泪轡鵑離罘`ザ兆(砿尖宀) J^のN パスワ`ド 貧のユ`ザがログインするHのJ^のN(SSH 巷_キ`/パスワ`ド)をxkします。 サブスクリプション 聞喘するサブスクリプションをxkします。 リソ`スグル`プ hpctest この∀襯泪轡鵑侭奉するリソ`スグル`プ(仟､牌ることも辛嬬)をxkします。 侭 致忽|何 ∀襯泪轡鵑鬟妊廛蹈い垢襯蟋`ジョンをxkします。
∀襯泪轡鵑臨撹 O協朕1 O協朕2 書指のO協 h苧 互辛喘來 辛喘來セット 兆念: hpctest_avail 嬾墾ドメイン : 2 厚仟ドメイン : 5 InfiniBandを旋喘するために辛喘來セットをO協する駅勣があります。嬾墾?厚仟ドメインはデフォ ルトのまま。 Storage 砿尖ディスクの聞喘 はい ネットワ`ク Virtual Network 兆念: hpctest-vnet アドレス腎g: 10.1.20.0/24 サブネット兆: default サブネット アドレス : 10.1.20.0/24 この∀襯泪轡鵑侭奉する∀襯優奪肇鍠`クをxkします。 パブリックIPアドレス 兆念: hpc001-ip 護り輝て: 啜 インタ`ネットU喇でアクセスできるようにパブリップIPアドレスをO協します。 ネットワ`クセキュリティ` グル`プ(NSG) 兆念: hpc001-nsg 鞭佚t : SSH (Port=22) 僕佚t困覆 ∀襯泪轡鵑箸礼gでやり函りされるトラフィックを崙囮するファイアウォ`ルのtのセットです。 C嬬 C嬬 書指はなし ∀襯泪轡鵑撲造靴C嬬を弖紗します。 徭咼轡礇奪肇瀬Ε 徭咼轡礇奪肇瀬ΕC嬬を嗤 燭砲垢 オフ ∀襯泪轡鵑鰈啜弔鞍侫轡礇奪肇瀬Ε鵑垢襪茲Δ穆O協します。 O ブ`ト\僅 嗤 ホスト貧でg佩している∀襯泪轡鵑離轡螢▲襯灰鵐秋`ル竃薦とスクリ`ンショットをキャプチャ して、軟rの}\僅に叨羨てます。 ゲストOS\僅 o ∀襯泪轡鵑離瓮肇螢奪を1蛍ごとに函誼します。 \僅ストレ`ジアカウント 兆念hpctestdiag238 パフォ`マンスStandard リプリケ`ションLRS メトリックを隠贋するためのストレ`ジアカウントをxkします。 ☆書指はdefaultのまま(Linuxの∀襯泪轡鵑任SSHのポ`トのみが_いています。) ☆書指はdefaultのまま(2つ朕參週のVMは揖じVNetをxkします。) ☆書指はdefaultのまま(2つ朕參週のVMはO協は音勣です。) ☆書指はdefaultのまま
∀襯泪轡鵑臨撹
∀襯泪轡鵑臨撹 hpc001 hpc002 デプロイモデル Resource Manager Resource Manager ∀襯泪轡鵑涼念 hpc001 hpc002 VM DiskのN SSD SSD ユ`ザ兆 azureuser azureuser J^のN パスワ`ド パスワ`ド リソ`スグル`プ hpctest hpctest(hpc001で恬撹gのものをxk) 侭 致忽|何 致忽|何 サイズ NC24rs_v2 NC24rs_v2 辛喘來セット hpctest_avail hpctest_avail (hpc001で恬撹gのものをxk) 砿尖ディスクの聞喘 はい はい Virtual Network hpctest-vnet hpctest-vnet パブリックIPアドレス hpc001-ip 音勣 ネットワ`クセキュリティ`グル`プ hpc001-nsg hpc002-nsg \僅ストレ`ジアカウント hpctestdiag238 hpctestdiag238 (hpc001で恬撹gのものをxk)
∀襯泪轡鵑臨撹
慌嗤ディスクの恬撹 O協朕 書指のO協 O協 兆念 hpc001disk01 弖紗するデ`タディスクの兆念をO協します。 リソ`スグル`プ hpctest 弖紗するデ`タディスクのリソ`スグル`プをxkします。 アカウントのN Premium (SSD) ストレ`ジアカウントのN(Premium/Standard, デ`タリプリケ`ションのN LRS/ZRS/GRS/RA-GRS)をxkします。 ソ`スのN なし(腎のディスク) eのディスクのスナップショットからディスクを恬撹するか、ストレ`ジアカウントのBLOBから恬撹するか、腎のディ スクを恬撹するかをxkします。 サイズ(GiB) 1023 ディスクのサイズをO協します。
慌嗤ディスクの恬撹
慌嗤ディスクの恬撹
慌嗤ディスクの譜協
慌嗤ディスクの譜協
パスワ`ドなしで皆皆堰する譜協
InfiniBandのO協 sudo apt-get update sudo apt-get install libdapl2 libmlx4-1 OS.EnableRDMA=y OS.UpdateRdmaDriver=y * hard memlock unlimited * soft memlock unlimited echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope
NVIDIA DriverおよびCUDAのインスト`ル CUDA_REPO_PKG=cuda-repo-ubuntu1604_9.1.85-1_amd64.deb wget -O /tmp/${CUDA_REPO_PKG} http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/${CUDA_REPO_PKG} dpkg -i /tmp/${CUDA_REPO_PKG} apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub rm -f /tmp/${CUDA_REPO_PKG} apt-get update apt-get install -y cuda-drivers apt-get install -y cuda-8-0
nvidia-smiコマンド nvidia-smi Cpm 1 nvidia-smi
Intel MPI Benchmark
Intel MPI Benchmark #------------------------------------------------------------ # Intel (R) MPI Benchmarks 2017 update 2, MPI-1 part #------------------------------------------------------------ # Date : Mon Mar 19 11:36:57 2018 # Machine : x86_64 # System : Linux # Release : 4.13.0-1011-azure # Version : #14-Ubuntu SMP Thu Feb 15 16:15:39 UTC 2018 # MPI Version : 3.1 # MPI Thread Environment: # Calling sequence was: # IMB-MPI1 pingpong # Minimum message length in bytes: 0 # Maximum message length in bytes: 4194304 # # MPI_Datatype : MPI_BYTE # MPI_Datatype for reductions : MPI_FLOAT # MPI_Op : MPI_SUM # # # List of Benchmarks to run: # PingPong #--------------------------------------------------- # Benchmarking PingPong # #processes = 2 #--------------------------------------------------- #bytes #repetitions t[usec] Mbytes/sec 0 1000 1.83 0.00 1 1000 1.85 0.54 2 1000 1.87 1.07 4 1000 1.87 2.14 8 1000 1.85 4.33 16 1000 1.87 8.55 32 1000 2.95 10.83 64 1000 3.07 20.85 128 1000 2.71 47.23 256 1000 2.84 90.00 512 1000 3.04 168.28 1024 1000 3.31 309.14 2048 1000 3.86 530.01 4096 1000 5.03 813.75 8192 1000 6.28 1305.49 16384 1000 8.17 2004.77 32768 1000 11.95 2741.40 65536 640 17.57 3729.09 131072 320 30.72 4266.63 262144 160 54.47 4812.46 524288 80 96.54 5430.53 1048576 40 181.33 5782.81 2097152 20 351.73 5962.44 4194304 10 695.96 6026.68 # All processes entering MPI_Finalize #------------------------------------------------------------ # Intel (R) MPI Benchmarks 2017 update 2, MPI-1 part #------------------------------------------------------------ # Date : Mon Mar 19 11:38:08 2018 # Machine : x86_64 # System : Linux # Release : 4.13.0-1011-azure # Version : #14-Ubuntu SMP Thu Feb 15 16:15:39 UTC 2018 # MPI Version : 3.1 # MPI Thread Environment: # Calling sequence was: # IMB-MPI1 pingpong # Minimum message length in bytes: 0 # Maximum message length in bytes: 4194304 # # MPI_Datatype : MPI_BYTE # MPI_Datatype for reductions : MPI_FLOAT # MPI_Op : MPI_SUM # # # List of Benchmarks to run: # PingPong #--------------------------------------------------- # Benchmarking PingPong # #processes = 2 #--------------------------------------------------- #bytes #repetitions t[usec] Mbytes/sec 0 1000 69.94 0.00 1 1000 74.05 0.01 2 1000 69.55 0.03 4 1000 68.32 0.06 8 1000 69.50 0.12 16 1000 78.11 0.20 32 1000 72.16 0.44 64 1000 69.27 0.92 128 1000 82.02 1.56 256 1000 70.59 3.63 512 1000 70.73 7.24 1024 1000 76.67 13.36 2048 1000 75.23 27.22 4096 1000 77.93 52.56 8192 1000 90.50 90.52 16384 1000 126.03 130.00 32768 1000 173.99 188.33 65536 640 284.46 230.39 131072 320 359.74 364.36 262144 160 892.34 293.77 524288 80 1653.34 317.11 1048576 40 2633.66 398.14 2097152 20 4512.97 464.69 4194304 10 8089.54 518.48 # All processes entering MPI_Finalize
∀襯泪轡鵑瞭雍式び唯峭
遺鞄温庄稼艶姻珂鰻g佩桟廠B & g佩 デモ
遺鞄温庄稼艶姻珂鰻g佩桟廠
遺鞄温庄稼艶姻珂鰻g佩デモ
[Azure Antenna] HPCだけじゃないDeep Learningでも聞える ハイパフォ`マンスAzureインフラ ゛ Azureハイパフォ`マンスインフラB秘T ゛

More Related Content

[Azure Antenna] HPCだけじゃないDeep Learningでも聞える ハイパフォ`マンスAzureインフラ ゛ Azureハイパフォ`マンスインフラB秘T ゛

  • 4. Azure Portalで Data Science Virtual MachineをBする
  • 5. Linux (Ubuntu) Data Science VM
  • 6. 児云撹のO協 O協朕 書指のO協 h苧 兆念 DSVM01 ∀襯泪轡鵑涼念をO協します。 VMディスクのN HDD ∀襯泪轡鵑暴咯AするディスクのN (SSD/HDD)をO協します。 ユ`ザ兆 azureuser ∀襯泪轡鵑離罘`ザ兆(砿尖宀) J^のN パスワ`ド 貧のユ`ザがログインするHのJ^のN (SSH 巷_キ`/パスワ`ド)をxkします。 サブスクリプション 聞喘するサブスクリプションをxkします。 リソ`スグル`プ DSVM_TEST この∀襯泪轡鵑侭奉するリソ`スグル`プ (仟､牌ることも辛嬬)をxkします。 侭 致忽|何 ∀襯泪轡鵑鬟妊廛蹈い垢襯蟋`ジョンをxk します。
  • 8. オプションC嬬の撹 O協朕1 O協朕2 書指のO協 h苧 互辛喘來 辛喘來セット なし アプリケ`ションに庇L來を隔たせるために、}方の∀襯泪轡鵑鮨瓶弛團札奪 にグル`プ晒することをお瓩瓩靴泙后この撹により、鮫gみまたは鮫翌 メンテナンス イベントのgに、1 つ參貧の∀襯泪轡鵑聞喘辛嬬になり、99.95% の Azure SLA が困燭気譴泙后∀襯泪轡鵑凌瓶弛團札奪箸蓮恬撹瘁に筝でき ません。InfiniBandを旋喘するために辛喘來セットをO協する駅勣があります。 Storage 砿尖ディスクの聞喘 はい VHDに旋喘するStorageのNをO協します。 ネットワ`ク Virtual Network 兆念: DSVM_TEST-vnet アドレス腎g: 10.1.19.0/24 サブネット兆: default サブネット アドレス : 10.1.19.0/24 この∀襯泪轡鵑侭奉する∀襯優奪肇鍠`クをxkします。 パブリックIPアドレス 兆念: DSVM01-ip 護り輝て: 啜 インタ`ネットU喇でアクセスできるようにパブリップIPアドレスをO協します。 ネットワ`クセキュリ ティ`グル`プ(NSG) 兆念: DSVM01-nsg 鞭佚t : SSH (Port=22) 僕佚t困覆 ∀襯泪轡鵑箸礼gでやり函りされるトラフィックを崙囮するファイアウォ`ルの tのセットです。 C嬬 C嬬 書指はなし ∀襯泪轡鵑撲造靴C嬬を弖紗します。 徭咼轡礇奪肇 ウン 徭咼轡礇奪肇瀬ΕC 嬬を嗤燭砲垢 オフ ∀襯泪轡鵑鰈啜弔鞍侫轡礇奪肇瀬Ε鵑垢襪茲Δ穆O協します。 O ブ`ト\僅 嗤 ホスト貧でg佩している∀襯泪轡鵑離轡螢▲襯灰鵐秋`ル竃薦とスクリ`ン ショットをキャプチャして、軟rの}\僅に叨羨てます。 ゲストOS\僅 o ∀襯泪轡鵑離瓮肇螢奪を1蛍ごとに函誼します。 \僅ストレ`ジアカウ ント 兆念dsvmtestdiag380 パフォ`マンスStandard リプリケ`ションLRS メトリックを隠贋するためのストレ`ジアカウントをxkします。
  • 10. 恬撹したDSVMへアクセスする $ ssh azureuser@52.170.118.215 Warning: Permanently added '52.170.118.215' (ECDSA) to the list of known hosts. azureuser@52.170.118.215's password: Welcome to Ubuntu 16.04.3 LTS (GNU/Linux 4.13.0-1005-azure x86_64) 104 packages can be updated. 0 updates are security updates. *** System restart required *** The programs included with the Ubuntu system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. * Welcome to the Linux Data Science Virtual Machine on Azure! * * * * For more information on available tools and features, * * visit http://aka.ms/dsvm/discover. * To run a command as administrator (user "root"), use "sudo <command>". See "man sudo_root" for details. azureuser@DSVM01:~$
  • 16. Azure PortalでHPC & Deep Learning h廠 をBする
  • 17. これから恬るHPC & Deep Learning h廠の撹 InfiniBand
  • 21. ∀襯泪轡鵑臨撹 O協朕 書指のO協 h苧 兆念 hpc001 ∀襯泪轡鵑涼念をO協します。 VMディスクのN SSD ∀襯泪轡鵑暴咯AするディスクのN (SSD/HDD)をO協します。 ユ`ザ兆 azureuser ∀襯泪轡鵑離罘`ザ兆(砿尖宀) J^のN パスワ`ド 貧のユ`ザがログインするHのJ^のN(SSH 巷_キ`/パスワ`ド)をxkします。 サブスクリプション 聞喘するサブスクリプションをxkします。 リソ`スグル`プ hpctest この∀襯泪轡鵑侭奉するリソ`スグル`プ(仟､牌ることも辛嬬)をxkします。 侭 致忽|何 ∀襯泪轡鵑鬟妊廛蹈い垢襯蟋`ジョンをxkします。
  • 22. ∀襯泪轡鵑臨撹 O協朕1 O協朕2 書指のO協 h苧 互辛喘來 辛喘來セット 兆念: hpctest_avail 嬾墾ドメイン : 2 厚仟ドメイン : 5 InfiniBandを旋喘するために辛喘來セットをO協する駅勣があります。嬾墾?厚仟ドメインはデフォ ルトのまま。 Storage 砿尖ディスクの聞喘 はい ネットワ`ク Virtual Network 兆念: hpctest-vnet アドレス腎g: 10.1.20.0/24 サブネット兆: default サブネット アドレス : 10.1.20.0/24 この∀襯泪轡鵑侭奉する∀襯優奪肇鍠`クをxkします。 パブリックIPアドレス 兆念: hpc001-ip 護り輝て: 啜 インタ`ネットU喇でアクセスできるようにパブリップIPアドレスをO協します。 ネットワ`クセキュリティ` グル`プ(NSG) 兆念: hpc001-nsg 鞭佚t : SSH (Port=22) 僕佚t困覆 ∀襯泪轡鵑箸礼gでやり函りされるトラフィックを崙囮するファイアウォ`ルのtのセットです。 C嬬 C嬬 書指はなし ∀襯泪轡鵑撲造靴C嬬を弖紗します。 徭咼轡礇奪肇瀬Ε 徭咼轡礇奪肇瀬ΕC嬬を嗤 燭砲垢 オフ ∀襯泪轡鵑鰈啜弔鞍侫轡礇奪肇瀬Ε鵑垢襪茲Δ穆O協します。 O ブ`ト\僅 嗤 ホスト貧でg佩している∀襯泪轡鵑離轡螢▲襯灰鵐秋`ル竃薦とスクリ`ンショットをキャプチャ して、軟rの}\僅に叨羨てます。 ゲストOS\僅 o ∀襯泪轡鵑離瓮肇螢奪を1蛍ごとに函誼します。 \僅ストレ`ジアカウント 兆念hpctestdiag238 パフォ`マンスStandard リプリケ`ションLRS メトリックを隠贋するためのストレ`ジアカウントをxkします。 ☆書指はdefaultのまま(Linuxの∀襯泪轡鵑任SSHのポ`トのみが_いています。) ☆書指はdefaultのまま(2つ朕參週のVMは揖じVNetをxkします。) ☆書指はdefaultのまま(2つ朕參週のVMはO協は音勣です。) ☆書指はdefaultのまま
  • 24. ∀襯泪轡鵑臨撹 hpc001 hpc002 デプロイモデル Resource Manager Resource Manager ∀襯泪轡鵑涼念 hpc001 hpc002 VM DiskのN SSD SSD ユ`ザ兆 azureuser azureuser J^のN パスワ`ド パスワ`ド リソ`スグル`プ hpctest hpctest(hpc001で恬撹gのものをxk) 侭 致忽|何 致忽|何 サイズ NC24rs_v2 NC24rs_v2 辛喘來セット hpctest_avail hpctest_avail (hpc001で恬撹gのものをxk) 砿尖ディスクの聞喘 はい はい Virtual Network hpctest-vnet hpctest-vnet パブリックIPアドレス hpc001-ip 音勣 ネットワ`クセキュリティ`グル`プ hpc001-nsg hpc002-nsg \僅ストレ`ジアカウント hpctestdiag238 hpctestdiag238 (hpc001で恬撹gのものをxk)
  • 26. 慌嗤ディスクの恬撹 O協朕 書指のO協 O協 兆念 hpc001disk01 弖紗するデ`タディスクの兆念をO協します。 リソ`スグル`プ hpctest 弖紗するデ`タディスクのリソ`スグル`プをxkします。 アカウントのN Premium (SSD) ストレ`ジアカウントのN(Premium/Standard, デ`タリプリケ`ションのN LRS/ZRS/GRS/RA-GRS)をxkします。 ソ`スのN なし(腎のディスク) eのディスクのスナップショットからディスクを恬撹するか、ストレ`ジアカウントのBLOBから恬撹するか、腎のディ スクを恬撹するかをxkします。 サイズ(GiB) 1023 ディスクのサイズをO協します。
  • 32. InfiniBandのO協 sudo apt-get update sudo apt-get install libdapl2 libmlx4-1 OS.EnableRDMA=y OS.UpdateRdmaDriver=y * hard memlock unlimited * soft memlock unlimited echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope
  • 33. NVIDIA DriverおよびCUDAのインスト`ル CUDA_REPO_PKG=cuda-repo-ubuntu1604_9.1.85-1_amd64.deb wget -O /tmp/${CUDA_REPO_PKG} http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/${CUDA_REPO_PKG} dpkg -i /tmp/${CUDA_REPO_PKG} apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub rm -f /tmp/${CUDA_REPO_PKG} apt-get update apt-get install -y cuda-drivers apt-get install -y cuda-8-0
  • 36. Intel MPI Benchmark #------------------------------------------------------------ # Intel (R) MPI Benchmarks 2017 update 2, MPI-1 part #------------------------------------------------------------ # Date : Mon Mar 19 11:36:57 2018 # Machine : x86_64 # System : Linux # Release : 4.13.0-1011-azure # Version : #14-Ubuntu SMP Thu Feb 15 16:15:39 UTC 2018 # MPI Version : 3.1 # MPI Thread Environment: # Calling sequence was: # IMB-MPI1 pingpong # Minimum message length in bytes: 0 # Maximum message length in bytes: 4194304 # # MPI_Datatype : MPI_BYTE # MPI_Datatype for reductions : MPI_FLOAT # MPI_Op : MPI_SUM # # # List of Benchmarks to run: # PingPong #--------------------------------------------------- # Benchmarking PingPong # #processes = 2 #--------------------------------------------------- #bytes #repetitions t[usec] Mbytes/sec 0 1000 1.83 0.00 1 1000 1.85 0.54 2 1000 1.87 1.07 4 1000 1.87 2.14 8 1000 1.85 4.33 16 1000 1.87 8.55 32 1000 2.95 10.83 64 1000 3.07 20.85 128 1000 2.71 47.23 256 1000 2.84 90.00 512 1000 3.04 168.28 1024 1000 3.31 309.14 2048 1000 3.86 530.01 4096 1000 5.03 813.75 8192 1000 6.28 1305.49 16384 1000 8.17 2004.77 32768 1000 11.95 2741.40 65536 640 17.57 3729.09 131072 320 30.72 4266.63 262144 160 54.47 4812.46 524288 80 96.54 5430.53 1048576 40 181.33 5782.81 2097152 20 351.73 5962.44 4194304 10 695.96 6026.68 # All processes entering MPI_Finalize #------------------------------------------------------------ # Intel (R) MPI Benchmarks 2017 update 2, MPI-1 part #------------------------------------------------------------ # Date : Mon Mar 19 11:38:08 2018 # Machine : x86_64 # System : Linux # Release : 4.13.0-1011-azure # Version : #14-Ubuntu SMP Thu Feb 15 16:15:39 UTC 2018 # MPI Version : 3.1 # MPI Thread Environment: # Calling sequence was: # IMB-MPI1 pingpong # Minimum message length in bytes: 0 # Maximum message length in bytes: 4194304 # # MPI_Datatype : MPI_BYTE # MPI_Datatype for reductions : MPI_FLOAT # MPI_Op : MPI_SUM # # # List of Benchmarks to run: # PingPong #--------------------------------------------------- # Benchmarking PingPong # #processes = 2 #--------------------------------------------------- #bytes #repetitions t[usec] Mbytes/sec 0 1000 69.94 0.00 1 1000 74.05 0.01 2 1000 69.55 0.03 4 1000 68.32 0.06 8 1000 69.50 0.12 16 1000 78.11 0.20 32 1000 72.16 0.44 64 1000 69.27 0.92 128 1000 82.02 1.56 256 1000 70.59 3.63 512 1000 70.73 7.24 1024 1000 76.67 13.36 2048 1000 75.23 27.22 4096 1000 77.93 52.56 8192 1000 90.50 90.52 16384 1000 126.03 130.00 32768 1000 173.99 188.33 65536 640 284.46 230.39 131072 320 359.74 364.36 262144 160 892.34 293.77 524288 80 1653.34 317.11 1048576 40 2633.66 398.14 2097152 20 4512.97 464.69 4194304 10 8089.54 518.48 # All processes entering MPI_Finalize