![計算に長時間かかる場合や、計算リソースを多く
使う場合はqsubコマンドを使ってください
$ singularity exec /usr/local/biotools/b/bwa:0.7.17--pl5.22.0_2 bwa
index hg38.fasta
WARNING: Skipping mount
/opt/pkg/singularity/3.7.1/var/singularity/mnt/session/etc/resolv.conf
[files]: /etc/resolv.conf doesn't exist in container
[bwa_index] Pack FASTA... 22.05 sec
[bwa_index] Construct BWT for the packed sequence...
[BWTIncCreate] textLength=6189699726, availableWord=447529688
[BWTIncConstructFromPacked] 10 iterations done. 99999998 characters
processed.
…
[bwa_index] Update BWT... [bwt_bwtupdate_core] Failed to allocate
3094849924 bytes at bwtindex.c line 158: Cannot allocate memory
$
例えばBWAを使ってヒトゲノムのインデックスを作る場合に、ログインノード上で以下の
ように実行しても構わないのですが、メモリが足りないなどの問題が発生しがちです。
大規模計算はqsubコマンドを用い、compute node上で計算してください。](https://image.slidesharecdn.com/21-220412044618/85/pptx-11-320.jpg)
![[DDBJing31] DDBJ と NIG SuperComputer の使い方](https://cdn.slidesharecdn.com/ss_thumbnails/31ddbjingddbj-150622075636-lva1-app6891-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](https://cdn.slidesharecdn.com/ss_thumbnails/20220325okimura-220405024717-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to 遗伝研スパコンを使った解析の并列化.辫辫迟虫 (20)
遗伝研スパコンを使った解析の并列化.辫辫迟虫
- 2. Contents ? 並列実行で処理を早く終わらせる ジョブスケジューラの使い方 ? ツールのインストールの手間を無くす biocontainers Singularityイメージの使い方 ? 課金サービスについて 課金サービスの利用には利用计画表の提出が必要です。 => 知らないうちに課金されることはありません。
- 4. Beowulf型スパコン The Beowulf Project was started at CESDIS(Center of Excellence in Space Data & Information Sciences), which is operated for NASA by USRA in early 1994. In the summer of 1994 the first Beowulf 16 node cluster was constructed for the Earth and Space Sciences project, (ESS), at the Goddard Space Flight Center (GSFC). The project quickly spread to other NASA sites, other R&D labs and to universities around the world. http://faculty.bus.olemiss.edu/breithel/final %20backup%20of%20bus620%20summe r%202000%20from%20mba%20server/sta n_cook/beowulf.htm
- 5. 一般解析区画のシステム構成（概要） ● ゲートウェイ: クラスタ計 算機と外界をつないでい る認証用計算機。 ● 大容量高速ストレージ : 全ての計算機(ノード）か らユーザーのホームディ レクトリにアクセスでき る。 ● ジョブスケジューラは Univa Grid Engine(UGE)を使 用している。
- 6. ログインノードと計算ノード ジョブスケジューラで管理された計算機はログインノードと計算 ノードに大別されます。 ● ログインノード(login node)はユーザがプログラム開発や、小 規模で短時間で終わる計算をその場で対話的に行うための計 算機です。(合計約300コア。最長3日。） ● 計算ノード(compute node)は、長時間かかる計算、大量のCPU やメモリを使う計算を行うための計算機です。(合計約5000コ ア。最長2ヶ月 => 4ヶ月)
- 7. Grid Engineとはなにか Internet Archive Wayback Machineより http://web.archive.org/web/20151011170032/https://blogs.oracle .com/templedf/entry/sun_grid_engine_for_dummies Let's Begin at the Beginning ジョブスケジューラ、リソーススケジューラ ● クラスタ計算機のOSとも言える。 ● HPC系 : Sun/Univa/Altair Grid Engine, Slurm等 ● Web/DB系では Apache Mesos, Kubernetes等 Grid Engineでは基本的なジョブの種類は4種類。 ● Interactive Job ● Batch Job ● Parallel Job ● Array Job
- 8. ログインノード上の作業例: Javaプログラム実行 you@gw1:~ (2021-09-26 15:02:28) $ qlogin Your job 13862654 ("QLOGIN") has been submitted waiting for interactive job to be scheduled ... Your interactive job 13862654 has been successfully scheduled. Establishing /home/geadmin/UGER/utilbin/lx-amd64/qlogin_wrapper session to host at139 ... Last login: Sun Sep 26 14:49:08 2021 from gw1 you@at139:~ (2021-09-26 15:03:36) $ java -version Error occurred during initialization of VM Could not allocate metaspace: 1073741824 bytes you@at139:~ (2021-09-26 15:03:39) $ ログインノードでJavaプログラムを起動しようとすると、 メモリが足りない旨のエラーが出ます。
- 9. ログインノード上の作業例: Javaプログラムのメモリ問題の解消 you@at139:~ (2021-09-26 15:03:36) $ java -version Error occurred during initialization of VM Could not allocate metaspace: 1073741824 bytes you@at139:~ (2021-09-26 15:03:39) $ export MALLOC_ARENA_MAX=2 oogasawa@at139:~ (2021-09-26 15:13:34) $ java -version openjdk version "11.0.1" 2018-10-16 LTS OpenJDK Runtime Environment Zulu11.2+3 (build 11.0.1+13-LTS) OpenJDK 64-Bit Server VM Zulu11.2+3 (build 11.0.1+13-LTS, mixed mode) you@at139:~ (2021-09-26 15:13:36) $ glibc 2.10以降で arena機能が導入されたことにより、Javaプログラムにとってはメモリ確保 量が不必要に大きくなる（常にヒープメモリの他に8GB程とられる）結果となっています。 （Javaから何かNativeコードを呼んでいるのでなければ）環境変数 MALLOC_ARENA_MAX に小 さな値を設定してください。
- 10. ログインノードで使えるメモリを増やす にはqlogin 時にメモリ量を指定する you@gw1:~ (2021-09-26 15:40:28) $ qlogin -l mem_req=10G -l s_vmem=10G Your job 13862667 ("QLOGIN") has been submitted waiting for interactive job to be scheduled ... Your interactive job 13862667 has been successfully scheduled. Establishing /home/geadmin/UGER/utilbin/lx-amd64/qlogin_wrapper session to host at137 ... Last login: Sun Sep 26 14:45:35 2021 from gw1 you@at137:~ (2021-09-26 15:40:41) $ java -Xms7G -version openjdk version "11.0.1" 2018-10-16 LTS OpenJDK Runtime Environment Zulu11.2+3 (build 11.0.1+13-LTS) OpenJDK 64-Bit Server VM Zulu11.2+3 (build 11.0.1+13-LTS, mixed mode) you@at137:~ (2021-09-26 15:41:05) $
- 11. 計算に長時間かかる場合や、計算リソースを多く 使う場合はqsubコマンドを使ってください $ singularity exec /usr/local/biotools/b/bwa:0.7.17--pl5.22.0_2 bwa index hg38.fasta WARNING: Skipping mount /opt/pkg/singularity/3.7.1/var/singularity/mnt/session/etc/resolv.conf [files]: /etc/resolv.conf doesn't exist in container [bwa_index] Pack FASTA... 22.05 sec [bwa_index] Construct BWT for the packed sequence... [BWTIncCreate] textLength=6189699726, availableWord=447529688 [BWTIncConstructFromPacked] 10 iterations done. 99999998 characters processed. … [bwa_index] Update BWT... [bwt_bwtupdate_core] Failed to allocate 3094849924 bytes at bwtindex.c line 158: Cannot allocate memory $ 例えばBWAを使ってヒトゲノムのインデックスを作る場合に、ログインノード上で以下の ように実行しても構わないのですが、メモリが足りないなどの問題が発生しがちです。 大規模計算はqsubコマンドを用い、compute node上で計算してください。
- 12. 典型的なqsubコマンド用スクリプトの書き方 #!/bin/bash #$ -cwd # <= カレントディレクトリで実行。 #$ -V # <= 現在の環境変数を全てジョブに渡す。 #$ -l epyc # <= 使用するキューの指定 #$ -l d_rt=192:00:00 # ジョブの最大実行時間の指定（デフォルトは3日、72:00:00) #$ -l s_rt=192:00:00 # 同上 #$ -l s_vmem=20G # 使用するメモリ量 #$ -l mem_req=20G # 同上 #$ -N an_example # ジョブの名前 #$ -S /bin/bash singularity exec /usr/local/biotools/b/bwa:0.7.17--pl5.22.0_2 ? bwa index hg38.fasta 以下のようなシェルスクリプト(bwa_index.sh)を作って qsub bwa_index.sh とコマンドラインから入力?実行すれば良い。
- 13. 遺伝研スパコンの待ち行列(Queue) 遺伝研スパコンでは、計算ノードの種類ごとにUGEキューが設け られています。 epyc Thinノード Type1b (AMD EPYC7702, 128 CPU cores/node, 4GB memory/CPU core) Thinノード Type1a (AMD EPYC7501, 64 CPU cores/node, 8GB memory/CPU core) intel Thinノード Type2a (Intel Xeon Gold 6130, 32 CPU cores/node, 12GB memory/CPU core) gpu Thinノード Type2b (Intel Xeon Gold 6136, 24 CPU cores/node, 16GB memory/CPU core) short (実行時間 < 1hr) Thinノード Type2b (Intel Xeon Gold 6136, 24 CPU cores/node, 16GB memory/CPU core) medium Medium計算ノード (Intel Xeon Gold 6148, 80 CPU cores/node, 38.4GB moemory/CPU core)
- 14. CPUとメモリの確保の様子 CPU Memory Compute node CPU Memory Compute node 先程までの例は、１個のCPUコアと、それに対応するメモリを指定する場合の話。 qsubコマンド実行時にメモリ 量を指定しない場合（デフォ ルト値）例えばThinノード Type1aだとCPUコア1 個あた り8GBのメモリが割り当てら れる。（計算機の種類、キュ ーの種類によって異なる。）
- 15. 並列ジョブ(1) -pe def_slot 2-10 CPU Memory Compute node CPU Memory Compute node -pe def_slotを指定すると、必ず同一の計算ノード上に指定したコア数を確保する。 #!/bin/bash #$ -cwd #$ -V #$ -l epyc #$ -l d_rt=192:00:00 #$ -l s_rt=192:00:00 #$ -pe def_slot 2 #$ -l s_vmem=20G #$ -l mem_req=20G #$ -N an_example #S –S /bin/bash make -j 2
- 16. 並列ジョブ(2) -pe mpi CPU Memory Compute node CPU Memory Compute node -pe mpiを指定すると、なるべく別の計算ノード上に指定したコア数を確保する。 #!/bin/bash #$ -cwd #$ -V #$ -l epyc #$ -l d_rt=192:00:00 #$ -l s_rt=192:00:00 #$ -pe mpi 2 #$ -l s_vmem=20G #$ -l mem_req=20G #$ -N an_example #$ -S /bin/bash your_program
- 17. 並列ジョブ(3) -pe mpi-fillup 10 CPU Memory Compute node CPU Memory Compute node -pe mpi-fillupを指定すると、なるべく同一の計算ノードに詰めて指定したコア数を確保 する。 #!/bin/bash #$ -cwd #$ -V #$ -l epyc #$ -l d_rt=192:00:00 #$ -l s_rt=192:00:00 #$ -pe mpi-fillup 4 #$ -l s_vmem=20G #$ -l mem_req=20G #$ -N an_example #$ -S /bin/bash your_program
- 18. 並列ジョブ(4) -pe mpi_N CPU Memory Compute node CPU Memory Compute node -pe mpi_Nを指定すると、各計算ノード上に指定したコア数を確保する。 mpi_4, mpi_8, mpi_16, mpi_32, mpi_64, mpi_5, mpi_10, mpi_20 が用意されている。 #!/bin/bash #$ -cwd #$ -V #$ -l epyc #$ -l d_rt=192:00:00 #$ -l s_rt=192:00:00 #$ -pe mpi_4 2 #$ -l s_vmem=8G #$ -l mem_req=8G #$ -N an_example #$ -S /bin/bash your_program
- 19. 並列ジョブでどの計算ノードが確保され たかを知る方法 確保された計算ノードがどれであるかはqstat -j ジョブ番号で表示 されるexec_host_list の行から分かる。 $ qstat job-ID prior name user state submit/start at queue jclass slots ja-task-ID ------------------------------------------------------------------------------------------------------ 13862312 0.25410 QLOGIN you r 09/25/2021 23:34:49 login.q@at138 1 13862486 0.25194 QLOGIN you r 09/26/2021 10:15:28 login.q@at139 1 13862667 0.25084 QLOGIN you r 09/26/2021 15:40:40 login.q@at137 1 13862992 0.25039 an_example you r 09/26/2021 18:54:09 epyc.q@at143 2 13862987 0.25020 an_example you r 09/26/2021 19:44:58 epyc.q@at154 1 13862989 0.25040 an_example you qw 09/26/2021 18:50:50 2 $ qstat -j 13862992 | grep exec_host_list exec_host_list 1: at143:2
- 20. アレイジョブ 一度に多数のジョブ（バッチジョブまたは並列ジョブ）をシステムに投入 したい場合はアレイジョブ機能を利用してください。 #!/bin/bash #$ -cwd #$ -V #$ -l epyc #$ -l d_rt=192:00:00 #$ -l s_rt=192:00:00 #$ -t 1383 #$ -tc 100 #$ -pe def_slot 4 #$ -l s_vmem=2G #$ -l mem_req=2G #$ -N an_example #S –S /bin/bash unzip_ddbj_release.sh アレイジョブ内の各タスクは SGE_TASK_ID環境変数の値を 確認して、それぞれ異なる処理を行うことが可能です。 例: DDBJ releaseファイル1383個を並列で解凍。 最大の同時実行所部数を100とする。 解凍には並列処理版のzipを用い4並列で解凍する。
- 21. 2. ツールのインストールの手間を無くす biocontainers Singularityイメージの使い方 https://service.vsc.ac.at/slides/singularity/01_introduction/singularity.html#(7) より Singularityはスパコン用のコンテナ システム。バーチャルマシンのよ うに別のOSを実行可能。（しかし Dockerとちがってどちらかというと Javaのone-jarに使い方が近い。依存 ライブラリを全部詰めた実行プロ グラム=コンテナイメージという感 覚。） Singularityではコンテナには書き込 み不可。ホームディレクトリがそ のまま見えておりここに読み書き できる。 共用計算機でのセキュリティー確 保のためユーザー権限だけで実行 される。
- 22. Biocontainers Singularityイメージの使い方 $ singularity exec ? /usr/local/biotools/b/bwa:0.7.17--pl5.22.0_2 ? bwa index hg38.fasta /usr/local/biotools/b/bwa:0.7.17--pl5.22.0_2 BWAのバージョン 元になったDockerコン テナイメージのバー ジョン
- 26. 遺伝研スパコン上のSingularityイメージの リスト作成と検索の方法 # スパコン上でSingularityコンテナイメージのリストを作る。 # (1秒ほどでできる) $ find /usr/local/biotools/ > biotools.list.txt $ wc biotools.list.txt 59659 59659 3592272 biotools.list.txt # grepで検索 $ grep gatk biotools.list.txt ... /usr/local/biotools/g/gatk4:4.0a1.2.7.2--py36_1 /usr/local/biotools/g/gatk-framework:3.6.24--hdfd78af_6 /usr/local/biotools/g/gatk:3.8--py27_3 /usr/local/biotools/g/gatk4-spark:4.1.4.0--1 ...
- 27. 3.課金サービスについて ? 利用可能ストレージ容量の拡張 ? ユーザー登録時は1人1TBまで使えます。 ? 利用计画表を提出することにより（グループ全体で）30TBまで無料。 40TBから課金。(10TB刻み） ? アドバンスリザベーション ? UGEの機能を使って、リソースをあらかじめ予約し、その予約領域に 対してジョブをqsubする機能。 ? 個人ゲノム解析区画の利用（ノード貸し）
- 28. 利用计画表
- 29. ご清聴ありがとうございました。 ２８日 セッション３ 現場におけるビッグデータの利用（座長：有田正規） ークラウド技術から種分類まで、生命科学データの活用事例を紹介しますー 8:45 丹生智也（情報研?遺伝研）「解析の再現性を担保するインタークラウド技術」 9:15 秦千比呂（DDBJ）「個人ゲノム解析が可能にした乳癌のhypomorph変異検出」 9:45-10:15 飯塚朋代（DDBJ）「伝統アプローチ×NGS解析で探る真菌類の形態進化」