叠颈辞顿别惫翱辫蝉による再现性のあるバイオインフォマティクス环境の构筑
?
11 likes?5,265 views
第31回 DDBJing 講習会 in 東京@JST 「叠颈辞顿别惫翱辫蝉による再现性のあるバイオインフォマティクス环境の构筑」
叠颈辞顿别惫翱辫蝉による再现性のあるバイオインフォマティクス环境の构筑
- 1. 叠颈辞顿别惫翱辫蝉による再现性のあるバイオインフォマティクス环境の构筑 Itoshi NIKAIDO, PhD <itoshi.nikaido@riken.jp> Unit Leader, Bioinformatics Research Unit RIKEN Advanced Center for Computer and Communication http://bit.accc.riken.jp/ (Version: 1.0)
- 2. 1. Cloud Computing 3つのCloud Computing 3つの仮想化技術 ! 2. Infrastructure as Code ハードウェア?ソフトウェア管理をプログラムする chef, vagrant ! 3. Bayes Linux: Bioinformatics Analysis Environment System BioDevOps.org RIKEN Cloud System
- 3. 林崎研@RIKEN GSC Mouse full-length cDNA sequencing FANTOM1-2 cDNA microarray, imprinted genes 上田研@RIKEN CDB ChIP-seq Single-Cell RNA-seq (Quartz-Seq) Research Outreach & Community Knoppix for Bio KNOB KGB 自己紹介 実験生物学の側で研究?オープンソースコミュニティとの関わり RIKEN ACCC Single-Cell RNA-Seq Epigenome BioDevOp Bioinformatics-jp
- 4. バイオインフォマティクス研究開発ユニット Advanced Center for Computing and Communication Informatics Biology 1. DNAシーケンサーデータ解析手法?実験手法の開発 2. 理研内外の実験研究者との共同研究?教育 3. 理研のバイオインフォマティクス研究の方向性を議論?ロールモデルになる xi θi G G0γ σ-?‐ a b 10#pg#total#RNA Ampli?ed#cDNA 1細胞RNA-Seq?新規エピゲノム実データ解析と実験技術の開発
- 5. データサイエンスとバイオインフォマティクス IT?統計?ドメイン知識の三位一体 ? データを活かすことがビジネスでは 必須に ? 統計と計算機、ドメイン知識の3つ を兼ね備えることが必須 ? バイオインフォとスキルが重複 ? バイオインフォの博士新卒は企 業へ ? アカデミアとの待遇に格差が大 きい http://www.ibm.com/developerworks/jp/opensource/library/os-datascience/?gure1.png
- 7. エバンジェリストモデルによるBioinformatics Infrastructureの整備 多くの研究者を救い、バイオインフォ研究も るモデル Sequencing Core Research Team/Unit Research Team/Unit Research Team/Unit Bioinformatics Evangelist Bioinformatics Research Unit Preventive medicine and applied genomics unit Bioinformatics Research Group, RIKEN ACCC Research Center ? ひとりのバイオインフォ研究 者あたり多くて2,3件程度の 共同研究! ? 理研では、解析の専門性にロー カル性がある (CLSTは転 写、IMSはゲノムなど)! ? センターでバイオインフォを 支える人間を積極的にサポー トする
- 9. Providing bioinformatics analysis environment Virtual machine with NGS Data analysis tools and pipelines Bioinformatics Research Unit User (inside/outside RIKEN) Browser, tools, Pipelines Install and setup tools (BioDevOps) Development of tools Browser & Pipelines SSH, HTTPS Calc.Result Browser & Pipeline Consultation TutorialUser’s tools Sequencing Facility Cloud Computer sequence data Sample
- 10. Introduction of Bioinformatics research activity in RIKEN ACCC Bioinformatics: 研究とエンジニアリング ? バイオインフォマティクス研究に集中したい ? データ解析環境を構築することは手間がかかる ?計算機の調達や管理、保守の手間がかかる ? NGS解析はたくさんのツールの組み合わせ ? ツールのアップデートが速い ? たくさんのバイオデータベースを使う ? 解析の再現性担保 ? 論文のマテメソは記載が不足しており解析が再現できない
- 11. IT インフラ アプリケーション開発?リリース ビジネスアイディア マーケット http://ja.wikipedia.org/wiki/DevOps. modi?ed DevOps = Development + Operations ITインフラとアプリケーション開発の一体化 ビジネスアイディアを素早くマーケットに出すための ITに関する思想とその技術
- 12. データ解析用PCクラスターのセットアップ データ解析ツールやパイプ ラインシステムの開発 Bioinformatics Data analysis BioDevOps データ解析やソフト、デー タベースの品質管理 研究アイディア 実験データ 論文出版 BioDevOps = Bioinfomatics + Development + Operations バイオインフォマティクス解析とITインフラとアプリケーション開発の一体化 データ解析の実施 研究アイディアを素早く論文として出すための バイオインフォに関する思想とその技術
- 13. ? バイオインフォマティクス研究に集中したい ? データ解析環境を構築することは手間がかかる ?計算機の調達や管理、保守の手間がかかる ? NGS解析はたくさんのツールの組み合わせ ? ツールのアップデートが速い ? たくさんのバイオデータベースを使う ? 解析の再現性担保 ? 論文のマテメソは記載が不足しており解析が再現できない 解析環境をコードとして管理し仮想計算機で利用する BioDevOps = 2つの技術 Cloud computing Infrastructure as Code
- 14. 1. Cloud Computing 3つのCloud Computing 3つの仮想化技術 ! 2. Infrastructure as Code ハードウェア?ソフトウェア管理をプログラムする chef, vagrant ! 3. Bayes Linux: Bioinformatics Analysis Environment System BioDevOps.org RIKEN Cloud System
- 15. Providing bioinformatics analysis environment Virtual machine with NGS Data analysis tools and pipelines Bioinformatics Research Unit Cloud Computer User (inside/outside RIKEN) BioDevOps Install and setup tools Development of tools Browser & Pipelines SSH, HTTPS Calc.Result Browser & Pipeline Consultation TutorialUser’s tools
- 16. ? たくさんのコンピュータリソースがプールされている ? このリソースから、ネットワーク、サーバー、ストレージ、 アプリケーション、サービスを構築できる ? このプールから便利かつオンデマンドにアクセスし、リ ソース提供を受けられる 解析環境をコードとして管理し仮想計算機で利用する Cloud computing NIST Cloud Computing Reference Architectureより
- 17. ? Saas (Software as a Service, さーす) ? アプリケーションを提供 ? DropBox, Gmail, iCoudなど ? PaaS (Platform as a Service, ぱーす) ? アプリケーションを実行できるコンピュータリソースを 提供 ? Amazon Web Service, Google App Engine, Microsoft Azure, Heroku ? IaaS（Infrastructure as a Service, イアース/ アイアス) ? コンピュータシステムを構築できるリソースを提供 ? Amazon EC2 解析環境をコードとして管理し仮想計算機で利用する 3つのCloud computing
- 19. Hypervisor OSやハードウェア上に仮想化するためのソフトウェアが動 く。さらにその上でOSが動作する (VirtualBox, Xen, VMware) ! Container OS上にプロセス空間やネットワーク、ユーザID空間を区切っ て、独立したOSのように動作する (dockerなど)
- 21. 1. Cloud Computing 3つのCloud Computing 3つの仮想化技術 ! 2. Infrastructure as Code ハードウェア?ソフトウェア管理をプログラムする chef, vagrant ! 3. Bayes Linux: Bioinformatics Analysis Environment System BioDevOps.org RIKEN Cloud System
- 22. Chef: プログラムを管理するプログラム 3つのツール: chef, knife, Vegrant http://www.getchef.com/chef/ User 仮想計算機へアクセス chef cookbookを 実行しプログラムを 自動セットアップ 3. chef cookbookを 配信するサーバー 1. chef cookbookを実装し コード共有レポジトリで管理 2. chef cookbookを 配信サーバーへ提供 0. vegrantでマシンを管理
- 23. Chef recipe and Integration Test Example: Installing NCBI BLAST by chef debian, Ubuntuの場合は”ncbi-blast+”というパッケージをインストール CentOSの場合はNCBIからRPMパッケージを取ってきてインストール
- 24. Chef recipe and Integration Test Example: Installing NCBI BLAST by chef blastpを実行できたらテスト成功
- 25. deploy: ソフトウェア環境を利用可能なように配置する Vagrant: どのようなクラウドコンピュータでも簡単に環境をインストールできる 2. VMイメージ を取得 3. deploy ローカル クラウド ユーザ 仮想計算イメージレポジトリ 開発者 a. 仮想計算機 イメージ開発 1. VM構築を指示 b. VMイメージ登録 4. VMを利用 (SSH, HTTPなど) VMが実行される計算機
- 26. 1. Cloud Computing 3つのCloud Computing 3つの仮想化技術 ! 2. Infrastructure as Code ハードウェア?ソフトウェア管理をプログラムする テストと継続的インテグレーション ソーシャルソースコードレボジトリ ! 3. Bayes Linux: Bioinformatics Analysis Environment System BioDevOps.org RIKEN Cloud System
- 27. Bayes Linux: Bioinformatics Analysis Environment Virtual machine with NGS Data analysis tools and pipelines
- 28. Bioinformatics Analysis Environment as Code バイオインフォ解析環境が完備されたLinuxを仮想マシンとして提供する http://www.getchef.com/chef/ ?解析環境セットアップ情報 はすべてコード ?ソースコード管理システム でバージョン管理 ?コードのテスト ?Zabbixによる計算リソース の監視 ?データベースミラー User Zabbix
- 30. Bayes Linux on RIKEN Cloud System Virtual machine with NGS Data analysis tools and pipelines Bioinformatics Research Unit User (inside/outside RIKEN) Browser, tools, Pipelines Install and setup tools (BioDevOps) Development of tools Browser & Pipelines SSH, HTTPS Calc.Result Browser & Pipeline Consultation TutorialUser’s tools Sequencing Facility Cloud Computer sequence data Sample
- 31. ? Cloud system is located at Wako campus ? You can access your virtual machine (Ubuntu 14.04 LTS) ? with root privileges ? via SSH and HTTP ? from only Wako, Yokohama, Kobe and Tsukuba ? We provide ? over 125 tools on Galaxy, 900 R/Bioconductor Packages and 600 command line tools (DebianMed) ? one virtual machine per one research group ? 10 virtual machines at drawing logs ? 8 CPU cores (2GHz), 64 GB RAM and 3 TB strage/VM ? NFS for mouse/human reference genome/transcriptome Spec. of virtual machine Bioinformatics Analysis Environment for Your Laboratory Use
- 32. WFその1: FastqMcf > Bowtie2 > eXpress WFその2: FastqMcf > Sail?sh 共通: 実体パスの取得 共通: カウントデータのマージテーブル作成 > edgeR > gene Symbol付加 １）RNA-seq DEG解析WFを作成
- 33. 世界情勢と類似のサービス 叠颈辞顿别惫翱辫蝉による再现性のあるバイオインフォマティクス环境の构筑 ? illumina ? BaseSpace: クラウドでのデータ解析環境。アプリ実装や共有ができ る ? CloudBioLinux ? X年続く老舗。CloudManなど自前のクラスタ構築ツールもある ? Knoppix for Bio ? Bioinformatics向けLiveCD/LiveDVD Linuxの先駆け。書籍化された。 メン終了 ? パッケージ集?管理ツール ? DebianMed ? LPM
- 34. 問題点から考える将来 叠颈辞顿别惫翱辫蝉による再现性のあるバイオインフォマティクス环境の构筑 ? 計算が遅い ? コンテナ仮想化が主流に ? コンテナ仮想の分散計算環境の発展 ? 複数VMから構成される計算環境のオーケストレーションが難しい ? 分散計算環境を自動的に構築しテストする ? パイプラインシステムが未熟である ? 大量データを処理しやすいパイプラインシステム ? 解析パイプラインのセマンティクスと共有 ? 対話型統計解析ツールとの統合 ? ipython, RStudio など
- 35. 1. Cloud Computing 3つのCloud Computing 3つの仮想化技術 ! 2. Infrastructure as Code ハードウェア?ソフトウェア管理をプログラムする テストと継続的インテグレーション ソーシャルソースコードレボジトリ ! 3. Bayes Linux: Bioinformatics Analysis Environment System BioDevOps.org RIKEN Cloud System
- 36. 叠颈辞顿别惫翱辫蝉による再现性のあるバイオインフォマティクス环境の构筑 Itoshi NIKAIDO, PhD <itoshi.nikaido@riken.jp> Unit Leader, Bioinformatics Research Unit RIKEN Advanced Center for Computer and Communication http://bit.accc.riken.jp/ ? RIKEN ACCC ? BiT ? Manabu Ishida (DevOps) ? Mika Yoshimura, PhD (Galaxy & pipeline) ? Akihiro Matsushima (Infrastructure) ? Koki Tsuyuzaki, PhD (Pipeline for RNA-Seq) ? Preventive medicine and applied genomics unit ? Wako unit & RIKEN Cloud Team ? Fujitsu SSL ? Yamamoto Go ? RIKEN President's Discretionary Fund