颁丑补颈苍别谤のテスト环境と顿辞肠办别谤での颁鲍顿础の利用
28 likes16,568 views
2016/03/19にChainer meetup #2で、Chainerのテスト環境をDockerで整備した話を話しました
![[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn.slidesharecdn.com/ss_thumbnails/jsai2018tutorialslideshare-180607030706-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (17)
Similar to 颁丑补颈苍别谤のテスト环境と顿辞肠办别谤での颁鲍顿础の利用 (20)
More from Yuya Unno (20)
Recently uploaded (11)
颁丑补颈苍别谤のテスト环境と顿辞肠办别谤での颁鲍顿础の利用
- 2. ?自?己紹介 海野 ?裕也 l?? -2008 東?大情報理理?工修?士 l?? ?自然?言語処理理 l?? 2008-2011 ?日本アイ?ビー?エム（株）東京基礎研 l?? テキストマイニング、?自然?言語処理理の研究開発 l?? 2011- （株）プリファードインフラストラクチャー l?? ?自然?言語処理理、情報検索索、機械学習、テキストマイニングなど の研究開発 l?? 研究開発系案件、コンサルティング l?? JubatusやChainerの開発 l?? 最近は対話処理理 NLP若若?手の会共同委員??長（2014-） 「オンライン機械学習」（2015, 講談社）2
- 4. 4
- 5. 初期のChainerが主に依存しているライブラリ l?? OS l?? Ubuntu14.04, CentOS 7 l?? Python l?? 2.7, 3.4 l?? CUDA l?? 6.5, 7.0 l?? cuDNN l?? v2 5 2x2x2=8通りの環境
- 6. そんなにテストいるの???？ l?? protobufがPy3で動かない l?? 依存してたライブラリがある?日突然消えた l?? CUDA 6.5だけ最適化のバグを踏む（キャスト周 り） l?? 新しいcuDNNがABIを壊す l?? NumPyのバージョンが上がると挙動が変わる l?? pipやsetuptoolsのバージョンがそれぞれ10個 位ある l?? Python 3.5.0だけGC時のバグを踏む 6
- 7. 悲痛な叫び 7
- 8. ?自動テストをしよう 8
- 11. Jenkinsとは？ l?? 最もメジャーなオープンソースの継続的インテ グレーションツール l?? リポジトリを監視して、特定の条件でジョブを ?自動実?行行してくれる l?? テストを実?行行するようにすれば、?自動テスト環 境ができる 11
- 13. Dockerとは？ l?? コンテナ型仮想化技術 l?? 詳細を語れるほど詳しくないのでググって下さい l?? 起動が超早い（重要） l?? Dockerfileに環境のセットアップ?方法を書いて おくとキャッシュが効く l?? Dockerfile内に環境のセットアップを書いておく 13
- 14. こんな感じ 14
- 17. Dockerfileの準備 l?? .runファイルをダウンロードして解凍 l?? 中のドライバとCUDAをインストール RUN ./installers/NVIDIA-Linux- x86_64-352.39.run -s -N --no-kernel-module && ./installers/cuda-linux64- rel-7.5.18-19867135.run --noprompt 17
- 18. 問題1: GPUが?見見えない l?? ふつうに起動するとGPUがゲストから?見見えない l?? --deviceオプションを渡すと?見見えるようになる $ docker run --device /dev/nvidia0 -- device /dev/nvidiactl --device /dev/nvidia- uvm chainer nvidia-smi 18
- 19. 問題2: 古いCUDAが動かない l?? ホストとゲストで別バージョンを?入れると動かない l?? 同じバージョンのドライバを使わないとダメ l?? ホストもゲストもCUDA7.5付属のドライバだけ?入れて、 ゲスト側はライブラリだけ別のバージョンを?入れる RUN ./installers/NVIDIA-Linux- x86_64-352.39.run -s -N --no-kernel-module RUN ./installers/cuda-linux64- rel-7.0.28-19326674.run -noprompt 19
- 20. 問題3: nvidia-uvmが消失する l?? 起動直後には ?/dev/nvidia-uvm がない l?? 経験的に、sampleのdeviceQueryを実?行行すると ?生成されることが知られている l?? /dev/nvidia-uvmがなかったらdeviceQueryを実 ?行行するようにスクリプトを書いておく（あとで もっといい?方法があるよ） 20
- 21. 問題4: ドライババージョンが合わない l?? nvidia-352.63が公開されて、バージョンが上 がっちゃった l?? ホストドライバが新しくなって、バージョンの 不不?一致問題が再燃? ＼(^o^)／ l?? ドライバのバージョンを戻せば???いいの か???？ 21
- 26. nvidia-dockerでのCUDA, cuDNNのバージョン l?? CUDA 6.5, 7.0, 7.5 l?? cuDNN v2, v3, v4 l?? ?自分で?用意しなくていいのね??? 26
- 28. テスト環境のソース類 l?? https://github.com/pfnet/chainer-test l?? run_xxx.pyを実?行行すると、Dockerfileを?生成し て、docker buildとnvidia-docker runを実?行行 l?? -iを渡すと、bashが起動してデバッグできる 28
- 29. ところで、作ってる間に増えてきた??? l?? OS l?? Ubuntu 14.04, CentOS 7 l?? Python l?? 2.7, 3.4, 3.5 l?? CUDA l?? 6.5, 7.0, 7.5 l?? cuDNN l?? v2, v3, v4 l?? numpy l?? 1.9, 1.10 29 2x3x3x3x2=108通り
- 30. ?目が??????する 30
- 31. え、まだ増えるの??? l?? OS l?? Ubuntu 14.04, CentOS 7, Ubuntu 16.04 l?? Python l?? 2.7, 3.4, 3.5 l?? CUDA l?? 6.5, 7.0, 7.5, 8.0 l?? cuDNN l?? v2, v3, v4 l?? numpy l?? 1.9, 1.10, 1.11 l?? protobuf l?? 2.7, 3.0 31
- 32. ご清聴ありがとうございました