![デバッグモード
? chainer.set_device(True)で使えます
? NaNの検出デモ
In [1]: import chainer, numpy
In [2]: chainer.set_debug(True)
In [3]: x = chainer.Variable(numpuy.array([float(‘nan’)], ’f’))
In [4]: chainer.functions.identity(x)
-----------------------------------------------------------
RuntimeError Traceback (most recent call last)
<ipython-input-4-e234ae95dfb6> in <module>()
----> 1 chainer.functions.identity(x)
=========省略=========
RuntimeError: NaN is detected on forward computation
7/18](https://image.slidesharecdn.com/20160319chainermeetup02updates-160319061012/85/Chainer-v1-6-v1-7-7-320.jpg)
![ファンクションフック
? 例えば時間を測るフックが作れます：TimerHook
In [1]: import chainer, chainer.function_hooks, numpy
In [2]: h = chainer.function_hooks.TimerHook()
In [3]: link = chainer.links.Linear(5, 5)
In [4]: with h:
...: link(chainer.Variable(numpy.zeros((3, 5), 'f')))
...:
In [5]: print(h.total_time())
0.011421918869
In [6]: print(h.call_history)
[(<chainer.functions.connection.linear.LinearFunction object
at 0x7fb18d9ff790>, 0.011421918869018555)]
8/18](https://image.slidesharecdn.com/20160319chainermeetup02updates-160319061012/85/Chainer-v1-6-v1-7-8-320.jpg)
![Variable.debug_print
? debug_print()を呼ぶだけ
In [1]: import chainer, numpy
In [2]: d = numpy.random.uniform(-1, 1, (3, 5)).astype('f')
In [3]: x = chainer.Variable(d)
In [4]: print(x.debug_print())
<variable at 0x7fac1017a790>
- device: CPU
- volatile: OFF
- backend: <type 'numpy.ndarray'>
- shape: (3, 5)
- dtype: float32
- statistics: mean=-0.02048243, std=0.46310186
- grad: None
9/18](https://image.slidesharecdn.com/20160319chainermeetup02updates-160319061012/85/Chainer-v1-6-v1-7-9-320.jpg)
Chainer v1.6からv1.7の新機能
- 1. Chainer v1.6からv1.7の新機能 2016/03/18 Chainer Meetup #02@ドワンゴ （株）Preferred Networks 奥田 遼介
- 2. 自己紹介 奥田 遼介 ? -2014東北大学 修士 ? 文字列処理など ? 2014 （株）プリファードインフラストラクチャー ? 2014- （株）プリファードネットワークス ? チーフアーキテクト ? 映像解析系、製造業系にかかわる研究開発 ? ChainerやCuPyの開発 最新版v1.7.1 (2016/3/15) 2/18
- 3. 前回のChainer Meetup #01（2015/12/19） からのアップデート ? 2016/1/19 v1.6.0 ? 2016/2/ 3 v1.6.1 ? 2016/2/17 v1.6.2 ? 2016/3/ 1 v1.7.0 ? 2016/3/15 v1.7.1 ? マイナー2回 ? リビジョン3回 3/18
- 4. Issue/PRの統計 0 20 40 60 80 100 120 v1.6.0 v1.6.1 v1.6.2 v1.7.0 v1.7.1 v1.6.0 v1.6.1 v1.6.2 v1.7.0 v1.7.1 feature 30 22 bug 25 14 2 4 7 enhancement 14 7 6 7 2 install 3 3 1 3 test 20 2 8 3 4 document 10 6 5 8 7 example 2 1 3 1 4/18
- 5. 互換性ポリシーの作成 v1.6.0 ? 互換性のポリシーを作りました (#829) ? メジャー ：不定期 ? 後方互換性のない変更を含む ? マイナー ：6週間ごと ? 新機能の追加 ? 後方互換性は維持する ? リビジョン ：2週間ごと ? バグ修正 ? ドキュメントに基づいた互換性維持 ? 互換性はドキュメントに書かれた内容に従って維持されます 5/18
- 6. 新しいコア機能 ? デバッグモードの導入(#899) ? forward/backwardの値のNaNチェックなどを行う ? softmax_cross_entorpyではlabelの範囲チェックも ? 有効にするとオーバーヘッドがあります ? ファンクションフックの追加(#933) ? forward/backward の呼び出し時にフックを仕掛けることが可 能になった ? Variable.debug_printメソッドの追加(#830) ? data とgradについて、device ID, shape, dtype 統計情報を表 示 6/18
- 7. デバッグモード ? chainer.set_device(True)で使えます ? NaNの検出デモ In [1]: import chainer, numpy In [2]: chainer.set_debug(True) In [3]: x = chainer.Variable(numpuy.array([float(‘nan’)], ’f’)) In [4]: chainer.functions.identity(x) ----------------------------------------------------------- RuntimeError Traceback (most recent call last) <ipython-input-4-e234ae95dfb6> in <module>() ----> 1 chainer.functions.identity(x) =========省略========= RuntimeError: NaN is detected on forward computation 7/18
- 8. ファンクションフック ? 例えば時間を測るフックが作れます：TimerHook In [1]: import chainer, chainer.function_hooks, numpy In [2]: h = chainer.function_hooks.TimerHook() In [3]: link = chainer.links.Linear(5, 5) In [4]: with h: ...: link(chainer.Variable(numpy.zeros((3, 5), 'f'))) ...: In [5]: print(h.total_time()) 0.011421918869 In [6]: print(h.call_history) [(<chainer.functions.connection.linear.LinearFunction object at 0x7fb18d9ff790>, 0.011421918869018555)] 8/18
- 9. Variable.debug_print ? debug_print()を呼ぶだけ In [1]: import chainer, numpy In [2]: d = numpy.random.uniform(-1, 1, (3, 5)).astype('f') In [3]: x = chainer.Variable(d) In [4]: print(x.debug_print()) <variable at 0x7fac1017a790> - device: CPU - volatile: OFF - backend: <type 'numpy.ndarray'> - shape: (3, 5) - dtype: float32 - statistics: mean=-0.02048243, std=0.46310186 - grad: None 9/18
- 10. 新しい関数（Chainer）その１ ? activation ? elu (#754) ? log_softmax (#842) ? maxout (#856) ? slstm (#518) ? LSTM along binary trees ? array ? broadcast_to (#826) ? expand_dims (#690) ? evaluation ? binary_accuracy (#757) ? Accuracy for binary classification. 10/18
- 11. 新しい関数（Chainer）その２ ? math ? batch_l2_norm_squared (#828) ? det, batch_det (#613) ? matrix determinant ? inv, batch_inv (#608) ? Differentiable matrix inversion ? pool ? unpooling_2d(#599) ? spatial upsampling ? Link ? StatefulGRU (#817) ? GRU with LSTM chain-like interface ? Maxout (#856) 11/18
- 12. 関数の機能拡張（Chainer） ? fixed_batch_normalization (#798) ? Backward をサポート ? sigmoid_cross_entropy (#790) ? ignore_label をサポート ? ctc_padding(#689) ? 異なる長さのシーケンスからなるミニバッチをサポート 12/18
- 13. 新しい関数（CuPy） ? asfortranarray(#923) ? fortranオーダーにする ? broadcast_to (#644) ? NumPy 1.10からの新機能 ? roll (#827) ? くるくる回す 13/18
- 14. NumPyシリアライザの追加 ? NumPy NPZ シリアライザが追加されました (#810) ? これまでのシリアライザと同じく使えます ? save_npz(filename, obj, compression=True): ? NPZは、numpyの配列1個が1ファイルとなっているものを集め たzipファイルです。 ? h5pyのインストールがオプショナルに ? hdf5が不要になり、インストールが簡単に 14/18
- 15. Python関係 ? インストールを安定化させました ? 依存ライブラリの削減 ? h5py をオプショナルに ? セットアップ時のNumPy依存をなくす ? setuptoolsやpipとの長い戦い ? NumPy 1.10サポート ? Chainer,CuPy共に最新版のNumPyに対応 ? 注意 ? ChainerはPython3.5.0では動きません。Python3.5.1を使って ください 15/18
- 16. CUDA関係 ? cuDNN v4対応 (#838 #756) ? v2からv4すべてのライブラリに対応しました ? まだ一部最新の関数を使わないコードのままです ? PRお待ちしております ? Device-to-device copy時のGPUDirect使用 (#884) ? 特定条件下でGPU間でのメモリ速度が向上しました ? ホストメモリの経由がなくなった 16/18
- 17. そのほか ? 沢山の改善が行われました ? 詳しくはRelease noteを見てください ? https://github.com/pfnet/chainer/releases 17/18
- 18. さいごに ? PRありがとうございます （敬称略） ? @cemoody @hrantzsch @jnishi @jnory ? @kashif @muupan @sinhrks @t-abe ? @wkentaro ? 皆様のPRをお待ちしております ? Chainer開発アルバイトに興味ある人はぜひ声をかけて ください 18/18