20190214 Tobita Tech Yuma Matsuoka AI Tech
?
0 likes?511 views
2019年2月14日@TOBITA Tech Meetup (https://tobitatech.com/meetup/) の登壇資料 Yuma Matsuoka AI技術を研究する学生からみたビッグデータという言葉． 最終的にはイベントの趣旨である量子コンピューター(ハードウェア)に話を持っていく構成．
![AI技術分野におけるビッグデータ
ImageNet Large Scale Visual Recognition Challenge[1]
- 128万枚の画像で約1テラバイト
- 全て人力で整理されてクリーンな構造化データ
- 実際のビッグデータのようにデータ構造が変わることはない
8[1]http://image-net.org/challenges/LSVRC/2017/download-images-1p39.php
ImageNetより引用](https://image.slidesharecdn.com/20190214tobitatechyumaai-190214092840/85/20190214-Tobita-Tech-Yuma-Matsuoka-AI-Tech-8-320.jpg)
![AI技術分野におけるビッグデータ
ImageNet Large Scale Visual Recognition Challenge[1]
- 128万枚の画像で約1テラバイト
- 全て人力で整理されてクリーンな構造化データ
- 実際のビッグデータのようにデータ構造が変わることはない
9[1]http://image-net.org/challenges/LSVRC/2017/download-images-1p39.php
ImageNetより引用
AI技術の学習に29時間必要](https://image.slidesharecdn.com/20190214tobitatechyumaai-190214092840/85/20190214-Tobita-Tech-Yuma-Matsuoka-AI-Tech-9-320.jpg)
![今のAIブームのきっかけ
2012年のAI技術によるブレークスルー[6]
- 基本的な技術は30年以上前からあった[7, 8, 9]
- “テラバイト”単位の大規模な画像データセット[10]
- ハードウェア(パソコン)の進歩
11
[6] A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with
deep convolutional neural networks. In Proc. of NIPS, 2012.
[7] Rumelhart, D.E., G.E. Hinton, and R.J. Williams. "Learning representations by
back-propagating errors." nature323.6088 (1986): 533.
[8] K. Fukushima and S. Miyake. Neocognitron: A new algorithm for pattern
recognition tolerant of deformations and shifts in position. Pattern Recognition,
15(6):455–469, 1982.
[9] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning
applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324,
1998.
[10] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A.
Karpathy, A. Khosla, M. Bernstein, et al. Imagenet large scale visual recognition
challenge. arXiv:1409.0575, 2014
NVIDIAより引用](https://image.slidesharecdn.com/20190214tobitatechyumaai-190214092840/85/20190214-Tobita-Tech-Yuma-Matsuoka-AI-Tech-11-320.jpg)
![ハードウェアの進化とAI技術
CPU→GPU→AI技術専用チップ(TPU)と
大規模データにAI技術を使用する
ハードウェアが遷移してきた
12
[CPU] https://vectory.work/flops/
[GPU] https://www.nvidia.com/ja-jp/data-center/tesla-t4/
[TPU] https://gigazine.net/news/20180510-google-tpu-3-ai-processor/
1 8
391
世界最強のボードゲームAIのAlphaGo Zeroは
TPU4個のマシン1000台を並列で3日間学習
→GPU1枚で学習すると，986年
→CPU1つで学習すると，1.97万年
ハードウェアの進歩はAI技術の
不可能を可能にした
大槻将棋より引用](https://image.slidesharecdn.com/20190214tobitatechyumaai-190214092840/85/20190214-Tobita-Tech-Yuma-Matsuoka-AI-Tech-12-320.jpg)
![GPUの並列化による最適化速度の向上
もともと29時間かかるResNet-50の学習を高速化
- Chainer(PFN) 15分で達成[1]@Nov, 2017
- NNL(SONY) 3分弱で達成[2]@Nov., 2018
[2]で1088GPUまで並列して91%以上のスケーラビリティ
14
[1]https://www.preferred-networks.jp/docs/imagenet_in_15min.pdf
[2]https://nnabla.org/paper/imagenet_in_224sec.pdf
現在でもお金があれば並列化で高速化が可能？](https://image.slidesharecdn.com/20190214tobitatechyumaai-190214092840/85/20190214-Tobita-Tech-Yuma-Matsuoka-AI-Tech-14-320.jpg)
![実践的な環境を想定したAI研究
- Learning without Forgetting[3]
- Incremental Learning of Object Detectors
without Catastrophic Forgetting[4]
- iCaRL: Incremental Classifier
and Representation Learning[5]
20
[3] https://arxiv.org/abs/1606.09282
[4] http://openaccess.thecvf.com/content_ICCV_2017/papers/Shmelkov_Incremental_Learning_of_ICCV_2017_paper.pdf
[5] http://openaccess.thecvf.com/content_cvpr_2017/papers/Rebuffi_iCaRL_Incremental_Classifier_CVPR_2017_paper.pdf](https://image.slidesharecdn.com/20190214tobitatechyumaai-190214092840/85/20190214-Tobita-Tech-Yuma-Matsuoka-AI-Tech-20-320.jpg)
![構造化されたデータとAI技術
データウェアハウスのような構造化されたデータが重要
- AI技術でデータ分析するなら，さらにラベル(AIで予測したい
答え)をデータにつける必要がある(コスト大)
構造化されたデータなら複雑なデータ処理も可能[2]
21[2]/f2forest/ss-108087799
全てのデータが時系列ごとに統合
BOXILより引用](https://image.slidesharecdn.com/20190214tobitatechyumaai-190214092840/85/20190214-Tobita-Tech-Yuma-Matsuoka-AI-Tech-21-320.jpg)
20190214 Tobita Tech Yuma Matsuoka AI Tech
- 2. 自己紹介 松岡 佑磨 法政大学 理工学研究科 修士2年 - 深層学習(AI技術)を使った(顔)画像認識 全脳アーキテクチャ若手の会 副代表 ソフトバンクアカデミア 9期 トビタテ 7期(Johns Hopkinsに1年間の研究留学) 2 修士論文の締め切り直前ですが， 頑張って発表します．https://wbawakate.jp/member/matsuoka-yuma/ http://ur2.link/Qm7F
- 8. AI技術分野におけるビッグデータ ImageNet Large Scale Visual Recognition Challenge[1] - 128万枚の画像で約1テラバイト - 全て人力で整理されてクリーンな構造化データ - 実際のビッグデータのようにデータ構造が変わることはない 8[1]http://image-net.org/challenges/LSVRC/2017/download-images-1p39.php ImageNetより引用
- 9. AI技術分野におけるビッグデータ ImageNet Large Scale Visual Recognition Challenge[1] - 128万枚の画像で約1テラバイト - 全て人力で整理されてクリーンな構造化データ - 実際のビッグデータのようにデータ構造が変わることはない 9[1]http://image-net.org/challenges/LSVRC/2017/download-images-1p39.php ImageNetより引用 AI技術の学習に29時間必要
- 10. 構造化されたデータとAI技術 10 現在のAI技術分野におけるビッグデータは ビッグデータの定義の1/1000以下 クリーンなデータが増えれば増えるほど AI技術の性能は上がる ビッグなデータセット(ラベル付データ)作成は難しいので 擬似的にデータを水増しする技術が現在の1つの大きな柱 - Y. Yamada, M.Iwamura, T. Akiba and K. Kise. ShakeDrop Regularization for Deep Residual Learning. arXiv: 1802.02375v2, 2018 - X. Gastaldi. Shake-shake regularization. arXiv:1705.07485v2, 2017. - Z. Zhong, L. Zheng, G. Kang, S. Li, and Y. Yang. Random erasing data augmentation. arXiv:1708.04896, 2017. - H. Zhang, M. Cisse, Y. N. Dauphin, and D. LopezPaz. mixup: Beyond empirical risk minimization. arXiv:1710.09412, 2017.
- 11. 今のAIブームのきっかけ 2012年のAI技術によるブレークスルー[6] - 基本的な技術は30年以上前からあった[7, 8, 9] - “テラバイト”単位の大規模な画像データセット[10] - ハードウェア(パソコン)の進歩 11 [6] A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In Proc. of NIPS, 2012. [7] Rumelhart, D.E., G.E. Hinton, and R.J. Williams. "Learning representations by back-propagating errors." nature323.6088 (1986): 533. [8] K. Fukushima and S. Miyake. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position. Pattern Recognition, 15(6):455–469, 1982. [9] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998. [10] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al. Imagenet large scale visual recognition challenge. arXiv:1409.0575, 2014 NVIDIAより引用
- 12. ハードウェアの進化とAI技術 CPU→GPU→AI技術専用チップ(TPU)と 大規模データにAI技術を使用する ハードウェアが遷移してきた 12 [CPU] https://vectory.work/flops/ [GPU] https://www.nvidia.com/ja-jp/data-center/tesla-t4/ [TPU] https://gigazine.net/news/20180510-google-tpu-3-ai-processor/ 1 8 391 世界最強のボードゲームAIのAlphaGo Zeroは TPU4個のマシン1000台を並列で3日間学習 →GPU1枚で学習すると，986年 →CPU1つで学習すると，1.97万年 ハードウェアの進歩はAI技術の 不可能を可能にした 大槻将棋より引用
- 14. GPUの並列化による最適化速度の向上 もともと29時間かかるResNet-50の学習を高速化 - Chainer(PFN) 15分で達成[1]@Nov, 2017 - NNL(SONY) 3分弱で達成[2]@Nov., 2018 [2]で1088GPUまで並列して91%以上のスケーラビリティ 14 [1]https://www.preferred-networks.jp/docs/imagenet_in_15min.pdf [2]https://nnabla.org/paper/imagenet_in_224sec.pdf 現在でもお金があれば並列化で高速化が可能？
- 15. まとめ AI技術の進歩はデータの大規模化とハードウェアの進歩に 密接に関係している ● AI技術に出して欲しい答えのついた大規模データ ● AI技術でデータを処理するハードウェア ○ CPU→GPU→AI技術専用チップと遷移してきた ○ 量子コンピュータが出ると...どうなる？？？ 15
- 16. Appendix 16
- 18. AIモデルのパラメータ数 ディープラーニングモデルを実際に使うためには 約480,000~60,000,000のパラメータの最適化が必要 18 Model # Parameters Top-1 Accuracy alexnet 61.10M 54.92% mobilenet0.25 0.48M 51.85% resnet152_v2 60M 79.21% https://mxnet.incubator.apache.org/api/python/gluon/model_zoo.html 20年後には量子コンピュータで最適化する時代が来る？
- 20. 実践的な環境を想定したAI研究 - Learning without Forgetting[3] - Incremental Learning of Object Detectors without Catastrophic Forgetting[4] - iCaRL: Incremental Classifier and Representation Learning[5] 20 [3] https://arxiv.org/abs/1606.09282 [4] http://openaccess.thecvf.com/content_ICCV_2017/papers/Shmelkov_Incremental_Learning_of_ICCV_2017_paper.pdf [5] http://openaccess.thecvf.com/content_cvpr_2017/papers/Rebuffi_iCaRL_Incremental_Classifier_CVPR_2017_paper.pdf