数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！
Download as PPTX, PDF4 likes2,188 views
数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！ のオープニングとクロージング資料
![17
2012年画像認識コンテストで
Deep Learningを用いたチームが優勝
→
ILSVRC2012
優勝チームSupervisonの結果
[Krizhevsky+ ‘12]
衝撃的な出来事
? 限界と思われた認識エラーを4割も減らした
(26%→16%)
? 特徴抽出を行わず、生の画素をNNに与えた
翌年の同コンテストの上位チームは
ほぼDeep Learningベースの手法](https://image.slidesharecdn.com/dots-161224062408/85/Deep-Learning-dots-DeepLearning-17-320.jpg)
![Neural Netブーム
? 様々なコンペティションでDLが既存手法を凌駕
? 16%(‘12) → 11%(‘13) → 6.6%(’14) → 4.8%('15) → 2.9%('16)
? 各企業がDL研究者の獲得競争
? Google/FaceBook/Microsoft/Baidu
? 実サービスもDLベースに置き換えられる
? Siri/Google画像検索
GoogLeNetのアーキテクチャ↓
http://research.google.com/archive/un
supervised_icml2012.html
Google Brainによる猫認識↑
[Le, Ng, Jeffrey+ ’12]](https://image.slidesharecdn.com/dots-161224062408/85/Deep-Learning-dots-DeepLearning-18-320.jpg)
More Related Content
What's hot (20)
Viewers also liked (20)
Similar to 数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！ (20)
数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！
- 1. dots.DeepLearning #01 # dotsdl 2016/12/21 dots.DeepLearning#01
- 2. 自己紹介 ? 名前 ? 舛岡英人(@hidetomasuoka) ? 略歴 ? 産業能率大学 経営情報学部 卒業 ? 株式会社ソピア（現アクセンチュア）入社 ? 中小企業向けERPのスクラッチ開発を提案からサポートまですべてを担当 ? 株式会社Preferred Infrastructure 入社 ? 各製品の提案からサポートまですべてを担当 ? 株式会社Intimate Merger に出向 ? 株式会社 レトリバ創業メンバー
- 3. 自己紹介 ? 名前 ? 舛岡英人(@hidetomasuoka) ? 略歴 ? 産業能率大学 経営情報学部 卒業 ? 株式会社ソピア（現アクセンチュア）入社 ? 中小企業向けERPのスクラッチ開発を提案からサポートまですべてを担当 ? 株式会社Preferred Infrastructure 入社 ? 各製品の提案からサポートまですべてを担当 ? 株式会社Intimate Merger に出向 ? 株式会社 レトリバ創業メンバー ほぼほぼ文系！
- 4. 自己紹介 ? 社外活動 ? PyConJP 2016 スタッフ ? 招待講演担当 ? Chainer OSS活動 ? communityイベントのリード
- 5. コミュニティを立ち上げた背景 ? Chainer Meetupを4回運営してきて、様々な人が参加してくれ た。 ? が、全员を満足できる勉强会を运営することができなかった
- 6. なぜみんな満足できないのか？ ? 参加者の前提知識がばらばら ? 前提知識を定義することが難しい ? Deep Learningを知ってるとは？ ? Deep Learningの事例を話すとデータ依存だったりするので、 ふんわりした話になる ? フレームワークの話ではなくDeep Learningの話しかしてない ? もっとディープな話がしたいが、だれができるかわからない
- 7. 対象を大きく分けることにした ? Chainer Meetup ? Chainerを使ってる人 ? 自分でネットワークを書いたり 実験を回すことができる人 ? 数式がでてきてもコワくない人 ? dots.DeepLearning部 ? Deep Learningをこれから勉強 する人 ? 数式が多少わからなくてもOK ? フレームワークの縛りは無し
- 8. dots.DeepLearning部 ? Deep Learningでできること、できないことをみんなでシェア する場 ? Deep Learningの知識を自信持って他の人に話せるように勉強 する場 ? 自分の目的にあったフレームワークやネットワーク例を選べる ようになること
- 10. 実际…
- 11. 数式が理解できなくてもDeep Learningが できるのか ? （ある程度は)できます！ ? 自分でネットワークを書いたり、チューニングをする段階では 絶対に必要 ? まず、数式を理解するのではなく、Deep Learningに触れなが ら必要な数式を理解する
- 12. ディープラーニングブームの背景
- 13. 機械学習の典型的なプロセス 13 (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Na?ve Bayes/CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/L SI/LDA/GM… 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 機械 学習 文書 画像 センサー 行動履歴 様々な様式の 生データ 特徴 抽出
- 14. 文章からの特徴抽出 ? 例：固有名詞を取り出してニュース記事の特徴とする 14 ２０２０年の東京五輪?パラリンピックの主会 場となる新国立競技場をめぐり、安倍晋三首相 は、総工費が２５２０億円に膨らんだ建設計画 を見直す考えを１７日に表明する方向で最終調 整に入った。競技場を１９年のラグビーワール ドカップ（Ｗ杯）の主会場にする計画は断念す る。同日、東京五輪?パラリンピック組織委員 会会長の森喜朗元首相と会談し、計画見直しへ の協力を求める方針だ。 ２０２０年の東京五輪?パラリンピックの主会 場となる新国立競技場をめぐり、安倍晋三首相 は、総工費が２５２０億円に膨らんだ建設計画 を見直す考えを１７日に表明する方向で最終調 整に入った。競技場を１９年のラグビーワール ドカップ（Ｗ杯）の主会場にする計画は断念す る。同日、東京五輪?パラリンピック組織委員 会会長の森喜朗元首相と会談し、計画見直しへ の協力を求める方針だ。 単語 頻度 東京五輪 2 パラリンピック 2 新国立競技場 1 安倍晋三 1 ??? ??? 機械学習アルゴリズム 文章からの固有名詞の抽出は固有表現抽出 （Named Entity Recognition; NER）という
- 15. 画像からの特徴抽出 ? 例：Histogram of Gradient (HoG特徴量) http://www.vlfeat.org/overview/hog.html 機械学習 アルゴリズム 各ピクセルでの勾配を小ブロック（セル） 単位でまとめてヒストグラム化 各セルでのヒストグラムを（正 規化して）すべてまとめる
- 16. 精度をあげるのが職人技 ? 精度をあげるためには特徴抽出が重要 ? 特徴抽出は難しい ? タスクごとに最適な特徴抽出方法は異なる ? 機械学習コンテストは最後は特徴抽出のチューニング勝負 ? これまで様々な特徴抽出方法が研究されてきた ? 自然言語：n-gram/BoW 画像：SIFT/SURF/HOG/PHOW/BoVW ? その他にも様々なヒューリスティックが存在 ? 精度をあげるにはデータに合わせたチューニングが必要
- 17. 17 2012年画像認識コンテストで Deep Learningを用いたチームが優勝 → ILSVRC2012 優勝チームSupervisonの結果 [Krizhevsky+ ‘12] 衝撃的な出来事 ? 限界と思われた認識エラーを4割も減らした (26%→16%) ? 特徴抽出を行わず、生の画素をNNに与えた 翌年の同コンテストの上位チームは ほぼDeep Learningベースの手法
- 18. Neural Netブーム ? 様々なコンペティションでDLが既存手法を凌駕 ? 16%(‘12) → 11%(‘13) → 6.6%(’14) → 4.8%('15) → 2.9%('16) ? 各企業がDL研究者の獲得競争 ? Google/FaceBook/Microsoft/Baidu ? 実サービスもDLベースに置き換えられる ? Siri/Google画像検索 GoogLeNetのアーキテクチャ↓ http://research.google.com/archive/un supervised_icml2012.html Google Brainによる猫認識↑ [Le, Ng, Jeffrey+ ’12]
- 20. ニューラルネットワークが利用された タスク データ 画像 タスク カテゴリ 分類 顔検出 生成 ゲームAI シーン認識 動画 画像+ 自然言語 音声+動画 カテゴリ 分類 動作認識 キャプ ション生成 表現学習 音声認識 自然言語 音声 化合物 表現学習 翻訳 質問応答 会話検出 QSAR (活性予測) 応用分野 音声検索 画像キュレーション eコマース 自動運転 ロボティックス 医療画像 マーケティング
- 21. ディープラーニング导入
- 23. Forward Propagation（順伝播） ? 入力層（グレー）に値を与え、 順方向に計算を進める ? Forward計算の過程で損失 (Loss)とエラーを計算する ? 通常エラーは計算グラフの最後 のユニット（緑）での値を指す ? 計算グラフの途中の値をエラー に加えても良い ? Lossは各ユニットの値や各レ イヤーのパラメータの関数に なっている Forward
- 24. Backward Propagation（誤差逆伝播） ? 計算グラフの末端のユニット （緑）にエラーを与え、逆方 向に計算を進める ? Backwardの過程で各パラ メータについてのエラーを計 算する Backward
- 26. 実际は
- 27. ディープラーニングの応用例 Deep Q Network*（深層学習で強化学習） * Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529-533. ** CaffeでDeep Q-Networkを実装して深層強化学習してみた http://d.hatena.ne.jp/muupan/20141021/1413850461 *** PFIインターン2014 最終発表 http://www.ustream.tv/recorded/53153399 27
- 28. ディープラーニングの応用例 画像生成 ? 文字を”描く“ニューラルネット ? 入力と同じ「雰囲気」の数字が 出力されている。同じ数字でも、 最左画像と生成画像は異なる事 に注意 入力 生成結果 Kingma, Diederik P., et al. "Semi-supervised learning with deep generative models." Advances in Neural Information Processing Systems. 2014. の実験を弊社で再現 ? 絵を”描く“ニューラルネット http://soumith.ch/eyescream/
- 29. 典型的なNeural Network （多層パーセプトロン） x1 xN ?????? h1 hH ???? k M k1 y M y1 f1 f2 f3 W2/b2 W1/b1 tM t1 損失関数で評価 正解ラベル入力 Forward Backward 出力 ?? ?? ?? 学習すべきパラメータ ? W1:1層目のパラメータ行列 ? b1:1層目のバイアス項 ? W2:2層目のパラメータ行列 ? b2:2層目のバイアス項 Forward更新式 ? h = f1(x) = Sigmoid(W1x+b1) ? k = f2(h) = Sigmoid(W2h+b2) ? y = f3(k) = SoftMax(k) f3i(k) = exp(ki)/Σ_{j} exp(kj)
- 31. minibatch j 訓練の流れ Epoch 1 Epoch N Epoch 2 Epoch i Epoch i 全訓練データを シャッフル minibatch 1 Forward minibatch 2 パラメータ更新 時刻 ? Epoch (Iteration)：全訓練データを1巡する事 → 各訓練データはNetにN回与える ? Solver：Netを訓練するモジュール ? minibatch：少数の訓練データをまとめたもの 31 パラメータ更新 minibatch j Backward
- 34. フレームワーク戦争 ? 各研究機関?企業がDeep Learningのフレームワークを作成して、 オープンソフトウェアとして公開している。 ? まだまだ、試行錯誤を続けないといけない分野なので、オープ ンソフトウェアとして公開をして、ソフトウェアとしてのス ピードを高めている。
- 35. フレームワーク ? https://www.tensorflow.org/ ? http://chainer.org/ ? http://caffe.berkeleyvision.org/ ? http://torch.ch/ ? http://mxnet.io/ ? http://www.paddlepaddle.org/ ? https://www.microsoft.com/en- us/research/product/cognitive-toolkit/ ? https://developer.nvidia.com/digits
- 37. まとめ ? 部活動立ち上げの背景 ? ディープラーニングブームの背景 ? ディープラーニングの概要
- 39. ディープラーニングを 学ぶことができるサイト ? Chainer ? http://docs.chainer.org/en/stable/tutorial/index.html ? https://github.com/hido/chainer-handson ? NVIDIA ? https://nvidia.qwiklab.com/tags/Deep%20Learning ? Google ? https://www.tensorflow.org/versions/r0.11/tutorials/index.html
- 41. AWS等でDeep Learning使う場合 ? NVIDIAが提供するAMIで学習することをおすすめします！ ? 颁鲍顿础のインストールではまります…
- 43. AWS等でDeep Learning使う場合 ? またNVIDA Dockerを使う ? https://github.com/NVIDIA/nvidia-docker
- 44. 今後の勉強会 ? ハンズオン形式と発表形式の2パターンで行うことを考えてい ます。 ? ハンズオン ? 各フレームワークのチュートリアルをみんなでやってみる ? 発表形式 ? ハンズオンなどで得た知見を発表する場
Editor's Notes
- #19: 2013/3 GoogleがUniv of TrontoのDNN researchを買収 2013/4 Baiduがinstitute of Deep Learningを設立 2013/8 YahooがIQ Enginesを買収 2013/10 YahooがLookFlowを買収 2013/12 FacebookがAI Labを設立 2014/1 GoogleがDeep Mindを買収 2014/10 DeepMind がUKのDarkBlue、Vision Factoryを買収、Oxfordと連携 http://image-net.org/challenges/LSVRC/2014/slides/GoogLeNet.pptx http://static.googleusercontent.com/media/research.google.com/ja//archive/unsupervised_icml2012.pdf http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html http://googlepolicyeurope.blogspot.be/2014/10/teaming-up-with-oxford-university-on.html
- #28: https://github.com/muupan/caffe/tree/dqn https://www.youtube.com/watch?v=p88R2_3yWPA