2017-05-30_deepleaning-and-chainer
?Download as PPTX, PDF?
1 like?651 views
Deep Learningは2012年に画像認識の分野で大きなブレイクスルーを果たした後、様々な応用分野で瞬く間に成果を上げています。本講演では、まず最初にDeep Learningの原理やAI研究における位置付けを説明することで、Deep Learningについて振り返ります。その後、自動運転など、各分野でのDeep Learningの成果や今後の応用先を説明させていただきます。事例紹介の際には、Preferred NetworksやDeep LearningフレームワークChainerの成果も交えることで、私達の貢献をお伝えできればと思います。
2017-05-30_deepleaning-and-chainer
- 2. 2017/05/31 自己紹介 ? 梅澤 慶介 ? -2014 東京大学 修士 ? ロボティクス、運動認識、運動生成 ? 2014-2016 (株)三菱東京UFJ銀行 ? 金融デリバティブ商品の評価ライブラリの開発 など ? 2016- ヤフー株式会社 ? データ＆サイエンスソリューション統括本部所属 ? Deep Learning向け検索エンジン開発 など ? 2017- (株)Preferred Networks ? Chainer エバンジェリスト 2
- 3. 2017/05/31 会社紹介：Preferred Networks (PFN) ? “Make everything intelligent and collaborative” ? 2014年3月創業 ?Office：東京、シリコンバレー ?従業員: ~80 (researchers, engineers) ?主な出資者: FANUC, TOYOTA, NTT 3
- 4. 2017/05/31 4 Humanoid Robot Consumer Industrial Cloud Device PhotoGame Text Speech Infrastructur e Factory Robot Automotiv e Healthcare Smart City Industry4.0 Industrial IoT Preferred Networks’ positioning in AI: Industrial IoT
- 5. 2017/05/31 Chainer ? Chainerとは (http://chainer.org/) ? Preferred Networks製Deep Learningフレームワーク 5
- 8. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 8
- 10. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 10
- 11. 2017/05/31 AI研究の歴史 ? 第1次AIブーム(1956?1960年代)：アルゴリズムの時代 ? ダートマス会議(1956年) ? AI(Artificial Intelligence)という言葉の誕生 ? 探索?推論アルゴリズムにより会話やチェスを行うプログラム ? 第2次AIブーム(1980年代)：ルールベースの時代 ? エキスパートシステム ? ルール群から特定の分野の問題を解くシステム ? 第五世代コンピュータプロジェクト ? 通産省570億円の資金 ? 第3次AIブーム(2013年?) 11
- 12. 2017/05/31 第3次AIブームのきっかけ ? Deep Learningが大きな成果を出したことが発端 ? できごと ? 画像認識コンテストにおいて大差で優勝(2012年) ? 音声認識?化合物の活性予測でも最高精度を達成(2012年) 12
- 13. 2017/05/31 画像認識コンテストにおいて大差で優勝(2012年) ? ILSVRC2012という世界的に有名な大規模画像認識コンテスト ? http://www.image-net.org/challenges/LSVRC/2012/ ? コンテストのイメージ 13 Krizhevsky, A., et. al: ImageNet Classification with Deep Convolutional Neural Networks, NIPS2012, 2012
- 14. 2017/05/31 画像認識コンテストにおける大差での優勝(2012年) ? Deep Learningを使用したチームが大差をつけて優勝した 14 チーム名 エラー率 1 Super Vision 15.315% 2 Super Vision 16.422% 3 ISI 26.172% 4 ISI 26.602% 5 ISI 26.646% 6 ISI 26.952% 7 OXFORD_VGG 26.979% ?? ? ??? ??? Deep Learning
- 15. 2017/05/31 画像認識コンテストにおける大差での優勝(2012年) ? Deep Learningを使用したチームが大差をつけて優勝した 15 チーム名 エラー率 1 Super Vision 15.315% 2 Super Vision 16.422% 3 ISI 26.172% 4 ISI 26.602% 5 ISI 26.646% 6 ISI 26.952% 7 OXFORD_VGG 26.979% ?? ? ??? ??? Deep Learning 大きなgap
- 16. 2017/05/31 画像認識コンテストのその後 ? ”2012 年のブレークスルー後わずか二年ほどで 人間レベルへ到達する驚異的な発展を遂げている” 16中山英樹：深層畳み込みニューラルネットワークによる画 像特徴抽出と転移学習．信学技報115(146): 55–59, 2015
- 17. 2017/05/31 音声認識?化合物の活性予測でも最高精度を達成(2012年) ? 音声認識 ? マイクロソフトが音声認識システムをDeep Learningに移行 ? エラー率を23.2%も削減した ? 化合物の活性予測コンテスト ? Merck Molecular Activity Challengeで最高精度を達成 ? 非専門家によって達成され、専門知識が不要なことも衝撃的だった 17Merck Molecular Activity Challenge, https://www.kaggle.com/c/MerckActivity Dahl, G., et. al: Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition, 2013 IEEE SPS Best Paper Award
- 18. 2017/05/31 Deep Learningによる第3次AIブーム ? 第1次AIブーム(1956?1960年代)：アルゴリズムの時代 ? ダートマス会議(1956年) ? AI(Artificial Intelligience)という言葉の誕生 ? 探索?推論アルゴリズムにより会話やチェスを行うプログラム ? 第2次AIブーム(1980年第)：ルールベースの時代 ? エキスパートシステム ? 第五世代コンピュータプロジェクト ? 通産省570億円の資金 ? 第3次AIブーム(2013年?)：Deep Learningの時代 ? 圧倒的な認識精度の改善 ? 専門知識が不要 18
- 19. 2017/05/31 なぜこのタイミングに第3次AIブームが起きたのか ? Deep Learningの元となるアイデア?技術は既に存在していた ? ニューラルネットワーク(1943年?) ? 機械学習(1959年?) ? アイデア?技術は揃っていたのに、なぜこのタイミングに 起きたのか？ ? Webサービスの発展?大規模データの蓄積 ? 計算機の能力の向上 19
- 21. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 21
- 22. 2017/05/31 Deep Learningとは ? 機械学習の1手法であり、データに基づくアプローチである ? 既存の機械学習とは異なり、データからルール獲得まで End-to-Endで学習する手法である 22 機械学習 Deep Learning ルールデータ Deep Learning
- 23. 2017/05/31 Deep Learningとは ? 機械学習の1手法であり、データに基づくアプローチである ? 既存の機械学習とは異なり、データからルール獲得まで End-to-Endで学習する手法である 23 機械学習 Deep Learning ルールデータ Deep Learning
- 24. 2017/05/31 Deep Learningとは、機械学習の1手法である ? 機械学習とはデータに基づくアプローチである ? 学習データからルールを自動獲得する ? 獲得したルールを新しいデータに適用して、 機械に結果を出力させる 24
- 31. 2017/05/31 Deep Learningとは ? 機械学習の1手法であり、データに基づくアプローチである ? 既存の機械学習とは異なり、データからルール獲得まで End-to-Endで学習する手法である 31 機械学習 Deep Learning ルールデータ Deep Learning
- 32. 2017/05/31 Deep Learningとは、 データからルール獲得までEnd-to-Endで学習する手法である 32 (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Na?ve Bayes/ CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/LSI/LDA/GM … 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 文書 画像 センサー 行動履歴 様々な様式の 生データ 特徴 抽出 機械 学習 ? 機械学習の典型的な学習プロセス
- 33. 2017/05/31 Deep Learningとは、 データからルール獲得までEnd-to-Endで学習する手法である 33 (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Na?ve Bayes/ CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/LSI/LDA/GM … 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 文書 画像 センサー 行動履歴 様々な様式の 生データ ? Deep Learningの学習プロセス Deep Learning
- 35. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 35
- 36. 2017/05/31 Deep Learningの各分野での成果 36 ? Deep Learningは既に様々な分野で革新を生み続けている ? 既に成功を収めている分野を紹介する ? 音声認識 ? 画像認識?画像生成?線画着色 ? 自然言語処理
- 37. 2017/05/31 音声認識 37 ? Deep Speech (End-to-End音声認識システム) ? Baidu Researchのグループが発表した ? 音声データから直接テキストを生成する ? 当時、従来手法に対し、10%以上性能を改善した 音声データ 音声特徴量 音素列 テキスト a/sh/i/t/a/… 明日は… 音声データ 音声特徴量 テキスト Deep Learning 従来手法 新規手法 Hannun,A., et. al: Deep Speech: Scaling up end-to-end speech recognition, 2014
- 38. 2017/05/31 画像認識 38 AlexNet, Kryzyevsky et al., 2012年の優勝チーム(8層) GoogLeNet, Szegedy et al., 2014年の優勝チーム ? 画像認識向けDeep Learningは複雑化した ? ILSVRC(大規模画像認識コンテスト)の優勝者の例
- 41. 2017/05/31 画像生成：画風変換アルゴリズム 41 ? 元となる画像を「コンテンツ画像」、画風を「スタイル画像」 とする ? 「コンテンツ画像」に書かれた物体はそのまま ? 「スタイル画像」に基づいた画風に変換する https://research.preferred.jp/2015/09/chainer-gogh/ Leon,A., et. al: A Neural Algorithm of Artistic Style, 2015
- 42. 2017/05/31 画像生成：画風変換アルゴリズム 42https://research.preferred.jp/2015/09/chainer-gogh/ Leon,A., et. al: A Neural Algorithm of Artistic Style, 2015
- 43. 2017/05/31 線画着色：pixiv Sketch × PaintsChainer ? pixiv Sketch (https://sketch.pixiv.net/) ? ピクシブが提供するお絵描きコミュニケーションプラットフォーム ? PaintsChainer ? Preferred Networksによる線画を自動で着色するAI 43 http://paintschainer.preferred.tech
- 44. 2017/05/31 自然言語処理：分散表現 44 ? Word2VecはGoogleの研究者であるTomas Mikolovらが 提案した単語の分散表現を生成する手法である ? Word2Vecの分散表現により、 意味の類似度評価や単語同士の演算が可能になった 単語同士の演算 Queen＝Woman+(KingーMan)意味の類似度評価 Milcolov, T., et. al: Linguistic Regularities in Continuous Space Word Representations, NAACL, 2013 Queen Woman Man King Tomato BicycleCar Banana PotatoMan King Queen
- 45. 2017/05/31 分散表現の応用例 45 ? 単語だけでなく他のエンティティに対しても分散表現化の成果 が出ている ? Paragraph2Vec、Doc2Vec など ? 実サービス応用例も存在：ニュース記事の重複排除 ? ニュース記事を配信する時に、あまりに似通っている記事をユーザー に見せたくない、というモチベーションがある ? そこで、ニュース記事の分散表現を作成し、似たニュース記事を表示 しないようにした 大倉 ら: 分散表現を用いたニュース記事の重複排除, NLP2016 2016
- 47. 2017/05/31 Agenda 1. Deep Learningによる第3次AIブーム 2. Deep Learningとは 3. Deep Learningの各分野での成果 4. Deep Learningのこれから 47
- 48. 2017/05/31 Deep Learningのこれから 48 ? Deep Learningは様々な分野で革新を生み出した ? しかし、Deep Learningをただ適用するだけでは問題に ぶつかりつつある ? 問題 ? 計算パワーが足りない ? 問題設定によっては、学習に平気で数十時間かかることもある ? 学習データが足りない ? 画像認識コンテストでは、1000種類のラベルが付いた 150,000画像が使われているが、そこまで用意するのは辛い
- 49. 2017/05/31 計算パワーが足りない 解決策(1)：Deep Learning特化のアクセラレータを使用する 49 ? GPU ? 本来は画像処理向け ? 現在のDeep Learningアクセラレータの業界標準 ? 例：NVIDIAのDGX-1 ? FPGA ? Deep Learningの演算処理をプログラム可能な ハードウェア上に実装 ? 例：IntelによるFPGA大手Alteraの買収 ? 専用プロセッサ ? Deep Learningの演算処理専用チップ ? 例：GoogleのTensor Processing Unit(TPU) 高 汎用性 低 低 省エネ 高
- 50. 2017/05/31 計算パワーが足りない 解決策(2)：マルチノード(複数台マシン)で計算を行う 50 ? ChainerMN (DLSummit’17, GTC’17) ? ImageNetの学習が20時間超から4.4時間に
- 51. 2017/05/31 学習データが足りない 解決策：Deep Learning + 強化学習 51 ? Deep Learningによって人がわざわざ特徴量を設計する必要は なくなったが、依然として大量のデータを必要としている ? これを解決するのが強化学習 ? エージェント(学習の主体)が環境から得られる状態に対して、報酬を最 大化するように行動を学習する 環境 状態 行動 報酬
- 52. 2017/05/31 強化学習の学習過程 52 ? 強化学習でブロック崩しを 学習する様子 ? 環境：ゲーム ? 状態：ボールの位置など ? 報酬：崩したプロックの数 ? エージェント：ゲームAI ? 行動：板の移動 ? 最初はすぐに失敗するが、120回を超 えると人間並みの腕並み ? 240回を超えると… Google DeepMinds: Google DeepMind's Deep Q-learning playing Atari Breakout (https://youtu.be/V1eYniJ0Rnk)
- 61. 2017/05/31 Chainerの紹介 ? Twitter @ChainerJP ? Chainer Japanese User Group https://groups.google.com/forum/#!forum/chainer-jp ? 公式ページ http://chainer.org/ ? GitHub https://github.com/pfnet/chainer 61
- 62. 2017/05/31 Chainer User Groupのevent活動 ? 様々な学会や機械学習/Deep Learningのイベントにて 登壇/チュートリアルを行っています ? AAAIのチュートリアル ? GTC2016のチュートリアル ? YANSの講演 ? PyCon JPの招待講演 など ? 登壇/チュートリアルのご依頼はPreferred Networksまで ご連絡ください 62
- 63. 2017/05/31
- 64. 2017/05/31 Appendix：人手による特徴量の抽出 64 ? タスク：+を認識したい 特徴量抽出器 特徴量抽出器 ＋ である ＋ でない 人手でつくる 必要がある
- 65. 2017/05/31 Appendix：人手による特徴量の抽出 65 ? タスク：×を認識したい 特徴量抽出器 特徴量抽出器 × である × でない タスクごとに異なる 抽出器を作る必要がある
- 66. 2017/05/31 Appendix：Deep Learningによる特徴量の自動抽出 66 ? タスク：+を認識したい 特徴量抽出器 特徴量抽出器 ＋ である ＋ でない タスクごとに適切な 特徴量が自動で決定