狠狠撸

2018/07/27
Deep Learningの未来と
Chainerの貢献
(株)Preferred Networks
梅澤慶介

2018/02/23
自己紹介
2
? 梅澤慶介
? 金融マーケット予測モデルの研究開発
@AlpacaJapan
? Chainer Evangelist ＠Preferred Networks
? Twitter：@kmechann
? GitHub：@keisuke-umezawa

2018/07/27
会社紹介：Preferred Networks (PFN)
? “Make everything intelligent and collaborative”
? 2014年3月創業
?Office：東京、シリコンバレー
?従業員: ~150 (researchers, engineers)
?主な出資者: FANUC, TOYOTA, NTT
3

2018/07/27
Alpaca Forecast AI Prediction Matrix
4
? 最近、Bloombergアプリとしてリリースした金融商品予測システム
? 30分後に価格が上がるか下がるか予測する

2018/07/27
Agenda
1. Deep Learningによる第3次AIブーム
2. Deep Learningとは
3. Deep Learningフレームワーク Chainer
4. Deep Learningの応用例
5. Chainer User Groupの紹介
5

2018/07/27
Deep Learningによる第3次AIブーム
6

2018/07/27
AI研究の歴史
? 第1次AIブーム(1956?1960年代)：アルゴリズムの時代
? ダートマス会議(1956年)
? AI(Artificial Intelligence)という言葉の誕生
? 探索?推論アルゴリズムにより会話やチェスを行うプログラム
? 第2次AIブーム(1980年代)：ルールベースの時代
? エキスパートシステム
? ルール群から特定の分野の問題を解くシステム
? 第五世代コンピュータプロジェクト
? 通産省570億円の資金
? 第3次AIブーム(2013年?)
7

2018/07/27
第3次AIブームのきっかけ
? Deep Learningが大きな成果を出したことが発端
? できごと
? 画像認識コンテストにおいて大差で優勝(2012年)
? 音声認識?化合物の活性予測でも最高精度を達成(2012年)
8

2018/07/27
画像認識コンテストにおいて大差で優勝(2012年)
? ILSVRC2012という世界的に有名な大規模画像認識コンテスト
? http://www.image-net.org/challenges/LSVRC/2012/
? コンテストのイメージ
9
Krizhevsky, A., et. al: ImageNet Classification with Deep Convolutional Neural Networks, NIPS2012, 2012

2018/07/27
画像認識コンテストにおける大差での優勝(2012年
)
? Deep Learningを使用したチームが大差をつけて優勝した
10
チーム名エラー率
1 Super Vision 15.315%
2 Super Vision 16.422%
3 ISI 26.172%
4 ISI 26.602%
5 ISI 26.646%
6 ISI 26.952%
7 OXFORD_VGG 26.979%
??
?
??? ???
Deep Learning
大きなgap

2018/07/27
画像認識コンテストのその後
? ”2012 年のブレークスルー後わずか二年ほどで
人間レベルへ到達する驚異的な発展を遂げている”
11中山英樹：深層畳み込みニューラルネットワークによる画像特徴抽出と転移学習．信学技報115(146): 55–59, 2015

2018/07/27
音声認識?化合物の活性予測でも最高精度を達成(2012年)
? 音声認識
? マイクロソフトが音声認識システムをDeep Learningに移行
? エラー率を23.2%も削減した
? 化合物の活性予測コンテスト
? Merck Molecular Activity Challengeで最高精度を達成
? 非専門家によって達成され、専門知識が不要なことも衝撃的だった
12Merck Molecular Activity Challenge, https://www.kaggle.com/c/MerckActivity
Dahl, G., et. al: Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition, 2013 IEEE SPS Best Paper Award

2018/07/27
Deep Learningによる第3次AIブーム
? 第1次AIブーム(1956?1960年代)：アルゴリズムの時代
? ダートマス会議(1956年)
? AI(Artificial Intelligience)という言葉の誕生
? 探索?推論アルゴリズムにより会話やチェスを行うプログラム
? 第2次AIブーム(1980年第)：ルールベースの時代
? エキスパートシステム
? 第五世代コンピュータプロジェクト
? 通産省570億円の資金
? 第3次AIブーム(2013年?)：Deep Learningの時代
? 圧倒的な認識精度の改善
? 専門知識が不要
13

2018/07/27
なぜこのタイミングに第3次AIブームが起きたのか
? Deep Learningの元となるアイデア?技術は既に存在していた
? ニューラルネットワーク(1943年?)
? 機械学習(1959年?)
? アイデア?技術は揃っていたのに、なぜこのタイミングに
起きたのか？
? Webサービスの発展?大規模データの蓄積
? 計算機の能力の向上
14

2018/07/27
Deep Learningとは
15

2018/07/27
Deep Learningとは
? 機械学習の1手法であり、データに基づくアプローチである
? 既存の機械学習とは異なり、データからルール獲得まで
End-to-Endで学習する手法である
16
機械学習
Deep Learning
ルールデータ
Deep
Learning

2018/07/27
Deep Learningとは
17
機械学習
Deep Learning
ルールデータ
Deep
Learning

2018/07/27
Deep Learningとは、機械学習の1手法である
? 機械学習とはデータに基づくアプローチである
? 学習データからルールを自動獲得する
? 獲得したルールを新しいデータに適用して、
機械に結果を出力させる
18

2018/07/27
機械学習は学習データからルールを自動獲得する
19
学習データ
9
4

2018/07/27
20
学習データ
9
4

2018/07/27
21
ルール(境界線
)
9
4学習データ

2018/07/27
機械学習は
獲得したルールを新しいデータに適用して、機械に結果を出力させる
22
データ
ルール(境界線
)
9
4

2018/07/27
機械学習は
獲得したルールを新しいデータに適用して、機械に結果を出力させる
23
データ
ルール(境界線
)
9
4
4

2018/07/27
機械学習はデータに基づくアプローチである
24
ルール
アルゴリズム
アルゴリズム
ルール
データ
ルールベース
機械学習
自動獲得
人が用意
人が用意
学習モデル

2018/07/27
Deep Learningとは
25
機械学習
Deep Learning
ルールデータ
Deep
Learning

2018/07/27
Deep Learningとは、
データからルール獲得までEnd-to-Endで学習する手法である
26
(0, 1, 2.5, -1, …)
(1, 0.5, -2, 3, …)
(0, 1, 1.5, 2, …)
特徴ベクトル
グラフィカルモデル
分類/回帰
SVM/LogReg/PA
CW/ALOW/Na?ve Bayes/
CNB/DT
RF/ANN…
クラスタリング
K-means/Spectral
Clustering/MMC/LSI/LDA/GM
…
構造分析
HMM/MRF/CRF…
分野に依存しない
抽象化データ
様々な手法
理論を適用
文書
画像
センサー
行動履歴
様々な様式の
生データ
特徴
抽出
機械
学習
? 機械学習の典型的な学習プロセス

2018/07/27
Deep Learningとは、
データからルール獲得までEnd-to-Endで学習する手法である
27
(0, 1, 2.5, -1, …)
(1, 0.5, -2, 3, …)
(0, 1, 1.5, 2, …)
特徴ベクトル
グラフィカルモデル
分類/回帰
SVM/LogReg/PA
CW/ALOW/Na?ve Bayes/
CNB/DT
RF/ANN…
クラスタリング
K-means/Spectral
Clustering/MMC/LSI/LDA/GM
…
構造分析
HMM/MRF/CRF…
分野に依存しない
抽象化データ
様々な手法
理論を適用
文書
画像
センサー
行動履歴
様々な様式の
生データ
? Deep Learningの学習プロセス
Deep Learning

2018/07/27
具体例：Deep Learningによる手書き文字認識
28
１
０
０
０
好きな数
(100個とか)
ラベルの数
(数字なら10)
画像のサイズ個
(28x28pixelなら784)

2018/07/27
29
１
０
０
０
好きな数
(100個とか)
ラベルの数
(数字なら10)
画像を1pixelごとに1列に並
べてネットワークに入力

2018/07/27
30
１
０
０
０
好きな数
(100個とか)
ラベルの数
(数字なら10)
数字は10種類あるのでノー
ド数も10。0~1の値を取る
ようにし、最も大きい値が出
力結果。

2018/07/27
31
１
０
０
０
好きな数
(100個とか)
ラベルの数
(数字なら10)
Deep Leaningとは、任意の関
数を表現可能なネットワーク
構造を作り、それをデータに
よって学習させることで、目
標の関数を作る手法。

2018/07/27
32
１
０
０
０
好きな数
(100個とか)
ラベルの数
(数字なら10)
ネットワークの定義に基いて
、中間層の値を計算

2018/07/27
33
0.6
0.1
０
0.3
１
０
０
０
出力結果と答えを照らし合わ
せて、間違っていたら、ネッ
トワークの計算部分を修正
好きな数
(100個とか)
ラベルの数
(数字なら10)

2018/07/27
34
0.3
0.1
0.1
0.5
０
０
０
１
好きな数
(100個とか)
ラベルの数
(数字なら10)
これをひたすら、いろいろな
画像で繰り返す

2018/07/27
Chainer
? Chainerとは (http://chainer.org/)
? Preferred Networks製Deep Learningフレームワーク
36

2018/07/27
Chainer
37
? Google社製TensorFlowなどの同類

2018/07/27
CuPy
38
ChainerにおけるGPU計算を全て担当するライブラリが独立
NumPy互換APIで低コストにCPUコードをGPUへ移行
特異値分解などの線形代数アルゴリズムをGPU実行
KMeans, Gaussian Mixture ModelなどのExampleの充実
import numpy as np
x = np.random.rand(10)
W = np.random.rand(10, 5)
y = np.dot(x, W)
import cupy as cp
x = cp.random.rand(10)
W = cp.random.rand(10, 5)
y = cp.dot(x, W)
GPU
https://github.com/cupy/cupy

2018/07/27
拡大するChainerファミリー
39
Chainer UI
Chainer Chemistry
強化学習
画像認識
可視化
グラフ構造
大規模分散
Menoh
推論特化

2018/07/27
最近のできごと(1): Menoh公開
? CPU向けのコンパクトなONNXモデル推論エンジン
? Chainer等で学習?保存したONNXフォーマットのモデルを読み込み可
能
? MKL-DNN対応でインテルCPUにおける高速な推論を実現
? C++実装＆多言語ラッパーによりエッジを中心に多様な環境に対応
40
https://github.com/pfnet-research/menoh
Menoh

2018/07/27
最近のできごと(2): 深層学習の学習速度で世界最速
41

2018/07/27
最近のできごと(3): クラウド環境 x ChainerMN
42
? クラウド環境で、簡単にGPUクラスタ環境の構築が可能
? ChainerMN on Azure
? ChainerMN on CloudFormation

2018/07/27
最近のできごと(4): Paints Chainer
43
? 線画の自動着色を行
うWebサービス
? 線画とその着色済み
画像のペアを大量に
用意
? 線画＋ヒントを入力
にして、着色後画像
を出力する畳み込み
ネットワークを訓練
線画：ちょまどさん
https://paintschainer.preferred.tech

2018/07/27
Deep Learningの各分野での成果
44

2018/07/27
Deep Learningの各分野での成果
45
? Deep Learningは既に様々な分野で革新を生み続けている
? 既に成功を収めている分野を紹介する
? 音声認識
? 画像認識?画像生成?線画着色
? 自然言語処理

2018/07/27
音声認識
46
? Deep Speech (End-to-End音声認識システム)
? Baidu Researchのグループが発表した
? 音声データから直接テキストを生成する
? 当時、従来手法に対し、10%以上性能を改善した
音声データ
音声特徴量
音素列
テキスト
a/sh/i/t/a/…
明日は…
音声データ
音声特徴量
テキスト
Deep Learning
従来手法新規手法
Hannun,A., et. al: Deep Speech: Scaling up end-to-end speech recognition, 2014

2018/07/27
画像認識
47
AlexNet, Kryzyevsky et al., 2012年の優勝チーム(8層)
GoogLeNet, Szegedy et al., 2014年の優勝チーム
? 画像認識向けDeep Learningは複雑化した
? ILSVRC(大規模画像認識コンテスト)の優勝者の例

2018/07/27
画像認識：車載画像の人?物体認識
48
? Preferred Networksによる車載画像のdetectionのデモ

2018/07/27
画像認識：車載画像のより詳細な物体認識
49
? Preferred Networksによる車載画像のsegmentationのデモ

2018/07/27
自然言語処理：分散表現
50
? Word2VecはGoogleの研究者であるTomas Mikolovらが
提案した単語の分散表現を生成する手法である
? Word2Vecの分散表現により、
意味の類似度評価や単語同士の演算が可能になった
単語同士の演算 Queen＝Woman+(KingーMan)意味の類似度評価
Milcolov, T., et. al: Linguistic Regularities in Continuous Space Word Representations, NAACL, 2013
Queen
Woman
Man
King
Tomato
BicycleCar
Banana
PotatoMan
King
Queen

2018/07/27
分散表現の応用例
51
? 単語だけでなく他のエンティティに対しても分散表現化の成果
が出ている
? Paragraph2Vec、Doc2Vec など
? 実サービス応用例も存在：ニュース記事の重複排除
? ニュース記事を配信する時に、あまりに似通っている記事をユーザー
に見せたくない、というモチベーションがある
? そこで、ニュース記事の分散表現を作成し、似たニュース記事を表示
しないようにした
大倉ら: 分散表現を用いたニュース記事の重複排除, NLP2016 2016

2018/07/27
Deep Learningのこれから
52

2018/07/27
Deep Learningのこれから
53
? Deep Learningは様々な分野で革新を生み出した
? しかし、Deep Learningをただ適用するだけでは問題に
ぶつかりつつある
? 問題
? 計算パワーが足りない
? 問題設定によっては、学習に平気で数十時間かかることもある
? 学習データが足りない
? 画像認識コンテストでは、1000種類のラベルが付いた
150,000画像が使われているが、そこまで用意するのは辛い

2018/07/27
計算パワーが足りない
解決策(1)：Deep Learning特化のアクセラレータを使用する
54
? GPU
? 本来は画像処理向け
? 現在のDeep Learningアクセラレータの業界標準
? 例：NVIDIAのDGX-1
? FPGA
? Deep Learningの演算処理をプログラム可能な
ハードウェア上に実装
? 例：IntelによるFPGA大手Alteraの買収
? 専用プロセッサ
? Deep Learningの演算処理専用チップ
? 例：GoogleのTensor Processing Unit(TPU)
高
汎用性
低
低
省エネ
高

2018/07/27
計算パワーが足りない
解決策(2)：マルチノード(複数台マシン)で計算を行う
55
? ChainerMN
? ImageNetの学習が20時間超から15分に

2018/07/27
学習データが足りない
解決策：Deep Learning + 強化学習
56
? Deep Learningによって人がわざわざ特徴量を設計する必要は
なくなったが、依然として大量のデータを必要としている
? これを解決するのが強化学習
? エージェント(学習の主体)が環境から得られる状態に対して、報酬を最
大化するように行動を学習する
環境
状態
行動
報酬

2018/07/27
強化学習の学習過程
57
? 強化学習でブロック崩しを
学習する様子
? 環境：ゲーム
? 状態：ボールの位置など
? 報酬：崩したプロックの数
? エージェント：ゲームAI
? 行動：板の移動
? 最初はすぐに失敗するが、120回を超
えると人間並みの腕並み
? 240回を超えると…
Google DeepMinds: Google DeepMind's Deep Q-learning playing Atari Breakout (https://youtu.be/V1eYniJ0Rnk)

2018/07/27
強化学習の応用例
? ロボット
? 自動運転
58

2018/07/27
? ロボット
? 自動運転
59

2018/07/27
深層強化学習によるバラ積みロボット(国際ロボット展2015)
60
? 深層学習で教示レスに動作を獲得した

2018/07/27
深層強化学習によるドローン制御 (CEATEC'16)
61

2018/07/27
? ロボット
? 自動運転
62

2018/07/27
深層強化学習による自動運転 (CES2016)
63

2018/02/23
Chainer User Groupの紹介
64

2018/02/23
Chainer User Groupの紹介
? connpass
? Slack
? Twitter @ChainerJP
? 活動内容
? Meetup?ハンズオンの開催
? Chainerに関する情報?ドキュメントの拡充
? Web チュートリアルの作成
65

2018/02/23
Chainer User Groupのevent活動
? 様々な学会や機械学習/Deep Learningのイベントにて
登壇/チュートリアルを行っています
? AAAIのチュートリアル
? GTC2016のチュートリアル
? YANSの講演
? PyCon JPの招待講演など
? 登壇/チュートリアルのご依頼はPreferred Networksまで
ご連絡ください
66

2018/07/27
Chainer on Colaboratory
? Google社製の機械学習ツール
Colaboratoryで、今すぐに
Chainerを試すことができる
? Googleドライブに保存でき、
他のデータと同様に共有可能
? もちろん、無料
? https://chainer-colab-
notebook.readthedocs.io/ja/late
st/
67

2018/07/27
最近のできごと(2): Chainer x Amazon SageMaker
? Amazon SageMakerは、機械学習モデルのデプロイまでのパイ
プラインをサポートする完全マネージド型プラットフォーム
? Chainerもサポート済
69

2018/07/27
画像生成：画風変換アルゴリズム
70
? 元となる画像を「コンテンツ画像」、画風を「スタイル画像」
とする
? 「コンテンツ画像」に書かれた物体はそのまま
? 「スタイル画像」に基づいた画風に変換する
https://research.preferred.jp/2015/09/chainer-gogh/
Leon,A., et. al: A Neural Algorithm of Artistic Style, 2015

2018/07/27
画像生成：画風変換アルゴリズム
71https://research.preferred.jp/2015/09/chainer-gogh/
Leon,A., et. al: A Neural Algorithm of Artistic Style, 2015

2018/07/27
線画着色：pixiv Sketch × PaintsChainer
? pixiv Sketch (https://sketch.pixiv.net/)
? ピクシブが提供するお絵描きコミュニケーションプラットフォーム
? PaintsChainer
? Preferred Networksによる線画を自動で着色するAI
72
http://paintschainer.preferred.tech

狠狠撸

20180727 Deep Learningの未来と?Chainerの貢献

More Related Content

20180727 Deep Learningの未来と?Chainerの貢献