際際滷

? 2016 IBM Corporation
Pythonをつかってディ�`プ?ラ�`ニングの碧
�Mみを�ていくよ
Tanaka Y.P
2016-10-18

? 2016 IBM Corporation2
お�びと冱い�U
��■�Sparkで�してみるディ�`プ?ラ�`ニング
恍書、繁垢岑嬬�v�Bで恷寄の��}であるDeep Learningを、Apache
Sparkを聞って�g廾する圭隈について悶�Yしていただくハンズ?オン?セッ
ションです。
Pythonをつかってディ�`プ?ラ�`ニングの碧�Mみを�ていくよ
恍書、繁垢岑嬬�v�Bで恷寄の��}であるDeep Learningを、Numpyを
聞って�g廾する圭隈について悶�Yしていただくハンズ?オン?セッションで
す。

徭失�B初
弥嶄圍匯�yuichi tanaka�
麼にア�`キテクチャとサ�`バ�`サイドプログラムを毅輝
することが謹い。Hadoop/Spark巓りをよく乾ります。
Node.js、Python、恷除はSpark巓りの碧並でScalaを��
ことが謹い�櫃�靴泙后�
俚晩はOSS巓りで�[んだり。
�盾 Apache Spark

禽艶艶沿晦艶温姻稼庄稼乙とは
? �C氏僥�の匯つであるNNの�咾鰆悗邑濔�箸篇�y?蛍��I尖を佩うための返隈
? 弼？な�v方の�咾鰆悗佑鴇�箸鯱鯢呂気擦�
? 鮫��R�eの蛍勸で娼業が互くて嗤兆�ResNet/GoogLeNet吉�
箭�VGG16

さっきのを�待に��㎡韻垢�
Data Convo
lution
Relu Affine Relu Softmax
Out
???
max
poolin
g
VGG16の�待��

書晩のゴ�`ル
? 書晩は恷�K議に和�のNN(fully-connected)を恬撹します。
? 書晩の箭では蒙に�咾鮑颪�垢誨睥兇發覆い任垢�擦辰��覆里�DNNっぽく???
Data Affine Relu Affine Relu Softmax
Out??? Affine

書晩の��
書晩の�の嶄で�h苧すること
? 嘘尚議な�
? DeepLearningの畠悶�
? レイヤ
? フォワ�`ド
? アフィン��Q
? 試來晒�v方について
? ReLU�v方
? 竃薦�咾任燐�ｻ�v方
? ソフトマックス�v方
? バックプロパゲ�`ション
? �p払�v方
? �`餓�三瓩砲弔い�
? ハイパ�`パラメ�`タ

書晩の��
書晩の�の嶄で�h苧しないこと
? DeepLearningの�N�議な�`いとかの�かいこと
? �み�zみニュ�`ラルネットワ�`ク�CNN�乾れる殻業で
? 壅｢ニュ�`ラルネットワ�`ク�RNN
? 縮�なし僥��GAN
? �晒僥��DQN
? 方塀の�
? 〆うぇ〇ってなるので方塀なしで
? 坪�eの�@アフィン��Q
? ネイピア方@ところどころ
? 光�v方の��@蒙にバックプロパゲ�`ションの�v方
? Batch Norm@光レイヤの�､侶峅謝{屁
? Dropoutについて��^僥�とか

嘘尚
? 繁�gの�の��夛を庁してやれば貧返く�R�eできるのは�
ニュ�`ロン秤��I尖モデル
箭��g�パ�`セプトロン
I
I
I
W
W
W
S O
Input1
Input2
Input3
output
歌深)
�g�パ�`セプトロンの児云のき
Weight

嘘尚
? �咾鬚佞笋靴討笋譴佗亙屬�R�eできるのは�
箭�FF-NN
I
I
I
Input1
Input2
Input3
output
O
O

書晩のサンプル�弼の�R�e�３つに蛍��
? 採弼ですか�
RGB(255,0,0)
RGB(0,255,0)
RGB(0,0,255)
RGB(233,63,127)
橿
�v
楳
橿

書晩のサンプルNN�弼の�R�e�の喘�Z�h苧
? こんな侘のFully-Connectedを恬撹していきます。
Out
???
?
?
?
?
?
?
?
?
?
?
?
?
秘薦��
�Lれ��
竃薦��
Softmax

???
?
?
?
?
?
?
?
?
?
?
?
?
0�咤�訌��) 1�� 4�咤┳��咤�2��
�麻�I尖試來晒�v方竃薦�v方
レイヤ
Softmax Out

???
Forward Backward
?
?
?
?
?
?
?
?
?
?
?
?
�麻�I尖
Affine��Q
試來晒�v方
Relu�v方
竃薦�v方
Softmax�v方
OutSoftmax

フォワ�`ド�秘薦レイヤ -> Affine�
122
66
94
n1
?
?
?
?
?
?
RGBの�､妊侫�鍠`ドとバックプロパゲ�`ションについて�ていきます。
秘薦�� : RGB(122, 66, 94)
n1��k諮のしやすさ�バイアス�、光嶷み
Rの�� * Rの嶷み
Gの�� * Gの嶷み
Bの�� * Bの嶷み
122
66
94
n1
Rの嶷み
Gの嶷み
Bの嶷み
バイアス

バイアスと嶷みを聞ってどのくらい�k諮するか�麻します。
秘薦�� : RGB(122, 66, 94)
n1�バイアス、嶷み
Rの�� * Rの嶷み
Gの�� * Gの嶷み
Bの�� * Bの嶷み
122
66
94
n
1
Rの嶷み
Gの嶷み
Bの嶷み
122
66
94
n
1
Rの嶷み
Gの嶷み
Bの嶷み
bias
バイアス
バイアス
(122 * Rの嶷み) + (66 * Gの嶷み) + (94 * Bの嶷み� + バイアス

秘薦�､番悗澆猟攘eにバイアスを怎したもの
122
66
94
n1
n2
n3
?
?
?
?
?
?
bias
output = Input ? weight + bias
122,66,94
n1R,n2R,n3R
n1G,n2G,n3G
n1B,n2B,n3G
?
?
?
n1B,n2B,n3B,???
pythonコ�`ド�
out = x.dot(w) + b
n1O,n2O,n3O,???

フォワ�`ド�Affine -> Relu�
Affineの竃薦�Y惚を試來晒�v方Reluを聞って試來晒させます
?
?
?
?
?
?
?
?
?
s1 = np.array([[122, 66, 94]])
w1 = np.array([[0.1], [0.2],[0.3]])
s1.dot(w1) + [0.5]
[ 54.1]
箭�Affineの嶷み?バイアスを�Qめ嬉ちで�麻
n1
54.1

フォワ�`ド�Affine -> Relu�
Relu�v方はx<=0なら0をx>0ならxを卦す。�階��g�
Relu�v方の��
n1
54.1 54.1
phthonコ�`ド
return np.maximum(0,x)

フォワ�`ド�Affine -> 竃薦レイヤ�
Softmax�v方で恷�K�､�Qいやすい侘に��Q
Softmax�v方
pythonコ�`ド
e = np.exp(x)
sum_e = e.sum()
return e / sum_e
Softmax
n1
n2
n3
竃薦箭
[0, 0.1, 5.3] => [ 0.00493969, 0.0054592 , 0.98960111]
98%の�_楕で楳と登協!

バックプロパゲ�`ション
? 光nodeの嶷みとバイアスは�
???
Backward
?
?
?
?
?
?
?
?
?
?
?
?
OutSoftmax

バックプロパゲ�`ション��p払�v方�
? 光nodeの嶷みとバイアスは�
???
Backward
?
?
?
?
?
?
OutSoftmax
RGB(122, 66, 94)
縮�Label [1,0,0]
兜豚�､魑韻討�
Forward
縮�Label
[1,0,0]
竃薦
[0.3,0.28,0.32]
�p払�v方
�`餓俐屎
住餓エントロピ�`�`餓

バックプロパゲ�`ション��`餓�三瓧�
???
?
?
?
?
?
?
?
?
?
?
?
?
Softmax
Backward
云栖は拘塘という裏蛍�麻を畠パラメ�`タに��して佩う駅勣があるところ、
�`餓剃�三畄┐鯤垢Δ海箸燃��箸�虍訌��箸墨鬚�辰�
�g��麻だけでパラメ�`タの厚仟を佩います。

バックワ�`ド�竃薦レイヤ(Softmax + 住餓エントロピ�`�`餓�)
Softmax�v方 + 住餓エントロピ�`�`餓
yk - tk
pythonコ�`ド
dx = (self.y - self.t)
Softmax
n1
n2
n3
ここからはバックワ�`ドする�Hのコ�`ドと塀を�B初だけします。
Softmax
y1 �C t1
y2 �C t2
y3 �C t3
�p払�v方

バックワ�`ド�Affine -> Relu�
pythonコ�`ド
dx = dout.dot(self.w.T) #竃薦
w = dx.T.dot(dout) #嶷み
b = dout.sum(axis=0) #バイアス
Affine��Qの塀は嶷み?バイアス?秘薦の３�､鰉�麻します
?
?
?
?
?
?
Affine��Qの嶷み?バイアス

バックワ�`ド�Relu -> Affine�
pythonコ�`ド
dout[self.mask] = 0
Relu�v方は�､魴舘�してあげるだけ
?
?
?
?
?
?

フォワ�`ドとバックワ�`ド
Data Affine Relu Affine Relu Softmax
Out??? Affine
Forward
Forward Forward Forward Forward Forward Forward
Backward
BackwardBackwardBackwardBackwardBackwardBackward
? Foward -> Backwordを�Rり卦し�I尖を佩うことで嶷み?バイアスの厚仟が辛嬬になります

もう匯業CNNを�てみよう
Data Convo
lution
Relu Affine Relu Softmax
Out
???
max
poolin
g
VGG16の�待��

ハイパ�`パラメ�`タについて��咾諒��Nodeの方�
???
?
?
?
?
?
?
?
?
?
?
?
?
Softmax
? NNでは光�v方の嶷みやバイアスを徭�咾杯{屁していく並で娼業を貧げます
? ではNNではパラメ�`タの�{屁は畠て音勣なのでしょうか�
畠悶でﾗつの�咾鰆悗佑襪里��
１�咾�廚弔�Node
を恬るのか�

ハイパ�`パラメ�`タについて�ネットワ�`ク畠悶の僥�楕�
???
?
?
?
?
?
?
?
?
?
?
?
?
Softmax
Affine��Qの嶷み?バイアス Affine��Qの嶷み?バイアス
どのぐらいの�さで嶷み?バイアスを厚仟するのか�
僥�楕僥�楕僥�楕

書晩のサンプルプログラム
???
?
?
?
?
?
?
?
?
?
?
?
?
Softmax
僥�楕:0.01
畠悶４��
50 100 503 3
秘薦デ�`タ方
train: 240
test: 20

DataScientistExperienceへ
Notebookはこちらそれではコ�`ドに卞ります

際際滷

永霞岳鞄看稼で禽艶艶沿晦艶温姻稼庄稼乙を兵めるよ

Recommended

More Related Content

What's hot (20)

Similar to 永霞岳鞄看稼で禽艶艶沿晦艶温姻稼庄稼乙を兵めるよ (20)

Recently uploaded (11)

永霞岳鞄看稼で禽艶艶沿晦艶温姻稼庄稼乙を兵めるよ

Editor's Notes