際際滷

際際滷Share a Scribd company logo
カジュアル茶氏 @鷲岬
ExcelでC亠僥秘T 及7指
幄塀氏芙 エクテック
デ`タサイエンティスト
及10指までの送れ
1指~3指 4指~10指
AI巓xの
児云岑R
恷m晒の児云
容の児云
嶷指「蛍裂
C亠僥
サポ`トベクタマシン
ナイ`ブベイズ
ニュ`ラルネットワ`ク
RNN/BPTT
晒僥/Q僥
念粁
茶膿氏に歌紗する參貧...
〆なにか〇を
隔って「って圀しい
〆すべて〇はyしいけれど
櫃砲覆辰拭d龍をもった
キ`ワ`ドでも措いので
?圷に隔って「って
いただけると侑いです
h廠について
(Surroundings)
Excel 2013, 2016
Google Spreadsheets
云晩のアジェンダ
1. リカレントニュ`ラルネットワ`ク(RNN)
2. バックプロパゲ`ションスル`タイム(BPTT)
リカレント
ニュ`ラルネットワ`ク
(RNN)
りかれんと
recurrent
^檎艶 ̄-界顎姻姻艶稼岳
〆壅「〇〆儉桟〇〆指「〇
int recursive (x) {
if (x == i)
return;
recursion(x - i);
}
??
竃?
Rり卦し
int recursive (x) {
if (x == i)
return;
recursion(x - i);
}
??
int recursive (x) {
if (x == i)
return;
recursion(x - i);
}
false
false
??
int recursive (x) {
if (x == i)
return;
recursion(x - i);
}
True
True
false
false
??
竃?
この更夛が、吭龍すること
〆芝吮〇
とあるワ`ド
豚棋される?嫗
〆芝吮〇
Rり卦し
冥る
念指僥んだニュ`ラルネットワ`ク
★ 三痂優縫紿`ラルネットワ`ク
箭えば、亟寔の嶄に仝竪々は
?つけることができる
仝肝の?咾鰉y々を辛嬬にする
リカレントニュ`ラルネットワ`ク
醤悶箭で深える
仝い々仝こ々仝た々の3?忖をKべ紋えると
6の?~が竃栖貧がる。恷兜の2?忖を
嚥えて、恷瘁の?忖を嚠襪垢襯螢レント
ニュ`ラルネットワ`クを恬る
冱~(iみ) 秘薦猟忖 恷瘁の猟忖
卅硬弥(いこた) 〆い〇〆こ〇 た
イタコ(いたこ) 〆い〇〆た〇 こ
湊皇(たいこ) 〆た〇〆い〇 こ
小(たこい) 〆た〇〆こ〇 い
弌医(こいた) 〆こ〇〆い〇 た
悶(こたい) 〆こ〇〆た〇 い
いこ
た
Rり卦し
デ`タの侘塀と屎盾ラベル
デ`タの侘塀
〆い〇= [1, 0, 0]
〆こ〇= [0, 1, 0]
〆た〇= [0, 0, 1]
☆gにラベルを原嚥する one-hot labeling(encording)
屎盾ラベル
RNNも、念指のNNも〆縮あり僥〇
屎盾ラベル
RNNも、念指のNNも〆縮あり僥〇
卅硬? = 〆いこ〇〆た〇
嚠y可創
(h苧篳)
屎盾ラベル
(?議篳)
ニュ`ラルネットワ`ク
にを隔たせたRNN
X1
X2
X3
H1
H2
Z1
Z2
Z3
X1
X2
X3
H1
H2
Z1
Z2
Z3
念指僥んだNNでは、できない
X1
X2
X3
H1
H2
Z1
Z2
Z3
〆い〇= [1, 0, 0] 〆こ〇= [0, 1, 0]
では、どうするか
1?忖?のLれ咾粒?を
2?忖?のLれ咾??に函りzむ
☆仝函りzむ々?隈は?あり、書指は恷もgなやり?をB初
X1
X2
X3
H1
H2
X1
X2
X3
H1
H2
Z1
Z2
Z3
1?忖?のI尖 2?忖?のI尖 RNNの竃?
Xi
Hj
Zk
?? 竃?
方塀晒の扮
 秘薦 Lれ 竃薦
ユニット兆 X1, X2, X3 H1, H2 Z1, Z2, Z3
秘薦咾両侘才 ? s1, s2 s1, s2, s3
竃薦 x1, x2, x3 h1, h2 z1, z2, z3
H H Z Z Z
X1
X2
X3
X1
X2
X3
Z1
Z2
Z3
γ1
γ2
竃?
z1, z2, z3
θ1
θ2
θ1
θ2
θ3
w11
w12
w13
w21
w22
w23
w11
w21
w31
w12
w22
w32
H
H
H
H
H
H
O
O
O
O
O
O
O
O
O
H
H
 秘薦 Lれ 竃薦
ユニット兆 X1, X2, X3 H1, H2 Z1, Z2, Z3
秘薦咾両侘才 ? s1, s2 s1, s2, s3
竃薦 x1, x2, x3 h1, h2 z1, z2, z3
H H Z Z Z
X1
X2
X3
X1
X2
X3
Z1
Z2
Z3
γ1
γ2
竃?
z1, z2, z3
θ1
θ2
θ1
θ2
θ3
w11
w12
w13
w21
w22
w23
w11
w21
w31
w12
w22
w32
H
H
H
H
H
H
O
O
O
O
O
O
O
O
O
H
H
1?忖?のI尖 2?忖?のI尖 RNNの竃?
γ(ガンマ) 指「の嶷み
ユニットの?竃?を方塀で燕
?悶は、念指僥んだNNと揖じ
Hj Hj
念の?忖のI尖 肝の?忖のI尖
竃?hj 嶷みγ逮
sj = wj1x1 + wj2x2 + wj3x3 + θj
H(1) H H H H
hj = a(Sj )
H(1)
hj = a(Sj )
H(2)
ここで a は試來晒v方
‐Lれ(??)/
‐Lれ(竃?)/
(1) (1) (1)
sj = wj1x1 + wj2x2 + wj3x3 + γjhj + θj
H(2) H H H H(2) (2) (2) (1)
恷兜の?忖I尖
2?忖?の?忖I尖
(1) (1)
j = 1,2
j = 1,2
sj = (wk1h1 + wk2h2 )+ θk
O O O
zk = a(Sk )
ここで a は試來晒v方
‐竃?(??)/
‐竃?(竃?)/
(2) (2)O
k = 1,2,3
o
k = 1,2,3
仝卅硬?々の??のとき
仝いこ々ときて、仝た々と嚠yされる
RNNについて深えていく
X1
X2
X3
1
0
0
1?忖?
仝い々
‐??咫[1, 0, 0]
X1
X2
X3
H1
H2
1
0
0
1?忖?
仝い々
s1
s2
H(1)
H(1)
s1 = w11*1 + w12*0 + w13*0 + θ1 = w11 + θ1
s2 = w21*1 + w22*0 + w23*0 + θ2 = w21 + θ2
H(1)
H(1)
H H H H H H
H H H H H H
‐??咫[1, 0, 0]
‐Lれ咫
X1
X2
X3
H1
H2
1
0
0
1?忖?
仝い々
s1
s2
H(1)
H(1)
h1
h2
(1)
(1)
s1 = w11*1 + w12*0 + w13*0 + θ1 = w11 + θ1
s2 = w21*1 + w22*0 + w23*0 + θ2 = w21 + θ2
H(1)
H(1)
H H H H H H
H H H H H H
h1 = a(s1 ), h2 = a(s2 )
H(1) H(1)(1) (1)
‐??咫[1, 0, 0]
‐Lれ咫
X1
X2
X3
H1
H2
0
1
0
2?忖?
仝こ々
s1
s2
H(2)
H(2)
H1
H1
(1)
(1)
s1 = w11*0 + w12*1 + w13*0 + γ1h1 + θ1
= w12 + γ1h1 + θ1
‐??咫[0, 1, 0]
‐Lれ咫
H(2) H H H (1) H
(1) HH
s2 = w21*0 + w22*1 + w23*0 + γ2h2 + θ2
= w23 + γ2h2 + θ2
H(2) H H H (1) H
(1) HH
X1
X2
X3
H1
H2
0
1
0
2?忖?
仝こ々
s1
s2
H(2)
H(2)
H1
H1
(1)
(1)
‐??咫[0, 1, 0]
‐Lれ咫
h1 = a(s1 ), h2 = a(s2 )
H(2) H(2)(2) (2)
h1
h2
(2)
(2)
X1
X2
X3
H1
H2
0
1
0
2?忖?
仝こ々
s1
s2
H(2)
H(2)
H1
H1
(1)
(1)
‐??咫[0, 1, 0]
‐竃?咫
Z1
Z2
Z3
s1 = w11h1 + w12h2 + θ1
O O O(2) (2)
s2 = w21h1 + w22h2 + θ2
s3 = w31h1 + w32h2 + θ3
O O O(2) (2)
O O O(2) (2)
X1
X2
X3
H1
H2
0
1
0
2?忖?
仝こ々
s1
s2
H(2)
H(2)
H1
H1
(1)
(1)
‐??咫[0, 1, 0]
‐竃?咫
Z1
Z2
Z3
z1
z2
z3
z1 = a(s1 ), z2 = a(s2 ), z3 = a(s3 )
O O O
恷m晒のための
?議v方を箔める
猟忖 仝い々 仝こ々 仝た々
t1 1 0 0
t2 0 1 0
t3 0 0 1
峠?`餓e = (t1 - z1) + (t2 - z2) + (t3 - z3)
2 2 2
峠?`餓のt才 E = e1 + e2 + ´ + e6
猟忖 仝い々 仝こ々 仝た々
t1 1 0 0
t2 0 1 0
t3 0 0 1
峠?`餓e = (t1 - z1) + (t2 - z2) + (t3 - z3)
2 2 2
峠?`餓のt才 E = e1 + e2 + ´ + e6
ek = (t1[k] - z1[k]) + (t2[k] - z2[k]) + (t3[k] - z3[k])
2 2 2
この?議v方を箔める
バックプロパゲ`ション
スル`タイム
バッグプロパゲ`ション
スル`タイム(BPTT)
念指僥んだ
バックプロパゲ`ションと揖
☆方僥議な^苧吉は福待します
ユニットの
`餓
ξの、
麻竃
(BPTT)
2\`餓
eの拘塘
を箔める
eの拘塘
を栽し
?議v方
Eの拘塘を
箔める
拘塘週和隈
から
Eを恷?晒
する嶷みと
、鯔祿
Excel容X
☆麻嶷いので廣吭してください
1. デ`タの
デ`タ6を?吭
3?忖からなる?~を6??。3?忖は
蛍盾して、0, 1で燕F(One-hot Labeling)
、離瀬潯`??デ`タ
2. 嶷みと、粒豚晒
拘塘週和隈
ステップサイズηのQ協
岱方で
兜豚晒
3. ユニットの竃?、
試來晒v方の裏蛍、鰉麻
1桑?の鮫颪して
Lれ咾罰?咾
光ユニットの侘才?
試來晒v方の裏蛍?
峠?`餓eを麻
4. BPTTから
光咾離罐縫奪晩`餓ξを麻
ユニットの
`餓を麻
☆?忖方がえたら
X1
X2
X3
H1
H2
Z1
Z2
Z3
C1
C2
?忖方の崙泙
なくすための
コンテキストノ`ド
5.峠?`餓e の拘塘を麻
ユニットの
`餓を麻をしたので、
峠?`餓の拘塘を
肝に麻
6. デ`タ畠てについてv方を
コピ`Eの拘塘を麻
峠?`餓eの拘塘を栽して?議v方 Eを麻
コピペ
7. 拘塘週和隈を旋?して
嶷みと、鰉麻
拘塘週和隈で、
仟たな嶷みと、鰉麻
K?して、
Eの拘塘のt才を麻
8. 3.~7.をRり卦し麻
50指?の麻
そのときの嶷みと
いざ、テスト
嚠霞潤惚が麻竃される
ディ`プラ`ニング
侮嗔Яには
^僥 ̄, と^容 ̄がある
僥には
とてつもないデ`タ楚と
コンピュ`タリソ`ス(麻コスト)
がかかります
??、容には
?トなコンピュ`タリソ`スは
駅勣ありません
竃栖貧がったモデルを
壅旋?すれば措いだけだから
書指は、參貧です
EoF

More Related Content

Casual learning machine_learning_with_excel_no7