2019 lightning-talk4,5
- 1. Softmax vs Sigmoid Binary / multi classification 襯襦 Mnist 覘讌 危願 蟇郁 ml螻給 襷 貍蟇 Sigmoid 企? !
- 2. 襾語 螻給 朱 譬 蟆 Learning rate Step 覃 overshooting 殊企螻 朱 襴螻 local min. 旧 朱 伎 一危 豌襴 蠍 一危郁 -1~1, るジ 1000~2000 覃 覲襦. Overfitting 一危一 覓 襷 覈, れ 譬 碁企 襴蠍, feature 譴願鍵, Regularization 蠍. Training, validation, test set 蟲螻殊, 覈螻, 螳 .
- 3. MNIST 壱ｸ 覯碁ゼ 語蠍 襷れ 讌 28*28=784 曙 1谿朱 Softmax Layer襷朱 89%
- 4. ル (1) 1957, 1960: 郁屋伎 襷 襷り, れ伎朱 weight 譟一 False Promise: れる 牛 蟇穴 襷螻 覲願 郁 蠏語襷.. XOR 覈 碁蟇? 1969: Perceptron 伎企 XOR 覈詩螻 螳 豺覃 覿螳 10~20 企慨 1974: Backpropagation XOR ? 蠏朱 10螳 伎 伎企 企れ ( る 覲伎 企れ)
- 5. ル (2) 2006, 2007: ル 覦蟆 豐蠍 螳 譯朱 給 蠏碁 ? 一危 覓 (豌螳) 貉危郁 覦焔 覦 語 Weight 豐蠍郁 stupid蟆 譯殊 觜 覈視 (?) 2010: 譯朱覦蠍 (AlexNet) 企語 襷豢蠍 蟆曙 26.2% 2襷 15.3%襦 企
- 6. XOR襯 朱 仰庚企慨蠍