Visual AI(시각 인공지능) Lecture 3 : Optimization by Gradient Descent
•
1 like•481 views
Visual AI(시각 인공지능) Lecture 3 : Optimization by Gradient Descent
Visual AI(시각 인공지능) Lecture 3 : Optimization by Gradient Descent
- 1. Visual AI(시각인공지능) Lecture 3 : Optimization by Gradient Descent 1
- 2. Content Linearly non-separable data Supervised Learning Gradient Descent Algorithm 2
- 3. XOR is Not Linearly Separable 3
- 4. Three Perceptrons Are Required 2개의 뉴런이 hyperplane을 만들어 내고 나머지 한 뉴런이 2개 의 hyperplane을 연결 4
- 5. 5
- 6. Network of Perceptrons to solve XOR (1/2) 6
- 7. 7
- 8. 8
- 11. Main Idea 11
- 12. Gradient Descent Algorithms 1. Close form solution 2. Batch Gradient Descent (BGD) 3. Stochastic Gradient Descent (SGD) 4. Mini-batch Gradient Descent 12
- 13. Perceptron without Step Activation Function 13
- 14. Mean Squared Error (MSE) 14
- 17. Our problem… 에러를 최소화하는 Wk를 찾는 것 17
- 19. Finding the Minimum Error 19
- 20. Summary Close form 솔루션은 한번에 해결책을 제시해 줌 단점 ? 20
- 21. Batch Gradient Descent (BGD) 21
- 22. Batch Gradient Descent (BGD) 22
- 23. Batch Gradient Descent (BGD) 23
- 25. Batch Gradient Descent (BGD) 25
- 26. 26
- 27. Problems of BGD 정확한 gradient 정보는 사전에 정의 되어야 함 즉 R과 P가 정확히 계산되어 있어야함 문제 1 : 랜덤한 스트림 패턴의 데이터가 들어오면 R과 P를 정확 히 계산 못함 문제 2 : P와 R을 계산하는 것은 벡터 차원이 커질수록 매우 heavy함 27
- 28. Stochastic Gradient Descent (SGD) 28
- 29. Stochastic Gradient Descent 데이터 스트림에서 정확하게 예측하기 위해 합리적으로 긴 시 간동안 평균치를 구해야 함 신뢰할만한 R과 P를 예측하기 위해 얼마나 많은 스트림 데이터 를 흘려보내야 할까? 방안: SGD는 k개의 interation동안 Wk가 최적의 솔루션 Wopt에 가까 워질수록 평균으로 수렴한다. 29
- 31. Stochastic Gradient Descent SGD의 가중치 업데이트 수식 31
- 32. Stochastic Gradient Descent (SGD) 32
- 33. BGD vs SGD (1/2) 33
- 34. BGD vs SGD (2/2) 34
- 35. Mini-Batch Gradient Descent Batch와 SGD의 중급자 모드 35
- 37. Summary 37
- 38. 다음 강의 다중 퍼셉트론을 이용한 non-seperable 문제를 풀어보았음 그러나 실제로 데이터는 noisy하고 이진 분류 분제로 제한되지 않음 어떻게 더 네트워크를 발전시킬 수 있을까? 자동으로 학습하는 알고리즘을 배웠음 그러나 현재까지 배운 활성화 함수는 미분 불가능인데 어떻게 GD를 뉴럴넷에 적용시킬수 있을까? 38