ºÝºÝߣ

ºÝºÝߣShare a Scribd company logo
???? ??
? ? ?
???? ??
??? ???
? 1943? ?? ???(Warren
McCulloch)? ?? ??
(Walter Pitts)? ??
? ??? ?? ??? ??? ?
?? ??
????(Perceptron)
? 1957? ??? ?????
(Frank Rosenblatt)? ??
? IBM 704 ???? ?? ???
?? ??
? ??-?? 2?? ???? ??
????(Perceptron)
?? ??? ?? ??
????(Perceptron)
??? ???? ?? ?? ?? ??? ??? ?? ??
?? ?? ????
????? ??? ???
????? ??
? 1969? ?? ???(Marvin
Minsky)? ?? ??
? XOR ?? ??? ?? ???
? ?? ????? ??? ? ??
? ?? ??? ?? ??
? ???? ?? ??
?? ???(Backpropagation)
? 1986? ??? ??(Geoffrey
Hinton)? ????? ??
? ??? ???(Gradient)? ?
?? ???? ? ??? ?
? ????? ???
? ??? ?? ??? ???
??
? ?? ??? ?? ????
?? ???? ???
? ????? ??(Vanishing
Gradient)
¨C ?? ???? ??? ??? ?
? ?? ??
¨C ??? ???? ????? ?
?? ?????? ??? ??
? ?? ??
?? ???? ???
? ????(Overfitting)
¨C ???? ????? ?? ???
?? ??
¨C ?? ???? ???? ????
??? ??? ??? ???
???? ??
ImageNet
? 2009? ???? ?(Fei-Fei Li)
? ??
? 2?? ?? ????? ???
1500?? ?? ??????
? ?? ILSVRC(ImageNet Large S
cale Visual Recognition Challen
ge) ??
ImageNet
https://www.youtube.com/watch?v=40riCqvRoMs
AlexNet ??
? 2012? ILSVRC ??
? ??? ?? ?? ??? ??
? 2?? ?? 10% ?? ??? ?
?? ? ??? ?? ??
? ???? ??
AlexNet ?? - CNN
???? ??? ???? ??? ??
AlexNet ?? - ReLU
????? ?? ?? ??
???? ???
??? ?? ??
???? ??? ??
???? ????
??? ??? ???
AlexNet ?? - Dropout
???? ?? ??
???? ??? ??? ??
??? ??? ??
???? ?? ??? ??
???? ??? ??
???? ??? ??? ?? ??? ??
?? ??
???? ??? ??
???? ???? ?? ??? ??
???? ? ???
??? ?? ??
(0.1, 0.7, 0.2, ¡­ , 0.9, 0.3)
(0.4, 0.2, 0.8, ¡­ , 0.1, 0.7)
??(Tensor)
? ??? ???? ??? ??
? ??
¨C ??? (0D ??)
¨C ?? (1D ??)
¨C ?? (2D ??)
¨C ?? (3D, 4D, 5D ??)
??? - 0D ??
? ??? ??? ?? # numpy? ?? ?? ???
>>> import numpy as np
>>> x = np.array(5)
# x? ??
>>> x
array(5)
# x? ?(??) ??
>>> x.ndim
0
?? - 1D ??
? ??? ??? ??
? ?(??)?? ?? ?? ???
? ????
# 1?, 3??
>>> x = np.array([23, 7, 16])
# x? ??
>>> x
array([23, 7, 16])
# x? ?(??) ??
>>> x.ndim
1
?? - 2D ??
? 2?? ??? ?? # 2?, 3??
>>> x = np.array([[11, 5, 8],
[3, 17, 9]])
# x? ??
>>> x
array([[11, 5, 8],
[3, 17, 9]])
# x? ?(??) ??
>>> x.ndim
2
?? ¨C 3D~5D ??
? 3? ??? ??? ?? # 3?, 2??, 2??
>>> x = np.array([[[16, 4],
[3, 17]],
[[21, 8],
[14, 2]],
[[5, 7],
[28, 15]]])
# x? ?(??) ??
>>> x.ndim
3
??? ??
? ?
¨C ?? ??? ?? ??
? ??(shape)
¨C ?? ?? ?? ??? ??
? ??? ??
¨C ???? ??
¨C ??, ??, ??? ?
# 2?, 3??
>>> x = np.array([[11, 5, 8],
[3, 17, 9]])
# x? ?
>>> print(x.ndim)
2
# x? ??
>>> print(x.shape)
(2, 3)
# x? ??? ??
>>> print(x.dtype)
int64
???? ?? ??
?? ???
??? ?? ??? ?? ?? ?? ? ??
??? ??
? ??? ??? ??
? ? ??? ?? ?? ??
???
? ??? ??? ??? ??
? ???? ?? ?? ??
? ??? ???? ??? ??
? ??/??/??? ??? ??
?? ??
? ??? ??? ?? ?? ??
? ????
¨C ?? ??
¨C ???? ??
¨C ??? ??
¨C ?? ????
¨C ¡­
? ???
¨C CNN
¨C RNN
¨C ¡­
?? ? ??
? ????? ??
? ????? ???? ??
? ?????? ??? ??
?? ? ??
???? ??!
????? ???? ??? ?? ??
???? ??!
???? ?? ??
???? ??
? ??? ???? ?? ???? ??? ??
??? ??? ?? ???,
???? ??? ?? ???
???? ??
?? x? ??? w? ??? ?? ??
Sum = X1*W1 + X2*W2 + ¡­ + Xn*Wn
???? ??
??? ??? ?? ?? ??? ??? ??
Sigmoid, Tanh, ReLU ? ??
??? ??
??? ??? ???? ???? ????? ?? ??
??? ??
???? Sigmoid? Tanh, ???? ReLU ??
? ?? ?? ??
?? ????
???? ??? ??
??? ??
? ????? ??(Vanishing
Gradient)
¨C ?? ???? ??? ??? ?
? ?? ??
¨C ??? ???? ????? ?
?? ?????? ??? ??
? ?? ??
????? ?? ?? ??
??? ??
???? ???
??? ?? ??
???? ??? ??
???? ????
??? ??? ???
???? ?? ??
??? ??? ?? ?? ??? ??? ???? ???
?? : ??? ??? ?? ?
?? : ?? Sigmoid? ??
???? ?? ??
?? ??
? ???? ??? ??? ???
? ??
? ???? ??? ???? ??
? ??? ?? ??? ???
(weight) ??
?? ??
???
???
??? - ???
???? ??? ???? ???? ???? ??? ??
???? ??? ??
??? ??? w? 2? ?? ???? ???
Y = w1*x1 + w2*x2 + b
?? = (??? ¨C ??)^2
= (2w1 + 4w2 + b ¨C 3) ^ 2
?? : (2, 4)
?? : 3
???? ??? ??
? ?????(Gradient Descent)
¨C ????(????)? ?? ?? ?
?? ??? w? ??
¨C ??? ??? ???? w? ???
??
¨C ??/?? ?? ????? ???
? ??? ??? ??? ?? ??
???? ??? ??
???? ??? ???? ??? ???? ??? ??
w = w¡¯ ¨C ¦Á*???
w : ??? ???
w¡® : ?? ???
¦Á : ??? (0~1)
?????? ???
?? ???? ?????? ???? ?? ??? ??
???? ??
???? ??
???? ??
?? ???(Backpropagation)
? 1986? ??? ??(Geoffrey
Hinton)? ????? ??
? ??? ???(Gradient)? ?
?? ???? ? ??? ?
? ????? ???
? ??? ?? ??? ???
??
? ?? ??? ?? ????
???? ??
??? ???
??? ???
??? ??
???? ??
? 2015? ??
? ??? ??? ?????
? ????? ??? ????
????? ???
???? ????? ??
? 2017??? ?????? ?
?? ??
? ????2.0? ??? API?
?? ???? ??
? ???? ?? ????? ?
? ??? ??
? ??? ?? ??? ???
?????
??? ??
???? 1.x ??
??? ??
????? AND ?? ??
??? ??, ??? ??? ??????? ??
???? ?? ??
Sequential add compile fit
?? ?? ?? ??? ?? ?? ? ?? ?? ?? ?? ??
?? ?? ??
?? ?? ??
??? ????? ???
???? ??? ???? ??
???? ??? ???
?? ?? ??
??? ?? ??? ??
?? ?? ??
?? ??? ???? ??? ???? ??
Dense : ?? ?? ???
activation : ??? ??
input_shape : ?? ??
?? ?? ??????
0~1 ?? ??
?? ?? ??
?? ? ?? ?? ??
optimizer : ????? ??
loss : ?? ??
metrics : ?? ??
rmsprop : ?????? ??? ??
binary_crossentropy : ?? ??? ???? ?? ??
accuracy : ???
?? ?? ??
??? ??? ???? ?? ?? ??
epochs : ?? ??
batch_size : ??? ???? ??? ??
?? ???? 4, ??? 1???
1?? ???? 4? ???? 1 ?? ??
??
1.1 - AND XOR Classification.ipynb
?????

More Related Content

What's hot (20)

PDF
????(??? ??)
Byung-han Lee
?
PDF
?????
?? ?
?
PDF
????? ???????? ?????? 1??? (2022??? ??????)
ssusercdf17c
?
PDF
????? ???? ?? ??
Young-Min kang
?
PDF
???? ? ??? ?? (2020.01.07)
KYOYOON JUNG
?
PPTX
???? / ????? ????
Yongha Kim
?
PDF
???? ??? - ??? ????
Byoung-Hee Kim
?
PPTX
???? ???? ??? ??? ???
Kwangsik Lee
?
PDF
[GomGuard] ???? YOLO ?? - ??? ??? ?? ???
JungHyun Hong
?
PDF
boosting ?? ?? (bagging vs boosting)
SANG WON PARK
?
PDF
??? ????? - RNN?? BERT??
deepseaswjh
?
PPTX
Ai ????
?? ?
?
PDF
[??????] ???????
Modulabs
?
PDF
?????? ?? ?
NAVER Engineering
?
PDF
¤Ï¤·?¥Ï?¥¿8Õ svm
tetsuro ito
?
PDF
[????] Graph Convolutional Network (GCN)
Donghyeon Kim
?
PDF
?? ??? AI
NAVER Engineering
?
PDF
Éî²ãÉú³É¥â¥Ç¥ë¤òÓ䤤¿¥Þ¥ë¥Á¥â©`¥À¥ëѧϰ
Masahiro Suzuki
?
PDF
???? ?? ???? ??? ??? ??? AI ???? DEVIEW 2016
Taehoon Kim
?
PDF
????, ????, IoT, ????. ? ??? ?? ??? ?????
Yongho Ha
?
????(??? ??)
Byung-han Lee
?
?????
?? ?
?
????? ???????? ?????? 1??? (2022??? ??????)
ssusercdf17c
?
????? ???? ?? ??
Young-Min kang
?
???? ? ??? ?? (2020.01.07)
KYOYOON JUNG
?
???? / ????? ????
Yongha Kim
?
???? ??? - ??? ????
Byoung-Hee Kim
?
???? ???? ??? ??? ???
Kwangsik Lee
?
[GomGuard] ???? YOLO ?? - ??? ??? ?? ???
JungHyun Hong
?
boosting ?? ?? (bagging vs boosting)
SANG WON PARK
?
??? ????? - RNN?? BERT??
deepseaswjh
?
Ai ????
?? ?
?
[??????] ???????
Modulabs
?
?????? ?? ?
NAVER Engineering
?
¤Ï¤·?¥Ï?¥¿8Õ svm
tetsuro ito
?
[????] Graph Convolutional Network (GCN)
Donghyeon Kim
?
Éî²ãÉú³É¥â¥Ç¥ë¤òÓ䤤¿¥Þ¥ë¥Á¥â©`¥À¥ëѧϰ
Masahiro Suzuki
?
???? ?? ???? ??? ??? ??? AI ???? DEVIEW 2016
Taehoon Kim
?
????, ????, IoT, ????. ? ??? ?? ??? ?????
Yongho Ha
?

Similar to ???? ?? (20)

PDF
Lecture 4: Neural Networks I
Sang Jun Lee
?
PDF
From maching learning to deep learning
Yongdae Kim
?
PDF
2.linear regression and logistic regression
Haesun Park
?
PDF
Deep Learning from scratch 5? : backpropagation
JinSooKim80
?
PPTX
???? Variational autoencoder
?? ?
?
PDF
DL from scratch(6)
Park Seong Hyeon
?
PDF
Crash Course on Graphical models
Jong Wook Kim
?
PDF
Coursera Machine Learning (by Andrew Ng)_????
SANG WON PARK
?
PPTX
????, ???? ??? ???
Jinwon Lee
?
PDF
Deep Learning from scratch 4? : neural network learning
JinSooKim80
?
PDF
[?? ???? ??? - ??? ????] 5?. ??? ?? ??
Haesun Park
?
PDF
DL from scratch(4~5)
Park Seong Hyeon
?
PPTX
?? ??? ??? ?? ??? ??
Woonghee Lee
?
PPTX
Neural network (perceptron)
Jeonghun Yoon
?
PPTX
2.supervised learning(epoch#2)-3
Haesun Park
?
PPTX
Recurrent Neural Net? ??? ??
?? ?
?
PPTX
Substance Designer ?? ???
Jooyoung Yi
?
PPTX
[14.10.21] Far Cry and DX9 ??(shaderstudy)
??
?
PPTX
[Tf2017] day4 jwkang_pub
Jaewook. Kang
?
PPTX
EveryBody Tensorflow module2 GIST Jan 2018 Korean
Jaewook. Kang
?
Lecture 4: Neural Networks I
Sang Jun Lee
?
From maching learning to deep learning
Yongdae Kim
?
2.linear regression and logistic regression
Haesun Park
?
Deep Learning from scratch 5? : backpropagation
JinSooKim80
?
???? Variational autoencoder
?? ?
?
DL from scratch(6)
Park Seong Hyeon
?
Crash Course on Graphical models
Jong Wook Kim
?
Coursera Machine Learning (by Andrew Ng)_????
SANG WON PARK
?
????, ???? ??? ???
Jinwon Lee
?
Deep Learning from scratch 4? : neural network learning
JinSooKim80
?
[?? ???? ??? - ??? ????] 5?. ??? ?? ??
Haesun Park
?
DL from scratch(4~5)
Park Seong Hyeon
?
?? ??? ??? ?? ??? ??
Woonghee Lee
?
Neural network (perceptron)
Jeonghun Yoon
?
2.supervised learning(epoch#2)-3
Haesun Park
?
Recurrent Neural Net? ??? ??
?? ?
?
Substance Designer ?? ???
Jooyoung Yi
?
[14.10.21] Far Cry and DX9 ??(shaderstudy)
??
?
[Tf2017] day4 jwkang_pub
Jaewook. Kang
?
EveryBody Tensorflow module2 GIST Jan 2018 Korean
Jaewook. Kang
?

???? ??

  • 3. ??? ??? ? 1943? ?? ???(Warren McCulloch)? ?? ?? (Walter Pitts)? ?? ? ??? ?? ??? ??? ? ?? ??
  • 4. ????(Perceptron) ? 1957? ??? ????? (Frank Rosenblatt)? ?? ? IBM 704 ???? ?? ??? ?? ?? ? ??-?? 2?? ???? ??
  • 6. ????(Perceptron) ??? ???? ?? ?? ?? ??? ??? ?? ?? ?? ?? ???? ????? ??? ???
  • 7. ????? ?? ? 1969? ?? ???(Marvin Minsky)? ?? ?? ? XOR ?? ??? ?? ??? ? ?? ????? ??? ? ?? ? ?? ??? ?? ?? ? ???? ?? ??
  • 8. ?? ???(Backpropagation) ? 1986? ??? ??(Geoffrey Hinton)? ????? ?? ? ??? ???(Gradient)? ? ?? ???? ? ??? ? ? ????? ??? ? ??? ?? ??? ??? ?? ? ?? ??? ?? ????
  • 9. ?? ???? ??? ? ????? ??(Vanishing Gradient) ¨C ?? ???? ??? ??? ? ? ?? ?? ¨C ??? ???? ????? ? ?? ?????? ??? ?? ? ?? ??
  • 10. ?? ???? ??? ? ????(Overfitting) ¨C ???? ????? ?? ??? ?? ?? ¨C ?? ???? ???? ???? ??? ??? ??? ???
  • 12. ImageNet ? 2009? ???? ?(Fei-Fei Li) ? ?? ? 2?? ?? ????? ??? 1500?? ?? ?????? ? ?? ILSVRC(ImageNet Large S cale Visual Recognition Challen ge) ??
  • 14. AlexNet ?? ? 2012? ILSVRC ?? ? ??? ?? ?? ??? ?? ? 2?? ?? 10% ?? ??? ? ?? ? ??? ?? ?? ? ???? ??
  • 15. AlexNet ?? - CNN ???? ??? ???? ??? ??
  • 16. AlexNet ?? - ReLU ????? ?? ?? ?? ???? ??? ??? ?? ?? ???? ??? ?? ???? ???? ??? ??? ???
  • 17. AlexNet ?? - Dropout ???? ?? ?? ???? ??? ??? ?? ??? ??? ??
  • 19. ???? ??? ?? ???? ??? ??? ?? ??? ?? ?? ??
  • 20. ???? ??? ?? ???? ???? ?? ??? ?? ???? ? ??? ??? ?? ?? (0.1, 0.7, 0.2, ¡­ , 0.9, 0.3) (0.4, 0.2, 0.8, ¡­ , 0.1, 0.7)
  • 21. ??(Tensor) ? ??? ???? ??? ?? ? ?? ¨C ??? (0D ??) ¨C ?? (1D ??) ¨C ?? (2D ??) ¨C ?? (3D, 4D, 5D ??)
  • 22. ??? - 0D ?? ? ??? ??? ?? # numpy? ?? ?? ??? >>> import numpy as np >>> x = np.array(5) # x? ?? >>> x array(5) # x? ?(??) ?? >>> x.ndim 0
  • 23. ?? - 1D ?? ? ??? ??? ?? ? ?(??)?? ?? ?? ??? ? ???? # 1?, 3?? >>> x = np.array([23, 7, 16]) # x? ?? >>> x array([23, 7, 16]) # x? ?(??) ?? >>> x.ndim 1
  • 24. ?? - 2D ?? ? 2?? ??? ?? # 2?, 3?? >>> x = np.array([[11, 5, 8], [3, 17, 9]]) # x? ?? >>> x array([[11, 5, 8], [3, 17, 9]]) # x? ?(??) ?? >>> x.ndim 2
  • 25. ?? ¨C 3D~5D ?? ? 3? ??? ??? ?? # 3?, 2??, 2?? >>> x = np.array([[[16, 4], [3, 17]], [[21, 8], [14, 2]], [[5, 7], [28, 15]]]) # x? ?(??) ?? >>> x.ndim 3
  • 26. ??? ?? ? ? ¨C ?? ??? ?? ?? ? ??(shape) ¨C ?? ?? ?? ??? ?? ? ??? ?? ¨C ???? ?? ¨C ??, ??, ??? ? # 2?, 3?? >>> x = np.array([[11, 5, 8], [3, 17, 9]]) # x? ? >>> print(x.ndim) 2 # x? ?? >>> print(x.shape) (2, 3) # x? ??? ?? >>> print(x.dtype) int64
  • 28. ?? ??? ??? ?? ??? ?? ?? ?? ? ??
  • 29. ??? ?? ? ??? ??? ?? ? ? ??? ?? ?? ??
  • 30. ??? ? ??? ??? ??? ?? ? ???? ?? ?? ?? ? ??? ???? ??? ?? ? ??/??/??? ??? ??
  • 31. ?? ?? ? ??? ??? ?? ?? ?? ? ???? ¨C ?? ?? ¨C ???? ?? ¨C ??? ?? ¨C ?? ???? ¨C ¡­ ? ??? ¨C CNN ¨C RNN ¨C ¡­
  • 32. ?? ? ?? ? ????? ?? ? ????? ???? ?? ? ?????? ??? ??
  • 33. ?? ? ?? ???? ??! ????? ???? ??? ?? ?? ???? ??!
  • 35. ???? ?? ? ??? ???? ?? ???? ??? ?? ??? ??? ?? ???, ???? ??? ?? ???
  • 36. ???? ?? ?? x? ??? w? ??? ?? ?? Sum = X1*W1 + X2*W2 + ¡­ + Xn*Wn
  • 37. ???? ?? ??? ??? ?? ?? ??? ??? ?? Sigmoid, Tanh, ReLU ? ??
  • 38. ??? ?? ??? ??? ???? ???? ????? ?? ??
  • 39. ??? ?? ???? Sigmoid? Tanh, ???? ReLU ?? ? ?? ?? ?? ?? ???? ???? ??? ??
  • 40. ??? ?? ? ????? ??(Vanishing Gradient) ¨C ?? ???? ??? ??? ? ? ?? ?? ¨C ??? ???? ????? ? ?? ?????? ??? ?? ? ?? ??
  • 41. ????? ?? ?? ?? ??? ?? ???? ??? ??? ?? ?? ???? ??? ?? ???? ???? ??? ??? ???
  • 42. ???? ?? ?? ??? ??? ?? ?? ??? ??? ???? ??? ?? : ??? ??? ?? ? ?? : ?? Sigmoid? ??
  • 44. ?? ?? ? ???? ??? ??? ??? ? ?? ? ???? ??? ???? ?? ? ??? ?? ??? ??? (weight) ??
  • 45. ?? ?? ??? ??? ??? - ??? ???? ??? ???? ???? ???? ??? ??
  • 46. ???? ??? ?? ??? ??? w? 2? ?? ???? ??? Y = w1*x1 + w2*x2 + b ?? = (??? ¨C ??)^2 = (2w1 + 4w2 + b ¨C 3) ^ 2 ?? : (2, 4) ?? : 3
  • 47. ???? ??? ?? ? ?????(Gradient Descent) ¨C ????(????)? ?? ?? ? ?? ??? w? ?? ¨C ??? ??? ???? w? ??? ?? ¨C ??/?? ?? ????? ??? ? ??? ??? ??? ?? ??
  • 48. ???? ??? ?? ???? ??? ???? ??? ???? ??? ?? w = w¡¯ ¨C ¦Á*??? w : ??? ??? w¡® : ?? ??? ¦Á : ??? (0~1)
  • 49. ?????? ??? ?? ???? ?????? ???? ?? ??? ?? ???? ?? ???? ?? ???? ??
  • 50. ?? ???(Backpropagation) ? 1986? ??? ??(Geoffrey Hinton)? ????? ?? ? ??? ???(Gradient)? ? ?? ???? ? ??? ? ? ????? ??? ? ??? ?? ??? ??? ?? ? ?? ??? ?? ???? ???? ?? ??? ??? ??? ???
  • 52. ???? ?? ? 2015? ?? ? ??? ??? ????? ? ????? ??? ???? ????? ???
  • 53. ???? ????? ?? ? 2017??? ?????? ? ?? ?? ? ????2.0? ??? API? ?? ???? ?? ? ???? ?? ????? ? ? ??? ?? ? ??? ?? ??? ??? ?????
  • 57. ????? AND ?? ?? ??? ??, ??? ??? ??????? ??
  • 58. ???? ?? ?? Sequential add compile fit ?? ?? ?? ??? ?? ?? ? ?? ?? ?? ?? ??
  • 60. ?? ?? ?? ??? ????? ??? ???? ??? ???? ?? ???? ??? ???
  • 61. ?? ?? ?? ??? ?? ??? ??
  • 62. ?? ?? ?? ?? ??? ???? ??? ???? ?? Dense : ?? ?? ??? activation : ??? ?? input_shape : ?? ?? ?? ?? ?????? 0~1 ?? ??
  • 63. ?? ?? ?? ?? ? ?? ?? ?? optimizer : ????? ?? loss : ?? ?? metrics : ?? ?? rmsprop : ?????? ??? ?? binary_crossentropy : ?? ??? ???? ?? ?? accuracy : ???
  • 64. ?? ?? ?? ??? ??? ???? ?? ?? ?? epochs : ?? ?? batch_size : ??? ???? ??? ?? ?? ???? 4, ??? 1??? 1?? ???? 4? ???? 1 ?? ??
  • 65. ?? 1.1 - AND XOR Classification.ipynb
  • 66. ?????