ݺߣ

ݺߣShare a Scribd company logo

???????????? ?????????????????? 8?

?
?
Sunggon Song
Sunggon Song

???????????? ?????????????????? 8? ???

1 of 44
Downloaded 97 times
????? ??????? 8? ??? ??? ???
?? ? ??? ???? ??? ??, ??? ??? ? ???? ???
? ?? ? ? ?? ????? ? ???? ? ???? ? ???? ??
? ?? ????? Conv ReLU Conv ReLU Pool Conv ReLU Conv ReLU Pool Conv ReLU Conv ReLU Pool Affine ReLU Dropo ut Affine Dropo ut Softm ax
??? ??? ???? ?? CNN VGG ???? ?? ?? 3 3 ? ?? ??? ??? ??? ?? ??? ??? ReLU ???? ?? ?? ???? ?? ?? Adam ? ??? ??? ??? ???? He ? ??? ?? ???? ? 99 . 3 %
???? ? ???? ??? ?? ?? ????? ??? ?? ?????? ?? ?? ?? ???? ?? ???? ? ?? ??? ?? ??? ?? ??? ??
???? ? ???? ? ??? ?? - ?? ???(?? ???)? ????? ??? ??? ?? ?? (??? ?? ?? ? ?? ???) ? ?? ? ?? ? Crop ? Flip ? ?? ?? ? ?? ? ??
???? ?? ?? ?? ?? ?'? ? ???? ??? ??? ?? ??? ?? - ?? ??? ??? ?? ???? ??? ????, ? ??? ???? ? ????? ??
? ???? ???? ?? ???? (ex. 5*5 2 * 3*3) ?? ?? ??? ?? ? ??? ??? ?? ? ?? ?? ???? ? ?? ???? ? ??? ?? ?? ??? ??? ??? ? ?? ????? ?? ???? ??
??? ?? ?? ??... ILSVRC ImageNet? 2012 ? ???? ???? ??? ??? AlexNet? ???? ???? ????? ??
???? ?? ?? ? ???? (ImageNet) ? VGG ? GoogLeNet ? ResNet
ImageNet ? ???? (ImageNet) - 100 ? ?? ?? ??? ???? ? ILSVRC - ??? ?? ?? ?? ? ?? classification - 1 , 000 ?? ??? ?? Reference : http://book.paddlepaddle.org/03.image_classification/index.en.html
VGG ? VGG ? ??? ??? ?? ???? ???? CNN ? VGG16/VGG19 - '??? ??, ???? ??'? 16/19??? ?? ? ?? ??? ?? ??? ???? ??? ?? ? VGG? ??? ???? ??? ???? ???? ??
GoogLeNet ? ??? ???? ??? ??? ?? ???? ?? ? ?? ?? ??? ??? ?? ??? ?? ? ?? ??? ?? ??? ??? ?
GoogLeNet - Inception block ? 1 1 ??? ??? ??? ??? ??? ?? ??? ?? ? 1 1 ? ??? ??? ???? ??? ?? ??? ??
ResNet (Residual Network) ? ???????? ?? ??? ???? ? ResNet??? ?? ?? (skip connection)? ?? ? ?? ???? ??? ??? ? ?? ??, ??? ???? ?? ?? ? ?? ???? ??? ??? ???? ??? ?? ??? ?? - ?? ??? ???
ResNet (Residual Network) ? VGG ???? ???? ????? ??? ?? ?? ? ? ??? : 3.5 %
???? (transfer learning) ? ?? ??? ??? ????? ?? ? ?? ? ????? ???? ??? ?????? ??? ??? ??? ?? ??? ?? ? ?????? ??? ???(?? ? ??)? ?? ???? ??? ??, ? ??? ???( fine tuning )? ??
? ??? (??? ???) ??? ????? ???? GPU Graphics Processing Unit ? ??? ??? ??? ???? ?? ? ?? ??? ??? GPU ? ?? ??? ?? ???? ??
? ??? (??? ???) ? ??? ? ?? ? GPU? ??? ??? ? ?? ?? ? ?? ???? ?? ???
??? ? ?? ? ?????? ??? ??? ??? ?????? ? AlexNet??? ?? ??? ??? ???? ?? ? ??? ???? GPU ??? 95 %, CPU ??? 89 % ??
??? ? ?? ? ??? ??? ?? : ?? ??-?? ? ??? ???? ??? ?? ??-??? ??? ???? ????? ???? ??
GPU ? ??? ??? ? ????? ??? ?? ??-??(?? ? ??? ??)? ?? ? GPU ? ?? ?? ??? ???? ??
GPU ? ??? ??? ? ???? ??? ?????? ???? GPU ??? ??? ?? ? ?? ? CUDA ?? ????? GPU ???? ?? ?? ??? ?? ? cuDNN? CUDA ??? ???? ??????, ???? ???? ?? ?? ???
TPU vs GPU/CPU ? Google sums up the benefits of its TPU over contemporary GPUs and CPUs as follows: ? On our production AI workloads that utilize neural network inference, the TPU is 15x to 30x faster than contemporary GPUs and CPUs. ? The TPU also achieves much better energy efficiency than conventional chips, achieving 30x to 80x improvement in TOPS/Watt measure (tera-operations [trillion or 1012 operations] of computation per Watt of energy consumed). ? The neural networks powering these applications require a surprisingly small amount of code: just 100 to 1500 lines. The code is based on TensorFlow, our popular open-source machine learning framework.
TPU vs GPU/CPU ? Nvidia says Google's TPU benchmark compared wrong kit You're faster than the Kepler, but what about the newer and better Pascal?
?? ?? ? GPU ? ??? ??? ? ???? ?? ?????? ??? ?? ?? ??? ???? ? ? ??? ??? ?? ???? ?? ??? ????! ? ?? ??? ??? ??? ????? ? ??? ???? ? ???????? CNTK
?? ???? ?? ??? ? ????? ???? ???? ???? ??? ??? ? ? ?? ??? ???? GPU (?? CPU )? ??? ??? ???? ??? ??? ???? ??? ? ? ??? ?? ?? ???????? ??? ?? ??? ??? ???? ?? ?? ???? ?? ? ??? ???? ???? ???? 16 ?? ???? half - precision ? ???? ??? ??? ?? (??? ?? + ??) ? ???? ???? ?? ???? 1 ??? ???? < Binarized Neural Networks >?? ??? ??
???? ?? ? ?? ?? ? ?? ? ?? ?? ??
?? ?? ? ??? ?? ?? ??? ??? ??(???)? ???? ?? ? ???? ?? ?? : R-CNN Regions with Convolutional Neural Network
?? ?? R-CNN (Regions with Convolutional Neural) ? R-CNN? ?? ?? ? ?? ?? ?? + CNN ?? ?? ? ???? ?? : Selective Search ?? ?? ? ???? ????? ????? ??? ? SVM? ?? ? Faster R-CNN : ?? ??? CNN?? ??
?? ? ???? ?? ???? ???? ?? ? ?? ??? ???? ??? supervised ???? ??? ??
?? FCN (Fully Convolutional Network) ? FCN (Fully Convolutional Network) ? ? ? ?? forward ??? ?? ??? ???? ???? ?? ? CNN ? ???? ?? ??<--> FCN ? ? ???? ??? ?? ??? ?? ??? ???? ?? (?? ?? ???? ?? ??) ? FCN ??? ?? ??? ??? ? ??? ???? ??
?? ?? ?? ? ??? ??, ? ??? ???? ?(?? ??)? ???? ???? ??
?? ?? ?? NIC (Neural Image Caption) ? NIC? ?? CNN ? RNN(?? ???) ?? ?? ? CNN?? ??? ??? ???? ? ??? RNN?? ?? ? RNN? ??? ??? ????? ?? ???? ????? ??
?? ?? ?? RNN (Recurrent Neural Network) ? RNN Recurrent Neural Network ? ??? ??? ?? ????? ???? ??? ??? ?? ??? ???? ?? ? ?? ?? ? ???? ??? ??? ? ??? ?? ???? ?? ? RNN ? ??? ??? ????? ?? http://colah.github.io/posts/2015-08-Understanding-LSTMs/
???? ?? ? ??? ??? ??(??) ? ??? ?? ? ?? ?? ? Deep Q-Network(?? ??)
??? ???(??) ?? ? ???? ??? ???? ??? ??? ?? ? A Neural Algorithm of Artistic Style ?? ? ????? ?? ???? ??? ???? ?? ???? ?????? ?? ? ??? ???? ??? ??? ? ?? ??? ????? ??? ?? ? ??? ??? ??? ???? ??
??? ?? ? ??? ?? ??? ??? ??? ???? ???? ?? ? ?, ?? ??? ???? ???? ?? ? DCGAN (Deep Convolutional Generative Adversarial Network) ?? ? ???? ???? ??? 2 ?? ???? ??, ???? ????
?? ?? ? ??? ?? ??? ??? ???? ?? ? SegNet??? CNN ?? ??? ? ???? ??? ??? ??? ? : ??, ?, ??, ?? ?? ???? ??
???? (reinforcement learning) ? ???? ???? ??? ???? ??? ?? ? ???? ???? ?? ???? ?? ???, ???? (reinforcement learning) ?? ? ? ?????? ?? ??? ?? ??? ????, ? ??? ??? ??? ???? ? ???? ? ? ?? ??? ??? ????? ?? ??? ? ?? ??? ?? ??? ???? ? ? ???? ??? ??? ?? ??? ?? ??
Deep Q - Network (????) ? Q ????? ???? ????? ?? ? Q ????? ?? ?? ?? ??? ??? ??? ?? ? ? ??? ???( CNN )?? ???? ?? ?? ???? ?? DQN ? ????? ???? ????? ??? ? ???? 3 , 000 ? ?? ?? ??? ?? ??? ?, ??? ??? ??? ??? ??? ????? ?? ? ???? DQN ? ?? ??? ??? Deep Mind ? ??? ??
?? ? ??? ???? ???? ? ?? ?? ??? ?? ? ??? ?? ?? ??? ILSVRC ??? ?? ??? ?? ??? ???? ???? ???, ? ??? ? ???? ?? ? ??? ??? : VGG , GoogLeNet , ResNet ? GPU ? ?? ??, ?? ??? ?? ??? ???? ??? ? ???? ?? ??? ??? ?? ??? ???? ?? ? ???? ?? ?? : ??? ?? ??, ??? ??, ???? ?, ?? ???? ???? ??
Reference ? ????? ???? ???(??? ?? ?, ??? ??). - ????? ? http://book.paddlepaddle.org/03.image_classification/in dex.en.html

More Related Content

???????????? ?????????????????? 8?

  • 2. ?? ? ??? ???? ??? ??, ??? ??? ? ???? ???
  • 3. ? ?? ? ? ?? ????? ? ???? ? ???? ? ???? ??
  • 4. ? ?? ????? Conv ReLU Conv ReLU Pool Conv ReLU Conv ReLU Pool Conv ReLU Conv ReLU Pool Affine ReLU Dropo ut Affine Dropo ut Softm ax
  • 5. ??? ??? ???? ?? CNN VGG ???? ?? ?? 3 3 ? ?? ??? ??? ??? ?? ??? ??? ReLU ???? ?? ?? ???? ?? ?? Adam ? ??? ??? ??? ???? He ? ??? ?? ???? ? 99 . 3 %
  • 6. ???? ? ???? ??? ?? ?? ????? ??? ?? ?????? ?? ?? ?? ???? ?? ???? ? ?? ??? ?? ??? ?? ??? ??
  • 7. ???? ? ???? ? ??? ?? - ?? ???(?? ???)? ????? ??? ??? ?? ?? (??? ?? ?? ? ?? ???) ? ?? ? ?? ? Crop ? Flip ? ?? ?? ? ?? ? ??
  • 8. ???? ?? ?? ?? ?? ?'? ? ???? ??? ??? ?? ??? ?? - ?? ??? ??? ?? ???? ??? ????, ? ??? ???? ? ????? ??
  • 9. ? ???? ???? ?? ???? (ex. 5*5 2 * 3*3) ?? ?? ??? ?? ? ??? ??? ?? ? ?? ?? ???? ? ?? ???? ? ??? ?? ?? ??? ??? ??? ? ?? ????? ?? ???? ??
  • 10. ??? ?? ?? ??... ILSVRC ImageNet? 2012 ? ???? ???? ??? ??? AlexNet? ???? ???? ????? ??
  • 11. ???? ?? ?? ? ???? (ImageNet) ? VGG ? GoogLeNet ? ResNet
  • 12. ImageNet ? ???? (ImageNet) - 100 ? ?? ?? ??? ???? ? ILSVRC - ??? ?? ?? ?? ? ?? classification - 1 , 000 ?? ??? ?? Reference : http://book.paddlepaddle.org/03.image_classification/index.en.html
  • 13. VGG ? VGG ? ??? ??? ?? ???? ???? CNN ? VGG16/VGG19 - '??? ??, ???? ??'? 16/19??? ?? ? ?? ??? ?? ??? ???? ??? ?? ? VGG? ??? ???? ??? ???? ???? ??
  • 14. GoogLeNet ? ??? ???? ??? ??? ?? ???? ?? ? ?? ?? ??? ??? ?? ??? ?? ? ?? ??? ?? ??? ??? ?
  • 15. GoogLeNet - Inception block ? 1 1 ??? ??? ??? ??? ??? ?? ??? ?? ? 1 1 ? ??? ??? ???? ??? ?? ??? ??
  • 16. ResNet (Residual Network) ? ???????? ?? ??? ???? ? ResNet??? ?? ?? (skip connection)? ?? ? ?? ???? ??? ??? ? ?? ??, ??? ???? ?? ?? ? ?? ???? ??? ??? ???? ??? ?? ??? ?? - ?? ??? ???
  • 17. ResNet (Residual Network) ? VGG ???? ???? ????? ??? ?? ?? ? ? ??? : 3.5 %
  • 18. ???? (transfer learning) ? ?? ??? ??? ????? ?? ? ?? ? ????? ???? ??? ?????? ??? ??? ??? ?? ??? ?? ? ?????? ??? ???(?? ? ??)? ?? ???? ??? ??, ? ??? ???( fine tuning )? ??
  • 19. ? ??? (??? ???) ??? ????? ???? GPU Graphics Processing Unit ? ??? ??? ??? ???? ?? ? ?? ??? ??? GPU ? ?? ??? ?? ???? ??
  • 20. ? ??? (??? ???) ? ??? ? ?? ? GPU? ??? ??? ? ?? ?? ? ?? ???? ?? ???
  • 21. ??? ? ?? ? ?????? ??? ??? ??? ?????? ? AlexNet??? ?? ??? ??? ???? ?? ? ??? ???? GPU ??? 95 %, CPU ??? 89 % ??
  • 22. ??? ? ?? ? ??? ??? ?? : ?? ??-?? ? ??? ???? ??? ?? ??-??? ??? ???? ????? ???? ??
  • 23. GPU ? ??? ??? ? ????? ??? ?? ??-??(?? ? ??? ??)? ?? ? GPU ? ?? ?? ??? ???? ??
  • 24. GPU ? ??? ??? ? ???? ??? ?????? ???? GPU ??? ??? ?? ? ?? ? CUDA ?? ????? GPU ???? ?? ?? ??? ?? ? cuDNN? CUDA ??? ???? ??????, ???? ???? ?? ?? ???
  • 25. TPU vs GPU/CPU ? Google sums up the benefits of its TPU over contemporary GPUs and CPUs as follows: ? On our production AI workloads that utilize neural network inference, the TPU is 15x to 30x faster than contemporary GPUs and CPUs. ? The TPU also achieves much better energy efficiency than conventional chips, achieving 30x to 80x improvement in TOPS/Watt measure (tera-operations [trillion or 1012 operations] of computation per Watt of energy consumed). ? The neural networks powering these applications require a surprisingly small amount of code: just 100 to 1500 lines. The code is based on TensorFlow, our popular open-source machine learning framework.
  • 26. TPU vs GPU/CPU ? Nvidia says Google's TPU benchmark compared wrong kit You're faster than the Kepler, but what about the newer and better Pascal?
  • 27. ?? ?? ? GPU ? ??? ??? ? ???? ?? ?????? ??? ?? ?? ??? ???? ? ? ??? ??? ?? ???? ?? ??? ????! ? ?? ??? ??? ??? ????? ? ??? ???? ? ???????? CNTK
  • 28. ?? ???? ?? ??? ? ????? ???? ???? ???? ??? ??? ? ? ?? ??? ???? GPU (?? CPU )? ??? ??? ???? ??? ??? ???? ??? ? ? ??? ?? ?? ???????? ??? ?? ??? ??? ???? ?? ?? ???? ?? ? ??? ???? ???? ???? 16 ?? ???? half - precision ? ???? ??? ??? ?? (??? ?? + ??) ? ???? ???? ?? ???? 1 ??? ???? < Binarized Neural Networks >?? ??? ??
  • 29. ???? ?? ? ?? ?? ? ?? ? ?? ?? ??
  • 30. ?? ?? ? ??? ?? ?? ??? ??? ??(???)? ???? ?? ? ???? ?? ?? : R-CNN Regions with Convolutional Neural Network
  • 31. ?? ?? R-CNN (Regions with Convolutional Neural) ? R-CNN? ?? ?? ? ?? ?? ?? + CNN ?? ?? ? ???? ?? : Selective Search ?? ?? ? ???? ????? ????? ??? ? SVM? ?? ? Faster R-CNN : ?? ??? CNN?? ??
  • 32. ?? ? ???? ?? ???? ???? ?? ? ?? ??? ???? ??? supervised ???? ??? ??
  • 33. ?? FCN (Fully Convolutional Network) ? FCN (Fully Convolutional Network) ? ? ? ?? forward ??? ?? ??? ???? ???? ?? ? CNN ? ???? ?? ??<--> FCN ? ? ???? ??? ?? ??? ?? ??? ???? ?? (?? ?? ???? ?? ??) ? FCN ??? ?? ??? ??? ? ??? ???? ??
  • 34. ?? ?? ?? ? ??? ??, ? ??? ???? ?(?? ??)? ???? ???? ??
  • 35. ?? ?? ?? NIC (Neural Image Caption) ? NIC? ?? CNN ? RNN(?? ???) ?? ?? ? CNN?? ??? ??? ???? ? ??? RNN?? ?? ? RNN? ??? ??? ????? ?? ???? ????? ??
  • 36. ?? ?? ?? RNN (Recurrent Neural Network) ? RNN Recurrent Neural Network ? ??? ??? ?? ????? ???? ??? ??? ?? ??? ???? ?? ? ?? ?? ? ???? ??? ??? ? ??? ?? ???? ?? ? RNN ? ??? ??? ????? ?? http://colah.github.io/posts/2015-08-Understanding-LSTMs/
  • 37. ???? ?? ? ??? ??? ??(??) ? ??? ?? ? ?? ?? ? Deep Q-Network(?? ??)
  • 38. ??? ???(??) ?? ? ???? ??? ???? ??? ??? ?? ? A Neural Algorithm of Artistic Style ?? ? ????? ?? ???? ??? ???? ?? ???? ?????? ?? ? ??? ???? ??? ??? ? ?? ??? ????? ??? ?? ? ??? ??? ??? ???? ??
  • 39. ??? ?? ? ??? ?? ??? ??? ??? ???? ???? ?? ? ?, ?? ??? ???? ???? ?? ? DCGAN (Deep Convolutional Generative Adversarial Network) ?? ? ???? ???? ??? 2 ?? ???? ??, ???? ????
  • 40. ?? ?? ? ??? ?? ??? ??? ???? ?? ? SegNet??? CNN ?? ??? ? ???? ??? ??? ??? ? : ??, ?, ??, ?? ?? ???? ??
  • 41. ???? (reinforcement learning) ? ???? ???? ??? ???? ??? ?? ? ???? ???? ?? ???? ?? ???, ???? (reinforcement learning) ?? ? ? ?????? ?? ??? ?? ??? ????, ? ??? ??? ??? ???? ? ???? ? ? ?? ??? ??? ????? ?? ??? ? ?? ??? ?? ??? ???? ? ? ???? ??? ??? ?? ??? ?? ??
  • 42. Deep Q - Network (????) ? Q ????? ???? ????? ?? ? Q ????? ?? ?? ?? ??? ??? ??? ?? ? ? ??? ???( CNN )?? ???? ?? ?? ???? ?? DQN ? ????? ???? ????? ??? ? ???? 3 , 000 ? ?? ?? ??? ?? ??? ?, ??? ??? ??? ??? ??? ????? ?? ? ???? DQN ? ?? ??? ??? Deep Mind ? ??? ??
  • 43. ?? ? ??? ???? ???? ? ?? ?? ??? ?? ? ??? ?? ?? ??? ILSVRC ??? ?? ??? ?? ??? ???? ???? ???, ? ??? ? ???? ?? ? ??? ??? : VGG , GoogLeNet , ResNet ? GPU ? ?? ??, ?? ??? ?? ??? ???? ??? ? ???? ?? ??? ??? ?? ??? ???? ?? ? ???? ?? ?? : ??? ?? ??, ??? ??, ???? ?, ?? ???? ???? ??
  • 44. Reference ? ????? ???? ???(??? ?? ?, ??? ??). - ????? ? http://book.paddlepaddle.org/03.image_classification/in dex.en.html