Understanding deep learning requires rethinking generalization (2017) 1/2
- 1. Understanding deep learning requires rethinking generalization (2017) - 1/2 Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals 170322 @mikibear_ ?? ??
- 3. ?? 1, "??? ????? ???? ???? ?? ????"
- 4. ? ???, ??? '???? ? ?? ??'? ??? ??? ? ????? ??? ???? ???? ????.
- 5. ??? ??? ????? ???? ?? ??. ?? Generalization Error
- 6. ??? ??? ????? ???? ?? ??. ?? Generalization Error = |training error - test error|
- 7. ??? Generalization error? ?? ??, ??? ???? ??? ??? ?? ? ?? ????.
- 8. ??? ?? ?????, ??? ?? ??? ??????. ?? ???? ???? ??? ??
- 9. ??? ?? ?????, ??? ?? ??? ??????. ?? ???? ???? ??? ?? ??? ???
- 10. ??? ?? ?????, ??? ?? ??? ??????. ?? ???? ???? ??? ?? ??? ??? ?? ?? ????? ??? ?? ??? ??
- 11. ?? ??! ?? ????!
- 12. ?? ? ???? "?? ???" ?!
- 13. "?? ???" ?! ?? ??? VGG, Inception, AlexNet?? ?? ???
- 14. ????? ?? ?? ????. ?? ?? ??? ???.
- 15. ?, ??? ??? ?? ??? ?? ??, ??? ?? ?????. ??? ?????.
- 16. ?? ??! ?? ????! ?? ????! ?? ????! ?? ??!
- 17. ??? ??? ???????.
- 18. ?? ??? ????. "?? ???" ??...
- 19. ?? ?? ???? ?? ???. "?? ???" ??...
- 20. ????? ?? ?? ????. ??? ???? ???? ?? ??? ? ?????.
- 21. ??? ??? ????, ??? ???? ???? ? ? ????? "?? ???" '???'?? ???? ??
- 22. ??? "??..."???.
- 23. ??? ?? ????? ???? ??? ??? ???? ??? ???? ?? ??? ????? ?? ?? ??? ?????.
- 24. ?? ???? ?? ?????? "?? ???" '???'?? ???? ?? ??? !
- 25. ?? ??? '???'?? ????, ??? ????? ??? ???? ?? ???, ???? ?? ??? ??? ????
- 26. ???? ???? ?? ???? ?????. ??? ??? ?? ?? ???? ??? ???.
- 27. ??? ????? ???. "?? ???" '???'?? ???? ?? ??? ! ?? ? ?? ?? ??
- 28. ??? ???? CIFAR10 ????? ??? (??? 10?) ('?? ???' - '??? ?? ???') ?? ??? ?? ??? ????????. ? ??? ??? ?? ????, ??? ??? ???????.
- 29. ??
- 30. ?? Training error? 0?? ??, Testing error? 0.9? ???.
- 31. Training error? 0???, Generalization error = Testing error ?, ?? ??? ??? ? ? ???? 0.9? Generalization error? ??? ???.
- 32. Training error? 0???, Generalization error = Testing error ?, ?? ??? ??? ? ? ???? 0.9? Generalization error? ??? ???. ? ?? ???...
- 33. ????? ? ??? ??? ?? ???? ????.
- 34. ????? ? ??? ??? ?? ???? ????. ?? ??? ???? ??? ??? ?????
- 35. '? ??? ??? ??? ???? ??? ?? ????. Data augmentation?? Dropout?? Weight decay? BatchNorm?? Early stopping?? ?? ?? ?? ? ?? ?????'
- 36. ?? 2, "?? ??? ? ???? ? ? ???? ??? ???"
- 37. Dropout?? weight decay? ??? ???? ?????? ? '??'?? (...)
- 38. ?, ?? weight decay? ? ???? ??????. ?? ???? train data? ?? ???? ????
- 39. '?? ?? ??? ???? ???? ??? data augmentation?? weight decay? batch norm ?? ? ?? ???...?'
- 40. '?? ?? ??? ???? ???? ??? data augmentation?? weight decay? batch norm ?? ? ?? ???...? ??? ??? ?? ?? ????? ???? ?? ??? ? ? ???? ????? ?? ???? ???? ???'
- 43. ?, ??? ???? ??? ??? ???? ??? ? ?????. ??, batch norm? ?? ??? inception?? ??? ??? ????.
- 44. ????? ????? ? ?? ???? ????, ????? ?????.
- 45. '??, ??? ???? ?? regularizer?? ???? ??? ???, ???? ????'
- 47. '? ???? ???, ?? regularizer? ???? ???? ??? ???? ???? ??? ? ???? ??? ?? ?????'
- 48. '? ???? ???, ?? regularizer? ???? ???? ??? ???? ???? ??? ? ???? ??? ?? ?????' ??? ?? ????...
- 49. ?? 3, "??? ??? ??? ??? ???, ?? ? Capacity? ??? ???" ?? 4, "SGD? ??? ???? ? ???? ???? ??? ??? ??? ???, ?? ????"
- 50. ??? (?? ?? ???? ? ????)
- 51. ?? ??? ??? ???? ???? ?? ?????! @mikibear