![? ? ?, ? = ? ? ?+1
+ ? ? ? ? ??+1, ? ?+1 ?? = ?]
? ? ?, ? : Q??
? ?+1
｜??
? : ???
?? ?? ???
? S?? ???? a ??? ??? ? ?? ????
?? ???? ???](https://image.slidesharecdn.com/americanofinalshare-180901124400/85/-14-320.jpg)
![?? : http://rail.eecs.berkeley.edu/deeprlcourse-fa17/f17docs/lecture_4_policy_gradient.pdf
?? = ?????? ? ??~? ?(?)[
?
?(??, ? ?)]
?
´
?? ?(?) = ?? log ? ?
? ??
= ? ?~? ? ?
?=1
?
?? log ? ? ? ? ??
?=1
?
? ??, ? ?](https://image.slidesharecdn.com/americanofinalshare-180901124400/85/-26-320.jpg)
![[C++ Korea] C++ ??? ??? atomic ?? ???](https://cdn.slidesharecdn.com/ss_thumbnails/cppmemorymodelandoperationsonatomictypes-180427162555-thumbnail.jpg?width=560&fit=bounds)
![[IGC 2017] ???? ??? - Mmorpg? ?? voxel ?? ????? ????? ???](https://cdn.slidesharecdn.com/ss_thumbnails/mmorpgvoxel-170905061528-thumbnail.jpg?width=560&fit=bounds)
![[NDC 2018] ???? ?? ???](https://cdn.slidesharecdn.com/ss_thumbnails/ndc18fluidenginedevelopmentverfinal-180427164620-thumbnail.jpg?width=560&fit=bounds)
![?????? ??????? ??????????? [???]](https://cdn.slidesharecdn.com/ss_thumbnails/random-170208062532-thumbnail.jpg?width=560&fit=bounds)
![[KGC2011_???] ?? ?? ???? ??? ? ??](https://cdn.slidesharecdn.com/ss_thumbnails/random-111109224406-phpapp01-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to ????????? ????? ????? (20)
![[IGC] ????? ??? - ?? ??? ??? NPC AI ??](https://cdn.slidesharecdn.com/ss_thumbnails/igcnpcai20161007-161010052405-thumbnail.jpg?width=560&fit=bounds)
![[????] ??? 2018 ??](https://cdn.slidesharecdn.com/ss_thumbnails/agistmoducon2018reviewdonghyeonkim190226-190226151647-thumbnail.jpg?width=560&fit=bounds)
More from Euijin Jeong (6)
????????? ????? ?????
- 2. ????? ?????
- 3. ???? ??? ???? ?? ???? ??
- 4. ?? 1. ?? & ???? ?? 2. ???? ?? 3. ???? ??
- 6. ???? : ?????? ???? ??
- 8. ? ?? ????? ??????
- 9. ? ?? ????? ???? ? ????? ?? ??? ?? ???? ?? ? ????? ??? ??? ?????? ? ????? ??? ??? ??? ?? ?? ? ??? ?? ????? ??? ? ? ??? ??.
- 10. ??? ??? ????
- 11. ???????
- 12. ??action reward ??~ observatio n ?????? ?? ?? ?? MDP
- 13. ????? MDP ???? .. ? ?? ?? ??? ? ?? ??? method ..? ???? ??? ????.
- 14. ? ? ?, ? = ? ? ?+1 + ? ? ? ? ??+1, ? ?+1 ?? = ?] ? ? ?, ? : Q?? ? ?+1 ｜?? ? : ??? ?? ?? ??? ? S?? ???? a ??? ??? ? ?? ???? ?? ???? ???
- 15. ?? ???? ?? ? MDP ??? ??? ?? ??? ??.
- 16. Monte-Carlo ? ????? ???? ???(???? ?? ??? ??). ? ??? ?? ?? -> ???? ? -> ??? ???? ???? ????? ?? ? 100?? ????? ??? ?? -> ? state?? ??? ???? ??? ?? ????? ??
- 17. ?? = 1 ? ?=1 ? ?? Monte-Carlo = 1 ? ?? + ?=1 ??1 ?? ?=1 ??1 ?? = ? ? 1 ???1 = 1 ? ?? + (? ? 1)???1 ???1 = 1 ? ? 1 ?=1 ??1 ?? ? ? 1 ???1 = ?=1 ??1 ??
- 18. ?? = 1 ? ?? + (? ? 1)???1 = 1 ? ?? + ???1 ? 1 ? ? ???1 = ???1 + 1 ? ?? ? ???1 ???1 + 1 ? ?? ? 1 ? ? ???1 = ???1 + ? ?? ? ???1
- 19. ?? = ???1 + ? ?? ? ???1 ?? ???? ??? ?? ?? ??? ?? ???? ?? ???? ? ????
- 20. Monte-Carlo ?? ? ????? ???? ????? ? ? ????? ??? ??? ? ???? ??? ???(ex. ??????)
- 21. Time difference ? ?????? ???? Monte-Carlo ??? ????? ??? ?? = ??+1 + ???+1 ??+1 + ?? (??+1) ?? = ?? + ? ??+1 + ?? (??+1) ? ?? ? ? ?? ○ ? ?(??) + ? ?? ? ?(??)
- 22. Action? ??? ??? ??? ????? Stat e Q Value
- 24. Q ??? ??? ? ?? ? Action? ????? Q??? ????? ??. ? ????? ?? ???
- 25. ??? ????? ? Policy based Learning ? ?? action? ?? ????? ?? ?? ? Continuous ? action ??? ? ???
- 26. ?? : http://rail.eecs.berkeley.edu/deeprlcourse-fa17/f17docs/lecture_4_policy_gradient.pdf ?? = ?????? ? ??~? ?(?)[ ? ?(??, ? ?)] ? ´ ?? ?(?) = ?? log ? ? ? ?? = ? ?~? ? ? ?=1 ? ?? log ? ? ? ? ?? ?=1 ? ? ??, ? ?
- 27. A2C ? Stochastic Policy Gradient ??? ?? ? Policy gradient ?? ??? ????? Critic ???? ?? ?? actor critic env ?? ?(?) = ? ?~? ? ? ?=1 ? ?? log ? ? ? ? ?? ?=1 ? ? ??, ? ? ? ?~? ? ? ?=1 ? ?? log ? ? ? ? ?? ? ?(??)
- 28. A2C ????? ??? ? Softmax? 64*64 ?? ? ? ?? ????? ?? ? Stochastic Policy Gradient ? Action? attack ?, actor ??? ???
- 29. ??
- 30. A2C ????? ??? ? ?? ? ?????? ? Action space? ?? ??(4096) C ?? ????? q?? ??? ? ??? ?? ?? ? ?? ? ??????
- 31. DDPG ? Deep Deterministic Policy Gradient ? A2C ????? Deterministic Policy Gradient ?? ? ???? action ??? ?? ??? ??? ? Target network ? replay buffer ??? ??
- 32. DDPG? ??!! ? ??? ???? action?? ??? ????! ? Action? ??? ??? ? ???
- 33. DDPG? ??!! actor critic env action coordinate Action? ?? ?? Coordinate ? ?? ??
- 34. DDPG ??
- 35. DDPG ??
- 36. DDPG ??
- 37. DDPG ??? ? ??? ????? ?? ???? ???? ?? ? DDPG?? ????? action ??? ???? ??(argmax) ? ?~? ? ? ?=1 ? ?? log ? ? ? ? ?? ?=1 ? ? ??, ? ? Stochastic Policy Gradient ? ?~? ? ? ?? ? ?, ? ? ? ?? ?(?|? ?) Deterministic Policy Gradient
- 38. ?? ?? ?? ? ??? ?? ??? ?? ?? ?? ? Action ??actor? ?? ?? actor 2?? ??? ?? Critic ??? ?? ?? - (DPG SPG ??? ??)
- 39. ?????.