?? ??? ?? Variational Autoencoder (VAE)
?
0 likes?459 views
Variational??? ???? ???? ??????. ???, '? ?? ?'??? ??? ????. ?? ???? ??? ?? ????? ???. ????? ????? ??????. ????(random variable)?? ???, ?? ??? ?? ?? ???. https://blog.naver.com/nonezerok/221428251262
![????
? ?, ? = ? ? ? ?|? = ? ? ?(?|?)
? ? = ?
?
? ?, ?
? ? = ?
?
? ? ? ? ? ? = ?
?
? ? ? ?
18
??(?)[?]
joint pdf, marginal pdf, conditional pdf
random variable, ?
? ? = ? , ?? ? , ?(?)](https://image.slidesharecdn.com/20200712notevae20221018-slideshare-230111040459-a48847c2/85/Variational-Autoencoder-VAE-18-320.jpg)
?? ??? ?? Variational Autoencoder (VAE)
- 3. 3 Autoencoder ?1: ? ★ ? ?2: ? ★ ? encoder decoder ? ? ?1 ?2 ?3
- 4. 4 Autoencoder ?1: ? ★ ? ?2: ? ★ ? encoder decoder ? ? ??? ???, ??? ??. deterministic function non-deterministic?? ?? ??. ?1 ?2 ?3
- 5. 5 Autoencoder ?1: ? ★ ? ?2: ?＞ ★ ? ???? ???! (???? ???) encoder decoder ? ? ?1 ?2 ?3
- 6. 6 credit: https://www.topbots.com/intuitively-understanding-variational-autoencoders/ ?? ??? ????!
- 8. 8 credit: https://www.topbots.com/intuitively-understanding-variational-autoencoders/ ?(?|?) ? is given ?? ???? ? ? ???
- 9. 9 credit: https://www.topbots.com/intuitively-understanding-variational-autoencoders/ ?(?|?) ?? = sampling ? ~ ? (?|?) ?????, ?????? sample ?
- 10. 10 credit: https://www.topbots.com/intuitively-understanding-variational-autoencoders/ Variational Autoencoder (VAE) ? ??(??)? ???? ?? ?? ???! ? ??? ?? ? ?? ? ? ??? ?? ??! ? ?? ?! ?(?|?) ?(?|?) ?
- 11. 11 ?, ? Gaussian (distribution) function
- 12. 12 credit: https://www.topbots.com/intuitively-understanding-variational-autoencoders/ Variational Autoencoder (VAE) ?(?|?) ?~?(?|?) ??? ??? Loss ??? ????, Backpropagation?? ??? ??? ??. ?? ???? ?? ??? ???? ??. ? ???? ??? ??? ????? ?
- 13. 13 credit: https://www.topbots.com/intuitively-understanding-variational-autoencoders/ Variational Autoencoder (VAE) ?(?|?) ?~?(?|?) ?(?) = ?? + ? ??? ???, ???, ??? ?? ???? ??? ??. ??(?) ?? = ?, ??(?) ?? = 1 ?? (sampling)? ???? ????? ???. ?
- 14. reparameterization trick ? ? ? ?|? ? ?|? ? 14 ?1 ?2 ?1 ?2 Sampling ? ?? ?????? ?i ~? ??, ?? 2 ?i = ?? + ?? ? ? ? ~ ? 0,1 ?? ?? ?i ??? ??? ??? ??? ????! ?~? 0, 1
- 16. 16 credit: https://www.topbots.com/intuitively-understanding-variational-autoencoders/ Variational Autoencoder (VAE) ??: q? p? ??? ????? ???? ?????? ??. ? ??? ??? ????? ?? ??? ???? ??? ??? ??? ???, ??? ?? Bayesian Theorem(Rule), Information Theory ?? ??! ?(?|?) ?(?|?) ??? ??? ???? ??? ??? ???, ????? ??? ??? ???
- 17. 17 ?(?|?) ?(?|?) ?? ???? ??? ??? ?? ??? ???, ?? ??? ???? ???? ?? ???? ?? ?? ? ?? ??? ??? ????? ? ? ? ?? ???? ?? ??? ??? ???? ??? ? ? ??. KL divergence ?? ?? ??. (? ??? ??? ???? ?) ? ?? ???? ??? ??? ??. ????? ???? ????. ???? ??(????)? ??? ???? ? KL divergence ?? ????? ???? ??!
- 18. ???? ? ?, ? = ? ? ? ?|? = ? ? ?(?|?) ? ? = ? ? ? ?, ? ? ? = ? ? ? ? ? ? ? ? = ? ? ? ? ? ? 18 ??(?)[?] joint pdf, marginal pdf, conditional pdf random variable, ? ? ? = ? , ?? ? , ?(?)
- 19. Bayes¨ Rule ? ?|? = ? ?, ? ? ? = ? ?|? ? ? ? ? = ? ?|? ? ? σ? ? ?, ? = ? ?|? ? ? σ? ? ?|? ? ? 19 ? ?, ? = ? ? ? ?|?
- 20. Bayesian Inference ? ?|? = ? ?|? ? ? ? ? posterior likelihood prior Posterior(????) ??? 20 ?? ? ??? ?? ??? ?? ? ? ? ? ? ?|? ? ? ???? ?? ??. ( ?? ) ? = ? ? ? ? = ? ? ? ?|? ? ? = c. f) classification ? ?|? 『 ? ?|? ? ? ?? ???? ?? ?? ?? ? ??? intractable
- 21. Information, Entropy 21 ? ? = ??? 1 ?(?) ? ? = ? ????? ? = ? ? ? ? ? ???? ? Expectation of Information ? ?(?)
- 22. ??(?| ? = ? ? ? ? ????(?) ?? ? ? ? ? ? ????(?) ?? = ? ? ? ? log ? ? ? ? ?? ?(?)? ?? ?(?)? ???? ?(?)? ?? ?(?)? ???? 22 ???? ??????? ?? ??(?| ? − 0 ??(?| ? 』 ??(?| ? > 0 ? ? ? ? ? 「 ?(?) ?(?) ???? ?? ? ? ??? ?????, ? ??? ???? ??? ??? ????? ??? ??
- 23. KL-divergence 23 ? ?? ??? ?? ?? ? ??? ??? ?? ??? ???? ???? credit: https://wiseodd.github.io/techblog/2016/12/21/forward-reverse-kl/
- 24. Variational Inference ? ?|? ? ?|? ??? ???. ? ?? ? ?? ??? ?? ?? ?? ??; ????? ????. ? ?|? 「 ? ?|? ??: KL ??? min KL ? ?|? ||? ?|? 24 Posterior ??? ??(??) ???? ?? ? ?|? Reverse KL? ?? VI : biased, low variance MC: unbiased, high variance
- 25. ?? ? ?|? ||? ?|? = ? ? ? ?|? ??? ? ?|? ? ?|? = ? ? ? ?|? ??? ? ?, ? ? ? ? ?|? 1 = ? ? ? ?|? ??? ? ?, ? ? ?|? 1 ? ? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ??? 1 ? ? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ? ? ? ?|? ??? ? ? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ??? ? ? ? ? ? ?|? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ??? ? ? 1 ??? ? ? = ?? ? ?|? ||? ?|? + ? ? ?|? ??? ? ?, ? ? ?|? ? is given, then it is fixed 25 https://www.youtube.com/watch?v=uaaqyVS9-rM ??? ? ? − ??? ??? ??? ?? ??. ? ?? ? − 0 ? ? ?|? ??? ? ?, ? ? ?|? ? in black: a random variable ? in gray: a fixed value of the random variable ?
- 26. ?? ? ?|? ||? ?|? = ? ? ? ?|? ??? ? ?|? ? ?|? = ? ? ? ?|? ??? ? ?, ? ? ? ? ?|? 1 = ? ? ? ?|? ??? ? ?, ? ? ?|? 1 ? ? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ??? 1 ? ? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ? ? ? ?|? ??? ? ? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ??? ? ? ? ? ? ?|? = ? ? ? ?|? ??? ? ?, ? ? ?|? + ??? ? ? 1 ??? ? ? = ?? ? ?|? ||? ?|? + ? ? ?|? ??? ? ?, ? ? ?|? ? is given, then it is fixed 26 https://www.youtube.com/watch?v=uaaqyVS9-rM − 0 lower bound ??? ? ? − variational ??? ??? ??? ?? ??. ? ?? ? Log-Likelihood ?? ?? ? ? in black: a random variable ? in gray: a fixed value of the random variable ?
- 27. ? ? ?|? ??? ? ?, ? ? ?|? = ? ? ?|? ??? ? ?|? ? ? ? ?|? = ? ? ?|? ??? ? ?|? + ??? ? ? ? ?|? = ? ? ?|? ??? ? ?|? + ? ? ?|? ??? ? ? ? ?|? = ?? ?|? ??? ? ?|? ? ?? ? ?|? ||? ? 27 Evidence Lower BOund (ELBO) lower bound ? ?|? ? ? when ? is given ??? ? ? − Log-Likelihood ?? ?? ?
- 28. 28 Z X ?(?|?) ?(?|?) ? ｜ ? ★ ? ? ｜ ? ★ ? ?(?|?) ? ? ?(?|?) ? ? ??? ?|? ??? ? ?|? + ?? ? ?|? ||? ? deterministic function = neural network ? ?? ?? ???; ???? ?? ??? ??? ?? Cross Entropy Loss Loss for a given ?: 「 ?(?|?)
- 29. 29 ? ?(?|?) ?? ?? ? ??, ?? ??? ???? ??? ????? ??
- 30. Loss Function ?? ? ??? ?|?? ??? ? ??|? + ?? ? ?|?? ||? ? 30 ? ?? ?? ???? ?? reconstruction term regularizer term
- 31. ???? ??? ?? ? ??? ?|?? ??? ? ??|? + ?? ? ?|?? ||? ? 「 1 ? ? ??? ? ??|?? 「 ??? ? ??|?1 = ??? ? ?=1 ? ? ??,?|?1 = ? ?=1 ? ??? ? ??,?|?1 = ? ?=1 ? ??? ?? ??,? ? 1 ? ?? 1???,? = ? ?=1 ? ??,???? ?? + 1 ? ??,? ??? 1 ? ?? Monte Carlo Sampling ??? 31 network output cross-entropy network input (target) N ?? j?? ?? ??? 1? ??
- 32. ???? ??? ?? ? ??? ?|?? ??? ? ??|? + ?? ? ?|?? ||? ? 「 1 ? ? ??? ? ??|?? 「 ??? ? ??|?1 = ??? ? ??, ?? 2 ? = ? ? ?=1 ? 1 2 ??? ??,? 2 + ??,? ? ??,? 2 2??,? 2 Monte Carlo Sampling 32 ??? ? ??, ?2 ? 『 ? ? ?=1 ? ??,? ? ??,? 2 ??? ??? ?? ??? ?? mean squared loss N ?? 2N ?? ?? ?
- 33. KL regularizer term 33 ?? ? ??, ?? 2 ? ||? 0, ? = 1 2 ?? ?? 2 ? + ?? ? ?? ? ? ? ??? ? ?=1 ? ??,? 2 = 1 2 ? ?=1 ? ??,? 2 + ? ?=1 ? ??,? 2 ? ? ?=1 ? 1 ? ? ?=1 ? ??? ??,? 2 = 1 2 ? ?=1 ? ??,? 2 + ??,? 2 ? ??? ??,? 2 ? 1 ??? ?? ???? ?? ??? ?? ?? ?? ? ?|?? covariance 0 ??, ?? K?, ?? 2 K? ? ??? ?|?? ??? ? ??|? + ?? ? ?|?? ||? ? = 1 2 ? ?=1 ? exp(log _??,? 2 ) + ??,? 2 ? log _??,? 2 ? 1 ?????´
- 34. Loss for a given ?? 34 ?? ?, ?, ?? = ? ? ?=1 ? ??,???? ?＞? + 1 ? ??,? ??? 1 ? ?＞? + 1 2 ? ?=1 ? ??,? 2 + ??,? 2 ? ??? ??,? 2 ? 1 ?? ?, ?, ?? = ? ?=1 ? 1 2 ??? ??,? 2 + ??,? ? ??,? 2 2??,? 2 + 1 2 ? ?=1 ? ??,? 2 + ??,? 2 ? ??? ??,? 2 ? 1 ?? ?, ?, ?? = ? ?=1 ? ??,? ? ??,? 2 + 1 2 ? ?=1 ? ??,? 2 + ??,? 2 ? ??? ??,? 2 ? 1 ??? ?? ??? ??
- 35. ?? 35
- 46. ?? ?? 46 ? Conditional VAE ? ? ?VAE ? Adversarial Autoencoder ? VQ-VAE
- 51. ?? ?? 51 ? Conditional VAE ? ? ?VAE ? Adversarial Autoencoder ? VQ-VAE
- 56. 56 Pose! + ? ?-VAE (ICLR 2017)
- 58. 58
- 59. ?? ?? 59 hidden code learns to represent the style of the image ? Conditional VAE ? ? ?VAE ? Adversarial Autoencoder ? VQ-VAE https://arxiv.org/pdf/1511.05644.pdf
- 61. ?? ?? 61 ? Conditional VAE ? ? ?VAE ? Adversarial Autoencoder ? VQ-VAE https://proceedings.neurips.cc/paper/2017/file/7a98af17e63a0ac09ce2e96d03992fbc-Paper.pdf
- 62. ???? 62 ? Tutorial on Autoencoder, https://arxiv.org/pdf/1606.05908.pdf (2016) ? https://www.youtube.com/watch?v=uaaqyVS9-rM ? https://wiseodd.github.io/techblog/2016/12/10/variational-autoencoder/ ? /NaverEngineering/ss-96581209