際際滷

際際滷Share a Scribd company logo

CycleGAN? ???? ????

?
?
Kwangsik Lee
Kwangsik Lee

? ????? CycleGAN? ???? ???? ??? ?????.

1 of 60
Downloaded 31 times
CycleGAN? ???? ????. Kwangsik Lee(lks21c@gmail.com)
?? ?? ?? GAN ???? CycleGAN? ?? D2 ??? ??? ?? ??? ?????. ???? ??? ???? ?? ??? ??? ????. Q&A : lks21c@gmail.com
CycleGAN ?? ?? ?? ?? ????? ??? ????, ???? ???? ?????!
CycleGAN?? ? ? ??? #1 ??? ?? ??? ????? ?? ???? ??? ??? ?? ????. ? <-> ??? ?? ??? ????.
CycleGAN?? ? ? ??? #2 ?? <-> ?? ?? ??? ????.
CycleGAN?? ? ? ??? #3 ??? ?? <-> ???? ??? ?? ????
CycleGAN?? ? ? ??? #4 ?? <-> ?? ? ?? ???? ?? ??? ??.
[??] CycleGAN?? ? ? ??? ??? GAN? ??? ????? ????? ??? ?? ??? ????? ?? ? ??. ?? ??? ?? ???? ??.
CycleGAN? ??? ?????? Cycle GAN? ???? ???? ??? pix2pix? ????. ???? ?? ??? ?? ?? cycleGAN ??? ? ????.
???? ?? ?? GAN? ?? ??? ??. ??? ???? ??? pix2pix -> GAN -> CycleGAN ??? ??? ???.
pix2pix #1 ?? supervised learning input, output? ?? ?? ?? ?? ???? -> ???? Test test? ????? ?? ?? ??? ???? ????? ? ???? ?
pix2pix #2 self supervised? ??? ??? label? ?? ???? ??? ??/?? ??? ???? ???? ? ?? ?? loss ? |G(x) - y|
pix2pix #3 ??? ?? ????? ??? ?? : ??? ????? ???? ??? ??? : ?? ?? ??? ????
pix2pix? ??? #1 pix2pix? ??? ???? ???? ?? ??? ??? ?? ? ??? ??? ???
pix2pix? ??? #2 ???? -> ??? ????? ?? ??? ???? ??? loss? ?? ?? ??? ?? ? ?? ??? ??? ??? ?? ???? ?? ?????? ?? ?? ??? ??? ???? ??? ??? ???
pix2pix? Intuition ??? ??? Intuition? ??? ??. ??? ???? output? Ground Truth? ??? ??? ?? ???. ? ??? ??? ??(discrimination)? ? ??. ??? ??? ? ??? ?????? ???? ?? ???? ?? ??? ?? ?? ????? ? ??? ?? ?????.
GAN ?? ???? ??? GAN? ?? ????.
??? GAN? ???? ?? ??? ??? ???? ??? ?????? ??? ??? ? ? Generator ????? ????. Generator? G? ???.
GAN ???? ?? GAN??? D? ?? ??? G? real?? fake?? ????? ???. ? ? ? ???? ??? ??? ??. D? fake? ???? ??. G? fake image? D? ??? ??.
GAN ???? ?? ?? : D?? D? ???? 0? ???? real, 1? ???? fake? ????. ??? D? ???? loss ??? ??? ?? ? ? ??. logD(G(x))? ?? G? ????? ??? 1(fake)? ? ?? ??? log(1 ? D(y))? ?? ?? ?? ???? 0(real)? ?? ? ???.
GAN ???? ?? ?? : G?? ????? G? ????? D? ??? argMin? ?? ??. logD(G(x))? ?? G? ????? ??? 0(real)? ??? ??? log(1 ? D(y))? ?? ?? ?? ???? 1(fake)? ??? ???.
GAN ???? ?? ?? : ???? ??? ?? ??? ??? ??. G ????? D? ?? ? ??? ???? ????? ??.
GAN? ?? ??? ?? G? ???? D? loss function??. ?? ?? G? D? ????? ???? GAN? ????.
pix2pix? Loss ?? pix2pix? loss? ?? level loss? GAN?? ??? loss? ?? ? ???. ???? ??? ????? ???? ???
CycleGAN ???? CycleGAN? ?? ????.
pix2pix? ??? ??? pix2pix?? ??? ?????? ??? ?? ????? ?? ?? ??. ??? ??????? ?? ??? ?? ????? ???? ??? ???. (?? ?? ??? ?? ??? ?? ???? 1000? ???? ??)
CycleGAN? ??? ?? ? ?? ?? ??? ??? ?? ???? ??? ??? ??? ??? ???. ??? ??? ?? ??? style? ??? ?? ?? ? ??.
??? GAN Loss? CycleGAN??? ???? ???? ????? GAN Loss? ???? ??? ? ??
GAN Loss? ?????? ??? ??? ?? ?? ??? ?? target ???? generation ?? ?? ??? ?? ? ?? ? ??? 2?? ???? ?? Input? ??? ???? ?? Output?? ??? ??? ??
CycleGAN? Loss ?? ?? ?? : ??? ???? loss? ??? ?? ???? reconstruct ??? ???? ???. ?, ? ??? ??? style? ???? ?? ?? ???? ?? ??? ???? ???? ???.
CycleGAN? Loss ?? ?? GAN Loss? ????. ????? ?? loss? ?????? ?? genration? ??? ? ?? ?? ??? x? loss? ??? ??? ??? ???. ?? pix2pix? pixel level difference? ???? ????.
? ??? ??? loss ??? ?? ??? ??? ? ?? ?? ?. ?? ?????? ??? ? Loss? ?? ?????.
???? ?? ?? ???? ?? ??? ??? ????. F? G? ??? ? ???? ?? ????. ????, ?? ?? ??? ?? ?? -> ?? ???? ??? ?? ???? ?? ??? -> ?? ????? ??? ??? ? ???.
CycleGAN loss??? ?? ??? ?? ? ??? ??? ??? loss? ??? ?? ??. Cycle GAN? ? ? ??? loss? ???. Cycle GAN ??Lab? ??? ??? ? ??? ? ????? ??? ???? ??? ?? ???? ??.
CycleGAN? ?? ?? #1 ??? ??? ??? ??. ?? -> ?? ??? ????.
CycleGAN? ?? ?? #2 ??? ?? -> ???? ???? ??.
CycleGAN ?? ?? #1 loss? ???? ?? ? ?? ??? ??? ??? ????. city scape ????? ????. ???? ??? ?? ??? label? ?? ??????. GAN? ???? input?? ???? ??? ?? ?? ??? ? ????.(label ???) ?? ? ?? ?? ??? CycleGAN? ???????.
CycleGAN ?? ?? #2 ????? ???? ??? ??. ??? GTA ????, ???? ???? ?? ????.
CycleGAN ?? ?? Generator ???? Cycle GAN???? G? ????? ???? ?? ??? ? ? ?????. Disco GAN? ??? ?? G ????? ???.
CycleGAN? ??? ???? ??? Cycle GAN? U-Net? ?????. ??? skip connection?? ?? ???? ?? ? ?? ??? ?? ??? ??? ??? ???? ???? ??? ?? Skip Connecton? ?? ? ????? ?? ??? ?? ???? ??.
CycleGAN? ??? ???? ResNet? ???? ??? ??? ??? ???? ???? ??? ???? ?? ????? ??. ?? ????? ?? ?? ??? ??? ? ??? ??? ? ?.
GAN Loss ??? ?? CycleGAN??? cross entropy ??? vanishing gradient ?? ? ????. ??? ??? LSGAN? ??? ? ??? ? ??? ?? ?? ???? ??.
L1 loss? ??? pix2pix?? ????? L1 ??? ?????? ?? ??? ?? ? ??.
L1 loss? ??? ??? CycleGAN? ?? ???? ???? ??? ??? ?? ??? ? ??? L1 loss? ??? ???
CycleGAN? ??? L1 loss #1 ???? ??? ?? ???? ???? ?? L1 ??(??? ???? ???)? ??? ??? ??? F(y)? ???? ??? ? ?? G()? ???? ??? y? ??
CycleGAN? ??? L1 loss #2 ??? ???? ???? ???? ???? ???? ??? loss? G? ???? ?? ??? ??.(identity loss)
L1 loss? ??? ??? L1 loss? ? ???? ??? ??? ????. ??-> ?? ?? ? ???? ???? ???.
Replay Buffer GAN ????? ???? ??? ???? ??? ???? ????? ????? ??? ??????. ? ????? ???? ?? ????? Generator? ??? ?? ??? ?? discriminator?? ???, ? ??? Discriminator??? ???
CycleGAN? ??? ?? CycleGAN? ?? ? ??? ??? ???? ??? ??? ???? ??? ?? ??? ???? ???
??? ?? ? ?? ??? ?? ??? ?? ?? ? ???? ??? ?? ?? ???? ???. Optimization? ???? ?? Dataset? ???? ???
Domain Adaption CycleGAN?? ?? ???? ??? ? ??? ??? ????.
GTA5 <-> real streetview GTA ??? ?? ???? ??? ?? ?????.
??? ?? ???? ?? ?? ??? ??? ??? ??? ?? ?? ?? ? ? ??.
GTA? ????? ?? GTA ??? ?? ??? ??? ? ?? ??? ?? ????? ? ? TOOL??.
GTA? ?? ???? ??? ??? ??? GTA ???? Object Detection? ????? ?? ???? ????.
GTA? ?? ???? ???? ??? ??? GTA?? ??? ??? ?? ???? ??? ? ?? ?? ??? ??? ??. Per-class accuracy? object ??? ??? ??(???? ?%, ???? ?% ?)?? per-pixel accuracy? ???? ??? ? ??? ????.
?? ??? ??? ???? ??? ??? ???? 6% ???? ??
CycleGAN? ?? ?? ??? Trick?? Cycle GAN ?? ???? ??? ?? ??? ?? ? ??? ???? ??? ?????. ?? per-pixel accuracy? ???? ?? ??? 93.1% ?? 82.8%? ????.
??? ?????? ? Cycle GAN? ?? NMT
?????.

More Related Content

CycleGAN? ???? ????

  • 1. CycleGAN? ???? ????. Kwangsik Lee(lks21c@gmail.com)
  • 2. ?? ?? ?? GAN ???? CycleGAN? ?? D2 ??? ??? ?? ??? ?????. ???? ??? ???? ?? ??? ??? ????. Q&A : lks21c@gmail.com
  • 3. CycleGAN ?? ?? ?? ?? ????? ??? ????, ???? ???? ?????!
  • 4. CycleGAN?? ? ? ??? #1 ??? ?? ??? ????? ?? ???? ??? ??? ?? ????. ? <-> ??? ?? ??? ????.
  • 5. CycleGAN?? ? ? ??? #2 ?? <-> ?? ?? ??? ????.
  • 6. CycleGAN?? ? ? ??? #3 ??? ?? <-> ???? ??? ?? ????
  • 7. CycleGAN?? ? ? ??? #4 ?? <-> ?? ? ?? ???? ?? ??? ??.
  • 8. [??] CycleGAN?? ? ? ??? ??? GAN? ??? ????? ????? ??? ?? ??? ????? ?? ? ??. ?? ??? ?? ???? ??.
  • 9. CycleGAN? ??? ?????? Cycle GAN? ???? ???? ??? pix2pix? ????. ???? ?? ??? ?? ?? cycleGAN ??? ? ????.
  • 10. ???? ?? ?? GAN? ?? ??? ??. ??? ???? ??? pix2pix -> GAN -> CycleGAN ??? ??? ???.
  • 11. pix2pix #1 ?? supervised learning input, output? ?? ?? ?? ?? ???? -> ???? Test test? ????? ?? ?? ??? ???? ????? ? ???? ?
  • 12. pix2pix #2 self supervised? ??? ??? label? ?? ???? ??? ??/?? ??? ???? ???? ? ?? ?? loss ? |G(x) - y|
  • 13. pix2pix #3 ??? ?? ????? ??? ?? : ??? ????? ???? ??? ??? : ?? ?? ??? ????
  • 14. pix2pix? ??? #1 pix2pix? ??? ???? ???? ?? ??? ??? ?? ? ??? ??? ???
  • 15. pix2pix? ??? #2 ???? -> ??? ????? ?? ??? ???? ??? loss? ?? ?? ??? ?? ? ?? ??? ??? ??? ?? ???? ?? ?????? ?? ?? ??? ??? ???? ??? ??? ???
  • 16. pix2pix? Intuition ??? ??? Intuition? ??? ??. ??? ???? output? Ground Truth? ??? ??? ?? ???. ? ??? ??? ??(discrimination)? ? ??. ??? ??? ? ??? ?????? ???? ?? ???? ?? ??? ?? ?? ????? ? ??? ?? ?????.
  • 17. GAN ?? ???? ??? GAN? ?? ????.
  • 18. ??? GAN? ???? ?? ??? ??? ???? ??? ?????? ??? ??? ? ? Generator ????? ????. Generator? G? ???.
  • 19. GAN ???? ?? GAN??? D? ?? ??? G? real?? fake?? ????? ???. ? ? ? ???? ??? ??? ??. D? fake? ???? ??. G? fake image? D? ??? ??.
  • 20. GAN ???? ?? ?? : D?? D? ???? 0? ???? real, 1? ???? fake? ????. ??? D? ???? loss ??? ??? ?? ? ? ??. logD(G(x))? ?? G? ????? ??? 1(fake)? ? ?? ??? log(1 ? D(y))? ?? ?? ?? ???? 0(real)? ?? ? ???.
  • 21. GAN ???? ?? ?? : G?? ????? G? ????? D? ??? argMin? ?? ??. logD(G(x))? ?? G? ????? ??? 0(real)? ??? ??? log(1 ? D(y))? ?? ?? ?? ???? 1(fake)? ??? ???.
  • 22. GAN ???? ?? ?? : ???? ??? ?? ??? ??? ??. G ????? D? ?? ? ??? ???? ????? ??.
  • 23. GAN? ?? ??? ?? G? ???? D? loss function??. ?? ?? G? D? ????? ???? GAN? ????.
  • 24. pix2pix? Loss ?? pix2pix? loss? ?? level loss? GAN?? ??? loss? ?? ? ???. ???? ??? ????? ???? ???
  • 26. pix2pix? ??? ??? pix2pix?? ??? ?????? ??? ?? ????? ?? ?? ??. ??? ??????? ?? ??? ?? ????? ???? ??? ???. (?? ?? ??? ?? ??? ?? ???? 1000? ???? ??)
  • 27. CycleGAN? ??? ?? ? ?? ?? ??? ??? ?? ???? ??? ??? ??? ??? ???. ??? ??? ?? ??? style? ??? ?? ?? ? ??.
  • 28. ??? GAN Loss? CycleGAN??? ???? ???? ????? GAN Loss? ???? ??? ? ??
  • 29. GAN Loss? ?????? ??? ??? ?? ?? ??? ?? target ???? generation ?? ?? ??? ?? ? ?? ? ??? 2?? ???? ?? Input? ??? ???? ?? Output?? ??? ??? ??
  • 30. CycleGAN? Loss ?? ?? ?? : ??? ???? loss? ??? ?? ???? reconstruct ??? ???? ???. ?, ? ??? ??? style? ???? ?? ?? ???? ?? ??? ???? ???? ???.
  • 31. CycleGAN? Loss ?? ?? GAN Loss? ????. ????? ?? loss? ?????? ?? genration? ??? ? ?? ?? ??? x? loss? ??? ??? ??? ???. ?? pix2pix? pixel level difference? ???? ????.
  • 32. ? ??? ??? loss ??? ?? ??? ??? ? ?? ?? ?. ?? ?????? ??? ? Loss? ?? ?????.
  • 33. ???? ?? ?? ???? ?? ??? ??? ????. F? G? ??? ? ???? ?? ????. ????, ?? ?? ??? ?? ?? -> ?? ???? ??? ?? ???? ?? ??? -> ?? ????? ??? ??? ? ???.
  • 34. CycleGAN loss??? ?? ??? ?? ? ??? ??? ??? loss? ??? ?? ??. Cycle GAN? ? ? ??? loss? ???. Cycle GAN ??Lab? ??? ??? ? ??? ? ????? ??? ???? ??? ?? ???? ??.
  • 35. CycleGAN? ?? ?? #1 ??? ??? ??? ??. ?? -> ?? ??? ????.
  • 36. CycleGAN? ?? ?? #2 ??? ?? -> ???? ???? ??.
  • 37. CycleGAN ?? ?? #1 loss? ???? ?? ? ?? ??? ??? ??? ????. city scape ????? ????. ???? ??? ?? ??? label? ?? ??????. GAN? ???? input?? ???? ??? ?? ?? ??? ? ????.(label ???) ?? ? ?? ?? ??? CycleGAN? ???????.
  • 38. CycleGAN ?? ?? #2 ????? ???? ??? ??. ??? GTA ????, ???? ???? ?? ????.
  • 39. CycleGAN ?? ?? Generator ???? Cycle GAN???? G? ????? ???? ?? ??? ? ? ?????. Disco GAN? ??? ?? G ????? ???.
  • 40. CycleGAN? ??? ???? ??? Cycle GAN? U-Net? ?????. ??? skip connection?? ?? ???? ?? ? ?? ??? ?? ??? ??? ??? ???? ???? ??? ?? Skip Connecton? ?? ? ????? ?? ??? ?? ???? ??.
  • 41. CycleGAN? ??? ???? ResNet? ???? ??? ??? ??? ???? ???? ??? ???? ?? ????? ??. ?? ????? ?? ?? ??? ??? ? ??? ??? ? ?.
  • 42. GAN Loss ??? ?? CycleGAN??? cross entropy ??? vanishing gradient ?? ? ????. ??? ??? LSGAN? ??? ? ??? ? ??? ?? ?? ???? ??.
  • 43. L1 loss? ??? pix2pix?? ????? L1 ??? ?????? ?? ??? ?? ? ??.
  • 44. L1 loss? ??? ??? CycleGAN? ?? ???? ???? ??? ??? ?? ??? ? ??? L1 loss? ??? ???
  • 45. CycleGAN? ??? L1 loss #1 ???? ??? ?? ???? ???? ?? L1 ??(??? ???? ???)? ??? ??? ??? F(y)? ???? ??? ? ?? G()? ???? ??? y? ??
  • 46. CycleGAN? ??? L1 loss #2 ??? ???? ???? ???? ???? ???? ??? loss? G? ???? ?? ??? ??.(identity loss)
  • 47. L1 loss? ??? ??? L1 loss? ? ???? ??? ??? ????. ??-> ?? ?? ? ???? ???? ???.
  • 48. Replay Buffer GAN ????? ???? ??? ???? ??? ???? ????? ????? ??? ??????. ? ????? ???? ?? ????? Generator? ??? ?? ??? ?? discriminator?? ???, ? ??? Discriminator??? ???
  • 49. CycleGAN? ??? ?? CycleGAN? ?? ? ??? ??? ???? ??? ??? ???? ??? ?? ??? ???? ???
  • 50. ??? ?? ? ?? ??? ?? ??? ?? ?? ? ???? ??? ?? ?? ???? ???. Optimization? ???? ?? Dataset? ???? ???
  • 51. Domain Adaption CycleGAN?? ?? ???? ??? ? ??? ??? ????.
  • 52. GTA5 <-> real streetview GTA ??? ?? ???? ??? ?? ?????.
  • 53. ??? ?? ???? ?? ?? ??? ??? ??? ??? ?? ?? ?? ? ? ??.
  • 54. GTA? ????? ?? GTA ??? ?? ??? ??? ? ?? ??? ?? ????? ? ? TOOL??.
  • 55. GTA? ?? ???? ??? ??? ??? GTA ???? Object Detection? ????? ?? ???? ????.
  • 56. GTA? ?? ???? ???? ??? ??? GTA?? ??? ??? ?? ???? ??? ? ?? ?? ??? ??? ??. Per-class accuracy? object ??? ??? ??(???? ?%, ???? ?% ?)?? per-pixel accuracy? ???? ??? ? ??? ????.
  • 57. ?? ??? ??? ???? ??? ??? ???? 6% ???? ??
  • 58. CycleGAN? ?? ?? ??? Trick?? Cycle GAN ?? ???? ??? ?? ??? ?? ? ??? ???? ??? ?????. ?? per-pixel accuracy? ???? ?? ??? 93.1% ?? 82.8%? ????.
  • 59. ??? ?????? ? Cycle GAN? ?? NMT