Generative Adversarial Network2 [LSGAN] Least Squares Generative Adversarial Netorks 논문 정리 이번에는 LSGAN 논문에 사용된 핵심 아이디어와 원리에 대해 정리한 글이다. 기본 아이디어는 GAN에 있기 때문에 내용은 길지 않다. LSGAN 등장배경: Cross-Entropy의 vanishing gradient problem 기존의 WGAN을 제외한 DCGAN이나 cGAN과 같은 모델들은 Discriminator의 손실함수로 binary cross-entropy를 사용해 min-max game문제를 해결한다. 먼저 기존의 Entropy식을 다시한번 살펴보면 다음과 같다. 엔트로피는 정보량에 대한 기댓값이며 동시에 사건을 표현하기 위해 요구되는 최소 평균 자원이라고 할 수 있다. (자세한 설명은 Entropy 글 참고) 따라서 위와 같은 식으로 나타낼 수 있다. 이어서 cross entropy는 t.. 2021. 4. 21. [GAN] Generative Adversarial Network 논문 정리 이번주에 정리할 논문은 바로 GAN이다. Generative Adversarial Network (GAN) 🔥등장 배경 지난 주 논문에서 등장한 모델인 VAE는 data likelihood를 maximization하기 위해서 여러가지 trick들을 이용했다. 원래 generator를 만들기 위해서 decoder를 붙여주고 완벽하게 최적화할 수 없는 부분은 버리고 Lower Bound를 optimization하는 방법을 활용했다. → 그러나 이렇게 푸는 것은 너무 복잡하다. 왜? VAE는 경험적으로 모델을 만든 것이 아니고, 수학적으로 증명을 시작해서 모델을 만든 것이기 때문. 즉 하려고 했던 것이 원래 모델의 density를 정확하게 모델링하고 싶었던 것 → 근데 그렇게 하지말고 좀 더 practical.. 2021. 4. 4. 이전 1 다음
