image generator5 [LSGAN] Least Squares Generative Adversarial Netorks 논문 정리 이번에는 LSGAN 논문에 사용된 핵심 아이디어와 원리에 대해 정리한 글이다. 기본 아이디어는 GAN에 있기 때문에 내용은 길지 않다. LSGAN 등장배경: Cross-Entropy의 vanishing gradient problem 기존의 WGAN을 제외한 DCGAN이나 cGAN과 같은 모델들은 Discriminator의 손실함수로 binary cross-entropy를 사용해 min-max game문제를 해결한다. 먼저 기존의 Entropy식을 다시한번 살펴보면 다음과 같다. 엔트로피는 정보량에 대한 기댓값이며 동시에 사건을 표현하기 위해 요구되는 최소 평균 자원이라고 할 수 있다. (자세한 설명은 Entropy 글 참고) 따라서 위와 같은 식으로 나타낼 수 있다. 이어서 cross entropy는 t.. 2021. 4. 21. [CycleGAN] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 논문 리뷰 이번에 정리할 논문은 바로 Unparied Image-to-Image Translation using Cycle-Consistent Adversarial Networks라는 논문이다. 이 논문에서는 Cycle GAN으로 잘 알려진 모델을 소개하고 있다. (Cycle GAN에 대해서 공부하기 전에 pix2pix 논문을 공부하면 많이 도움이 된다!) 그럼 이제부터 cycle GAN이 뭘하는 친구인지 살펴보도록 하자. Cycle GAN 이란? 일단 간단히 CycleGAN이 무엇을 하는 친구인지 예시들을 통해서 살펴보자. 지난 시간에 발표를 했던 GAN이라는 모델은 어떤 데이터 분포를 입력받아 실제에 가까운 데이터를 생성하는 모델이었다. 따라서 GAN은 input image와 output image간의 연관성에.. 2021. 4. 15. [pix2pix] Image-to-Image Translation with Conditional Adversarial Networks 논문 정리 이번에 정리해볼 논문은 pix2pix 모델을 설명하고 있는 Image-to-mage Translation with Conditional Adversarial Networks 논문이다. 사실 Cycle GAN 논문을 정리하다보니, 이 pix2pix 논문을 한번 읽고 넘어가면 훨씬 이해가 잘 될것 같아서 읽게 되었다. (두 논문은 같은 Berkeley AI Research(BAIR) 랩실에서 발표된 논문이기도 하다!) 등장 배경 : Image-to-image Translation 일단 pix2pix 모델은 위의 사진에서 볼 수 있듯이 image-to-image translation 모델이다. 지금까지의 이미지를 이미지로 변환하는 이 image-to-image translation 모델들은 predict pi.. 2021. 4. 12. [GAN] Generative Adversarial Network 논문 정리 이번주에 정리할 논문은 바로 GAN이다. Generative Adversarial Network (GAN) 🔥등장 배경 지난 주 논문에서 등장한 모델인 VAE는 data likelihood를 maximization하기 위해서 여러가지 trick들을 이용했다. 원래 generator를 만들기 위해서 decoder를 붙여주고 완벽하게 최적화할 수 없는 부분은 버리고 Lower Bound를 optimization하는 방법을 활용했다. → 그러나 이렇게 푸는 것은 너무 복잡하다. 왜? VAE는 경험적으로 모델을 만든 것이 아니고, 수학적으로 증명을 시작해서 모델을 만든 것이기 때문. 즉 하려고 했던 것이 원래 모델의 density를 정확하게 모델링하고 싶었던 것 → 근데 그렇게 하지말고 좀 더 practical.. 2021. 4. 4. 이전 1 2 다음
