Cross entropy2 [LSGAN] Least Squares Generative Adversarial Netorks 논문 정리 이번에는 LSGAN 논문에 사용된 핵심 아이디어와 원리에 대해 정리한 글이다. 기본 아이디어는 GAN에 있기 때문에 내용은 길지 않다. LSGAN 등장배경: Cross-Entropy의 vanishing gradient problem 기존의 WGAN을 제외한 DCGAN이나 cGAN과 같은 모델들은 Discriminator의 손실함수로 binary cross-entropy를 사용해 min-max game문제를 해결한다. 먼저 기존의 Entropy식을 다시한번 살펴보면 다음과 같다. 엔트로피는 정보량에 대한 기댓값이며 동시에 사건을 표현하기 위해 요구되는 최소 평균 자원이라고 할 수 있다. (자세한 설명은 Entropy 글 참고) 따라서 위와 같은 식으로 나타낼 수 있다. 이어서 cross entropy는 t.. 2021. 4. 21. [정보이론] Entropy, Cross Entropy, KL-divergence 이해하기 논문들을 읽다보니 Entropy, Cross Entropy, KL-divergence에 대한 개념이 많이 등장하는데 항상 그 개념이 헷갈려서 정확히 짚고 넘어가보려고 한다. 그럼 먼저 Entropy의 개념부터 천천히 살펴보도록 하자. 정보량 & Entropy Entropy를 한문장으로 정의해보자면, 바로 정보를 표현하는데 필요한 최소 평균 자원량이다. 자 이게 무슨말일까? 먼저 정보를 표현한다는 말을 해석해보자. 이 세상에는 수많은 정보들이 넘쳐나고 있다. 지금 이 블로글 글도 어떤 정보를 전달하고 있는 것이고, 우리 삶에서 빠질 수 없는 카카오톡, 문자 등등 인간은 매일매일 정보를 교환하며 살아가고 있다. 정보량 정보이론이라는 학문은 이러한 시그널에 존재하는 정보의 양을 측정하는 응용수학의 한 갈래이다.. 2021. 4. 19. 이전 1 다음
