entropy1 [정보이론] Entropy, Cross Entropy, KL-divergence 이해하기 논문들을 읽다보니 Entropy, Cross Entropy, KL-divergence에 대한 개념이 많이 등장하는데 항상 그 개념이 헷갈려서 정확히 짚고 넘어가보려고 한다. 그럼 먼저 Entropy의 개념부터 천천히 살펴보도록 하자. 정보량 & Entropy Entropy를 한문장으로 정의해보자면, 바로 정보를 표현하는데 필요한 최소 평균 자원량이다. 자 이게 무슨말일까? 먼저 정보를 표현한다는 말을 해석해보자. 이 세상에는 수많은 정보들이 넘쳐나고 있다. 지금 이 블로글 글도 어떤 정보를 전달하고 있는 것이고, 우리 삶에서 빠질 수 없는 카카오톡, 문자 등등 인간은 매일매일 정보를 교환하며 살아가고 있다. 정보량 정보이론이라는 학문은 이러한 시그널에 존재하는 정보의 양을 측정하는 응용수학의 한 갈래이다.. 2021. 4. 19. 이전 1 다음
