본문 바로가기

전체 글19

[제 1장] 네트워크 기초 지식 (1) 0. 네트워크란? 네트워크 (Network) = Net(망) + Work(작업하다) 물류, 신경, 전화, 교통 이것들은 모두 네트워크이다. (그물처럼 생김) 즉, 네트워크란 무언가와 무언가가 그물망처럼 무언가에 의해 연결되어있는 것을 의미한다. (ex. 점과 점이 선으로 그물망처럼 연결되어 있다.) 점 = Node, 선 = Link (책에서 그림 참조) + 하지만 여기에 ‘움직임’이 추가되어야 함. (ex. 신경네트워크 = 신경을 운반, 전화 = 목소리를 운반) 즉 네트워크란, 무언가와 무언가를 무언가에 의해 연결해 => ‘무언가를 운반하기’위한 것 이때, ‘연결’과 ‘주고받기’가 네트워크 ‘주고 받기’ : 무언가를 상대에게 보내고, 무언가를 상대로부터 받는다 즉, ‘연결’되어서 ‘주고 받기’를 한다. .. 2021. 8. 13.
[STMC-Transformer]Better Sign Language Translation with STMC-Transformer 0. Abstract - 비디오 ->(SLR 이용)-> 수화 gloss 추출 ->(SLT 이용) -> 구어번역 생성 (SLR = Sign Language Recognition SLT = Sign Language Translation) 이 논문은 SLT에 초점을 맞춰 번역 시스템을 개선한 STMC-Transformer를 소개 (기존의 Gloss Supervision의 문제를 보여줌) 1. Introduction 수화는 구어와 독립적으로 발달함-> 구어의 문법을 공유하지 않음(어순이 다른 등) 따라서 수화변환(SLT)는 번역 과정에서 수화의 고유한 언어적 특징을 고려해야한다 현재의 SLT 접근법은 (1) Tokenization system : 수화영상 -> gloss 생성 (2) Translation sys.. 2021. 8. 12.
[LSGAN] Least Squares Generative Adversarial Netorks 논문 정리 이번에는 LSGAN 논문에 사용된 핵심 아이디어와 원리에 대해 정리한 글이다. 기본 아이디어는 GAN에 있기 때문에 내용은 길지 않다. LSGAN 등장배경: Cross-Entropy의 vanishing gradient problem 기존의 WGAN을 제외한 DCGAN이나 cGAN과 같은 모델들은 Discriminator의 손실함수로 binary cross-entropy를 사용해 min-max game문제를 해결한다. 먼저 기존의 Entropy식을 다시한번 살펴보면 다음과 같다. 엔트로피는 정보량에 대한 기댓값이며 동시에 사건을 표현하기 위해 요구되는 최소 평균 자원이라고 할 수 있다. (자세한 설명은 Entropy 글 참고) 따라서 위와 같은 식으로 나타낼 수 있다. 이어서 cross entropy는 t.. 2021. 4. 21.
[정보이론] Entropy, Cross Entropy, KL-divergence 이해하기 논문들을 읽다보니 Entropy, Cross Entropy, KL-divergence에 대한 개념이 많이 등장하는데 항상 그 개념이 헷갈려서 정확히 짚고 넘어가보려고 한다. 그럼 먼저 Entropy의 개념부터 천천히 살펴보도록 하자. 정보량 & Entropy Entropy를 한문장으로 정의해보자면, 바로 정보를 표현하는데 필요한 최소 평균 자원량이다. 자 이게 무슨말일까? 먼저 정보를 표현한다는 말을 해석해보자. 이 세상에는 수많은 정보들이 넘쳐나고 있다. 지금 이 블로글 글도 어떤 정보를 전달하고 있는 것이고, 우리 삶에서 빠질 수 없는 카카오톡, 문자 등등 인간은 매일매일 정보를 교환하며 살아가고 있다. 정보량 정보이론이라는 학문은 이러한 시그널에 존재하는 정보의 양을 측정하는 응용수학의 한 갈래이다.. 2021. 4. 19.

티스토리툴바