논문10 [Style Transfer] Image Style Transfer Using Convolutional Neural Networks 논문/개념 정리 오늘 정리한 내용은 스타일 트랜스퍼에 관한 내용입니다. 참고한 자료들은 하단의 [참고자료]에 기재하였습니다. Transfer Learning 이러한 스타일 트랜스퍼를 이해하기 위해서는 전이학습이라는 개념이 우선되어야 해서 간단히 어떤 개념인지 살펴봐야한다. 우선 앞에서 살펴봤던 cnn구조를 recall해보면 위의 그림과 같은데, 이러한 cnn 구조를 이용해 학습시키는 과정을 다시 짚어보면, 다음과 같이 0에서 9까지의 숫자를 나타내는 흑백이미지인 MNIST 손글씨 데이터를 99%이상 인식하기 위해서는 보는 것과 같이 3개의 CONvolution층과 한 개의 완전연결층 즉 fully connected층이 필요했고 전체 학습에 소요되는 시간은 CPU 1개인 환경에서 약 1시간정도 걸리게 된다. 하지만 MNI.. 2021. 11. 30. [NSLT] Neural Sign Language Translation based on Human Key point Estimation Abstract 본 논문에서는 인간의 키포인트 추정에 기반한 수화 번역 시스템을 제안한다. 컴퓨터 비전 분야의 많은 문제들은 깊은 신경망 모델을 훈련시키기 위해 엄청난 양의 데이터 세트를 필요로 한다는 것은 잘 알려져 있으며, 수화 번역 문제에 있어서는 고품질의 교육데이터를 수집하기가 훨씬 어려워서 상황이 더욱 악화된다. 본 논문에서는 고해상도 및 품질의 11,578개의 동영상으로 구성된 KETIsign 언어 데이터 세트를 소개한다. -> 각 나라마다 수화의 차이가 있다는 점을 감안할 때, KETIsign 언어 데이터셋은 한국어 수화 번역에 대한 후속 연구를 위한 출발점이 될 수 있다. KETI 수화 데이터셋을 이용 -> 얼굴, 손, 신체 부위에서 추출한 인간의 키포인트를 활용하여 수화 영상을 자연어 문.. 2021. 9. 16. [STMC-Transformer]Better Sign Language Translation with STMC-Transformer 0. Abstract - 비디오 ->(SLR 이용)-> 수화 gloss 추출 ->(SLT 이용) -> 구어번역 생성 (SLR = Sign Language Recognition SLT = Sign Language Translation) 이 논문은 SLT에 초점을 맞춰 번역 시스템을 개선한 STMC-Transformer를 소개 (기존의 Gloss Supervision의 문제를 보여줌) 1. Introduction 수화는 구어와 독립적으로 발달함-> 구어의 문법을 공유하지 않음(어순이 다른 등) 따라서 수화변환(SLT)는 번역 과정에서 수화의 고유한 언어적 특징을 고려해야한다 현재의 SLT 접근법은 (1) Tokenization system : 수화영상 -> gloss 생성 (2) Translation sys.. 2021. 8. 12. [LSGAN] Least Squares Generative Adversarial Netorks 논문 정리 이번에는 LSGAN 논문에 사용된 핵심 아이디어와 원리에 대해 정리한 글이다. 기본 아이디어는 GAN에 있기 때문에 내용은 길지 않다. LSGAN 등장배경: Cross-Entropy의 vanishing gradient problem 기존의 WGAN을 제외한 DCGAN이나 cGAN과 같은 모델들은 Discriminator의 손실함수로 binary cross-entropy를 사용해 min-max game문제를 해결한다. 먼저 기존의 Entropy식을 다시한번 살펴보면 다음과 같다. 엔트로피는 정보량에 대한 기댓값이며 동시에 사건을 표현하기 위해 요구되는 최소 평균 자원이라고 할 수 있다. (자세한 설명은 Entropy 글 참고) 따라서 위와 같은 식으로 나타낼 수 있다. 이어서 cross entropy는 t.. 2021. 4. 21. 이전 1 2 3 다음
