Ai8 [Style Transfer] Image Style Transfer Using Convolutional Neural Networks 논문/개념 정리 오늘 정리한 내용은 스타일 트랜스퍼에 관한 내용입니다. 참고한 자료들은 하단의 [참고자료]에 기재하였습니다. Transfer Learning 이러한 스타일 트랜스퍼를 이해하기 위해서는 전이학습이라는 개념이 우선되어야 해서 간단히 어떤 개념인지 살펴봐야한다. 우선 앞에서 살펴봤던 cnn구조를 recall해보면 위의 그림과 같은데, 이러한 cnn 구조를 이용해 학습시키는 과정을 다시 짚어보면, 다음과 같이 0에서 9까지의 숫자를 나타내는 흑백이미지인 MNIST 손글씨 데이터를 99%이상 인식하기 위해서는 보는 것과 같이 3개의 CONvolution층과 한 개의 완전연결층 즉 fully connected층이 필요했고 전체 학습에 소요되는 시간은 CPU 1개인 환경에서 약 1시간정도 걸리게 된다. 하지만 MNI.. 2021. 11. 30. [CNN] Convolution Neural Network 정리 발제를 위해 만들었던 ppt를 이용해 CNN에 대해 정리해보고자 한다 자료는 앤드류응 교수님의 CNN 강의를 참고했다. Computer Vision and Deep learning 본격적인 내용에 들어가기에 앞서서 이제 이 CNN 이 어떻게 등장하게 되었는지 , 간단히 컴퓨터 비전을 통해서 한번 살펴보자. 이 컴퓨터 비전은 말그대로 컴퓨터가 사진이나 영상을 즉 이 미지 이용을 해서 하는 모든 것들을 일컫는 말이고 최근 딥러닝의 발전 영역에 있어서 가장 두각 을 나타내는 그러한 분야 중에 하나다. 이 컴퓨터 비전은 이제 얼굴인식이나 예술 등 분야를 가리지않고 다양한 곳에서 응용이 되고 있는데, 대표적으로 주로 다루는 문제 세가지를 살펴보자. 첫 번째로 어떤 사진이 들어왔을 때 여기서는 고양이 사진을 예시로.. 2021. 9. 20. [NSLT] Neural Sign Language Translation based on Human Key point Estimation Abstract 본 논문에서는 인간의 키포인트 추정에 기반한 수화 번역 시스템을 제안한다. 컴퓨터 비전 분야의 많은 문제들은 깊은 신경망 모델을 훈련시키기 위해 엄청난 양의 데이터 세트를 필요로 한다는 것은 잘 알려져 있으며, 수화 번역 문제에 있어서는 고품질의 교육데이터를 수집하기가 훨씬 어려워서 상황이 더욱 악화된다. 본 논문에서는 고해상도 및 품질의 11,578개의 동영상으로 구성된 KETIsign 언어 데이터 세트를 소개한다. -> 각 나라마다 수화의 차이가 있다는 점을 감안할 때, KETIsign 언어 데이터셋은 한국어 수화 번역에 대한 후속 연구를 위한 출발점이 될 수 있다. KETI 수화 데이터셋을 이용 -> 얼굴, 손, 신체 부위에서 추출한 인간의 키포인트를 활용하여 수화 영상을 자연어 문.. 2021. 9. 16. [STMC-Transformer]Better Sign Language Translation with STMC-Transformer 0. Abstract - 비디오 ->(SLR 이용)-> 수화 gloss 추출 ->(SLT 이용) -> 구어번역 생성 (SLR = Sign Language Recognition SLT = Sign Language Translation) 이 논문은 SLT에 초점을 맞춰 번역 시스템을 개선한 STMC-Transformer를 소개 (기존의 Gloss Supervision의 문제를 보여줌) 1. Introduction 수화는 구어와 독립적으로 발달함-> 구어의 문법을 공유하지 않음(어순이 다른 등) 따라서 수화변환(SLT)는 번역 과정에서 수화의 고유한 언어적 특징을 고려해야한다 현재의 SLT 접근법은 (1) Tokenization system : 수화영상 -> gloss 생성 (2) Translation sys.. 2021. 8. 12. 이전 1 2 다음
