(PaperReview) Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

(PaperReview) Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

2019년 5월 삼성 모스크바 AI Research에서 arXiv에 퍼블리시한 퓨샷러닝 논문입니다. 단 한장의 이미지로 움직이는 talking head를 만들어주는 네트워크로, 메타 러닝을 퓨샷 러닝에 적용해 빠른 학습 시간을 자랑합니다.

- review date 1: 2019/08/23 (by Meyong-Gyu.LEE @Soongsil Univ.)
- review date 2: 2019/08/24 (by Meyong-Gyu.LEE @Deeperence)
- Kor review of 'Few-Shot Adversarial Learning of Realistic Neural Talking Head Models' (arXiv, Submitted on 20 May 2019)

올해 5월 삼성 모스크바 AI Research에서 arXiv에 퍼블리시한 퓨샷러닝 논문입니다. 단 한장의 이미지로 움직이는 talking head를 만들어주는 네트워크로, 메타 러닝을 퓨샷 러닝에 적용해 빠른 학습 시간을 자랑합니다. 기존에도 talking head를 만들기 위한 다양한 기법들이 존재하였으나 대부분 거대한 데이터셋(ObamaNet의 경우 17시간 가량의 연설 음성이 필요했습니다.)이 필요하며 시간도 오래 걸린다는 단점이 존재했습니다. 또한 사용자별로 이러한 거대 데이터셋을 구축하기란 매우 어려운 문제이므로 메타 러닝에 대한 연구로 talking head 분야의 연구가 이어지는 것은 어찌보면 당연하다고 볼 수 있겠습니다. 노테이션이 복잡해 이틀을 꼬박 고생하며 읽었네요.