Devlog

삽질하며 배우고 들은 것을 나눕니다.

2020

이유를 알 수 없는 GPU 에러 정리(device-side assert, CUDA error, CUDNN_STATUS_NOT_INITIALIZED 등등...)

이유를 알 수 없는 GPU 에러 정리(device-side assert, CUDA error, CUDNN_STATUS_NOT_INITIALIZED 등등...)

딥러닝 모델 학습에 있어서 빠지면 서러운 GPU는 간혹 알 수 없는 오류를 뿜으며 뻗을 때가 있죠. 이 포스팅에서는 깃허브 이슈 페이지와 스택 오버플로우에서 자주 만날 수 있는 GPU-side 에러들에 대해 알아봅니다. Continue reading 이유를 알 수 없는 GPU 에러 정리(device-side assert, CUDA error, CUDNN_STATUS_NOT_INITIALIZED 등등...)

2019

(PaperReview)

(PaperReview) "U-GAT-IT" unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation

도메인 간의 매핑 함수를 학습해 신기한 이미지를 만들고자 하는 Image to Image translation 분야의 새로운 시도가 계속되고 있는 가운데 NCSOFT의 김준호님이 1저자로 참여한 U-GAT-IT은 AdaLIN이라는 새로운 정규화 기법을 제안하고 CAM(Class Activation Map)과 Attention 구조의 적용으로 도메인에 따라서 모델의 구조 변경이나 하이퍼파라미터 변경 없이도 유연한 shape 및 texture 변형이 가능케 하는 새로운 방법을 소개합니다. Continue reading (PaperReview) "U-GAT-IT" unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation

(PaperReview) Towards Foveated Rendering for Gaze-Tracked Virtual Reality

(PaperReview) Towards Foveated Rendering for Gaze-Tracked Virtual Reality

본 논문은 VR환경에서 렌더링 연산량 절감을 시도하는 과정에서 함께 발생하는 알리아싱 문제를 해결하고자 합니다. Non-foveated rendering 화상과 유사한 품질을 가진 결과를 VR 환경에서 도출하고자 하고, 이를 위해 다양한 foveation 기술을 실험할 수 있는 샌드박스를 만들고 테스트하며 기존 foveated renderer의 개선 방안을 모색했습니다. Continue reading (PaperReview) Towards Foveated Rendering for Gaze-Tracked Virtual Reality

(PaperReview) Reconstruction of Monte Carlo Image Sequences using a Recurrent Denoising Autoencoder

(PaperReview) Reconstruction of Monte Carlo Image Sequences using a Recurrent Denoising Autoencoder

MC Rendering에 필연적으로 존재하는 noise를 denoising하기 위한 연구가 지금까지 계속되어 왔지만, Temporal artifact를 비롯한 다양한 문제들로 Offline rendering에 비해 썩 좋지 않은 결과물을 보여 왔습니다. NVIDIA는 Denoising AutoEncoder에 Recurrent connection 구조를 적용한 모델이 Real-time Monte Carlo Rendering Sequence의 노이즈 제거에 효과적임을 보여 주었습니다. Continue reading (PaperReview) Reconstruction of Monte Carlo Image Sequences using a Recurrent Denoising Autoencoder

(PaperReview) Neural 3D mesh renderer

(PaperReview) Neural 3D mesh renderer

렌더링 분야에 신경망을 접목하기 위한 시도가 몇년 전부터 이어져 오고 있지만, 3D object가 Projection을 통해 screen space로 넘어간 후엔 2D에서 아무리 loss를 구해도 3D object space까지 gradient를 보낼 수 없다는 근본적인 한계가 있었습니다. 본 논문에서는 Approximated gradient 방법을 제안하여 다른 논문들보다 정확하게 Gradient를 2D space에서 3D object space로 전달할 수 있다고 주장합니다. Continue reading (PaperReview) Neural 3D mesh renderer

(PaperReview) Kernel Predicting Convolutional Networks For Denoising Monte Carlo Renderings

(PaperReview) Kernel Predicting Convolutional Networks For Denoising Monte Carlo Renderings

SIGGRAPH 2017에는 딥러닝을 사용한 논문들이 굉장히 많이 발표되었습니다. 그중 ‘Kernel Predicting Convolutional Networks for Denoising Monte Carlo Renderings’는 CNN을 사용하여 General하고 Complex한 상황에 대응하는 Denoising Filtering Kernel을 찾아내는 과정에 대해 이야기합니다. Continue reading (PaperReview) Kernel Predicting Convolutional Networks For Denoising Monte Carlo Renderings

(PaperReview) Geometrically-correct projection-based texture mapping onto a Deformable object

(PaperReview) Geometrically-correct projection-based texture mapping onto a Deformable object

본 논문은 구부러지고 꼬거나 접을 수 있는 substrate에 대한 프로젝션 매핑 시스템을 제안합니다. 프로젝터와 카메라를 결합한(=Procam) 광학 기반의 마커 추적 방식으로, Registration을 유지하는 것 뿐만 아니라 표면 위에 추가적인 디지털 페인팅 또한 가능합니다. Continue reading (PaperReview) Geometrically-correct projection-based texture mapping onto a Deformable object

(PaperReview) CNN for Sentence Classification

(PaperReview) CNN for Sentence Classification

이강희 교수님 인공지능특론 대학원수업 발표에 사용한 PPT입니다. 문장 수준의 분류 문제에 word vector와 합성곱 신경망(CNN)을 도입한 연구와 한국어에 최적화된 단어 임베딩 학습 방법을 분석하고, 최적의 성능을 낼 수 있는 말뭉치 및 하이퍼 파라미터가 모델 성능에 미치는 영향을 분석한 연구를 공유합니다. Continue reading (PaperReview) CNN for Sentence Classification

(PaperReview+Test) A Versatile Learning based 3D Temporal Tracker - Scalable, Robust, Online

(PaperReview+Test) A Versatile Learning based 3D Temporal Tracker - Scalable, Robust, Online

642개의 정점을 가진 Geodesic Grid의 각 vertex로부터 깊이 이미지 및 Object Transformation 정보를 얻고, Random Forest Regressor로 학습해 다음 프레임의 Object Transformation을 예측하는 연구입니다. 해당 논문을 리뷰하고 구현하며 얻은 경험을 공유합니다. Continue reading (PaperReview+Test) A Versatile Learning based 3D Temporal Tracker - Scalable, Robust, Online

(Event/Seminar후기) T.TOC 최신논문공유회 - Variational prototyping encoder one shot learning with prototypical images

(Event/Seminar후기) T.TOC 최신논문공유회 - Variational prototyping encoder one shot learning with prototypical images

본 글은 2019년 7월 17일 SKT T.TOC 주최 최신논문공유회에 참석해 김준식 연사님의 세미나를 받아적은 포스트입니다. 저자 공식 의견과 맞지 않는 내용이 포함되어 있을 수 있으니 원본 논문을 확인해 보시기 바랍니다. Continue reading (Event/Seminar후기) T.TOC 최신논문공유회 - Variational prototyping encoder one shot learning with prototypical images

[NVIDIA AI Conference 정리] Tensorcore를 이용한 딥러닝 학습 가속을 쉽게 하는 방법

[NVIDIA AI Conference 정리] Tensorcore를 이용한 딥러닝 학습 가속을 쉽게 하는 방법

본 글은 2019년 7월 2일 NVIDIA AI Conference 행사 중 한재근 과장님께서 ‘Tensor Core를 이용한 딥러닝 학습 가속을 쉽게 하는 방법 (Getting more DL Training Acceleration using Tensor Cores and AMP)’이라는 제목으로 진행하신 강연을 정리한 글입니다. 원본 내용과 차이가 있을 수 있으니 행사 공식 슬라이드를 참고하시기 바랍니다. Continue reading [NVIDIA AI Conference 정리] Tensorcore를 이용한 딥러닝 학습 가속을 쉽게 하는 방법

(NN Methodology) PatchGAN Discriminator 뽀개기

(NN Methodology) PatchGAN Discriminator 뽀개기

Image to image tralslation 분야를 공부하다보면 피해갈 수 없는 개념이 하나 등장합니다. 바로 PatchGAN Discriminator 구조인데요, Generator 부분이야 그렇다쳐도 patch 단위로 Discriminate를 한다는 컨셉이 그다지 직관적으로 와닿지는 않습니다. 이번 포스팅에서는 Pix2Pix와 같은 Image to image translation에서 빼놓으면 섭섭한 PatchGAN Discriminator 구조에 대해 알아보겠습니다. Continue reading (NN Methodology) PatchGAN Discriminator 뽀개기

(Event/Seminar후기) NAVER Vision AI Hackathon 본선 대회에 참여했습니다!

(Event/Seminar후기) NAVER Vision AI Hackathon 본선 대회에 참여했습니다!

지난 2019년 1월 2일부터 시작된 네이버 Vision AI 해커톤 대회에 두달간 참여하며 겪은 소중한 경험을 나눕니다. 비록 우승권에 들지 못한 채 대회를 마감했지만 그 자체로 많은 깨달음을 얻을 수 있었습니다. 쟁쟁한 팀의 팀원 분들을 오프라인에서 만날 수 있었던 본선 대회에 다녀온 후기입니다. Continue reading (Event/Seminar후기) NAVER Vision AI Hackathon 본선 대회에 참여했습니다!