https://hissing-way-b55.notion.site/Jun-Wan-KIM-33881df7ba06438ea7d69f37ecb442e0

연구 과제 & 동기

최근 AI 기술들이 엄청난 관심들을 받고 있고, 그에 따라 AI 기술의 발전 또한 엄청난 속도로 이루어지고 있습니다. 최근 3D Vision 분야도 NeRF의 등장에 힘입어 관련 연구들이 매우 많이 등장하고 있습니다. 정말 마법같은 이 AI라는 기술발전 속에서 저는 궁극적으로 현실과 가상이 연결되는 경험을 하고 싶으며 이를 위해 2D와 3D를 연결할 수 있는 방법에 대해 공부하고 있습니다. 언젠간 제가 촬영한 사진이나 동영상 세계속에 제가 들어가서 체험해볼 수 있는 경험을 하는 그날이 오기 위해 저는 SKT AI Fellowship을 통해 제 개인적인 성장을 이루어나가고 싶습니다. 제가 SKT AI Fellowship에서 NeRF를 연구해보고 싶은 이유는 다음과 같습니다.

  1. 3D Vision은 상대적으로 미개척 분야이며 2D Vision에서의 Task들을 3D로 확장하는 Challenging한 Task들을 해보고자 함.
  2. 우리가 오랜시간 소비해온 미디어들은 2D 기반이나, 대부분의 게임이 2D 그래픽에서 3D 그래픽으로 넘어갔듯이 언젠가 우리주변에 3D매체들이 흘러들어오기 시작할 것이고, 그런 2D와 3D의 연결점을 수행하는 기술로서의 가치가 굉장히 커보임.
  3. CNN,ViT가 2D Vision의 Baseline이 되었고, Transformer가 NLP의 Baseline이 된 것처럼 NeRF또한 3D에서의 그런 위상을 가지게 되었다고 생각한다. 따라서 해당 분야에 대한 연구를 한발 빠르게 진행해보고자 함.
  4. NeRF가 매우 혁신적인 기술이지만 서비스에 사용되기에는 아직 많은 부족함이 있다고 생각함. (사용성, 시간, 비용 등) 따라서 NeRF를 서비스화하기 위한 기반을 마련하고 싶음

프로그램 지원 동기

  1. 앞서 말한 급변하는 AI의 흐름에서 대체되지 않는 나만의 무언가를 키우고자 함.
  2. 지금까지 논문위주로 공부를 해왔으며, 막상 무언가를 Implementation 하고자 하면 기존에 있는 논문이나 Framework를 조금씩 변형하며 하는 것 이외에는 GPU등의 문제로 인해 자원소모 및 시간소모가 너무 커서 자유롭게 연구할 수있는 환경 조성에 어려움이 있었음. 따라서 SKT Fellowship같은 프로그램의 지원을 받으면서 실습 및 연구를 진행해보고자 함.
  3. 내가 생각하는 아이디어들이 실제로 실현가능한 것인지. 이를 기술적으로 어떻게 풀어가야하는지 멘토들과의 소통을 통해 성장해나가고자 함.
  4. 선택한 주제 외에도 다양한 주제들이 있는데 그런 분야의 사람들의 성과를 공유하고 그들에게서도 자극을 받으며 AI 개발자로써 성장해나가고자 함.
  5. 단순히 연구뿐만이 아니라 실무 상황에서 연구 진행에서부터 실제 Wrap-up 까지의 과정이 어떤 식으로 진행되는지 알고자 함.

관련 경험

학회에서 진행한 프로젝트는 다음과 같다.

  1. 무인 편의점을 위한 Object Detection : YOLO v4와, MOT를 사용하여 카메라가 비추고 있는 공간에서 어떤 인물이 어떤 물건을 샀는지 추적하여 정산하는 Amazon Go의 간소화된 Version이다.
  2. 광원 Conditional Image 생성 : NerFactor 논문을 Baseline으로 하여 주어진 이미지를 원하는 광원 정보에 대해 Relighting하는 프로젝트이다.