→ 완벽하게 이해하려면 StyleGAN2를 읽고오자. NeRF ++ 는 덤…

<aside> 💡 기존 방법론들 다 low resolution이고 카메라 방향 바꾸면 artifact가 너무 심해..StyleGAN 스럽게

</aside>

Generative NeRF 만들어보자! 대신 high resolutiond으로 computation 적게 만들고 3D consistency 보장 해주면서.

Computation Efficiency → Early Feature Aggregation

High resolution → Progressive Upsampling

3D consistency → NeRF path regularization, New upsampling method

🤔 Motivation

NeRF setting 특성상 computational power가 많이 요구되기 때문에 학습이 비효율적이고(GRAF) low resolution이다.

이에 GIRAFFE에서는 바로 RGB와 density를 예측하지 않고 feature을 예측하여 CNN renderer을 사용해 이미지를 생성해낸다. 그러나 2D CNN을 통과하는 과정에서 3D consistency를 잃기 때문에 고퀄리티 이미지를 생성해내지 못하고 artifact들이 많다.

이에 저자들은 3D consistent, high resolution image를 생성해 낼 수 있는 StyleNeRF를 제안한다.

📌 Main Method

Details를 알고싶다면

왼쪽이 그냥 Generative NeRF setting을 styleGAN 스럽게 만든거고 오른쪽이 StyleNeRF의 아키텍쳐이다. 왼쪽을 잠깐 살펴보고 styleNeRF에서 추가된 기능들을 알아보자!

Untitled

1. Style based Generative NeRF(왼쪽)

Mapping은 그냥 Style을 주입하는거고 FG는 foreground, BG는 background여서 잠깐만 mapping network와 BG를 무시해보자!

  1. 어떤 카메라 $\bold{p}$가 지정이 되면 $N \times N$개의 ray를 쏴야한다. 그럼 각 ray당 $K$개의 point를 sample하게 되고 각각 Fourier features(positional encoding)를 통과
  2. MLP를 통과해서 중간에서 density 예측
  3. 뒤 MLP에서는 Color 예측
  4. density와 Color 이용해서 Volume Rendering!(2D Aggregation)