📌 Main Method

우선 StyleNeRF의 기본이 되는 Stylebased generative Neural Radiance Field를 baseline으로 살펴보고 저자들이 제안한 두가지를 method(upsampling, regularization)를 추가해보며 StyleNeRF의 method를 살펴보자.

0. Style-GAN + NeRF

• $\zeta$ : Fourier Features

• $f$ : mapping function

  

• $g^i_w$ : $i^{th}$layer MLP whose weight is modulated by style vector $w$

• $\phi^n_w(x)$ : $n$-th layer feature of that point

• Obtaining density and RGB from position($x$) and direction ($d$)

1. Approximation for High resolution Image Generation

StyleGAN은 다음과 같은 특성 덕분에 성능이 좋다.

1. 한 픽셀은 한번의 feed forward를 한다.
2. Progressive feature generation from coarse to fine

이러한 stylegan의 성공을 차용하여 Style based NeRF에 기능을 추가해보자.

1-1. Early Feature Aggregation

본래 NeRF setting에서 volume rendering식을 살펴보면 한 pixel값을 구하기 위해서 한 ray를 쏘고 그 ray에서 여러 point들을 sampling하여 각 point를 feed forward한다. 그러면 한 pixel값을 구하기 위해서 여러번의 feed forward를 하기 때문에 매우 소모적이다.

이를 해결하기 위해 2D space 로 aggregation을 먼저 해서 Image의 approximation을 구한다!

위가 본래 NeRF setting에서의 volume rendering 식이다.

이는 preaggregation을 한 image의 approximation을 구하는 식이다.

한 ray에 대하여 MLP의 $n_{\sigma}$까지 의 결과까지만 구하여 한 pixel에 feature vector지정

한 pixel(ray) 당 구한 feature를 이용하여 MLP의 남은 layer에 통과