😮무려 cvpr 2021 best paper
<aside> 💡 GRAF로 image 생성하고 해당 image 여러 관점에서 볼 수 있다는데,,,이거 여러 개 합치고 neural rendering으로 complex scene을 photo realistic하게 만들어보자
</aside>
GRAF : Generative Radiance Fields for 3D-Aware Image Synthesis
$\downarrow$ 뭐가 바뀜?
GIRAFFE : Representing Scenes as Compositional Generative Neural Feature Fields
Compositional : 여러개의 neural field를 합칠래 → 합치는 과정에서 각 object control하고 싶어
Feature : 바로 density랑 RGB값 만들지 말고 feature만들래! 그럼 volume rendering이랑 Neural Rendering도 써야 겠네!
복잡해 보이지만 사실 GRAF를 이해했다면 너무나 간단하당 GRAF에서 추가된 점들을 살펴보자!
기존 GRAF는 하나의 Neural field를 사용하여 density와 RGB를 예측하였다. 그렇기 때문에 volume rendering을 사용하여 2D이미지를 관찰함
$$ (\gamma(\bold{x}),\gamma(\bold{d}),\bold{z}_s,\bold{z}_a) \rightarrow(\sigma,\bold{c}) $$
근데 GIRAFFE는 Neural feature field 를 사용하여 density와 Feature을 예측한다! 그렇기 때문에 Neural rendering을 사용하여 2D 이미지를 관찰한다
$$ (\gamma(\bold{x}),\gamma(\bold{d}),\bold{z}_s,\bold{z}_a) \rightarrow(\sigma,\bold{f}) $$
기존 GRAF는 Neural field가 하나 밖에 없었는데 이걸 그냥 $N$개 쓰자! Neural field가 무려 $N$개! (사실 마지막 하나는 background를 위한것 그러므로 object는 $N-1$ 개)
그럼 $N$개의 density와 feature는 어떻게 합칠 것이냐. 바로 Composition Operator를 사용하여 하나의 density와 feature로 합침.
