pixelNeRF: Neural Radiance Fields from One or Few Images

✍️ Abstract

Few-shot으로 NeRF scene을 만들어내는 Pixel-NeRF framework를 제시한다. Convolution을 사용하여 vanila NeRF에 image에 대하여 condition을 주는데, 덕분에 다양한 scene에 대한 scene-prior를 학습할 수 있게 되고, 이는 few-shot 성능으로 이어진다. 결국 기존 NeRF는 한 scene에 대해서만 optimizing을 했다면, Pixel-NeRF는 이를 각 scene에 대한 conditioning을 통해 여러개의 scene에 대한 generalization capability를 부여한것이다.

🔒 Prerequisites

• NeRF

🤔 Motivation

기존 NeRF는 한 scene에 대해서 각각 optimization을 한다. 이는

1. Time Consuming → 여러개의 scene이 있을때 여러개의 MLP를 따로 optimize해야함
2. Requires lots of views → 한 scene이 한 MLP와 대응되기 때문에 Scene과 Scene사이의 정보 교환이 없음 (Prior가 전혀 없음) (i.e 같은 “얼굴” scene이지만 인물이 다르면 다른 MLP를 써야함)

이에 여러개의 scene을 한 모델(Encoder + MLP)을 통해 학습하는 Pixel-NeRF를 제시함

📌 Main Method

기존 NeRF와 다른 점은 다음과 같다.

1. CNN encoder $E$

→ input image가 주어 졌을 때 해당 image의 feature를 뽑는 인코더이다.

• details