There is an inherent ambiguity between 3D shape and radiance that can admit degenerate solutions, in the absence of regularization called shape-radiance ambiguity.
→ 정확하지 않은 geometry에 대해 training view로는 완벽한 복원을 하지만 novel view로는 generalize가 안되는 NeRF들이 많다.
This can be show by the following experiment.
Geometry를 unit sphere로 정해놓고 왼쪽 과 같은 mlp를 통과한다면 training view에 대해서는 상당히 높은 퀄리티로 복원을 하지만 test view가 살짝만 달라져도 매우 퀄리티가 안좋은 prediction을 한다.
If NeRF is trained to a arbitrary geometry, this solution’s ability to synthesize novel views becomes limited.
Than How does NeRF avoid this degenerate solutions?
Geometry가 정확한 shape이 아니라면, 즉 포크레인이 아니라 어떤 sphere이라면, radiance는 보는 방향에 따라서 급격하게 바뀌어야 한다. 즉, 주파수가 높은 함수가 된다. 그러나 만약 geometry가 정확한 shpae이라면, 즉 포크레인이라면, 보는 방향에 따라 급격하게 바뀔 필요가 없다. 이러한 이유 때문에 한정된 information을 표현할 수 있는 MLP로는 잘못된 geometry를 가지고 있는 shape을 표현하기가 힘들어 진다!
NeRF의 MLP구조를 보면 $\bold{d}$ 보다 $\bold{x}$가 더 많은 MLP를 통과한다. 즉, $\bold{d}$ 와 $\bold{x}$는 비대칭이다. 그렇기 때문에 position에 대한 표현력이 direction보다 크다. 이는 저자 들이 말하는 smooth BRDF prior를 주는 regularization이다. 정리하자면 Smooth BRDF라는 inductive bias를 MLP의 struction를 통해서 준것이다.
이는 오른쪽 그림과 같이 position과 direction이 symmetric한 MLP를 만들어 실험을 해보면 확인 가능하다.
$\bold{d}$와 $\bold{x}$ 가 symmetric하면 성능이 안좋아진다