![NeRF: Representing Scenes as Neural Radiance Fields
for View Synthesis
[ECCV 2020]](https://image.slidesharecdn.com/pr12302nerf-210308141500/85/PR-302-NeRF-Representing-Scenes-as-Neural-Radiance-Fields-for-View-Synthesis-12-320.jpg)
PR-302: NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
- 1. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 연세대학교 영상 및 비디오 패턴 인식 연구실 이형민 2021.2.9 PR-302
- 3. Novel View Synthesis uBullet-Time Effect N대의 카메라를 통한 Input è 임의의 시점(視點)에서 본 대상의 모습을 합성 https://www.matthewtancik.com/nerf
- 4. Novel View Synthesis uParallax Effect 3D Space에 대한 Analysis가 필수적!!
- 5. Pinhole Camera Model (PR-228: GeoNet)
- 6. Pinhole Camera Model uPinhole Camera Model
- 7. Pinhole Camera Model uReal Length??
- 8. Pinhole Camera Model uNormalized Plane Depth=1인 평면 위로 모든 점을 Projection!!
- 9. Pinhole Camera Model uIntrinsic Parameter Camera 정보를 이용하여 pixel domain으로 projection
- 10. Pinhole Camera Model uIntrinsic Parameter
- 11. Pinhole Camera Model uExtrinsic Parameter
- 12. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [ECCV 2020]
- 13. NeRF uScenario of Novel View Synthesis N개의 시점에서 찍은 2D Image è 임의의 시점에서 찍은 2D Image
- 14. NeRF uNeural Radiance Field 3D data를 통째로 모델링하겠다!! • 이미지: 각 위치에 pixel 값을 저장한 Table의 형태 • Neural Radiance Field: 각 위치 값을 input으로 주면 output으로 RGB 값을 연산하는 함수의 형태
- 15. NeRF uNeural Radiance Field • Input: 위치( −𝟏, 𝟏 𝟑 )와 보는 방향 (Unit Vector; 보는 방향에 따라서도 RGB 값이 달라질 수 있다.) • Output: RGB 값과 Density (투명도의 역수 개념) 그 함수를 Deep Neural Net으로 정의하고, 주어진 이미지들로 학습하자!
- 16. NeRF uRay
- 17. NeRF uProjection Pixel 값 = 한 Ray 위에 존재하는 Point들의 RGB 값들의 Weighted Sum!!
- 18. NeRF uProjection • Density가 클수록 Weight가 커야 한다! • 그 지점을 가로막고 있는 점들의 Density의 합이 작을수록 Weight가 커야 한다!
- 19. NeRF uNormalized Device Coordinate (NDC) • Real World Scene을 Cube 형태의 Space로 변환
- 20. NeRF uNormalized Device Coordinate (NDC)
- 21. NeRF
- 22. NeRF uNormalized Device Coordinate (NDC)
- 23. NeRF uNormalized Device Coordinate (NDC)
- 24. NeRF uNormalized Device Coordinate (NDC)
- 25. NeRF uNormalized Device Coordinate (NDC)
- 26. NeRF uImplementation Max, Nelson. "Optical models for direct volume rendering." IEEE Transactions on Visualization and Computer Graphics 1.2 (1995): 99-108.
- 27. NeRF uImplementation • Hierarchical Volume Sampling • 앞의 방법을 통해 𝑵𝒄개의 𝒕를 뽑고, 이를 이용하여 Coarse Network를 학습시킨다. • Coarse Network를 통해 얻은 Distribution(𝑻(𝒓))에 따라 𝑵𝒇개의 𝒕를 추가적으로 뽑는다. • 총 𝑵𝒄 + 𝑵𝒇개의 Sample을 이용하여 Fine Network를 학습시킨다.
- 29. NeRF uResults https://www.matthewtancik.com/nerf
- 30. Q&A