稀疏多视角下可控人体模型的神经辐射场对准方法

本文探讨的是"可控三维人体合成的表面对准神经辐射场"这一主题，它关注的是如何从稀疏的多视点RGB视频中创建高度可定制的三维人体模型，特别是在电影、游戏等视觉应用中，对于自由视角渲染的需求日益增长。研究者提出了一种新颖的方法，它解决了从视频数据中重建三维人体模型时面临的一个关键问题——不可分割性，即如何准确地将三维空间中的点映射到网格表面的表面对准。 传统方法，如基于骨架的模板变形和参数化人体模型，虽然能够实现一定程度的可控性，比如姿势和形状调整，但处理穿着衣物的情况时存在局限，尤其当实际形状与基础网格模型有较大偏差时。神经辐射场（NeRF）作为一种新兴的3D场景表示技术，因其逼真的照片级渲染效果，已经成为3D重建领域的基准方法。然而，如何结合NeRF的特性与统计3D人体模型的知识，并且实现对服装等细节的精确控制，是这个领域尚未完全解决的问题。 作者提出的新方法通过定义神经场景表示中的网格表面点和有符号距离，解决了点投影到网格表面的精确性问题，采用了重心插值与修改过的顶点法线相结合的方式。这种方法在ZJU-MoCap和Human3.6M数据集的实验中表现出色，尤其是在新视角和新姿态合成方面，相较于现有技术，能够提供更高质量的结果。此外，这项研究还强调了其易于支持不同身体形状和衣物控制的优势。 通过项目页面<https://research.github.io/surface-aligned-nerf/>，研究者展示了他们的研究成果，这对于推动三维人体建模技术的发展，特别是在实时性和可控性方面的进步具有重要意义。未来的研究可能会进一步探索如何将这种表面对准的神经辐射场方法应用于更广泛的实时渲染和虚拟现实场景。