3D Clothed Human Reconstruction in the Wild论文笔记-CSDN博客

本文链接：https://blog.csdn.net/Imbuh/article/details/134697814

3D Clothed Human Reconstruction in the Wild

论文地址：https://arxiv.org/pdf/2207.10053.pdf

作者：Moon, Gyeongsik, Nam, Hyeongjin, Shiratori, Takaak

发表：CVPR 2022

链接：https://github.com/hygenie1228/ClothWild_RELEASE

单视图人体重建

一. 概括

最近的大多数三维人体重建方法都需要三维扫描来进行训练;因此，它们是在合成数据集上训练的，这些数据集由3D扫描和从扫描中渲染的图像组成。尽管利用这些合成数据集已经取得了重大进展，但它们都无法在野外图像上产生可靠的结果。
在这里插入图片描述

为什么？ 野外图像是在我们的日常环境中拍摄的，比如杂乱的办公室和音乐厅，有各种各样的人体姿势、外观和严重的人体遮挡。而且人体的动作更加复杂。

本文提出：一个3D穿戴的人体重建框架，利用弱监督策略从野外数据集学习3D穿戴的人体。这里的弱监督指的是监督目标不是完整的三维数据，而是仅在单摄像头视角下定义的二维数据（即二维布料分割）

参考SMPL的相关定义，SMPLicit生成布料，DensePose告知每个人体像素对应于 SMPL 的 3D 人体表面，Pose2Pose做为3D人体重建方法

二. 方法（ClothWild）

ClothNet + BodyNet
在这里插入图片描述

1. ClothNet

给定一个输入图像 $I$ ，ClothNet预测

布料存在分数 $c = (c_{1},...,c_{N_{c}})$

第 $i$ 个布料存在得分 $c_{i}$ 表示人类穿着第 $i$ 种衣服的概率。

在去除原始 ResNet 最后部分的全连接层后，使用 ResNet-50从输入图像中提取图像特征向量 $f ∈ R^{2048}$ 。图像特征向量 $f$ 被传递到全连接层，然后是 sigmoid 激活函数，来预测布料存在分数 $c$

一组布料潜码 $\left\{\mathbf{z}_{i}\right\}_{i=1}^{N_{c}}$ （ $N_{c}=5$ 表示考虑的衣服数量，包括上衣、外套、裤子、裙子和鞋子）

第 $i$ 个布料潜码 $\mathbf{z}_{i} \in \mathbb{R}^{d_{i}}$ 表示第 $i$ 个3D布料的低维码，嵌入在3D布料模型的潜空间SMPLicit中，按照 SMPLicit 为鞋子设置 $d_{i}=4$ ，为其他衣服设置 $d_{i} = 18$ 。（一种布料生成模型 SMPLicit，它将 3D 衣服嵌入为代表布料风格和布料剪裁的潜在代码。 SMPLicit 涵盖各种各样的衣服，这些衣服的几何特性各不相同，例如袖长和宽松度。在我们的框架中，我们采用 SMPLicit 作为布料生成模型。）