研究意义
对单张图片中人物体型进行具有语义的编辑，例如增加身高、降低体重等，已经成为图像编辑领域的新兴话题。
然而，这个问题在本质上区别于简单的图像缩放；因为人物体型变形实际上是在三维空间的，而且不同身体部位的关节相互关联并有着非刚性形变。此外，考虑到真实图像拍摄过程中的不确定性，情况会变得更加复杂，因为可能会出现遮挡、人体和周围环境之间的相互关联。
早期的研究和现有技术一般需要通过交互的方式对图像进行形变，这种方式不能够自动进行体型编辑，并且还会造成背景的畸变。
本文工作
为了解决上述问题，本文提出了NeuralReshaper (神经重塑)，一个易使用、全自动且鲁棒的单张图像人物体型编辑方法。本文采取了“先拟合再变形”的方式，首先拟合三维人体模型SMPL到原始图片，然后对拟合得到的三维模型的语义信息 (如身高、体重、身材比例、腿长等) 进行形变，并计算其在二维投影上的形变域图 (warping field)。在图像生成的过程中我们使用了生成式深度网络模型GAN来保证生成出来的图片的真实性。
此外，为了解决训练过程的数据缺乏问题，我们提出了一种新颖的自监督训练策略 (如图2所示)。输入一张图片与其对应的SMPL模型估计，首先对SMPL模型进行随机形变，并计算对应的形变域图和逆形变域图。接着将直接形变过后的图片和逆形变域图作为神经重塑的输入进行训练，目标是恢复出原始图片。
实验结果
我们将本文所提出的NeuralReshaper方法在室内DeepFashion数据集和室外数据集(COCO，MPII，LSP) 上进行了测试。实验结果表明我们的方法能够有效进行单张人物图像的体型编辑，同时能够尽可能避免背景形变和不规则的人体形状生成 (如图3所示)。此外，和以往的方法相比，我们的方法在图像质量和真实性上都具有优势。
文章信息
Beijia Chen, Yuefan Shen, Hongbo Fu, Xiang Chen, Kun Zhou & Youyi Zheng. NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks. Sci China Inf Sci, doi: 10.1007/s11432-022-3675-1
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
