NeurIPS 2022 | 中山大学HCP实验室在AIGC领域的新突破：有效表示多样化衣物的3D神经表示模型

中山大学 HCP 实验室联合牛津大学 TVG 实验室共同发表论文《Structure-Preserving 3D Modeling with Neural Sewing Machines》，该论文已被 NeurIPS 2022 接收。该工作主要由陈曦鹏、王广润博士等人完成。

3D 衣物建模是计算机领域的一个关键且具有挑战性的任务，具体是指如何在计算机中构建一件 3D 的虚拟衣物。构建 3D 衣物具有多种实际应用，包括 3D 虚拟试衣、虚拟数字人和服装设计。最近基于学习的衣物建模方法收到越来越多的关注，然而，现有方法多针对特定类别或相对简单拓扑的衣物进行建模。

本文提出了 Neural Sewing Machine (NSM)，一种新颖的保持 3D 衣物结构的学习框架，可以有效表示多样化形状和拓扑结构的 3D 衣物，并应用于 3D 衣物表征，3D 衣物重建和可控衣物编辑。

背景

目前基于学习的方法要么使用固定的 3D 网格模板，将衣物表示为 SMPL 模型上的位移，或是借助人体的 UV 参数化来表示衣物。这些方法主要针对特定的衣物类别，或是拓扑结构相对简单的衣物进行建模。那么是否存在一个模型可以表达不同种类且形状各异的衣物呢？

缝纫纸样（sewing pattern）是衣物建模和生产中广泛使用的一种结构。缝纫纸样由一组 2D 面板以及面板间的缝合信息组成。例如，一条裙子的缝纫纸样有 4 个 2D 面板（panel）。每个面板对应于 3D 衣物的一部分。使用缝纫纸样来建模 3D 衣物可带来以下好处：

首先，可以表达各种不同类别和形状的衣物
其次，描述了 3D 衣物的内在结构
最后，提供了衣物的 UV 参数化

模型

本文提出了 Neural Sewing Machine（NSM），一种保持 3D 衣物结构的学习框架，能够学习不同形状和拓扑的衣物的表示，主要由以下三个模块组成：

1）缝纫纸样编码模块能够将不同衣物类别的缝纫纸样编码到一个低维空间中。一件衣物可以分解为几个基本部分，例如，一件夹克可以由帽子、袖子和背心部位组成。因此可以将衣服拆解成几个基本的部件类别，并为每种类别计算一个 PCA 子空间。通过拼接这些类别的 PCA 系数来获得缝纫纸样的特征编码。

2）3D 衣物预测模块负责从缝纫纸样的特征编码中解码出 3D 衣物。本文引入了带有掩模的 UV 位置图（UV position maps with masks）来表示一件 3D 的衣物。具体来说，UV 位置图将衣物的 3D 坐标存储在缝纫纸样每一个面板的 UV 坐标处，而掩模图表示了缝纫纸样每一个面板的形状。其中 UV 位置图是通过一个 CNN 解码器预测得到，而预测的掩模图通过 inverse PCA 解码获得。

3）为了保持 3D 衣物的内在结构，本文在框架的训练中引入了四个损失函数: (a)3D 重建损失约束了预测的 UV 位置图和 3D 标签相同。(b)面板内结构保护损失约束了缝纫纸样与对应的 3D 衣物在局部的拉伸保持一致。(c)面板间结构保护损失将 3D 空间中两个邻接面板的边缘缝合在一起。(d)表面法线损失约束了预测的 3D 衣物应具有与 3D 标签相同的表面法线向量。

实验表明了我们的框架能够表示不同的形状和拓扑结构下的 3D 衣物。同时，我们验证了基于单张图像的 3D 衣物重建任务，可以看到我们的方法有助于保持衣物的细节结构。我们还展示了可控的衣物编辑，通过在缝纫纸样上进行编辑来显著改变衣物的 3D 形状或是将衣物从一个类别变换到另一个类别。

消融实验验证了我们框架中每个组件的有效性。我们还展示了在缝纫纸样的特征编码上插值的结果。可以看到，2D 缝纫纸样和 3D 衣物的变化是一致的。最后，我们展示了方法对真实场景具备一定的泛化能力，尽管我们的框架仅在合成数据进行训练，合成数据与真实场景之间存在域差距，但结果证实了我们方法的具备一定的泛化能力。