DMTet：一个用于高分辨率三维形状合成的混合表示方法 | NeurIPS 2021

摘要：我们引入了DMTet，一个深度的三维条件生成模型，可以使用简单的用户指导（如粗糙体素）合成高分辨率的三维形状。它通过利用一种新颖的混合三维表示方法，融合了隐式和显式三维表示的优点。与当前的隐式方法相比，后者通过训练回归有符号距离值，DMTet直接优化重建表面，这使我们能够合成更细的几何细节并减少伪影。与直接生成显式表示（如网格）的深度三维生成模型不同，我们的模型可以合成具有任意拓扑结构的形状。DMTet的核心包括一个可变形的四面体网格，用于编码离散化的有符号距离函数，以及一个可微的Marching Tetrahedra层，将隐式的有符号距离表示转换为显式的表面网格表示。这种组合不仅允许对表面几何和拓扑进行联合优化，还可以使用明确定义在表面网格上的重建和对抗性损失生成细分的层次结构。

来源：NeurIPS 2021
作者：Shen et al.
链接：https://nv-tlabs.github.io/DMTet/
内容整理：王炅昊

什么是DMTet

DMTet[1]是一种混合显式+隐式表示的三维几何体。在显式方面，对象表面以四面体网格表示，并可以使用Marching Tetrahedra（类似于Marching Cubes）转换为网格；然后在隐式方面，四面体网格中的顶点存储着SDF值，并且SDF值和顶点位置都通过神经网络进行优化。

流程

概述

1. 输入：点云/粗糙体素

2. 输出：精细三角网格（Mesh）

几何生成的流程遵循从粗到细的过程。

粗糙阶段

初始化

为输入的点云/体素初始化一个粗糙的四面体网格，然后使用神经网络预测每个顶点的SDF值。

首先，使用编码器提取特征体积F_vol(x)，然后可以用该体积插值出每个网格顶点的特征向量，即F_vol(v,x)。

接下来，使用多层感知机(MLP)来预测顶点的SDF值：

精细阶段

在该阶段，表面和四面体网格会迭代更新。

在每条边上添加中点，并进行SDF值的插值。这样可以增加感兴趣区域的网格分辨率。完成此步骤后，未细分的四面体将被删除。

3. Marching Tetrahedra

DMTet采用经典的Marching Tetrahedra [4]算法，将带有SDF值的顶点转换为三角形网格。该过程考虑了3种不同的情况，如下图所示：

这3种情况下的符号可能会翻转，但表面保持等效。

4. 可学习的表面细分

在MT输出网格上执行附加的表面细分方法，遵循Loop细分[5]。在网格上构建一个新的图，并使用另一个图卷积网络来预测顶点偏移量v’_i和Loop细分的α_i权重。关于Loop细分的详细信息也可以在这篇 zhihu 文章 (计算机图形学十一：曲面细分(subdivision)与曲面简化(Smplication)) 中找到。

损失函数

优化是其中的难点。在使用DMTet的不同文献中，表示可能相似，但训练目标可能是灵活的。在原始的DMTet中，使用3D鉴别器构建对抗损失，以及表面对齐损失和正则化损失。

1. 表面对齐损失

2. 对抗损失

类似于LSGAN中提出的对抗损失：

3. 正则化

直接使用GT SDF值作为监督：

结果

客观结果

文中展示了生成结果的几个指标，包括Chamfer距离等：

可以发现，在各项指标上，DMTet都取得了最优秀的结果。

主观结果

文中展示了稀疏体素输入生成的精细Mesh结果：

与此同时，文中还展示了以点云输入生成的精细Mesh结果：

总结

总结起来，DMTet做出了以下技术贡献：

1. 我们展示了使用Marching Tetrahedra (MT)作为可微分的等值面提取层，可以对由隐式场表示的底层形状进行拓扑变化，与之前的研究[31, 45]中的分析形成对比。
2. 我们将MT纳入DL框架，并引入了DMTet，一种混合表示，将隐式和显式表面表示结合起来。我们证明了在从隐式场提取的表面上直接定义的Chamfer距离、对抗性损失等额外监督可以提高形状合成的质量。
3. 我们引入了一种由粗到细的优化策略，在训练过程中将DMTet扩展到高分辨率。因此，在具有挑战性的三维形状合成任务上，我们实现了比最先进方法更好的重建质量，同时需要更低的计算成本。

引用

[1] Shen, T., Gao, J., Yin, K., Liu, M. Y., & Fidler, S. (2021). Deep marching tetrahedra: a hybrid representation for high-resolution 3d shape synthesis. Advances in Neural Information Processing Systems, 34, 6087-6101.

[2] Gao, J., Shen, T., Wang, Z., Chen, W., Yin, K., Li, D., … & Fidler, S. (2022). Get3d: A generative model of high quality 3d textured shapes learned from images. Advances In Neural Information Processing Systems, 35, 31841-31854.

[3] Liu, Z., Feng, Y., Black, M. J., Nowrouzezahrai, D., Paull, L., & Liu, W. (2023). MeshDiffusion: Score-based Generative 3D Mesh Modeling. arXiv preprint arXiv:2303.08133.

[4] Doi, A., & Koide, A. (1991). An efficient method of triangulating equi-valued surfaces by using tetrahedral cells. IEICE TRANSACTIONS on Information and Systems, 74(1), 214-224.

[5] Loop, C. (1987). Smooth subdivision surfaces based on triangles.

[6] DMTet Tutorial on [Kaolin’s Github Repo](NVIDIAGameWorks/kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research (github.com)).