什么是高斯溅射？高斯溅射对 XR 意味着什么？

高斯溅射(Gaussian Splatting)是一种令人兴奋的新光栅化技术，在扩展现实领域备受关注。它可以在虚拟环境中进行三维重建和渲染。通常，它被描述为 NeRF 的替代技术（我们稍后将讨论它们之间的比较）。

在 2023 年发布了一些有趣的演示之后，高斯溅射的概念最近才开始在 XR 领域出现。但现在，无数公司和开发人员都开始采用这种模式，包括 Varjo（Varjo Teleport）、Unity 和 Unreal。

在这里，我们将以初学者友好的方式向您介绍什么是高斯溅射、它是如何工作的，以及为什么它对扩展现实开发的未来如此有益。

什么是高斯溅射？

高斯溅射是一种用于三维渲染和重建的光栅化方法。它允许系统使用对物体的大量扫描来渲染超逼真的图像。使用这种方法创建的内容可以从任何角度查看并实时探索，因此对于创建 “数字孪生 “的公司来说，这是一种非常有价值的解决方案。

高斯溅射技术与 XR 中的其他光栅化策略有很多不同之处，从超高的渲染速度到它不依赖神经网络的事实。该技术还可以快速训练以创建更小的文件，从而在空间计算、元宇宙和扩展现实应用中表现三维场景。

虽然创建的文件相当大，但高斯溅射通常能产生更高质量的视觉效果。

高斯溅射 “一词源于卡尔-弗里德里希-高斯（Carl Friedrich Gauss），他在 19 世纪开创了离散概率分布技术。这种技术的独特之处在于，它使用模糊的像素云来表现内容，而不是定义明确的三角形和形状。

虽然这一概念已经存在了一段时间，但在 SIGGRAPH 2023 上发表的一篇热门研究论文再次激发了人们对这一方法的兴趣，因此我们今天在 XR 领域看到了许多这种方法的实例。

高斯溅射的简史

关于高斯溅射的历史，我就不多说了。不过，这一概念背后的核心理念其实早在 Lee Alan Westover 1991 年的一篇论文中就已出现。他将 “溅射 “比作雪球撞击砖墙并在砖墙表面散布积雪的过程，从而提出了 “溅射 “的概念。

他确实开发了一些算法来证明他的理论，但当时的技术领域的硬件无法处理这些算法。因此，图形行业转而采用网格、体素和点云等其他方法来制作 3D 场景。

不过，研究人员还是开始尝试新的三维渲染方法，如摄影测量技术，这种技术利用重叠图像创建模型。2006 年，研究人员发现了利用一种名为 SFM（从运动中提取结构）的过程为项目添加细节的新方法，这种方法现在已成为高斯拼接法的一部分。

2020 年，研究人员开发出了如今许多开发人员使用的 NeRF，它可以填补 SFM 留下的空白，创建更高质量的图像。这些工具利用神经网络创建不同角度的光辐射模型。遗憾的是，NeRFs 难以训练，在虚拟世界中的导航能力有限。

最后，在 2023 年，一支由德国和法国研究人员组成的团队在 NeRF 创新的基础上，通过高斯分层改变了数据存储方式。然后，他们使用梯度下降法训练模型，开创了 3D 内容开发的新时代。

从那时起，该领域的发展一直在持续。研究人员和供应商正在探索捕捉和渲染运动、缩小文件大小和创建更逼真的 3D 空间的新方法。Adobe、Apple、Google 和 Meta 正在将该技术融入其企业应用程序中。

开发人员还为Unreal Engine、Unity和 Nvidia Omniverse等热门平台推出了插件。甚至 Poly 和 Luma AI 的消费者应用程序也支持这种方法。

高斯溅射如何工作？

理解高斯溅射的机制可能有点棘手，所以我将把它分解成简单的术语。首先，使用高斯溅射技术的开发人员从各个角度拍摄场景的图像或视频，就像您创建数字孪生时一样。

这些图像被输入到高斯溅射应用程序中，该应用程序使用“运动结构”从图像中创建点云。该系统本质上是估算从各个不同方向看场景是什么样子。

接下来，云中的每个点都会转换为重叠的高斯图块，从而创建出一幅看起来像是一组模糊云的图像。首先，这些初始高斯图块仅使用 SFM 数据来表示颜色和位置。因此，下一步是训练过程。

后续训练阶段使用梯度下降法循环进行数千次不同的计算，以填充关于某个点在空间中可能存在的所有额外细节。梯度下降法类似于神经网络，可帮助您创建一个包含数百万个代表颜色、位置、透明度和协方差的粒子的文件。

当需要渲染时，高斯光栅化会将每个高斯粒子更改为适合每个视点的彩色像素。此过程类似于其他技术中用于转换 3D 数据的光栅化过程。然后，用户可以调整高斯参数以适应损失并应用自动致密化来增强最终图像。

高斯溅射与其他模型的比较

如上所述，高斯分层建立在 3D 开发领域现有的工作之上，从NeRF 技术到 SFM 和辐射场。然而，有一些值得注意的主要差异。例如，NeRF 使用神经网络存储带有权重的文件，这些权重使用哈希、网格、体素和点来捕获辐射场。

另一方面，高斯分层将文件存储为使用梯度下降训练的高斯点集合。虽然梯度下降是一种常用于训练神经网络的机器学习技术，但高斯分层的第一个实例仅使用了这种方法，而不需要神经网络。

从那时起，其他研究人员就开始利用神经网络和其他机器学习技术来帮助压缩可用数据。

此外，NeRF 依靠光线追踪来生成图像。高斯溅射使用一种全新的光栅化方法来创建像素，同时考虑位置、颜色、透明度以及像素的缩放或拉伸方式。最重要的是，训练高斯溅射解决方案的速度比训练 NeRF 的速度快近 50 倍。

这些工具还可以以超过 135 FPS 的速度渲染图像，而 NeRF 的速度仅为 0.1 到 8 FPS。但这并不意味着 NeRF 没有价值。

它们更擅长管理存储和内存。一些早期的高斯溅射文件比 NeRF 创建的文件大 100 倍。它们需要更多的视频随机存取存储器和计算机处理能力。这就是用户迄今为止严重依赖云端的原因。

然而，研究人员正在寻找消除这些限制的方法。研究团队已经开始探索利用神经网络将碎片缩小到原始大小十分之一的方法。

为何高斯溅射对 XR 如此重要？

那么，为什么这一切对 XR 开发如此重要？高斯溅射本质上使我们能够简化和增强高效捕获高清图像的过程，这是迄今为止元宇宙创造者面临的最大挑战之一。

例如，即使在 Google 街景等应用中，您仍需要从一个地方跳到下一个地方 15 英尺才能看到新场景。借助高斯溅射，您可以自然地在 3D 捕捉的空间中走动，就像在真实环境中移动一样。

高斯分布消除了摄影测量和激光雷达在 3D 资产创建中常见的许多挑战。例如，摄影测量依赖于极难训练且难以处理精细细节的算法。此外，激光雷达可以捕捉高保真内容，但不包含任何颜色细节。

从广义上讲，它将帮助公司捕捉和创建令人惊叹的 3D 模型。此外，它还允许他们随着时间的推移更新这些模型，从而增强用户体验。如果将高斯分布解决方案集成到 AI 和机器学习解决方案中，我们将看到更先进的数字孪生和元宇宙环境。

当然，这也存在潜在的缺点。任何新的元宇宙技术都存在隐私问题。这可能意味着未来几年供应商可能会面临监管风险。

真实世界用例：示例和想法

值得注意的是，高斯溅射仍处于早期开发阶段。但这并不意味着创新者还没有找到在扩展现实领域使用这种技术的方法。在广阔的扩展现实领域，高斯溅射在创建高度逼真的虚拟现实环境和增强现实或混合现实对象方面将发挥巨大作用。

它们将为更具沉浸感的数字孪生体验铺平道路，在各种场景中实现精确的摄像头跟踪和高保真重建。例如，SplaTAM 是 RGB-D SLAM 中的一个应用程序，已经使用高斯分层来实现这些目的。

此外，Meta 对虚拟形象的实验表明，这项技术可以改变虚拟形象的真实感，以实现远程呈现和沉浸式协作。Splatting 将为我们的虚拟形象提供更好的照明和纹理铺平道路。

更精确地说，有很多例子说明高斯渲染可以增强不同行业的各种 XR 体验，例如：

• 房地产：高斯分布技术可以改变虚拟房产参观。它可以为潜在买家提供真实的体验，让他们可以参观房产并查看不同的细节。
• 城市规划：高斯分布使我们能够创建整个城市和地点的逼真数字孪生。这可以实现令人难以置信的城市发展战略。
• 电子商务：高斯分布技术有助于彻底改变网上购物体验。它将创建更具沉浸感的产品图像和物品的 3D 表示。

3D 开发的新时代

最终，与其他 3D 开发技术相比，高斯溅射可以提供更快的结果、更快的训练和令人难以置信的逼真场景。它可能仍然存在高 VRAM 使用率的问题，但研究人员正在努力解决这个问题。

与此同时，无数创新者正在让高斯溅射技术更容易被当今的创作者所接受。例如，我们已经提到过 Unity 和 Unreal。Unity 在其资产商店中提供了一个高斯溅射包，让用户可以立即开始尝试新的光栅化技术。Unreal Engine 还创建了一个专用插件。

此外，3D 平台 Spline 最近在其网站上通过演示展示了其对 3D 高斯分布的支持。其他组织也参与其中。Luma AI、Poly.cam 和 Kiri 等公司为 Android 和 iOS 设备提供解决方案。

甚至像Varjo Teleport这样的解决方案也让普通人有机会体验高斯分布的好处。随着研究人员找到方法克服这种开发方法的常见问题，采用率只会继续增长。

可以肯定地说，我们可以期待新一代 3D 开发方法所带来的更加身临其境的体验。