Connected in 3D | 与Marc Petit探讨实时3D的变革力量

摘要： 在本期《3D 连接：实时解决方案与数字孪生》播客中，Ashley Crowder与Epic Games前副总裁兼Unreal Engine总经理Marc Petit进行访谈，探讨实时3D技术的变革力量。Marc分享了他对虚幻引擎如何塑造游戏以外的行业的见解。他们深入探讨了沉浸式技术的未来，讨论了扩展3D工作流程的挑战、数字孪生在培训和运营中的作用，以及创作者经济如何随着尖端实时工具的发展而演变。

题目： The Transformative Power of Real-time 3D with Marc Petit
来源： Connected in 3D: Real Time Solutions and Digital Twins Podcast
链接： https://ashleycrowder.co/connectedin3dpodcast/episode-2-the-transformative-power-of-real-time-3d-with-marc-petit/
内容整理： 栗素晶

引言

Ashley Crowder:

大家好，欢迎收听《Connected in 3D：实时解决方案与数字孪生》。我是VNTANA联合创始人Ashley Crowder，从事3D实时技术近15年。随着我与越来越多的制造业领导者合作，每天都会有关于他们如何使用数字孪生、这一技术如何改变他们行业的问题。这确实正在改变从媒体和娱乐到建筑和制造业的各个行业。因此，我决定开设这个播客，采访一些该领域里出色的专家。今天的嘉宾是Marc Petit，他在此领域工作多年。他曾担任 Epic Games Unreal Engine的前副总裁和总经理，负责利用实时技术推动市场增长。在此之前，他曾负责Autodesk的媒体和娱乐业务，领导开发和营销业内领先的3D动画与VFX软件产品。Marc，你是这一领域最有知识的人之一，非常感谢加入我们，和我们分享你的见解。

Marc Petit:

感谢邀请，我认为这个播客的创意很好，我们将讨论一个重要话题——3D技术正渗透到各个领域，但它依然是一个复杂的课题。希望我们能够共同帮助大家更好地理解。

实时3D技术：从游戏引擎到数字孪生的跨行业应用

Ashley Crowder:

游戏引擎是什么？为什么它对数字孪生是必需的？ 我们可以从一个高层次的角度开始讨论这个问题。

Marc Petit:

我不认为游戏引擎是“必须的”，我更倾向于说，游戏行业在使用实时3D方面比其他行业早了25年。事实上，我将实时3D视为一种新的互动媒体形式，它既是动画的，又是参与式和协作性的。 这是一种比视频更强大的媒体形式。虽然最初是由游戏行业开发的，但这也使得像Epic这样的游戏引擎制造商自然地认为这项技术可以应用于游戏之外的领域。

如今，我们也开始看到一类新的3D引擎的出现，如Nvidia的Omniverse，它更像是一个实时仿真引擎。我们可以看到很多Web上的3D引擎，其中一些源于游戏背景，但也有一些更侧重于仿真。有趣的是，Roblox这个实时3D平台最初并不是一个游戏引擎，而是一个仿真引擎。因此，关键在于实时3D技术本身。

实时3D技术的跨界演进：从游戏到企业的多维协作与应用

Ashley Crowder:

是的，我完全同意你的观点。我们也在Web领域做了很多工作，Web和游戏引擎之间的转换也很重要，我们之后可以深入探讨。不过，回到你提到的Roblox，它是一个面向孩子的游戏，但也有一些不一样的应用场景，例如制造业。_那你能谈谈你看到的一些核心应用案例吗？比如3D如何在电影、建筑和制造业等行业中塑造未来？_

Marc Petit:

我认为实时3D技术的应用非常广泛，涵盖了多个行业。可以把它看作是一种媒介，实时3D对企业来说是一个很好的媒介。当我们回顾计算机图形学（CG）在企业领域的演变时，就可以看到它的使用历程。早期，许多图形的应用侧重于效果展示，最初追求的目标是逼真，先是逼真的外观，最终通过仿真实现逼真的行为。计算机图形技术的使用大多是离线的，用于制作精美的图像或仿真效果。

但从2015或2016年开始，特别是随着虚幻引擎的发展，我们开始把游戏中的实时技术引入到企业领域。实时技术使得交互性成为可能，这对于培训和协作非常有益。因此，企业现在有了这种既能互动又能协作的媒介，并将其部署到许多事物中，比如建筑中的交互漫游，就是2016年、2017年Epic的一项创新；此外，汽车配置器也是另一项交互性应用。

通过疫情期间VR头显的商品化，我们见证了VR协作在企业中的发展。尽管还没有面向消费者的VR，但在企业中，VR的多用户协作特性已经得到了广泛应用。从产品构思阶段到优化整个制造流程，通过协作、可视化和仿真，实时3D技术正在改变各行各业。比如Nvidia的Omniverse平台，在机器人领域就是一个很好的例子。总的来说，实时3D技术正在各个领域蓬勃发展，这是一个好消息。

Ashley Crowder:

是的，没错。Meta刚刚发布他们的新款头显，价格仅$299，依然具备XR功能。正如你所说，我们看到许多制造业公司开始将其应用于培训和销售。比如我们的客户Aztec Industries，他们为整个销售团队配备了Quest头显，以便能够带领客户参观工厂。我上周刚参加了一个展会，一些设备大到我都不知道它们是怎么被带进展会现场的，真是让人震惊。

能够简单地戴上头显，虚拟地走访并讲解这些设备的工作原理，不仅更便捷，而且对那些从未接触过这些设备的人来说，也更加安全。这种应用真是太不可思议了。

Marc Petit:

当你谈到实时3D时，XR技术——无论是增强现实（AR）还是虚拟现实（VR）——确实能增加附加值，但它并不是必需品。你可以在网页浏览器、应用程序，甚至销售点展示中使用和部署3D内容。现在，时尚行业的销售点就有很多交互式内容。因此，虽然这些设备带来的沉浸感非常有趣，但它并不是采纳实时3D技术的必备条件。正如我所说，实时可视化、仿真和3D带来的协作功能具有巨大的价值。

Ashley Crowder:

是的！我们也经常讨论这个话题。如果你正在构建一个基于Web的项目，许多游戏引擎都允许你构建可以在桌面上运行的内容。而且，如果你能够创建可以用于培训或销售的内容，并且这些内容可以在移动设备、桌面和头显上跨设备使用，那将为你提供最大的灵活性。因此，当我与高层管理人员讨论时，我常常会解释，Web是最具可扩展性的选择，特别是对于那些正在开始规模化3D应用的企业。

实时3D的企业转型：从数字资产管理到全生命周期优化的实践建议

Ashley Crowder:

许多我们合作的制造商可能在使用AutoCAD或Siemens等工具进行设计，但现在他们正尝试在更多业务环节中使用这些资产，以提高市场响应速度、优化维护等。_那么，对于那些刚刚开始接触实时3D的企业，你有什么最佳实践或建议吗？_

Marc Petit:

我认为，尽早在产品生命周期中拥有3D资产是非常关键的战略举措。虽然目前这可能仍然有些昂贵，但随着人工智能的应用，我们已经开始看到捕捉技术的商品化。但我认为，企业必须有强大的决心，明确表示“我们要构建所有的3D资产，并且确保这些资产是可用的”。这些资产可以通过设计数据生成，也可以通过其他技术手段来构建，它们可以帮助你实现目标。这正是数字孪生的概念——不仅具备外观，还能呈现出物理产品的行为。

从早期设计到制造，再到零售和支持，每个环节都可以从中受益。但如果3D模型只是事后考虑的附加内容，那么你就无法完全捕捉到它的价值。因此，你需要重新审视自己的流程，留出时间和预算，越早开始，越能在产品生命周期的后期看到数字孪生带来的价值。

Ashley Crowder:是的，等到生命周期末期才开始考虑专门为某个用途构建3D模型时，经济性就不太成立了，因为这可能会非常昂贵。与此相反，我接触过的一些制造商在3D设计程序中进行设计时，会考虑如何构建一个流程，使这些3D资产在整个组织中都能有效使用，这样就能看到真正的价值。因此，选择一个理想的首个POC（概念验证项目）并成功实施，然后从中扩展是非常重要的，而不是将其限制在一个孤立的创新部门里，仅仅作为一个有趣的测试，却无法真正影响到业务。

实时3D的潜力：培训、安全与协作的全新篇章

Ashley Crowder:

你是如何看到实时3D真正开始影响工作培训、安全和协作的？你有可以讨论的项目吗?

Marc Petit:

没有，但我认为这种变化循序渐进的。引人注目的故事之一是一位外科医生首次在手术中使用增强现实（AR）技术的经历。他提到：“你还记得我们曾经开车进城时，用纸质地图导航，必须停下来查看地图吗？现在有了基于指示的GPS导航，使用AR进行手术对我来说，就像进入了GPS时代。作为外科医生，我可以更专注于手术和病人，因为我知道我有指导，并且可以实时将同事引入手术过程。”这是一个极端但非常精彩的例子，展现了3D内容带来的支持。

此外，还有许多其他的应用案例。在培训方面，实时3D是一种极好的工具，可以让人们身临其境。例如，有一个名为Earth Brain的公司，他们开发了遥控的土方作业车辆，这些车辆可以通过虚拟现实（VR）和遥控设备从城市远程操作，用于整个施工现场。这听起来像是科幻小说，但它确实发生了。而且，你会看到这些技术将通过云端扩展，逐渐结合纯虚拟体验与现实世界的场景。比如，模拟一个完整的仓库自动化系统，工厂自动化也是3D和仿真技术带来影响的一个好例子。

再者，还有面向消费者的体验，比如体验的游戏化、定制化产品的配置工具，或者像亚马逊那样的购物体验。你知道的，亚马逊现在正在鼓励他们电子商务平台使用3D。

Ashley Crowder:

是的，亚马逊去年放弃了360°图像，转而使用3D技术，因为他们发现这样能显著提升销量。亚马逊是在线销售的强大平台，而他们发现，使用3D和“view in your room”功能的消费者，平均转化率提高了1.5倍到3.5倍，增幅巨大。所以我们非常高兴能够获得第一个API接口，向亚马逊发布3D内容，并帮助他们构建这个API，以便人们能够以更具可扩展的方式实现这一目标。

回到你提到的手术例子。其实有一项又一项研究证明，虚拟现实（VR）培训能带来更好的结果，帮助人们更快地学习，信息保留得也更好。我希望自己永远不需要手术，但如果真有那一天，我一定会问我的外科医生是否接受过XR培训，真的，我一定会问。这真是太不可思议了。

Marc Petit:

我们生活在一个3D的世界里，所以使用3D技术有一种认知上的优势。你进入到3D环境中，你的大脑能够相对较快地理解它，尤其是在达到一定的可信度阈值之后。这就是我们在游戏行业中学到的一点——关于参与感和创造引人入胜内容的概念。我认为，当3D技术运用得当时，它所带来的参与感，能够促进学习过程和购买过程。你沉浸其中，参与其中，进行互动，不再有那种与2D媒介（如视频）带来的距离感和认知障碍。

实时3D技术的未来：跨设备互操作性与Web平台的核心地位

Ashley Crowder:

当然。我们已经讨论了许多当前的应用。_你如何看待这个领域在未来3到5年的发展？_ 比如，今年Meta发布了Orion眼镜，虽然我还没尝试过，但我非常期待。另外，苹果推出了Apple Vision Pro，我认为这激发了许多其他头显公司加快步伐，因为现在苹果突然加入了竞争。_那么，你认为这个领域的发展趋势会是什么样的呢？_

Marc Petit:

我给你一个非常技术性的回答，因为我个人很喜欢这些东西。我认为这些头戴设备将在未来发挥重要作用，尤其是在它们实现大规模生产时，尽管现在还没有达到这个阶段。Orion眼镜无疑是有趣且充满潜力的。但是我想说，对于我来说，真正的创新将是64位WebAssembly和适当的多线程在网页浏览器中的应用。可能会有监管者介入，平衡应用程序和Web应用程序之间的竞争环境，因为目前大型平台从应用程序中赚的钱比Web应用程序多，因此它们有时会把Web应用程序当作二等公民对待。所以我认为任何能够让Web成为一流的3D或可扩展3D平台的做法都会发生。我提到的64位WebAssembly等技术障碍，可能对你的观众来说不太熟悉，但它是3D平台成熟的技术细节之一。当我们能够在Web浏览器中为企业交付3D内容时，它将产生巨大的影响，因为许多企业应用程序都通过Web交付。我认为到那时，我们会看到3D的交付被充分探索，最终，当这些眼镜出现时，我们可以将其与游戏引擎结合，提供更先进的体验。我确实希望Web能够成为3D的核心平台。

当我说Web时，这可能不是我们近几年所熟知的Web，而是回到Web的原始形态，HTML允许互操作性，可以通过点击URL在不同的体验之间切换。这也是我在标准论坛和我自己的播客中一直在推动的工作，即构建开放的元宇宙，回归Web的根本，依靠互操作性，让你可以从一个世界跳到另一个世界，享受互动的3D体验。所以，我认为这并不是一个乌托邦的梦想。过去确实是这样，“围墙花园”依然存在，欧洲的监管者正在关注这些问题。在欧洲，iPhone上的多个应用商店情况就不一样，这在美国并不常见。现在，在欧洲你可以做很多有趣的事，这些做法如果能够在全球范围内扩展，那将非常有意义。但我认为，3D互联网，更类似于Web 1.0的形式，将是企业和消费者的一个巨大进步。

Ashley Crowder:

是的，绝对如此。显然，我们是WebGL的强烈支持者。

Marc Petit:

是的，太对了。

Ashley Crowder:

因为它确实更具可访问性。而且最初我们台式电脑上只有必须下载才能使用的应用程序。然后互联网爆发了，大家意识到，我可以下载一个可以做任何事的应用程序，从任何电脑访问，并把东西保存在云端。这完全合理。现在苹果也支持WebEx，为苹果鼓掌。

Marc Petit:

Sometimes they do the right thing.

Ashley Crowder:

Sometimes. 苹果确实总是让事情变得复杂。但不管怎样，苹果的产品质量依然很高。我非常高兴他们支持WebEx。我们也在做这方面的工作。我认为，Web之所以如此出色，就是因为它提供了一个无缝的体验。比如，Colleen是我们的客户之一，你可以在他们的网站上点击“view in your room”，然后扫描二维码，就能在手机上看到。如果你戴上Apple Vision Pro，点击“view in your room”，立刻就能展示出来。所以，它允许人们以他们习惯的方式购物，只不过可以在这些不同的媒介上查看。所以我认为Web非常重要，因为它是人们获取内容的习惯方式。尽管我知道UX体验仍然有很多可以改进的地方，我觉得我们还处在Web 1.0阶段。现在我们已经走了很长一段路。

基于位置的体验：数字与现实交融的新维度

Ashley Crowder:

我知道你提到你现在正在做很多基于位置的体验，真的很想了解更多你目前正在做的工作。

Marc Petit:

我在Epic时做了很多虚拟现实的工作，接近《堡垒之夜》(Fortnite)的项目。我认为，作为个体，我们本质上是社会性动物。我们在疫情期间看到了《堡垒之夜》如何将人们聚集在一起，特别是年轻人，它变成了一种社交延伸，类似于社交网络的作用。

但对于我来说，我更喜欢外出，喜欢和别人一起出去。所以我一直对将数字内容部署到实体地点非常感兴趣。当我在Epic时，2016年我们做的第一件事就是联系各大公司，说，Hey，不要只是停留在视频映射阶段，停止投影那些单一的线性内容，我们来创造可以与内容互动的开放式体验，内容是活的，可以随着房间里的人数、天气等情况演变。

最近，我们在蒙特利尔有一个公司叫Moment Factory，是全球领先的基于位置的娱乐公司之一，专注于创建互动体验。我正在帮助他们创建这些内容，并将其产品化以便于大规模推广。这些形式像是夜游者（Nighthawks），每个城市都有公园，但通常晚上会关闭。但使用一个叫Lumina的产品，你可以在晚上开放这些公园，创造一个家庭体验。你可以在布鲁克林、东京、巴黎等地看到这种体验，全家人一起走45分钟，带着孩子、爷爷奶奶一起去感受视频投影、互动内容等种种魔法。

这是我非常喜欢的一种体验形式。对我而言，它完全属于元宇宙的概念。我们还有一个叫“光环”（Aura）的形式，将大楼（比如教堂），变成一个多媒体空间，晚上开放，讲述这座建筑的历史，创造一个身临其境的环境，结合故事讲述文化背景。最近，我们就在巴黎的“瓦莱”（Valleys）推出了这种体验，你可以了解到建筑的历史，沉浸在文化的故事中，体验大约一个小时，适合家庭一起做。这个项目的标语是：“We do it in public.”

另外，还有现实生活中的游戏体验，我们通过大规模地在地面上投影这些游戏，相信我，玩30分钟后，你会精疲力尽。这正是你带着孩子们外出时想要的体验，对吧？希望他们回来时已经筋疲力尽。所以，我们通过这些增强现实游戏为这种体验贡献了不少。

总的来说，我们将游戏的机制引入到现实世界中。它让我感到兴奋，因为我们可以通过互动和内容让许多老旧景点焕发活力，尤其是那些我们在建筑上并不特别骄傲、但需要振兴的地方。所以我们做了很多这样的项目，最近我们还为比莉·艾利什（Billie Eilish）在魁北克的演出做了许多沉浸式舞台体验。我喜欢这种形式，因为它具有扎根现实、物理和社交的维度，这让我很骄傲，可以和家人一起参与这样的项目。所以，我对这个项目非常满意。

Ashley Crowder:

是的，我完全同意。说实话，最初让我进入这个领域的是，我看了Daft Punk在美国的最后一场演出。我记得应该是在2008年，那场演出给我带来了不可思议的灯光秀和投影映射体验。我从来没有见过类似的东西。之后我开始深入研究沉浸式技术，并且接触到了创意技术研究所。可以说，就是那次经历让我走上了这条道路。将沉浸式体验结合起来，确实像魔法一样，太不可思议了。我也曾带着家人参加过其中一个夜游活动。哦，太棒了！那真的很有趣，景色也很美，正如你所说，使一个空间焕发新生。

开放元宇宙与标准化的未来：统一与互操作性

Ashley Crowder:

对了，我想我们应该多聊一聊你参与的开放元宇宙组织。能不能分享一下那是个什么样的组织？你怎么看待标准的制定，以及它如何帮助把社区凝聚在一起？

Marc Petit:

是的，标准的制定非常复杂，我非常钦佩从事这项工作的人，因为这需要进行长时间的会议以达到共识。我认为我们有一些非常出色的标准组织，比如开放USD联盟。像IEEE这样的标准组织也做了很多工作，今天我们许多技术能够得以实现，都得益于标准化。但是我们意识到，尤其是在3D领域，这些标准的制定非常复杂，而在标准制定后，往往缺乏机制让不同的标准组织进行沟通协调，有时候它们做出的选择不同，并不是因为他们故意想要不同，而是因为没有时间去了解彼此的工作。

元宇宙标准论坛正是解决这个问题的一个环节，它为标准化组织和行业利益相关者提供了一个平台，让大家能够聚集在一起，讨论如何统一标准。例如，在GL English中，许多关于交互性的工作都做得很好，像汽车配置器或者按需定制的表达方式在GTF文件中是自包含的，那么在USD中进行类似的交互性开发也是有益的，它们最终也会希望做相似的事情。问题是，为什么要将这些做得不同呢？因为在标准化的过程中，我们并不是在考虑竞争分离，而是在考虑如何将某些事情商品化。所以我们有更多的理由去统一标准。

这就是元宇宙标准论坛的意义所在。我与Patrick共同担任3D资产互操作性工作组的联合主席，这就是我们的工作内容。我们让GTF组织和其他组织聚集在一起，讨论哪些部分需要商品化，并确保大家采用相同的方式。

目前，确保基本的交互性，尤其是在像汽车配置器这样的简单模型中，是一个重要的任务。我们并不追求像《使命召唤》那样复杂的游戏，而是希望能够使交互性在不丧失互操作性的前提下得以实现。我们不是在决定哪些标准会胜出，而是希望各个标准能够互相沟通、协同发展。因此，我们支持各大CEO和利益相关者之间的对话。

至于保持元宇宙和网页的开放性，虽然元宇宙标准论坛在这方面有自己的立场并力图推动相关议程，但目前这实际上更多是由监管机构来决定的。经历了十多年的“围墙花园”模式后，各国的监管现实和目标各不相同。在美国，我们看到的是通过诉讼的方式来解决问题，而欧洲则倾向于事前监管，这有时显得些过度干预，但这实际上是欧洲民法的运作方式。在美国，事情先发生，然后才会有诉讼，诉讼的结果就会成为规范。比如，欧洲的数字媒体法案，虽然它试图进行一种监管，但也由于缺乏对全貌的理解而显得有些漏洞百出，这也正是它的特征。

这其中的矛盾也在于跨平台互操作性的问题。举个例子，现在要找到你，我得知道你在哪个平台上：WhatsApp还是FaceTime，否则我根本无法联系上你。这种情况已经成为常态，虽然这实际上是个问题。

因此，我认为互操作性至关重要，无论它是否依赖于标准的制定。我们需要推动互操作性，而这也是我们在企业责任方面的一部分：促进互操作性应该成为一种核心价值观。这对企业和消费者都有益。而现在进展也在不断取得，像我用的iOS19版本，终于能够和Android用户进行相对顺畅的消息交流了。

Ashley Crowder:

是的，我们仍然会嘲笑那些用绿色气泡的非iOS用户，对吧？不过，互操作性已经有所提高。但总的来说，VNTANA的目标正是让3D内容的管理和分享变得更简单。所以，能够自动从GLB转换为USD格式非常重要。然而，实际上存在着许多不同的文件格式和尺寸。即使GLB是大家普遍希望使用的格式，但亚马逊可能需要带有特定纹理、特定文件大小和XYZ位置的GLB，而谷歌则可能也需要稍有不同的版本。因此，最终我们就像管理2D内容的PIM系统一样，需要一个系统来自动调整和转换这些内容。

AI在3D内容互操作性和监管中的作用

Ashley Crowder:

这让我想到，我最近读了一篇Meta发布的论文，讲的是Llama如何实现3D模型的自动生成。我很兴奋看到这一切在发生。_那么，您认为AI如何帮助提高3D内容的互操作性？另外，我也很好奇您在相关的监管领域看到了哪些发展？_

Marc Petit:

AI将为我们带来非常出色的工具。我认为，AI是3D内容商品化的一个重要推动力，因为它能够解决许多复杂的问题，使得为企业和个人创建3D内容变得更加实际和经济。现在，我可以利用3D GS技术用手机扫描任何物体生成3D模型。这真是太棒了。作为一名从事3D领域35年的人，看到AI的进展，真是令人感叹。

至于监管问题则非常复杂。当然，版权法假设背后有一个人为创作者。那么，当AI生成内容时，尤其是3D内容时，该如何处理呢？今天，像加州州长加文·纽瑟姆就否决了关于AI公司责任的法律，而一些相关内容实际上已经纳入了欧洲的《AI法案》。具体细节就不多说了，但我认为这是非常复杂的问题，我自己也未必完全理解。不过，我认为这是我们必须学习并应对的挑战。希望AI能够以一种首先考虑我们数据隐私的方式部署。现在，我们已经面临隐私问题，我们的数据正在被使用，而一些AI模型则是基于整个互联网的数据进行训练的，但互联网上的内容几乎没有任何限制。就我个人而言，我曾经非常震惊地得知LinkedIn平台的消息，急忙关闭了自己个人资料上的AI功能，但为时已晚，我的资料已经被“学习”过，且无法“忘记”了。