超低延迟开实体赛车、用算法解放G力上限？这个团队真的很大胆

Unity 不仅能应用在传统游戏开发领域，还可通过强大的 XR 渲染技术与超低延迟技术（RTE）相结合，带来突破虚实边界的新型娱乐体验。

“光子赛车”团队具有跨行业背景，从工业数字孪生、机器人、脑机接口等技术硬件圈的探索出发，尝试与 Unity 引擎相互赋能的可能性，成立了通过实时渲染的音视频游戏体验超低延迟控制实体赛车竞速的项目《光子赛车 Photon Speed》。

在 Unity 技术开放日北京站黑马训练营专场中，北京百臂人智能科技有限公司 CTO 梁思阳分享了《光子赛车 Photon Speed》项目方案及技术实现。

梁思阳：我本人在工业领域，做人工智能算法、工业物联网和数字孪生的时候接触到 Unity，想探索硬件圈结合引擎端相互赋能的可能性，又因为非常喜欢赛车，所以跨领域成立了这家公司带来了《光子赛车 Photon Speed》这个项目。

团队当时面临着很多技术上的问题。在工业领域视频通话特别普及的情况下，传统延迟一般在 800 毫秒左右，比较好的也就是 300 毫秒左右。如果想控制一辆赛车，对它的延迟要求在 100 毫秒以内，这是在控制端和传输端非常具有挑战性的事情。

虽然现在的 5G 技术非常普及，并且主打低延迟和高数据传输，但是现在所有远程驾驶当中 G2G（Glass to glass，指从远程设备上的摄像头到控制者的屏幕）延迟普遍在 300 毫秒甚至 500 毫秒左右，而团队现在平均可以做到 150 毫秒，在 WiFi 下可以最高达到 70 毫秒。也是因为现在网络 WiFi 覆盖非常普遍，以及如英伟达提供了 Jetson 这样高算力的平台，让超低延迟视频编码传输成为现实。

我们和爱立信不谋而合，爱立信第一款 5G 应用也是赛车游戏。低延时 RTE 最好的诠释就是在赛车，赛车需要非常精准的、低延时的控制，远程情况下容错度非常低。我们相信这种无缝远程控制与虚拟内容的融合能带来更多的游戏体验想象空间——Seamless Engagement Creates Fun。

项目演示视频中这款车的时速可以达到 120 公里，提速 1.7G 力，转向 1.8G 力或者 2G 力，已经超越了一般人开赛车在真车上的 G 力。

讲一下这个项目的技术起源。我本人在中国数字经济发展的过程中，了解到引擎和硬件融合可以带来更多的可能性。对于硬件来说，当前物联网的普及，传输模块、网络协议、智能终端边缘运算的硬件普及为 RTE 或远程控制互动提供了可能，也带来了市场基础。

光子赛车项目是我们对于整个 RTE 领域的开端，也是一个“小小大世界”的开端。团队最终的想法是形成“光子都市”这种大的虚实融合体验。

先说一下整体的项目理念——依托 RTE 实时互动概念，传递不同行业颠覆性新玩法。光子赛车这款产品是介于虚拟和现实赛车之间的游戏，通过算法等做一些反馈，把赛车游戏体验变得更加真实，面向的是前期赛车爱好者、追求极致体验的硬核玩家。

团队采用的是真实的物理引擎，这款车是真的，也是在真实赛道上跑的，以往再真的仿真游戏也达不到真实竞速的感觉；而一般人想真正参与赛车运动需要有很高的资金投入、时间投入与风险投入。这是这款游戏解决的首要痛点。

从商业上讲，光子赛车这套模式不像手游随时可以掏出手机来玩，这款游戏是与线下融合的，需要有场地全天候运营，这是最大的问题，也是投资人或客户最多的反馈，但是它本身依然有非常大的潜力。

通过与赛事公司、中汽联等这样的公司沟通，团队发现赛车 RTE 体验的观看用户会比玩的用户多得多，基于硬件平台能衍生更多商业模式，这也是团队想继续投入的原因。团队会把这个概念慢慢赋能直播、影视、VR，也在跟尼桑等车企进行合作，探索更好、更丰富的展示形式以及全新的体验模式。

核心技术框架分为三点：

首先是视听，基于现在所有边缘硬件的视频编码、传输、高清，现在可以做到 1080P，延迟在 150 毫秒到 200 毫秒之间，并且稳定性是非常高的。

第二是互动，通过现在常用的游戏外设，如手机端、VR 端、传统驾驶模拟舱端等提供人机交互的媒介。

第三，要想把光子赛车做到跟真实赛车非常接近的状态，非常重要的是物理反馈，这也是技术难点——如何把一个远程赛车车辆体验反馈到方向盘中，让玩家感觉和开真车是完全一样的？

在研发超低延迟的视频传输的时候，最早的设计目标希望能达到 300 毫秒延迟就够了，因为这是视频通话中比较合适的范围，比较好实现。但第一次把车放到场地里，发现在很低速的情况下基本开不直，虽然延迟只有 300 毫秒，但在激烈驾驶状态下的人是完全反应不过来的，车延迟会非常厉害。

所以团队在硬件端的摄像头，以及中间传输段视频压缩或者不压缩等方面做了大量的尝试，在边缘计算节点当中的视频编码、内存等系统资源利用做了大量的优化。现在在局域网 G2G 视频编码到解码，测试最快能到 36 毫秒的超低延迟，平均在 74 毫秒左右，公网会慢一些，平均 150 到 200 毫秒，完全可以驾驶时速 90—100 公里的车在赛道里行驶。

光子竞速这一块的核心算法是物理反馈算法，G 力表在赛车游戏里是很好的 UI 交互，它提供 x、y、z 三个轴上加速度传感器的数据，我们使用它的目的是为了收集路面颠簸、倾斜的数据反馈，用现在最好的全像云台可以把路面的颠簸情况非常完美地表现出来，并且在车辆撞击等方向提供更多沉浸式的体验。

赛车游戏的物理反馈方面，最大的难点在于真车在打滑或飘移过程中，方向盘会自动帮你去打，而我们用的全是电驱车，完全由舵机操控，无法把车辆状态完全反馈给玩家手中的方向盘，这也是完全还原赛车体验的最大问题。

为了处理这个问题，团队用了非常高精度的惯导模块，使用它的高精度算法将车身多维度姿态信息完全反馈过来，这是技术上未来的重大突破，目前已经实现了车辆打滑的纠正和车辆打滑方向盘的物理反馈。

基于 Unity 本身的特点，团队可以通过摄像头加上视频识别的部分做 XR 的交互内容。团队未来会放出 SDK，提供更好的开发工具给对这个领域感兴趣的创作者们。

下面是光子赛车整体的部署方案。

采用的核心技术模块是从真实远程驾驶和自动驾驶当中拆出来的。对于小型化和低成本化做了大量的工作，1：10 的车可以做到 3 千多块钱，稍微有点经济实力的硬核玩家就可以用起来了；1：7 的车成本是 1.5 万元，稍微有一点门槛，未来还会提供更低成本的解决方案。

因为用的是非常小的载具，第一视角体验可以在很小的场地实现非常大的开放视野交互。下方视频是在中汽联真实的卡丁车赛车场，速度是每小时 90—100 公里左右，当然对车辆的保护也做了大量的优化。

投资人和用户经常会问，玩家为什么要玩这款游戏？

首先，它是真实的物理引擎驱动的；

其次，它比纯粹的虚拟游戏有更高的获得感，用户可以进行车辆机械式改装、调校、喷涂等；

第三，未来还可以提供虚拟的平台可以让玩家搞一套数字孪生的游戏藏品。真实赛车在驾驶过程中所有的战损都可以直接提升玩家的获得感，相信它能为玩家打造一个非常好的游戏互动体验。

产品将为赛车运动带来什么改变？

重点将是无人、无危险性带来的解放 G 力上限。另外，相比全尺寸赛车场地组建和维护费用，产品场地投入仅需原有支出的非常小比例，能带来很高的回报率。这些是团队的成本模式、体验模式和互动模式整体打造 RTE 互动产品的竞争力和亮点。

光子赛车是小试牛刀的产品，是“光子都市”这个概念的起点。

“光子都市”考虑的是，“开放世界”游戏还是“开放”世界？通过 RTE 远程平行控制，可以将游戏体验开放到真实世界。通过 Unity 引擎的渲染增加 XR 内容，可以有效将虚拟和现实联系到一起。团队将从硬件端会提供完整的光子竞速 SDK 和 Demo 体验，让更多玩家参与进来提供玩法建议。

RTE 不同于传统的虚拟游戏，有更多线下实体互动的部分，所以线下的改装、现场的观赛过程中可以形成流量转化。流量到线下俱乐部或活动，以及线上互动社区等，可以实现交换游戏收藏等更多拓展性的互动体验。

RTE 跟局域网最大的不同就是解放了空间。比如这个赛车今天在北京，玩家可以开完这辆车进行切换，马上开广州的车。从场地复用性角度来说，8 千元左右就可以在商场里布一台驾舱，让玩家体验全国的赛道，这是平行控制和 RTE 的核心优势。

最后，感谢 Unity 黑马计划能让我们在游戏领域初露锋芒，提供一个跨界沟通的渠道，收获更好的指导建议。