下一代 XR 内容：技术上的挑战

技术不断为视频的制作和消费提供新的方式。AI 和 XR 是目前推出的两个新的前沿领域，有待探索的新途径。

英国电信(BT)花了 18 个月的时间探索后者的机会。XR代表扩展现实，包括虚拟现实、增强现实和混合现实。它涵盖了从将上下文内容映射到手机屏幕上的应用程序到完全沉浸式的 VR 体验，以新的现实完全取代外部世界的一切。

下一代 XR 内容：技术上的挑战 — 图片源自—IBC2022：XR and Avatars

该项目由 BT 的沉浸式内容研究主管 Andrew Gower 领导，他在题为 “XR 和 Avatars “的技术报告中谈到了团队在这个实验研究阶段的工作情况。

原型设计和实验

他们与行业合作伙伴一起创建了一系列的原型，以期对未来的机遇和挑战有一个更清晰的认识。其中包括一个 MotoGP 混合现实应用，用户戴上虚拟现实头盔，通过一个 “非常大的环绕视频库 “和一个全尺寸自行车的 3D 渲染，从上往下观看比赛。

另一个原型围绕交互式多视角足球体验展开。用户可以选择相机，在某些情况下可以有效地选择看的位置，这要归功于 Kandao Obsidian R Professional 360 度相机的使用。“人们可以看他们想看的任何人，然后跳到不同的视角，”Gower 说。

BT 团队还试验了体积视频，其中视频中的环境以全 3D 建模。他们“将 RGB 数据与深度传感数据结合起来，以生成多边形网格和纹理贴图，”Gower 说。

还对空间音频进行了探索。它是指向观众播放的声音是根据他们自己在环境中的位置放在声场中的，就像真实世界的声音一样。”当你在一个空间中移动或确定你的方向时，这些音频对象保持静态，如果这是音频工程师的设计方式。

这些尖端的概念验证体验是与少数合作伙伴一起完成的，包括 Condense Reality、The Grid Factory、布里斯托尔大学、Dance East 和 Salsa sound，并由 DCMS 资助。

通过云使 XR 大众化

然而，如果没有VR头盔为你提供现场演示，这个项目的技术知识才是最吸引人的部分。正如 Gower 解释的那样，这一切都始于中心前提。

“我们的目标是让更多的人获得体验，而不必投资高端设备，”他说。BT 的 XR 工作全部基于云计算和 5G 的实施，这意味着最终用户几乎可以从任何地方访问这些体验，并且不受所用手机或计算机功率的限制。

“如果没有某种形式的云功能，很难完全在客户端设备上提供这些，”Gower 说。

BT 使用带有 Nvidia 显卡的计算机来提供云计算能力，以呈现其每个原型体验中涉及的内容。他称之为“一个相对较小的集群，只有 12 个 RTX8000 显卡。”

Nvidia RTX8000 是高端游戏显卡的专业版，具有 48GB 内存——是顶级 Nvidia RTX 4090 消费卡的两倍。

这 12 个基于云的图形卡的处理能力处理所有涉及的实际渲染工作，这意味着用户手机或 VR 耳机的工作主要是显示生成的视频源。“该系统只提供个性化视频，”Gower 解释说，这一事实是这种基于云的方法如何提供一致体验的根本原因，无论用户使用的是何种特定设备。

当然，由于 XR 与生俱来的交互性，这比 VOD 场景要复杂一些。

“当有人四处走动，改变他们的位置时，我们需要更新系统及其方向，”高尔说。“3D 场景在云端渲染，那时我们还创建了一个虚拟视频视点。这会实时复制用户的位置和方向。”

双向的信息源源不断。最终用户必须使用运动传感器数据传递其位置，以告知云服务器需要渲染的场景的准确视图。这个过程中的任何障碍都会立即引起不适，在 VR 的情况下，甚至可能会引起恶心。“延迟和等待时间对最终用户的体验质量有巨大影响，”Gower 说。

大规模部署的挑战

BT 团队发现有可能“提供一些真正引人入胜的体验”。但即将到来的纯粹技术挑战是巨大的，尤其是当你开始谈论大规模部署这种形式的体验时。现场足球比赛是一个很好的案例研究。

“当我们考虑体育广播时，有数以万计的人在观看相同的内容，”Gower 指出。但是每个硬件块可以支持的数量、人数是一个问题。

“在我们开发的原型中，我们只设法让每个 GPU 获得两个并发流。我们的一个姊妹项目，叫做绿色星球，它使用完全相同的设置，做类似类型的体验，管理了大约五个，但不能真正推动它，”Gower 说。

“在广播环境中向消费者提供这些服务的技术经济学是一个相当大的挑战。还有很多工作要做，”他说。

“每个 GPU 的用户数量需要增加，至少增加 10 倍……这需要重新构想云 XR 或其他边缘云渲染平台的架构方式。”

提到的一种可能途径是在云和最终用户设备之间共享处理负载。

还有另一个问题，即当对这些 XR 体验的需求下降时硬件在做什么——同样，在现场体育的背景下考虑时，这非常相关。“我们不能向仅仅考虑广播的消费者提供这种类型的服务，”Gower 说。“我们必须考虑如何 24/7、365 全天候使用该集群。例如，在白天，它被工业和企业、建筑师和工程师使用。到了晚上，也许它是一种消费产品，用于游戏和广播。”

云计算的这一部分经常被遗忘。虽然 “云 “的部分使硬件看起来几乎是虚无缥缈的，但动力仍然是由真正的计算机提供的。它们只是生活在别人的大楼里。

让一百万球迷观看杯赛决赛，并通过云计算直接拍摄自己的镜头的想法可能还有很长的路要走。然而，BT 在 XR 中的实验表明，只要有一点想象力就能实现。