扩展现实 (XR) 通过增强现实 (AR)、虚拟现实 (VR) 和混合现实 (MR) 增强了我们的生活体验。它创建了完全虚拟的、沉浸式的环境，或者将这些虚拟景观和功能与“真实”世界融合在一起。它的用例不仅限于游戏等消费类应用，还包括企业、机构和制造业。XR 将影响人们娱乐、工作、学习和互动的方式。VR 及 AR 需要多个领域的重大突破，包括但不限于多媒体、人工智能、计算、显示系统和通信，才能提供将 XR 融入我们日常生活的体验。
低延迟、高可靠性、低功耗、大容量是 XR 成功的关键业务需求。由 3GPP 开发的 5G 新无线电 (New Radio, NR) 旨在支持需要此类 KPI 的新兴 XR 用例。虽然 5G NR 有利于 XR，但 5G 的潜在增强和平衡 KPI 需要进一步的端到端优化。
来源：https://www.5gamericas.org/extended-reality-and-3gpp-evolution/
内容整理：徐鋆
本白皮书描述了具有服务交付要求的潜在用例。它还详细介绍了 5G 如何实现端到端 XR 系统，包括跨各种系统组件的拆分计算架构如何提供更低延迟、更高可靠性、更高速率和更少设备计算的优势。Rel-15/Rel-16 为 XR 提供了良好的基础，但尚未针对 XR 支持进行专门设计或优化。本文研究了可用于 XR 的 Rel-15 和 16 的 5G 系统的演进，然后描述了 3GPP 在 Rel-17 到 Rel-18 中认可的潜在增强功能，这些增强功能有望优化 XR 支持，包括 XR 感知、功率优化和能力提升。本文最后描述了 Rel-19 中本地化移动元宇宙服务的预期研究。
1. 介绍
XR 是 VR、AR 和 MR 的总称，如图 1 所示。XR 将成为下一代计算平台，决定我们与未来的关系，通过创建与现实无法区分的虚拟体验来创建数字世界。XR 将主要影响人们娱乐、工作、学习和联系的方式。
图 1： 不同类型的 XR 服务
VR 是一种数字渲染，旨在在观察者或用户在应用程序定义的限制范围内移动时尽可能自然地模拟现实世界的视觉和听觉感官刺激。对于 VR，用户通常会佩戴头戴式显示器 (head-mounted display, HMD)，用模拟视觉组件完全取代用户的视野 (Field of View, FoV)。VR 用户还可以佩戴耳机来播放音频。此外，VR 中用户的头部和运动跟踪允许更新模拟的视觉和音频组件，以确保物体和声源与用户的动作保持同步。
VR 正在蓄势待发，但仍需要大量研究来增强用户的沉浸式体验。进步包括但不限于更高分辨率、更宽的 FoV、深度、触觉手套和音频传播。借助 AR，人工生成的视觉和音频内容会叠加在用户当前的环境中。他们对当前环境的观察可能是直接的，没有中间感知、处理、渲染，或者是间接的，其中他们对环境的感知是使用传感器中继的。在 MR 中，虚拟元素被插入到物理环境中，以提供这些元素存在于真实场景中的错觉。
VR 和 AR 仍处于早期阶段，需要大量的研究、创新和开发才能在日常生活中实际实施。这些技术包括光学、投影仪、显示系统、图形、音频、手部追踪、眼球追踪、面部追踪、身体追踪、世界映射和重建以及人工智能 (AI)。
VR 头盔为 HMD 提供视觉输入，而 AR 眼镜允许用户观察和使用覆盖在现实中的虚拟对象来注释我们的世界并与他人互动。AR 眼镜和 VR 头盔在严格的功率和热预算内运行。AR 眼镜通常外形小巧，必须在有限的预算（轻便、低功耗）内运行才能实现长时间或全天使用。
云游戏 (Cloud gaming, CG) 是一种密切相关的 XR 应用程序，它利用边缘服务器在移动设备上渲染图形。游戏控制信息在上行链路上传输，渲染的图形不会因用户移动而改变，并且与其他 XR 系统相比通常具有较低的分辨率。XR 和 CG 是目前业界正在考虑的最重要的 5G 媒体应用之一。
2. XR 的演进
随着我们向 6G 迈进，XR 应用增强需要更多的考虑。5G 技术改善了对高质量视频的访问，但 5G-Advanced 将提供更沉浸式的用户体验，而 6G 的发展正在努力提供更多的全息体验。随着这些技术向 6G 迈进，数字孪生、定位和传感也得到了增强。
生态系统支持以及设备和网络制造商之间的强大沟通等因素不容忽视。通信和协作对于增强电池寿命、光学、节能和拥塞控制等变量是必要的。沉浸式媒体、3D 映射、传感和内容开发推动了需要更低延迟和更高带宽的 XR 的发展。6G 之路正在稳步推进。从现在到 2030 年，消费者将继续看到光学改进、更生动的图像和增强的 VR 头盔功能，例如手部、全身和面部表情的跟踪（见图 2 和图 3）。
图 2： XR 是一段漫长的旅程，消费者 XR 设备时间表
图 3： XR 在网络层面的演进
3. XR 关键促进因素和用例
XR 服务很复杂，需要许多新颖的功能。虽然复杂，但 XR 服务将改变我们交流、学习和娱乐的方式。XR 服务将成为企业应用、消费者应用以及介于两者之间的一切的基石。虚拟世界和数字孪生可以成功实现未来多感官 XR 的部署。
3.1 XR 关键促进因素
元宇宙将物理世界和数字世界融合为 XR 用户、内容和数字实体交互的地方。元宇宙将把 XR 带到消费者家庭、企业和工业领域。用户可以看到他们的物理行为反映在数字世界中，他们的虚拟行为反映在物理世界中。从本质上讲，元宇宙可以是一个虚构的世界（例如，视频游戏领域），它模仿虚拟和数字领域（例如，发电厂区域的虚拟副本）中的日常生活。
图 4： Metaverse 全景
元宇宙可能会在万维网的新迭代（即去中心化网络）上引入某种形式的区块链技术、加密货币或非同质化代币 (NFT)。这可能是支持分布式应用 (dAPP) 世界的一个基本支柱，因为它重塑了数据在整个网络主干中的移动方式。本质上，它是一个基础设施层，可以转换动态数据的灵活性。这种新的运作方式对运营和能源效率提出了挑战，但也提供了新的机会，使用户成为这种新的互联网和经济的核心部分。
数字孪生：数字孪生构成了现实世界和元宇宙之间的基本联系，并且在很大程度上是通过工业物联网 (IIoT) 实现的。数字孪生保证复杂物理资产的端到端数字化，由物理和网络孪生组成。复杂物理资产的可调整的、相对应的 XR 内容需要数字孪生。
人工智能 (AI)、机器学习 (ML) 和自治：AI 和 ML 通过重塑高科技的局限性影响了几乎所有行业。服务和运营智能对于保证 XR 服务的成功和高效性能以及通过无线访问提供 XR 是必要的。服务智能在应用程序中使用，例如与渲染相关的 ML、与 VR 场景相关的动作以及多个全息图的协调。运营智能为网络提供智能机制，以在 XR 等复杂服务中执行优化和自我维持。确保复杂物理资产的端到端数字化需要利用物联网 (IoT) 设备和传感器。计算能力有限的 IoT 设备正在取得发展，有望通过支持决策制定、预先维护等的边缘计算功能以释放其真正潜力。企业还可以受益于更智能的物联网生态系统，以及鼓励可持续发展的先进建筑管理系统。
最终，元宇宙和数字孪生的成功部署保证了 XR 服务的成功出现，这些服务有望渗透到多种行业和垂直领域，如表 1 所示。
表 1： XR 用例类型
3.2 VR 用例
VR 最初以将屏幕受限的视频游戏转变为完全沉浸式体验的方式而闻名。因此，VR 促进了游戏行业的重大发展，导致了各个垂直行业的范式转变。
3.2.1 在线沉浸式游戏
用户可以从客厅传送到体育场馆、梦幻王国或模拟战场等地方，体验无缝的多人游戏体验。云原生应用程序和云游戏为这种参与游戏的新途径打开了大门。虽然这个概念仍在发展，但 VR 游戏将推动一个新颖的游戏元宇宙和在线生态系统。例如，Roblox 和 Minecraft 等游戏的应用内使用量是 Twitter 和 Facebook 的 10 倍；它的影响是不可否认的。
3.2.2 虚拟事件参与
不久前，瞬间传送到另一个地方的想法还像是科幻小说。然而，随着可用的 VR 技术、元宇宙的成熟和强大的网络，近乎实时地参与高度沉浸式虚拟事件正在成为现实。虚拟活动具有广泛的包容性，涵盖从音乐会和时装秀到团队协作的广泛范围。用户可以参加虚拟音乐会或为跨省和国家的客户、朋友和家人举办他们自己的虚拟活动，例如虚拟开放日。企业也有机会进行全球合作。例如，用户可以参加身临其境的虚拟市政厅会议，然后“走出去”并在同一虚拟环境中订购披萨并使用加密货币付款。用户可以虚拟地消费披萨，而且一并送到他们的实际位置。
图 5： 虚拟开放日用例
3.2.3 教育经验
COVID-19 大流行表明，教育资源和媒体骨干不应局限于教室和面对面的环境。必须随时随地远程访问教育。在整个大流行期间，许多用户受到连接限制和无法征求他们的身体感官来理解学习模块和无缝参与课堂讨论的阻碍。VR 课堂体验使用户能够消除面对面和远程之间的界限。“360 度摄像头”让远程学生能够以更加沉浸式的方式体验课堂环境。此外，虚拟世界可以通过虚拟博物馆参观、虚拟实验室或公司参观，以及更多动手学习的方法，开启在线课程之外的远程位置访问。斯坦福大学的研究表明，支持 XR 的方法可以使学习效率提高 76%。获得定制的学习计划和学习材料不仅对学生有好处，对教师也有好处。
图 6： 混合现实和虚拟教室用例
虽然关键任务服务通过 AR 服务（在第 3.3.2 节中描述）具有更大的影响力，但 VR 可以通过语音驱动的培训和重新构想的低成本远程高级心脏生命支持（Advanced Cardiac Life Support, ACLS）进一步革新公共安全响应教育的急救人员培训。它还允许在模拟场景中进行早期测试和校准，从而减少实际紧急情况下出错的可能性。
3.3 AR 用例
VR 和 AR 有共同点和用例，但交付方法不同。AR 用虚拟组件来补充我们的日常生活，而不是让用户沉浸在虚拟世界中。
3.3.1 移动 AR 视频游戏
与 VR 中的沉浸式游戏体验一样，AR 可以利用手机、可穿戴设备和 AR 眼镜来补充我们日常生活中的 AR 内容（例如 Pokémon Go）。无线网络的进步确保了 AR 内容的流畅流动及其与现实世界的同步，这些无线网络可提供可靠的低延迟，同时保证极高的速率。一种促进方法是迁移通用接口的云化和支持边缘的访问。
3.3.2 关键任务服务
AR 服务有望对多种关键任务服务产生重大影响，从公共安全应用到医疗保健和工业制造。AR 是通往可调性、工程和干预新途径的门户。医生可以对被传送的病人进行远程手术，工程师可以微调机械孪生。海军可以执行具有叠加 AR 内容的任务。XR 使超越关键任务的任务能够在元宇宙中运行。也就是说，有必要确保在充分的安全措施下实现每项服务的目标。为此，端到端延迟需要最小化以减轻任何风险并确保任务的无缝执行。最终，这种功能有望在不需要紧急运输的情况下从远程获得医疗保健。
图 7： 远程医疗
3.3.3 在线购物
COVID-19 大流行影响了许多企业和所有者，导致许多商店关闭，尤其是小企业。在那段时间，拥有在线购物场所的商店面临的经济冲击较少，但在线购物领域仍然缺乏一些关键功能，如感受材料、试穿衣服和检查物体的尺寸。AR 可以为用户提供沉浸式地浏览他们最喜欢的商店的体验，并在舒适的家中检查他们购买的商品的质地、尺寸和真实颜色。
3.3.4 空间音频多方通话/会议
会议和多方通话在完全依赖屏幕、摄像头和麦克风时总是缺乏以人为中心的组件。然而，AR 可以通过全息图弥补用户的设备限制，让他们的感官相互交流和交谈。在这里，肢体语言、手势和面部表情的作用将确保模拟实时面对面体验的人际互动更加顺畅。
图 8： Avatar 虚拟协作空间
3.3.5 数字协同设计
协同设计系统旨在帮助创造创新产品并将其整合到虚拟-真实环境中。这个过程允许设计师通过整合情境意识来关注实际设计及其与外部环境的关系。可以通过使用空间映射和成像技术捕获数据来强调空间计算。捕捉动作、情绪和面部表情对于协同设计至关重要，因此使用新形式的人机交互对于人体测量同样重要。将协同设计的创造力与先进的用户设备和可穿戴设备相结合，将改变下一代工业物联网，因为设计师和从业者需要实时共享平台来同时处理项目并取得进展。许多企业，不仅限于制造业，都在尝试这个概念。虽然协同设计的好处因项目和垂直方向而异，但早期迹象显示出巨大的好处。
4. XR 服务特性和交付要求
5G 服务包括三个主要方向：增强型移动宽带（enhanced mobile broadband, eMBB）、海量机器类通信（massive machine-type communications, mMTC）和超可靠低延迟通信（ultra-reliable and low latency communications, URLLC）。eMBB 旨在满足为大量人群和移动用户设备提供更高峰值数据速率所需的额外容量。示例包括高分辨率多媒体服务和 3D 内容。mMTC 服务的特点是有大量传感器或连接设备，通常需要相当少量的非延迟敏感数据（例如，智能电网、智能城市等）。URLLC 服务是指预期具有极低延迟和极高可靠性的服务。此类服务主要出现在关键任务服务中，例如用于手术或交通安全的物联网设备。
XR 流量特征包括大块准周期流量、不规则间隔和可变大小、包括用于 AR 服务的上行链路 (UL) 在内的高数据速率、3D 视频流的同时传输以及同一端到端连接上的控制数据。此外，其他关键特性包括低功耗以延长电池寿命和最大限度地减少散热以提高用户舒适度，以及严格的延迟和可靠性限制以满足用户体验质量 (QoE)。
XR 服务并不容易完全属于 5G 的三个主要推动力中的任何一个，因为它们同时需要 eMBB 和 URLLC 的交付要求。接下来的部分将深入探讨 VR、AR、MR 和超越 XR 的无线传输要求、当前 5G 系统的传输限制以及需要进行重大改革以满足未来 XR 服务要求的网络方面的细节。
从 3GPP Rel-18 开始，5G-Advanced 将让 5G 系统发展到其最大功能。大量 3GPP 5G-Advanced 项目的创新将改进：人和机器的日常体验、新服务的扩展以及提供新功能的扩展。此外，这些技术创新将提供卓越的运营。在其他方面，它将继续提高覆盖范围和容量，增强最终用户体验，并将 5G 功能扩展到连接之外。
4.1 VR 无线需求
VR 的最终目标是元宇宙沉浸：一种深度参与、吸收或参与的状态。如果网络满足显示（或内容）分辨率、FoV 角度和应用程序“滞后”等应用程序级指标，则可以模拟“身临其境”的体验。因此，VR 服务必须首先让用户沉浸在高保真视觉组件中。确保成功交付此视觉组件需要无线网络提供极高的数据速率。
其次，VR 服务必须主要通过触觉组件让用户沉浸在多感官体验中。保证触觉组件的成功传输需要驯服端到端系统的可靠性和延迟。在这里，需要注意的是，对于早期的 VR，多感官体验并不是必需的。此外，视觉组件的保真度不如当前和未来的 XR 代那么重要。
因此，无线服务要求取决于当前的 VR 一代。VR 的早期部署仅包含 360 度视频或具有简单触觉反馈的 360 度视频。这种简单的一代 VR 服务，被归类为“高级 VR”，要求视频分辨率为全视角 12K 视频，传输数据在 796 Mb/s-11.94 Gb/s 范围内。数据速率范围因对 VR 内容执行的压缩技术而异。有损压缩将需要不太严格的数据速率，但会导致生成损失。同时，无损数据压缩速度更高，但会因为更高的数据率而阻碍无线网络。在这里，鉴于 5G 下行链路和上行链路目标几乎在任何地方都可能超过 50 Mb/s，因此很难通过 5G 网络大规模（广域网）实现这一点。下行链路数据速率最高可达1Gb/s，5G 可以大致满足高级VR需求。然而，这种 VR 体验不会是多感官的，并且会受到有损数据压缩过程的影响。在这里，此类 VR 服务将受益于 eMBB 的高数据速率能力。
图 9： 5G 服务的推动力
图 10： VR 阶段的服务质量 (QoS) 要求
图 11 中的“采集数据”曲线以对数刻度描绘了各种已建立和新兴视频格式在采集端不断上升的数据速率。图 11 中的“人类感知数据”曲线显示了观众在特定时刻感知到的各种视频格式的数据量，同时考虑到人眼的自然局限性。
图 11： 流式传输视频时人类感知的数据速率与采集的数据速率。
当前的 5G 系统在支持触觉密集型 VR 体验方面存在不足。从本质上讲，多感官 VR 服务同时需要高数据速率、高可靠性和低延迟。在这里，这种体验要求 eMBB 和 URLLC 可以同时提供。关于延迟要求，与传统的平均延迟 KPI 相比，VR 对无线网络提出了即时要求。这表明 5G 在提供数据速率范围为 6.37 -95.5 Gb/s（范围因压缩技术而异），并且需要达到 5 毫秒的最大端到端延迟的“终极 VR”体验方面存在不足。
端到端延迟 KPI 源于动显 (motion-to-photon, MTP) 延迟。从本质上讲，减少动显延迟是沉浸在 VR 体验中时减少晕动症的关键指标。它是用户头部运动所描绘的 VR 用户的动作和反应与观察到的 VR 内容的变化之间的延迟。另一个需要维护的关于晕动病的关键指标是抖动，或者用户随时间感知的延迟差异。
借助多种途径可以同时为 VR 实现高数据速率、高可靠性和低延迟，但多样性和多路复用之间的权衡是不可避免的。例如，数据速率问题可以通过在更高毫米波 (mmWave) 频段上使用更丰富的带宽来解决。亚太赫兹波段确实可以满足速率需求，但此类波段极易受到阻塞和分子吸收等因素的影响，并且缺乏移动性、显着通信范围和光束未对准的稳健性。依靠超大规模多输入多输出 (MIMO) 基站可以提高数据速率，可重构智能表面 (RIS) 可以提高视距 (LoS) 链路的可靠性。然而，这样的频带和技术本质上是不可靠的并且不能保证一致的可靠性。
早于入门级 VR 的几代都存在基于分块方案的流式传输策略，这些策略限制了传输内容的大小并降低了对无线网络施加的数据速率和延迟要求。这种分块方案在带宽消耗和编码效率之间实现了有用的权衡，并且可以在带宽被限制为更进化的 VR 世代的设置中使用。然而，这种基于分块的流式传输策略限制了感知的 VR 视频的 360° 质量。虽然此类流式传输方案很有用，但它们在适用于更进化的 VR 世代方面受到限制。
必须考虑可以实现增强实时网络优化的 AI 和 ML 机制，以驯服高可靠性并实现低端到端延迟。发生在多层的过程，从波束跟踪到资源块分配和 VR 领域视图优化，需要由低延迟感知 AI 机制来管理。尽管如此，当前的 ML 和 AI 机制在满足严格的无线要求方面面临着多重挑战。它们的预测能力为网络提供了对发生在各个层的过程的更多认识和鲁棒性；然而，它们的性能依赖于大型数据集，需要很长的训练时间或探索期。显然，这个新生的、开放的问题对于在提供 XR 服务时保证稳健的网络性能至关重要。
VR 服务主要发生在室内区域，这一关键优势可以受益于使用更高频段的固定无线接入。在这里，在室内环境中可以更好地控制整体性能的可靠性和低延迟。
4.2 AR 无线需求
AR 的目标是将用户的现实与在元宇宙中启动并运行的虚拟组件，或与物理上复杂资产的实时网络孪生叠加在一起。与 VR 一样，AR 在多感官设置中同时要求高数据速率、可靠性和低延迟。与完全沉浸到元宇宙中相比，AR 对用户日常生活中对象的补充需要更少的沉浸感，因此速率要求可以略低于 VR。
AR 主要依赖于用户与 AR 组件的实时交互，因此这些组件必须主动更新并伴随用户日常生活的正确时空约束。除了最小化端到端延迟之外，AR 网络中的过时信息在部署到关键任务服务中时可能会导致巨大的风险。信息的新鲜度可以通过信息年龄 (Age of Information, AoI) 的概念进行量化。AoI 取决于生成和传输 AR 内容，同时捕获接收方信息的新鲜度。鉴于 AR 比 VR 更依赖于用户的输入，AR 需要高速双向（下行链路和上行链路）。因此，重要的是提出新颖的、面向人工智能的网络优化框架，以保证无线 AR 服务具有高速率、可靠和低延迟的双向链路。
4.3 MR 及未来的无线需求
MR 的概念在学术界和工业界都没有具体的定义。尽管如此，MR 的主要目标是在同一设备中结合 AR 和 VR 的功能。MR 使用最多六个自由度 (6DoF)（位置 [x, y, z] 和旋转 [yaw, pitch, roll]）的位姿信息，通过仅发送可见视野来最小化数据速率，称为 “视口相关的 VR 流媒体”。
图 12： 依赖视口的虚拟现实流媒体示例
MR 与 3D 成像技术一起发展，以创建令人梦寐以求的全息传送应用领域。全息传送是终极扩展现实的演变，用户需要借此征求他们的感官。除了严格的 XR 无线要求外，全息传送还需要 5 Tbps 范围内的海量数据速率。在考虑用户感官征求时，让用户沉浸在虚拟世界中需要全息流之间的紧密同步。因此，由于提供此服务的要求比前几代 XR 更严格，因此使用户处于晕动状态的风险大大增加。
除了连接要求之外，还需要不同类型的传感模式才能通过无线网络部署多传感 XR。实际上，高精度和高分辨率的跟踪反馈对于提供每个用户头部和身体的 6DoF 信息以及对 XR 用户周围环境的态势感知是必不可少的。还可以通过利用更高的频段（类似于高数据速率要求）来为无线网络提供此类功能。如果部署得当，这些频段可以通过其大带宽提供高分辨率传感功能。全多感官 XR 和全息传送尚未实现，需要在设备、网络和技术层面进行大量技术进步。
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
