通过MPEG-I标准在客户端设备上高效传输和渲染新兴体积视频体验 | IBC2023论文

IBC2023：本技术论文介绍了由 InterDigital 和 Philips 联合开发的平台的实时实现，该平台展示了利用 MPEG 体积 (MPEG-I V3C) 和 2D 视频标准（VVC、HEVC）的用例。

摘要

本文介绍了 InterDigital 和 Philips 联合开发的平台的实时实现，该平台展示了利用 MPEG 体积 (MPEG-I V3C) 和 2D 视频标准（VVC、HEVC）的用例。我们将详细介绍我们的平台如何在现有和新兴的扩展现实（XR）生态系统中实现互操作性，包括在当前和未来的客户端设备上实现体积视频的采集、流媒体传输和实时交互式播放，以用于远程学习、自由视角体育赛事回放以及元宇宙等互联生态系统中的三维远程呈现等应用。

MPEG 的基于视觉体积视频的编码 (V3C) 标准是用于体积视频编码的广泛框架，从动态点云 (V-PCC) 到多视图加深度和多平面图像表示 (MIV)，以提供单比特流结构与系统级标准的统一桥梁。V3C 传输标准定义了如何存储、传输和交付给最终用户的体积内容，并且它重新利用现有的 2D 视频硬件解码功能和 GPU 来解码和渲染体积视频。

介绍

XR 应用程序的日益普及正在推动媒体行业探索新的沉浸式体验的创建和交付，同时推动工程师和发明家应对真实视频内容操作的挑战。

体积视频由一系列帧组成，每个帧都是现实世界对象或不同时间点的场景捕获的静态 3D 表示。体积视频是占用大量带宽的内容，可以呈现为动态点云、多视图加深度或多平面图像表示。这些高带宽限制可以通过适合这些类型内容的专用压缩方案来减少，以达到行业中经济上可行的数据速率和文件大小。标准在确保这些不同类型的内容和体验之间的互操作性方面发挥着至关重要的作用，本文提出了运动图像专家组 (MPEG) 基于视觉体积视频的编码 (V3C) 标准 [1] 作为高效压缩的开放标准解决方案和体积视频流。

着眼于虚拟宇宙的发展趋势，一些人可能会考虑从当前的 2D 体验到未来的虚拟世界的过渡路径。所提出的平台已被开发为允许远程用户首先访问 2D 内容，然后通过体积查看进一步参与所提出的主题；允许无缝地为用户带来丰富的体验。

本文介绍了 InterDigital 和 Philips 联合开发的平台的实时实现。如图 1 所示，该平台摄取预先录制的 2D 和体积视频内容，提供实时流和渲染。最终内容在各种设备上向用户推荐，例如 2D 屏幕、智能手机或平板电脑以及 VR/AR 头戴式显示器。

本文的结构如下：标准部分将概述两种基于 V3C 的体积编解码器，即 V-PCC 和 MIV；以及系统的 V3C 承载层。平台架构部分将描述所展示的沉浸式视频解码器平台，并将重点介绍允许实时流式传输和渲染的主要软件组件，以及建议集成到 XR 生态系统中。评估部分将提供在笔记本电脑、智能手机和平板电脑设备上测量的当前实施的指标。

论文下载地址：https://www.ibc.org/download?ac=24714