MPEG 最终确定 ISOBMFF 中未压缩视频和图像的传输

在第 143 届 MPEG 会议上，MPEG 系统（第 3 工作组）最终确定了 ISO/IEC 23001-17–以 ISO 基本媒体文件格式（ISOBMFF）传输未压缩的视频和图像——将其推进到国际标准最终草案（FDIS）阶段。

ISOBMFF 支持多种媒体数据的传输，如视频、音频、点云、触觉等，现已进一步扩展到未压缩的视频和图像。

ISO/IEC 23001-17 规定了如何在符合 ISOBMFF 系列标准的文件中传输未压缩的二维图像和视频数据。这包括一系列数据类型，包括单色和彩色数据、透明度（alpha）信息和深度信息。该标准使业界能够有效地交换未压缩的视频和图像数据，同时利用 ISOBMFF 提供的有用信息，如定时、色彩空间和样本宽高比，实现视频和图像数据的互操作解释和/或显示。

MPEG 两项 ISOBMFF 增强标准达到第一个里程碑

在第 143 次 MPEG 会议上，MPEG 系统 (WG 3) 通过推动两项标准达到其第一个里程碑–委员会修正草案 (CDAM)，增强了 ISO 基本媒体文件格式 (ISOBMFF) 系列标准的功能：

• ISO/IEC 14496-12（第 8 版）CDAM 1 – 支持 T.35、原始采样持续时间和其他改进 – 将使 ITU-T Rec. T.35 中规定注册的用户数据作为媒体采样数据的一部分。它还支持通过引用其他子样本定义的相同功能，以更有效的方式描述子样本。

• ISO/IEC 14496-15（第 6 版）CDAM 3–支持神经网络后置滤波器补充增强信息和其他改进–将使 ISOBMFF 中神经网络后置滤波器新定义的补充增强信息（SEI）信息的传输成为可能。神经网络后置滤波器特性（NNPFC）SEI 信息和神经网络后置滤波器激活（NNPFA）SEI 信息的传送可实现基本后处理滤波器和一系列与输入视频图像同步的神经网络更新。

这两项标准计划于 2024 年底完成，即达到最终修正草案（FDAM）的状态。

MPEG 批准 VVC 和 VSEI 第三版

在第 143 次 MPEG 会议上，MPEG 联合视频专家组和 ITU-T SG 16（第 5 工作组）发布了多功能视频编码（VVC，ISO/IEC 23090-3）和多功能补充增强信息（VSEI，ISO/IEC 23002-7）标准第三版的国际标准最终草案（FDIS）文本。相应的孪生文本也已分别作为 ITU-T H.266 和 ITU-T H.274 提交给 ITU-T SG 16 征求同意。VVC 中包含的新内容是支持视频配置文件的无限级别，以及在 VVC 第二版文本基础上的一些技术修正和编辑改进。此外，VVC 还规定了对一些补充增强信息（SEI）的特定支持，这些信息可能包含在 VVC 比特流中，但已在外部标准中定义。这些 SEI 信息包括两个与系统相关的 SEI 信息，(a) 一个是 ISO/IEC 23001-11 中规定的绿色元数据信号，(b) 另一个是 ISO/IEC 23090-13 中规定的用于身临其境媒体的替代视频解码接口信号。此外，第三版 VSEI 还包含另外四条 SEI 信息，即：(i) 快门间隔信息 SEI 信息，(ii) 神经网络后过滤特征 SEI 信息，(iii) 神经网络后处理过滤激活 SEI 信息，以及 (iv) 相位指示 SEI 信息。

虽然高级视频编码 (AVC) 和高效视频编码 (HEVC) 中已经已知快门间隔指示，但关于子采样相位指示的新指示与可变分辨率流相关。例如，用于在视频比特流中使用神经网络技术描述和激活后置滤波器的两个 SEI 消息可用于减少编码噪声、空间和时间上采样、色彩改进或解码器输出的一般去噪。神经网络架构本身的描述基于 MPEG 的神经网络表示标准 (ISO/IEC 15938-17)。探索实验的结果表明，基于神经网络的后置滤波器可以提供比传统过滤方法更好的结果。

MPEG 达到 AVC（第 11 版）和 HEVC 修订案的第一个里程碑

在第 143 次 MPEG 会议上，MPEG 联合视频专家组与 ITU-T SG 16（WG 5）共同发布了第十一版高级视频编码标准（AVC，ISO/IEC 14496-10）的委员会草案（CD）文本和扩展高效视频编码标准（HEVC，ISO/IEC 23008-2）的委员会修正草案（CDAM）文本。这两份文件都增加了对《通用补充增强信息》（VSEI）第三版中三个新的补充增强信息（SEI）的具体支持，即(i) 子采样阶段指示 SEI 信息，(ii) 神经网络后滤波器特性 SEI 信息，(iii) 神经网络后处理滤波器激活 SEI 信息，因此这些信息可以包含在 AVC 和 HEVC 比特流中。此外，还增加了码位标识符，用于具有相同色度和亮度比特深度的 YCgCo-R 色彩表示法，以及被称为 IPT-PQ-C2（来自即将发布的 SMPTE ST 2128 规范）的色彩表示法。新版 AVC 还在第 10 版文本的基础上进行了一些技术修正和编辑改进，HEVC 修正案规定了更多支持多视图应用的配置文件，即 10 位多视图配置文件，以及 8 位、10 位和 12 位单色多视图配置文件，这可能有利于将深度图编码为辅助图片。

MPEG 基因组编码扩展到支持测序数据、注释数据和元数据的联合结构化存储和传输

在第 143 次 MPEG 会议上，MPEG 基因组编码 (WG 6) 扩展了对文件格式和应用编程接口 (API) 的支持，以包括基于 DNA 测序数据结果分析的注释。DNA 测序技术产生了极其大量的异构数据，包括原始序列读数、分析结果、注释和相关元数据，这些数据存储在世界各地不同的存储库中。这些数据需要通过标准化和可互操作的格式来使用。为了实现新的高级功能和应用，基因组数据需要可用和可访问。需要对这些基因组数据进行结构化处理和压缩，以减少存储空间、提高传输速度、改善这些大型数据集的互操作性浏览和搜索性能，满足各种应用和用例的要求。

支持测序和注释数据联合编码的 ISO/IEC 23092-1（第三版）–基因组信息的传输和存储和 ISO/IEC 23092-3（第三版）–元数据和应用编程接口（API）已分别晋升为国际标准草案（DIS）和委员会草案（CD）。目前的 MPEG-G 标准系列（ISO/IEC 23092）现在可以支持完整的应用流水线，涵盖数据表示和压缩，从测序输出到三级分析结果支持，采用单一结构化文件格式，具有标准 API 和元数据以及标准浏览和搜索功能。

MPEG 完成基于几何的点云压缩参考软件和一致性工作

在第 143 届 MPEG 会议上，MPEG 3D 图形和触觉编码（第 7 工作组）将两项基于几何的点云压缩（G-PCC）相关标准提升到国际标准最终草案（FDIS）阶段：(i) 参考软件（ISO/IEC 23090-21）和 (ii) 一致性（ISO/IEC 23090-21）。这些标准为 G-PCC 的部署提供了便利，提供了编码器和解码器的源代码以及比特流，以验证解码器实施的一致性。

G-PCC 可对具有相关属性（如颜色和材料属性）的时变三维点云进行无损和有损编码。这项技术尤其适用于稀疏点云。G-PCC 的广义方法是直接对三维几何图形进行编码，以利用点云本身的任何冗余，尤其适用于表示大型环境的稀疏点云。

点云通常由极其庞大的数据量表示，这对大规模市场应用来说是一个重大障碍。与其他体积视频表示法相比，空间信息的捕捉和渲染相对容易，这使得点云在显示沉浸式体积数据方面越来越受欢迎。目前，无损、帧内 G-PCC 编码器的参考软件实现可提供高达 10:1 的压缩比，有损编码可提供高达 35:1 的压缩比，其质量在各种应用中均可接受。

通过在当前可用的比特率下提供高沉浸度，G-PCC 相关标准将支持各种应用，如三维制图、室内导航、自动驾驶、具有环境制图功能的高级增强现实 (AR) 和文化遗产。

作者：OTTVers
本文内容编译自https://ottverse.com/mpeg-finalizes-the-carriage-of-uncompressed-video/