第 144 次 MPEG 会议要点：了解基于学习的编解码器对质量的影响和增强绿色元数据

第144届MPEG会议亮点

第144届MPEG会议在德国汉诺威召开！本次会议主要成果如下：

本次会议的主要成果如下：

• MPEG 发出基于学习的视频编解码器质量评估研究征集令
• MPEG 评估 “机器视频编码特征压缩 “提案征集活动
• MPEG 推进 ISOBMFF 相关的网络抽象层视频数据传输标准
• MPEG 加强对高能效媒体消费的支持
• MPEG 批准支持基于几何的点云压缩的时序可扩展性
• MPEG 达到三维图形格式交换的第一个里程碑
• MPEG 宣布完成基因组注释的编码工作

本文将重点介绍 MPEG 系统相关标准和视觉质量评估，最后将介绍 MPEG-DASH 的最新进展。

视觉质量评估

MPEG 不制定视觉质量评估领域的标准。不过，它在标准化过程的各个阶段对其标准进行视觉质量评估。例如，它评估对提案征集的回应，对最终标准进行验证测试等。

MPEG 视觉质量评估（AG 5）公开呼吁研究基于学习的视频编解码器的质量评估。AG 5 一直在对编码视频内容进行主观质量评估，并研究其与客观质量指标的相关性。这些研究大多集中在高效视频编码 (HEVC) 和多功能视频编码 (VVC) 标准上。为促进视觉质量研究，MPEG 维护了用于质量指标研究的压缩视频（CVQM）数据集。

随着基于学习的视频压缩算法的最新进展，MPEG 正在研究使用这些编解码器进行压缩。与传统的基于块的运动补偿视频编码设计所引起的失真相比，使用基于学习的编解码器压缩的重建视频预计会有不同类型的失真。为了更深入地了解这些失真及其对视觉质量的影响，MPEG 发布了一项有关基于学习的视频编解码器的公开呼吁。MPEG 对响应号召的投入持开放态度，并将邀请符合号召要求的响应者提交压缩比特流，以便进一步研究其主观质量，并有可能将其纳入 CVQM 数据集。

考虑到基于学习的视频压缩算法的发展日新月异，MPEG 将继续开放这项征集活动，并期待未来对征集活动进行更新。

基于学习的数据压缩（如图像、音频、视频内容）是一个热门研究课题。有关该主题的研究依赖于提供一组通用测试序列（有时也包括通用测试条件）的数据集，这些数据集是公开可用的，可用于对不同方案进行比较。MPEG 的压缩视频质量指标研究 (CVQM) 数据集就是这样一个数据集，可在此处获取，MPEG 之外的研究人员和科学家也可随时使用。上述呼吁对 MPEG 内部/外部的所有人开放，允许研究人员参与国际标准工作（注：要参加会议，必须成为国家机构的代表）。

MPEG 系统相关标准

在第 144 次 MPEG 会议上，MPEG 系统（第 3 工作组）提出了以下三条值得关注的新闻：

• 网络抽象层 (NAL) 视频数据传输的 ISOBMFF 相关标准取得进展。
• 加强对节能媒体消费的支持。
• 支持基于几何图形的点云压缩（PPC）的时间可扩展性。

ISO/IEC 14496-15 是 ISOBMFF 相关标准系列的一部分，定义了网络抽象层（NAL）单元结构视频数据的传输，如高级视频编码（AVC）、高效视频编码（HEVC）、多功能视频编码（VVC）、基本视频编码（EVC）和低复杂度增强视频编码（LCEVC）。随着最终修正草案 (FDAM) 的批准，该标准得到了进一步改进，增加了对增强功能的支持，如 VVC 支持的画中画 (PiP) 用例。

除了对 ISO/IEC 14496-15 进行改进外，单独制定的修正案也已纳入该标准的第 7 版。该版本已晋升为国际标准最终草案（FDIS），标志着正式标准制定工作的最后一个里程碑。

另一项正在制定的重要标准是 ISO/IEC14496-32 第 2 版（文件格式参考软件和一致性）。
该标准目前正处于委员会草案（CD）制定阶段，计划于 2025 年初完成并成为国际标准最终草案（FDIS）。该标准对于需要可靠的标准化方法来验证其实施一致性的行业专业人员来说至关重要。

MPEG 系统（第 3 工作组）还推动 ISO/IEC 23001-11（节能媒体消费（绿色元数据））修正案 1 成为最终草案修正案 (FDAM)。该修正案为基本视频编码（EVC）引入了节能媒体消耗（绿色元数据），并定义了可降低解码器功耗的元数据。与此同时，ISO/IEC 23001-11 第 2 项修正案已晋升至委员会修正案草案（CDAM）的制定阶段。该修正案引入了一种新颖的方式，将有关降低显示功耗的元数据作为视频基本流与其描述的视频交错编码。预计该修正案将于 2025 年初完成，并进入修正案最终草案 (FDAM) 阶段。

最后，MPEG 系统（第 3 工作组）推动 ISO/IEC 23090-18（基于几何图形的点云压缩数据的传输）修正案 1 成为最终修正案草案 (FDAM)。该修正案允许使用 ISO/IEC 23090-9（基于几何图形的点云压缩）压缩单个基本点云数据流，并将其存储在基于 ISO 基本媒体文件格式 (ISOBMFF) 的多个轨道文件中。这样就能支持需要在单个文件中使用多种帧速率的应用，并引入了轨道分组机制，以分别显示携带单个基本流的特定时间层的多个轨道。

MPEG 系统通常在现有压缩标准的基础上提供标准，从而实现媒体数据的高效存储和传输（等等）。研究人员可利用这些标准（包括参考软件和一致性比特流）开展多媒体系统（参见 ACM MMSys）或绿色多媒体系统（参见 ACM GMSys）的研究。

MPEG-DASH 更新

MPEG-DASH 的现状如下图所示，与上次会议相比仅有微小更新。

特别是，MPEG-DASH 第 6 版计划于 2024 年推出，但可能不包括所有正在开发的修正案。关于现有修正案的概述，请参阅上次会议的博文。目前的修正案已经（略有）更新，并将在即将召开的会议上逐步完成。DASH 中的触觉信号已被讨论并接受纳入 “考虑中的技术”（Technologies under Consideration，TuC）文件。TuC 文件包括未来可能对 MPEG-DASH 标准进行修订的候选技术，可在此处公开获取。

多媒体系统、质量和通信研究界对 MPEG-DASH 进行了大量研究。在 MPEG-DASH 中添加触觉技术将提供另一个值得考虑的研究维度，包括但不限于性能方面和体验质量 (QoE)。