MPEG发布机器特征编码的提案征集令

在第142届MPEG会议上，MPEG技术要求（WG 2）发布了一项提案征集活动（CfP），征集能够为机器视觉任务的视频编码进行有效特征压缩的技术和解决方案。

这项关于 “机器视频编码的特征编码（FCVCM）”的工作旨在压缩机器任务的神经网络中的中间特征。随着神经网络的应用越来越普遍，神经网络的复杂性也越来越高，计算卸载等用例变得更加重要，以促进利用这种网络的应用的广泛部署。

最初作为“机器视频编码”活动的一部分，在过去四年中，MPEG 研究了有效压缩神经网络中遇到的特征数据的潜在技术。这项活动导致建立了一组“特征锚点”，展示了使用最先进的标准化技术压缩特征数据的可实现性能。这些特征锚包括在四个数据集上执行的任务。

该项目欢迎公司和其他组织提交建议。要求在2023年7月3日之前注册；在2023年9月13日之前提交比特流文件、结果和解码器包；在2023年10月9日之前提交提议者文件。对响应CfP提交的文件的评估将在2023年10月的第144次MPEG会议上进行。

诚邀已开发 FCVCM 技术的公司和组织通过 igor.curcio@nokia.com 联系 MPEG 技术要求召集人 Igor Curcio 博士，提供此类信息以响应本CfP。CfP 可在https://www.mpeg.org/获得。

MPEG敲定第九版MPEG-2系统

在第 142 届MPEG 会议上，MPEG Systems (WG 3) 批准了其荣获艾美奖的标准 ISO/IEC 13818-1 MPEG-2 Systems 的第 9 版^。新版本包括对低复杂性增强视频编码 (LCEVC) 的支持，这是 MPEG 系列视频编码标准中最年轻的，超过 50 种媒体流类型，包括但不限于 3D 音频和通用视频编码 (VVC) ). 新版本还支持用于向不同类型的媒体发送信号的新选项，这有助于为特定目的或用户偏好选择最佳音频或其他媒体轨道。例如，它可以指示媒体轨道提供有关当前紧急情况的信息。

MPEG 达到触觉数据存储和交付的第一个里程碑

在第 142届MPEG 会议上，MPEG Systems (WG 3) 通过将文本提升为委员会草案 (CD) 状态，达到了题为“触觉数据传输”的 ISO/IEC 23090-32 的第一个里程碑。此规范支持以 ISO 基本媒体文件格式（ISOBMFF；ISO/IEC 14496-12）存储和交付触觉数据（由 ISO/IEC 23090-31 定义）。考虑到由空间和时间分量组成的触觉数据的性质，具有各种空间或时间数据包的数据单元被用作基本实体，如视听媒体的访问单元。此外，考虑到触觉数据的稀疏性，该草案还引入了静默期的明确指示。该标准计划完成，即到 2024 年底达到国际标准最终草案 (FDIS) 的地位。

MPEG 完成了第 2 版神经网络编码 (NNC)

在第142 届MPEG会议上，MPEG视频编码（WG 4）完成了第二版神经网络编码（NNC；ISO/IEC 15938-17）的制定，将其推进到国际标准最终草案（FDIS）阶段。

用于多媒体分析和处理的人工神经网络的许多应用（例如，视觉和声学分类、多媒体描述符的提取或图像和视频编码）利用基于边缘的内容处理或联合训练。为这些应用程序训练的神经网络包含许多参数（权重），导致相当大的规模。因此，开发了用于多媒体内容描述和分析的神经网络压缩表示的 MPEG 标准（NNC，ISO/IEC 15938-17，2022 年发布），它提供了一组广泛的参数减少和量化技术来压缩整个高效的神经网络。

最近，越来越多的人工智能应用程序，例如基于边缘的内容处理、内容自适应视频后处理过滤器或联合训练，需要交换神经网络的更新（例如，在训练附加数据或微调之后具体内容）。这种更新包括神经网络参数的变化，但也可能涉及神经网络的结构变化（例如，当使用新类扩展分类方法时）。在联合训练等场景中，这些更新必须频繁交换，因此随着时间的推移需要更多的带宽，例如，与训练神经网络的初始部署相比。

NNC 第二版通过增量更新的高效表示和编码以及扩展可应用于整个神经网络和更新的压缩工具集来解决这些应用程序。经过训练的模型可以压缩到至少 10-20%，对于一些架构，甚至可以压缩到原始大小的 3% 以下而不会造成性能损失。在适度的性能下降下，更高的压缩率是可能的。在分布式训练场景中，训练迭代后的模型更新平均可以表示为基础模型大小的 1% 或更少，而不会牺牲神经网络的分类性能。NNC 还提供同步机制，特别是对于分布式人工智能场景，例如，如果联邦学习环境中的客户端退出并稍后重新加入。

相应的一致性指南和参考软件（ISO/IEC 15938-18）的第二版正在准备中。