什么是EVC(MPEG-5 Part-1)？EVC的标准、架构及编码工具

MPEG-5 Part-1 或 EVC 或基本视频编码是三星、华为、高通和 Divideon 支持的 MPEG 标准。它由两个配置文件组成 – 一个仅使用过期专利且免版税的基线配置文件，以及一个需要使用费并使用新的创新编码工具的主要配置文件。

大多数人可能都知道，MPEG 宣布了三种新的视频编解码器——通用视频编码 (VVC)、基本视频编码 (EVC) 和低复杂性增强视频编码 (LCEVC)。OTTVerse 在我们对 VVC、EVC 和 LCEVC编解码器的介绍中对此进行了介绍；并谈到了LCEVC 的架构和性能（比 AVC 高 28%）！

对于参与视频压缩的人们来说，这是一个激动人心的时刻，对吧？三个编解码器需要学习、实施和优化！

在本文中，我们将了解MPEG-5 Part-1 EVC（基本视频编码）、它的架构、开发和一些编码工具。

什么是基本视频编解码器 (EVC) 标准

根据MPEG 网站，MPEG-5 第 1 部分（基本视频编码）的目标如下 –

MPEG-5 EVC 的目标是提供标准化的视频编码解决方案，以满足某些用例（例如视频流）中的业务需求，在这些用例中，现有的 ISO 视频编码标准并未像其纯技术特性所预期的那样得到广泛采用.

接下来，让我们看一下作为 w17928 文档的一部分发布在 MPEG 网站上的一些要求：

1. ……然而，编码效率并不是决定行业为产品和服务选择视频编码技术的唯一因素。……
2. 视频编码技术应满足现有和新兴现实世界用例的需求。 
3. 从技术和商业角度来看，视频编码技术也应该易于采用。 
4. 在 2018 年 4 月的 MPEG 第 122 次会议上，一些行业代表确定需要一种“许可友好”的视频编解码器，以促进及时提供清晰透明的 2 类许可条款。
5. 测试模型、测试序列和测试条件的定义
   • 测试模型应包含两个工具集：基础工具集和增强工具集。
   • 基本工具集应使用20 多年前公开的工具或收到 Type 1 声明的工具进行配置。
   • 增强的工具集中应该有额外的工具，每个工具都应该显着提高编码效率，并且能够在单独的基础上干净地关闭。

我会在这里暂停一下，以便我们可以让这些话深入人心。MPEG 委员会在他们的“要求”中非常清楚地说明了以下内容

• HEVC 的专利池问题阻碍了强大且功能丰富的视频编解码器的采用（我知道——因为我在它上面工作了 4 年！）；
• 公司在 HEVC 研发上投入了数百万美元，并坚持投资；
• 现在是正面、预先、在开始而不是最后解决专利问题的时候了。

这就是为什么（微妙的和不那么微妙的）在 MPEG-5 Part-1 EVC 的要求中到处暗示专利和许可弹出窗口。

无论如何，基本要求是 EVC 将包含两个独立的配置文件：“基线配置文件”和“主要配置文件”。

• Baseline配置文件将仅包含20 年以上且可在标准中免费使用的视频编码技术。
• Main配置文件包含多个编码工具，旨在提高 编解码器的压缩效率。这些不是免版税的，可以单独打开/关闭。
• 重要的是，该标准的所有贡献者都应在 FDIS 阶段的两年内单独或作为专利池的一部分及时公布适用的许可条款。

因此，希望从现有编解码器切换到 EVC 的公司可以选择使用免版税的 Baseline 配置文件或支付版税并使用 Main Profile，其压缩效率将高于 Baseline 配置文件。

通过对 EVC 的介绍，让我们看一下 EVC 中的体系结构和一些编码工具。

EVC的架构

这是Jonatan Samuelsson（Divideon）、Kiho Choi（三星）、Jianle Chen（Futurewei）和 Dmytro Rusanovskyy（高通）在 IBC 2019 上展示的MPEG-5 EVC 的高级架构框图。它显示了基线和主要配置文件中的编码工具。灰色框表示主配置文件中存在的各种编码工具。

EVC 编解码器基于高通、三星和华为提出的工具和技术以及 Divideon 提出的参考图片管理和其他高级语法方面。

这是 IEEE 论文中的另一个 EVC 标准框图，标题为“MPEG-5 基本视频编码标准概述”（下载链接）。基线配置文件由绿色框显示，主要配置文件由蓝色框显示。它非常清楚地显示了压缩管道每个阶段的基线和主要配置文件编码工具。

让我们看一下接下来几节中的一些编码块。我们不会深入探讨每个块，因为这超出了本文的范围。

高级语法

EVC 比特流由 NAL（网络抽象层）单元组成，带有一个小的 NAL 单元标头，指示时间 ID 和某些 NAL 属性。EVC 中包含的一些 NAL 单元类型以及我们从 AVC、HEVC 等中了解到的是

• SPS（序列参数集） ——应用于整个编码视频序列（CVS）的参数
• PPS (Picture Parameter Set) – 适用于 CVS 的一张或多张图片的数据
• APS（自适应参数集） ——适用于 CVS 的一张或多张图片的一个或多个部分的数据。

除此之外，Main profile 还包括允许灵活的图片标识符、图片顺序计数信号 (POCS)和参考图片列表 (RPL)，在图片级别发出信号。

熵编码

熵编码是使用定义明确的代码无损压缩一组字符的过程。示例包括霍夫曼编码和二进制算术编码。

基线概况

MPEG-5 EVC 的基线配置文件使用与 JPEG 标准的附录 D（来源）中使用的相同的二进制算术编码算法。这包括二值化步骤和可通过查找表获得的固定上下文模型。

主要简介

Main 配置文件使用上下文建模和初始化 (CMI)流程改进了 Baseline 配置文件，以实现更高效的概率建模。类似于 AVC、HEVC 等编解码器中的上下文建模，CMI 块使用相邻块的语法元素来对馈送到二进制算术编码器的概率进行建模。

编码结构

基线概况

EVC 使用四叉树编码结构（64×64 到 4×4 大小的块），可用于非常有效地将像素块分割成更小的形状以适应块的特性。我们在 HEVC 中看到了这一点，它使用四叉树分解来有效地编码大视频分辨率（> 1080p）。

主要简介

• 允许非方形编码单元的二叉三叉树 (BTT)

• 拆分单元编码顺序 (SUCO) – 使用此工具，可以对拆分单元使用从左到右或从右到左的处理顺序。

帧内预测

基线概况

在基线配置文件中，以下工具和限制适用于帧内预测 –

• 所有编码单元都是方形的
• 有5种帧内预测模式：DC（邻居的平均值）、水平、垂直、左对角线和右对角线。
• 根据上邻域和左邻域的预测模式，为当前块的预测模式自适应地生成和分配代码。

主要简介

• 允许使用矩形编码单元（除了方形 CU 之外）。
• 增强型帧内预测方向 (EIPD)引入了 28 种额外的方向模式
• 帧内块复制 (IBC)允许您在同一图片中引用之前编码的样本块。

Inter Prediction

基线概况

• 单向和双向运动估计和补偿
• 基线配置文件中的时间直接模式参考时间上位于同一位置的块的运动矢量（如在 H.263 中）
• 五个块用于按以下顺序发出 ME 模式信号 –
  • 3 个空间 MVP：左 (MVP0)、上 (MVP1)、右上 (MVP2)
  • 时间 MVP (MVP3)
  • 零MVP (MVP4)

• 允许半像素和四分之一像素运动估计
• 基线配置文件使用多个参考图片。

主要简介

Main Profile 有很多新的编码工具。

• Advanced Motion Interpolation and Signaling (AMIS)：合并相邻块以指示它们使用相同的运动，而且与基线配置文件中的预测器相比，还使用更高级的方案来创建候选预测器列表。
• Merge with Motion Vector Difference (MMVD)工具使用类似于相邻块的概念合并的过程，但另外允许使用包括起点、运动幅度和运动方向的表达式来发送运动矢量信号。
• 高级运动矢量预测 (ADMVP)：该工具通过参考来自同一图片的相邻块和来自参考图片的位于同一位置的块，允许块的大量候选运动矢量预测器。
• 自适应运动矢量分辨率 (AMVR)是一个非常有趣的工具，它提供了一种将运动矢量的精度从四分之一样本降低到半样本、全样本、双样本或四倍样本的方法！使用 AMVR 可以大大提高压缩效率。
• 仿射预测模式工具允许一个人表示不是纯粹平移的运动。
  解码器端运动矢量优化 (DMVR)使用双边模板匹配过程在双向预测模式下优化运动矢量。

环路滤波

基线概况

• 基线配置文件使用 H.263 附件 J [21] 中定义的去块滤波器。

主要简介

主配置文件定义了几个过滤工具——

• 高级去块滤波器 (ADDB) ,
• Hadamard 变换域滤波器 (HTDF)：在去块之前应用于亮度样本，并且仅当量化参数大于 17 时。
• 自适应环路滤波器 (ALF)允许为亮度分量发送多达 25 个不同滤波器的信号，并且可以通过每个 4×4 块的分类过程选择最佳滤波器。

这只是 Baseline 和 Main Profile 中的一些编码工具。对于工具的详细解释，最好参考规范，或者EVC上发表的各种论文。

参考文章：
https://www.ibc.org/download?ac=10463
https://ieeexplore.ieee.org/document/9084372
https://www.itu.int/en/ITU-T/Workshops-and-Seminars/20191008/Documents/Ken_McCann_Presentation.pdf
https://research.samsung.com/news/Samsung-Electronics-Huawei-and-Qualcomm-Welcome-the-Release-of-a-New-Video-Coding-Standard