VVC 标准及其应用的最新情况

来源：MHV ’22
主讲人：Yan Ye (Alibaba)
内容整理：冯冬辉

Yan Ye 首先介绍了 VVC 的项目推进，相比 HEVC 有 50% 的性能提升。早期部署上，已经有软硬件解码器、编码器产品和开源工具链，并展示了优酷 Ali266 点播服务的部署情况。最后介绍了 VVC 高码率/高位深拓展的发布，以及 ECM 和神经网络编码工具的技术探索。

VVC 是 VCEG 和 MPEG 联合专家组 JVET 的最新标准。它的编码效率目标是相比 HEVC 节省约 50% 的码率，包括 HD/UHD/8K 分辨率，HDR/WCG 和 10bit 内容。第二个目标是覆盖尽可能多的应用，即“Versatility”,包含屏幕内容编码，360°视频编码与投影，自适应分辨率改变，独立的子图，Tile/Slcie 和波前并行，分层编码和可扩展编码，渐进解码器刷新等技术。

VVC 第 1 版定稿于 2020.07。首先要讨论的是早期部署情况，一例是 Fraunhofer HHI 维护的 VVenc 和 VVdec 开源编解码器，一例是 Youku 的流媒体服务应用。VVC 第 2 版于 2022 年定稿，涵盖了高码率和高位深拓展。为推进编码效率的探索还包括基于神经网络的编码技术，以及增强压缩模型 ECM 1.0。

性能测试

验证测试已经确认了 VVC 相比 HEVC 的较高的客观（PSNR）和主观（MOS） BD-rate 性能增益。JVET-T2020 提案表明，使用 VVenC medium 编码，可在 UHD SDR 上获得 50% 增益。JVET-W2020 提案表明，在 HLG HDR UHD 和 PQ HDR UHD 序列上分别可获得 49% 和 52% 的主观增益。JVET-V2020 提案表明，对于 HD SDR 有 49%，360°视频（取决于投影格式）有 50%，对话 HD SDR 有 35%，游戏 HD SDR 有 38% 的主观增益。

早期部署情况

Gary Sullivan 对于 VVC 的早期部署一直有很好的文档记录，该系列最新的文档是 JVET-Y0021。

开源代码：包含 VTM 参考软件，InterDigital JVET-T0061 多线程解码器，Fraunhofer HHI 维护的 VVenc 和 VVdec 开源编解码器，以及 FAU 码流分析仪。
软件解码器：现有的非开源软件解码器实现，很多针对移动平台设计，包括 Sharp，SpinDigital，以及腾讯 O266dec，字节 BVC，阿里 Ali266 等。
硬件解码器：MediaTek 在 2021.11 推出了能够解码 VVC 8K 至多 120fps 的 SoC。
编码器产品与服务：包含 KDDI Research，Ateme Titan，Bitmovin，字节 BVC 编码器，MX 播放器，阿里 Ali266 编码器，腾讯云。
应用标准：ATSC3 正在关注 VVC，SBTVD 选择 VVC 作为巴西的即将推出的 TV 3.0 广播标准，DVB 将 VVC 添加至其视频工具箱。
码流分析仪：包括 Elecard，ViCueSoft 和 FAU 的产品。
验收实验：包括 JVET 验收测试标准，和 AllegroDVT。

开源优化 VVC 实现

VVenC 和 VVdeC 项目非常令人振奋，这是第一个由主要参与组织推动的开源工作，在 VVC 定稿之后就推出，并且遵循友好的 BSD 协议。最近又推出了 VVdeC Web Player 项目。

端到端开源 VVC 工具链

A. Wieckowski 等人的论文中梳理出了一套开源的 VVC 工具链，包括开源的 VVC 编码器，开源的复用、传输、解复用工具，以及嵌入在 ffmpeg 中的 VVdeC 解码器和 libavcodec 播放器。

Ali266 优酷点播

Ali266 是一套 VVC 编解码的软件实现，可以在智能手机上 3 线程实时解码 720p，在主机或服务器上实时编码 1080p。在 MSU 编码器竞赛的主观赛道，相比 x265 veryslow 有 71% 的码率节省。在实际部署上的工作，包括在优酷 App 上支持 Ali266 解码器，在服务端使用 Ali266 编码内容，以及系统级别的修改以实现端到端 VVC 编码内容的分发。

下面展示了一些部署数据。该系统在 2021.11 试验部署，包括 22 种安卓模型机，内容涵盖流行电影、真人秀以及连续剧，可获得 35-40% 的码率节省。2022.01 正式部署，在两个月内有 438K 累计播放，202K 终端消费者，平均观看时间 13min，每用户播放时间 29min。这可能是第一个面向成规模消费者的 VVC 点播流媒体服务。

在用户体验上，VVC 软件解码没有不良影响，1080p 平均解码时间 8ms，稳定性 99.95%。成功播放率为 VVC 99.98%，HEVC 99.92%。在完全相同的实验条件下，VVC 播放时延（play stall）只有 HEVC 的一半，这主要归功于可观的码率节省。在 90 分钟的播放实验，VVC 软解比 HEVC 硬解耗电多 6%。对于满电设备，VVC 可播放 10 小时，并节省 1GB 的数据传输。

下面是一段 HEVC 软解与 VVC 硬解的 Demo，两段视频的主观质量相近。

VVC/VSEI 拓展

最新 JVET 完稿了 VVC 第 2 版，主要是高码率以及高位深拓展。除了编码工具的进一步优化，还为 12bit 和 16bit 不同色度格式定义了很多新配置。规格说明也于 2022.01 进入终稿国际标准（FDIS）状态。其姐妹标准 VSEI (Versatile SEI) 也进入了 FDIS 状态，包含了两个新的 SEI 信息。

超越 VVC 的探索

ECM 增强编码模型，延续了混合编码框架，提升了主要编码工具的性能（见 JVET-Y2025）。在探索实验中，相比 VTM，ECM 软件可获得 16% 的亮度增益，20-21% 的色度增益，以及 4-5X 的运行时间增加。

神经网络编码技术的探索路径分为独立编码工具和端到端编码两类。JVET 主要探索了独立编码工具路径，包括环内滤波，超分增强、预测模式、帧内/帧间预测和后处理滤波，下图展示了各网络工具的复杂度与增益。专家组也对编码视频的主观质量做出了评估。神经网络的运行环境通常为 PyTorch/TensorFlow，JVET 也将推出自己的 SADL（Small Ad-hoc Deep Learning）库，它是神经网络的定点数实现，这对于网络工具的实用化非常重要。