2024 年视频编解码器现状

自从 MPEG 编解码器爆炸给我们带来 VVC、LCEVC 和 EVC 以来，已经过去三年多了。我不会大肆宣扬每一次个位数的质量改进或设计胜利，而是会让您快速了解最常用视频编解码器的质量、可播放性和使用方法，然后探索业务和技术领域与编解码器相关的新进展。

作者：Jan Ozer，Streamingmedia特约编辑

给普通读者的一个警告： 2023 年与编解码器相关的最重要事件是，您可能需要付费才能使用它们。我指的不是硬件或软件解码版税，而是内容版税。如果一想到这可能会让你彻夜难眠，也许你应该跳过这篇文章。

性能如何？

我们之所以采用新的编解码器，是因为它们能让我们进入 HEVC 和 HDR 等新市场，还因为它们能为我们节省带宽成本。2023 年 5 月，我在流媒体东博会上发表了题为《2023 年如何选择编解码器》的演讲，其中包括图 1 所示的图表。我主要介绍了 x264、x265 和 libaom 等开源编解码器，以及 LCEVC 和 Fraunhofer 版本的 VVC。这些编解码器的不同版本会产生不同的结果，我稍后会讨论。所有编解码器的评级都是与 x265 比较得出的，而 x265 的评级为 100%，这是我从莫斯科国立大学（MSU）借鉴的一种有用的演示技术。

编解码器的比较有很多，结果也各不相同。但从高层次来看，大多数结果都表明，如果放弃 H.264 而采用其他编解码器，就能在提供相同或更好质量的同时大幅降低视频的比特率。关于 HEVC 和 VP9，Bitmovin 在 2020 年的一项研究中发现，这两种编解码器的比特率不相上下，尤其是在全比特率阶梯上。我的测试也大致如此。

图 1 还显示，与 HEVC 或 VP9 相比，AV1 能有效节省成本，而 VVC 比 AV1 更高效。LCEVC 的性能取决于基础层；在 HEVC 基础上，它的质量比 x265 高出约 22%。

编解码器在哪里播放

虽然我们喜欢比较编解码器的质量，但采用编解码器最重要的考虑因素是在哪里播放。显然，只有在能够实际解码和播放使用该编解码器编码的视频的设备上，才能节省带宽。

通常，在分析可播放性时，我们会考虑三个市场：浏览器、移动设备和 living room。它们的兼容性估计值如图 2 所示。其中一些估计值来自知名来源，如 Can I Use（列出与其他技术兼容的技术）和 ScientiaMobile（跟踪手机的硬件支持情况，至少是 AV1 和 HEVC 的硬件支持情况）。

2023 年采用编解码器的最大新闻可能是苹果公司为 iPhone 15 Pro 和 iPhone 15 Pro Max 添加了 AV1 解码功能。这无疑是积极的一步，但还需要 1-2 年的时间才能将支持 AV1 的硬件装机量提高到大多数出版商认为有吸引力的水平。

如前所述，图 2 中的表格涵盖了移动设备的硬件播放。那么软件呢？这是一个合理的问题，尤其是考虑到软件播放会影响播放帧率和电池寿命。举例来说，Meta 在 Reels 中部署了 AV1，尽管这需要大量的开发工作。多年来，YouTube 一直在提供 AV1 编码的视频，但在没有硬件支持的情况下，似乎无法将 AV1 串流到手机上。

印度的一家供应商 MX Player 已经通过软件解码在移动设备上部署了 VVC，而其他几家供应商发布的研究报告显示，在 iOS 和 Android 设备上的播放帧率非常高（在此下载摘要）。不过，大多数主流发行商倾向于避免在移动设备上部署新的编解码器，直到有足够多的装机量实现硬件播放。LCEVC 是一个主要的例外，它是一种增强型编解码器，可在大多数没有硬件支持的平台上高效播放。

谁在使用什么？

了解每种编解码器目前的使用情况以及出版商未来的使用计划总是很有趣的。2023 年，Telestream 重新发布了 Encoding.com 一直很有用的 “全球媒体格式 “报告，该报告详细介绍了 Encoding.com 在 2022 年为其客户生产的编解码器。这些数字相加为 100%，代表了该公司 2022 年产量的 100%（图 3）。

请注意，WebM 包括 VP8 和 VP9，但主要是 VP9。不出所料，AVC（H.264）占主导地位，其次是 HEVC，考虑到 TNT、Fox、Tubi、BBC、CNN、NBC、Peacock 和 NBCUniversal 等优质内容客户，这并不奇怪。请注意，Encoding.com 现已更名为 Vantage Gateway。

图 4 显示了《第七届 Bitmovin 视频开发者年度报告》中对 VOD 编解码器使用量的估计。与 “全球媒体格式 “报告相比，该报告的特点是提供了行业调查结果，而 “全球媒体格式 “报告则详细介绍了实际制作统计数据。

由于受访者使用了不止一种编解码器，因此这里的数字加起来超过了 100%。蓝色数字代表目前正在生产的编解码器，红色数字代表计划在未来 24 个月内实施的编解码器。同样，H.264 和 H.265 的相关结果也不足为奇。

AV1 的使用情况令人费解。在《第六届 Bitmovin 视频开发者年度报告》中，14% 的受访者声称他们正在使用 AV1，42% 的受访者计划在 12-24 个月内实施 AV1。而在本次报告中，这两个数字分别下降到 8%和 32%。如果受访者的构成没有发生重大变化，这些数字就很难协调。

尽管如此，AV1 并不是唯一使用率下降的编解码器： VVC 从目前使用的 15% 和计划使用的 29% 下降到使用的 7% 和计划使用的 12%。这可能是流媒体行业对部署新编解码器的热情正在减退。

成本是多少？

在考虑了质量和兼容性之后，大多数生产商都会考虑成本。这就是事情变得有趣的地方。多年来，现状一直是这样：

• 所有基于标准的编解码器，包括 H.264、HEVC、VVC 和 LCEVC，都需要支付专利使用费，有一个或多个专利池和明确的费率结构。不过，绝大多数专利费都用于硬件和软件播放设备，而不是内容。

• 谷歌一直坚持认为 VP9 是开源和免版税的，开放媒体联盟对 AV1 也是如此。然而，2020 年 3 月，专利池管理人 Sisvel 宣布了两个专利池，VP9 和 AV1 各一个。不过，根据许可条款，Sisvel 只对播放设备而非内容收取专利使用费。

2023 年 10 月 18 日，Avanci 推出了 Avanci Video 平台，主要针对视频出版商收取内容相关的版税。以下是我们从常见问题中了解到的情况：

谁应该从 Avanci Video 获得许可证？

使用H.265 (HEVC)、H.266 (VVC)、VP9、AV1和MPEG-DASH五种标准中的任何一种向用户提供互联网视频流服务的互联网视频流公司都可以选择获得Avanci Video的许可证。我们的许可计划向所有互联网视频流公司开放，包括基于订阅的娱乐服务、基于广告的视频共享网站、社交媒体和视频消息平台以及视频会议提供商。

您可以看到该平台涵盖的编解码器，其中不包括 H.264，这可能是因为许多相关专利的 20 年专利保护期已开始到期。该平台共有 26 个专利所有人，他们在每项列出的技术中都拥有不同的专利，其中包括 Sisvel 专利池中的几项技术。Avanci 没有提供专利使用费率。

即使在 Avanci 宣布之前，与编解码器相关的专利所有人似乎也在努力开始向内容所有者收取编解码器使用费。总之，在 2023 年之前，出版商可以相对放心地使用先进的编解码器，而无需担心可能产生的编解码器专利使用费。遗憾的是，现在情况已不再如此。

人工智能即将到来

在过去的 12-14 个月里，人工智能对我们的日常生活，尤其是工作产生了巨大的影响。人工智能何时会影响编解码器领域？

嗯，似乎已经有了。图 5 显示的是 2023 年 11 月发布的《2022 年 MSU 视频编解码器比较》的主观结果。与图 1 一样，x265 是 100% 的参考编解码器，其他编解码器的效率有高有低。正如您可能注意到的，这里越小越好，最小的是腾讯 TVC，它比腾讯的 VVC 编解码器（VVC 也是 H.266）效率高 10%。

TVC 是什么？以下是我们从腾讯新闻稿中了解到的信息： “TVC通过全面优化编码工具、快速算法、工程设计和比特率控制，不断克服长时间标准迭代带来的压缩瓶颈，优化新的人工智能编码工具带来的高编解码复杂性，满足定制化编解码需求”。关于人工智能的实际参与程度，很难从噪音中分辨出信号，但这并不是人工智能出现在编解码器上的唯一实例。

Deep Render 是一家人工智能初创公司，专注于开发先进的视频压缩技术。Deep Render 于 2018 年由伦敦帝国理工学院的两名学生创立，它利用人工智能智能分析和重建视觉数据，以最大限度地减少高压缩率下的伪影。该公司声称，其编解码器已经将视频文件的大小缩小了 5 倍，目标是提高 50 倍。Deep Render 于 2022 年发布了自己的技术，并于 2023 年获得了 900 万美元的 A 轮融资。此外，它还被选为 2023 年英特尔初创企业创新奖的获奖者。

值得关注的还有人工智能移动图像、音频和数据编码（MPAI）计划，该计划由 Leonardo Chiariglione 创立，他也是 MPEG 的创始人。MPAI 致力于通过人工智能增强视频编码技术，尤其是 EVC 编解码器。

MPAI 令人印象深刻的地方并不在于目标增强领域的具体细节，即内部预测、超级分辨率和环路内过滤。相反，它的研究重点是全局，包括健康应用人工智能、联网自动驾驶汽车人工智能以及元宇宙和人机通信人工智能（图 6）。

如果您是广播或媒体从业人员，您完全可以对这些基于人工智能的开发工作会立即影响到您的工作的想法嗤之以鼻，因为编解码器需要数年的时间才能通过繁琐的标准采用过程，并在操作系统、浏览器和设备中部署，更不用说编码器和转码器了。不过，对于会议、自动驾驶汽车甚至医疗设备等封闭式应用来说，由于编码和解码都由一家供应商控制，这些编解码器可能比表面看起来更接近。

信息源自streamingmediaglobal.