2022年视频编解码器的现状

原标题：The State of Video Codecs 2022
原文链接：https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/The-State-of-Video-Codecs-2022-151189.aspx
原作者：Jan Ozer
翻译整理：徐鋆

在这个 2022 年的编解码器进展中，我将介绍去年与 H.264、VP9、HEVC、AV1、多功能视频编码（VVC）、低复杂度增强型视频编码（LCEVC）和基本视频编码（EVC）有关的最重要的公告。编解码器有很多，但篇幅有限，所以本文只是简单介绍。

H.264

H.264 是我们最接近通用的编解码器，这就是在 Bitmovin 的“2021 Bitmovin 视频开发者报告”中，H.264 在调查对象中的使用率实际上从 2020 年的 92% 下降到 2021 年的 83%，令人惊讶的原因。这一数据得到了 Rethink Technology Research 的“2020-2030 年媒体和娱乐转码工作量和设备使用费预测”的支持，其中 H.264 的使用量从 2020 年所有流量的 80% 左右下降到 2030 年的 25% 左右。我们都知道 H.264 的使用量在某种程度上必须下降，而且似乎下降已经开始。

为了给本文的其余部分奠定基础，我分享了 Bitmovin 报告中的一张图表（见图 1），其中显示了调查对象计划在 2022 年增加的新编解码器。请注意，受访者包括整个视频编码和传输生态系统的代表，所以即使很少有出版商在 2022 年部署 VVC 或 EVC 流，最终将部署这些编解码器的编码和其他服务似乎正在将它们添加到他们的技术栈中。

VP9

实施新编解码器的最重大挑战之一是它们引入了额外的复杂性，从而转化为增加的编码成本。像 YouTube 这样的大规模服务尤其如此，因为他们需要先进的编解码器来降低流媒体成本，避免“破坏”互联网。长期以来，YouTube 使用 VP9 来处理 4K 和高容量的内容，但在软件中进行编码，这比 H.264 多使用 5 倍的计算机资源。

2021 年 4 月，谷歌宣布发布 Argos 视频编码芯片，与之前的服务器设置相比，其计算效率提高了 20-33 倍。据 Data Centre Dynamics 报道，每个芯片包括 10 个编码器核心，“可以实时编码 2160p，使用三个参考帧，最高可达 60FPS”。正如 2021 年 8 月 Streaming Learning Center 的一篇文章[1]中所讨论的，YouTube 现在使用 VP9 处理只有几千人观看的视频，而 AV1 则保留给 350 万左右的视频。

在版权方面，谷歌长期以来一直坚持认为 VP9 是一个开源和免版税的编解码器；而拥有 VP9 专利库的 Sisvel 则不同意[2]。2021 年 12 月，Sisvel 宣布松下签署了一份使用 VP9 的许可协议，使下面提到的 VP9 和 AV1 专利池的被许可人总数达到 30 个。

HEVC

关于 HEVC 没有太多报道，它仍然是客厅之王，特别是与高动态范围（HDR）内容有关的。虽然有很多关于 AV1 和其他编解码器在杜比视界的支持的讨论，但 HEVC 仍然是杜比视界配置文件中唯一支持的 10 位编解码器。正如后面所讨论的，尽管 Netflix 确实做了一个大的，“AV1 在客厅”的公告，它也说“我们正在探索的另一个令人兴奋的方向是 AV1 与 HDR”，这意味着 HDR 还不被 AV1 支持。

然而，HEVC 在传统薄弱的浏览器市场上没有取得任何进展，据 Can I Use 报告，全球浏览器可用率只有 19.52%，几乎全部在苹果产品中。相比之下，Can I Use 报告说 AV1 在 72.89% 的浏览器中可用（苹果是主要的遗漏），而 VP9 在 95% 以上的浏览器中可用。

浏览器缺乏对 HEVC 的支持并不妨碍优质内容发行商，他们可以在大多数平台上使用具有 HEVC 播放功能的应用程序，但它使 HEVC 对于以广泛的、基于浏览器的播放为目标的发行商来说无法使用。Chrome 和 Firefox 在 HEVC 完成 9 年后仍缺乏对它的支持，这也预示着本地浏览器对较新的基于标准的编解码器（如 VVC、EVC 和 LCEVC）的支持不理想。

AV1

2021 年最重要的与 AV1 相关的公告是 Netflix 的博文“将 AV1 流媒体带到 Netflix 会员的电视上”，它基本上宣布客厅已经为 AV1 做好准备。The Verge[3] 公布的一份支持设备的简短清单，包括六台经过认证的三星智能电视、PS4 Pro、特定的 Amazon Fire TV 设备和特定的安卓电视设备，似乎与这一说法相矛盾，上述 Netflix 目前的 AV1 产品中缺乏 HDR 支持也是如此。有一个 HDR10+ 的 AV1 规范草案和杜比视界支持的讨论，但如果没有在相关的关键设备上完全实现 HDR 支持，要成为客厅之王是很困难的，而 AV1 目前似乎还没有。

同样与电视有关的是，欧洲 DVB 电视规范[4]的更新预计将在 2022 年初进行，它将包括三种编解码器。AV1、AVS3 和 VVC。这一点，加上开放媒体联盟（AOMedia）成员的内容支持，似乎可以确保 AV1 将包括在大多数（如果不是全部）为遵守即将到来的标准而制造的电视机中。

在移动方面，曾在 Netflix 工作、现在 Facebook 工作的 David Ronca 在 YouTube 视频中报告说，他预计（AOMedia 也预测）将在 2020 年部署的硬件 AV1 解码器被推迟了，“所以我们可能要到 2023/2024 年才能看到有意义的硬件引入，…我们要到 2026/2027 年才能看到硬件解码器在移动市场达到临界质量”（见图 2）。相反，Ronca 希望软件解码器能够“在 2024 年前为大多数安卓设备提供高效的 720p60 解码”。这一点，加上苹果公司缺乏对 AV1 的支持，使 AV1 的移动前景大打折扣，尽管注意到 Netflix 从 2020 年初就开始向 Android 手机提供 AV1。

相比之下，在浏览器中分发标准动态范围的 AV1 几乎是一个交易。然而，大概是由于编码的成本，YouTube 将 AV1 的部署限制在似乎注定要超过 350 万左右的视频，如前所述。作为一般规则，你必须假设，如果 YouTube（和 Netflix）无法负担较低观众人数的视频的 AV1，大多数其他生产商可能也不能。正如 Streaming Learning Center[7] 所报道的那样，有几个 AV1 硬件编码替代品即将问世，这可能使 AV1 编码对所有人来说都负担得起。

在 WebRTC 市场，谷歌宣布为 Chrome 浏览器提供 AV1 编码器，思科[8]为 Webex 增加了一个 AV1 编码器，Millicast 宣布为其 WebRTC 生产环境提供一个 AV1 编码器。显然，为 2Mbps 的 720p 优化的编解码器与 4K 优质内容没有什么关系。不过，基于软件的高效 AV1 编码也许还是有希望的。

AOMedia 声称，像 VP9 一样，AV1 是开源和免版税的，然而 Sisvel 的 AV1 许可计划[9]似乎表明了相反观点。2022 年 2 月，Sisvel 报告说，其 AV1 和 VP9 的许可方总数已达 30 家。

这把我们带到了三个新的 MPEG 编解码器。

VVC

就质量而言，我在 2020 年底将 VVC 与 AV1、HEVC 和 H.264 进行了比较[10]，而在 2021 年底，我将 VVC 与这些编解码器加上 EVC 和 LCEVC 进行了比较[11]。总结的版本是，VVC 是这片土地上最高效的编解码器，尽管它的编码和解码也是最复杂的。我在这两篇文章中测试了 Fraunhofer 的 VVC 实现；那些对 VVC 质量更全面的观点感兴趣的人应该看看莫斯科国立大学 2021 年的报告[12]。

在部署方面，基于标准的编解码器的采用涉及一些里程碑，特别是那些诸如 VVC 和 EVC 的编解码器，它们可能需要在移动和客厅平台上进行硬件加速解码。版税必须确定，然后必须开发芯片，并将其集成到零售产品中进行部署，并在以后的某个时候达到临界质量。

在芯片和集成方面，AV1 是最近经历这一周期的编解码器。作为参考，AV1 在 2018 年敲定，第一批电视和 OTT 设备在 2020 年出现，市场在 2021 年底达到临界质量，至少对 Netflix 是这样。因此，充其量，从最终确定到第一个零售产品是一个 2 年的周期，然后再过一年，直到有相关的临界质量的产品可以作为目标。

VVC 于 2020 年 6 月定稿。在版税方面，2021 年初，Media Coding Industry Forum 宣布，将有两个专利池，由 Access Advance 和 MPEG LA 管理。Access Advance 去年宣布了它的版税条款[13]，而 MPEG LA 在 2 月宣布了他们的版税条款。

在硬件解码方面，已经宣布了两个实施方案。2021 年 7 月，Allegro 宣布其 AL-D320 视频解码器半导体 IP 核支持最新的 VVC/H.266 格式。据 Allegro 称，该解码器“可立即供 SoC 供应商集成”，因此，带有该解码器的实际芯片要到这次部署后才能推出。2021 年 11 月，联发科推出了 Pentonic 2000，该公司声称“这是第一个支持多功能视频编码（VVC）H.266 媒体的商用 8K 电视芯片”。联发科进一步表示，该芯片将支持杜比视界（Dolby Vision），并预计装有该芯片的智能电视将于 2022 年在全球市场推出。

假设联发科是正确的，我们应该期待第一批带有 VVC 的电视在 2022 年出货，这意味着可寻址设备的临界质量将在 2023 年底或 2024 年的某个时候出现，对于由服务提供商决定提供机顶盒的绿地部署来说，时间会更早。

电脑和移动设备上的软件解码情况如何？当然，Chrome 和 Firefox 预计缺乏浏览器支持的问题有解决办法，应用程序开发人员可以在他们的应用程序中使用任何他们想要的编解码。当然，问题是所需的 CPU 性能和对电池寿命的影响。有几份来自优酷和腾讯[14]等公司的耐人寻味的已完成的试验报告，以及来自联合视频专家组（JVET）的其他有记录的软件解码器性能试验，看起来很有希望，但是，除了 AV1 之外，编解码器很少被部署在没有硬件解码的移动平台。

新的编解码器也受益于电视相关标准的纳入，VVC 和 LCEVC 都被纳入了巴西最近的 TV 3.0 项目（见图 3）。如前所述，VVC 也将被纳入即将出台的 DVB 规范。

这说明了什么？生活在美国的人很难不以美国为中心，认为 Netflix、YouTube、Amazon 和 Hulu 等 AOMedia 内容供应商将决定编解码器的采用，而且这些公司在短期内不太可能支持 VVC。然而，外面的世界很大，阿里巴巴（拥有优酷）和腾讯等公司都有自己的云分发系统，似乎更倾向于 VVC。当然，与 EVC 或 LCEVC 相比，VVC 背后的努力要多样化得多。综上所述，很难想象有什么情况会把 VVC 支持推到任何不是为绝对金字塔顶端的流媒体公司工作的工程经理的 2022 年待办事项清单的首位。

LCEVC

作为一种增强型编解码器，LCEVC 与 VVC 和 EVC 不同。它的编码和解码更加轻巧，所以它确实不需要专门的硬件来实现这两项功能（见[15]）。V-Nova 是 LCEVC 技术背后的公司，也是其最大的推动者，已经解决了移动和基于浏览器的计算机播放的大部分部署问题。例如，V-Nova 可以在 HTML5 播放器中提供播放，如 HLS.js、Shaka Player 和 Video.js，并且已经为 iOS 和 Android 平台发布了具有 LCEVC 功能的应用程序。

2021 年初，V-Nova 发布了其版税结构[16]，该结构对实际使用编解码器的流媒体服务适用有上限的、较低的每用户费用，对编码器和解码器供应商免费。这将版权费负担放在获得带宽节省的公司身上，并应简化编码和播放生态系统的采用，尽管可能不是 AOMedia 成员。

你可以在 lcevc.org 上阅读各种与 LCEVC 有关的公告，主要涉及评估测试和 MPEG 验证测试。其他新闻包括与 Harmonic、Southworks 和 Red5 Pro 的整合。在我关于 LCEVC 测试的文章中，我用 x265 作为基础层测试了 LCEVC，它如约而至，提供了比 x265 更好的质量和更高的编码/解码效率。我计划在网络研讨会上用 AV1 作为基础层测试 LCEVC，[17]包含网络研讨会的链接和任何下载。

EVC

EVC 通常是 MPEG 在 2020 年发布的三个编解码器中被遗忘的姐妹。VVC 有许多父亲，他们制定基准，进行推广，进行试验部署，并创建编码和解码硬件。LCEVC 有一个非常响亮的父辈，即 V-Nova，让它一直处于聚光灯下。相比之下，EVC 有三个主要贡献者[18]–三星、华为和高通–它们似乎更专注于最终确定和改进技术，而不是营销和部署它。如果你扫描一下 2021 年6月前 EVC 的活动，并将其与 VVC 进行比较，你就会对每种编解码器的商业化相关活动有一个比较的感觉。我找不到任何关于支持 EVC 的芯片即将出现或甚至正在进行的公告。

EVC 是在 2020 年 4 月最终确定的，而且也没有公布版税政策。诚然，贡献者在创建编解码器时同意了 2 年的时间窗口，但在涉及版税政策时，越早越好，而且只有三个贡献者，人们认为 2 年的目标是一个外部限制，而不是实际目标。

我在 2021 年 12 月[15]测试了 EVC，以及 VVC 和 LCEVC，开源的编码器和解码器提供了非常好的质量和编码/解码效率。该技术令人印象深刻，但如果没有积极的产品化，建造一个更好的捕鼠器只能让你走到这一步。当然，三星、华为和高通可以带来大量的营销资源，但我们还没有看到这种情况的证据。

参考链接

[1] https://streaminglearningcenter.com/codecs/which-codecs-does-youtube-use.html
[2] https://www.sisvel.com/licensing-programs/audio-and-video-coding-decoding/video-coding-platform/introduction/about-vp9
[3] https://www.theverge.com/2021/11/10/22775150/netflix-av1-codec-tv-streaming-ps4-pro
[4] https://dvb.org/wp-content/uploads/2021/09/dvbscene-58.pdf
[5] https://www.youtube.com/watch?v=3qL5FdEBiGA&t=1789s
[6] https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/go2sm.com/scaling
[7] https://streaminglearningcenter.com/codecs/its-the-year-of-av1-2023-that-is.html#AV1_in_the_Long_Term_Could_Replace_H264_and_HEVC
[8] https://blog.webex.com/engineering/the-av1-video-codec-comes-to-webex/
[9] https://www.sisvel.com/licensing-programs/audio-and-video-coding-decoding/video-coding-platform/introduction/about-av1
[10] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=144235
[11] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=150729
[12] https://www.compression.ru/video/codec_comparison/2021/main_report.html
[13] https://accessadvance.com/2021/07/01/access-advance-launches-vvc-h-266-video-patent-pool/
[14] https://intl.cloud.tencent.com/dynamic/news-details/100152
[15] go2sm.com/testingevc
[16] https://www.streamingmedia.com/Articles/News/Online-Video-News/V-Nova-LCEVC-Royalty-Structure-Announced-147003.aspx
[17] https://streaminglearningcenter.com/codecs/webinar-comparing-evc-lcevc-and-vvc-with-h-264-hevc-and-av1.html
[18] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=134694