视频软件编码：2023 年的最新技术和未来趋势

在这篇评论文章中，Visionular 的联合创始人兼首席技术官 Zoe Liu 与 OTTVerse 讨论了她对 2023 年及以后编码世界将如何发展的预测和观点。Zoe 分享了她对节能视频转码、HEVC 和 AV1 的发展、实时转码、AI 在转码中的作用以及其他主题的看法。

作者：Zoe Liu，Visionular的联合创始人兼CTO ，在视频编码和智能视频处理方面积累了20 多年的经验。
原文链接：https://ottverse.com/video-software-encoding-2023-state-of-the-art-trends/
编译：实时互动网nxrte.com

节能视频转码

我们预计 HEVC 和其他软件编码解决方案的能效优化将在 2023 年引起更多关注。

除了传统的 BD-Rate 性能标准（主要侧重于以较低的比特率提供更出色的视觉质量）之外，“能效”作为软件转码器的选择标准将变得越来越重要。

这主要是由于属于

• UGC（用户生成的内容）
• PUGC（专业 UGC），例如那些托管在Vimeo上的视频内容）

ShareChat 的数据显示他们的平台每月收到惊人的 75+ 百万次内容上传！

如此大量的上传视频将导致更大的转码成本（计算资源和能源）。在这些情况下，能源效率的提高可以显著降低计算成本，同时仍能确保足够的编码效率。 

解决办法可能是升级到较新的一代编解码器。然而，较新的视频编码标准使用比其前身更复杂的编码算法，使编码的能源效率降低。

这给我们带来了一个经典的对峙局面。

• 如果新的编解码器不节能，视频解决方案提供商将不会迁移到它们。
• 但是，如果提供商继续使用旧的编解码器，他们将失去更新的编码工具和方法，并将产生高昂的网络分发成本，尤其是对于 UGC 和 PUGC 内容。 

在这方面，我们希望编码器在寻求能源效率时应该平衡和权衡以下因素。

• 视觉质量 
• 码率消耗  
• CPU使用率 
• 编码速度 
• 处理延迟 

H.264/AVC 将占主导地位；HEVC 和 AV1 将会增长

H.264/AVC

由于 H.264/AVC 在所有平台上的一致支持，我们预计 H.264/AVC 将继续占据主导地位。尽管如此，它也将继续失去市场份额。 

H.265/HEVC

我们预计 H.265/HEVC 的部署将持续增长，尤其是 HDR 和 UHD (2K/4K/8K) 视频压缩。

近年来，我们看到 HEVC/H.265 的部署在全球范围内急剧增加，尤其是在 Chrome 悄悄地启用其对底层硬件 HEVC 解码器的HEVC 播放支持之后[1]。

我们收到了明确的市场反馈，一些云体育分析和流媒体平台可能会在所有用户和平台上看到 HEVC 的非凡机会。这是因为超过 65% 的用户群现在可以在新发布的 Chrome 支持下播放 HEVC 流。  

AV1

我们期望看到越来越多的AV1部署，这是由 AOMedia 最终确定的开源免版税视频编解码器格式。

我们已经看到 YouTube 和 Vimeo（全球顶级视频共享平台）、Meta/Facebook（最大的社交媒体平台）和 Netflix（领先的流媒体平台）都向其用户推出了 AV1 格式的视频内容。

由于高通最近宣布从Snapdragon 8 Gen 2开始支持硬件解码，因此 AV1 也有望占据更大的市场份额。

我们预计 Apple 将在 2023 年宣布在整个 iOS/MacOS/Safari 生态系统中支持 AV1，因为我们在其发布的AVFoundation 框架中观察到了新的 AV1 API 选项。

RTC（实时通信）中的 AV1

在 RTC 中，需要极低的延迟，由于 AV1 中专门用于有效压缩屏幕内容的一组独特的编码工具，用于屏幕内容编码 (SCC) 的 AV1 预计会增长。

领先的 RTC 平台 Webex 已经将 AV1 投入生产。令人着迷的是，Webex与 NASA 和其他科技公司合作，将 AV1 实时视频编码带到 Artemis I 任务中，以实现月球和地球之间质量显著提高、带宽极低的视频通话。  

其他编解码器

到 2023 年，其他编解码器将在市场上共存。我们预计市场将继续由 H.264、HEVC、AV1、VP8/VP9、AVS2/AVS3 和其他一些目前市场份额较小的编解码器共享，例如，EVC、VVC 等。

除了 RTC 用例之外，我们预计 VOD 和实时流媒体用例需要更低的延迟、更高的密度和更高的速度。

这将是 2023 年编码器的主要趋势需求。

架构支持：x86、ARM 和 M1

我们相信软件和硬件编码器解决方案将共存，以各自的优势解决不同的用例。一般来说，软件编码器可以提供卓越的编码效率，即更好的视觉质量，同时消耗更少的比特率（带宽）。

同时，它们保持足够的灵活性，可以跨多种平台和设备进行部署。  

软件编码器需要考虑同时支持 x86 和 ARM 架构。具体来说，由于 Apple M1 机器、边缘、移动设备和配备 ARM 的服务器的流行，对 ARM 处理器的支持请求将会激增。

这些处理器的功耗和定价明显低于其 x86 同类处理器（例如，在 Amazon EC2 上部署AWS Graviton处理器）。

我们的初步评估表明，Graviton2 ARM 处理器的性能可能比同类 x86 处理器慢 30%，但具有显着的价格优势。  

新编解码器和改进

我们预计新的编解码器标准将继续开发。具体来说，

• AV2 由 AOMedia 开发，将提供超越 AV1 的新编码工具。
• 通过 ITU-T 和 MPEG 之间的持续联合努力，已经在增强压缩模型 (ECM)上进行了创建 VVC 之外的新编码工具的努力。
• 将进一步探索AI在视频编解码器中的使用，旨在打破传统2D变换+运动补偿框架的约束。

除了转码之外，还将开发和部署结合视频处理和编码的技术。例如，该领域的领先技术人员强调了超分辨率的部署，以促进视频流传输。

Per-title ABR 仍将率先支持多种网络条件下的多分辨率、多比特率视频共享和分发。  

转码中的 AI

我们与全球多所大学合作，共同撰写了一篇题为“Advances in Video Compression System Using Deep Neural Network: A Review and Case Studies”的论文[1]，发表在 2021 年 9 月的 IEEE 会议论文集上，该论文是其中一篇关于视频转码中 AI 主题的早期评论论文。

除此之外，2023 WACV（IEEE/CVF Winter Conference on Applications of Computer Vision）还评选了一篇以 AI in Transcoding 为特色的论文作为其最佳算法论文 [2]。

AI 提供并显示出希望，但它仍然需要高效和有效的实现方法才能最终应用于视频编解码器应用程序。  

参考 

[1] Dandan Ding、Zhan Ma、Di Chen、Qingshuang Chen、Zoe Liu 和 Fengqing Zhu，“使用深度神经网络的视频压缩系统的进展：综述和案例研究”，IEEE 论文集，卷。109，第 9 期，2021 年 9 月，第 1494-1520 页。[ arXiv.org 在线]

[2] Zhihao Duan、Ming Lu、Zhan Ma 和 Fengqing Zhu，“使用量化分层 VAE 进行有损图像压缩”。[ WACV 2023 论文奖] [ arxiv.org 在线链接]