Meta 工程师分享 AV1 集成到 Android 生态系统的问题，挑战和解决方案

大型内容所有者采用 AV1 编解码器的过程漫长而复杂，Meta 高级媒体软件工程师 David Ronca（曾在 Netflix 开发编码解决方案长达 12 年）对此深有体会。在与 streamingmedia 的 Jan Ozer 的访谈中，Ronca 讨论了将 AV1 集成到 Android 生态系统的问题，重点是移动设备面临的挑战和解决方案。

在 Mile-High Video 会议上发表演讲后，Ronca 与 Ozer 进行了交谈，他说：”今天，我分享了我们为将 AV1 带入 Android 生态系统（实际上是移动生态系统）所做的一些工作。但对于安卓设备来说，这显然是一个更具挑战性的问题，这涉及到大量的基准测试，以了解我们可以和不可以提供 AV1 的设备的能力，因为我们始终需要确保不会给用户带来糟糕的体验。”

Ronca 继续解释说，在对 AV1 集成到安卓系统进行基准测试的过程中，Meta 开发了 VCAT（Video Codec Acid Tests），这是一种用于对安卓设备上的硬件和软件解码器进行基准测试的新工具。VCAT 的设计旨在促进未来的基准测试，并确保在不影响电池寿命的情况下获得最佳用户体验。

使用软件解码增强 AV1

Ronca 还分享了有关 AV1 当前部署情况的见解，以及他们预计采用率将随着时间的推移而上升。“Meta 系列应用生态系统中 50% 的视频观看现在都是 AV1，”他说，“我们今年的目标是超过 60%。我们相信到 2028 年 1 月，我们可以将其提高到 90% 左右。”

Ozer 指出，业界曾预测 2020 年手机将配备 AV1 解码功能，但硬件集成进展却慢得多。“现在到了 2025 年，Android 生态系统中可能只有 10% 的设备拥有硬件 AV1 解码器，”Ronca 表示同意。

他认为，最大的障碍是低成本设备中硬件解码器的经济限制。“现实情况是，仅从经济角度来看，当你销售一部 80 美元的手机时，在 SoC 中放入更多晶体管以获得硬件解码器的利润空间并不大。这迫使我们重新考虑这一点，”他继续说道。“这就是我们倾向于软件解码的原因，我们一直在从多种方式投资软件解码，我们已经投资并讨论了我们为解码友好的编码器配方所做的工作。你实际上可以通过在编码器方面做出一些更好、更智能的决策来降低解码的复杂性，而无需为效率或质量付出代价。”

他解释说，随着 Meta 继续专注于打入 Android 生态系统，“并将尽可能多的 Android 设备纳入 AV1 池”，需要进行越来越多的基准测试才能“了解这些设备能做什么和不能做什么，哪些设备我们可以针对 AV1 进行测试，哪些设备我们必须确保不针对 AV1 进行测试。”

延长电池寿命

Ronca说，推动AV1发展的另一个关键因素，是Meta与英特尔和SVT-AV1合作完成的 “将解码复杂性降低25%”的工作。Ronca说，催化剂是 “一些更好的决策和对我们如何使用各种工具的更缜密的思考”。他补充说，解码复杂度降低 25% 的同时，”质量却下降了 3-5%。但在部署时，我们只是使用了下一个较慢的速度。因此，我们用更多的计算量换回了质量。“

“归根结底，”他说，无论方法是节省比特还是减少计算，移动设备视频的最终目标始终是“看到这种工作能够延长电池寿命。这就是基准测试的产生原因。现在我们正在 Android 设备上运行解码测试，长时间运行的电池消耗测试——我们正在监控和跟踪电池。这是一项非常困难的测试，因为我们希望至少连续播放 16 小时。这些手机现在可以连续播放 20-24 小时。所以我们意识到，为了进行这种级别的基准测试，我们需要一个工具来做到这一点，因此投资了 VCAT。”

VCAT 为出版商带来的好处

关于这一基准工具能帮助出版商做些什么，Ronca 解释说：“如果你考虑一下移动设备的视频分发系统，”你会发现网络运营商负责管理带宽和网络拥塞。内容访问提供商（CAP），如 Meta、Netflix 或其他围绕视频分发开展业务的公司。还有手机和 SFC 供应商，我们都在开发系统。但没有人进行任何测试或基准测试，以了解这些系统将如何支持我们正在进行的工作。在这种情况下，这意味着要推出 AV1，但 VVC 也有类似的问题，硬件解码部署周期会很长。我们已经习惯了过去编解码器的短周期，但现在 Android 生态系统的经济状况不支持快速更新。”

“所以我们必须研究软件，”他继续说道。“为了研究软件，我们需要能够从支持软件的能力来看待这些设备。顺便说一句，它们变得非常强大，现代 ARM CPU 运行 Android，所有的技术进步，它们正在制造非常非常强大的设备。但尽管如此，我们需要能够衡量和理解这一点。例如，VCAT 工具将允许网络运营商对手机进行基准测试，并确定它们从软件或硬件角度对给定编解码器的支持程度，以及手机供应商的电池寿命会是怎样。如果他们正在研究 SoC 参考设计，他们也可以在那里进行基准测试。而且，当他们研究下一代芯片时，他们也可以使用 SoC 进行基准测试。”

Ronca 继续说道：“我们认为，这样的工具将使从 SoC 到网络运营商和 CAP 的生态系统能够更好地了解设备。这对于我们前进至关重要。”

此外，他断言，VCAT 将使没有 Meta 等公司资源的小型内容提供商能够在移动设备上采用 AV1 之前利用基准测试数据。“如果这种分析和基准测试能够广泛进行，那么所有较小的公司也将能够利用这项工作，因为设备本身将被基准测试和评级，例如，可能根据电池寿命或其他因素进行评级。因此，您可以知道您可以安全地将 AV1 传送到设备上，而不必担心电池、热量或任何其他问题。”

“那么，如果我是出版商，并且拥有 AV1，”Ozer 问道，“我是否要将不同的流分发到不同类别的设备，或者我是否要将 AVC 发送到某些设备？我可以在流媒体点做出哪些决定来利用这一点？”

“支持的编解码器越多，系统就越昂贵，”Ronca 说。“如果你从 AVC 开始，然后在其基础上添加 HEVC，假设比特数减少了 40%，但你并没有减少边缘比特数。[所以你并没有减少] 40% 的现金成本和分销成本；你把它们增加了 60%，因为你仍然有 AVC，现在你有 HEVC 和 AV1。理想情况下，我们希望每个人都有传统体验，然后可能只有一个编解码器。这就是我们想要的。当我们达到 90% 时，我们实际上是在对我们的用户说，‘除非你使用的是传统体验，否则你会选择 AV1。’”

Ronca 承认，他对短期内实现这一理想抱有怀疑，但坚持认为，考虑到替代方案，朝着这一理想迈进很重要。“如果你有 n 个编解码器，而且每一代 n 都越来越大，你就必须编码更多视频，你必须通过网络推送更多视频，你必须支付所有传输费用，你必须在边缘存储更多内容。我们希望看到新的编解码器取代旧的编解码器。事实上，你今天必须思考，‘我应该使用 H.264 还是 HEVC 或 VP9 或 AV1？’这太复杂了。”