Netflix 押注高级视频编码的内幕

Anne Aaron 实在无法控制自己。

Aaron 是 Netflix 的高级编码技术主管，今年早些时候她正在观看该公司举办的美国演员工会颁奖典礼的现场直播。当全世界都在惊叹于那些明星和他们华丽的服装在闪光灯下闪闪发光时，Aaron 的脑海里却开始分析 Netflix 的编码技术必须应对的所有相关视觉挑战。

“天哪，这些内容的编码难度太大了”，她回忆起我最近在加利福尼亚州洛斯加托斯的 Netflix 办公室采访她时的想法。

在过去的 13 年中，Aaron 一直在优化 Netflix 对电影和电视节目的编码方式。

Aaron表示，她和她的团队所做的工作使公司能够在较慢的连接上提供更好看的流媒体，仅 4K 流媒体就节省了 50% 的带宽。Netflix 的编码团队还为整个行业改善流媒体做出了贡献，包括 AV1 视频编解码器及其最终后续产品的开发。

现在，亚伦正准备迎接 Netflix 的下一个挑战： Netflix 并不满足于仅仅提供点播服务，去年还涉足了云游戏和直播领域。到目前为止，Netflix 主要涉足一次性的大型直播活动，如 SAG 颁奖典礼。但从明年开始，该公司将在每周一直播 WWE RAW。Netflix 从康卡斯特的美国电视网（USA Network）手中抢到了摔跤系列节目，该节目长期以来一直是收视率第一的节目，定期吸引约 170 万观众。每周满足这些观众的需求是一项非常新颖的挑战。

Aaron 说：”这是与我们为 VOD（视频点播）所采用的编码流程完全不同，我对团队的挑战是实现与 VOD 相同的带宽要求，但要以更快、实时的方式实现。”

为了实现这一目标，Aaron 和她的团队必须从头开始，抛弃十多年来优化 Netflix 流媒体所学到的几乎所有知识。在这十年中，Netflix 的视频工程师多次重新编码了公司的全部视频目录，开始使用机器学习来确保 Netflix 的流媒体看起来不错。

Aaron 在 2011 年加入 Netflix 时，公司的流媒体业务与在线视频行业的其他公司一样。”我们必须支持各种各样的设备，”Aaron 说。”老电视、新电视、移动设备、机顶盒：每种设备都有不同的带宽要求。“

为了满足这些需求，Netflix 根据预定义的编码参数列表，或 Aaron 和她的同事们喜欢称作的配方，为每段视频编码了一系列不同的比特率和分辨率。在当时，如果观众的网速很慢，就会自动匹配比特率为 235 kbps 的 240p 视频。网速较快的观众会匹配 1750 kbps 的 720p 视频；Netflix 的最高流媒体质量为 1080p，比特率为 5800 kbps。

该公司的内容传输服务器会根据每个观众的设备和宽带速度自动选择最佳版本，并根据网络速度的下降即时调整流媒体质量。

对于 Aaron 和她敏锐的编码挑战意识而言，这种方法似乎不够。为什么要花费同样的带宽来播放视觉效果复杂的动作片，如追车（大量运动）和爆炸（闪烁的灯光和嘈杂的烟雾），而不是简单的视觉内容？“动画需要更少的比特，”Aaron 解释道。

《小马宝莉》当时在该服务上大获成功，但它的视觉复杂性远不及真人电影。对两者使用相同的编码方法并不合理。因此，Netflix 在 2015 年开始重新编码其整个目录，并针对每个主题进行微调设置。通过采用这种 Per-Title （按主题）编码的方法，动画电影可以以 1080p 的分辨率播放，速度低至 1.5 Mbps。

Netflix 押注高级视频编码的内幕 — 《希瑞与非凡的公主们》是另一个很好的例子，相对于真人秀节目，它的视觉复杂性相当简单。图片出自 Netflix

改用 Per-Title 编码后，平均可节省约 20% 的带宽，这足以让北美和欧洲的消费者感受到显著的不同。但在 Netflix 着眼于下一个篇章时，这一点显得更为重要：2016 年 1 月，时任首席执行官的 Reed Hastings 宣布，该公司正在向全球几乎所有国家扩张——包括宽带基础设施不完善的市场和主要通过手机上网的消费者。

此后，大多数商业视频技术供应商都采用了 Per-Title 编码的方法，包括亚马逊的 AWS，该公司去年就采用这种方法优化了 PBS 的视频库。不过，虽然亚马逊的编码策略得到了流媒体技术专家的衷心拥护，但好莱坞的创意阶层却对此保持沉默。

2019 年，Netflix 开始允许人们改变视频播放速度， Judd Apatow 和 Aaron Paul 等导演和演员对此表示强烈抗议。另一方面，视频编码方式的改变从未成为头条新闻。这可能是因为编码算法对这群人来说有点太复杂了，但也有一个更简单的解释：新的编码方案在节省带宽方面非常成功，而且没有损害视觉保真度，所以没有人注意到这种差异。

几乎没人能做到这一点，Aaron 很快就意识到，公司基于 Per-Title 的编码方式并非没有缺陷。在观看《芭比梦幻屋冒险旅程》时，她发现了一个明显的问题。《芭比梦幻屋冒险旅程》是 Netflix 的动画节目之一，本应是 Per-Title 编码方式的最大受益者。

几乎没有： Aaron 很快就意识到，公司基于字幕的编码方式并非没有缺陷。在观看《芭比娃娃梦幻屋历险记》时，她发现了一个明显的问题。芭比娃娃梦幻屋历险记》是 Netflix 的动画节目之一，本应是按字幕编码方式的最大受益者。

然而，Netflix 的新编码在处理一个特殊场景时遇到了困难。Aaron 说：”有个家伙穿着闪闪发光的衣服，身后有一个闪闪发光的喷泉。在新的编码规则下，这个场景看起来非常糟糕，这让她意识到他们需要更加灵活。”

“在 Title 的（其他）部分，你需要更少的比特，”Aaron 说。“但对于这个，你需要增加它。”

解决这一问题的办法是在编码过程中更加细化。Netflix 在 2018 年开始按镜头细分视频，并对每个单独的片段应用不同的编码设置。两个人在一面纯白的墙壁前交谈时，其编码码率要低于同样的两个人参与汽车追逐时的编码码率；芭比娃娃与朋友在家闲逛时所需的数据要少于 Sparklesuit 先生出现的场景。

随着 Netflix 采用 4K 和 HDR 技术，这些差异变得更加明显。Aaron 说：”在《王冠》中，有一集烟雾弥漫。有很多污染。这些场景真的很难编码。” 换句话说：与视觉复杂度较低的场景相比，这些场景需要更多的数据才能看起来更美观，尤其是在 4K HDR 大电视上播放时。

无论是下班后看 Netflix，还是外出散步，Aaron 的大脑从未停止过寻找这些视觉挑战。Aaron 告诉我，她的孩子们偶尔会指着现实世界中的事物大喊：”看，这太模糊了！”

这是工作带来的习惯，也是一种诅咒 —— 一种你无法摆脱的习惯之一。在我们的谈话中，她拿起手机，只是停顿了一下，然后指了指镶着水钻的手机壳。这让她想起了《芭比梦幻屋历险记》中那个难以编码的场景。另一个视觉挑战！

不过，即使是强迫症患者也只能做到这一步。首先，Aaron 不可能观看成千上万的 Netflix 视频，然后决定对每个镜头采用哪种编码设置。相反，她的团队从 Netflix 上的各种节目和电影中收集了几十个短片，并对每个短片进行了不同的编码设置。然后，他们让测试对象观看这些短片，并对视觉瑕疵进行评分，评分标准从 “不明显 “到 “非常讨厌 “不等。”你必须进行主观测试，” Aaron 说。”这一切都基于事实，即主观测试。”

Netflix 利用这种方式获得的见解来训练机器学习模型，该模型可以分析公司整个目录中不同编码设置的视频质量，从而帮助找出节目或电影每个小片段的最佳设置。该公司与南加州大学合作开发了这些视频质量评估算法，并于 2016 年将其开源。从那时起，它已被业界广泛采用，成为分析流媒体视频质量的一种方法，甚至为 Netflix 赢得了艾美奖。一直以来，Aaron 和她的团队都在努力满足 Netflix 不断变化的需求，比如 HDR。

“我们必须开发另一个指标来衡量 HDR 的视频质量，”Aaron 说道。“我们必须进行主观测试，并专门针对 HDR 重新进行这项工作。”最终，Netflix 还能根据每个镜头的具体设置对 HDR 影片进行编码，去年他们终于做到了这一点。现在，她的团队正致力于开源基于 HDR 的视频质量评估。

按镜头对电影进行切片，然后对每个切片进行单独编码，以确保其效果出色，同时尽可能节省带宽：所有这些工作都是独立于 Netflix 用来编码和压缩这些文件的视频编解码器之外进行的。这有点像在 Photoshop 中更改图片的分辨率或颜色，然后再决定将其保存为 JPEG 还是 PNG。不过，Netflix 的视频工程师们也一直在积极研发先进的视频编解码器，以进一步优化公司的视频流。

Netflix 是开放媒体联盟 (Alliance for Open Media)的创始成员，该联盟的其他成员包括谷歌、英特尔和微软等公司。Aaron 是该非营利组织的董事会成员，该组织率先开发了开放、免版税的 AV1 视频编解码器。Netflix于 2020 年初开始将部分 AV1 视频流式传输到 Android 手机，此后扩展到部分智能电视和流媒体设备以及 iPhone。Aaron 说：“我们已经将大约三分之二的目录编码为 AV1。”她补充说，以 AV1 传输的流媒体时长百分比“达到两位数”。

在 AV1 继续推出的同时，其继任者的开发工作也已在进行中。设备可能还需要几年时间才能真正支持下一代编解码器，但早期结果表明它将带来不同。“目前，与 AV1 相比，我们在保持相同质量的情况下，比特率降低了近 30%，”Aaron 解释道。“我认为这非常非常有希望。”

在参与开发新的视频编解码器时，Aaron 和她的团队偶然发现了另一个隐患：整个行业的视频工程师一直依赖于相对较小的免费视频片段语料库来训练和测试他们的编解码器和算法，而这些片段中的大多数看起来根本不像典型的 Netflix 节目。”

Aaron 回忆说：”他们使用的公开内容并不是真正为我们的流媒体内容类型量身定制的。”因此，我们创建了专门用于行业测试的内容。”

2016 年，Netflix 发布了一部名为《Meridian》的 12 分钟 4K HDR 短片，本想弥补这一缺陷。《Meridian》看起来就像一个黑色电影犯罪故事，其中有灰尘弥漫的办公室，背景是风扇；有云雾缭绕的海滩场景，海水闪闪发光；还有充满对比的黑暗梦境。每一个镜头都经过精心制作，以应对视频编码的挑战，整部影片以知识共享许可协议发布。这部影片后来被弗劳恩霍夫研究所(Fraunhofer Institute)和其他机构用来评估编解码器，它的发布被知识共享基金会（Creative Commons foundation）誉为 “创造更好技术标准的合作精神 “的典范。

先进的编码策略、新颖的质量指标、定制的视频资产和先进的编解码器：在很多方面，Netflix 在以最高效的方式向消费者提供最优质的流媒体方面一直处于行业领先地位。这就是为什么过去 14 个月特别令人谦卑。

2023 年 3 月，Netflix 推出了首个直播，成功地向用户播放了克里斯-洛克（Chris Rock）的喜剧特辑。一个月后，Netflix 再次尝试直播真人秀节目《Love Is Blind》的重聚活动，结果惨遭失败，观众等了一个多小时节目才开始。

这次失败的直播尤其令人难堪，因为它损害了 Netflix 作为领先竞争对手数倍的科技巨头的形象。Netflix 联席首席执行官 Greg Peters 在当月晚些时候发表了罕见的道歉声明。” Peters 对投资者说：”我们真的很抱歉，让这么多人失望了。我们没有达到服务会员的标准。”

Netflix 希望避免再出现类似的失败，这也是该公司稳扎稳打、慢慢优化直播内容编码的原因。”Aaron 说：”我们进入直播领域还为时尚早。目前，我们的主要目标是系统的稳定性和弹性，以及能够应对 Netflix 的规模。”

实际上，这意味着 Aaron 的团队暂时还没有真正调整这些直播的编码设置，即使这迫使她在观看 SAG 颁奖典礼的直播时也无法改进任何东西。她告诉我：”我们将从更符合行业标准的方式入手。然后再进行优化”。

云游戏在许多方面也是如此。去年夏天，Netflix 开始在电视和台式电脑上测试游戏，之后慢慢扩展到更多的市场和游戏。由于游戏是在云端而非设备上渲染的，云游戏本质上是直播的一种特殊形式，但有一个关键区别。

“它们截然不同，”Aaron 说。”云游戏的延迟比直播更为严格。“

Aaron 的团队目前正在研究解决这两个问题的不同方法，这就要求他们忽略过去十年学到的很多东西。Aaron 说：”教训就是不要把它想成 VOD。举个例子：如果不知道接下来会发生什么，那么按镜头切分视频，然后为每个镜头应用最佳编码设置就会困难得多。对于直播来说，预测复杂的场景就更难了。”

直播是不可预测的：这不仅适用于编码，也适用于 Netflix 的业务。Netflix 刚刚签订了在圣诞节播放两场 NFL 比赛的协议，并将在一月份开始每周播放 WWE 比赛。在整个体育行业向流媒体转型的过程中，体育一直是有线电视的最后堡垒。苹果正在播放 MLS 的比赛，亚马逊在体育领域投入了大量资金，ESPN、福克斯和华纳兄弟正在联合推出自己的体育流媒体服务。要想跟上这些竞争对手的步伐，Netflix 不仅需要在体育版权上投入巨资，还必须在直播方面有所建树。

所有这一切都意味着 Aaron 和她的团队不会很快失业，尤其是下一个挑战总是在眼前。”还会有更多的现场活动。也许在某个时候，还会有 8K 赛事，”她说。”所有这些其他体验都需要更多的带宽。“

面对所有这些挑战，Aaron 是否担心过没有办法优化视频？换句话说：Netflix 还能用多少次新颖的编码策略或新的编解码器来重新编码整个目录，然后这些努力就会碰壁，再也起不了什么作用？

Aaron 说：”在编解码器领域，20 年前就有人这么说了。尽管如此，我们仍然发现了需要改进的地方。所以，我充满希望。”

我始终保持着敏锐的洞察力，随时发现下一个视觉挑战，不管它是摄像机闪光灯的海洋，还是 Sparklesuit 先生的惊喜亮相。