用于VOD的VVC编码 | Streaming Meida East 2023

本演讲对 VVC 编解码的工作原理、目前的优化方向以及已有工作的发展情况进行了介绍。此外，还将 VVC 与其他编解码方式进行了细致的比较。

来源：Streaming Meida East 2023
主讲人：Igor Oreper
视频链接：https://www.youtube.com/watch?v=PN4zZ01en38&list=PLcSb1s2U3uyA3bYTEwnPHEiXJszv2fT-a&index=4
内容整理：王秋文

引言

Bitmovin 每年都会发布视频开发者报告，在去年12月已经进行了第六次发布。我们在全球范围内对 400 多个受访者进行了调查，涉及视频流媒体的许多不同主题，其中之一就是编解码器的采用情况。我们提供一种基于软件的在云端运行的 VOD 编码器，并认为这是一个支持开发者闯进视频流服务的工具集。在这个工具集中，开发者们需要许多具有不同特点的工具和编解码器。因此，我们总是问受访者：你今天部署了什么？未来一到两年你会部署什么？从图中可以看出 AVC 的使用率会随着时间的推移会下降，而其他编解码器的使用率会上升。

实际上，没有一种编解码器是最好的，而我们现在已经处于一个多编解码器的世界，许多发布者已经部署并在生产中使用至少两个或三个甚至四个不同的编解码器，每个编解码器都针对不同的设备和设备种类。出于获得最佳效率和最佳质量的目的，现在有更灵活的方式来针对不同的设备定位和转码到不同的编解码器以解决成本问题，例如运营流媒体服务的成本，存储数据的成本，从云端分发的成本等，所有这些成本都非常高。因此，从这个角度来看，可以看到 15% 的受访者说他们已经在生产中部署了 VVC，其中大多数在亚太地区，而 29% 的受访者计划在未来部署。所有这些数字随着时间的推移都会改变和波动，但可以看到的事实是，VVC、HEVC、AV1 这些编解码器的部署都在上升，而 AVC 的部署正在下降，但它仍然是一个很好的备选方。人们会部署消费者能够解码的编解码器，无论是软件还是硬件，最终选择将受到这一因素的驱动。

VVC 介绍

VVC highlights

相比于HEVC，VVC是一种进化，而不是变革，它有着多种功能。我认为他们之间最大的不同点是它是 Open GOP，允许在流中自由地调整比特率，并能根据前面的帧作为参考自由调整分辨率，这是一个非常大的不同点，平均可以提高 10% 的效率。此外，编解码器内置了许多功能，使实现 HDR、WCG、FGS、UHD 8K 以及 VR/360读沉浸式视频等变得更加容易，这些都是视频工程师所喜欢的功能。一个有趣的亮点来自于ByteDance，他们分享了他们的 VVC 编码器的一些结果，他们看到与 HVC 相比节省了 53% 的比特率，并且速度提高了 10%。在 Bitmovin 还没有取得这么好的结果，但是 Bitmovin 最近在研究和开发方面进行了很多工作。使用 VVC 与 HEVC reference 进行比较时，它可以节省 4% 的比特率但是远远快于 HEVC reference。

可用的 VOD 编码软件

对于VOD编码来说，图上列举了一些具体的情况。有些提供商像 Ateme 提供直播和 VOD，还有一些仅提供直播。总之，VVC 测试模型是一个参考的编解码器软件。因此，这个参考编码器允许任何部署编解码器的人对不同的特点和性能进行测试。Bitmovin 在 reference encoder Fraunhofer 方面做了比较多的工作，他们创建了 VVenc，同时也有一个解码器，目前已经在 Github 上全部开源了。同时我们目前还在与 Fraunhofer 密切合作，在其基础上继续构建优化。还有另一所德国的大学也在这个方面进行了大量的研究，他们建立了一个流分析器，这是 VTM 解码器的一个附加组件，非常有帮助，可以理解流本身，这些开源项目都值得关注。

还有一些商业实现，例如 MainConcept 发布了用于 VVC 编码（包括直播）的 SDKs 和插件，，还有来自 ByteDance 的 VVC 编码器，ByteDance 是 TikTok 和许多其他应用程序的母公司，所以他们对压缩非常感兴趣，因为他们提供的内容量非常大，所以他们的编码器经过了很好的优化，实现了许多功能，据我所知，这是一种专有实现，他们没有使用别人的库。Tencent 发布了在 Tencent 云上可用的 RT-ONE ，这是一个在亚洲特别是中国的大型云提供商，同样适用于 Alibaba 的在阿里云上的 Ali266 编码器，也在亚洲很受欢迎，还有 Ateme TiTAN。Bitmovin VOD encoder 基本上是基于云原生和不可知云的编码器，并且我们已经集成了VVenC，目前它是内部使用的，因此并不公开，但这是我们正在努力的事情。还有流媒体服务 MX Player，可以看到，亚太地区的许多服务提供商正在部署 VVC，他们也是首批部署 AV1 的地区，原因是该地区存在带宽限制，大多数人使用带宽非常有限的移动网络，因此高级编解码器如 VVC 和 AV1 发挥了重要作用并提供了很大的价值。

Bitmovin 集成总结

Bitmovin的集成是与Fraunhofer密切合作的，我们在柏林拥有一个编解码器工程师团队，与Fraunhofer共同进行研究，我们早期尝试了 VTM 参考代码库，并取得了一些很好的结果，我们现在将开源项目 VVenC 集成到我们的基于软件的编码器中，还有 VVdeC 用于在我们的播放器中进行播放，我们主要集中在接口方面进行了一些贡献，所以我们希望其他人也能从中受益，所有代码都是C代码，对于任何感兴趣的人都可以了解。到目前为止，我们看到与HEVC相比，大约有 40% 的 BD 率增益，对于一些主观测试，我们看到高达 50% 的增益。因为我们的编码器是 CPU 软件编码器，所以在计算方面，我们以 CPU 周期为单位进行测量，因此与 AVC 相比，需要大约 8 倍的计算量，对比 HEVC 需要大约 4 倍，对比 AV1 需要 2 倍。前面提到的 ByteDance 的 VVC 编码器比 HEVC 快10倍，所以他们的计算量基本上是 HEVC 的1倍，我认为这非常令人印象深刻。

我们接下来要做什么，我们希望与 HEVC 在计算需要方面相当，因为我们的商业模型需要更多的计算资源，因此这对我们非常重要。我们还将继续优化 VVC 的性能和质量，特别是在低码率和低延迟方面，这对于实时视频应用非常重要。我们还将继续改进 VVC 的可扩展性和多视角功能，这些功能对于 VR 和 AR 应用非常重要。此外，我们还将研究如何将机器学习和深度学习技术应用于 VVC 编解码器，以进一步提高其性能和质量。我们还将继续与其他公司和组织合作，共同推动 VVC 的发展和应用。

工作实例

云端的编码器的具体的工作方式如图所示，其使用的是采用了分割和拼接机制。也就是说，我们从发布者那里获得输入文件，然后确定如何将输入文件最佳地分割成不同的片段，然后将这些片段发送到不同的计算节点中进行分布式编码。实际上，每个计算节点都在进行编码操作。通常我们根据编码版本和片段进行分割，片段的大小基于场景进行确定。我们试图检测场景并确定什么是理想的片段长度，既不过长也不过短，并且不跨越场景边界。我们这样做是为了优化质量。

现在，我们来详细看一个具体的任务，这是其中一个片段，被发送到云中的一个实例进行编码。首先，你需要对输入进行解码，然后按目标分辨率进行缩放，应用所有的编解码器设置，将其编码成流输出，然后将所有内容拼接在一起，放入输出存储器中。现在，用户可以进行流式传输了。这里简化了很多情况，但这实际上就是分割和拼接机制的工作原理。关于编码部分，我们用 VVC 编解码器替换了它，在云端进行编码的方式非常普遍。可以选择核心编解码器库，这里我们使用 Fraunhofer 的 VVenC 作为 VVC 编解码器，同时还有其他编解码器可供选择，但编码的过程和方法是相同的：设置配置，将输入帧推入，一直推送帧直到结束，然后提取编码帧，并将它们连接在一起。

这是我们对 VVenC 做出贡献的部分，也就是库本身的 C 语言接口。

VVC 比较

初步结果表明，它工作正常，所以它并不是一个难以集成的编解码器。在主观的并排测试中，我们发现了大约 40% 的比特率降低，甚至可能接近50%。同时凸包复杂度更简单，也就是说，更容易预测理想的自适应比特率流媒体所对应生成的版本。此外，还有预测连续性，这是一种基于前一帧的参考方法，允许你调整分辨率和比特率，即使对于渐进式输出也可以做到这一点。因此，你可以输出一个MP4并减少其比特率。想象一下，在片头或片尾字幕中不需要在这些场景上花费太多比特率，这可以帮助用户更有效地进行编码。

但是同样也存在着一些限制，目前内存的消耗相当高。但这其实还好，因为我们可以从所有公共云提供商获得具有大量内存的计算实例，但我们认为我们可以调整内存利用率，还有一些关于片段持续时间的限制，我们必须保持片段相当短。

这是来自 Fraunhofer 对 VVC 与其他编解码器的比较，底部左侧较近的两条线是 VVenC 的两个版本，目前我们在 1.8.0 版本，已经有所改进但不是很大。蓝色线是 AV1，是开放媒体编解码器的线，然后是X265，实际上是HEVC，以及一些参考编码器。这意味着对于从慢到快的不同预设，VVC 表现得非常好，如您所见，越靠近下面，质量就越好，而越靠近左侧，速度就越好。

再看最佳比特率阶梯，在第一列中，我们正在比较 VVenC 的最佳比特率阶梯和 HEVC 的最佳比特率阶梯，即在相同质量下，根据用户使用的测量方法，比特率提高了40%至50%。现在，当将 VVenC 的 1080p 分辨率与 VVenC 最佳阶梯进行比较时，可以这样想，以较低的比特率以及1080p分辨率，而不是最佳比特率时，获得的差异很小。这意味着 VVC 非常擅长使用更少的比特数来产生高质量的输出。当您使用相同的测试来测试 HEVC 时，差异相当大，这意味着 VVC 比 HEVC 更好，可以花费更少的比特数来获得清晰的高质量输出。

前面已经谈到了一些云成本的具体数字，与 AVC 相比，VVC 的计算成本是其 8 到 9 倍，与 HEVC 相比是其 4 倍。当然，比特率是 AVC 的40%。

VVC 未来规划

我们接下来要做什么，我们正在为IBC撰写一篇研究论文。视频工程师需要相应的工具，而且只有在能够提供真正的商业价值时才有用，而真正的商业价值在于降低比特率。我们认为可以通过 Open Gop 方法对编解码器进行更多的比特率优化。简而言之，Closed Gop是其他编解码器目前的工作方式，这意味着每个片段都是独立解码的，你不知道之前或之后的片段中的任何帧。而使用 Open Gop，你可以参考之前的帧，这样可以进行比特率调整，我们认为这是 VVC 的最大优势，并希望能够充分利用它。那么我们的期望是什么呢？即使是渐进的比特率增益，在使用这项技术时也能有所增加。此外，这也是针对每个场景或者说 Per Shot 编码的基础，它是进行内容感知编码的一种方法。虽然这对 VOD 和直播都有支持，但我们目前的重点是 VOD。市场上已经有一些针对直播的实现了。