编码器 2022: AV1, VVC, EVC, LCEVC 和其他

来源:Streaming Media
主持人: Allan McLennan, CEP/Media, Head of M&E North America, Atos
翻译:钟宏成

参加本次小组讨论的有:

  • Sunil Koteyar, Video Engineer, Twitch
  • Jan Ozer, Principal, Streaming Learning Center and Contributing Editor, Streaming Media
  • Jian Lou, Company Fellow, NETINT
  • Alberto De Luca, Distribution Engineer, Discovery Inc.

Q: 对 AV1 的评价?
Jian: AV1 已经存在了一段时间,我们实际上已经看到至少有一些公司开始发布产品,我所说的产品不仅仅是编码器,还有一些视频聊天服务,同时有一些公司致力于 AV1 云编码服务等。对 NETINT 来说,我们发布了我们的第一代 AV1 硬件编码器,从学术界到我们自己的一些实验和模拟,我们相信 AV1 可以在带宽受限下仍然达到很好的视频质量,相对 H.264 是很大的提升。
我们也看到 AV1 的硬件解码器供应商开始提供硬件解码支持,这将为 AV1 提供一个很好的机会去被市场接受。与此同时,AV1 也是被 HTML5 接受的下一代视频编码标准,我们相信 AV1 将会有无处不在的解码能力,这也是我们公司持续投入 AV1 的原因。

Q: 对 Twitch 而言,如何看待 AV1, LCEVC, EVC 这些编码标准的选择?
Sunil: 就像你所知道的,Twitch 参与 AV1 并且投入了可观的努力,因此我们对于 AV1 的路线是清晰的,但是这并不影响我们去探索 LCEVC, EVC (VVC 还需要时间,在软件和硬件上都还没有就绪)。我们确实看到 LCEVC 和 EVC 的一些吸引力,特别是 LCEVC,它有很好的软件实现,它唯一的问题是生态的支持。 LCEVC 在 License 上做得很好:实现者不需要支付费用。但是对于 EVC 而言,在这个时候我们没有看到有很多人参与,所以我们只是追踪它的进展。我们做过一些简单的验证,在当前的时刻我们保持观望的态度。

Q: 我们知道 LCEVC 可以提升所有 codec 的效率,那么对于市场来说,现在是 LCEVC 登场的合适时机了吗?
Jan: 我认为 LCEVC 想要作为一个独立的技术存活,而不是作为一个增强 codec。我认为 LCEVC 的关键优势在于兼容性。所有基本层 codec 可以播放的地方,LCEVC 都可以播放。一点是关于环境友好的 “green codec” 的讨论,因为 LCEVC 相比 VVC, HEVC, AV1 的复杂度更低。很多人在 LCEVC 上看到一个机会,可以停止对更复杂的编解码标准的追求,

Q: 关于 green codec,我读到一些文章说 LCEVC 可以有 50%-60% 的能源节省,这么说公平吗?
Jan: 我会简要概述并将话题交给其他两位,因为我觉得他们有更直接的经历。我认为这是令人困惑的:比如你有 AV1 或 VVC 的软件实现,相比 AV1 或 VVC 的 ASIC 实现,二者的能耗对比会是怎样?Jian 可以讲讲这个。然后在分发侧,如何定义一个 codec 比另一个效率高 50%?因为链路上还有一些其他的损耗,我认为这里有一些令人困惑的、可比性的问题。
Jian: 接着 Jan 刚刚说的讲,首先我们对比软件实现与硬件实现,我看到过一些文章讨论如果将 VP9 从 Google 的软件实现切换到 Argos,甚至电力的节省就可以支付研发费用。从这个角度,ASIC 解决方案有很大的优势。然而,说回 LCEVC,目前没有硬件解码器,当然也没有硬件编码器,所以我们非常可能去做一个混合的方案:基本层使用硬件编码,增强层使用软件编码尽管 LCEVC 相比之前的分层编码使用了相当简单的算法,但是我们经过计算,认为在软件编码上仍然需要使用相当好的 CPU,因为我们总是在讨论高清晰度的视频,比如从 HD 升到 UHD。考虑这一点,我们认为在能源节省上这也许还有一些增益,但这不是杀手级应用的水平。

Q: 有一些观点认为比如 VVC 太大以至于不能失败、EVC 这种标准根本不需要存在,你的观点是什么?
Sunil: 从 Twitch 的角度来说,我们可以但是不喜欢为同一流去支持多 codec。就像之前所说的,对 EVC 我们没有看到什么希望,对 VVC,我们希望它的高编码效率成为现实,但是我们担心它会遇到之前 HEVC 一样的专利困境。对于 LCEVC,它很有潜力,我们比较看好。
Jan: 20 年前 H.264 走向市场并且主宰了超过 18 年,因为它是最好的 codec。然而我们真的走向了 codec 受到政治束缚的地步。我们有开放媒体联盟 AOM 的 AV1,这时候我们用 AOM 的视角观察世界,但是你看 VVC,高通是最大的专利持有者之一,mediatek 也在其中,他们恰好也是许多安卓手机的芯片供应商。所以无论 Sunil 认为他要为 Twitch(为广大游戏爱好者服务而不是在客厅播放专业生产的内容)采纳什么。如果你看 VVC 的一些采纳尝试,它们都是出自一些远东地区的大公司,VVC 有很大的动量去前进,这是你在 AOM 中心的视角所不敢想象的。我在笑是因为这些日子编解码变得如此政治化你知道高通要采纳什么标准,他们还没有采纳 AV1,因为他们在 AV1 上没有任何 IP,他们将会采纳 VVC,这意味着一大批安卓手机将会有 VVC 支持。AOM 在美国很强大,但也有很多力量在对抗 AV1 AV2 的世界

Q: 刚刚讲了很多 AOM,他们在寻找解决方案吗?像这样政治化的环境不会对任何人有利,因为最好的技术不会赢
Jan: 如果你在寻找事实,你知道 Chrome 不支持 HEVC 播放,甚至在 HEVC 免费的平台上也不支持,如果你看 AV1 的早期支持,当它相比其他编码器消耗 200 倍资源,你会说这是政治化的。我认为我的观点是我们在通过以 AOM 为中心的视角看问题,但是如果我们看中国和远东,超越 Netflix, Youtube,那里有很多 VVC 的支持。我认为 AOM 以及所有涉及到的公司总是会反对任何 MPEG 标准,他们也许不会积极反对,但一定不会积极接受,至少目前如此
Jian: 目前我没有听说有任何硬件公司在开发 LCEVC 的硬件实现。如果继续深入讲到 VVC,补充一下我的个人观点:有很多硬件大厂在开发 VVC 的硬件编解码实现,关于 VVC 的 iOS 或 Web 的支持也许不是接受一个标准的充分条件,但是这是必要的。

Q: 如何看待未来三年或者五年的多 codec 世界发展?
Jan: 我认为这取决于你的身份以及你需要在何时在 codec 上下注,举例来说,如果你是内容发布者,你希望用一个 codec 可以帮助你在目标设备上播放,那么在现在这个时间点,对于 PC 来说,这将是 VP9,AV1,H.264;如果目标是客厅电视,那么将是 HEVC,或者低端点的 VP9。如果你是一个芯片制造商,是一个专利代理人、标准机构,那么你需要考虑五年到十年后。对于内容发布者,我不认为需要考虑那么长远,目前在主流平台上的主流 codec 就是你应该要支持的。
Sunil: 对于 Twitch 来说,生态是至关重要的,我们希望能够覆盖尽量多的用户,这是我们最大的考虑。所以在现在这个时间点,Twitch 的大多数访问是在电脑上,所以浏览器支持是首要的,目前 AV1 在浏览器的覆盖大约是 75%-80%,因此 AV1 是我们在考虑中的,AV1 的硬件支持发展是比较明确的。因此,也许不久之后 Twitch 就会支持 AV1。

Q: MPEG 在工业界仍然有活力吗?
Jan: 毋庸置疑。我认为 VVC 是一个没有人关注的大事,因为就像刚才所说的,我们生活在一个 AOM 中心的世界。但是我认为目前 VVC 有非常多的试用与实现在涌现,这都是因为它是一个标准化的 codec。我们见过这样的事情发展,不是吗?首先是 Google 的 VP9 对抗 HEVC,现在是 AOM 的 AV1 对抗 HEVC,VVC,LCEVC,EVC。所以我认为 MPEG 在工业界的活力是毋庸置疑的,电视厂商、广播厂商都非常关注。

Q: MPEG 与 AOM 在各自的领域都有影响力,在全球化的影响下,存在合作的可能吗?
Jian: 这是一个很难回答的问题,我们和不同的客户讨论过,来自不同领域的客户有着非常不同的需求,我认为目前这种分隔会至少再持续存在一些年。
Jan: 我没有看到任何和解的可能,我认为我们会看到 AV1 和 AOM 标准在一个轨道上,广播标准在另一个轨道上。广播近些年在走下坡路,但是仍然有很多电视厂商和广播厂商想要使用它们信任的技术,特别是来自标准化组织的。从某种意义上讲,它们也没有那么多冲突的地方,基于浏览器的播放很容易,这是很多公司支持 VP9、AV1 的原因,我认为 LVEVC 在这里有很好的机会;在硬件方面则是一个完全不同的赛道,Sunil 你们支持 HEVC 了吗?(Sunil:没有 HEVC 支持),很多公司的目标只是浏览器端的播放,它们不支持任何 H.264 以外的 MPEG 的编解码标准。从另一个角度讲,如果你提供目标场景是客厅的专业内容,10bit, HDR 视频,你百分百支持了 HEVC,并且你的 85% 以上的用户都在用。

Q: Sunil,你们在寻找多平台的解决方案比如 LCEVC,可以对你们的业务有利?
Sunil: 我们有 150k 的并发 Channel,对我们来说,多 codec 支持是很有挑战性的,我们也许会有支持 LCECV 的提议,但是我们不会同时支持多 codec,也许是从 H.264 到 LCEVC、AV1 或是任一未来 codec,我们在寻找一个支持广泛的 codec,并且如果我们找到了更高效的 codec,我们会切换到一个更高效 codec 的上。

Q: 从你对整个市场的评估来说,(LCEVC)这种通用性能够为所有编解码器提供效率,能够为整个行业带来好处吗?似乎可以有一个统一层来加速增强这些需求。我知道这是竞争的环境,我们面对各种类型的需求,从流媒体到低延迟云游戏,是不是可以有某种胶水把所有东西粘合在一起,这对你来说有意义吗?
Jan: 你在把 LCEVC 放到像编码器中的瑞典一样的位置。但是你仍然需要选择一个基本层的 codec,所以如果你没有广泛的 VVC 支持,用 VVC 作为基本层是没有道理的。在一定程度上 LCEVC 的成功依赖于基本层的 codec,Sunil 在寻找的也许就是一个基本层为 AV1 的 LCEVC。LCEVC 有后向兼容、编解码十分高效的优点,在生态系统的支持上做了很好的工作。但是成为统一标准把所有 codec 放到一起,我没有看到这样事情的发生,我不认为这是它的使命。LCEVC 能够到达的地方只是它用的基本层编码器能到的地方,如果没有 EVC 支持,那使用 EVC 作为基本层的 LCEVC 也不可能存在,所以无论在哪个目标场景下,LCEVC 总是与其基本层 codec 在一定程度上竞争,在一定程度上依赖

Q: 我们正在看到一些软硬件结合的编码器增加,这是提高处理密度的方向吗?
Sunil: 我们可以不仅从编码器的角度,而是从一个编码器、前处理、AI、ML等内容混合的模型看,这是一个混合处理的框架,不仅是编码器的提升。
Jan: 我认为一个重要的趋势是在环境友好的“绿色”编码器上,我们会看到更多基于 ASIC 的 VOD 编码。由于这个原因,Google 切换到了 Argos 设备,因为这更节能。

Q: 在自动驾驶的领域上,或者 AR VR,什么 codec 会更有优势?
Jian: 我们的产品有很强的通用性,可以在这些场景下很好地工作,但是这些场景会有非常不同的视频特性、不同的编码工具、不同的算法优化。我们开始针对这些具体场景调教我们的编码器,在我们的下一代产品上会做的更好。对于 AV1、VVC 这些标准在设计之初就考虑了这些应用场景,它们加入了一些只对特定特性的视频有效的编码工具,我们认为这些会很有用。

Q: 最后总结一下,在接下来的几年里,可以覆盖更多用户、更编解码高效,这样的具体的最好的多 codec 组合是什么?
Sunil: 如果你要覆盖所有可能的设备,这很显然是 AV1 和 HEVC,四五年后这也许会有所改变。
Jan: 很有趣的是 Apple 在 AOM 成立 28 个月后加入,但不知怎么却成了其创始成员。如果 Apple 将 AV1 加入 iphone,这可以对 AV1 支持做出重要贡献,只是在他们的设备上采纳 AV1 就可以对统一标准做出重要作用,因为那样的话,从手机的角度,就可以对 HEVC 说再见了,你在移动设备上不再需要它。但是再次的,我们有两个分裂的情景:客厅的 4K 10bit HDR 与浏览器上的 8bit,只要这样的情景存在,我们就需要两个不同的 codec 来支持。

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论