ASIC 架构和新型设计方法助力未来视频网络

本次演讲的主讲人为来自 AMD 的视频算法工程师 Ayinash Ramachandran,他向我们分享了在为直播编码应用构建 AV1 硬件编码器时所获得的许多经验。

来源:mhv2022
主讲人:Avinash Ramachandran (AMD)
内容整理:王珅

目标与问题

首先,主讲人认为我们需要设立一个基本的情景和目标:

  • 规模化的实时编码;
  • 更低的延时;
  • 比 H.264 提高 50% 或更高的性能。

那么进一步提出所需要解决的问题包括:

  • 较新的编解码器(AV1/VVC)的复杂性
  • 部署规模
  • 类似软件的适应性

AV1 编码工具分析

然后主讲人介绍了在 AV1 中所包含的多种编码工具,AV1 与其他的视频编解码器类似的都是基于块的编码结构。在帧内和帧间编码时包含多种工具,例如更多的角度模式,Palette 模式,OBMC 等等,以及在滤波时通过 Deblocking filter,CDEF filter,Restoration filter 对质量进一步恢复。主讲人认为首先的任务是对这些编码工具进行优先排序,并了解这些编码工具能够提供怎样的效果。

所以我们在分析时的标准是很明显的,首先是视频质量。哪些编码工具在各种内容中提供了一致的最好的视频质量收益,而不仅仅是在任何特定内容提供收益,其次是这些编码工具的硬件实施的友好程度。此外,我们在早期的编解码器如 HEVC 和 VP9 方面有一些经验,这些经验有多少可以被利用到这里面的。

图片
AV1 编码工具

而当我们实际构建我们的硬件编码器设计时,我们也需要确保我们理解编码算法实际是如何利用这些编码工具的。

图片
编码算法

硬件编码框架

作者在后面进一步展示了 AV1 的硬件编码架构以及他们所取得的一些成果。由下图的基于 VMAF 的 VQ 比较可以看到,我们的目标就像最初提到的那样,大约是 50%。与 x264 中速或 x264 慢速相比,降低了比特率,所以到目前为止,我们能够实现相当接近平均约 45% 左右的 BDrate 节省。

图片
AV1 硬件编码架构

并且主讲人提到他们在高清晰度和低分辨率下都做了各种内容的实验。虽然还没有达到 50% 的目标,但是主讲人介绍仍然有许多空间进行改进,这也是他们正在进行的工作。

图片
基于 VMAF 的 VQ 比较

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论