AV1中的ARF和Overlay Frame

前文中我简单介绍了AV1视频编码标准里的参考帧，今天就接着继续来谈谈其中的ARF和对应的Overlay Frame。

ARF是Alternative Reference Frame的缩写，在VPx系列（VP8,VP9,AV1)编码标准中均有支持ARF，它被用于其他帧的帧间预测参考帧，其本身也会像正常的帧一样去编码压缩，但是不会在解码端显示。

那把它作为参考帧，有什么特殊之处呢？

主要是ARF帧往往是对原始帧们进行时域滤波处理，以降低原始帧里的噪声而得到的帧，用它作为参考帧可以提高视频编码的性能。

此外，如果熟悉H.264或H.265视频编码标准的话，知道预测编码的压缩性能很大程度上依靠对“B”帧的编码。但是，VPx系列的视频编码格式里却没有那种“B”帧(bipredictive inter-frames)定义。

不过他们可以借助ARF实现类似的目的，例如将“future” frames做为ARF帧，这样在编码后续帧时，既可以用previous帧作为参考帧，也可以用future帧作为参考帧，解码器还无需像H26x标准那样去做帧重排序(即不用增加这块解码复杂度)。也就是说，ARF帧可以作为后向参考帧。

下面是SVT-AV1代码中判断是否为后向参考帧的宏(函数)：

我们说回AV1视频编码标准的ARF，实际上在AV1标准文本里对ARF的定义可以说是“极其简单”的，如下图:

在介绍AV1里面技术的论文《A Technical Overview of AV1》中，有关ARF如下：

也即是说ARF名字里的Alternative指的是要不要显示它，此外，ARF帧也会被放到解码帧buffer，而它自己通常又不显示，那就要对解码和显示过程产生”不一样”的影响，如下图所示：

上图是含有ARF的AV1编码结构，这里的GOP大小4，灰色框表示的是需要显示的帧，ARF不需要显示用白色表示。

从上图可以看出，每一帧在显示之前需要完成解码，且ARF帧的解码顺序很靠前。这是因为通常ARF帧是时域滤波处理得到的，而时域滤波处理一般只对低layer的帧进行，这也意味着，在一个GOP里面并不是谁都可以成为ARF帧。

ARF帧不显示它的画面，但是作为送给编码器编码的一帧YUV来说，虽然它被”象征性”选择为ARF，可它的内容不能被”丢了”。

一个正常的视频编码器(甭管支持什么编码标准)，把它看成黑盒的话，你的输出码流里面必须保证要有我输入的每一帧画面的内容吧，并且是播放端可以显示的。这时就需要用Overlay Frame来和ARF配合，这个Overlay它会以（相同帧号的）ARF作为参考帧进行预测编码得到压缩码流，当在解码端解码以后，可以显示它的画面，而且它自身不会被用来作参考帧。

以一个5层预测结构的AV1编码举个例子: