视频编码器中的MCTF技术

在2019年，来自爱立信的P. Wennersten，J. Östrand和R. Sjöberg三位作者提交了一项名为Encoder-only GOP-based temporal filter的提案，并分别提给了JCTVC和H.266的JVET：

“Encoder only GOP based temporal filter”，JCTVC-AI0023

“AHG10: Encoder only GOP based temporal filter”，JVET-O0549

同时他们发表一篇A Temporal Pre-Filter For Video Coding Based On Bilateral Filtering论文。

顾名思义，这个是只会在视频编码侧实现，且基于编码GOP结构的时域双边滤波技术，关于这项技术，作者在提案JVET-O0549中这样写道：

可以看到，这项技术在CTC的测试，获得了比较不错的压缩性能收益。

而且参考软件HM从16.21版本开始，参考软件VTM从7.0版本开始，都实现并支持了这项基于GOP的运动补偿时域滤波前处理技术。

不过那时这个技术准确来说还不叫MCTF，等到2020年10月的提案JVET-T0099里介绍说开源编码器VVenc中实现了这项技术，并把它的控制开关叫做Motion Compensated Temporal Filter (MCTF)。同时又把由提案JVET-O0549提出的这个技术叫做MCTPF。

MCTF，整体来看是属于视频编码的前处理技术，即在视频帧被编码之前，对未压缩的原始帧进行时域滤波，来提高视频的压缩性能。

那MCTF是不是一个新技术呢？并不是。在1984年的论文Noise Reduction in Image Sequences Using MotionCompensated Temporal Filtering里就有MCTF技术或者说类似的思想，降噪的目的也是相同的。

在H.266的参考软件VTM里，MCTF技术有过一次优化更新，对应的提案是2021年JVET-U0056。这次优化的性能收益如下：

The average Y/U/V BD-rates for the common test conditions (CTC) are reported to be −1.3%/−1.0%/−1.1% for RA. All BDR numbers were computed using unfiltered source sequences as references.

作者在这个提案里也解释了为什么MCTF要对原视频帧进行时域滤波：

作者在VTM-11.0上进行RA性能测试，提案JVET-U0056算法优化的性能为下图左边结果，提案JVET-U0056实施以后，整个MCTF工具的性能为下图右边结果：

可以看到MCTF开启以后，VTM-11.0软件可以有5.38%/8.17%/8.04%的性能收益，同时整个编码时间也减少了10%。

MCTF的这个优化版本，从VTM软件的13.0开始支持，HM是从16.24开始支持。

MCTF技术的核心思想是：基于运动估计的帧间原始像素平均。它主要针对minGOP处于较低时间层的帧，从JVET-U0056开始，会使用当前帧的前4帧和后4帧来对当前帧进行MCTF操作。

MCTF还有个特点，它会基于视频编码器的minGOP分层结构。更多技术的细节，下回再学习。

目前在那些开源的视频编码器软件之中，对MCTF支持的怎么样呢？

x265编码器是支持的，具体是在2022年10月开始支持MCTF。

https://www.mail-archive.com/x265-devel@videolan.org/msg12435.html

SVT-AV1编码器也是支持MCTF的，之前本号介绍ALTREF以及Film Grain技术时都有涉及MCTF。更多信息大家可以参考文档：

https://gitlab.com/AOMediaCodec/SVT-AV1/-/blob/master/Docs/Appendix-Alt-Refs.md

当然，前文提到的H.266开源VVenc编码器肯定也是支持MCTF的.

更多VVenc的MCTF实现，可参考论文：An Optimized Temporal Filter Implementation for Practical Applications

至于H.264里的MCTF，有一篇2004年的经典论文：MCTF and Scalability Extension of H.264/AVC，大家可以学习一下。

参考资料

C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images,” in Sixth International Conference on Computer Vision, Bombay, India, Jan. 1998, pp. 839–846.

作者：手撕编解码