岁月如梭，距离2020年7月H.266视频编码标准的发布，已经三年有余。
但在视频编码标准研究和探索的道路上，Joint Video Exploration Team(JVET)并没有停下脚步，他们仍在继续着下一代视频编码标准的研究工作。下图是他们召开的会议情况。
JVET的下一代视频编码标准在H.266标准的基础上，除了继续对传统混合编码框架的已有工具进行优化外，JVET还将目光投向了近几年比较火热的神经网络，希望通过引入AI来进一步提升视频编码压缩的性能。
在2020年7月JVET的第19次会议上有和神经网络视频编码相关的AHG11，来研究端到端视频编码框架和基于神经网络的混合视频编码框架。
对应了基于深度学习的视频压缩主要研究方向，一个是对传统视频压缩某个模块和工具通过神经网络实现改进，在已有的编码模块中嵌入离线训练好的神经网络模型进行编码优化。
另一个是采用端到端的神经网络进行视频编码，将视频帧传入神经网络模型学习得到重构帧，如下图所示：
实际上最早在2018年4月JVET就已经在研究神经网络对视频编码性能的提高，当时主要的切入点是视频编码中的滤波处理。
然后在2020年10月的JVET-T2023提案，通过EE1和EE2探索深度学习在视频编码方面的可能性和效果。
此外，这个提案中也有介绍基于神经网络的超分编码技术，如下图所示：
它会在编码侧先对输入视频进行下采样后再进行编码。解码侧对解码重建视频进行上采样或者超分处理，从而使其和原视频有相同的分辨率。它并不需要改变混合编码框架，借助基于神经网络的超分技术，可以使编码码流更小，从而节省存储和带宽成本。
考虑到神经网络视频编码和传统编码方式存在较大差异，为了能够更好地对其进行压缩性能的测试和迭代，JVET对神经网络视频编码做了单独的CTC要求，对应的提案是2021年10月的JVET第24次会议的JVET-X2016。它指定了编码配置，序列，评价指标以及训练步骤等内容，目前文档内容还在继续更新之中。
经过两年的研究，在2022年7月的JVET第27次会议中，有关NNVC的提案主要有下图这些。
可以看到，大部分内容是集中在环路滤波和后处理以及超分上面。这些提案的压缩性能如何呢？和VTM相比，如下图所示：
可以看到，在上面提案中压缩性能较好的是JVET-AA0088和JVET-AA0111这两个神经网络环路滤波的提案，各有将近10个点的性能收益，但基于神经网络的超分和端到端编码的性能收益，就相对较差了。
所以，在JEVT基于神经网络视频编码的参考软件VTM NNVC中，将提案AA0088中的技术作为了NN filter Set0，将提案AA0111的技术作为了Set1加入到了代码中。
NNVC参考软件对应的代码地址在：
https://vcgit.hhi.fraunhofer.de/jvet-ahg-nnvc/VVCSoftware_VTM/-/tree/VTM-11.0_nnvc
此外，在2023年09月的JVET-AE2019提案中，JVET给出了NNVC-6.0的算法描述文档，感兴趣的同学可以下载学习。
https://jvet-experts.org/doc_end_user/documents/31_Geneva/wg11/JVET-AE2019-v2.zip
以上简单介绍了H.266视频编码标准发布以后，JVET对神经网络视频编码技术的研究情况。虽然工业界现在还是以传统混合编码框架的标准为主流，但基于AI的视频编码是未来趋势。
参考文献
1.Neural Network based Video Coding in JVET
2.https://arxiv.org/pdf/2309.05846
3.Advances In Video Compression System Using Deep Neural Network: A Review And Case Studies
作者：codec2021
来源：手撕编解码
原文：https://mp.weixin.qq.com/s/FWuoHIQ8inQ5QF_A6_qOMQ
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
