AI 算法在视频图像超清修复中的应用

近年来，随着AI 技术的发展，AI 算法广泛应用于计算机图形学（Computer Graphics）和计算机视觉（Computer Vision）的研究中，在图像的感知与处理上形成了一些新技术，总体概括为AI 图像处理技术。其中AI 图像修复技术的应用与我们电视制作领域密切相关。

传统图像处理主要基于数学和物理分析的方法来改变图像的一些属性。比如对图像进行降噪处理，或者增强图像色度等。由于数学和物理模型具有局限性，因此传统图像处理发展遇到瓶颈，增强或衰减图像的某些特性的同时，会导致产生额外的失真或劣化。比如在对图像进行降噪处理时，图像分辨率会有所降低。AI 图像处理在传统图形科学的基础上，引入了AI 深度学习算法，帮助我们解决了这一问题。通过图像结构的深度了解，利用图像冗余性，对因传统图像处理而丢失的图像信息进行补画，从而降低额外图像失真。以深度学习为代表的机器学习，正在逐渐席卷整个图形学研究领域。研究者们逐渐发现，当传统的基于物理的模型发展遇到瓶颈的时候，机器学习的方法也许能够帮助我们解释这些复杂的数理模型。毕竟只有理解了图像的深层结构，才能更好地指导图像的生成和处理。

一 AI 图像处理技术介绍

1. 补画（Image Inpainting）

图像补画技术是一个传统计算机图形学的问题。问题本身很直观：在一幅图像上挖去一部分，如何利用其他信息将缺失部分补全，并且让人眼无法辨别出补全的部分。

这个问题对我们人类似乎很容易，通过我们大脑的想象把它补画出来，但是这个任务对于计算机却显得格外困难，首先这个问题没有唯一确定的解，其次如何利用其他信息？如何判断补全结果是否足够真实？这些问题都必须解决。

随着近几年深度学习在视觉领域取得卓越的效果，视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域，一系列问题的研究正在围绕深度学习火热展开，特别是在图像编辑（image editing）和图像生成（imagegeneration）方面，已经初见成效。我们讨论的问题，图像补画（image inpainting），正是介于图像编辑和图像生成之间的一个问题。早期基于深度学习的图像补画技术是利用图像已知部分的信息来补全未知部分。如果图像已知部分找不到相似的补丁，那算法将无法进行。利用数据挖掘（data-driven）的方法解决这些问题。对于图像已知部分找不到相似补丁的问题，利用存在的大量图片素材，发现补丁信息，并采用块操作，提高补画效率。该算法对于有着很强帧间和行间相关性的视频修补具有很好效果。图1为训练图库对补全画面的影响。

2. 图像超分辨率重建

基于卷积神经网络的图像超分辨率重建，是通过端到端的学习来建立低分辨率图像和原始高分辨率图像之间的非线性关系。

第一步：将低分辨率图像通过传统线性插值方法放大到和原始图像同样的尺寸，作为网络的输入。第二步：图像块的提取和特征表示，利用卷积网络的性质提取图像块的特征。

第三步：非线性映射。增加卷积核的个数，将第一步提取的特征，映射到更高维度的空间，建立一种非线性映射关系。

第四步：超分辨率图像重建。再做一次卷积运算，将高维特征空间映射到高分辨率图像。图像超分辨率实验结果如图2 所示。

3. 帧率提升

帧率提升，对于提高运动图像清晰度具有重要作用。根据我国4K 电视技术标准，帧率为50 帧，而高清电视标准帧率为25 帧。如何提高视频图像帧率，运动估计算法至关重要。运动估计有两种方法，单向运动估计和双向运动估计。

（1）单向运动估计

单向运动估计原理：块匹配算法是将图像分为大小相同的边长为N 的正方形像素集合，假设当前帧为fn，相邻帧为fn-1，以当前帧中坐标为X (x, y) 的某点为中心的宏块BXn，参考帧中相同位置的宏块称为BXn-1，要求BXn 的运动矢量，则通过搜寻包括BXn-1 在内的一个更大的若干宏块组成的区域，按照一定的匹配准则，找到与BX 最相似的块，求出BXn到最相似的块的位移MV，则认为MV 是块BXn 从当前帧fn 到相邻帧fn-1 的运动轨迹，这就是单向运动估计的一般原理。

（2）双向运动估计

双向运动估计的主要思想可以概括为：以待插帧中的待插块中心为原点坐标，将围绕此中心点的一个边长为R 的正方形定义为搜索区，将此搜索区映射到前一帧和当前帧，以原点对称点的方式寻找最佳匹配块的搜索方案。

（3）运动矢量场的校正

统计出现次数最多的矢量的次数与待修改矢量出现次数的差大于修正阈值时，才进行矢量修正。

（4）运动补偿

通过设置待插值像素，控制两原始帧在生成新的图像帧时所占的比例。待插值像素参数在（0，1）之间时对应着双向运动矢量场插帧，待插值像素参数在0 或者1 时对应着单向运动矢量场插帧。

（5）去除块现象

通过运动估计和插值算法得到内插帧后，会发现帧内产生块现象，这时应该通过合适的去块效应算法来消除或者减轻块效应，得到高质量的内插帧。

4. 彩色增强技术

这里主要介绍近年来比较流行的基于色彩恒常（color constancy）特性的色彩增强。在现代生理学和心理学的启发下，美国物理学家Land 等人设计出了Retinex( 视网膜皮层) 模型，并在符合人眼的颜色恒常性理论前提下，提出了基于Retinex 的图像增强算法。这种算法建立的基础是假设人眼感知目标的亮度和颜色由环境光照和目标表面的反射光照决定，保持目标的颜色恒常性主要就是估计环境光照，并去除环境光照的影像，这样就得到了准确的目标颜色和亮度信息。这种算法具有高动态范围压缩、高色彩保真度和良好的局部细节增强等特点，引起了众多国外学者的兴趣。为准确估计亮度分量，选取计算路径常见有一维和二维的区别。

一般情况下，可以认为算法只有迭代次数一个参数。由图3 可见，迭代次数越小，图像的对比度越小，连读越亮，动态压缩范围越小。迭代次数越大，图像的对比度越强烈。从直方图上看，迭代次数小时，直方图会聚集在一起，随着迭代次数等增加，直方图逐渐分布到全部动态范围内。当迭代次数特别大时，图像会和原始图像很接近。