超分辨率的任意放大倍率网络 | CVPR 2019

单图超分辨率（SISR）旨在从降质的低分辨率（LR）图像中重建出视觉自然的高分辨率图像。它在安全监控图像、医学影像以及卫星和航拍图像等领域具有广泛应用。在实际场景中，SISR 经常需要根据用户自定义的缩放因子对 LR 图像进行放大，自定义缩放因子也可以是任何正数，不必固定为某些整数。解决任意缩放因子的超分辨率方法对将 SISR 投入更实际的应用非常重要。如果为每个正缩放因子训练一个特定模型，那么无法存储所有这些模型，而且计算效率低下。本文提出了一个网络：Meta-SR，这个网络动态预测每个缩放因子的滤波器权重，不再需要为每个缩放因子存储权重。

来源：CVPR 2019
题目：Meta-SR: A Magnification-Arbitrary Network for Super-Resolution
作者：Xuecai Hu, Haoyuan Mu,Xiangyu Zhang, Zilei Wang, Tieniu Tan, Jian Sun
原文链接：https://arxiv.org/abs/1903.00875
内容整理：刘潮磊

引言

传统SR方法存在诸多问题：

特定模型：传统的 SISR 方法对于每个放大比例都需要一个特定放大模块。

整数倍率放大：许多传统算法使用了亚像素卷积的方法，但是亚像素卷积只能对整数放大倍率使用。

非整数放大相当耗时：传统算法可以用其他手段实现非整数放大：先用双三次插值缩放一定比例，再用传统方法放大，但这样相当耗时。

框架

Feature Learning Module

大多数超分算法都可以作为 Feature Learning Module，用于提取图片中像素的特征。

Meta-Upscale Module

Meta-Upscale Module中最重要的是 Weight prediction 模块。这一模块将不同放大倍率下的位置信息和放大倍率作为输入，输出一系列滤波器，对 Feature Learning Module 提取出的特征进行过滤，得到 SR 图像上每个位置的像素值。

方法

Meta-Upscale Module 函数如下:

可以将 Meta-Upscale Module 分为三个部分：

Location Projection（位置对应）
Weight Prediction（权重预测）
Feature Mapping（特征映射）

Location Projection

目的：对于 SR 图像上的点 (i,j) 找到其在 LR 图像上的对应点坐标

（其中，⌊𝑖/𝑟⌋ 表示将其向下取整）

Weight Prediction

Weight Prediction 函数：

（其中 V 是与 i、j 相关的坐标信息，𝜃 是网络参数） V 可以表示成这样的形式，是用 SR 图像坐标和在 LR 图像中的对应坐标间偏置表示的：

于是可以改进 V 的形式：

在V的表达式中加入放大倍率这一项，就能在不同放大倍率下更好地区分滤波器权重。

Feature Mapping

最后一步是将预测出的权重与提取出的 LR 图像特征映射到 SR 上：

（在这里，映射采用直接相乘的方式）算法伪代码：

实验

Datasets： 采用 DIV2K 进行训练,四个数据集(Set14, B100, Manga109, DIV2K)测试；
评价指标： PSNR、SSIM；
损失函数： L1 损失；
放大倍率： 以 0.1 为步长，从 1 倍到 4 倍。

下图是论文算法放大示例:

与其他方法的对比

下表是结果比较表，以双三次插值和 RDN、EDSR 为基础，构造了一系列用单模型实现任意放大倍率的 baseline 与论文的 Meta-RDN 对比：

运行时间对比：

运行时间基本一致，但对于一张需要连续放大的图片而言，Meta-RDN 方法有很大优势，因为只需要运行一次 FL 模块，接下来只要运行相对耗时很小的 WP 和 Upscale 模块。

在 2、3、4 放大倍率上与RDN比较：

各个算法结果的视觉效果比较：

结论

本文提出了一种名为 Meta-Upscale 的新型上采样模块，用于通过单一模型解决任意缩放因子的超分辨率问题。所提出的 Meta-Upscale 模块可以动态预测滤波器的权重。对于每个缩放因子，所提出的 Meta-Upscale 模块生成了一组用于上采样模块的权重。通过在特征图和滤波器之间进行卷积操作，生成任意大小的高分辨率图像。由于权重预测的存在，该方法可以为超分辨率的任意缩放因子训练一个单一模型。而且，Meta-SR 可以连续使用多个缩放因子对同一图像进行缩放。