ADDL：基于自适应下采样和空间变换的双层图像压缩

本文提出了一种自适应下采样双层(ADDL)图像压缩系统。该系统通过学习的内容自适应下采样内核降低图像的分辨率，并压缩形成编码的基础层。并可在先验知识的辅助下，对基础层进行解码并使用深度上采样神经网络上转换为原始分辨率。实验表明，ADDL 压缩方法优于目前最先进的图像压缩方法。

来源：arxiv
论文链接：https://arxiv.org/pdf/2302.06096.pdf
作者：Xi Zhang, Xiaolin Wu
内容整理：王妍——煤矿工厂

在过去的十年里，智能手机相机的分辨率越来越高，带来大量超高分辨率 (UHR) 图像的存储和传输。但移动终端设备的显示器往往并不支持这么高的分辨率，需要下采样生成低分辨率的图像。显然日常中图像的存储和传输存在着浪费。

如果将 UHR 图像保存在低采样版本中以供日常使用，而只在需要时将其上采样到原始的超高分辨率，将带来存储和带宽方面的节省。

基于该想法，作者联合优化下采样和上采样操作对，提出了一种自适应下采样双层图像压缩 (ADDL) 方法。

ADDL 压缩系统

ADDL 图像压缩系统框架如图所示，图像通过一组学习的内容自适应下采样内核进行下采样，然后压缩得到低分辨率 (LR) 层。LR 层可以被解压缩，还可以在下采样内核先验知识的辅助下，通过深度上采样神经网络转换为原始的高分辨率（HR）。

该系统的关键技术是：

下采样内核采用 Gabor 滤波器的形式
使用深度上采样神经网络，在学习的自适应上采样内核的先验知识的帮助下，将下采样和压缩的图像上转换为原始分辨率。

该系统除了带来带宽上的节省，还大大降低了编码器的复杂性，使得计算负担从编码器转移到解码器。ADDL 在编码器资源被剥夺时将成为一个有吸引力的非对称压缩解决方案。

内容自适应下采样

ADDL 系统使用空间自适应下采样内核来最大限度地保存信息。下采样内核在 HR 图像中使用相应的上下文对每个像素进行优化。

下采样核采用 Gabor 滤波器的形式，该方法有以下优点：

只优化参数，大大降低网络复杂性
Gabor滤波器的频率和方向特性与人类视觉系统相似

在空间域中，二维 Gabor 滤波器是由正弦波调制的高斯核函数：

Gabor-Net 的架构如上图所示。编码器部分有一个输入卷积层和五个阶段，每个阶段由一个最大池化层和两个卷积层组成。第一个阶段大小不变，其他四个阶段通过最大池化逐步降低特征图的分辨率。解码器与编码器几乎对称。每个阶段包括一个双线性上采样层，然后是两个卷积层和一个 ReLU 激活函数。每一层的输入是其上一层和编码器中相应层的上采样输出的级联特征映射。

Gabor 参数的预测编码

下采样会导致高频信息的丢失，因此上采样是一个不适定逆问题，还原高分辨率时可能会产生扭曲。ADDL 系统保留了下采样过程中丢失的高频信息，即 Gabor 滤波器的参数，以便于重构高频纹理。

通过调整 Q 中的量化步长，可以控制传输的量化预测残差的比特率不超过下采样和编码基础层比特率的 20%。

空间自适应卷积上采样

ADDL 解码器执行空间变化的上采样，以匹配编码器的内容自适应下采样。采用像素自适应卷积作为基本单元构建上采样神经网络。

结合 gabor 滤波器的先验知识，作者构建了空间自适应卷积模块(GSAC)。在 GSAC 中，将 Gabor 滤波器参数 I_G 输入到两个卷积层中提取特征 F_G，然后将得到的 F_G 用于调制标准卷积，使其具有空间自适应能力。这个过程可以表述为：

上采样网络由 16 个带有 GSAC 的残差块组成，每个残差块中有 2 个 GSAC 层和 2 个标准卷积层，并用 1 × 1 卷积核来限制 GSAC 的接受域。上采样层由转置卷积实现。

ADDL 整体流程

实验结果

作者分别采用 JEPG 和 BPG 作为 ADDL 图像压缩系统中的图像压缩器，并与几种最先进的方法进行了比较。

基于 JPEG 的 ADDL

图像压缩器：JPEG
训练集：DIV2K，该数据集由 800 张训练图像和 100 张验证图像组成，图像分辨率为 2K
测试集：Classic5，LIVE1，BSD500 和 ICB

ADDL 压缩系统在低到中等比特率的 PSNR 测量中始终优于其它图像压缩方法。

对感知质量进行比较时，可以看到，在相同比特率的情况下，ADDL 对网格、字母等高频纹理的保存效果更好。

基于 BPG 的 ADDL

图像压缩器：BPG
测试集：Kodak 和 CLIC Pro

可以看到，基于 BPG 的 ADDL 压缩系统在低比特率水平的 PSNR 测量上始终优于所有端到端优化的图像压缩方法。

Gabor 滤波器参数的可视化

通过 Gabor 滤波器参数的可视化，可以发现，学习到的参数与图像特征和结构高度相关，特别是参数 ɵ，它决定了 Gabor 下采样核的方向。这也是空间自适应 Gabor 下采样核可以保存高频信息，以及预测编码 Gabor 滤波器参数有效的原因。

消融实验

作者进行了消融实验以评估所提议的 ADDL 压缩系统的每个组件的效果。一共构建了三个消融网络架构：完全不传输 Gabor 滤波器参数，直接传输 Gabor 滤波器参数而不进行预测编码，解码器只使用接收到的 Gabor 滤波器参数而不使用 GSAC 模块进行 HR 重构。并在 LIVE1 数据集上测试。