DFSQ：用于超分辨率网络的分布灵活的子集量化方法 | 厦门大学纪荣嵘团队

图像处理 • 来源：中国科学信息科学 • 2025年2月19日下午2:42 • 技术文章

研究意义

图像超分辨率（SR）技术旨在从低分辨率图像中恢复高分辨率图像，广泛应用于医学影像、视频增强和卫星图像处理等领域。然而，现有的SR模型通常依赖庞大的网络规模和计算资源，难以在资源受限的设备（如智能手机）上部署。尽管网络量化技术能够有效压缩模型，但现有的量化方法需要完整的训练数据，且训练成本高，难以满足实际需求。因此，研究高效的后训练量化方法具有重要意义。这种方法能够在无需完整训练数据的情况下压缩模型，解决隐私和数据传输问题，同时降低计算开销，推动SR技术在资源受限设备上的应用，进一步拓展其在医学、遥感等领域的潜力。

本文工作

量化超分辨率（SR）模型的主要挑战在于，移除批量归一化（BN）层后，激活值在不同通道和样本间呈现高方差，导致现有方法难以有效处理。现有方法未考虑通道和样本间的激活值差异，且均匀量化无法近似非均匀分布，性能受限。为此，本文提出分布灵活的子集量化方法（DFSQ）。DFSQ首先对每个样本的每个通道进行归一化，将激活值范围统一到[-1, 1]，消除样本和通道间的方差。接着，采用硬件友好的子集量化（SQ）方法，从对数尺度值的通用集合中选择最佳量化点。为加速量化点选择，本文提出快速选择策略，通过基于位宽的K均值聚类和选择最接近聚类中心的量化点，将时间复杂度从指数级降至线性级，显著提升计算效率。

本文的主要贡献如下：

(1) 问题发现：指出SR模型的激活值在样本和通道间存在高方差，这对后训练量化（PTQ）方法提出了重大挑战。

(2) 方法创新：提出DFSQ方法，通过归一化和子集量化处理高方差激活值，并引入快速量化点选择策略以加速量化过程。

(3) 性能提升：DFSQ在所有比特配置下均优于现有方法，尤其在低比特情况下表现尤为突出。

实验结果

本文在EDSR、RDN和SRResNet等超分辨率网络模型上进行了广泛实验，验证了DFSQ的有效性。实验结果表明，DFSQ在高比特（如8位和6位）情况下无需微调即可达到与全精度模型相当的性能；在低比特（如4位）情况下，DFSQ仍能显著优于现有方法。例如，在Urban100数据集上，DFSQ将4位EDSR×2模型的PSNR（峰值信噪比）提高了0.242 dB。