近年来，我们见证了深度神经网络在图像修复方面的重大进展。然而，关键局限性在于其仅能拟合相关性，无法很好地适应不同程度或类型的真实场景退化。本文从因果学习的全新角度建模分析图像修复，并提出了一种新的图像修复训练范式，以提升修复模型在未知退化场景的泛化能力。我们的方法称为“失真不变表征学习”（DIL）。
【内容提供】李鑫
【单位】中国科学技术大学智能媒体计算实验室
链接：https://arxiv.org/abs/2303.06859
///论文速览///
在本文中，我们将每种失真类型和程度视为一个特定的混淆因子，并通过消除每种失真的有害混淆效应来学习失真不变表示。具体来说，我们基于因果推断的后门准则，通过从优化角度建模不同失真对模型优化的混淆效应来推导失真不变表征学习新范式。技术上，我们引入反事实失真增广来模拟虚拟失真类型和程度作为混淆因子，构建满足因果学习的数据集。然后，我们利用对应具体失真的图像样本对，通过虚拟更新实现每种失真对模型修复过程的干扰，并通过元学习的角度将它们消除。
我们在六个任务上验证了我们的失真不变表征学习，其中包括图像去噪，去模糊，混合失真去除，真实场景超分，真实场景去噪，和去雨任务。在简单的去噪任务上，我们最多可以取得接近8个dB的泛化性能提升，在复杂的真实场景超分上，我们最多也可以取得接近0.85dB的泛化能力提升。该论文将发表于CVPR2023。
///方法描述///
为了实现对图像修复过程因果表征的学习，我们针对图像修复任务构建了上图的统一结构因果图。通过从因果图分析，我们可以获得图像修复模型泛化能力差的主要原因是：由于后门的存在造成了修复过程和失真类型和程度不独立。为了去除失真类型和程度等混淆因子对于修复过程的干扰，我们从三个角度实现了图像修复的失真不变表征学习。1）基于反事实的失真增广，实现满足因果学习的训练集构建；2）从优化角度建模因果推断后门准则，取得失真不变表征学习的理论指导，；3）从元学习角度提出四种失真不变学习优化策略。
///实验分析///
我们在六个任务上验证了失真不变表征学习的优势。具体来说，我们将任务分为两种设置，一种是跨失真程度，一种是跨失真类型，其中跨失真类型场景存在更大的失真分布差异。这里在跨失真程度上，我们取代表性的图像去噪任务进行展示，相比于经常使用的ERM训练方式，我们取得了显著的泛化能力提升。
在跨失真类型场景下，我们分别在图像真实场景超分，去噪以及去雨上进行了泛化性能的验证。结果如下所示：
整体来说，我们提出的失真不变表征学习可以大幅提高图像修复的泛化能力，并且可以较容易应用到其他场景中。
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
