基于结构一致性能量模型的异源光学和SAR图像变化检测

图像处理 • 来源：中国科学信息科学 • 2023年4月22日下午5:03 • 技术文章

研究意义

异源遥感图像变化检测可以使用不同传感器获取的前后时刻遥感图像检测变化，能够突破传统同源变化检测方法对于图像来自同一传感器的限制，在突发事件(如地震、洪灾等重大自然灾害)的应急响应中十分重要，同时它还能够利用丰富的遥感图像资源提升时序监测的时间分辨率和拓宽时序分析的时间范围。

由于异源变化检测中的多时相图像是由不同类型传感器在不同成像条件下获取的（如光学和SAR），图像对同一地物提供了不同的描述并表现出不同的图像特性，因此如何利用异源图像提取变化信息也是一个研究难题。

本文的主要贡献可以概括如下：

(1) 利用与成像模态无关的结构一致性建立起了异源图像之间的联系，并提出了基于图像结构一致性的能量模型用于异源变化检测任务，解决了异源遥感图像难以比较的问题；

(2) 利用能量模型刻画了图像结构关系和节点变化概率之间的关联，并考虑到了变化节点对于其他节点的影响，有效地减小了未知的变化样本对于模型的影响，使得模型更加准确和稳健。

本文工作

本文提出了基于结构一致性的能量模型(Structure Consistency based Energy Model, SCEM)。它首先将异源图像分割成具有相同轮廓的超像素，并以超像素为节点构建 K 近邻图来刻画每幅图像的结构，而后利用结构一致性建立相邻节点之间特征相似性关系与节点标签之间的联系，并利用能量模型来刻画这种联系，同时设计了两种能量函数分别度量节点发生变化和未变化时的能量损失。该能量模型是直接建立在节点状态上的，对其求解即可直接得到节点发生变化的概率。本文提出的方法挖掘了图像结构与节点状态之间的关联，这种关联是普适的、稳健的，所以该方法对图像噪声和成像条件等因素不敏感；同时它利用能量模型对约束关系直接建模，具有很强的灵活性和可拓展性；此外，该方法利用超像素作为节点，减小了算法的复杂度，很大程度上提高了变化检测的效率。

图1. 图像结构示意图. 左图：SAR图像；右图：光学图像. 图像的结构被定义为图像内部超像素之间的相似性关系，图中使用连接线的粗细表示超像素之间的相似性大小. 在SAR和光学图像中，未变化区域的结构是一致的，而在变化区域的结构是不同的.

实验结果

本文在5个实际数据集上与现有先进的异源变化检测方法进行了对比实验。这些数据集涵盖了不同的分辨率(从30 m到0.52 m)、不同的图像尺寸(从343×291到4135×2325)、不同的变化事件(如洪灾、耕地变化、建筑物构造)，它们能够充分评估不同算法的适应性和稳健性。

图2. 不同方法所得到的差异图. 从第1行到第5行分别对应数据集#1到#5. 从(a)到(c)分别为：事件前图像、事件后图像和变化真值图. 从(d)到(i)分别为不同方法得到的差异图：(d)AMD；(e)HPT；(f)IRG-McS；(g)SCASC；(h)FPMS；(i)SCEM.

图3. 不同方法所得到的变化图。从第1行到第5行分别对应数据集#1到#5. 从(a)到(l)分别为不同方法得到的变化图：(a)AMD；(b)HPT；(c)IRG-McS；(d)SCASC；(e)FPMS；(f)M3CD；(g)CICM；(h)SCCN；(i)CGAN；(j)X-Net；(k)ACE-Net；(l)SCEM. 在变化图中，分别使用白色、黑色、红色和绿色标记TP、TN、FP和FN.

全文下载:

http://engine.scichina.com/doi/10.1360/SSI-2022-0408