中文题目：基于多约束和损失权重的变化检测

论文题目：Change Detection with Incorporating Multi-Constraints and Loss Weights

录用期刊/会议：Engineering Applications of Artificial Intelligence (中科院SCI 2区，JCR Q1，Top)

原文DOI：https://doi.org/10.1016/j.engappai.2024.108163

原文链接：https://www.sciencedirect.com/science/article/pii/S095219762400321X

录用/见刊时间：2024.01.24

作者列表：

1）张成杰 中国石油大学（北京）信息科学与工程学院/人工智能学院 控制科学与工程 硕21

2）刘建伟 中国石油大学（北京）信息科学与工程学院/人工智能学院 自动化系 教师

摘要:

本文提出了一种用于遥感影像变化检测的变化检测(CDMC)，该网络采用了先进的基线网络，即将孪生网络和UNet结合的网络架构，并通过相似性约束和边界互补信息约束增强基线网络的学习能力，解决背景一致性和边缘噪声问题。相似性约束由两个多层感知器组成，这些感知器指导深层特征的背景一致性，并抑制“不感兴趣”的变化，例如由位置和照明等环境因素引起的变化。通过添加边界类实现边界互补信息约束，增强了模型对“感兴趣”目标周围不确定性强的位置的关注。自适应对偶损失模块使用可训练参数为不同的类设置权值，有效防止模型过于关注背景类，缓解类不平衡问题。自适应加权损失模块对相似约束和边界互补信息约束的重要性进行加权。本模型与5种主流的变化检测方法在BCDD、LEVIR-CD、DSIFN和S2Looking等4个大型现实遥感数据集上进行了比较。实验结果表明，该方法具有较好的精度、收敛速度和稳定性。通过对统计结果和可视化结果的分析，所提出的CDMC减少了假阳性样本的数量和目标周围的不确定性。

背景与动机:

现有的遥感影像变化检测方法在面对复杂应用场景时仍面临一些挑战。首先，如表1所示，根据统计数据得出的结果，现存先进方法的检测结果中，假阳性样本比假阴性样本多，即错误像素在背景区域中出现的更多。另一方面，如图1所示，从可视化结果可以发现，现存的先进方法的检测结果中，“感兴趣”的目标周围的边缘噪声非常严重，有效的解决该问题，可以显著的优化变化检测方法的检测结果。

表1 SNUNet在四个数据集上预测结果中假阳性样本和假阴性样本的数量统计

Dataset	LEVIR	BCDD	S2Looking	DSIFN
False Positive	675823	1037232	12732222	1209552
False negative	662120	508429	8514302	507030

图1 SNUNet在四个数据集上的视觉结果

设计与实现:

本文提出的基于多约束和损失权重的变化检测方法（CDMC）的结构图如图2所示。相似性约束采用了两个多层感知器的结构构成，对生成的特征的背景一致性施加约束，缓解由于气候变化、预处理校正等原因，不同图像域之间存在细微的风格差异。对于边界互补信息约束，首先将与不变像素相邻的变化像素设置为变化的边界类，将与变化像素相邻的不变像素设置为不变边界类。在“感兴趣”的目标边界上总是存在大量的错误预测，边界互补信息有效地增强了边界附近特征的区分。

对于自适应对偶损失模块，类损失权重在训练过程中将自适应调整。对于第类，软最大激活函数层（SoftMax）的输出为：

然后，引入了交叉熵损失的一种变体——对偶损失，对偶损失同时关注了两类损失，而不产生太多偏见，且更多地关注于2-范数难以区分的样例。令真值标签为，预测输出为，自适应对偶损失可以描述为下式：

为了避免手动优化余弦相似损失和边界互补信息损失的相对权重，我们引入自适应权重损失模块，称为自适应加权损失模块（Adaptive Weight Loss, AWL）。通过计算损失的方差不确定性，得到了加权损失函数。公式化如下：

对比实验的结果主要以两种形式呈现，分别是评价指标的定量比较和变化图的可视化对比。如表2所示，本模型在四个数据集上的指标均为最优。图3可视化结果也可以看出，CDMC主要缓解了边缘噪声问题。消融实验中，我们对两个约束条件都进行了消融对比，从指标结果可以看出，这两个模块都起到了模型优化的作用。最后，我们使用了显著性分析方法，对对比实验中的结果进行弗里德曼排序，可以看出本模型排名第1。

（1）对比实验

表2 不同方法在BCDD、LEVIR、DSIFN和S2Looking数据集上的精确率、召回率、F1、和IoU对比（%）

	BCDD	LEVIR	DSIFN	S2Looking
	Pre/Rec/F1/IoU	Pre/Rec/F1/IoU	Pre/Rec/F1/IoU	Pre/Rec/F1/IoU
FC-EF	92.70/69.24/79.27/65.66	96.55/68.58/80.20/66.94	72.61/52.73/61.09/43.98	81.36/8.95/7.65/8.77
FC-SC	93.20/7214/81.33/68.53	97.60/69.29/81.04/68.13	66.45/54.21/59.71/42.56	68.27/18.52/13.54/17.05
FC-SD	91.13/74.31/81.87/69.30	97.35/69.16/80.87/67.88	59.67/65.71/62.54/45.50	59.67/15.76/13.19/14.24
SNUNet	85.60/81.49/83.50/71.67	89.18/87.17/88.16/78.83	60.60/72.89/66.18/49.45	27.53/23.47/21.51/14.51
STANet	79.37/85.50/82.32/69.95	83.81/91.00/87.26/77.40	67.71/61.68/64.56/47.66	38.75/56.49/45.97/29.84
CDMC	92.64/89.50/91.04/83.56	93.09/88.07/90.51/82.67	66.08/67.08/66.58/49.90	64.88/58.15/61.34/44.23

图3 不同方法在BCDD、LEVIR、DSIFN和S2Looking数据集上的可视化结果。从上往下分别是BCDD、LEVIR、DSIFN和S2Looking；(a)变化前图像，(b)变化后图像，(c)变化真值图，(d)CDMC的可视化结果，(e) SNUNet的可视化结果，(f) FC-SD的可视化结果

（2）消融实验

表3 消融方法在BCDD和LEVIR数据集上的精确率、召回率、F1、和IoU对比（%）

	BCDD	LEVIR
	Pre/Rec/F1/IoU	Pre/Rec/F1/IoU
CD	61.44/95.95/74.91/59.88	74.94/96.52/84.38/72.97
Without BCI	78.88/93.52/85.58/74.79	75.17/97.20/84.78/73.58
Without similarity	93.43/85.65/89.37/80.79	91.93/88.99/9044/82.54
CDMC	92.64/89.50/91.04/83.56	93.09/88.07/90.51/82.67

（3）弗里德曼排名

表4 弗里德曼排名

Method	Ranking
CDMC	1
FC-EF	5.75
FC-SC	4.75
FC-SD	4.5
SNUNet	2.25
STANet	2.75

结论:

我们提出了一种基于多约束和损失权重的变化检测模型，在BCDD、LEVIR-CD、DSIFN和S2Looking数据集上实现最优的精度、收敛速度和稳定性。更准确地说，我们的模型在这些数据集上的F1和IoU得分分别提高了7.54/11.89、2.35/3.84、0.40/0.45和15.37/14.39分，在指标上有显著的提升。相似性约束指导深层特征的背景一致性，并抑制不感兴趣的变化，例如由位置和照明等环境因素引起的变化。边界互补信息约束增强了模型对感兴趣目标周围不确定性强的位置的关注，抑制了边缘噪声。此外，自适应对偶损失模块自动更新边界互补信息损失中的类权重，缓解类不平衡。CDMC通过分析统计结果和可视化结果，确实减少了误报样本的数量，抑制了边缘噪声，这是实现显著提升的主要原因。

通讯作者简介:

刘建伟，副教授，教师，学者。研究领域涉及在线学习（包括强化学习，赌博机算法，持续学习，长尾学习）；图像视频显著性目标检测，解纠缠表示学习，光场和神经场模型，以及图像视频少样本变化检测；自然语言理解中的知识补全，图神经网络；不平衡数据处理；霍克斯点过程故障预测与诊断；非线性预测与控制。 是兵器装备工程学报第三届编辑委员会委员。历届中国控制会议(CCC)和中国控制与决策会议(CCDC)的程序委员会委员。担任过80多个国际会议的TPC。