点击数: 更新日期: 2023-03-22
论文题目：融合超像素与多模态感知网络的遥感影像车辆检测方法
录用期刊/会议：【光学精密工程】 (EI中文期刊)
录用/见刊时间：录用：2023年1月17日
作者列表：
1） 连远锋 中国石油大学（北京）信息科学与工程学院 计算机科学与技术系副教授
2） 李光洋 中国石油大学（北京）信息科学与工程学院 计算机科学与技术专业 硕 21
3） 沈韶辰 中国石油大学（北京）信息科学与工程学院 计算机科学与技术专业 硕 16
文章简介:
在分析遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降原因后，本文提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。并且构建了一种多模态边缘感知网络对遥感影像车辆边缘进行识别。结果表明，所提出的方法在多模态遥感影像车辆高精度检测中具有较高的检测准确度。
摘要:
针对遥感影像车辆检测中背景干扰、目标密集和目标异质性等因素引起的识别精度下降问题，提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。首先，基于混合超像素的区域合并规则，通过超像素二分图融合算法将两种模态的超像素分割结果进行融合，提升了不同模态图像超像素分割结果的准确性。其次，提出一种多模态边缘感知网络的遥感影像车辆检测方法MEANet (multi-modal edge aware network)，引入OPT-FPN模块(Optimized Feature Pyramid Networks)来增强网络学习多尺度目标特征的能力。最后，通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征，进而生成车辆目标的准确边界。实验结果表明，本文提出的方法在多模态遥感影像车辆高精度检测中有着较好的检测准确度和较好的应用价值。
背景与动机:
车辆检测对车流量计算、预测交通拥堵和智慧城市构建等应用领域具有重要意义。随着遥感技术的不断进步，使得自动矢量化提取高分辨率遥感影像中的车辆轮廓信息成为可能。如何在复杂背景下高精度、低延时、自动化地从高分辨率遥感影像中检测车辆，目前尚需进一步深入研究。
设计与实现:
首先，基于混合超像素的区域合并规则，通过超像素二分图融合算法将两种模态的超像素分割结果进行融合，提升了不同模态图像超像素分割结果的准确性。其次，提出一种多模态边缘感知网络的遥感影像车辆检测方法MEANet，利用OPT-FPN模块得到遥感影像的多尺度特征，并使用多模态融合模块对两种模态的多尺度特征进行跨模态融合。最后，通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征来提升车辆目标检测的准确性。
主要内容:
为了保持目标像素特征的局部一致性，这里使用超像素方法分别对光学图像和高程图像分别进行过分割，并定义了多模态超像素合并规则。如图1所示，构建区域邻接图(region adjacent graph，RAG)，将初始分割结果中的每个超像素抽象为一个节点，超像素相邻即代表节点连通，边的权重为相邻超像素的合并代价，通常认为相邻超像素特征越相似，合并代价越小，越趋于合并。
图1 区域邻接图
对于与背景相似的密集型车辆目标，车辆与地面的光学特征非常相似，而车辆相对于地面存在着高度差异，因此引入图像的高程特征可以提升网络对于密集型车辆目标的识别能力。为了充分利用光学图像和高程图像双模态特征，这里设计了多模态融合模块，如图2所示。
图2 多模态融合模块
为了提高车辆目标的边缘检测精度，本文设计了基于超像素的边界感知模块，如图3所示。
图3边界感知模块
实验结果及分析:
这里选取了四张ISPRS Potsdam数据集中的遥感影像进行分割实验，如图4所示。可以看出，随着值的增加，具有相同特征的超像素块被执行合并操作，但存在不同程度的像素误合并现象。当时，能够将车辆目标进行较为准确地分割与合并。
图4不同下超像素分割遥感影像结果
表1与表2给出了在ISPRS数据集上本文方法与其他方法比较结果。可以看出，本文方法车辆目标检测结果优于其他模型。
表1 本文模型与其他模型在ISPRS Potsdam 数据集上IoU对比
模型
Surface
Building
Low-veg
Tree
Car
MIoU
mF1
OA
FCN-32s
76.14
89.81
72.01
68.98
66.84
74.76
84.48
87.15
FCN-8s
77.52
90.34
72.62
65.98
77.32
76.76
85.54
87.44
U-net
77.20
91.16
73.23
69.00
79.29
77.98
86.67
87.84
SegNet
72.84
87.99
67.68
60.33
75.00
72.77
82.76
84.93
PSPNet
79.16
91.73
73.37
69.76
75.61
77.92
86.61
88.26
DeepLabv3+
79.60
91.21
75.48
70.33
78.19
78.96
87.28
88.92
G-FRNet
85.16
95.55
80.56
76.77
81.53
83.91
90.65
91.94
our
85.72
96.00
81.91
76.82
82.59
84.61
91.05
92.39
表2 本文模型与其他模型在ISPRS Vaihingen 数据集上IoU对比
background
73.12
83.47
59.99
73.51
41.20
10.50
56.97
68.76
84.10
78.30
85.53
59.87
74.60
61.36
18.28
62.99
74.56
85.91
79.09
85.83
63.95
76.06
64.61
17.92
64.58
75.67
86.76
73.48
82.49
57.24
72.81
43.75
1.23
55.17
65.91
83.43
78.21
62.58
75.56
56.13
19.34
63.16
74.71
86.44
79.48
87.90
62.90
75.94
64.12
19.62
64.99
76.10
86.98
80.13
89.33
68.15
79.41
52.68
42.50
68.70
80.26
88.48
86.13
93.50
64.94
75.34
71.38
58.12
74.90
85.11
89.66
图5和图6展示了八种方法在ISPRS数据集上的测试结果。可以看出，本文方法检测的轮廓结果较为完整且与真实车辆边缘吻合度高。
图5 本文方法与其他方法在ISPRS Potsdam数据集上的分割结果对比
图6 本文方法与其他方法在ISPRS Vaihingen数据集上的分割结果对比
结论:
本文提出了一种融合超像素与多模态感知网络的遥感影像车辆检测方法。该方法通过超像素二分图融合算法将两种模态的超像素分割结果进行融合，提升了不同模态图像超像素分割结果的准确性。基于多模态感知网络MEANet，引入OPT-FPN模块来增强网络学习多尺度目标特征的能力。通过边缘感知模块聚合超像素和多模态融合模块生成的两组边缘特征，进而生成车辆目标的准确边界。在ISPRS Potsdam和ISPRS Vaihingen遥感影像数据集的实验表明，本文所提出的方法提升了遥感图像分割结果的准确性，能够解决遥感影像车辆检测中由于背景干扰和目标异质性等因素引起的识别精度下降问题。
作者简介:
连远锋，副教授
博士，硕士生导师。科研工作涉及图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。同时从事遥感影像处理、数字孪生与智能机器人巡检、基于粒子的泄漏模拟与可视化等技术开发与工程应用工作。