基于多任务学习的多模态遥感图像转换与显著性检测

中文题目：基于多任务学习的多模态遥感图像转换与显著性检测

论文题目：Multitask learning for image translation and salient object detection from multimodal remote sensing images

录用期刊/会议：【The Visual Computer】 JCR Q2

录用/见刊时间：2023.3.9

作者列表：

1）连远锋 中国石油大学（北京）信息科学与工程学院 计算机系教师

2）石旭 中国石油大学（北京）信息科学与工程学院 计算机技术专业 硕20

3）沈韶辰 中国石油大学（北京）信息科学与工程学院 计算机技术专业 硕16

4）华璟 美国密西根韦恩州立大学 计算机科学系教授

摘要:

本文提出了一个新颖高效的多任务学习框架，用于遥感图像的图像域转换和显著性检测。首先，设计了权重共享注意力GAN图像域转换网络（WSA-GAN）和显著性检测边界引导网络（BGNet），实现从红外遥感图像（IRIs）或光学遥感图像（ORIs）生成互补模态的遥感影像并进行目标的边界检测。然后，提出了一种多模态上下文感知学习模块（MCL）用于特征提取，并实现ORI和IRI多模态上下文中潜在特征的纠缠与解纠缠。最后，针对卷积神经网络在目标具有方向性变化时表现不佳问题，基于多任务学习框架引入了注意力感知模块来提高著性特征的表达能力。实验结果表明，所提出的图像域转换和显著性检测网络的性能优于其他方法。

设计与实现:

本文通过输入双模态遥感影像对训练WSA-GAN生成互补模态图像的能力，由生成器提取的多级浅层特征用于MFLN生成多尺度聚合特征。然后通过MCL对第一阶段生成的多模态图像对进行特征提取与融合，并将多模态融合特征输入至AACNet。AACNet将特征处理为初级胶囊，并通过路由机制构建高级胶囊。最后，BGNet通过BAB输出的边缘特征与MFLN输出的多尺度聚合特征生成显著性检测结果。

1、多任务学习框架

多任务学习框架，如图1所示。WSA-GAN内置的多重相加注意力模块（MAB）用于过滤特征信息，而多模态特征共享模块（MFSB）用于共享交互特征信息。潜在空间GAN（Latent Space GAN）通过生成联合潜在空间特征向量保持多模态融合特征的再现性。AACNet网络嵌入具有注意力感知策略的特征融合模块（FFAM），其中的交互注意力模块（RAM）与双重注意力模块（DAM）用于提升显著性特征的表达能力。

图1 多任务学习框架结构

2、多模态上下文感知学习

为进一步提高卷积神经网络中多层特征中的空间上下文信息表达能力，多模态上下文感知学习被引多模态学习框架中，如图2所示。

图2 多模态上下文感知学习

3、注意力感知特征融合模块

本文提出的注意力感知特征融合模块负责对两分支特征进行融合。其中交互注意力模块基于空间注意力结构增强显著对象区域相关的空间信息，而双重注意力模块基于空间注意力结构与自注意力结构实现多分支特征融合。

图3 注意力感知特征融合模块中的DAM与RAM

实验结果及分析:

表1 图像域转换不同方法定量比较

表1给出了不同方法针对多模态遥感影像进行图像域转换多指标定量比较。可以看出，多任务学习框架相比于其他方法在MAE、PSNR及SSIM呈现出最佳的结果，但在

在模型大小和时间复杂度方面未能达到最优。

图4 ORIs转换为IRIs可视化结果对比

图4为ORIs转换为IRIs的可视化结果对比。从左至右，分别为：(a)输入图像（ORIs）；(b)真值图像；(c)Pix2pix；(d)CycleGAN；(e)DualGAN；(f)Pix2pixHD；(g)MUNIT；(h)DRIT；(i)本文方法。从图中可以看出所提方法更接近真值图像。

表2 显著性检测不同方法定量比较

表2中的模型大小与测试时间指标分别采取兆字节（MB）与毫秒（ms）的单位。表中方法均在自建数据集、ORSSD数据集和EORSSD数据集使用默认参数进行了相应再训练。因ORSSD和EORSSD数据集均为ORIs数据集，为此多任务学习框架将双分支WSA-GAN和MCL的结构修改为单分支结构来进行实验。如表2所示，所提方法在

、MAE及

指标中取得了较好的结果，同样模型大小和测试时间中未能达到最优。

图6 在红外遥感影像中不同显著性检测方法的可视化结果

图6展示了IRIs中不同显著性检测方法的可视化结果，从左至右分别为：(a)输入图像（IRIs）；(b)真值图像；(c)DAFNet-V；(d)DAFNet-R；(e)PoolNet；(f)DSS；(g)EGNet；(h)RCRR；(i)RRWR；(j)本文方法。本文方法在具有多种属性的图片中都体现出了较高准确率的显著性检测性能，具有更高的鲁棒性。

图7 注意力感知策略消融实验可视化对比

图7展示了针对注意力感知策略的消融实验，从左至右分别为：(a)输入图像；(b)真值图像；(c)单路由胶囊网络+BGNet；(d)AACNet+BGNet。如图所示，借助注意力感知策略的多任务学习框架具有较高的显著性检测准确率。

结论:

本文提出了一种具有权重共享策略的WSA-GAN，从遥感图像合成互补模态图像，尝试解决IRIs图像不足问题；并构建互补的视觉特征，以实现多模态遥感图像的显著性检测。通过构建AACNet进一步增强多模态目标特征表达能力并通过潜在空间将其进行关联，以解决经典CNN对方向性不敏感问题。最后，通过多尺度特征学习网络、边界感知块和胶囊显著图生成最终的显著性检测结果。

作者简介:

连远锋，副教授

博士，硕士生导师。科研工作涉及图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。同时从事遥感影像处理、数字孪生与智能机器人巡检、基于粒子的泄漏模拟与可视化等技术开发与工程应用工作。