多尺度注意力相似性引导网络小样本语义分割

论文标题 : Multi-scale Attentional Similarity Guidance Network for Few-Shot Semantic Segmentation

录用期刊：Neural Computing and Applications (JCR Q1)

DOI：10.1007/s00521-022-07494-w

作者列表:

1) 刘泽宇 (中国石油大学(北京) 信息科学与工程学院 控制科学与工程 博20)

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院)

背景与动机:

尽管最近的研究取得了可喜的进展，但仍存在以下挑战：

（1）高级语义特征利用不足。（2）分割比例导致的不一致。高层次的原型向量缺乏像素级的细节。

为此，本研究提出了一种多尺度注意力相似性引导网络（MASGN），该网络利用注意机制强化多尺度对应关系和相似性引导关系。通过分别考虑前景和背景区域，比较支持图像和查询图像的特征来获得相似性图。目标感知相关模块构造注意向量，用于封装用于跨尺度预测过程的引导信号。为了更好地了解支持图像和查询图像之间的相关性，在分割过程中引入了门控注意力机制，该机制综合考虑了两侧有用的视觉线索，目的是更好地根据各自的固有特征分配信息。

设计与实现:

本文提出了两个改进小样本语义切割框架，涉及来自前景和背景对应的跨尺度交互和注意力引导机制。语义模式存在于基于距离的相似度图以及相应的多尺度版本中，这使得探索此类相关视觉线索进行小样本语义分割成为可能。在这项工作中，提出了一个跨尺度制导模块，用于升级强大的特征表示，并动态融合来自高、中、低级别特征的互补信息。同时，利用对象感知相关模块生成的注意向量来引导相似度图和像素级特征，生成鲁棒、准确的语义掩码。引入的引导模块简化了由注意机制强化的分割过程，这是获得鲁棒性小样本分割的关键学习步骤。

图1： MASGN的总体流程图

实验结果:

在三个具有挑战性的数据集上进行的大量实验验证了该方法与其他性能最好的方法相比的有效性和优势。该方法在ResNet-50骨干网络上仅需4.2M的可训练参数即可获得良好的性能，证明了该方法的有效性。在未来，我们计划集成transformer模块，以在小样本分割中提升共现视觉线索。

图2：在one-shot设置下，对新类的所提方法进行定性评估。顶部面板显示Pascal-5i的结果，而底部面板显示COCO-20i的结果。每一行显示对一个类别的预测。每个类别提供两个样本。对于每个样本，从左到右，每一列分别表示带有掩码（蓝色）、查询图像、预测（蓝色）和基本真实语义掩码（红色）的支持图像。

结论:

1、提出了一种基于注意力机制的小样本分割网络，该网络有效地利用注意向量和相似度图的引导，以合理的计算代价分割出新的类对象。

2、提出了跨尺度制导，从高、中、低三个层次的特征中动态融合多尺度语义，这对于获得准确的结果至关重要。

3、对PASCAL-5i、COCO-20i和FSS-1000数据集的广泛评估表明，MASGN具有良好的性能和高效率（即只有4.2M的可训练参数，使用ResNet-50主干网络），这证明了所提出方法的有效性和优势。

作者简介:

刘建伟，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn