基于卷积核相似度排序和再分配的小样本语义分割方法

中文题目：基于卷积核相似度排序和再分配的小样本语义分割方法

录用时间：论文录用时间:2022年6月30日

论文题目：Kernel-based Similarity Sorting and Allocation for Few-Shot Semantic Segmentation

录用期刊：Neural Computing and Applications （JCR  Q1）

作者列表：

1) 刘泽宇 (中国石油大学(北京) 信息科学与工程学院 控制科学与工程 博20)

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

背景与动机:

得益于大规模标签数据和深度学习算法的发展，语义分割方法近几年取得了很大的进步。但这些方法有两个局限：1）过度依赖带标签数据，而这些数据的获得通常消耗大量人力物力；2）训练好的模型并不能处理训练过程中未见的新类别样本。

为了克服现有方法存在的问题和缺陷，小样本语义分割方法被提出来，它的目的是通过对少量样本的学习来分割新类别样本。之前的研究使用原型匹配或基于距离的度量学习来解决少样本分割问题。本文，我们引入了基于卷积核的相似度匹配模型，使用前景和背景语义来指导语义分割过程。样本和待生成图片之间的关系能够在卷积核的帮助下被生成出来。此外，我们提出了相似度排序和再分配过程，以更好地探索前景和背景引导信息。具体来说，相似度排序模块为每个像素校准最相似的语义模式并生成索引向量。而再分配模块能够根据索引向量在相似度图上选择最具代表性的对应关系。为了整合来自相似性特征图上的指导信息，我们定义了一个金字塔范式，它逐渐整合指导信号、查询特征和掩码先验信息。我们在PASCAL-5i、COCO-20i和FSS-1000数据集上进行了大量的定性和定量实验。实验结果表明，我们的方法在计算成本合理的情况下优于最先进的方法。

设计与实现:

本文中，我们提出了一种新颖的基于卷积核的小样本语义分割方法，该方法首先使用卷积核建立样本和查询图片的对应关系。然后，相似度排序模块校准了前景和背景相似度的显著程度。该模块探索通道特征的相互关系并生成索引向量，再分配模块进一步利用该索引向量选取最有价值的引导信息。具体来说，基于相似度图的每个通道都被视为一个相关检测器，它专注于查询和样本特征中最相似的语义模式。我们提出的机制对于处理判别特征和保留语义模式的空间上下文很重要。相似度排序过程通过通道重新校准来完成，它根据每个通道特征对前景和背景语义的重要性生成索引向量。而再分配模块选择相应的通道特征来生成引导信号。这种自适应相似度重新校准策略能够为新类别对象提供有价值的引导信息，对于建立小样本图片与目标图之间的相互关系非常重要。此外，我们提出了一种聚合方法来融合多尺度和多通道特征，该方法不仅提高了性能，而且保持了计算效率。图1是我们提出的KSANet的总体流程图。

图1： KSANet的总体流程图

实验结果及分析:

在三个具有挑战性的数据集上的大量定性和定量实验证实了KSANet与其它方法相比具有性能优势。我们的方法在计算成本合理的情况下优于最先进的方法。在未来，我们打算引入图神经网络，加强复杂场景中的语义匹配能力，进一步集成显著性检测模块以提升分割过程。

图2：KSANet在Pascal-5i基准测试数据集上的定性结果。顶部面板呈现成功的预测，而底部面板是失败案例。不同颜色的像素代表不同类别的预测。对于成功的结果，sup、que gt、pred分别表示样本图像、查询真实值和查询预测结果。对于失败案例，左侧表示真实结果，而右侧表示我们预测结果。

结论:

1、提出了基于卷积核的小样本语义分割网络，该网络将样本特征视为卷积滤波器的权重来有效地探索像素引导信息。

2、提出的方法具有较好的鲁棒性，能够有效地利用相似度排序和再分配策略建立匹配模式，以合理的计算代价分割出新类别对象。

3、在PASCAL-5i、COCO-20i和FSS-1000数据集的广泛评估表明，KSANet具有良好的性能和效率。

通讯作者简介:

刘建伟，副教授，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn