点击数: 更新日期: 2022-07-04
论文标题:：Hypergraph Attentional Convolutional Neural Network for Salient Object Detection
录用期刊：The Visual Computer（JCR Q2）
原文DOI：https://doi.org/10.1007/s00371-022-02499-x
作者列表:
1) 刘泽宇 (中国石油大学(北京) 信息科学与工程学院 控制科学与工程 博20)
2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院)
背景与动机:
图1： HACNet中提取特征的响应图和超图相关图的可视化。多层特征提取层有助于在单个正向过程中定位特定于显著性的图像区域。最后一列中的红色框表示可视化上下文区域的参考像素，而浅色表示显著性特征的激活程度。
尽管当前的研究在特征表示方面带来了很大的改进，但在以下方面仍然存在问题：
1、上下文信息利用不足。通常利用上下文特征来加强对显眼物体的检测。PiCANet的实验证明，通过识别每个像素特征的相关图像区域，可以有效地结合像素级上下文信息。在这项工作中，我们通过引入超图神经网络向前迈出了一步，超图神经网络具有为相关显著性特征建模相关性的内在能力，丰富了显著性对象的全局上下文。具体而言，如图1所示，hypergraph神经网络学习关注用红框标记的参考像素的上下文区域，其中颜色的亮度指示使用关联矩阵可视化的相关值。为了有效地集成超图上下文信息和卷积特征，我们提出了一种基于注意的特征融合模块，该模块突出了代表性特征并减少了冗余信息。所提出的贡献有助于从同质区域升级特征聚合，同时提高显著对象检测的效率，其速度大约是原始PiCANet的3倍。
2、卷积神经网络中的高层特征包含丰富的语义特征，有利于定位显著区域。然而，深层神经网络中的浅层特征表达空间信息，能够重建突出对象的局部细节。
设计与实现:
图2： 提出的超图注意卷积神经网络（HACNet）模型的管道。图像特征首先由主干特征网络（第3.1节中的BFN）提取。然后，注意力特征融合模块（AFF模块，见第3.3节）对多个层次的特征进行处理，该模块由低级分支和高级分支组成。在每个分支中，超图卷积层（第3.2节中的HC层）和注意特征（第3.3节中讨论了SA和CA）都被用来生成丰富的语义特征。它显示了高级和低级特征通过特征细化层（第3.4节中的FR层）进一步组合，该层突出显示各自的信息并抑制不显著的特征。输出由双迭代传播模块获得。Sup 1-4表示多级深度监督。
为了评估我们提出的方法的有效性和鲁棒性，我们在不同的骨干网络上进行了实验。在7个具有挑战性的数据集上的实验证明了该方法的有效性和有效性。根据运行速度评估指标很重要。该方法性能良好，计算量合理，VGG-16和ResNet-50分别达到25fps和18fps。
结论:
主要贡献如下：
1、将超图神经网络引入到显著目标检测中，同时增强了特征聚集，丰富了背景信息。
2、提出了一种新的注意特征融合模块，该模块利用特征细化层集成卷积分支和超图分支的互补特征。
3、我们提出了一种双重迭代传播模块，它结合了相邻层的特征，并逐步细化输
出分辨率。
4、提出了一种基于超图的注意卷积神经网络用于显著目标检测。对7个具有挑战性的数据集进行的实验评估表明，与最先进的方法相比，该方法具有良好的性能