基于点线感知的异构图注意力视觉SLAM系统

中文题目：基于点线感知的异构图注意力视觉SLAM系统

论文题目：Point-Line Aware Heterogeneous Graph Attention Network for Visual SLAM System

录用期刊/会议：【Applied Sciences】 JCR Q2

原文DOI：https://doi.org/10.3390/app13063816

原文链接：https://www.mdpi.com/2076-3417/13/6/3816

录用/见刊时间：2023年3月

作者列表：

1） 连远锋 中国石油大学（北京）信息科学与工程学院 副教授

2） 孙浩 中国石油大学（北京）信息科学与工程学院 计算机技术专业 硕20

3） 董绍华 中国石油大学（北京）安全与海洋工程学院 教授

摘要: 针对复杂工业场景下由于纹理单一、几何结构复杂等原因导致的位姿估计精度低、鲁棒性差等问题，提出了基于点线感知的异构图注意力视觉同步定位与地图创建（SLAM）系统。首先，基于点与点、点与直线的几何关系构建了同步特征提取网络，分别利用点线感知注意模块引导网络获取关键区域几何关联特征；通过感知迁移的知识蒸馏策略对网络模型优化，进一步提高系统实时性。其次，为了提升图像点线匹配精度，提出了一种点线异构图注意力网络，利用边缘聚集图注意模块和交叉异构图迭代模块分别实现图内和图间学习，提高几何特征匹配结果的准确率。最后，将点线匹配问题转换为一个最优化问题，构建基于贪婪策略的近迭代方法对该优化问题进行求解。通过在KITTI数据集及多种生产场景进行实验，结果验证了本文方法的有效性。

主要内容:

SLAM系统框架

本文提出SLAM系统框架如图1所示。首先将新图像输入到PL-Net网络检测关键点和线段，并得到相应的描述子。然后将两幅图像点和直线特征传递到点线异构图注意力网络HAGNN得到增强后的特征，将其输入到GIPOT中得到点线匹配结果，进而计算当前帧的位姿。最后通过将局部地图中的特征重投影到当前帧，计算投影误差并经过SLAM后端完成建图。

图1 SLAM系统框图

点线特征提取网络

点线特征提取网络PL-Net 如图2所示。首先利用ORB-FPN模块提取图像各层特征，经过点感知模块和卷积层后与混合卷积模块桥接后进行上采样生成特征图，利用PG模块完成关键点提取；通过线段感知模块的分支生成中心点图和位移图；最后通过卷积与上采样操作生成点线描述子。

图2 PL-Net整体结构

异构图注意力网络

异构图注意力网络HAGNN如图3所示，为了增强匹配的精度，利用注意力图神经网络对来整合其他上下文线索并且提高其特征表达能力。

图3 异构图注意力网络结构

实验结果及分析:

表1 不同 SLAM 算法绝对轨迹误差与相对位姿误差对比

本文在KITTI数据集测试所提出的算法。实验采用的对比性能指标为绝对轨迹误差(absolute trajectory error，ATE)以及基于平移和旋转的相对位姿误差(relative pose error，RPE)，如表1所示。可以看出，本文系统的性能优于 ORB-SLAM2 ，特别是在具有强照明、运动模糊和低纹理区域较为困难的序列中，如06和09。由此可以看出多特征融合不仅提高了算法的准确性，而且避免了使用单特征的位姿求解算法可能出现的退化问题。

图4展示了ORB-SLAM2 和本文方法在KITTI 部分序列上的运行比较结果。可以看出，本文算法整体与ORB-SLAM2相当，但在如00，02和09序列中由于本文算法中包含线段特征有利于估计相机位姿，提高系统的鲁棒性，而仅点方法的ORB-SLAM2特征跟踪容易丢失。

图4 在KITTI数据集上的实验结果

如图5所示，在现实和虚拟油气站上验证了算法的可行性，采用Unity3D构建的四足机器人虚拟仿真平台。

图5 验机器人平台(a)物理实验机器人平台。机器人硬件包括摄像头、深度摄像头和IMU附加GPS/RTK用于地面真相估计(b)虚拟模拟平台

为了展现SLAM系统在虚拟场站中对点、线特征的提取和跟踪效果，本文截取了运行中的两帧图像进行提取和匹配，如图6所示。图6 (c)中颜色代表匹配的置信度。可以看出点、线融合的特征跟踪可以使SLAM算法获得更丰富、更有效的特征信息。

(a)线段提取结果

(b)点线提取结果

(c)点线匹配结果

图6点线特征跟踪的效果

虚拟场站使用四足机器人在石油场站中巡检。通过划定巡检路线，捕捉机器人摄像头采集到的图像序列，可以使用本文方法对扫描路径进行建图。图7(a)为设定好的机器人巡检路线。如图7(b)所示，当载体突然转向或是快速运动时，SLAM估算的位姿误差平均误差在20m以内，在平缓运动时误差可以缩小到5m，算法更贴近于真实轨迹。图7(c)中ATE曲线也稳定在较小的范围内，表明了本文算法具有较好的准确性和稳定性。

图7仿真平台轨迹跟踪结果

结论:本文提出一种基于点线感知的异构图注意力视觉SLAM算法，通过点线的几何关系同步特征提取网络PL-Net实现了两类特征的并行关联提取，并通过感知迁移知识蒸馏策略对网络模型进行优化，提高了特征提取的准确率和实时性。为了提升图像点线匹配精度，提出了一种点线异构图注意力网络，利用边缘聚集图注意模块和交叉异构图迭代模块分别实现图内和图间的特征聚合进而提高几何特征的表达能力。最后，将点线匹配问题转换为一个最优化问题，构建基于贪婪策略的近迭代方法对该优化问题进行求解。通过实验数据证明了本文提出算法的准确性和有效性。

作者简介:

连远锋，博士，现任中国石油大学（北京）副教授、硕士生导师。科研工作涉及图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。同时从事遥感影像处理、数字孪生与智能机器人巡检、基于粒子的泄漏模拟与可视化等技术开发与工程应用工作。