当前位置： 主页 > 学术动态 >

CBFLNet：用于大规模点云分割的跨边界特征学习

点击数:   更新日期: 2023-09-06

中文题目：CBFLNet：用于大规模点云分割的跨边界特征学习

论文题目：CBFLNet: Cross-boundary feature learning for large-scale point cloud segmentation

录用期刊/会议：【Engineering Applications of Artificial Intelligence】 (JCR Q1 TOP, CCF-C)

原文DOI：【https://doi.org/10.1016/j.engappai.2023.106926】

原文链接：https://www.sciencedirect.com/science/article/pii/S0952197623011107

录用/见刊时间：2023.8.19

作者列表：

1) 朱丽萍 中国石油大学（北京）信息科学与工程学院 计算机系教师

2) 彭 聪 中国石油大学（北京）信息科学与工程学院 硕21

3) 王丙垚 中国石油大学（北京）信息科学与工程学院 硕19

4) 李承阳 北京大学计算机学院 计算机软件与理论专业 博20

5) 朱凯杰 中国石油大学（北京）信息科学与工程学院 硕20

背景与动机:

三维点云语义分割是指在3D场景中，为每个独立的点云数据预测出其所属的语义类别。三维点云语义分割在自动驾驶、增强现实以及机器人导航等领域有重要的科研和应用价值。

现流行的基于点的点云语义分割方法存在以下三个问题：（1）隐式的局部几何特征学习方法计算复杂度高，且不能准确捕获点云的局部细节信息；（2）使用FPS和三线性插值算法对点云进行采样，会造成特征偏移，间接导致模型的精度损失；（3）受GPU显存的限制，在对大场景点云数据进行语义分割时，需要采用滑动窗口策略，将整个场景的点云划分为多个独立的点云块，并分开预测。然而由于局部上下文信息的缺失，分块边界处的语义分割效果通常并不理想。当单个物体被划分到多个分块中时，这一问题表现更加突出，如图1(a)所示。因此，如何设计一个能实现相邻分块之间语义互动且快速捕获无偏点云局部信息的语义分割框架是一个重要的研究方向。



图1 使用或不使用跨边界特征融合的边界分割效果对比图

设计与实现:

为此，本文提出一种具有跨边界特征学习能力的点云语义分割网络（CBFLNet），有效地解决了滑动窗口引起的分块边界处语义分割效果不佳的问题，并能实现快速的无偏点云局部几何信息提取。整体框架图如图2所示。



图2 CBFLNet的整体架构和CBFF模块的实现细节

为了加速点云局部特征信息的学习，本文显式的为每个点云构建一个局部表面，并计算局部表面的中心点、法向量以及极坐标角度等参数，并通过一个局部聚合器为每个点云附加局部几何信息；此外，为了实现无偏的特征采样，本文舍弃了常用的FPS及三线性插值的方式，并设计了具有对称采样特性的FD和SU模块，通过逆映射局部特征加权的方式，有效避免了KNN在上下采样时固有的不对称性带来的特征偏移问题。FD和SU模块的实现细节如图3所示。



图3 FD和SU模块的实现细节

为了使模型具备跨边界特征学习能力，促使不同点云块的信息交互，本文参照Swin-Transformer的思路，将两个具有重叠区域的点云块作为模型输入，通过CBFF模块实现分块之间的语义传递。CBFF模块使用vector-attention算法以及残差连接来实现不同分块之间的语义信息融合，算法的整体思想如图4所示。



图4 CBFF模块的融合步骤

实验结果及分析:

在S3DIS和Semantic3D数据集上地表现分别如表1和表2所示，CBFLNet能够快速、高质量的完成点云语义分割。通过结果主要有以下三点观察：

  1. CBFLNet比起SOTA方法PointTransformer，在S3DIS和Scannet数据集上的都持续有更高的分割精度，其中S3DIS 6-fold的mIoU提升了1.4%，Scannet的mIoU提升了0.6%。在Scannet上的相对表现明显优于S3DIS Area5区域，这是因为Scannet数据集中的点云相对稀疏，为无偏的特征采样算法提供了优势。

  2. CBFLNet比起PointTransformer，需要2.0

    少的网络参数，以及1.3

    少的FLOPs，这得益于显式的局部特征提取方式，能有效降低信息提取所需要的参数量。

  3. 图5的可视化效果可以看出，CBFLNet在分块边界处的语义分割效果明显提升，证明提出的跨边界特征融合模块的有效性。

表1 S3DIS数据集上与最新方法的性能比较



表2 Scannet数据集上与最新方法的性能比较





图5 S3DIS数据集上的可视化效果对比图

结论:

本文提出了用于大规模点云语义分割的跨边界特征学习模型 CBFLNet。该模型专门用于提高区块边界的语义分割精度。CBFLNet 由三个主要部分组成：显式局部表示（ELR）模块、对称采样模块和跨边界特征融合（CBFF）模块。ELR 模块通过明确构建本地上下文信息来辅助 CBFF 模块的特征学习。对称采样模块用于促进编码器-解码器结构的对称实施。同时，CBFF 模块使模型具有跨边界的几何感知能力。通过在 S3DIS、ScannetV2 和 Semantic3D 数据集上的大量实验结果，证明了 CBFLNet 在大规模语义分割方面的先进的性能。

作者简介:

朱丽萍，博士

中国石油大学（北京）计算机系副教授，硕士生导师。目前主要研究方向是大数据和数据挖掘方向，尤其关注深度学习在计算机视觉方向上的应用，已发表论文多篇高水平论文。

联系方式：zhuliping@cup.edu.cn