论文题目：基于边缘强化神经拉动模型的三维表面重建

录用期刊/会议：红外与激光工程, (EI中文期刊)

见刊时间：2024.06.25

作者列表：

1）徐宝昌 中国石油大学（北京）人工智能学院 自动化系 教师

2）王毅豪 中国石油大学（北京）人工智能学院 控制科学与工程 研23

3）郝围围 中国石油集团工程技术研究院有限公司钻井工艺研究所

4）尹士轩 中国石油大学（北京）人工智能学院 控制科学与工程 博23

5）王 威 中国石油集团工程技术研究院有限公司钻井工艺研究所

6）李雅飞 中国石油集团工程技术研究院有限公司钻井工艺研究所

摘要:

通过学习空间点云数据的符号距离函数(SDFs)进行三维表面重建是当前的研究热点。为重建出高精度的水密模型，神经拉动(NP)采用点云拉动，以训练同步更新SDFs，但在实际重建过程中，重建模型会因为点云存在噪声和缺失而导致重建结果不够精细，带来错误的表面重建。针对以上问题，本文引入边缘提取强化输入点云的边缘信息，提出利用残差学习机制的边缘强化神经拉动模型(NPEE)。为确保重建表面平滑的同时能够获取更多的表面细节，该方法在保留原本神经网络用于学习SDFs的基础上引入一个新的网络，利用残差学习机制学习点云的边缘SDFs。同时在原始点云的基础上，引入边缘因子，结合学习的边缘SDFs，通过点云边缘的鲁棒提取强化输入点云。为验证算法模型的优化效果，本文采用目前广泛使用的ABC数据集、斯坦福扫描模型和模拟扫描数据集设计对比实验，实验结果以及评估指标(CD)表明，NPEE可以有效改善神经拉动算法在边缘表面重建的缺陷，同时和其他重建方法相比，NPEE在面对稀疏点云和含噪点云时仍能保证重建的精确性和完整性。

背景与动机:

符号距离函数(Signed Distance Functions，SDFs)是三维模型的一种重要表示方式，广泛应用于计算机图形学和视觉模拟领域。对于复杂的三维模型，SDFs能够有效地表示模型细节以及尖锐特征。目前的方案是使用深度神经网络模型，从空间点云数据学习SDFs，并进一步利用移动立方体方法(Marching Cubes，mcubes)重建三维表面。其原理是通过离散空间点云之间的邻近距离直接学习点云的无符号距离场(Unsigned Distance Functions，UDFs)，再通过点云中表现更多的信息获取距离场的符号。用空间点云学习三维模型的SDFs来重建三维表面的方法如今得到了广泛的应用，但仍面临着依赖基准监督和大规模梯度计算等问题。Groop等提出一种损失函数，使输入点云具有隐式几何正则化属性，有利于生成平滑和自然的零水平集表面，但该方法需要依赖基准真值(Ground Truth，GT)进行监督，当原始点云不包含梯度信息时，重建效果较差；Ma等基于表面先验，通过将查询点投影到曲面三维表示来学习点云数据的SDFs，但该方法在面对稀疏点云时，有时不能正确识别SDFs；Chibane和Chen分别利用梯度信息和离散网格对SDFs进行优化估计，以获取更加细致的重建曲面，但该方法依赖大规模的梯度计算，在面临缺陷点云时离散网格往往会产生错误的表面估计，不利于三维模型的正确表示。

神经拉动(Neural-pull，NP)是一种从离散空间点云信息中获取高质量SDFs并进行表面重建的方法，旨在使用预测的SDFs和查询点的梯度信息将查询点拉动到重建表面上。该方法的特点是模型训练过程无需基准真值GT的符号距离值作为监督，同时在训练过程中同步更新符号距离值以及梯度信息高效学习点云SDFs，确保了重建准确性的同时具备较高的重建效率。然而，实际获取的空间点云数据不可避免地存在噪声以及缺陷，会使重建表面出现边缘缺陷的现象。例如，Ma指出NP在处理相对离散的边缘点云时，重建的三维模型无法表现清晰的细节特征；Chen指出面对多层次复杂结构点云，NP重建的三维模型出现了重建断层。

设计与实现:

针对NP的边缘过拟合问题，本文提出一种改进思路，引入边缘提取强化输入点云的边缘信息，提出利用残差学习机制的边缘强化神经拉动模型，在文中被称为基于边缘强化的神经拉动(Neural Pull based on Edge Enhancement，NPEE)。如图2所示，它主要是由EN边缘构建网络(Edge-construction Network)和NP神经拉动网络(Neural-pull Network)组成。EN边缘构建网络提取空间离散点云的边缘SDFs，并基于边缘因子提取出点云的边缘特征。NP神经拉动网络提取全局SDFs特征，并通过mcubes移动立方体算法完成总体的表面重建。

  边缘构建网络采用残差网络结构，该网络以空间离散点云的位置编码向量作为输入，输出用于预测空间点云SDFs参数，以构建致密的0基准隐式表面。边缘点云提取算法采用一种快速、鲁棒的方法，通过分析每个点的k-临近(k-nearest neighbor)的协方差的特征值，提取点云边缘的尖锐特征。神经拉动网络采用神经拉动算法，该网络先将边缘加强的重组点云的位置编码向量输入到MLP骨干(backbone)得到对应的特征值，该特征值将用于计算每个空间离散点的SDFs值，并根据学习的SDFs反向传播的梯度信息进行拉动操作，更新输入点云的位置编码向量以及SDFs。经过这样对点云的多次迭代计算SDFs值以及拉动操作后，输出用于预测空间点云SDFs的神经网络参数，并构建全局SDFs信息，提取SDFs的0等值面，通过mcubes移动立方体算法输出水密的3D网格。

图 1 神经拉动在2D表面上的示例：将离散的点拉到2D表面上，其中、为梯度信息，、为符号距离值

图 2 算法框架

实验结果及分析:

本文的主要目标在于NP的边缘过拟合导致边缘缺失的问题。下面的实验首先对广泛使用的数据集进行表面重建，比较重建效果；然后进行稀疏点云重建，与不同的重建方案进行定量定性的分析。

为验证引入边缘提取强化输入点云边缘信息的有效性，本文以ABC数据集为基准，参考文献所进行的验证方法，随机选取个点作为输入，分别采用NP和NPEE进行重建实验。得到的重建结果由图3所示。可以明显得到，NPEE所重建的表面更接近基准真值，边缘完整性明显优于NP重建结果。稀疏点云的重建任务中，进行重建任务之前，需要将基准真值的网格转化为空间离散点云，离散点云的提取标准为随机提取真值点云的3%，得到的重建结果如图4所示。由于DeepSDF的重建结果无法正确收敛，所以得到的CD距离相对较大。与Onsurface和NP相比，本文方法在实验数据上都有一定的提升，这表明了本文所提方法在空间离散点云重建方面的优越性。

图 3 边缘强化输入有效性分析

图 4 与其他表面重建方法的定性对比

面对包含噪声、内部存在较大空洞的点云时，DeepSDF会出现错误的表面拟合，例如anchor和gargoyle。由于噪声的影响，NP的重建效果较差，anchor、children和gargoyle模型重建结果均出现了不同程度的破损。Onsurface和NPEE都重建出了完整的网格模型，但在重建的细节上缺乏一定的表现，例如，对anchor的重建缺乏元件中心空洞的轮廓，对children的重建不能完全分离重建每个角色的足部，对gargoyle的重建翅膀末尾出现了较大面积的破损。本文方法重建扫描件与元件基准真值具有最小的CD值，表明本文方法在面对噪声点云时具有一定的泛化能力。

图 5 面对含噪点云的扫描结果

小结:

(1)本文针对神经拉动算法在稀疏点云和含噪点云重建中所出现的边缘缺陷问题提出一种改进思路，提出利用残差学习机制的边缘强化神经拉动模型NPEE。

(2)本文在模型中引入边缘因子，设计一种EN边缘构建网络以构建空间离散点云的边缘SDFs并以此强化原始输入点云，从而优化了重建的效果。

(3)为验证算法模型的优化效果，本文采用目前广泛使用的ABC数据集、斯坦福扫描模型和模拟扫描数据集设计一系列对比实验。首先，将NP和NPEE的重建结果进行对比，验证了引入边缘提取强化输入点云边缘信息的有效性；然后，基于ABC数据集和斯坦福扫描数据集，设计了重建实验，数据结果表明，和其他重建结果相比，本文所提方法边缘特征明显、完整度高，CD指标显著低于其他重建结果，有效提升了重建质量。

(4)为了探讨重建过程中每一个环节所产生的作用，本文设立了消融实验。首先，设定不同的进行重建实验，得到边缘因子的最佳取值为0.03；其次，针对EN边缘提取网络的残差结构设计消融实验，重建结果和CD指标验证了残差结构优化边缘重建的必要性；最后，基于模拟扫描数据集，并与其他重建方法进行对比，数据结果表明，CD指标低于其他重建方法，NPEE重建结果最接近基准真值。

(5)本文主要关注空间三维点云的表面重建，对于具有复杂集合特征的开放性空间，近期基于点的神经辐射场 (3D Gaussian Splatting，3DGS)展示了新颖的三维表面重建思路，可以作为下一步的研究方向。

作者简介:

徐宝昌，教授,博士生导师/硕士生导师。长期从事复杂系统的建模与先进控制；钻井过程自动控制技术；井下信号的测量与处理；多传感器信息融合与软测量技术等方面的研究工作。现为中国石油学会会员，中国化工学会信息技术应用专业委员会委员。曾参与多项国家级、省部级科研课题的科研工作，并在国内外核心刊物发表了论文70余篇；其中被SCI、EI、ISTP收录30余篇。