融合NFFD与图卷积的单视图三维物体重建

论文题目：融合NFFD与图卷积的单视图三维物体重建

录用期刊：光学精密工程（EI中文期刊）

作者列表：

1. 连远锋 中国石油大学（北京） 信息科学与工程学院 计算机系 （通讯作者）

2. 裴守爽 中国石油大学（北京） 信息科学与工程学院 计算机系 研20级

3. 胡伟 中国石油大学（北京） 信息科学与工程学院 计算机系 研18级

文章简介:

为了解决复杂拓扑结构及非规则表面细节缺失等导致的单视图三维物体重建结果不准确问题，本文提出了一种融合非均匀有理B样条自由形变（NFFD）与图卷积神经网络的三维物体重建方法。首先，通过引入连接权重策略的控制点生成网络对2D视图进行特征学习，获得其控制点拓扑结构。然后，利用NURBS基函数对控制点坐标自适应特性建立点云模型轮廓间顶点的形变关系。最后，为增强细节信息，将混合注意力模块嵌入图卷积网络对形变后的点云位置进行调整，从而实现复杂拓扑结构和非规则表面的高效重建。在ShapeNet数据集的实验表明，CD指标平均值为3.79,EMD指标平均值为3.94，并在Pix3D真实场景数据集上取得较好重建效果。与已有的单视图点云三维重建方法比较，本文方法有效地提高了重建精度，具有较强的鲁棒性。

具体实现:

本文提出的网络结构如图1所示，包括控制点生成网络(CPGN)、NFFD自由形变和图卷积局部点云形变网络。首先将单幅图像输入到控制点生成网络生成三维模型的控制点，然后利用NFFD自由形变方法对模板模型进行调整，最后利用图卷积对局部点云进行调整，得到最终的三维点云重建结果。

图1系统整体流程图

主要结果:

图2 本文三维重建效果与3D-LMNet、Occupancy networks、DISN、PSGN对比图

图2展示了本文方法与3D-LMNet、Occupancy networks、DISN与PSGN在lamp、phone与monitor数据集上的重建结果对比。通过观察可以发现，本文方法在不同数据集下的重建精度高于其他方法。对于不同的几何结构都有良好的表达能力，并保留更多细节。

图3展示了本文方法和Pixel2Mesh、DISN、PSGN方法在bench与airplane数据集上对比结果。为了更好的展示对比效果，这里选取三种不同的Pixel2Mesh模型。可以看出，在非孔洞的airplane模型中，VGG-Pixel2Mesh重建效果与本文方法差别不大，但优于Stereo-Pixel2Mesh和ResNet-Pixel2Mesh；在有孔洞的模型中，本文方法明显具有更好的重建效果，能够更准确地表达物体的拓扑结构。

图3 文三维重建效果与Pixel2Mesh、DISN与PSGN对比图

关于作者:

连远锋，博士。现任中国石油大学（北京）副教授、硕士生导师。科研工作涉及图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。同时从事遥感影像处理、数字孪生与智能机器人巡检、基于粒子的泄漏模拟与可视化等技术开发与工程应用工作。