基于区域能量感知胶囊网络的三维形状匹配方法

论文题目：基于区域能量感知胶囊网络的三维形状匹配方法

录用期刊/会议：【计算机辅助设计与图形学学报】 (EI中文期刊)

录用/见刊时间：录用：2023年2月17日

作者列表：

1） 连远锋 中国石油大学（北京）信息科学与工程学院 计算机科学与技术系副教授

2） 陈梦琪 中国石油大学（北京）信息科学与工程学院 计算机科学与技术专业 硕 21

文章简介:

在分析三维形状匹配中局部形变识别能力不足等因素引起的匹配精度下降原因后，本文提出了一种基于区域能量感知胶囊网络的形状匹配方法。设计一个基于区域能量感知的胶囊网络(REA-CapsNet)来提高特征匹配结果的准确率。结果表明，所提出的方法在非刚体形状匹配中具有较高的准确度。

摘要:

针对三维形状匹配中局部形变识别能力不足而导致匹配精度不佳的问题, 提出一种基于区域能量感知胶囊网络的形状匹配方法. 首先基于区域能量合并规则对三维网格过分割子面片进行合并形成模型能量区域; 然后设计一个基于区域能量感知的胶囊网络(REA-CapsNet)来提高特征匹配结果的准确率, 通过能量迁移的知识蒸馏策略对网络模型优化, 进一步提高网络的收敛速度; 最后在功能映射函数中嵌入区域能量约束, 以获取准确率高且鲁棒性强的函数映射矩阵. 在FAUST, SCAPE, TOSCA和KIDS数据集上的实验结果表明, REA-CapsNet的总体平均测地误差分别达到0. 075 7，0.203 2, 0.081 8和0.134 2, 所提方法具有较好的准确性和泛化性.

背景与动机:

非刚性三维形状匹配在物体识别、图像检索、三维重建和计算机动画等领域得到了广泛应用。面向深度学习和函数映射的匹配研究已有诸多成果。但是, 如果三维形状匹配中需要配准的模型具有镜面型对称性时, 目前的匹配方法尚需进一步深入研究。

设计与实现:

首先将网格过分割成多个子面片, 通过能量区域相似性度量将子面片合并成区域。为了进一步提高特征表达能力, 采用能量感知图神经网络(EA-GNN)来学习同一层胶囊之间的关系. 然后，基于知识蒸馏策略, 在保持精度的前提下, 通过减少参数来提高网络的收敛速度. 最后, 在函数映射中引入区域能量约束, 并提出嵌入区域能量的语义损失函数, 以提高形状匹配的准确性和鲁棒性。

主要内容:

1、 三角网格区域能量匹配

对网格进行过分割后形成子面片, 将特征相似且属性相近的子面片合并为一类, 经过对子面片的聚类得到最终的分割结果. 为了降低子面片各向异性的影响, 这里定义能量匹配函数以计算每个子面片的能量, 并给出了能量区域合并规则.

定义1. 假设顶点

与

是边

的2个端点,

和

为顶点

与

的所在三角网格的法向量, 则边

具有的能量为

;

定义2. 假设中心点的

阶邻域内部点都是按照顺序存储, 顶点

的前一个顶点为

, 顶点

的后一个顶点为

, 则顶点

的能量为

;

其中, 顶点

的能量由同阶邻域内的相邻顶点之间的2条边的能量加权构成.区域内的顶点集合为

, 则区域的中心点被定义为

.

确定区域中心点后, 按照邻域范围对区域内顶点进行划分, 采用点能量公式求取每个顶点的能量值, 得到区域的能量值

定义3. 设原始流形

被分割成

个子面片并构成集合

, 每个子面片的中心点构成集合

, 子面片

与

可以合并当且仅当

(1)

;

(2)

;

(3)

.

通过区域能量值对过分割结果进行合并, 如果2个区域之间的能量值的差小于阈值

, 区域中心点的测地距离大于原区域中所有点

到中心点

的平均测地距离, 且连接2个区域中心点的边能量大于区域

的平均能量与区域

的平均能量的差值, 则将这2个子面片视为同一个区域构成部分以进行合并. 经过多次合并, 得到最终的网格分割区域.

2、多模态融合模块

基于功能映射框架设计REA-CapsNet, 利用胶囊网络增强网格表面形状的位置和方向特征, 如图1所示. 为了提高主胶囊与潜在胶囊间路由算法的特征映射能力, 这里提出了一个区域能量感知的胶囊网络, 通过构建胶囊之间的图关系来进一步提取更深层次的语义信息. 同时, 为了减少网络的计算量, 采用基于能量迁移的知识蒸馏策略对网络模型优化, 提高网络的收敛速度. 然后设计基于区域能量约束的功能映射函数并将区域能量约束作为损失函数的正则项, 以获得更精确的形状对应关系。

图1 REA-CapsNet结构

3、知识蒸馏策略

在能量感知图路由中引入知识蒸馏策略, 将复杂的深层教师网络知识转移到简单的学生模型中，如图2所示。

图2能量感知图路由中的知识蒸馏策略

实验结果及分析:

图3所示为4个不同非刚性数据集上human模型的过分割结果及区域合并结果. 实验表明, 该方法在这4类数据集的人体模型上取得了较好的合并效果. 为了进一步验证了区域能量合并规则的有效性, 在非人体模型上对过分割形成的区域进行合并, 如图4所示. 本文的区域合并规则同样适用于非人体模型, 具有较强的鲁棒性.

图3 4个数据集上human模型的过分割结果和区域合并结果

图4 4个数据集上human模型的过分割结果和区域合并结果

图4 不同

下超像素分割遥感影像结果

表1展示了REA-CapsNet与其他网络在原始FAUST数据集上的平均误差(Average Error, AE), 包括intra平均误差和inter平均误差. 本文方法得到的inter平均误差最小, 并且在intra形状匹配上也取得较高的匹配精度.

表1 8种方法在原始FAUST数据集上的平均误差比较

表2 在重采样4个数据集上的平均测地误差比较

表2展示了不同方法在4个重采样数据集上的平均测地线误差. 在重采样的FAUST数据集上, 该方法的误差比FMNet减少77.82%, 比SURFMNet减少54.75%, 比MGCN减少45.18%。

图5中展示了4种方法在cat模型上的匹配效果, 图6中展示了4种方法在centaur模型上的匹配结果. 从图中可以看出, 本文方法得到的三维非刚体形状匹配结果有较好的整体连续性.

图5 4种方法在重采样cat模型上的匹配结果比较

本文在功能映射框架的基础上, 提出了一种基于区域能量感知的非刚性形状匹配方法. 将胶囊作为图中的节点, 通过能量感知图路由进一步提取胶囊之间的语义信息, 并采用知识蒸馏策略对模型进行优化. 通过在功能映射中加入区域能量约束, 并将基于区域能量的语义损失作为正则化项, 可以学习到更具代表性的三维网格特征. 实验表明, REA-CapsNet 具有较强的鲁棒性和较好的泛化能力. 由于区域能量存在对特征差异不明显的子面片难以区分的局限性, 因此, 未来将考虑多核能量函数以解决这一问题.

作者简介:

连远锋，副教授

博士，硕士生导师。科研工作涉及图像处理与虚拟现实、机器视觉与机器人、深度学习与数字几何。同时从事遥感影像处理、数字孪生与智能机器人巡检、基于粒子的泄漏模拟与可视化等技术开发与工程应用工作。