中文题目：步态协调特征建模与多尺度步态表征方法研究

论文题目：Gait coordination feature modeling and multi‑scale gait representation for gait recognition

录用期刊/会议：International Journal of Machine Learning and Cybernetics (中科院SCI 3区，JCR Q2)

原文DOI：https://doi.org/10.1007/s13042-024-02120-8

原文链接：https://link.springer.com/article/10.1007/s13042-024-02120-8

录用/见刊时间：2024.02.11

作者列表：

1） 朱丹丹 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机系教师

2） 季来虎 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机科学与技术专业 硕20

3） 朱丽萍 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机系教师

4） 李承阳 北京大学计算机学院 计算机软件与理论专业 博20

文章简介:

本文提出基于模型的GaitSkeleton方法用于步态识别。GaitSkeleton利用骨架序列作为步态表示，通过图卷积网络（GCN）和时间卷积网络（TCN）提取步态时空特征，同时结合步态协调特征和多尺度步态表征，有效提高了步态识别的精度。

摘要:

步态识别是一种先进的生物特征识别方式，根据个体的行走姿势进行身份识别。目前，大多数步态识别方法采用轮廓图像作为步态的主要表示形式。然而，包含衣服和随身物品细节的轮廓信息可能会干扰步态特征的提取。为此，我们提出了GaitSkeleton，一种利用骨架序列作为步态表示的新方法。GaitSkeleton对步态的运动协调特征进行建模，并结合三尺度空间特征，得到具有判别性的特征用于步态识别。为了捕获关节之间的协调关系，我们设计了一个协调特征学习器( Coordination Feature Learninger，CFL )。将CFL嵌入到ST - GCN模块中，以增强模型的表征能力。此外，我们引入了一种新的特征级联模块MSCM，通过在3个尺度上采样空间特征，进一步增强了判别信息。整个网络显著增强了步态特征的判别性。在CASIA-B数据集上的实验结果表明，该方法在基于模型的步态识别中取得了最先进的性能。

背景与动机:

步态识别可以根据个体的行走姿势来识别个体，具有广泛的应用领域，如公共安全、犯罪预防和门禁系统。然而，当前大多数步态识别方法存在以下三个问题：（1）使用轮廓图像作为步态的表示形式，但轮廓信息中包含有关服装和携带物品的细节，存在干扰步态特征的提取的可能性；（2）如图1所示，关节之间的协调关系是步态识别中重要的区分特征，大多数现有方法忽视了步态的协调信息，导致步态特征的区分能力较弱；（3）个体之间的步态变化呈现多尺度性质，不同个体的关节运动、肢体运动和身体姿势存在差异，如图2所示。为此本文提出GaitSkeleton方法，利用骨架序列作为步态的表示形式，同时结合步态协调特征和多尺度步态表征，旨在提取更具区分性的步态特征，从而提高步态识别的准确性和鲁棒性。

图1 关节之间的运动协调

图2 步态差异的多样性

设计与实现:

本文将步态视为骨架序列，首先利用输入姿势估计网络HRNet生成骨架步态序列。接着先提取骨架步态序列的浅层特征，再使用协调特征学习器(CFL)提取协调特征与时空特征融合得到深层特征。随后，深层特征经多尺度级联模块(MSCM) 得到关节、肢体和姿势三个尺度的特征，沿空间维度拼接形成步态特征，最后使用SupCon损失来训练整个提出的模型。整体架构如图3所示。

图3 GaitSkeleton方法架构

为了捕获关节之间的协调关系，我们设计了一个协调特征学习器(CFL )，首先计算关节特征之间的点积相似性，并通过softmax函数将它们映射到区间(0, 1)，生成一个协调系数向量，如图4所示。通过连接每个关节的这些向量，得到一个协调系数矩阵。

图4 协调系数矩阵计算过程

如图5所示，我们基于协调系数矩阵来建模步态协调特征，通过汇总所有关节的信息获得步态协调特征。

图5 步态协调特征建模

为了增强步态特征的区分性，本文提出了基于人体骨骼图的多尺度级联模块(MSCM)获取多尺度步态表征，分别处理关节尺度、肢体尺度和姿势尺度的判别特征。具体细节如图6所示。

图6 MSCM结构

实验结果及分析:

在CASIA-B数据集上表现如表1所示，GaitSkeleton方法能在不同条件（即正常（NM）、背景（BG）和穿着（CL））有效提升步态识别的准确性。与基于模型的方法相比，在NM、BG和CL条件下，GaitSkeleton相比GaitGraph具有2.5%、3.7%和6.1%的识别准确率提升，可以看出GaitSkeleton在BG和CL条件下展现出最显著的改善。这可以归因于其减轻外观影响并提取高度具有区分性和稳健性的步态特征的能力。与基于外观的方法相比，在CL条件下，相比GaitPart，在在0°、108°和180°角度处，GaitSkeleton分别实现了0.5%、0.8%和5.3%的识别准确率提升。与GaitSet相比，GaitSkeleton在NM和BG条件下的识别准确率较低。然而，在CL条件下，GaitSkeleton超越了GaitSet，在180°处实现了21.8%的最大改善。这些结果突显了与基于外观方法相比，GaitSkeleton对服装和视角的优越稳健性。

表1 CASIA-B数据集上与最新方法在不同条件与不同角度下性能比较

本文进行了消融实验，实验结果分别在图7和图8中展示了有无CFL或MSCM的情况。可以看出，无论是否应用MSCM，CFL都提高了在所有三种条件下的识别准确率。

图7 不同角度下四种模型的识别准确率评估

图8 NM、BG和CL条件下，三种模型相对于Baseline的平均准确率提升情况

相比Baseline，CFL分别在NM和BG条件下将准确率提高了0.8%和2%，而在CL条件下激增至5.9%。如图7所示，只有在CL条件下，CFL在所有角度上都提高了准确率。实验结果显示了CFL的优越性，最显著的改进是在CL条件下实现的。这主要归因于CFL能通过捕捉关节之间的协调关系丰富特征的语义信息，同时CFL基于协调关系矩阵聚合所有关节的运动特征有助于减轻低质量关节的影响，并减少姿势估计引入的噪音。

从图8中可以看出，MSCM在不同条件下持续提高了识别准确率，当MSCM应用于Baseline时，在NM条件下提高了1.4%，在BG条件下提高了2.8%，在CL条件下显著提高了5.2%。如图7所示，MSCM提高了几乎所有角度的识别准确率，特别是在CL条件下大角度（大于或等于90°）的情况下。这主要归功于MSCM提取的多尺度特征包含更丰富的判别信息，比单尺度特征更有效地捕捉步态模式，并且肢体尺度和姿势尺度特征分别关注区域和全局运动模式，从而平滑了低质量关节引入的噪音。

结论:

本文提出GaitSkeleton，一种基于模型的新型步态识别方法，利用骨架序列作为主要表示形式。GaitSkeleton旨在捕捉关节之间的运动协调，丰富步态特征的语义信息。为此，我们引入了协调特征学习器（CFL）来有效建模步态协调特征。此外，我们还提出了一种新颖的多尺度步态表示方法，以增强步态特征的区分性。通过设计多尺度协调模块（MSCM）来提取多尺度步态特征，我们展示了其出色性能。CASIA-B数据集上的实验结果验证了我们方法的有效性。

作者简介:

朱丹丹，博士，中国石油大学（北京）信息科学与工程学院/人工智能学院智能中心副教授，硕士生导师。目前主要研究方向是强化学习和数据挖掘。

联系方式：zhu.dd@cup.edu.cn