中文题目：基于振动信号Transformer神经网络的智能化滚动轴承故障诊断

论文题目：Intelligent Rolling Bearing Fault Diagnosis Based on Vibration Signal Transformer Neural Network

录用期刊/会议：CPCC 2024 (CAA-A类 会议论文)

作者列表：

1）李   爽 中国石油大学（北京）人工智能学院 自动化系 控制理论与控制工程专业 硕 22

2）李   强 中国石油大学（北京）人工智能学院 自动化系 控制理论与控制工程专业 博 22

3）李   康 中国石油大学（北京）人工智能学院 自动化系教师

4）高小永 中国石油大学（北京）人工智能学院 自动化系教师

摘要:

本文提出了一种新的滚动轴承故障诊断方法——振动信号Transformer神经网络(VSTNN)，该方法继承了Transformer编码器的多头注意力机制和残差连接的优点，在特征空间中聚合不同时间序列的振动信息，从而提高了长期依赖建模的性能。在此基础上开发了一种新的振动信号标记化策略，该策略通过结合从一维振动数据、类标记和位置嵌入中学习到的多个子序列特征来生成标记嵌入序列。此外，由于轴承故障诊断是一个仅以故障类别作为输出的序列到类别问题，所以VSTNN采用全连接神经网络替代传统Transformer解码器作为故障分类器，提高了计算效率，降低了内存使用，使模型更适应滚动轴承故障诊断。

背景与动机:

滚动轴承是大多数电气和动力驱动器中最重要的部件之一。准确诊断轴承故障对于保持电气和动力传动的安全平稳运行至关重要。在过去的几年中，基于深度学习的技术在轴承故障诊断中获得了广泛的应用，由于其优越的特征提取能力在该领域取得了优异的表现。然而，当涉及到提取长期依赖的特征时，大多数方法是低效的。

设计与实现:

（1）振动信号标记

首先将输入振动数据分割成多个子序列，使用线性投影层将子序列映射到高维嵌入空间。然后，引入了一个可学习的类令牌，与子序列向量组合产生一个无序令牌嵌入序列。由于故障发生后，振动信号总是发生变化，因此开发了批量重复的位置嵌入，将位置嵌入序列与无序令牌嵌入序列求和生成令牌嵌入序列。

（2）Transformer层

由N个相同的基本模块堆叠而成，每个基本模块由多头注意力机制和前馈网络组成，同时使用了残差连接和层归一化作为基本模块的输出。

（3）故障分类器

故障分类器将Transformer层提取的长时特征转换为独热码进行故障诊断。其结构由一个全连接神经网络和一个Softmax层组成。

图1 VSTNN模型的结构

主要内容:

注意力机制通过为不同的时间序列片段分配可学习权重，使标记嵌入序列中的每个标记都倾向于从其他标记中获取信息，从而更有效地获取长期依赖关系。在利用多头自注意力机制提取特征后，采用前馈网络学习更复杂的映射。该网络由两个线性变换和一个非线性激活函数组成。为了提高网络的收敛性，采用高斯误差线性单元激活函数代替ReLU激活函数。此外，在多头自注意力层和前馈网络的输出中同时使用了残差连接和层归一化。简而言之，由N个堆叠的Transformer层可以成功地将输入振动信号转换为用于识别最终故障类别的长期特征。

实验结果及分析:

本文采用凯斯西储大学公共轴承数据集来验证所提出的VSTNN在轴承故障诊断中的有效性和优越性。以12 kHz的采样率采集电机驱动端在四种不同工况下的振动信号。四种不同方法在四种不同工况数据集下的平均诊断准确率如表1所示。很明显，所提出的VSTNN在诊断准确性方面在统计上优于其他方法，证明了其优越性。此外，可以观察到，与之前的方法相比，所提出的VSTNN获得了最小的方差，这表明了它的稳定性。

表1 不同工况数据集下VSTNN与其他方法的比较结果(%)

为了进一步评价VSTNN的故障诊断结果，图2给出了4个数据集上最佳情况下VSTNN故障诊断结果的混淆矩阵。行显示样本的实际故障类别，列表示VSTNN预测的轴承故障类别。从结果可以看出，大部分误分类类别集中在“BF”故障类别上，这表明该故障类别是轴承故障诊断的一个挑战。

图2 VSTNN模型在不同数据集下的混淆矩阵

四种不同工况数据集的VSTNN的t-SNE特征可视化如图3所示。研究结果表明，不同类型的特征向量具有良好的类内紧密性和类间可分离性。

图3 VSTNN模型在不同数据集下的t-SNE特征可视化

结论:

本文提出了一种新的基于Transformer神经网络的滚动轴承故障诊断方法——VSTNN，该方法无需额外的信号处理即可实现对滚动轴承的一维振动信号进行分析。在VSTNN中，采用一种新的振动信号标记策略从一维振动信号中提取嵌入序列。特征之间的长期依赖关系可以通过具有多头注意力机制和残差连接的Transformer体系结构来学习。此外，VSTNN绕过了解码器模块并直接连接到故障分类器，以提高模型的复杂性。通过一个公共CWRU基准测试数据，验证了该方法的有效性。

通讯作者简介:

李康，师资博士后，博士，中国石油大学（北京）人工智能学院自动化系教师，主要研究方向为故障诊断与容错控制。