中文题目：多变量时序标记Transformer及其在电潜泵故障诊断中的应用

论文题目：多变量时序标记Transformer及其在电潜泵故障诊断中的应用

录用期刊/会议：控制与决策 (国内EI中文期刊论文)

原文DOI：10.13195/j.kzyjc.2024.0266

原文链接：http://kzyjc.alljournals.cn/kzyjc/article/abstract/2024-0266

录用/见刊时间：2024年

作者列表：

1）李   康 中国石油大学（北京）人工智能学院 自动化系教师

2）李   爽 中国石油大学（北京）人工智能学院 硕士生

3）高小永 中国石油大学（北京）人工智能学院 自动化系教师

4）李   强 中国石油大学（北京）人工智能学院 硕士生

5）张来斌 中国石油大学（北京）安全与海洋工程学院 安全工程系教师

摘要:

电潜泵故障诊断对于确保安全可靠采油至关重要，但电潜泵数据呈现出的多变量、非线性和动态变化等复杂特性为该任务带来了严峻挑战。近年来，深度学习在复杂数据特征提取方面表现出的强大能力催生了一系列基于神经网络的电潜泵故障诊断方法。然而，多数方法忽略了电潜泵数据的动态特性及长时依赖特征提取困难的问题。针对上述问题，提出一种多变量时序标记 Transformer 神经网络实现电潜泵故障诊断。该模型设计了新的多变量时间序列标记策略，继承了引入多头注意力机制和残差连接的传统 Transformer 神经网络编码器在长时依赖特征提取方面的优势，用前向神经网络替代了传统 Transformer 神经网络解码器以简化模型复杂度。通过对油田现场故障数据分析，验证了该方法的有效性。实验结果表明，所提方法实现了 10 类电潜泵故障的精确诊断，相比流行的深度学习方法诊断性能更优。

背景与动机:

电潜泵（Electric Submersible Pump, ESP）是一种重要的人工举升采油设备，因其提液能力强、排量大、扬程高，被广泛应用于海上油田、沙漠油田以及复杂井况的中后期油田的采油任务中。然而，由于其结构复杂，组件繁多，长期运行在高温、高压、高杂质、高腐蚀的恶劣环境下，故障发生频率高且类型多，比如沉积物和固体颗粒对泵造成磨损和堵塞，电缆的绝缘和防水出现问题等。因此，及时准确地诊断电潜泵故障对于保证采油系统安全稳定运行至关重要。

设计与实现:

数据驱动的电潜泵故障诊断本质上是对多变量时间序列片段样本进行分类识别的问题。由于电潜泵故障数据是多变量时间序列片段样本，具有多变量、非线性、动态变化等特性，故障信息往往隐含在数据复杂交织的时间和变量维度中，如何从反映电潜泵运行状态的多变量时间序列信号中提取长时依赖特征成为准确诊断电潜泵故障的难点和关键。本文将针对这一挑战问题进行探索，提出基于多变量时序标记Transformer神经网络的电潜泵故障诊断方法。如图1所示，方法主要包含三部分：多变量时间序列标记，Transformer 特征提取及故障分类。其中，多变量时间序列标记模块主要对输入进行预处理，兼顾数据的多变量、非线性和动态变化等特性，将其合理地表示为标记嵌入序列；Transformer 特征提取模块从标记嵌入序列中提取长时依赖特征；故障分类模块则基于长时依赖特征辨识故障类型。

图1 基于多变量时序标记Transformer神经网络的电潜泵故障诊断方法框架

主要内容:

一、多变量时间序列标记

首先将 x 分成多个时间子序列，表示为：

然后利用一个线性投影层将子序列映射到高维嵌入空间，并引入可学习的类别标记，连接成标记嵌入序列，表示为：

为考虑引入时间步信息，拟将位置嵌入与标记嵌入相加生成标记嵌入序列：

基于上述前向运算，将得到作为后续 Transformer编码器输入的标记嵌入序列 Tseq。

二、Transformer特征提取

Transformer 特征提取层是整个算法的核心部分，该层通过栈式堆叠个独立的基础学习模块实现。具体地，每个基础学习模块中包含了一个多头注意力机制和一个前向网络，残差连接与层正规化也被用来改善模型精度和泛化能力。

图2给出了多头注意力机制的细节，将对每个不同的注意力头进行组合，并采用线性映射来得到多头注意力值，公式化表示为：

图2 多头注意力机制

前向网络用来将多头注意力提取到的特征映射为更加抽象的特征。具体地，前向网络包含两个线性变换层和一个非线性激活层。为了改善网络的收敛能力，采用高斯误差线性单元（Gaussian error Linear Unit, GeLU）激活函数取代传统的 ReLU 激活函数，具体表示为：

在Transformer层，残差连接和层正规化被用在多头注意力机制和前向网络的输出部分。具体地，可将多头注意力机制模块和前向网络视作子层Sublayer，它们的输出将表示为：

综上，多变量时序标记将通过栈式堆叠的Transformer层实现长时依赖特征提取，最终用于故障分类。

三、故障分类

考虑到传统 Transformer 神经网络解码器的输出是对编码器输入的重构，不适用于电潜泵故障诊断，而前向神经网络能够更加简单、高效地实现电潜泵故障分类，因此设计了基于前向神经网络的故障分类器。它的结构包含一个全连接层和一个softmax层，用于将由 Transformer 层提取的长时依赖特征转化为独热码。

基于多变量时间序列所属故障类别的概率值，利用极大似然准则即可实现故障类别的诊断结果。

实验结果及分析:

不同算法在四种不同评价指标上的对比结果呈现在表1中。从表1中可以看出 CNN和LSTM 的表现略差于 CNN-LSTM 的综合表现，这表明在 CNN 特征提取的基础上融合LSTM 时序依赖特征提取的效果更好。此外，两种用于处理多变量时间序列分类的 Transformer 变体方法 FormerTime 和Gated-Transformer 均呈现出优于上述三种方法的表现，表明 Transformer 相比传统深度学习方法（CNN和 LSTM 等）在长时依赖特征提取方面更具优势。更重要的观察是，所提方法的综合表现优于所有对比方法，表明所提方法中设计的多变量时序标记策略更适于处理在电潜泵故障诊断任务。

表1 不同算法在四种评价指标上的对比结果（%）

为更细致地分析不同方法的电潜泵故障诊断表现，在图3中绘制了不同方法的混淆矩阵。其中，行表示样本故障类别的预测值，列表示样本故障类别的真实值。从图中可以看出大多数诊断失败的情况发生在管柱漏失 LP、产液低 LL 和电气故障EF等几种故障，表明这三种故障模式相对比较复杂，是较难诊断的故障。多变量时序标记 Transformer 神经网络与其他方法相比在其余故障上的诊断表现更优。此外，考虑到不同方法提取到的数据特征的分布是评估模型泛化表现的重要指标，将不同方法提取到的特征进行了可视化。具体地，采用 t 分布随机近邻嵌入（t-distributed Stochastic Neighbor Embedding, t-SNE）方法对特征进行降维，并绘制在图4中。从图中可以看出，相比其他方法，多变量时序标记Transformer 神经网络展现了更优的类内紧凑性和类间可分性，进一步验证了所提方法的优秀特征提取能力和泛化表现。

图3 不同方法诊断结果的混淆矩阵

图4 不同方法对应特征的t-SNE可视化结果

结论:

本文提出了一种多变量时序标记Transformer神经网络，并将其应用于电潜泵故障诊断。区别于已有Transformer神经网络模型，多变量时序标记Transformer神经网络设计了新的多变量时序标记策略用于处理具有多变量、非线性、动态变化等特性的电潜泵数据，沿用传统 Transformer神经网络引入多头注意力和残差连接机制，实现了更优的长时依赖特征提取效果，并用前向网络取代了传统Transformer 神经网络的解码器实现了模型简化，使之更适于处理电潜泵故障诊断任务。最后在真实油田现场电潜泵故障数据上验证了所提方法的有效性和优越性。

作者简介:

李康，师资博士后，博士，中国石油大学（北京）人工智能学院自动化系教师，主要研究方向为故障诊断与容错控制。