化工过程智能辨识子采样递推二阶算法及混合策略

中文题目：化工过程智能辨识子采样递推二阶算法及混合策略

论文题目：A Hybrid Strategy Enhanced Sub-sampled Recursive Second Order Algorithm for Chemical Process Intelligent Identification

录用期刊/会议：International Journal of Computational Intelligence Systems (JCR Q3)

原文DOI：10.1007/s44196-023-00296-5

原文链接：https://doi.org/10.1007/s44196-023-00296-5

录用/见刊时间：录用2023.06.30 见刊2023.07.20

封面图片：

封面摘要：针对化工过程数据特点，提出了一种基于子采样方法和混合策略的子采样递归二阶随机梯度下降算法，用于化工过程智能辨识的长短期记忆网络训练。该方法采用一种新的Hessian逆递归方法来实现快速收敛，避免了经典二阶优化方法的高成本运算。

作者列表：

1） 王雅欣 中国石油大学（北京）信息科学与工程学院 控制科学与工程专业 博19

2） 徐宝昌 中国石油大学（北京）信息科学与工程学院 自动化系教师

摘要:

化工过程的精确动态模型是工厂成功实施先进控制的重要条件。本文提出了一种用于化工过程智能辨识的长短期记忆（LSTM）网络训练的高效二阶算法。采用一种新的Hessian逆递归方法来实现快速收敛，避免了经典二阶优化方法的高成本运算。此外，由于所提出的方法保留了神经网络的真实曲率信息，因此会反向传播更多的信息。针对化工过程数据量大的特点，提出了一种基于子采样方法和混合策略的子采样递归二阶随机梯度下降（SRSO-SGD）算法。在延迟焦化分馏塔上的辨识实验表明，所提出的子采样神经网络二阶训练算法在模型辨识精度和收敛速度方面优于其他学习算法。通过采用每3个训练时期进行一次Hessian逆估计的混合策略，在保持低训练和测试误差的同时，进一步降低了辨识过程中昂贵的Hessian反计算成本。

背景与动机:

最近，深度学习在许多科学研究和工程实践中得到了应用，研究表明，神经网络是表示回归问题中非线性动力学的有效模型。许多学者通过存储在分布式控制系统（DCS）中的大量历史数据来研究神经网络模型的智能辨识。在不同类型的神经网络中，LSTM对高度时间相关、高维和强耦合的数据具有很强的适应性，并已应用于化学工业中的软测量、辨识和故障诊断。为了提高识别模型的准确性，在特征选择方法和模型结构设计方面提出了许多智能辨识方法。此外，神经网络的学习性能在很大程度上取决于学习算法，该算法定义了模型如何处理数据中的底层信息。然而，在现有的基于神经网络的化学过程辨识方案中，很少提到对于训练算法的改进。

设计与实现:

1以基本的全连接神经网络（FCNN）的反向传播为例，提出了一种基于矩阵逆引理的包含实二阶导数信息的Hessian逆递归方法。由于LSTM通常用于化工过程辨识，因此导出了基于所提出的递归二阶（RSO）算法的LSTM权重更新方程，用于后续的辨识实验，并给出了RSO收敛性的证明。

2 将子采样方法与所提出的递归二阶算法相结合，以降低二阶信息的高计算成本，称为子采样递归二阶（SRSO）算法。通过均匀采样，可以以低成本计算二阶信息，从而加快收敛速度。此外，给出了用于估计Hessian的样本子集大小的条件。

3 提出了一种SRSO-SGD混合策略，以避免计算在所有训练轮次中计算Hessian逆矩阵。混合策略在固定周期使用SRSO算法训练神经网络，在保持训练和测试准确性的同时，进一步缩短了训练时间，使化工过程辨识快速高效。

主要内容:

1 Hessian逆矩阵递推方法

神经网络权重的更新方程描述为式

梯度和反向传播误差分别为

利用复合函数微分法计算反向传播误差对于权重的梯度

考虑矩阵逆引理，令P代表Hessian矩阵H的逆，可得

因此有基于m个样本的权重更新为：

2 RSO算法用于LSTM权值调整

LSTM网络权重的Hessian矩阵递推公式

3 RSO算法步骤

4 子采样递推二阶算法（SRSO）

在增加了子采样步骤后，每个训练轮次都仅使用一部分样本数据进行训练，这相当于通过一个相对简单的子问题来模拟整个复杂的大问题。权重的更新可表示为

用于训练NN的SRSO算法如下：

5 SRSO-SGD混合策略

6 基于SRSO-SGD算法的化工过程LSTM网络模型辨识

实验结果及分析:

所提基于二阶算法的动态化工过程辨识方法的有效性在延迟焦化分馏塔过程上进行了验证。从以下几个方面讨论了SRSO学习算法和SRSO-SGD混合策略用于训练LSTM网络的性能：（a）用于Hessian估计的数据量的影响，（b）混合策略的不同Hessian更新周期的影响，以及（c）与其他的一阶和二阶学习算法的比较。

图1不同Nh 用于Hessian估计的训练误差及平均执行时间

图2 不同NHP用于Hessian估计的训练误差及平均执行时间

图3 不同优化算法用于分馏塔数据集的训练误差及平均执行时间

结论:

本文提出了一种基于子采样递推二阶算法和一种混合策略的化工过程LSTM网络模型辨识方法。RSO算法充分利用了网络的梯度和曲率信息，并结合了矩阵逆引理，实现了二阶收敛速度，避免了复杂的矩阵求逆运算。为了提高算法的执行效率，引入了子采样操作和SRSO-SGD混合策略，以降低在每个训练时期估计Hessian逆所需的计算成本。此外，还详细描述了基于LSTM的SRSO-SGD算法的化工过程辨识框架。在分馏塔数据集上的实验结果表明，SRSO算法只使用一小部分数据来估计Hessian逆，可以实现与RSO算法类似的训练和测试精度。与现有算法相比，所提出的基于LSTM模型和SRSO-SGD算法的方法能够快速有效地辨识化工过程，有助于提高先进控制在实际装置上中的应用效果。

作者简介:

徐宝昌，副教授，博士生导师，中国石油大学（北京）信息科学与工程学院副院长。现为中国石油学会会员，中国化工学会会员。曾参与多项国家级、省部级科研课题的科研工作，并在国内外核心刊物发表了论文70余篇；其中被SCI、EI、ISTP收录30余篇。