点击数: 更新日期: 2022-07-01
原文题目：A novel neural network training framework with data assimilation
原文DOI：https://doi.org/10.1007/s11227-022-04629-7
作者列表：（按照原文实际顺序编写即可）
1) 陈冲（教师） 中国石油大学（北京） 信息科学与工程学院
2) 豆沂宣（学生） 中国石油大学（北京） 信息科学与工程学院 研21
3) 陈杰（学生） 中国石油大学（北京） 信息科学与工程学院 研21
4) 薛亚茹（教师）中国石油大学（北京） 信息科学与工程学院
摘要:
近年来，深度学习的成熟推动了人工神经网络的发展。然而，学习算法中对梯度的依赖及离线训练机制阻碍了人工神经网络的进一步发展。为避免人工神经网络对梯度的依赖，本文提出了一种基于数据同化的无梯度训练框架。使用正弦函数和墨西哥帽函数的回归案例，以验证所提出框架的有效性。均方误差和判定系数的定量比较表明，本文所提出的框架相比梯度下降法具有更好的性能，且所提框架同时可对神经网络参数进行不确定性分析。
具体实现:
1.数据同化
系统可以被视为随时间传导的状态方程和观测方程：
(1)
(2)
1.1. 集合卡尔曼滤波(EnKF)
在分析步骤中，观测数据Y 0受到随机误差扰动：
(3)
通过更新预测值来重新获得分析状态：
(4)
在时间t的分析协方差矩阵为：
(5)
其中，
(6)
(7)
定义卡尔曼增益矩阵，
(8)
1.2. 多数据同化的集合平滑器(ESMDA)
ESMDA 是一种迭代集成平滑器，具有用于数据同化的预定义迭代次数。在每次迭代的测量误差中引入膨胀系数αi，其中要求：
(9)
膨胀系数用于膨胀所有观测数据的扰动及其方程中的协方差矩阵，
(10)
(11)
2. 数据同化训练FNN
在 FNN 的角度，数据同化代替了反向传播过程中参数（w 和 b）的优化。顺序数据同化和 ESMDA 训练的 FNN 过程如下图所示。
图 1 a.顺序数据同化；b.ESMDA
数据同化训练FNN算法流程如下，
仿真实验:
通过两个合成案例验证 FNN 和 DA结合的性能。合成案例的主要目的是通过将所提出方法与传统梯度下降方法的性能进行比较，分析所提出方法在没有梯度信息的情况下生成准确估计的能力。在合成案例中，从正弦函数和墨西哥草帽函数生成两个回归数据集。采用不同的优化方法（GD、EnKF、ESMDA）来训练 FNN 模型。实验所使用所有方法见下表。
实验结果:
1.EnKF优化FNN模型性能
图 2 正弦函数使用梯度下降和EnKF优化的FNN结果比较
图 3 正弦函数使用EnKF和梯度下降法训练的参数
图 4 墨西哥草帽函数使用梯度下降和EnKF优化的FNN结果比较
图 5 墨西哥草帽函数使用EnKF和梯度下降法训练的参数
2. ESMDA优化FNN模型性能
图 6 正弦函数使用梯度下降和ESMDA优化的FNN结果比较
图 7 正弦函数使用ESMDA训练的参数
图 8 墨西哥草帽函数使用梯度下降和ESMDA优化的FNN结果比较
图 9 墨西哥草帽函数使用ESMDA训练的参数
作者简介:
陈冲，博士，中国石油大学（北京），信息科学与工程学院电子信息工程系，硕士生导师，中共党员。研究方向：数值模拟、参数反演、机器学习、信息融合、不确定性分析。联系方式：chenchong@cup.edu.cn