基于深度强化学习的深水隔水管喷射装置参数多目标优化框架

背景与动机:

在深海钻井作业中，表层导管喷射安装时间的控制和优化问题引发了广泛关注。导管喷射安装时间，由下入阶段的导管下入时间与静置阶段的导管静置时间两部分构成，其决定了整个安装过程的效率和成本。然而，这两个阶段的时间长度由多种喷射参数共同影响，其复杂度使得传统的优化方法常常无法给出满意的解决方案。因此，如何高效、准确地优化导管喷射安装时间，是深海钻井工作中亟待解决的重要问题。

设计与实现:

基于正交模拟实验，形成系统的数据集。经过特征提取和参数缩放预处理，将安装参数与喷射和静置时间联系起来。采用基于CAPQL多目标强化学习框架，建立了同时优化喷射时间和静置时间的马尔可夫决策过程环境。将该框架应用于选定的深海油气井验证。

主要内容:

设置导管喷射安装正交物理模拟实验，建立钻井压力、流量、钻头延伸和钻头与套管尺寸比等参数的数据集。详细记录了钻井和静置时间，经过特征提取和参数缩放预处理，将安装参数与喷射和静置时间联系起来，分析各钻井参数与地层参数对钻井时间的影响规律。

图1 导管喷射钻井实验原理图

图2 导管喷射钻井参数的影响规律

引入了一种基于全连接神经网络算法的导管喷射安装时间预测模型。考虑到输入特征和可用训练数据的特点，考虑捕捉输入特征和输出特征之间复杂的映射关系，选择全连接神经网络作为预测模型。添加Dropout层以减轻过拟合，通过粒子群优化确定模型的初始权值，以避免局部最优，使用网格搜索方法对学习率、隐藏层神经元数量和辍学率等超参数进行了优化。在此模型的基础上，建立了马尔可夫决策过程环境。考虑到喷射钻井时间和静置时间的内在矛盾，引入了帕累托边界的概念。

图3 预测模型的训练、验证和测试流程图

采用基于CAPQL多目标强化学习框架，建立了同时优化喷射时间和静置时间的马尔可夫决策过程环境。将该框架应用于选定的深海油气井验证。

图4 喷射钻进时间随迭代的变化

图5 静置时间随迭代的变化

结论:

通过深水地面导管套管喷射安装模拟实验，获得了导管套管喷射安装过程的大量数据，并将其汇编成样本集。在此基础上，建立了导管喷射安装时间的预测模型。该模型能够准确、高效地模拟导管喷射安装参数、喷射钻井参数、沉降之间的映射规律。

从导管喷射安装时间预测模型出发，考虑到导管喷射安装参数的实际工程约束条件，探讨了安装参数对安装时间的影响机理，为优化导管喷射安装参数奠定了理论基础。

为实现导管喷射安装时间的最小化，采用多目标深度强化学习算法对导管喷射安装参数进行优化设计。并形成了一套结构化的参数优化设计流程。通过在特定区块的目标井下进行实验验证，建立了优化导管喷射参数的Pareto边界。在Pareto前沿地区，证明了优化缩短套管射流安装时间的潜力。更重要的是该方法在优化导管安装时间方面适用于不同的土体环境。

Fig. Pareto Frontier upon Optimization Completion

Fig. Comparison of Jetting Installation Parameters Before and After Optimization.

作者简介:

宋宇，中国石油大学（北京）信息科学与工程/人工智能学院 自动化系教师，主要研究方向是海洋油气钻井、智能控制和钻井感知相关的研究工作。现主持国家自然科学基金青年项目、重点研发计划子课题等国家级课题5项，独立承担十余项企业横向项目，参研973、国家自然科学重点项目、联合基金项目、企业项目超30项。在JPSE、OE、FGCS、中国海上油气、石油钻采工艺等国内外主流期刊发表论文20余篇。