中文题目：基于符号回归和钻井感知的实时优化多目标强化学习框架

论文题目：A multi-objective reinforcement learning framework for real-time drilling optimization based on symbolic regression and perception

录用期刊/会议：Geoenergy Science and Engineering (中科院大类2区)

原文DOI：https://doi.org/10.1016/j.geoen.2024.213392

原文链接：https://www.sciencedirect.com/science/article/pii/S2949891024007620?via%3Dihub

录用/见刊时间：2024年10月21日

作者列表：

1） 宋泽华 中国石油大学（北京）人工智能学院 人工智能 硕22

2） 宋   宇 中国石油大学（北京）人工智能学院 自动化系 教师

3） 杨   进 中国石油大学（北京）安全与海洋工程学院 海洋油气工程系 教师

4） 刘宝生 中海石油（中国）有限公司天津分公司

5） 高炳震 中国石油大学（北京）安全与海洋工程学院 海洋油气工程 硕22

6） 汤继周 同济大学海洋与地球科学学院 地球物理系 教师

摘要:

本文提出了一个多目标钻井参数优化框架，结合符号回归、时间序列网络和马尔可夫决策过程，以精确预测钻进速度、地层条件，并实时优化钻井参数。包括用于构建经验方程的多群体进化符号回归算法、用于数据预处理的变分模态分解和样本熵的集成，以及用于提高预测准确性的多头自注意力时间序列网络。分位数回归进一步估计钻取参数调整的范围。此外，还开发了一种钻井参数优化深度确定性策略梯度算法来自动进行实时参数调整。对南海乐东10-1 区块的实证分析表明，钻井速度显著改善：ROP 从 54.18 m/hr 增加到 122.17 m/hr，机械比能从 100.82 MPa 下降到 97.78 MPa，每英尺成本从 121.16 × 102 CNY /m 降低到 51.31 × 102 CNY/m。

背景与动机:

在全球能源转型的背景下，优化深水油气钻井参数对确保安全和提高效率至关重要。传统的钻速经验方程基于简化的物理假设，无法全面描述复杂的钻井过程。尽管神经网络模型能够捕获复杂的非线性关系，但其不透明性限制了模型的可解释性和泛化能力。此外，仅依赖随钻测井参数进行钻井参数优化存在固有局限性。数据获取通常在钻井活动发生后，导致实时参数调整无法达到预期效果。这些方法未充分考虑钻井作业中的滞后效应，亦未能动态适应不同钻进阶段的需求。钻井过程中的多目标优化还面临地质环境复杂性和不确定性的挑战，使得优化问题高度动态且非线性。传统算法难以及时响应地层变化，实时调整钻井参数，导致计算效率低下和响应能力不足。这使得同时实现提高钻速与优化能耗等多个目标变得具有挑战性。

设计与实现:

 

图1 工作流程

设计多进化符号回归 （MESR-DS）算法旨在钻井过程中构建钻速方程，以最佳方式映射钻井、泥浆录井和随钻测井参数之间的复杂关系，提供对钻井动态特性和各种参数之间相互作用的量化。

 

图2 不同 ROP 预测模型对训练井和邻井性能对比

图 2 比较了 FCNN 模型与两种ROP 方程在训练井和邻井中的性能。结果显示，FCNN 模型在训练井中取得了最低的 MSE和最高的 R²，优于高复杂度的 MESR-DS 方程和经典的 Bourgoyne-Young 方程。这表明 FCNN 模型在准确性和数据拟合方面具有显著优势。尽管高复杂度 MESR-DS 方程未达到 FCNN 模型的性能，但在捕捉地质变异性方面明显优于 Bourgoyne-Young 方程，后者因固定的参数设置而限制了对新地质条件的适应性。在预测邻井的 ROP 时，FCNN 模型和高复杂度 MESR-DS 方程的 MSE 值显著低于 Bourgoyne-Young 方程的 MSE 值。这表明高复杂度的经验方程在泛化能力上与机器学习方法近似。

使用VMD-CNN-BiLSTM-MA 模型预测关键测井参数，此外，引入分位数回归方法和分位数损失函数构建CNN-BiLSTM-MA-QA模型，用以预测关键钻井参数潜在调整范围，增强实时决策的适应性和响应性。使用南海乐东 10-1 区块的某口井现场数据，评估了 VMD-CNN-BiLSTM-MA 和 CNN-BiLSTM-MA-QA 模型在预测关键随钻测井参数（GR、SP 和 DT）以及钻井参数（WOB、RPM、FLW、MwIN和 TemIN）方面的有效性。如图3所示的预测结果提供了两种模型性能的直观比较，突出了它们在实际钻井环境中的能力。

 

图3 VMD-CNN-BiLSTM-MA 和 CNN-BiLSTM-MA-QA 模型预测 LWD 和钻井参数调整范围效果

为有效优化钻井参数，采用高复杂度 MESR-DS 方程作为钻速估计器，利用 VMD-CNN-BiLSTM-MA 模型作为环境估计器，构建马尔可夫决策过程，从而设计了钻井参数优化—深度确定性策略梯度（DPODDPG）算法。该算法以每英尺成本和机械比能作为奖励函数，状态空间由 CNN-BiLSTM-MA-QA 模型预测的关键钻井参数潜在调整范围动态定义。

 

图4 DPODDPG 算法架构

 

图5 865-870m 区间较软地层的钻井参数优化效果

图5（a）–5（c）显示 GR、SP 和 DT 显著降低，表明钻遇较软地层。这些地质特征表明地层的强度和密度较低，这通常需要调整钻井参数以适应地层特征。在此类地层中，优化的钻井参数包括：降低 WOB、降低 FLW、提高 RPM 以及降低 MwIN 和 TemIN。图5（d）–5（f） 说明了这些调整的效果。降低 WOB 有助于减少对较软地层的过大压力，防止钻头快速磨损，同时保持良好的切削效率。降低泵流速可最大限度地减少井壁的侵蚀，同时保持钻井液的有效循环。提高 RPM 可以提高钻头的切削速度，以适应较软的地层特性。降低泥浆密度和温度有助于减少对井壁的压力，保持泥浆性能，并减少对钻头的热影响。上述调整反映了 DPODDPG 算法在优化较软地层钻井参数、提升钻井过程稳定性和效率方面的有效性。

图6 DPODDPG 和 MOPSO 算法在训练井钻井参数优化中性能对比

图 6显示，随着钻井深度的增加，特别是在超过中位数深度后，ROP的波动显著减少。这表明 DPODDPG 算法成功优化了钻井参数，降低了无效和过度的操作，从而最大限度地减少了资源浪费，提升了钻井效率。ROP 的稳定性与分位数回归提供的动态调整范围密切相关，确保了 ROP 不会因极端操作而增加风险。相比之下，尽管 MOPSO 算法在整个钻井过程中也实现了 ROP 的显著提升，但由于缺乏动态调整约束，特别是在钻井后期，其不合理的速度增加导致了操作风险的上升。MOPSO 算法的这种行为可能引发极端操作，尤其是在更深的钻井深度，无法适应不断变化的地质条件，进而可能导致安全事故或设备损坏。

 

图7 邻井全深度区间优化前后的钻井参数对比

作者简介:

宋宇，中国石油大学（北京）人工智能学院 副教授，主要研究方向是海洋油气钻井、智能控制和钻井感知相关的研究工作。现主持国家自然科学基金青年项目、重点研发计划子课题等国家级课题5项，独立承担十余项企业横向项目，参研973、国家自然科学重点项目、联合基金项目、企业项目超30项。在JPSE、OE、FGCS、中国海上油气、石油钻采工艺等国内外主流期刊发表论文20余篇。