(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211136956.5 (22)申请日 2022.09.19 (71)申请人 常州大学 地址 213100 江苏省常州市武进区湖塘镇 滆湖中路21号 (72)发明人 丁阳阳　王相　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 褚晓英 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种结合强化学习与神经网络的调控油井 参数方法及系统 (57)摘要 本发明公开了一种结合强化学习与神经网 络的调控油井参数方法及系统包括， 根据油井数 量和尺寸建立油藏模型， 以每口油井为中心截取 相同大小区块， 获取每个区块的矩阵数据； 将矩 阵数据作为强化学习算法的输入， 得到强化学习 算法的输出作为每口油井的原始油井调控参数 样本集； 利用图像增强扩充原始油井调控参数样 本集， 获取油井参数调控经验样本集； 根据油井 参数调控经验样本集与卷积神经网络模 型， 构建 并优化面向油井参数调控网络模 型， 封装网络模 型， 构建油井生产参数调控平台。 本发明将强化 学习算法作为辅助， 神经网络作为训练手段， 训 练后的经验网络可以根据油井所在的地质情况 推荐生产策略， 不再限于指定油藏。 权利要求书2页 说明书9页 附图5页 CN 115510744 A 2022.12.23 CN 115510744 A 1.一种结合强化学习与神经网络的调控油井参数 方法， 其特 征在于： 包括， 根据油井数量和尺寸建立油藏模型， 以每口油井为中心截取相同大小区块数据， 获取 以油井为中心区块相关参数的矩阵数据； 将所述矩阵数据作为强化学习算法的输入， 得到强化学习算法的输出作为每口油井的 原始油井调控参数样本集； 利用图像增强扩充所述原 始油井调控参数样本集， 获取油井参数调控经验样本集； 根据所述油井参数调控经验样本集与卷积神经网络模型， 构建并优化面向油井参数调 控网络模型， 封装所述网络模型， 构建油井生产参数调控平台。 2.如权利要求1所述的结合强化学习与神经网络的调控油井参数方法， 其特征在于： 所 述相关参数包括， 渗透率、 饱和度、 孔隙体积、 压力场、 注采井所在位置及压力以及有效网 格。 3.如权利要求2所述的结合强化学习与神经网络的调控油井参数方法， 其特征在于： 所 述矩阵数据包括， 净现值的计算公式为： 其中， Ninj、 Nprd分别表示区块中的注入井和生产井的总数， Co为石油收益， 单位为USD/ STB， 本文为70USD/STB； Cw为采出水处理成本， 单位为USD/STB， 本文为5USD/STB； Ci为注水成 本， 单位为USD/STB， 本文为5US D/STB， 分别为第j口生产井第n个时间步内的平均油 水产量， 单位 为STB/D； 为第k口注入井在第n个时间步的注水速度， 单位 为STB/D。 4.如权利要求3所述的结合强化学习与神经网络的调控油井参数方法， 其特征在于： 所 述图像增强扩充包括， 首先对样本分别进行90 °、 180°、 270°的旋转， 然后， 对旋转获得的新 样本分别进行上下镜像、 左右镜像操作， 将经过镜像后的样本集称为油井参数调控经验样 本集。 5.如权利要求4所述的结合强化学习与神经网络的调控油井参数方法， 其特征在于： 所 述原始油井调控参数样 本集包括， 将样本的标签值对应的井底压力值的按照顺序由大到小 进行排列， 当实际功用需要n类样本集合时， 将样本按从大到小分为n种集合， 将n种集合井 底压力范围作为样本新的原 始油井调控参数样本集， n 为正整数。 6.如权利要求5所述的结合强化学习与神经网络的调控油井参数方法， 其特征在于： 所 述强化学习包括， 强化学习算法得到油井参数后， 油井会在一段时间内按照这个参数进行 生产， 并且在生产过程中不会改变这个参数， 即 没有下一时刻的动作。 7.如权利要求6所述的结合强化学习与神经网络的调控油井参数方法， 其特征在于： 所 述强化学习还 包括， 更新公式为： Q(St,At)＝Q(St,At)+α [Rt+1‑Q(St,At)] 其中， 在上述公式等号右侧， Q(St,At)是当前时刻的状态St和实际采取的动作At对应的Q 值， 用于衡量在状态St下采取动作At的好坏程度， 初始化时这个值为0， α 为 是学习率， 奖励值 Rt+1为在状态St下执行动作At得到的奖励值， 在上述公式等号左侧， Q(St,At)为更新后的Q权　利　要　求　书 1/2 页 2 CN 115510744 A 2值， Rt+1+γmaxaQ(St+1,a)称为目标值Target， Target为未来收益之和。 8.一种结合强化学习与神经网络的调控油井参数系统， 其特征在于： 包括， 模型建立模 块、 数据获取模块、 强化学习模块、 图像增强模块、 网络模型构建优化模块以及封装 模块， 模型建立模块， 所述模型建立模块 根据油井数量和尺寸建立油藏模型； 数据获取模块， 所述数据获取模块以每口油井为中心截取相同大小区块数据， 获取以 油井为中心区块相关参数的矩阵数据； 强化学习模块， 所述强化学习模块将所述矩阵数据作为强化学习算法的输入， 得到强 化学习算法的输出作为每口油井的原 始油井调控参数样本集； 图像增强模块， 所述图像增强模块利用图像增强扩充所述原始油井调控参数样本集， 获取油井参数调控经验样本集； 网络模型构建优化模块， 所述网络模型构建优化模块根据 所述油井参数调控经验样本 集与卷积神经网络模型， 构建并优化 面向油井参数调控网络模型； 封装模块， 所述封装 模块封装所述网络模型， 构建油井生产参数调控平台。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115510744 A 3