(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211059725.9 (22)申请日 2022.08.30 (71)申请人 广东电网有限责任公司广州供电局 地址 510620 广东省广州市天河区天河南 二路2号 (72)发明人 龙云　赵宏伟　卢有飞　吴任博　 张扬　梁雪青　刘璐豪　陈明辉　 张少凡　邹时容　蔡燕春　刘璇　 吴鹏飞　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 杨望仙 (51)Int.Cl. G06Q 50/06(2012.01) G06N 7/00(2006.01)G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 17/10(2006.01) H02J 3/06(2006.01) (54)发明名称 一种基于近端策略优化算法的电力系统电 压控制方法 (57)摘要 本发明涉及电力系统规划控制领域， 为一种 基于近端策略优化算法的电力系统电压控制方 法， 包括将电力系统训练仿真环 境与电压控制智 能体的交互过程进行进行马尔可夫决策过程建 模； 随机生成大量运行场景， 通过潮流计算得到 不同运行场景下的状态观测量； 构建Actor神经 网络和Critic神经网络， 将静止无功补偿器SVC 作为无功补偿设备， 将SVC无功补偿值作为电压 控制智能体决策变量； 对Actor网络、 Critic网络 进行强化训练； 通过电压控制智能体读入输电网 内各节点无功负荷与电压幅值的实时量测向量， 输出输出SVC无功补偿值， 控制SVC装置对电力系 统内节点电压进行管理。 可以降低母线电压偏差 与系统有功损耗综合效果， 实现电压控制过程中 针对电压偏移的即时响应与动作决策。 权利要求书2页 说明书8页 附图6页 CN 115409650 A 2022.11.29 CN 115409650 A 1.一种基于 近端策略优化 算法的电力系统电压控制方法， 其特 征在于， 包括以下步骤 S1、 搭建训练环境， 基于Gym标准训练环境与潮流计算工具PYPOWER， 将电力系统训练仿 真环境与电压控制智能体的交互过程进行马尔可夫决策过程建模， 得到马尔可夫决策模 型， 构建强化学习交 互训练环境； S2、 生成训练场景， 基于强化学习交互训练环境， 利用潮流计算工具PYP OWER， 随机生成 大量运行场景， 通过潮流计算得到不同运行场景 下的状态 观测量； S3、 构建Actor神经网络和Critic神经网络， 将 静止无功补偿器SVC作为无功补偿设备， 将SVC无功补偿值作为电压控制智能体决策变量； S4、 应用近端策略优化PPO算法对Actor神经网络、 Critic神经网络进行强化训练， 构建 电压控制智能体训练体系， 对Actor神经网络、 Critic神经网络进行训练获得控制策略； S5、 对电压控制智能体进行测试和应用， 通过电压控制智能体读入输电网内各节点无 功负荷与电压 幅值的实时量测向量， 输出输出SVC无功补偿值， 控制SVC装置对电力系统内 节点电压进行 管理。 2.根据权利要求1所述的一种基于近端策略优化算法的电力系统电压控制方法， 其特 征在于， 所述 步骤S1包括 步骤： S11、 选择观测状态变量与动作决策变量； S12、 确定状态转移方式， 在每个训练回合 内， 电压控制智能体通过调整各SVC无功补偿 量降低各母线节点电压偏移 值； 每个回合结束后， 对各负荷点施加较大扰动改变负荷环境， 重复训练直至电压控制智能体 每回合在第一 步决策能够趋 近最优补偿方案为止； S13、 根据无功电压控制优化模型确定奖励函数； S14、 将马尔可夫决策模型转化为Python程序， 确定马尔可夫决策模型各元素， 基于 OpenAI开发的强化学习平台， 编写初始化 函数、 环境重 置函数与交 互函数。 3.根据权利要求2所述的一种基于近端策略优化算法的电力系统电压控制方法， 其特 征在于， 所述训练环境与电压控制智能体的交 互过程， 包括 步骤： 步骤1， 每个回合开始前， 首先初始化电力系统负荷环境并运行交流潮流求解程序获得 各节点无功负荷与电压值作为初始状态， 开始交 互； 步骤2， 将当前各节点无功负荷与电压值作为状态st， 将状态st输入电压控制智能体并 获得最优无功补偿值； 步骤3， 在当前无功补偿动作下， 进行交流潮流求解并获得下一状态st+1， 同时计算反馈 即时奖； 步骤4， 判断潮流是否收敛且是否达到该回合最大交互次数， 若是则终止该回合并返回 步骤1； 若否则继续进行交 互， 返回步骤2。 4.根据权利要求2所述的一种基于近端策略优化算法的电力系统电压控制方法， 其特 征在于， 所述奖励函数为： 其中， r为奖励函数值， ‑3000代表安全约束越限时奖励函数值为极大负值， N为电力系权　利　要　求　书 1/2 页 2 CN 115409650 A 2统节点集合， c1与c2为权重系数， Vi为节点i电压幅值， Vref为电压设定值， Ploss为电力系统内 有功损耗。 5.根据权利要求1所述的一种基于近端策略优化算法的电力系统电压控制方法， 其特 征在于， 所述得到不同运行场景 下的状态 观测量包括无功 注入和各节点电压幅值。 6.根据权利要求1所述的一种基于近端策略优化算法的电力系统电压控制方法， 其特 征在于， 所述 步骤S3包括： 构建Actor神经网络， Actor神经网络采用多层感知机深度神经网络模型， 包括输入层、 多层隐含层与输出层构成， 隐含层的激活函数为 ReLU函数， 网络输出层激活函数为Sigmoid 函数； Actor神经网络输入量为状态观测量各节点无功注入与电压幅值 向量， Actor神经网 络输出量为SVC无功补偿值； 构建Critic神经网络， Critic神经网络采用多层感知机深度神经网络模型， 包括输入 层、 多层隐含层、 输出层， 隐含层的激活函数选择ReLU函数， 网络输出层无激活函数； Cr itic 神经网络输入量为状态观测量各节点无功注入与电压幅值向量， Cr itic神经网络输出量为 值函数估计值。 7.根据权利要求1所述的一种基于近端策略优化算法的电力系统电压控制方法， 其特 征在于， 所述 步骤S4包括： S41、 Critic神经网络输出的价值函数估计值作 为基线， 进行广 义优势估计与重要性采 样， 最大化Actor神经网络的目标函数， 对Actor神经网络的目标函数中条件概率比进行裁 剪， 采用蒙特卡罗算法对Critic神经网络进行 更新学习； S42、 构建近端策略优化 算法训练流 程。 8.根据权利要求7所述的一种基于近端策略优化算法的电力系统电压控制方法， 其特 征在于， 所述近端策略优化 算法训练流 程， 包括： S421、 智能体与环境交 互并记录 轨迹， 直至经验 池达到储存容量上限； S422、 取出一批轨迹元组， 并计算累计奖励、 值函数估计值、 广义优势估计值、 动作条件 概率； S423、 根据含梯度裁 剪的目标函数 更新Actor神经网络直至越过 KL散度约束； S424、 根据损失函数 更新Critic神经网络， 返回步骤S421。权　利　要　求　书 2/2 页 3 CN 115409650 A 3