CN119482390A 一种基于图强化学习的配电网故障恢复方法及相关装置 （中国电力科学研究院有限公司）

一种基于图强化学习的配电网故障恢复方一种基于图强化学习的配电网故障恢复方法及训练后智能体根据当前配电网状态生成故障恢2基于配电网故障恢复问题图模，构建多智能体强化学对马尔可夫决策过程进行求解，进行多智能体的训练，训对配电网构建邻接矩阵与特征矩阵，邻接矩阵中蕴含电网拓扑连接关采用图注意力网络对配电网拓扑状态图数据进行特征嵌入，具体的，GAa;则表示由第k个注意力机制计算得到的节点j对节点k的归一化注意力因子，w为第k个权重矩阵。3智能体通过开关控制线路的切换，进而控制配电采用双重深度网络DDQN算法求解马尔可夫过程，所提出的DDQN算法引入两个独立神下经过训练后，智能体根据当前配电网状态生成故障恢复策略模型构建模块，用于构建配电网故障恢复问题图模型，进行基于49.一种计算机设备，包括存储器、处理器以及存7任一项所述一种基于图强化学习的配电网故障5[0002]配电网故障恢复是指在配网线路发生故障并被切除关,调整系统网络拓扑以恢复下游失电负荷的供电。当前配电网的故障恢复方法主要采用[0003]DQN算法是基于马尔可夫决策过程(MarkovDecisionProcess)进行训练和更新络层数增加，GCN容易面临梯度消失或过平滑的问题，即不同节点的特征随着传播逐渐趋[0009]本发明的目的在于提供一种基于图强化学习的配电网故67[0039]采用双重深度Q网络DDQN算法求解马尔可夫过程，所提出的DDQN算法引入两个独θ1)和Q2(s,aθ2)表示选择最大Q值的动作；2))|8[0057]本发明将配电网故障恢复问题巧妙地建模为马尔可夫决策过程(MDP)，这一步骤[0062]通过时间差分误差更新神经网络参数，DDQN能够不断学习并优化故障恢复策9[0075]通过多智能体的训练，每个智能体都能学习到针对特定从而在故障发生时能够迅速且准确地生成恢复方案。[0077]多智能体的协同工作能够进一步缩短恢复时间，减少故[0095]本步骤采用图注意力网络对配电网拓扑状态图数据进行特征嵌入。具体而言，θ2)分别用于选择动作和θ2)表示选择最大Q值的动作。2))|[0119]损失函数目标是使估计Q值与目标Q值之差，最小网络参[0126]通过构建邻接矩阵和特征矩阵，捕捉了配电网的拓扑连[0132]DDQN算法被用于求解这个MDP，通过引入两个独立神经网络分别用于选择动作和[0138]该方法对量测误差具有较强的鲁棒性，即使在数据不完图注意力神经网络和双重深度Q网络算法，实现了对配电网故障恢复问题的高效、准确求执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，执行的一条或一条以上的指令，这些指令可以现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0153]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令