CN119482715A 一种基于多智能体强化学习的配电网故障恢复方法及系统 （中国电力科学研究院有限公司）

一种基于多智能体强化学习的配电网故障一种基于多智能体强化学习的配电网故障恢复于多智能体强化学习的智能体集合构建多智能2基于配电网负荷优先级，以恢复的负载作为目标函数，以配电基于配电网故障恢复问题模型，构建多智能体强化学基于多智能体强化学习的智能体集合构建多智能体强化学习框架2.根据权利要求1所述的一种基于多智能体强化学习的配电网故障恢复方法，其特征式中，c,是节点i负荷的关键因子，为连接节点i在时刻t的恢复状态，若恢复，"-1，否则负载"为节点i连接的负载在时刻t的有功功率需求。3.根据权利要求1所述的一种基于多智能体强化学习的配电网故障恢复方法，其特征"和"为节点i所连接负载在t时刻的无功功率需求和有功功率需求；G,和B,是支路ij的电导和电纳；和n"是节式中",和i,分别为节点电压和支路电流；pan和pa为节点最3lrm为线路上的最大最小电流限制；n"和为PV连接节点i在时刻t的实际有功输出和最大允许有功输出。4.根据权利要求1所述的一种基于多智能体强化学习的配电网故障恢复方法，其特征5.根据权利要求4所述的一种基于多智能体强化学习的配电网故障恢复方法，其特征对配电网场景下的所有状态信息进行收集，构建全局的状态空间集对各个智能体能够观测的状态空间进行设置，构建各个智能体的观测空通过对智能体动作行为的映射，构建智能体的动作空间；式中，a,和a,为开关和负荷的动作，am为PV设备的动作；设置强化学习的奖励机制；即时奖励设置为考虑负荷优先级前提下的每个时间步恢6.根据权利要求1所述的一种基于多智能体强化学习的配电网故障恢复方法，其特征47.根据权利要求6所述的一种基于多智能体强化学习的配电网故障恢复方法，其特征构建重放缓冲区框架，利用前一个任务和当前任务基于注意力转移机制构建模型重载框架，注意机制通过对智能体,和,为学习参数，将s'(e)映射为键(key)，,将f(e)映射为查询通过注意机制，将输入特征聚合并映射到固定的维度，在不同的任务之式中为基于目标网络生成的当前奖励函数，Q(r,a,s;0)为当uo)进行梯度下降实现多智能体的训练，同时利用前面构建的重放缓冲区框架和模5训练输出模块，用于基于多智能体强化学习的智能体集合构建多智能体强化学习框9.一种计算机设备，包括存储器、处理器以及存7任一项所述一种基于多智能体强化学习的配电网故障6[0003]QMIX是一种深度强化学习算法，专门设计用于多智能体系统（Multi_Agent[0005]本发明的目的在于提供一种基于多智能体强化学习的配电网故障恢复方法及系7"为节点i连接的负载在时刻t的有功功率需求。式中为三相平衡配电网的潮流约束，P,和为节点i在时刻t的有功功率和无功"为节点i所连接负载在t时刻式中和分别为节点电压和支路电流；va和pa为节点最大最小电压限制，和lrm为线路上的最大最小电流限制；n"和为PV连接节点i在时刻t的实际有功输出和最大允许有功输出。8对各个智能体能够观测的状态空间进行设置，构建各个智能体的观测空间集合；则采用离散动作的控制方案，将其输出功率根据最大输出功率的限制映射到[0,1]的范围设置强化学习的奖励机制；即时奖励ri设置为考虑负荷优先级前提下的每个时间[0011]进一步的，所述基于多智能体强化学习的智能体集合构建多智能体强化学习框9式中和为学习参数，将s'(e)映射为键(key)，将f(e,)映射为查询式中，为智能体的即时奖励，为目标网络生成的下一阶段的奖励函数；对uo)进行梯度下降实现多智能体的训练，同时利用前面构建的重放缓可以独立地学习其策略，同时又能通过全局的Q值函数协调彼此的行动，从而实现整体最n"为节点i连接的负载在时刻t的有功功率需求。式中为三相平衡配电网的潮流约束，P,和为节点i在时刻t的有功功率和无功,"和"为节点i所连接负载在t时刻"是节点i所连式中",和i,分别为节点电压和支路电流。va和pa为节点最大最小电压限制，lm和lrm为线路上的最大最小电流限制。n"和为PV连接节点i在时刻t的实际有功输出和最大允许有功输出。PV智能体则采用离散动作的控制方案，将其输出功率根据最大输出功率的限制映射到[0,前提下的每个时间步恢复的负载功率的之和，同时加入使电网运行越过约束限制惩罚机式中和为学习参数，将s'(e)映射为键(key)，将f(e)映射为查询式中为基于目标网络生成的当前奖励函数，Q.,(r,a,s;0)为当前训练网络生成式中，为智能体的即时奖励，为目标网络生成的下一阶段的奖励函数。对uo)进行梯度下降实现多智能体的训练，同时利用前面构建的重放缓[0054]实施例2提出了一种基于多智能体强化学习的配电网故障恢复方法，该方法的核心在于将复杂的配电网故障恢复问题分解为多个[0069]本发明再一实施例中，提供一种基于多智能体强化学习执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储