CN119401416A 基于多智能体深度强化学习的电压越限控制系统和方法 （国网冀北电力有限公司）

司基于多智能体深度强化学习的电压越限控本发明提供一种基于多智能体深度强化学定性策略梯度算法对光伏设备控制策略模型进对应区域的电网以控制各节点的电压在预设范2光伏设备控制策略模型建立模块，用于针对电网各区域的光伏光伏设备控制策略输出模块，用于将每个区域的电网当前运行参2.根据权利要求1所述的基于多智能体深度强化学习的电压越限控制系统，其特征在所述光伏设备控制策略模型建立模块中，针对电网各区域的光移函数T1表示电网根据当前状态和动作转移到下一状态的概率，γ为折扣率，折扣率γ表然后，利用光伏逆变器输出的无功功率解决电压越限3.根据权利要求2所述的基于多智能体深度强化学习的电压越限控制系统，其特征在所述部分可观测马尔科夫决策过程中变量的表示具域节点m处的有功负荷和无功负荷和节点m处的光伏逆变器的有功功率和无功功率组成的3态转移定义为光伏设备根据当前环境观测并依据自身的策略控制逆变器的输出进行无功4.根据权利要求3所述的基于多智能体深度强化学习的电压越限控制系统，其特征在所述光伏设备控制策略输出模块，将电网当前运行参数输入光伏设备控制策略模型，使用双延迟深度确定性策略梯度算法对光伏设备控制策略模型进行求解双延迟深度确定性策略梯度算法包括策略网络和价值网器n在时刻t的无功功率，各光伏设备通过与各自所处区域的电网环境持续进行如下交互：tt+1策略网络用于根据当前电网的状态输出光伏设备的动))]价值网络用于对策略网络预测的动作进行价值估计，价值网络表示为动作价值函数Qtt)由贝尔曼方程表示：价值网络根据最小化估计和目标之间的差异进行更新，利用4tQ在光伏设备和电网的交互过程中，通过最小化损失函数来更新当前价值网络的参数再利用目标动作计算目标价值网络的值进行目标策略平滑正则化)+ε’根据以上步骤对求解使累积期望奖励J(π)最大化的针对电网各区域的光伏设备，采用部分可观察马尔科夫将每个区域的电网当前运行参数均输入光伏设备控制策略模型，6.根据权利要求5所述的基于多智能体深度强化学习的电压越限控制方法，其特征在5所述针对电网各区域的光伏设备，采用部分可观察马尔科夫决策过程进行建移函数T1表示电网根据当前状态和动作转移到下一状态的概率，γ为折扣率，折扣率γ表然后，利用光伏逆变器输出的无功功率解决电压越限7.根据权利要求6所述的基于多智能体深度强化学习的电压越限控制方法，其特征在所述部分可观测马尔科夫决策过程中变量的表示具域节点m处的有功负荷和无功负荷和节点m处的光伏逆变器的有功功率和无功功率组成的6态转移定义为光伏设备根据当前环境观测并依据自身的策略控制逆变器的输出进行无功8.根据权利要求7所述的基于多智能体深度强化学习的电压越限控制方法，其特征在所述将电网当前运行参数输入光伏设备控制策略模型，使用双延迟深度算法对光伏设备控制策略模型进行求解的具双延迟深度确定性策略梯度算法包括策略网络和价值网器n在时刻t的无功功率，各光伏设备通过与各自所处区域的电网环境持续进行如下交互：tt+1策略网络用于根据当前电网的状态输出光伏设备的动))]价值网络用于对策略网络预测的动作进行价值估计，价值网络表示为动作价值函数Qtt)由贝尔曼方程表示：价值网络根据最小化估计和目标之间的差异进行更新，利用tQ7在光伏设备和电网的交互过程中，通过最小化损失函数来更新当前价值网络的参数再利用目标动作计算目标价值网络的值进行目标策略平滑正则化)+ε’根据以上步骤对求解使累积期望奖励J(π)最大化的执行如权利要求5_8任一项所述的基于多智能体深度强化学习的被处理器执行时实现权利要求5_8任一项所述的基于多智能体深度强化学习的电压越限控8设备的出力来实现电压控制。电网电压越限控制方法主要包括集中式控制和分布式控制。[0004]基于传统强化学习进行电压越限控制时，通常将所有无功设备视为统一的智能备控制策略模型，使用双延迟深度确定性策略梯度算法对光伏设备控制策略模型进行求9状态转移函数T1表示电网根据当前状态和动作转移到下一状态的概率，γ为折扣率，折扣光伏逆变器的无功功率，Vm,t和θm,t分别为t时刻节点m处的电压幅值和向角，T表示矩阵转在区域节点m处的有功负荷和无功负荷和节点m处的光伏逆变器的有功功率和无功功率组[0029]状态转移函数T1表示光伏设备在状态st下执行动作an,t后下一时刻状态的概率分[0031]双延迟深度确定性策略梯度算法包括策略网络和价值网络，将电网当前运行参tt))]t)由贝尔曼方程表示：)][0054]θπ=τθπ+('输出至对应区域的电网以控制各节点的电压在预状态转移函数T1表示电网根据当前状态和动作转移到下一状态的概率，γ为折扣率，折扣光伏逆变器的无功功率，Vm,t和θm,t分别为t时刻节点m处的电压幅值和向角，T表示矩阵转在区域节点m处的有功负荷和无功负荷和节点m处的光伏逆变器的有功功率和无功功率组[0080]状态转移函数T1表示光伏设备在状态st下执行动作an,t后下一时刻状态的概率分深度确定性策略梯度算法对光伏设备控制策略模型进行求解的[0082]双延迟深度确定性策略梯度算法包括策略网络和价值网络，将电网当前运行参tt))]t)由贝尔曼方程表示：t)+ε'被处理器执行时实现上述的基于多智能体深度强化学习的电压策略梯度算法求解上述所构建的部分可观测马尔科夫决策模型，每个智能体通过感知环备控制策略模型，使用双延迟深度确定性策略梯度算法对光伏设备控制策略模型进行求决策过程(PartiallyObservableMarkovDecisionProcess，POMDP)是一种用于建模在真实状态的情况。这使得POMDP成为处理具有不确定性和不完整信息的复杂动态环境的理状态转移函数T1表示电网根据当前状态和动作转移到下一状态的概率，γ为折扣率，折扣xr-r…m)xr-r…m)光伏逆变器的无功功率，Vm,t和θm,t分别为t时刻节点m处的电压幅值和向角，T表示矩阵转在区域节点m处的有功负荷和无功负荷和节点m处的光伏逆变器的有功功率和无功功率组t时刻节点m的电压越限量；各个光伏设备为完全合作[0141]状态转移函数T1表示光伏设备在状态st下执行动作an,t后下一时刻状态的概率分[0143]双延迟深度确定性策略梯度算法(twindelayeddeepdeterministicpolicygradientalgorithm,TD3)改善了深度确定性策略梯度算法(deepdeterministicpolicy[0144]双延迟深度确定性策略梯度算法包括策略网络和价值网络，将电网当前运行参tt))]t)由贝尔曼方程表示：tuf表示第一目标价值网络的参)+ε[0167]θπ'=τθπ+(1_τ)θπ''输出至对应区域的电网以控制各节点的电压在预[0177](1)所述针对电网各区域的光伏设备，采用部分可观察马尔科夫决策过程进行建决策过程(PartiallyObservableMarkovDecisionProcess，POMDP)是一种用于建模在真实状态的情况。这使得POMDP成为处理具有不确定性和不完整信息的复杂动态环境的理状态转移函数T1表示电网根据当前状态和动作转移到下一状态的概率，γ为折扣率，折扣光伏逆变器的无功功率，Vm,t和θm,t分别为t时刻节点m处的电压幅值和向角，T表示矩阵转在区域节点m处的有功负荷和无功负荷和节点m处的光伏逆变器的有功功率和无功功率组t时刻节点m的电压越限量；各个光伏设备为完全合作[0197]状态转移函数T1表示光伏设备在状态st下执行动作an,t后下一时刻状态的概率分深度确定性策略梯度算法对光伏设备控制策略模型进行求解的[0199]双延迟深度确定性策略梯度算法(twindelayeddeepdeterministicpolicygradientalgorithm,TD3)改善了深度确定性策略梯度算法(deepdeterministicpolicy[0200]双延迟深度确定性策略梯度算法包括策略网络和价值网络，将电网当前运行参tt))]t)由贝尔曼方程表示：t)+ε'被处理器执行时实现或实施例2中的基于多智能体深度强化学习的电压且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质现在流程图一个流程或多个流程和/