CN114725936B 基于多智能体深度强化学习的配电网优化方法 （电子科技大学）

EP3057192A1,2016.08.17US2022074620A1,2022.03.10基于多智能体深度强化学习的配电网优化本发明公开了一种基于多智能体深度强化了分布式电源出力具有不确定性，建立含有光并采用双延迟深度确定性策略梯度算法进行求训练所得智能体可以根据所给状态进行在线实2为t时刻风力发电机在节点i上的有功功率，为风力发电机在节点i上的额定功3Ptse'分别为t时刻平衡节点注入的有功功率和无功功率；分别为负荷节"-",为t时刻储能装置的无功功率；在t时刻，智能体j根据观测值获得状态量并得出动作值a;,执行动作获得奖励值rtj4前网络和Critic目标网络分别由两个Critic网络组成；将每个智能体建模为一个TD3智能数拷贝给对应的Actor目标网络参数or"和Critic目标网络参数络接收状态量s',通过当下策略得到动作值在环境中执行动作并得到奖励值指的是智能体j的Actor当前网络读取t时刻状态s',在策略函数pj下得和QY,(s.,a"a…a")分别由智能体j的Actor目标网络和Critic目标网络的输出获得，学习率；56[0003]针对于可再生能源利用问题，考虑到以清洁能源为燃料的分布式电源的不可控7[0034]P'、g'分别为t时刻平衡节点注入的有功功率和无功功率；分别为负8为t时刻储能装置的无功功率；[0045]为配电网中所有节点在t时刻的总电压偏差，#[0049]在t时刻，智能体j根据观测值获得状态量并得出动作值a;,执行动作获得奖励[0052]S32、随机初始化Actor当前网络参数Critic当前网络参数并将当前前网络接收状态量s',通过当下策略得到动作值在环境中执行动作并得到9奖励值r:和下一个状态将(s',a;,r"s:)存入经验回访池中，直到经验回访池存满；指的是智能体j的Actor当前网络读取t时刻状态s',在策略函数pj下得到动(st')和分别由智能体j的Actor目标网络和Critic目标网络的输出制策略。通常采用马尔可夫决策(MarkovDecisionProcess,MDP)过程对强化学习问题进[0105]式中，为t时刻节点i储能装置的为t时刻储能装置的无功功率；[0108]为配电网中所有节点在t时刻的总电压偏差，为电压越限时的惩罚[0112]在t时刻，智能体j根据观测值获得状态量s'并得出动作值a;,执行动作获得奖励度，TwinDelayedDeepDeterministicPolicyGradient)算法由两个Actor网络和四个[0115]S32、随机初始化Actor当前网络参数Critic当前网络参数并将当前前网络接收状态量',通过当下策略得到动作值在环境中执行动作并得到[0117]指的是智能体j的Actor当前网络读取t时刻状态在策略函数(即(st')和Q".(s.,,o'…o":)分别由智能体j的Actor目标网络和Critic目标网络的输出[0127]Q".(s.,o"…a":)选择Critic目标网络输出中较小的值来更新，来避免过高[01