CN118917678B 一种基于多智能体深度强化学习鲁棒奖励函数的配电网-微电网协同最优策略方法 （河海大学）

一种基于多智能体深度强化学习鲁棒奖励本发明公布了一种基于多智能体深度强化的基础上精准给出最小化配电网运行成本且最基于多智能体深度强化学习鲁棒奖励函数的配21.一种基于多智能体深度强化学习鲁棒奖励函数的配电网一微电网协同最优策略方电价和微电网交互功率初始化，多智能体强化学习策略网络参数和价值网络参数初始化，步骤3、基于时刻t微电网交互功率，结合步骤1配电末端节点的配电网线路传输有功功率对于配电网运行成本的偏导数计算时刻t节点边际电步骤4、基于时刻t节点边际电价，结合步骤2时刻t微基于时刻t节点边际电价，结合步骤2时刻t微电网节点主动输入有功功率和无功功率步骤5、重复步骤3和步骤4以更新时刻t节点边际电价和基于步骤2时刻t微电网节点主动输入有功功率和无功2.根据权利要求1所述的一种基于多智能体深度强化学习鲁棒奖励函数的配电网一微3gQij,t/Qji,t表示时刻t从节点i到节点j/从节点j到节点i的线路传输无功功率，Xij表示线路3.根据权利要求2所述的一种基于多智能体深度强化学习鲁棒奖励函数的配电网_微4tm表示时刻t微电网m综合收益，E/P/W表示储能系统/光伏阵列/风电机组集合，5表示储能系统充/放电效率，表示微电网m储能系统e设定最大充电/最小放电功器最大/小输出无功功率，表示微电网m光伏阵列p/风电机组w所属逆变器最大率，表示微电网m光伏阵列p/风电机组w所属逆变器设定最大输出无功功率，Q,""IQ,""表示时刻t微电网m光伏阵列p/风电机组w所属逆变器输出无功功4.根据权利要求1所述的一种基于多智能体深度强化学习鲁棒奖励函数的配电网一微6表示策略网络自然常数e的次5.根据权利要求4所述的一种基于多智能体深度强化学习鲁棒奖励函数的配电网一微状态的集合，V表示折扣因子，表示状态s,"采用动作a,"转移到状态的概7微电网m深度强化学习状态s,"一动作a"的第x元素，R"表示时刻t微电网m价值网络输出，表示时刻t微电网m价值网络中间层第y元素到输出层的权重。6.根据权利要求5所述的一种基于多智能体深度强化学习鲁棒奖励函数的配电网一微式中，α/β表示价值网络/策略网络学习率，iw表示时刻t+1微电网m价值网络输入层第x元素到中间层第y元素的权重，o,表示时刻t+1微电网m价值网络中间层第y元素到输出的权重，表示时刻t+1微电网m策略网络输入层第u元素到中间层第v元素的权重，表示时刻t+1微电网m策略网络中间层第v元素到输出层第0元素的权重，Aor;,表示时刻t微电网m价值网络中间层第y元素到输出层的权重对于实际鲁棒累积奖励和网络鲁棒间层第y元素的权重对于实际鲁棒累积奖励和网络鲁棒累积奖励的差值平方的价值偏导8A:o表示时刻t微电网m策略网络中间层第v元素到输出层第0元素元素到中间层第v元素的权重对于网络鲁棒累积9[0002]随着分布式能源和微电网的广泛应用，现代配电网的运行和规划变得越来越复为末端节点的配电网线路传输有功功率对于配电网运行成本的偏导数计算时刻t节点边际[0010]基于时刻t节点边际电价，结合步骤2时刻t微电网节点主动输入有功功率和无功表示时刻t/t_1分布式电源g发电功率，cma表示配电网从主网购电单位功率价格，能系统/光伏阵列/风电机组输出有功功率，表示时刻t微电网m储能系统e最大充电/最小放电功率，表示储能系统最大/小荷电状态，ζ表示储能系统自放电系Cm,e表示微电网m储能系统e额定容量，表示时刻t微电网m储能系统e充/放电状表示时刻t微电网m光伏阵列/风电机组所属逆变器的功率比例，表示时刻t微电网m光伏阵列p所属逆变器最大/小输出无功功率，表示时刻t微电网m风电机组w所属逆变器最大/小输出无功功率，表示微电网m光伏阵列p/风电机组w所属逆[0035]进一步的，步骤4中，将步骤2时刻t微电网节点主动输入有功功率和无功功率数表示策略网络自然常数e的次下非鲁棒奖励，表示非鲁棒策略下状态s,"的分布概率，表示鲁棒策略时刻t微电网m价值网络输入层第x元素到中间层第y元素的权重，(s"+a"),表示多智能体入层第x元素到中间层第y元素的权重，or,表示时刻t+1微电网m价值网络中间层第y元素到输出的权重，uw表示时刻t+1微电网m策略网络输入层第u元素到中间层第v元素的权示时刻t微电网m价值网络中间层第y元素到输出层的权重对于实际鲁棒累积奖励和网络鲁中间层第y元素的权重对于实际鲁棒累积奖励和网络鲁棒累积奖励的差值平方的价值偏导元素到中间层第v元素的权重对于网络鲁棒累积奖励的种等同形式的修改均落于本申请所附权利要求所限定为末端节点的配电网线路传输有功功率对于配电网运行成本的偏导数计算时刻t节点边际[0067]基于时刻t节点边际电价，结合步骤2时刻t微电网节点主动输入有功功率和无功表示时刻t/t_1分布式电源g发电功率，cma表示配电网从主网购电单位功率价格，能系统/光伏阵列/风电机组输出有功功率，表示时刻t微电网m储能系统e最大充电/最小放电功率，表示储能系统最大/小荷电状态，ζ表示储能系统自放电系Cm,e表示微电网m储能系统e额定容量，表示时刻t微电网m储能系统e充/放电状ch/ηdis表示储能系统充/放电效率，表示微电网m储能系统e设定最大充电/最表示时刻t微电网m光伏阵列/风电机组所属逆变器的功率比例，表示时刻t微电网m光伏阵列p所属逆变器最大/小输出无功功率，表示时刻t微电网m风电机组w所属逆变器最大/小输出无功功率，表示微电网m光伏阵列p/风电机组w所属逆[0092]进一步的，步骤4中，将步骤2时刻t微电网节点主动输入有功功率和无功功率数表示策略网络自然常数e的次s:表示多智能体时刻t+1微电网m深度强化学习的状态，表示非鲁棒策略下的分布概率，J(:)表示鲁棒策略表示时刻t微电网m价值网络中间层第y元素到输出入层第x元素到中间层第y元素的权重，o,表示时刻t+1微电网m价值网络中间层第y元素到输出的权重，表示时刻t+1微电网m策略网络输入层第u元素到中间层第v元素的权示时刻t微电网m价值网络中间层第y元素到输出层的权重对于实际鲁棒累积奖励和网络鲁中间层第y元素的权重对于实际鲁棒累积奖励和网络鲁棒累积奖励的差值平方的价值偏导元素到中间层第v元素的权重对于网络鲁棒累积奖励的[0114]下面通过一个算例来说明本发明所述