CN115409645B 一种基于改进深度强化学习的综合能源系统能量管理方法 （中国科学院电工研究所）

号一种基于改进深度强化学习的综合能源系本发明提供一种基于改进深度强化学习的各综合能源系统能量管理策略学习训练所需的强化学习环境；3)采用k优先采样策略代替ε贪强化学习算法对各综合能源系统能量管理策略值建模简化了多综合能源系统互动时的复杂迭进的深度强化学习算法能够在大规模动作空间2步骤（3采用k优先采样策略，并基于改进深度强化学习算法对各综合能源系统能量k_优先采样策略先根据所有动作的Q值挑选出k个最高Q值的候选动作，接着根据;;;3;2.如权利要求1所述的一种基于改进深度强化学习的综合能源系统能量管理方法，其所述综合能源系统的历史运行数据包括风电机组、光伏机组;采用长短期记忆神经网络，基于反向传播的小批量梯度下降法对训练;4式中，代表第t个时段从训练数据集中取出的数据集合；h代表第t个时段之前累各神经元的权值系数和偏置系数，代表第t个时段卷积;3.如权利要求2所述的一种基于改进深度强化学习的综合能源系统能量管理方法，其将每个综合能源系统的控制中心视作一个智能体，所述智能体可观测到的状态空间;;;;;;5;为了使每个综合能源系统的能源管理方案负;;第j个综合能源系统出售的电能大小，Pjh,t为在t时刻向第j个综合能源系统的热能出售价jt为在t时刻向第j个综合能源系统出售的热能大;e;6大规模动作空间的探索中减少对低奖励值动作的访问频次，具有更好的收敛性与稳定性；7t代表当前迭代第t个时段对应的遗忘门输出，wf和bf为遗忘层中各神经元的权8[0021]使用测试集对长短时记忆神经网络模型进行测试，采用均方根误差进行效果评[0029]可控观测量包括综合能源系统内部分布式储储能状态量SoCt，TCL负荷的状态量,不可观测量[0032]S"=[,G,H,9源系统；Nl为综合能源系统内部负荷用户数量，Lit为第i个用户在t时刻的电负荷大小，a为可交易综合能源系统数量，Pjt为在t时刻向第j个综合能源系统的电能出售价时刻向第k个综合能源系统购买的电能大小，Pkh,t为在t时刻向第k个综合能源系统的热能[0060]k_优先采样策略先根据所有动作的Q值挑选出k个最高Q值的候选动作，接着根据[0067]执行根据k_优先采用策略获得的当前动作at，获得下一时刻的状态st+1以及奖励[0077]本发明通过长短时记忆神经网络的等值建模简化了多个综合能源系统互动时的t代表当前迭代第t个时段对应的遗忘门输出，wf和bf为遗忘层中各神经元的权[0097]使用测试集对长短时记忆神经网络模型进行测试，采用均方根误差进行效果评[0100]步骤2、构建综合能源系统能量管理策略学习训练所需的强化学习环境，具体包与其它综合能源系统的能源交易价格R,以及电负荷与热负荷不可观测量如式(6)为在t时刻向第j个综合能源系统出售的电能大小，Pjh,t为在t时刻向第j个综合能源系统时刻向第k个综合能源系统购买的电能大小，Pkh,t为在t时刻向第k个综合能源系统的热能[0132]随机初始化综合能源系统能量管理智能体的动作，并记录智能体的状态转移过征在状态s下采用动作a所能获得的累计期望回报，而在状态空间连续的情况下通常无法评估Q网络的参数初始化为0,目标Q网络的参数初始化为O',评估Q网络每步都进行更ε贪心策略在小规模动作空间中有[0140]k_优先采样策略先根据所有动作的Q值挑选出k个最高Q值的候选动作，接着根据[0147]执行根据k_优先采用策略获得的