CN113902040B 电-热综合能源系统协调优化方法、系统、设备及存储介质 （中国电力科学研究院有限公司）

本发明提供一种电-热综合能源系统协调优合能源系统参数，分别计算电-热综合能源系统将所述发电功率输入预先训练的基于SAC框架优2基于所述电-热综合能源系统参数，分别计算电-热综合能源系将所述发电功率输入预先训练的基于SAC框架优化调度模型中，输出调度动作，形成所述预先训练的基于SAC框架优化调度模型基于所述电-热综合能源系统参数，分别计算电-热综合能源系将常规机组发电功率、热电联产发电功率以及热电联产热功搭建强化学习环境，通过策略网络得到当前动据约束条件设置惩罚机制加入到即时奖励中得到最终的奖励函数，惩罚项统一表达形式奖励函数包括常规机组运行成本，弃风惩罚，热3式中分别为电力系统、热力系统运行成本以及弃风惩罚分别为常规所述电-热综合能源系统参数包括电热综合能源系统网络参数和电热负荷出力及风电所述基于所述电-热综合能源系统参数，分别计算电-4所述以电力系统、热力系统和耦合装置的发电功率为基础建立电-热综合能源系统模以实现电-热综合能源系统的总运行成本最小为目标，同时为实现可在生能源的最大式中，分别为在时段t，节点i所连热电联产装置发电功率和产热功率；5所述对基于SAC框架优化调度模型进行训练，得到预先训练6所述调度输出模块中预先训练的基于SAC框模型建立模块，用于基于所述电-热综合能源系统参模型训练模块，用于对基于SAC框架优化调度模型进行训将常规机组发电功率、热电联产发电功率以及热电联产热功搭建强化学习环境，通过策略网络得到当前动据约束条件设置惩罚机制加入到即时奖励中得到最终的奖励函数，惩罚项统一表达形式7奖励函数包括常规机组运行成本，弃风惩罚，热式中分别为电力系统、热力系统运行成本以及弃风惩罚分别为常规以实现电-热综合能源系统的总运行成本最小为目标，同时为实现可在生能源的最大minF=f+ft式中，分别为在时段t，节点i所连热电联产装置发电功率和产热功率；8n"分别为时段9机程序被处理器执行时实现权利要求1-8任一项所述电-热综合能源系统协调优化方法的[0001]本发明涉及综合能源系统优化调度领域，特别是涉及一种电-热综合能源系统协[0003]电-热综合能源系统通过利用热力与电力的互补特性，有利于促进可再生能源的[0004]总体来说，耦合愈加密切的综合能源系统优化调度问题存在准则，得到最优策略所对应的最优指标为该时刻下电-热综合能源系统智能体动作at所得到的即时奖励为rt与后续状态转移所得到的最大Q值之和。因此可根据贝尔曼最[0019]DQN是深度学习和具有决策能力的强化学习相结合的产物。DQN构建深度学习网[0020]DQN算法首先从环境中获取观测值，智能体根据值函数神经网络得到的关于该观[0023]为了减少相关性提高算法稳定性，DQN在原来的Q网络的基础之上又引入了一个探索难度更为复杂，探索难度大，DQN采用特定的策略算法难以保证对状态空间的有效探介质，本发明的电-热综合能源系统协调优化方法可以直接通过已经训练好的策略网络给[0031]作为本发明的进一步改进，所述预先训练的基于SAC框架优化调度模型的训练优[0036]作为本发明的进一步改进，所述电-热综合能源系统参数包括电热综合能源系统[0055]以实现电-热综合能源系统的总运行成本最小为目标，同时为实现可在生能源的[0056]建立电-热综合能源系统模型的约束条件，约束条件包括：节点功率平衡等式约b,,h,b为常规机组能耗系数，为常规机组[0109]调度输出模块，用于将所述发电功率输入预先训练的基于SAC框架优化调度模型[0110]作为本发明的进一步改进，所述调度输出模块中预先训练的基于SAC框架优化调[0116]以实现电-热综合能源系统的总运行成本最小为目标，同时为实现可在生能源的[0117]建立电-热综合能源系统模型的约束条件，约束条件包括：节点功率平衡等式约minF=f+ftb,b,b[0161]式中分别为电力系统、热力系统运行成本以及弃风惩罚分别略网络中采样控制动作a,-x,(aq,1s)，并将所述控制动作施加在电-热综合能源系统上，并上运行的计算机程序，所述处理器执行所述计算机程序时实现所述电-热综合能源系统协算机程序被处理器执行时实现所述电-热综合能源[0169]本发明采用基于优化的SAC框架的优化调度模型在给定负荷等系统状态时给出调[0170]本发明建立电-热综合能源系统模型后建立基于SAC框架的优化调度模型，SAC算[0172]图2为本发明的预先训练的基于SAC框架优化调度模型的训练优化方法流程示意[0197]1）深度强化学习方法利用神经网络拟合电热综合能源系统不同状态下的最优策[0200]以下结合具体实施和附图对发明的电-热综合能源系统协调优化方法进行详细说[0203]如图3所示为电-热综合能源系统图，首先收集如图3所示电热综合能源系统网络[0207]采用本发明将电-热综合能源系统分电力、热力系统和耦合装置这三部分进行建e表示外界环境温度。[0225]步骤201建立目标函数。本发明以实现电-热综合能源系统的总运行成本最小为[0233]式中，分别为在时段，节点所连热电联产装置发电功率和产热功[0242]为实现电-热综合能源系统安全可靠运行，系统应满足式(14)-式(16)的网络约-,T为供水温度上、下限；为热水管道k的质量流量速率，[0248]式中：分别为前后两个时段的热电联产发电功率[0257]步骤3建立基于SAC的电-热耦合综合能源系统优化调度模型。根据强化学习环[0271]式中分别为电力系统、热力系统运行成本以及弃风惩罚分、r为进行采样，得到系统下一个时刻运行状态，再将状态转移及奖励置入经验库D，即[0279]调度输出模块，用于将所述发电功率输入预先训练的基于SAC框架优化调度模型[0286]以实现电-热综合能源系统的总运行成本最小为目标，同时为实现可在生能源的[0287]建立电-热综合能源系统模型的约束条件，约束条件包括：节点功率平衡等式约minF=f+f,[0308]式中：分别为前后两个时段的热电联产限,限[0341]对基于SAC框架的优化调度模型进行训练，得到优化的S通过优化的SAC框架的优化调度模型在给定负荷等系统状态时给出调度动作，进而生成策储有计算机程序，所述计算机程序被处理器执行时实现所述电-热综合能源系统协调优化[0347]对基于SAC框架的优化调度模型进行训练，得到优化的S通过优化的SAC框架的优化调度模型在给定负荷等系统状态时给出调度动作，进而生成策