CN119443674A 一种基于深度强化学习的综合能源系统模型预测控制方法 （国电南京自动化股份有限公司）

一种基于深度强化学习的综合能源系统模本发明公开了一种基于深度强化学习的综内对预测时域内各时刻的系统各设备输出状态2S2、基于最小全天用能成本目标函数，利用分布式S3、利用状态预测模型在日内对预测时域内各时刻的系统各设备输出状态进行预测，2.根据权利要求1所述的一种基于深度强化学习的综合能源系统模型预测控制方法，3.根据权利要求2所述的一种基于深度强化学习的综合能源系统模型预测控制方法，4.根据权利要求3所述的一种基于深度强化学习的综合能源系统模型预测控制方法，f(ζ)表示分布函数P下的概率密度函数；dζ表示对ξ进行积分。5.根据权利要求4所述的一种基于深度强化学习的综合能源系统模型预测控制方法，36.根据权利要求5所述的一种基于深度强化学习的综合能源系统模型预测控制方法，S232、利用分布式优化算法对鲁棒优化框架进行7.根据权利要求6所述的一种基于深度强化学习的综合能源系统模型预测控制方法，t表示t时刻园区综合能源设备中各机组的8.根据权利要求7所述的一种基于深度强化学习的综合能源系统模型预测控制方法，4S31、利用状态预测模型预测日内园区综合能源设备中各机组在预测时域内的输出状9.根据权利要求8所述的一种基于深度强化学习的综合能源系统模型预测控制方法，S313、基于预测值和日前计划中的偏差建立滚动优10.根据权利要求9所述的一种基于深度强化学习的综合能源系统模型预测控制方法，11.根据权利要求1所述的一种基于深度强化学习的综合能源系统模型预测控制方法，512.根据权利要求11所述的一种基于深度强化学习的综合能源系统模型预测控制方定状态空间和动作空间的维度构建智能体的评论家与行动者神经网S411、使用历史数据和模型评估指标对状态预13.根据权利要求12所述的一种基于深度强化学习的综合能源系统模型预测控制方14.根据权利要求13所述的一种基于深度强化学习的综合能源系统模型预测控制方15.根据权利要求14所述的一种基于深度强化学习的综合能源系统模型预测控制方表示计算在当前状态下，给定行动者网络生成的动作a时的值函数Q的梯67[0002]传统的能源系统通常采用分散的调度方式，各个能源子系统之间缺乏协同和优[0003]模型预测控制算法(ModelPredictiveControl，MPC)以其在综合能源系统中的和模型预测控制算法相结合实现调度是一个很8最关键挑战是它们缺乏约束强制保证；尽管一些安全的强化学习算法已经解决了这个问源微电网优化运行方法中利用强化学习Q_learning算法可以对MPC滚动优化目标函数权重[0010](3)学习参数有限，Q_learning算法难以同时学习多个参数，而当系统规模增加9[0027]S221、设定KL散度的限值γ,并利用K)表示参考分布P0下的概率密度函数；[0060]S31、利用状态预测模型预测日内园区综合能源设备中各机组在预测时域内的输[0081]S42、利用双延迟深度确定性策略梯度算法初始化智能体的评论家与行动者神经状态空间和动作空间的维度构建智能体的评论家与行动者神经网络包[0106]图1是根据本发明实施例的一种基于深度强化学习的综合能源系统模型预测控制[0107]图2是根据本发明实施例的一种基于深度强化学习的综合能源系统模型预测控制[0108]图3是根据本发明实施例的一种基于深度强化学习的综合能源系统模型预测控制t时分别表示t时刻CHP产热、电锅炉产热、燃气锅炉产热；[0163]S221、设定KL散度的限值γ,并利用K)表示参考分布P0下的概率密度函数；ppCostbat表[0198]以全天用能成本Costdayahead为目标函数，采用前述；PGBAC；时刻控制动作u(k)和扰动量r(k)预测出来的下一时刻ppp；p；，EBpp表示预测时域程度。[0236]S31、利用状态预测模型预测日内园区综合能源设备中各机组在预测时域内的输内的状态向量在权重系数Q的约束下尽可能接近日前参考值；第二项为保障电网的稳定性[0257]S42、利用双延迟深度确定性策略梯度算法初始化智能体的评论家与行动者神经状态空间和动作空间的维度构建智能体的评论家与行动者神经网络包[0292]2)当经验池D累计了足够的智能体与环境交互的数据后，从回放记忆单元中随机φ=π/φ(s/)+ε2，ε2表示策略噪声，用于策略平滑，然后利用目标评论家网络计算目标值[0297]5)当评论家网络更新一定步数之后，双延迟更新行动者网络π和目标行动者φφ网络的参数。表示评论家网络输出的关于动作a的梯度，计算在当前状态的交互过程中学习到最优的权重系数参数传递给模型预测控制模型进行调度控[0306]强化学习模块采用双延迟深度确定性策略梯度(TwinDelayedDeepTarget网络是ActorG网络的延迟更新网络副本，主要是为了稳定行动者网络的学[0309]和criQr是基于值的评论家网络，用于评估行动者网络生成动作的价值，并更新Actor"。Target和Target是目标评论家网络，用于评估Target网络生成动作的价值，计算目标值，用于更新CCQ4和Target网络结构是为了稳定学习过程并防止过拟合，在计算Q值的时候选取两个目标评论家网络[0310]基于深度强化学习算法，针对MPC外生控制参数建立可动态自适应寻优的闭环控网络会根据MPC执行结果和目标函数及奖励进行学习，通过对大量的历史数据进行学习训应用范围不仅局限于综合能源系统优化运行，也可进一步扩展至时域系统的滚动优化问