CN119398250A 基于碳流理论和深度强化学习的多能系统优化调度方法 （河北工业大学）

基于碳流理论和深度强化学习的多能系统本发明公开了一种基于碳流理论和深度强于碳排放流理论将多能系统动态优化问题进行用L2正则化措施降低网络训练过程中的过拟合2步骤(4)：采用改进的深度确定性策略梯度算法对多能系统动态优化调度策略进行训2.如权利要求1所述的一种基于碳流理论和深度强化学习的多能系统优化调度方法，步骤(1_1)：建立多能系统的源侧碳流模型，包括上级电网和上级天然气网的碳流模步骤(1_2)：建立多能系统的能源转换设备和储能设备的碳流模型，包括热电联产机3式中，p,"、p,"分别为t时电锅炉输出端和输入端的碳流密度；分别为t时电2)放电模式：电储能放电时，其可等效为发4所述多能系统功率平衡约束包含电功率平衡等式约束、热功率平所述系统外购能源功率的上限和下限包含从上级电网购电和从上级天然气网购气两所述设备运行约束，包含能源转换设备运行上、下限约束和储能CHP_min和PCHP_max分别为t时热电联产机组输出电功率的下限和上限；HGB_min和HGB5_max分别为t时燃气锅炉输出热功率的下限和上限；HEB_min和HEB_max分别为t时电锅炉输出热3.如权利要求1所述的一种基于碳流理论和深度强化学习的多能系统优化调度方法，强化学习的基本组成部分包括表征环境的状态集合S在连续控制问题中，智能体需要在连续的动作空间中选择6多能系统优化调度的优化目的是最小化步骤(1_4)中的总运行成本，马尔科夫决策过当多能系统某一状态sl确定时，多能系统动态优化调度动作al的优劣程度可以使用状π下的期望；4.如权利要求1所述的一种基于碳流理论和深度强化学习的多能系统优化调度方法，Qt+1t+17iθQ)β是用于修正偏差的参数，为了让算法在训练0梯度算法中以降低训练过程中的过拟合风险，将L2正则化引入策略网络的性能目标函数JLQ为值网络的学习率；8θQ,←τθQ+(1_τ)θQ,；θμ,←τθμ+(1_τ)θμ,；5.如权利要求1所述的一种基于碳流理论和深度强化学习的多能系统优化调度方法，数据对应的预测动作数据，并通过所述值网络得到所述预测动作数据对应的预测状态_动目标动作状态值基于所述目标值网络以及目标策略9[0009]步骤(1)：基于碳排放流理论建立多能系统动态优化调度问题的目标函数和约束[0012]步骤(4)：采用改进的深度确定性策略梯度算法对多能系统动态优化调度策略进[0013]进一步的，所述基于碳流理论和深度强化学习的多能系统优化调度方法步骤(1)和Lh[0063]所述系统外购能源功率的上限和下限包含从上级电网购电和从上级天然气网购[0065]式中，PPG_min和PPG_max分别为t时从上级电网购电量的功率下限和上限；VS_min和VS_max分别为t时从上级天然气网购气量的_HGB_max分别为t时燃气锅炉输出热功率的下限和上限；HEB_min和HEB_max分别为t时电锅炉输出[0072]式中，和分别为单位时段电储能充电功率的最大值和放电功率最大[0074]式中，和分别为单位时段热储能充热功率的最大值和放热功率最大[0078]进一步的，所述基于碳流理论和深度强化学习的多能系统优化调度方法步骤(2)流密度p,s、气网天然气的碳流密度上一调度时段的动作at_1以及所处调度时段t作为[0091]当多能系统某一状态sl确定时，多能系统动态优化调度动作π下的期望。[0097]进一步的，所述基于碳流理论和深度强化学习的多能系统优化调度方法步骤(3)′确定采样经验i的优先级pi＝|δi|+σ,其中第i个样本的排i+1iiθQ)))2；算法中以降低训练过程中的过拟合风险，将L2正则化引入策略网络的性能目标函数J(θμ)τθQ+(1_τ)θQ′；τθμ+(1_τ)θμ′;[0136]进一步的，所述基于碳流理论和深度强化学习的多能系统优化调度方法步骤(4)[0139]3)基于所述预测动作状态值以及对应的目标动作状态值，得到损失函数计算结标动作状态值基于所述目标值网络以及目标策略网络计算得到。[0148]图1是本发明实施例提供的一种基于碳流理论和深度强化学习的多能系统优化调[0154]步骤(1)：基于碳排放流理论建立多能系统动态优化调度问题的目标函数和约束[0157]步骤(4)：采用改进的深度确定性策略梯度算法对多能系统动态优化调度策略进[0204]所述系统外购能源功率的上限和下限包含从上级电网购电和从上级天然气网购[0206]式中，PPG_min和PPG_max分别为t时从上级电网购电量的功率下限和上限；VS_min和VS_max分别为t时从上级天然气网购气量的_HGB_max分别为t时燃气锅炉输出热功率的下限和上限；HEB_min和HEB_max分别为t时电锅炉输出[0213]式中，和分别为单位时段电储能充电功率的最大值和放电功率最大[0215]式中，和分别为单位时段热储能充热功率的最大值和放热功率最大流密度:,"、气网天然气的碳流密度上一调度时段的动作at一1以及所处调度时段t作为状π下的期望。′定采样经验i的优先级pi＝|δi|+σ,其中第i个样本的i+1iiθQ)))2；τθQ+(1_τ)θQ′；τθμ+(1_τ)θμ′;