CN119026867B 基于td3算法的梯级水电调度方法、系统、设备及存储介质 （河海大学）

号期优化调度模型中的调度问题转化为马尔科夫各电站长期调度决策方案；基于实际梯级水电2将所述长期优化调度模型中的调度问题转化为马所述利用双延迟确定策略梯度算法TD3对所述马尔科夫决策过程0；00动作以及下一时刻状态代入两个目标价值网3w2参数θ：LOSS=-Q,(s,a),其中，预测价值网络参数更新两次后对预测策略网络参数进行一4[0001]本发明涉及水电站调度技术领域，尤其涉及一种基于TD3算法的梯级水电调度方法在梯级水电站优化调度中得到了初步的应用。然而目前大多采用DQN(DeepQNetwork，5[0019]步骤1：初始化预测价值网络Q,(s,a)和2u(s,a),网络参数分别为w1和w2；策略动作以及下一时刻状态代入两个目标价值网络进行最网络参数θ：LOSS=-Q,(s,a),其中，预测价值网络参数更新两次后对预测策略网络参数进6[0040]转化单元，用于将所述长期优化调度模型中的调度问题转化为马尔科夫决策过[0041]求解单元，用于利用双延迟一确定策略梯度算法TD3对马尔科夫决策过程进行求[0049]图3为基于双延迟一确定策略梯度算法的梯级水电站长期调度智能决策方法及系7[0066]与现有基于DQN深度强化学习算法相比，可根据状态量输出该状态下的连续动作法)的深度强化学习算法相比，TD3(TwinDelayedDeepDeterministicpolicy8策略动作以及下一时刻状态代入两个目标价值网络进行最网络参数θ：LOSS=-Q,(s,a),其中，预测价值网络参数更新两次后对预测策略网络参数进[0096]求解单元，用于利用双延迟一确定策略梯度算法TD3对马尔科夫决策过程进行求977.657.928.524.2i为水电站i的出力和Vi[0123]式中，和分别为水电站i在t时段发电引用流量的最小值和最大值，[0137]马尔科夫决策过程根据梯级水电站的长期调度问题特征，定义强化学习中的状a,=(Q⃞")(12)策略动作以及下一时刻状态代入两个目标价值网络进行最1234567890.20.52[0173]雅砻江锦屏一级和二滩水电站在2020年6月1日至2021年5月31日一整年的调度决[0176]进一步采用DQN方法与DDPG方法进行雅砻江梯级水电站的长期调度智能决策，各347.05382.13388.85389.57与实际调度决策相比，本发明方法可显著提升梯级水电站的发电效益；同时与现有DQN、[0181]本申请实施例还提供了一种存储介质430，该存储介质43[0182]其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组编程只读存储器(ElectricallyErasableProgrammableRead_OnlyMemory,简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory,简称EPROM)，可编程只读存储器(ProgrammableRed_OnlyMemory,简称PROM)，只读存储器可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器[0189]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步