CN118691128B 梯级水电站长期调度决策方法、系统、设备及存储介质 （河海大学）

梯度DDPG深度强化学习算法对马尔科夫决策过2将梯级水电站的长期优化调度问题转化为马尔科利用深度确定性策略梯度DDPG深度强化学习算法对所述马尔科夫决策过程进行求解，所述将梯级水电站的长期优化调度问题转化为马尔科夫算法决策过程，包括如下步状态转移函数：当本时刻上游来水确定的情况下，通过控制该时函数值，进一步利用调度周期内所有奖励值总和来表示梯级水电站调度周期内目标函数，式中，N为梯级流域中水电站的数量，Pi,t为水电站i在t时段所述利用深度确定性策略梯度DDPG深度强化学习算法对所述马尔科夫决策过程进行步骤2：利用预测网络参数w和θ来初始化目标预测网络和目标价值网络的权重参数w,3步骤6：将产生的执行动作a0输入梯级水电站环境中，得00所述梯级水电站的长期优化调度模型中，以梯级水电站调度周期内的ki4和Viqi，t为水电站i和上一级水；建模模块，用于获取梯级水电站的基础数据和运行情况，构建梯5求解模块，用于利用深度确定性策略梯度DDPG深6[0001]本发明涉及水电站调度技术领域，尤其涉及一种梯级水电站长期调度决策方法、法在梯级水电站优化调度中得到了初步的应用。然而目前大都采用深度Q网络(DeepQ_Network,DQN)的深度强化学习方法构建梯级水电站优化调度模型，由于该方法输出的是[0010]利用深度确定性策略梯度DDPG深度强化学习算法对所述马尔科夫决策过程进行一一7[0020]式中，和分别为水电站i在t时段的初始和末期库容，单位为m3；g:和分别为水电站i在t时段的平均入库流量和平均出库[0032]式中，和分别为水电站i在t时段发电引用流量的最小值和最大值，8[0041]库容水位曲线反映了水电站i在t时段中水库库容与水头之间的函数对应关系；[0045]进一步地，所述将梯级水电站的长期优化调度问题转化为马尔科夫算法决策过；标函数值，进一步利用调度周期内所有奖励值总和来表示梯级水电站调度周期内目标函9[0060]步骤2：利用预测网络参数w和θ来初始化目标预测网络和目标价值网络的权重调度动作产生的奖励值，在梯级水电站优化调度中代表一个时刻梯级水电站的发电量大[0069]步骤11：软更新目标策略网络和目标价值网络参数其中τ是[0075]决策模块，用于将梯级水电站的长期优化调度问题转化为马尔科夫算法决策过有基于DeepQ_Learning深度强化学习算法相比，其连续动作策略可使得调度策略更加精[0084]图3为基于深度确定性策略梯度算法的梯级水电站长期调度智能决策方法的流程,为上一级水电站在t时段的出库流量，单位为m3/s；9,为水电站i和上一级i-1水电站之间在时段的自然径流；[0132]库容水位曲线反映了水电站i在t时段中水库库容与水头之间的函数对应关系；[0136]在本实施例中，将梯级水电站的长期优化调度问题转化为马尔科夫算法决策过标函数值，进一步利用调度周期内所有奖励值总和来表示梯级水电站调度周期内目标函[0151]步骤2：利用预测网络参数n和0来初始化目标预测网络和目标价值网络的权重调度动作产生的奖励值，在梯级水电站优化调度中代表一个时刻梯级水电站的发电量大[0166]决策模块，用于将梯级水电站的长期优化调度问题转化为马尔科夫算法决策过[0170]如图3所示，该基于深度确定性策略梯度算法的梯级水电站长期调度智能决策方77.657.928.524.2[0194]式中，gre和分别为水电站i在t时段发电引用流量的最小值和最大值，[0203]库容水位曲线反映了水电站i在t时段中水库库容与水头之间的函数对应关系。[0208]马尔科夫决策过程根据梯级水电站的长期调度问题特征，定义强化学习中的状;[0235]S4，利用DDPG进行长期调度智能决策对雅砻江锦屏一级和二滩水电站在2020年612345678[0238]雅砻江锦屏一级和二滩水电站在2020年6月1日至2021年5月31日一整年的调度决[0241]进一步采用DQN方法进行雅砻江梯级水电站的长期调度智能决策，各方法下梯级347.05382.13388.85电站的发电效益；同时与现有DQN深度强化学习调度决策相比，本发明由于采用连续动作[0246]本申请实施例还提供了一种存储介质430，该存储介质43[0247]其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组编程只读存储器(ElectricallyErasableProgrammableRead_OnlyMemory,简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory,简称EPROM)，可编程只读存储器(ProgrammableRed_OnlyMemory,简称PROM)，只读存储器可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装连接部（电子装置便携式计算机盘盒（磁装置随机存取存储器（RAM只读存储器[0254]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步