CN119494484A 一种基于近端策略优化算法的水库智能调度方法 （重庆交通大学）

一种基于近端策略优化算法的水库智能调本发明公开了一种基于近端策略优化算法并采用近端策略优化(PPO)算法更新网络参数，用历史实测径流数据验证智能体的实时调度性规避了传统算法维数灾的限制，Agent通过实时2S1：搭建水库智能体深度强化学习框架，所述水库智S2：在决策环境中应用马尔可夫决策过程进2.根据权利要求1所述的一种基于近端策略优化算法的水库智能调度方法，其特征在在收集器中Agent和环境交互，在时刻t,Agent观察环境中的状随后，动作被发送到马尔可夫决策过程定义的水库环境状态、奖励和动作被收集到经验回放缓冲区，把这些收集到的数据传到学3.根据权利要求1所述的一种基于近端策略优化算法的水库智能调度方法，其特征在000所述Agent的关键是动作的包括探索性和决策目标，所述在训练前期智能体具有更高奖励的增加而缓慢减少；所述决策目标为期望智能体运用最新收集到的数据能达到的效θt)34.根据权利要求1所述的一种基于近端策略优化算法的水库智能调度方法，其特征在powerpower5.根据权利要求4所述的一种基于近端策略优化算法的水库智能调度方法，其特征在6.根据权利要求5所述的一种基于近端策略优化算法的水库智能调度方法，其特征在7.根据权利要求6所述的一种基于近端策略优化算法的水库智能调度方法，其特征在48.根据权利要求7所述的一种基于近端策略优化算法的水库智能调度方法，其特征在9.根据权利要求1所述的一种基于近端策略优化算法的水库智能调度方法，其特征在于：所述PPO强化学习通过Policygradienttheorem、Actor_Critic策略梯度和TrustRegionPolicyOptimizatPPO的目标函数设计得既能够限制策略更新的步长，又能够避免TRPO中计算上的复杂5L"(0)=(VO(S)-R)"θH(πθ)是熵奖励项：6常为日或小时尺度)根据当前和预测的水文数据对水库进行调度，以实现多目标优化。然算法，可以在一定程度上克服传统方法的局限性，实现更为灵活、高效的水库实时调度[0005]PPO(ProximalPolicyOptimization)算法是深度强化学习中的一种先进算法，78[0023]所述Agent的关键是动作的包括探索性和决策目标，所述在训练前期智能体具有9tpower,tNav,tEco,ttpower,tNav,tEco,t梯度和TrustRegionPolicyOptimizatio[0056]PPO的目标函数设计得既能够限制策略更新的步长，又能够避免TRPO中计算上的[0068]且本发明在研究中还构建了基于POA的优化调度模型和基于DT的实时调度模型作[0078]实施例一用于详细描述一种基于近端策略优化算法的水库智能调度方法的过程[0092]Agent的关键是动作的包括探索性和决策目标，在训练前期智能体具有更高的探[0101]水库调度问题应用马尔可夫决策过程(MDP)框架系统化地描述和解决。马尔可夫[0102]转移函数为在水库调度问题中，环境的规则依赖于水量平衡方程和环境约束条tpower,tNav,tEco,ttpower,tNav,tEco,t[0122]PPO强化学习通过Policygradienttheorem、Actor_Critic策略梯度和TrustRegionPolicyOptimizat[0127]J(θ)表示累积回报的期望值，那么策略的梯度可以表示为状态_动作价值函数的φt[0139]使用时间差分误差(TDError)来更新价值函数参数。时间差分误差δ可以计算如[0149]其中，δ是限制KL散度的参数；函数DKL计算不同θ在相同状态s下的行为距离用越来越多步的TD残差来估计优势函数；rt代表在时间步t的即时奖励(immediate[0159]IS是重要性采样比率，它表示新策略下采取动作(a)的概率与旧策略下采取同一题，OpenAI提出了一种简单、实用且计算效率高的策略梯度方法ProximalPolicy[0166]在PPO算法的优化过程中，最终目标函数将结合策略目标、熵奖励项和值函数损[0170]PPO的目标函数设计得既能够限制策略更新的步长，又能够避免TRPO中计算上的下，当前策略选择动作a的概率,表示在状态s下，旧的策略选择动作a的概率，[0175]值函数损失是均方误差损失，用来衡量预测的状态价值Vθ(st)和目标回报Rt为4000亿m3，5月至10月的丰水期径流量占全年78而枯水期仅占22％。三峡电站装机总[0196]为了优化智能体性能，采用了随机搜索(RandomSearch)方法来选择最佳的超参固定的规则在丰水年汛期会产生更多弃水。9月至10月的蓄水期，由于防洪与蓄水的复杂[0204]Agent根据观测到的状态选择奖励概率最大的动作，因状态奖励与动作为概率分在99％_100％之间。Agent决策调度的多年航运保证率达到99.1多年生态保证率达到[0210]POA代表了全局优化可以实现的最佳性能，这表明Agent在仅观察未来7天降雨的情况下，能够实现与已知未来流入的POA全局优化相近的决策结果。DT决策调度依赖于从[0211]本发明提出了一种基于PPO强化学习算法的水库智能体多目标决策调度方法。以[0212](1)本发明初步揭示了PPO超参数在水库实时调度场景下对模型的性能和稳定性已知未来流入的POA优化调度仅相差0.23％。Agent的年均航运保证率和生态保证率接近ofCascadeReservoirOperationforPowerGeneration,BasedonanImprovedLightningSearchAlgorithm.Wforclosed_loopreservoirmodelingwithapplicationtoarealisticreservoir.PetroleumScienceandTechnology,[0221][3]Yu,X.,Xu,Y.P.,Gu,H.,&Guo,Y.(2023).Multi_objectiverobustoptimizationofreservoiroperationforreal_timefloodcontrolunderforecastinguncertainty.JournalofHydrology,620,129421.[0223][4]Yu,X.,Xu,Y.P.,Gu,H.,&Guo,Y.(2023).Multi_objectiverobustoptimizationofreservoiroperationforreal_timefloodcontrolunderforecastinguncertainty.JournalofHydrology,620,129421.flood_controloperationofcascadereservoirsusinganimprovedparticleswarmoptimizationalgorithm.ofhydropowerstationgroupintheupperreachesoftheYangtzeRiverusingpartitionparameteradaptationdifferentialevolution.EngineeringApplicationsofArtificialIntelligence,81,1_13.ReservoirsBasedonanIntegratedMultistrategyParticleSwarmAlgorithm.Water,15[0229][8]Liu,X.,&Luo,J.(2019).Adynamicwithinteractivityanduncertaintyforreal_timereservoirfloodcontroloperation.AppliedMathematicalModelling,74,606_620.objectiveriskmanagementmodelforreal_timefloodcontroloptimaloperationofaparallelreservoirsystem.Journal[0232][10]Ostadrahimi,L.,M.A.,&Afshar,A.(2012).Multi_reservoiroperationrules:[0233]multi_swarmPSO_basedoptimizationapproach.Waterresourcesmanagement,26,407_427.modelingofreservoiroperation.Journalofwaterresourcesplanningandhydropowerreservoirsoperation.InternationalJournalofElectricalPower&[0238]ApplicationofANN,fuzzylogicanddecisiontreealgorithmsforthedevelopmentofreservoiroperatingrules.Waterresourcesmanagement,27,911_925.[0239][14]Soentoro,E.A.,&Pebriana,N.(2019).Fuzzyrule_basedmodeltooptimizeoutflowinsinglereservoiroperation.InMATECWebofConferencesoperationrulesofwatersupplysystembasedontargetstoragecurves.Water[0241][16]Rani,D.,&Moreira,M.M.(2010surveyandpotentialapplicationinreservoirsystemsoperation.Waterresourcesmanagement,24,1107_1138.andforecastingofwaterresourcesvariables:areviewofmodeapplications.Environmentalmodelling&softwaYao,J.[0244](2023).Evolutionary_assistedreinforcementlearningforreservoirreal_timeproductionoptimizationunderuncertainty.PetroleumScience,20(1),261_276.R.E.,Hov,resources.EnvironmentalScience&Policy,79,1_8.Yao,J.[0251](2023).Evolutionary_assistedreinforcementlearningforreservoirreal_timeproductionoptimizationunderuncertainty.PetroleumScience,20(1),261_276.assistedreservoiroperationmodelforlong_termwatermanagementsimulation.JAWRAJournaloftheAmericanWaterResourcesAssociation,58(6),1592_1603.[0253][24]SadeghiTabas,S.(2021).ReinforcementLearningPolicyGradientMethodsforReservoirOperationManagementandControl.[0254][25]Dariane,A.B.,&Moradi,A.M.(2016).Comparativeanalysisofevolvingartificialneuralnetworkandreinforcementlearninginstochasticoptimizationofmultireservoirsystems.HydrologicalSciencesJournal,61(6),1141_1156.operatingpoliciesformulti_objectivereservoirsystems:applicationofself_learninggeneticalgorithm.AppliedSoftCompuForestiero,A.,[0257]&Lu,S.(2022).Maximizingsustainabilityinreservoiroperationunderclimatechangeusinganoveladaptiveacceleratedgravitationalsearch[0258][28]Xu,W.,Meng,F.,Guo,W.,Li,X.,&Fu,G.(2021).Deepreinforcementlearningforoptimalhydropowerreservoiroperation.JournalofWaterResourcesPlanningandManagement[0260][29]Tabas,S.S.,&Samadi,V.(2024).Fill_and_Spill:DeepReinforcementLearningPolicyGradientMethodsforReservoirOperationDecisionandControl.JournalofWaterResourcesPlanningandManagement[0261][30]Wu,R.,Wang,R.,Hao,J.,Wu,Q.,&Wang,P.(2024).Multiobjectivemultihydropowerreservoiroperationoptimizationwithtransformer_baseddeepreinforcementlearning.JournalofHydrology,1[0262][31]Xu,W.,Zhang,X.,Peng,A.,&Liang,Y.(2020).Deepreinforcementlearningforcascadedhydropowerreservoirsconsideringinflowforecasts.WaterResourcesManagement,34,3003_3018..Proximalpolicyoptimizationalgorithms.arXivpreprintarXiv:1707.06347.reinforcementlearningalgorithmbasedonimprovedppoinray.Proximalpolicyoptimizationalgorithms.arXivpreprintarXiv:1707.06347.choicesinproximalpolicyoptimization.arXivpreprintarXiv:2009.10897.[0268][36]E.,Coates,E.M.,Moe,S.,&Johansen,T.A.(2019,June).Deepreinforcementlearningattitudecontroloffixed_wingUAVsusingproximalpolicyoptimization.In2019internationalconferenceonunmannedaircraftfordynamicpricingwithonlinereviews.ExpertSystemswithApplications,213,119191.[0270][38]Lee,J.H.,&Labadie,J.W.(2007).Stochasticoptimizationofmultireservoirsystemsviareinforcementlearning.Waterresourcesreseastochasticoptimizationmodelforcascadedhydropowersystemsconsideringvaryinguncertaintyofflowforecasts.WaterResourcesResearch,50(12),9267_9286.forhydropowerstationsconsideringinflowforecastswithdifferentlead_times.Waterresourcesmanagement,modelsusingsquared_residualautocorrelations.Journaloftimeseries[0275][42]Xu,W.,Meng,F.,Guo,W.,Li,X.,&Fu,G.(2021).Deepreinforcementlearningforoptimalhydropowerreservoiroperation.JournalofWaterResourcesPlanningandManagement[0277][43]Feng,Z.K.,Niu,W.J.,Cheng,C.T.,&Lund,J.R.(2018).Optimizinghydropowerreservoirsoperationviaanorthogonalprogressiveoptimalityalgorithm.JournalofWaterResourcesPlanningandManagementoperationsystem:[0279]Comparisonofdecisiontr