【基于深度强化学习的冷热电三联供能源系统运行优化分析案例3700字】

如果利用Q学习进行能源系统优化，需要观测难以计数的动作和状态。当外部1.1深度强化学习算法获得解决相关问题的能力33。深度学习的最终目的是让计算机像人一样能够处DQN强化学习算法是由谷歌公司的DeepMind团队所提出，这是一种典型智能体观察奖赏动作环境图4-1深度强化学习原理图第三章的能源系统优化案例采用的是Q学习方法，而现实情况往往更为复因状态空间，动作数目过多而引起的Q-table庞大这一问题。利用深度强化学习的卷积神经网络可以将Q-table的更新转化成了函数的拟合问题，该函数也可以Q(s,a,θ)≈Q*(s,a)=Es,a,r,函数可以无限接近最优Q值。由Q函数进一步得到Q网络。Q网络与目标函数L(θ)=Es,a,r;s'D[(r+ymaxQ(s′,a′,θi-1Is,a-Q(s,a,θ;))²]能体每经过t步长后便会自动保存其与环境交互所生成的数据。更新θ,不断重复这一过程来实现监督学习，具体的更新优化方法采用随机梯度关性误差，通过此公式迭代计算得到最终的理想Q值。对Q网络进行不断的改Q值，选取最优Q值所对应的状态a,执行完该动作后可获得奖赏r。当完成这用深度强化学习的损失函数模块进行计算分析，求出当前状态s和对应动作a的在DQN算法优化研究中，我们仍将采用第三章所选案例的数据。即针对冷备利用电能制冷，这一部分电能合并在前面电需求计算过程中一同计算、当日深度强化学习中的状态值可以设置为外电网逐时刻购电价格、天然气价个不同等级，按照热电联产满足热需求的比例划分为0,0.2,0.4,0.6,0.8,1.0照热电联产满足用户热需求的比例与热电联产最大功率与用户热需求的比值进相较于Q学习中智能体的学习率设置为0.5,在深度强化学习中智能体学习率设置为0.001,原因是深度强化学习往往可以探索更多空间，设置较低的学习在深度强化学习中，折扣因子设置为0.95。智能体折扣因子的取值范围在0和1之间，折扣因子越大，智能体越注重当前收益，我们将折扣因子设为0.95符合人类大脑的认知。深度强化学习具体算法流程如图4-2所示：初始化动作值初始化动作值a、状态值s、贪婪因子、学习率、折扣率、定义最大探索步数、定义记忆库大小建立神经网络、建立记忆库按照贪婪因子定义采取动作的原则利用反向传递对权重进行优化按照奖励R为对应状态下采取动作所得运行成本的相反数得到智能体的奖励s_=s+1作为下一时刻的状态值判断智能体是否完成学习?是将最终培训好的智能体保存起来，输入初始化逐时电价、燃料价格、电需求、热需求得到最优运行方案否使用以上算法，智能体通过不断试错探索学习，经过1000轮的探索后智能体可以学习到最优决策能力，最终优化结果为每日运行成本392.30欧元，具体的逐时运行方案如图4-3所示热需求。此时热电联产设备和辅助锅炉均停机，所需电负荷全由电网购电。在6电需求持续波动，电网购电价格发生波动，结合用户冷案。在21-24小时期间，用户无热需求，冷需求且电价有所回落，此时主要由外1.3Q学习和DQN对冷热电三联供综合能源系统优化对比分析行成本为386.05欧元，DQN所求得单日总运行成本为390欧元。因此对于简单的综合能源模型而言，采用Q学习方法和DQN学习方法得到的优化结果接近，差别。在电网购电方案上，DQN优化方案更倾向于电网购电，总购电量为2862.9KW/h,而Q学习优化方案为2649.13KW/h。此外在7至9小时，11至20从热电联产运行的角度进行分析，可以得到Q学习在0至7时的运行方案为热电联产停机，而DQN在0至6时运行方案为停机，在6-7时热电联产参与工作。在20时以后，Q学习优化方案中热电联产停机，而DQN优化方案为21小时后热电联产才停机，DQN优化方案热电联产工作时间更长。其余时间段内二变化情况较小，主要变动区间在50-150KW/h区间，而用DQN方法所得到的运本算例中的约束条件较少，各个时间段