基于深度确定性策略梯度算法的虚拟电厂动态定价方法

多样化的电力交易品种导致了不同电力时段电力使用价值的差异性与波动性不断提升。特定时段开展的需求响应交易可以为虚拟电厂运营商带来收益。未来虚拟电厂对所聚合分布式资源的不确定性将以现货市场的动态价格弥补预测偏差值。弹性系数分析基于价值函数的分布式资源弹性系数分析,研究动态用电价格与分布式资源用电行为之间的关系03算法验证与对比对比不同算法的收敛效用,分析虚拟电厂总体收益变化情况02定价模型构建提出基于深度确定性策略梯度算法的虚拟电厂动态定价模型,以综合收益最大为目标04策略形成形成基于深度确定性策略梯度算法的虚拟电厂动态定价策略多时段电价动态调整下,需求侧分布式资源当前时段的用电行为会受到本时段和其他时段电价的综合影响。通过价值函数研究动态用电价格与分布式资源用电行为之间的关系,并利用实际不同价格的用电历史数据估计出未知参数,从而得到分布式资源交叉弹性系数。根据GeneralizedLeontief价值函数,分布式资源用电总费用与不同时段的用电价格和用电需求量的关系可以清晰地描述电价对用户行为的影响机制。这种方法能够量化不同时段电价之间的相互作用,为动态定价策略的制定提供理论基础。分布式资源用电总费用与不同时段的用电价格和用电需求量的关系:参数说明.i,j:分别为不同时间段.C:分布式资源用电总费用·g(q_i):分布式资源用电需求·p_i,p_j:分布式资源在i时段和j时段的用电电价费用占比每/时段费用占总费用的比例Ãi的计算:互弹性系数反映其他时段电价对本时段用电量的影响程度互弹性系数反映其他时段电价对本时段用电量的影响程度:互弹性系数通常为正值,表明其他时段电价上升会促使用户将用电行为转移到本时段。这是需求响应和负荷转移的理论基础。反映本时段电价对本时段用电量的影响程度:自弹性系数通常为负值,表明电价上升会导致本时段用电量下降。系数绝对值越大,表示用户对电价变化的敏感度越高。电价引导的目的是挖掘分布式资源的响应潜力,同时减小电网的峰谷差,平抑电网的负荷波动2考虑虚拟电厂以及虚拟电厂内部聚合的分布式资源的经济性和负荷变动等因素,建立虚拟电厂的动态定价模型2选取计算周期内综合收益最大为目标函数:该目标函数综合考虑了需求响应市场收益、现货市场收益以及用电服务收益三个维度,能够全面反映虚拟电厂的经济效益2通过深度确定性策略梯度(DDPG)算法,可以在连续动作空间中寻找最优定价策略2现货市场收益现货市场收益来源于虚拟电厂利用预测偏差,现货市场收益现货市场收益来源于虚拟电厂利用预测偏差,在现货市场进行买卖电操作2通过准确预测负荷和价格,可以在低价时段购电、高价时段售电,获取价差收益2用电服务收益用电服务收益是虚拟电厂为分布式资源提供用电服务所收取的费用2该收益与用电量和服务费标准相关,是虚拟电厂的基础收益来需求响应市场收益需求响应市场收益来源于虚拟电厂在特定时段调整负荷,响应电网调度需求所获得的补偿2该收益与负荷削减量和响应时段的补偿价格直接相关2为保障动态定价策略的整体合理性,避免贪婪算法下过度逐利对用户利益的损害,定价模型应满足以下四个约束条件: 动态定价策略下单个交易日收益应不低于固定定价下收益,确保虚拟电厂运营商的基本经济利益不受损。该约束保证了定价策略优化的方R+R+R≥R+R+Ri=1,2,…,n 3用户成本非增约束实施动态电价后,虚拟电厂以及虚拟电厂内部聚合的分布式资源用户总的用电费用应不大于固定服务费下的用电费用,保护用户权益。 2负荷总量守恒约束实施动态电价后,虚拟电厂以及虚拟电厂内部聚合的分布式资源用电总负荷应保持不变,保障用户的基本用电需求得到满足。j=1,2,…,n 4价格范围约束综合考虑用户侧和电网侧经济性的限制,用电服务费应在/定范围内变化,避免价格过高或过低带来的负面影响。,pmax)案例背景以某区域的电动汽车负荷聚合而成的虚拟电厂为例,分析虚拟电厂的动态定价策略对电动汽车充放电负荷及其运营收益的影响。充电功率按照3kW计算,电动汽车用户的需求响应会使该用户平移整段充电行为。定价参数设置.固定充电服务费:0.5元/kWh.动态定价区间:0~1元/kWh.峰时段电价:1.29元/kWh(12:00421:00).平时段电价:0.87元/kWh(7:00412:00,21:00424:00).谷时段电价:0.46元/kWh(0:0047:00)现货市场与需求响应市场交易频率均为15min,需求响应市场开展的时间为0:4547:00与12:45421:00两段。实验中的强化学习算法采用PythonTensorFlow2.0实现,约束采用XpressOptimizer中的Python接口计算。小时定价策略收敛速度适中,经过约1000次迭代后趋于稳定2相比峰谷平定价有所改善,最终收益约为150小时定价策略收敛速度适中,经过约1000次迭代后趋于稳定2相比峰谷平定价有所改善,最终收益约为150万元,是峰谷平定价策峰谷平定价策略算法输出维度较低,从初始迭代就取得较高的收益,并在500次迭代后快速收敛2但由于定价策略较为简单,在后续迭代中收益上升空间不足,最终收益约96点动态定价策略输出较为复杂,初始迭代中获得的收益较低,且经过1500次迭代后才趋于收敛2但取得了三组定价策略中的收益最高值,为231万元,是小时定价策略的虚拟电厂运营商在96点动态定价策略下平均每天的价格分布2在电动汽车用户总用电费用不增加的约束下,三种定价策略的价格分布和均值大致类似2动态定价策略下典型时刻的日价格波动情况2在峰时段和谷时段,价格的波动区间较低、波动度较小;在平时段,价格波动范围较大、波动度较大2三种定价策略下,各时段价格的均值大致相似,且平时段波动性要显著高于峰时段和谷时段。在动态定价策略下,价格的波动性较大,且平时段价格波动性约为峰时段或谷时段的3倍。$0.80$0.40$0.00峰时段均值平时段均值谷时段均值0.024峰时段标准差动态定价策略0.069平时段标准差动态定价策略0.026谷时段标准差动态定价策略3波动性比值平时段/峰谷时段负荷转移效果动态定价策略下电动汽车负荷峰值削减量明显高于其他定价策略,高峰期动态定价策略整体降低了18%的充电负荷。降低的负荷中有34.28%的负荷转移到平时段,而小时定价策略下峰时段降低的负荷仅有28.72%转移到平时段,峰谷平三段定价策略下峰时段降低的负荷仅有24.17%转移到平时段。负荷曲线优化动态定价策略下高峰期的充电负荷能够更多地转移到平时段,使得聚合电动汽车的虚拟电厂接入电网的负荷曲线更加友好。这不仅有利于电网的稳定运行,还能够为虚拟电厂带来更高的经济收益。15000-25000元每个时刻虚拟电厂聚合的电动汽车负荷变化后,虚拟电厂在对应时刻平均收益的变化趋势。针对谷时段,除峰谷平定价策略下部分时刻收益高于固定定价策略外,其他定价方法在谷时段收益均略低于固定定价策略。谷时段(0:00-7:00)96点动态定价策略下虚拟电厂的收益处于四种定价策略下的最低值,约为10000-15000元峰时段(12:00-21:00)96点动态定价策略在高峰期获得最高收益,达到约45000元,并实现全天总收益最高 平时段(7:00-12:00’21:00-24:00)由于存在峰时段的负荷转移,受到现货市场影响,收益有所波动,约为虚拟电厂的增量收益主要来源为现货市场和需求响应市场。现货市场收益增量来源于负荷转移后现货市场各时刻价格之差,现货市场收益增量约为需求响应市场收益增量的2~3倍,但由于虚拟电厂总充电负荷量保持不变,现货市场净收益占总体收益不足10%。10%总体收益提升96点动态定价策略34.28%34.28%负荷转移比例峰时