CN119494521A 基于深度强化学习的虚拟电厂协同优化调度方法及系统 （北京如实智慧电力科技有限公司）

基于深度强化学习的虚拟电厂协同优化调本发明提供一种基于深度强化学习的虚拟稳定高效调度，提升了系统的可靠性和经济效2采集虚拟电厂运行数据构建高维状态张量并添加至混合感知网络，结基于所述综合特征表征构建层次化多智能体元学习模型，通过变离约束的近端元策略优化算法以及预先构建的经验知识库更新策略参数得到初始更新策基于所述增强决策方案构建自适应优化系统，结合递归策略得到阶段性控制指令并结合弹性权重方法将采集到的新知识整合至所述增强混合专通过分布式传感器网络采集虚拟电厂运行数据，对所述虚拟电厂将所述高维状态张量输入混合感知网络，通过多层二维卷积提取3将所述初始特征序列输入多头分层注意力编码器，通过三次线性变换生成查询矩阵、通过前馈网络处理并添加残差连接和层归一化得到多尺基于设备物理连接关系构建初始图结构，通过谱聚类对所述初到功能子图，在所述功能子图内基于源节点和目标节点特征的相似度计算边注意力系数，对源节点特征进行线性变换并基于所述边注意力系数对邻居节点的变换特征进行加权求将所述多尺度时序特征和所述设备动态关联特征拼接后输入神经率流程网络对微分方程参数执行随机采样得到系基于所述系统状态轨迹，通过条件变分自编码器的编码网络生成将所述系统状态轨迹、所述标准正态分布和所述不确定性将系统状态轨迹输入条件变分自编码器的编码网络，所述基于所述均值向量和所述对数方差向量执行重参数化采样，从标将所述隐变量样本输入解码网络进行状态序列重建，所述用线性激活函数将增强后的高维特征重构为重建状态序列；将所述重建状态序列输入标准化流模型，所述标4在每个所述双射变换层完成变换后计算变换的雅可比演员评论家算法生成候选动作空间并通过距离约束的近端元策略优化算法以及预先构建重要性权重，根据基于狄利克雷采样的分层强化学习算法通过对偶平均随机梯度下降方基于所述综合特征表征构建层次化多智能体元学习模型，将所述将所述决策关键特征输入软演员评论家网络，利用软演员网络的三层取的专家数据以键值对形式存储于经验知识库中，所述键值对中键为状态特征的哈希值，值为对应动作和回报，从所述经验知识库检索相似状态下的专家决策指导策略参数更新，对于更新后的策略分布，计算策略梯度的二阶统计量得到信构建优先级队列形式的经验回放池并设置固定容5将决策过程分解为多个子任务，利用狄利克雷分布建立子任务间的执行快速非支配排序确定解的等级，计算目标空间中相邻解的根据任务特征与目标相似度执行任务分解，将电厂调度决策过程划针对所述机组启停子任务、所述负荷分配子任务与所述经济构建三层神经网络结构实现策略网络，设置所述三针对所述负荷分配子任务，基于当前状态下选择将所述对偶变量除以累积次数得到平均梯度，将所述平均梯度作6将所述增强决策方案输入递归神经编程网络，利用编码层转换为向构建对抗训练的知识蒸馏框架，利用生成器网络的编码器将随机噪声映射为特征表生成同态加密算法的公钥与私钥，对初始迁移知识表征进行采用深度故障诊断网络对安全模型参数进行实时诊断，提取多尺度设置周期性学习率退火策略，在训练过程中动态降低学习率，对混合练优化得到增强混合专家模型，并将所述增强混合专家模型的输出用于更新增强决策方根据更新后的增强决策方案生成阶段性控制指令，计算新采集得在特征空间中以当前样本为中心统计预先设置的样本半径范围将样本特征分为连续型特征与离散型特征，对所述连续型特征划分7将所述稀有度得分、所述信息熵得分与所述预测误差得分进样本缓冲池已满时按所述样本重要性得分降序排列并保留得分对所述样本重要性得分高于第一重要性阈值的样本提升采样概率并执行优先级训练，将采集得到的实时工况数据输入更新后的增强混合专家模型，根据当8.基于深度强化学习的虚拟电厂协同优化调度系统，用于实现前述权利要求1_7中任第一单元，用于采集虚拟电厂运行数据构建高维状态件变分自编码器和标准化流程模型计算状态分布并结合贝叶斯深度集成网络执行随机点第二单元，用于基于所述综合特征表征构建层次化多智作空间并通过距离约束的近端元策略优化算法以及预先构建的经验知识库更新策略参数支配关系筛选最优解集并通过提升算法得到增强决策方第三单元，用于基于所述增强决策方案构建自适应优8其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意9虚拟电厂调度方法存在环境适应能力差、建模精细度较低以及缺乏安全性保障措施等问[0003]本发明实施例提供一种基于深度强化学习的虚拟电厂协过距离约束的近端元策略优化算法以及预先构建的经验知识库更新策略参数得到初始更选最优解集并通过提升算法得到增强决策方案；调度策略得到阶段性控制指令并结合弹性权重方法将采集到的新知识整合至所述增强混批归一化层和激活函数，将提取的空间特征输入双向长短时记忆网络层得到初始特征序后通过前馈网络处理并添加残差连接和层归一化得到多尺将所述多尺度时序特征和所述设备动态关联特征拼接后输入神经微分方程网络，过概率流程网络对微分方程参数执行随机采样得到系统基于所述系统状态轨迹，通过条件变分自编码器的编码网络生成隐变量分布参合网络的多个特征处理分支，通过动态路由算法计算特征相似度矩阵并迭代更新路由权基于所述系统状态轨迹，通过条件变分自编码器的编码网络生成隐变量分布参准化流模型的双射变换转换为标准正态分布并通过雅可比矩阵更轨迹的初始特征，第二层采用线性整流函数作为激活函数提取所述初始特征的高阶特征，层采用线性激活函数将增强后的高维特征重构为重建状态将所述重建状态序列输入标准化流模型，所述标准化流模型包含多个双射变换层，在每个所述双射变换层中将所述重建状态序列划分为第一部分序列和第二部分序列，换，将未变换的所述第一部分序列与变换后的所述第二部分序列重新组合作为下一层输过距离约束的近端元策略优化算法以及预先构建的经验知识库更新策略参数得到初始更基学习器的预测结果进行加权投票得到增强决务的出力水平离散化为多个负荷档位，利用狄利克雷分布生成不同子任务的所述概率向调度策略得到阶段性控制指令并结合弹性权重方法将采集到的新知识整合至所述增强混门控记忆单元控制历史信息，状态更新单元融合当前输入与历史状态生成隐藏状态信息，在特征空间中以当前样本为中心统计预先设置的样本半径范围内的历史样本密所述样本缓冲池已满时按所述样本重要性得分降序排列并保留得分对所述样本重要性得分高于第一重要性阈值的样本提升采样概率并执行优先级训练，对所述样本重要性得分低于第二重要性阈值的样本降低采样频率并执行低频率训第一单元，用于采集虚拟电厂运行数据构建高维状态张量并添加至混合感知网连续状态演化模型并结合概率流程网络预测得到系统状态轨迹，基于所述系统状态轨迹，通过条件变分自编码器和标准化流程模型计算状态分布并结合贝叶斯深度集成网络执行选动作空间并通过距离约束的近端元策略优化算法以及预先构建的经验知识库更新策略权重对所述初始更新策略进行优化，结合进化计算和模拟退火算法求解多目标优化问题，基于支配关系筛选最优解集并通过提升算法得到增强决策方案；网络对所述增强决策方案进行动态调整得到初始控制策略，构建对抗训练的知识蒸馏框[0015]图1为本发明实施例基于深度强化学习的虚拟电厂协同优化调度方法的流程示意图2为本发明实施例基于深度强化学习的虚拟电厂协同优化调度系统的结构示意[0018]图1为本发明实施例基于深度强化学习的虚拟电厂协同优化调度方法的流程示意S1.采集虚拟电厂运行数据构建高维状态张量并添加至混合感知网络，结合多头所述动态异构图神经网络是一种能够处理动态变化且具有异构节点和边属性的批归一化层和激活函数，将提取的空间特征输入双向长短时记忆网络层得到初始特征序后通过前馈网络处理并添加残差连接和层归一化得到多尺将所述多尺度时序特征和所述设备动态关联特征拼接后输入神经微分方程网络，过概率流程网络对微分方程参数执行随机采样得到系统基于所述系统状态轨迹，通过条件变分自编码器的编码网络生成隐变量分布参合网络的多个特征处理分支，通过动态路由算法计算特征相似度矩阵并迭代更新路由权结合跨层特征递进机制对深度特征提取得到的不同深度的特征图进行注意力加权，例如，基于所述系统状态轨迹，通过条件变分自编码器的编码网络生成隐变量分布参准化流模型的双射变换转换为标准正态分布并通过雅轨迹的初始特征，第二层采用线性整流函数作为激活函数提取所述初始特征的高阶特征，层采用线性激活函数将增强后的高维特征重构为重建状态将所述重建状态序列输入标准化流模型，所述标准化流模型包含多个双射变换层，在每个所述双射变换层中将所述重建状态序列划分为第一部分序列和第二部分序列，换，将未变换的所述第一部分序列与变换后的所述第二部分序列重新组合作为下一层输[0030]所述雅可比矩阵行列式表示映射的局部体积变化率，用例如尺度和方向的变化，所述仿射变换尺度因子描述仿射变换过程中输入数据的缩放比[0034]将重建的状态序列输入到标准化流模型中。假设标准化流模型包含4个双射变换[0037]S2.基于所述综合特征表征构建层次并通过距离约束的近端元策略优化算法以及预先构建的经验知识库更新策略参数得到初所述距离约束的近端元策略优化算法是一种改进的强化学习方法，通过引入距离约束条过距离约束的近端元策略优化算法以及预先构建的经验知识库更新策略参数得到初始更基学习器的预测结果进行加权投票得到增强决[0039]所述核密度估计方法是一种非参数统计方法，用于估计数据分布的概率密度函决策关键特征，举例来说，假设综合特征表征是一个包含10个元素的向量，例如[0.1，[0041]将决策关键特征输入到软演员评论家网络。软演员网络是一个三层全连接网[0048]执行快速非支配排序确定解的等级，计算目标空间中相务的出力水平离散化为多个负荷档位，利用狄利克雷分布生成不同子任务的所述概率向[0055]将对偶变量除以累积次数得到平均梯度，将平均梯度作为原始变量的更新方为0.01，示例性地，假设当前系统负荷为500MW，有两个机组可用，机组A的出力范围为[0057]S3.基于所述增强决策方案构建周期性学习率退火策略进行训练优化，得到增强混合专家模型并更新所述增更新调度策略得到阶段性控制指令并结合弹性权重方法将采集到的新知识整合至所述增调度策略得到阶段性控制指令并结合弹性权重方法将采集到的新知识整合至所述增强混门控记忆单元控制历史信息，状态更新单元融合当前输入与历史状态生成隐藏状态信息，[0061]将增强决策方案输入到递归神经编程网络中，编码层将决策方案转换为向量序[0066]根据更新后的增强决策方案生成阶段性控制指令。计算新采集样本的重要性得在特征空间中以当前样本为中心统计预先设置的样本半径范围内的历史样本密所述样本缓冲池已满时按所述样本重要性得分降序排列并保留得分对所述样本重要性得分高于第一重要性阈值的样本提升采样概率并执行优先级训练，对所述样本重要性得分低于第二重要性阈值的样本降低采样频率并执行低频率训后信息熵得分就是0.8*0.5+0.2*0.3=0.4[0074]将采集到的实时工况数据输入更新后的增强混合专家模[0076]图2为本发明实施例基于深度强化学习的虚拟电厂协同优化调度系统的结构示意第一单元，用于采集虚拟电厂运行数据构建高维状态张量并添加至混合感知网连续状态演化模型并结合概率流程网络预测得到系统状态轨迹，基于所述系统状态轨迹，通过条件变分自编码器和