CN119376903B 自适应任务调度的执行机组管理方法及系统 （北京科杰科技有限公司）

自适应任务调度的执行机组管理方法及系统本发明提供一种自适应任务调度的执行机2采集执行机组的负载数据和运行状态数据，建立分布式数据处理节基于所述预测概率分布执行任务分配控制，结合改进的软演员评论家任务分配方案执行谱聚类运算并结合执行机组的负载特征网络拓扑构建自适应相似度矩基于所述最终分解结果构建时空异构图神经网络并融合任务的时序依赖和空间约束至预先设置的分层强化学习系统中规划全局调度策略并通过执行调度指令实现任务分配，2.根据权利要求1所述的方法，其特征在于，采集执行机组的负载数据和运行状态数部署分层数据采集系统采集执行机组的负载数据和运行状构建分布式存储集群存储执行机组的负载数据和运行根据设置的隐私预算计算噪声范围，将所述负载数据和所述运行状限定在对应的数据敏感度与隐私预算的比值范围内，从所述噪声范围内采样拉普拉斯噪3构建包含时序特征提取层和拓扑关系建模层的双层在预先构建的拓扑关系建模层中构建图结构注意力网络，将所述时序执行特征和所述状态依赖矩阵输入至近端策根据所述策略梯度损失更新所述策略网络的参数，限制基于训练完成的近端策略优化系统评估执行机组能力，基于4.根据权利要求1所述的方法，其特征在于，基于所述预测概率分布执行任务分配控4基于所述预测概率分布确定所述执行机组对应的处理器使用率预测预测分布和网络带宽预测分布并作为输入状态信息添加至所述改进的软演员评论家模型结合状态动作对计算价值评估，构建经验回放缓冲区存储训练样本并定期更新样本数据，将所述初始分配策略添加至预先设置的包含生成器和判别器的双向对抗生成网络中，所述执行机组分为不同负载等级组，对于每个负载等级组执行分层时空图注意力网络分基于预先获取的初始聚类结果和动态密度峰值算法计算执行机组的局部密度值和相构建分层时空图注意力网络处理所述负载等级组，在时述时空图注意力网络包含并行的时间通道和空间通道，通过自注意力机制捕获时序依赖，基于自适应交叉变异算子构建自适应进化算子优化任务分解方案，述任务调度方案执行汤普森采样的多臂赌博机算法计算不同调度目标的重要性权重并进5基于所述最终分解结果构建时空异构图神经网络，将任务节点划分为计算密集型节计算任务的资源需求向量与执行机组的资源容量向量之间的余弦相似度构建空间约采集预设时间段内的执行机组分组状态信息构建动态属性，其的序列作为所述任务调度方案；构建多臂赌博机模型，对所述任务调度方案执行构建包含全局策略网络和局部执行网络的分层强化学习部执行网络均由多层全连接层构成，将调整后的任务调度方案输入所述分层强化学习系化全局调度策略，通过策略梯度法更新网络参数使网络输出偏向历史验证有效的调度模6对每个调度臂执行汤普森采样，从所述调度臂的Beta分布中抽取样重通过将每个调度臂的样本值除以所有调度臂样基于所述重要性权重计算调度方案的综合得分，所述综合得分包含完成时间乘获得，所述负载均衡度得分由第三个调度臂的重要性权重与负载方差的倒数相乘获得，根据所述综合得分对任务调度方案进行调整，包括对任务优先级进行重排序8.自适应任务调度的执行机组管理系统，用于实现前述权利要求1_7中任一项所述的第一单元，用于采集执行机组的负载数据和运行状态数据执行联邦式学习运算，对采集到的数据执行差分隐私脱敏和标准化处理得到标准化数据集，基于所述标准化数据集搭建双向长短期记忆网络与图结构注意力网络的混合神经网第二单元，用于基于所述预测概率分布执行任务分配控制第三单元，用于基于所述最终分解结果构建时空异构调度方案添加至预先设置的分层强化学习系统中规划全局调度策略并通过执行调度指令7其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意8据所述能力评估结果构建数字映射模型将执行机组的状态编码至变分自编码器的潜在空初始任务分配方案执行谱聚类运算并结合执行机组的负载特征网络拓扑构建自适应相似[0010]基于所述最终分解结果构建时空异构图神经网络并融合任务的时序依赖和空间约束得到多维依赖关系模型，将所述执行机组的分组状态添加至所述多维依赖关系模型9案添加至预先设置的分层强化学习框架中规划全局调度策略并通过执行调度指令实现任初始任务分配方案执行谱聚类运算并结合执行机组的负载特征网络拓扑构建自适应相似[0025]构建改进的软演员评论家模型，其中，演员网络采用多层全连接结构并通过用率预测分布和网络带宽预测分布并作为输入状态信息添加至所述改进的软演员评论家[0027]将所述初始分配策略添加至预先设置的包含生成器和判别器的双向对抗生成网度值构建相似度矩阵，对具有最高质量分数的候选方案和所述相似度矩阵执行谱聚类运[0031]基于预先获取的初始聚类结果和动态密度峰值算法计算执行机组的局部密度值非支配排序方法选择满足负载均衡性和执行效率约束的优化方案，得到所述最终分解结[0035]基于所述最终分解结果构建时空异构图神经网络并融合任务的时序依赖和空间至预先设置的分层强化学习框架中规划全局调度策略并通过执行调度指令实现任务分配，[0038]计算任务的资源需求向量与执行机组的资源容量向量之间的余弦相似度构建空[0040]构建多臂赌博机模型，对所述任务调度方案执行汤普森性权重通过将每个调度臂的样本值除以所有调度臂样本值[0047]基于所述重要性权重计算调度方案的综合得分，所述综合得分包含完成时间得后的调度方案添加至预先设置的分层强化学习框架中规划全局调度策略并通过执行调度[0066]S1.采集执行机组的负载数据和化的深度强化学习框架，通过策略网络和价值网络交替训练得到执行机组的能力评估结[0067]所述联邦式学习运算是一种分布式机器学习方法，旨在忆网络包含正向和反向两个长短期记忆网络层，可同时捕捉序列的前向和后向依赖关系。连接关系映射为图结构中的边，边的权重初始化为两个执行机组之间的物理距离的倒数。softmax函数归一化得到最终的注意力权重。最后将注意力权重与值向量相乘并求和得到该注意力头的输出。将多个注意力头的输出拼接后再次进行线性变换得到最终的节点表[0100]构建变分自编码器结构的数字映射模型。该模型包括编码器和解码器两个部[0102]S2.基于所述预测概率分布执行所述初始任务分配方案执行谱聚类运算并结合执行机组的负载特征网络拓扑构建自适应相似度矩阵，结合动态密度峰值算法确定聚类数量并将所述执行机组分为不同负载等级初始任务分配方案执行谱聚类运算并结合执行机组的负载特征网络拓扑构建自适应相似[0106]构建改进的软演员评论家模型，其中，演员网络采用多层全连接结构并通过用率预测分布和网络带宽预测分布并作为输入状态信息添加至所述改进的软演员评论家[0108]将所述初始分配策略添加至预先设置的包含生成器和判别器的双向对抗生成网度值构建相似度矩阵，对具有最高质量分数的候选方案和所述相似度矩阵执行谱聚类运效利用历史数据和预测信息生成高质量的任务分配方案，提高了任务分配的准确性和效[0119]基于预先获取的初始聚类结果和动态密度峰值算法计算执行机组的局部密度值非支配排序方法选择满足负载均衡性和执行效率约束的优化方案，得到所述最终分解结[0127]采用深度确定性策略梯度算法训练各层策略网络。该算法结合了Q学习和策略梯[0130]S3.基于所述最终分解结果构建时空异构图神经网络并融合任务的时序依赖和空案添加至预先设置的分层强化学习框架中规划全局调度策略并通过执行调度指令实现任[0133]基于所述最终分解结果构建时空异构图神经网络并融合任务的时序依赖和空间至预先设置的分层强化学习框架中规划全局调度策略并通过执行调度指令实现任务分配，[0136]计算任务的资源需求向量与执行机组的资源容量向量之间的余弦相似度构建空[0138]构建多臂赌博机模型，对所述任务调度方案执行汤普森[0144]计算任务资源需求向量与执行机组资源容量向量的余弦相似度，构建空间约束[0145]采集预设时间段内的执行机组分组状态信息构建动态属性。计算负载组包含CPU性权重通过将每个调度臂的样本值除以所有调度臂样本值[0155]基于所述重要性权重计算调度方案的综合得分，所述综合得分包含完成时间得[0159]对每个调度臂执行汤普森采样。以最小化完成时间的调度臂为例，从其对应的[0160]基于重要性权重计算调度方