CN114756358B 一种dag任务调度方法、装置、设备及存储介质 （苏州浪潮智能科技有限公司）

US2022/0100763A1,2022.质小任务调度长度为目标定义网络模型的目标函每个DAG任务生成对应的信息矩阵；利用信息矩待执行DAG任务内子任务的调度顺序，并根据调度顺序利用并行计算系统执行待执行DAG任务。2获取DAG任务数据集，并对所述DAG任务数据集内每个所述DAG任务生成对应的信息矩利用所述信息矩阵对所述网络模型进行训练利用所述DAG任务调度模型确定待执行DAG任务内其中，所述利用所述信息矩阵对所述网络模型进将所述信息矩阵输入至所述网络模型，利用所述有向图利用所述顺序解码器，根据所述子任务的向量表示基于注意力机制和所述DAG任务的根据所述优先级排序利用DAG任务调度模拟器计算所述DAG任务根据所述任务调度长度和所述目标函数，利用强化学习更新所述网络模型的模型参基于聚合函数和非线性激活函数构建用于DAG任务特基于注意力机制和所述上下文环境的向量表达式构建用于优先4.根据权利要求1所述的DAG任务调度方法，其特征在于以DAG任务在不同时间步下优先级排序对应的任务调度长度和任务调度长度下限为自根据所述DAG任务参数生成DAG任务以得到3根据所述DAG任务数据集内所述DAG任务中调度顺序确定模块，用于利用所述DAG任务调度模型所述训练模块，还用于将所述信息矩阵输入至所顺序解码器，根据所述子任务的向量表示基于注意力机制和所述DAG任务的上下文环境对图卷积层构建单元，用于基于聚合函数和非线性激活函数构建用于DAG任务特征学习顺序解码器构建单元，用于基于注意力机制和所述上减速评价指标构建单元，用于以DAG任务在不同时间步下优先级排序对应的任务调度4邻接矩阵生成单元，用于根据所述DAG任务数据集内不同子任务之间的连接关系生成信息矩阵确定单元，用于基于所述结点特征矩阵和所述邻接矩阵得到所述DAG任务对5任务的基于优先级的非抢占式调度受到广泛关注，该问题研究如何将给定的DAG任务非抢占式地调度到并行计算系统上执行，使得处理时间最短，是一个典型的NP（Non-这些算法无法为DAG任务调度程序建立基本的设计原则，例如在不同DAG任务规模和配置[0006]获取DAG任务数据集，并对所述DAG任务数据集内每个所述DAG任务生成对应的信6[0014]基于注意力机制和所述上下文环境的向量表达式构建用于优先级排序的顺序解[0016]以DAG任务在不同时间步下优先级排序对应的任务调度长度和任务调度长度下限结点的子结点生成概率、相邻两个任务层之间连接边添加概率以及各个子任务的计算负[0028]利用所述顺序解码器，根据所述子任务的向量表示基于注意力机制和所述DAG任7[0037]图卷积层构建单元，用于基于聚合函数和非线性激活函数构建用于DAG任务特征[0043]减速评价指标构建单元，用于以DAG任务在不同时间步下优先级排序对应的任务[0048]任务生成单元，用于根据所述DAG任务参数生成DAG任务以得到所述DAG任务数据[0051]邻接矩阵生成单元，用于根据所述DAG任务数据集内不同子任务之间的连接关系[0052]信息矩阵确定单元，用于基于所述结点特征矩阵和所述邻接矩阵得到所述DAG任据集内每个所述DAG任务生成对应的信息矩阵；利用所述信息矩阵对所述网络模型进行训据所述调度顺序利用并行计算系统执行所述待执行DAG任务。本申请中基于有向图神经网8任务并行执行效率，并且利用强化学习能够解决难以为DAG任务的最佳优先级分配收集足基本的设计原则，例如在不同DAG任务规模和配置下如何利用DAG任务执行时间和DAG任务[0069]本实施例中，首先按照有向图神经网络（DGNN，DirectedGraphNeural9[0070]在进行本实施例的详细描述之前，首先对本实施例中涉及的基础概念进行是处理节点集合；是处理节点示的计算速度，且满足；是通信链路[0071]DAG任务，是指具有复杂依赖关系的、可在并行计算系统上并行执行的多个子任的子任务到其另一子任务t,之间的通信和数据依赖关系，t,必须在收到的计算结果[0073]设Pred(ti)和Succ(ti)分别为l,的直接前驱子任务集和直接后继子任务集。称与Pred(ti)和Succ(ti)中所有子任务间的连接边的集合分别为的入射边集E(t)和和degou(ti)⃞EOU(t)。若pred(t)=o，则称是入口子任务[0075]路径长度最长的完整路径称为关键路径。每个子任务结点vi的原[0078]如图3所示，设计有向图神经网络，它子任务间的依赖关系，能够识别子任务自身特征以及在DAG任务中与其余子任务的依赖关体的根据有向图神经网络学习到的DAG任务所有n个子[0087]顺序解码器基于注意力机制顺序选择子任务结点以生成大小为n的优先级排序,它对应一个优先级有序的子任务排列且满[0088]本实施例中顺序解码器可以将DAG任务优先级分配形式化描述为如下公式定义的：[0092]mr=argmax(p(mIm,m,…,mr-1,0)).(5)按照如下公式计算得到：o:和u:对以包括：以DAG任务在不同时间步下优先级排序对应的任务调度长度和任务调度长度下限间步的状态集合；时间步τ的状态S:包括DAG任务所有子任务结点的嵌入式表示以及已分配优先级的子任务；务调度的目标是最小化任务调度长度，本实施例中基于减速评价指标设计一个奖励函数:t度，为根据优先级排序确定的到子任务的所有子任务计算集内所述DAG任务中每个子任务的特征生成结点特征矩阵；所述结点特征矩阵为表征子任通过均匀分布确定目标结点下的子结点个数。此过程从入口子任务结点开始并重复ndepthDAG任务的上下文环境对所述DAG任务内的子任务进行优行计算效率更高。可有效避免难以为DAG任务的最佳优先级分配收集足够多监督标签的困[0133]本实施例中还提出一种基于深度强化学习和有向图神经网络的DAG任务调度系练后的DAG任务调度模型；利用所述DAG任务调度模型确定待执行DAG任务内子任务的调度用强化学习优化模型实现最小化DAG任务调度长度的调度目标，能够缩短DAG任务调度长练后的DAG任务调度模型；利用所述DAG任务调度模型确定待执行DAG任务内子任务的调度用强化学习优化模型实现最小化DAG任务调度长度的调度目标，能够缩短DAG任务调度长[0142]图卷积层构建单元，用于基于聚合函数和非线性激活函数构建用于DAG任务特征[0148]减速评价指标构建单元，用于以DAG任务在不同时间步下优先级排序对应的任务[0153]任务生成单元，用于根据所述DAG任务参数生成DAG任务以得到所述DAG任务数据[0156]邻接矩阵生成单元，用于根据所述DAG任务数据集内不同子任务之间的连接关系[0157]信息矩阵确定单元，用于基于所述结点特征矩阵和所述邻接矩阵得到所述DAG任神经网络根据所述子任务的特征和子任务间依赖关于注意力机制和所述DAG任务的上下文环境对所述DAG任务内[0161]任务调度长度确定单元，用于根据所述优先级排序利用DAG任务调度模拟器计算取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括DAG任务在内的数据[0167]其中，操作系统221用于管理与控制电子设备20上的各硬