CN119473524A 工作流处理方法、调度器及存储介质 （华为技术有限公司）

调度器将第二作业所需的目标数据从存储集群中写入第二作业所在的计算集群中的第一计算2调度器获取待处理的工作流，所述工作流包括多个所述调度器将所述工作流调度至计算集群，所述计算集群用于执在所述计算集群执行关键作业路径包括的第一作业的过程中，所述调度器获取所述计算集群的可用带宽以及所述第一作业在所述计算集群执行所述第一作业的过程中，所述调度器所述调度器获取所述计算集群在历史时间段内执行所述工作述历史运行信息包括所述工作流中的各个作业的所述调度器根据所述历史运行信息，确定所述多个并行的作业路径中4.根据权利要求1至3任一项所述的方法，其特征在于，所述所述调度器将所述第一作业调度至所述第一计算节点，所述第一作业的5.根据权利要求1至3任一项所述的方法所述调度器将所述第一作业调度至所述第一计算节点，所述第一作业的所述调度器将所述第三作业调度至所述多个计算节点中的第二计当所述第三作业的输出数据被传输至所述第一计算节点所导致的执行所述第二作业3获取所述计算集群的可用带宽以及所述第一在所述计算集群执行所述第一作业的过程中，利用所述剩余所述获取模块，还用于获取所述计算集群在历史时间段内执行所述确定模块，用于根据所述历史运行信息，确定所述多个并行的将所述第一作业调度至所述第一计算节点，所述第一作业的输出数据将所述第一作业调度至所述第一计算节点，所述第一作业的输出数据将所述第三作业调度至所述多个计算节点中的第二计算节点，当所述第三作业的输出数据被传输至所述第一计算节点所导致的执行所述第二作业4所述处理器用于执行所述存储器中存储的指令，以使所述调度器备执行如权利要求1所述计算设备执行如权利要求1至5中任一项所述方5[0007]由于执行关键作业路径中的多个作业的总耗时，决定了[0008]在一种可能的实施方式中，调度器将目标数据从存储集群中写入第一计算节点6[0011]在一种可能的实施方式中，工作流中的多个并行的作业路径还包括第一作业路作业调度至多个计算节点中的第二计算节点，该第三作业的输出数据存储于第二计算节7[0024]为了实现提高计算集群执行工作流的效率，本申请提供[0029]关键作业路径，在本申请中用于指代工作流包括的多个储集群200以及调度器300之间可以通过高速互联网8以计算集群100包括计算节点101以及计算节点102为例进行示例性说明。不同计算节点之存储集群200包括存储节点201以及存储节点202为例进行示例性说明。每个存储节点可以[0036]调度器300用于为用户提交的工作流中的各个作业调度相应的资源，该资源可以得计算节点在执行工作流中的作业时，如果先耗费较长时间从存储集群200中访问得到执生的总耗时为7小时(即1小时+4小时+2小时)，执行作业路径2中的多个作业所产生的总耗9由于计算节点102从本地获取数据的速率高于计算节点102远程访问存储集群200以获取数户可以在该客户端上提交包括多个作业的工作流，并由客户端将该工作流发送给调度器[0055]然后，调度器300可以根据工作流中的各个作业对于资源的需求、以及计算集群目标数据从存储集群200中写入关键作业路径包括的第二作业所在的计算节点102，其中，业提前将其所需的输入数据写入计算集群100，来加快计算集群100获取该输入数据的效路径1中的多个作业所产生的总耗时为7小时，执行作业路径2中的多个作业所产生的总耗以包括工作流中的各个作业的执行时长，如计算集群100在历史时间段内执行工作流中的流中的不同作业之间的依赖关系，与已记录的工作流的标识以及依赖关系进行对应匹配。作流中不同作业之间的依赖关系均与已记录的信息匹配时，确定作业流中的关键作业路[0067]在第一种可能的实施方式中，以关键作业路径包括第一的目录修改为该临时工作目录，从而计算节点102可以通过访问该临时工作目录下的本地300提前加载目标数据的过程中，与计算集群100当前执行的作业之间竞争计算集群100中定计算集群100(中的计算节点101)在执行第一作业的过程中未被占用的可用带宽(以下称的开始执行时刻与第一作业的执行时长计算得到)，从而将第一作业的结束时刻作为加载第一作业所输出的数据从计算节点101加载至计算节点102，以加快计算节点102获取该数以第一作业的结束时刻作为第二作业开始执行的起始时刻(计算节点102上能够存储有执算节点102传输至计算节点101的过程所导致的执行第二作业的第[0082]仍以图2所示的工作流为例，假设作业路径2中的作业5(即上述第二作业)的输入数据，包括作业2(即上述第三作业)的输出数据以及作业4(即上述第一作业)的输出数据，到将作业2的输出数据从计算节点101传输至计算节点102耗时1小时，将作业4的输出数据从计算节点102传输至计算节点101耗时15分[0105]当第三作业的输出数据被传输至第一计算节点所导致的执行第二作业的起始时刻，早于第一作业的输出数据被传输至第二计算节点所导致的执行第二作业的起始时刻，[0107]图7为本申请提供的一种调度器700的硬件结构示意图，该调度器700例如可以实[0114]该存储器702可以是易失性存储器或非易失性存储器，或可包括易失性和非易失只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasablePROM，据速率同步动态随机存取存储器(doubledatadateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink[0115]该通信接口703用于与调度器700连接的其它设备进行通信。该总线704除包括数[0116]应理解，根据本申请实施例的调度器700可对应于本申请实是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所