CN119494490A 基于任务时空属性的算力网络工作流任务调度方法及系统 （山东省计算中心（国家超级计算济南中心））

基于任务时空属性的算力网络工作流任务了一种基于任务时空属性的算力网络工作流任照该总优先级进行排序，得到工作流的任务队2基于获取的多个工作流的用户优先级、作业优先级和任务资源需求2.根据权利要求1所述的基于任务时空属性的算力网络工作流任务调度方法，其特征根据所有工作流的完成时间、工作流进入工作流调度器的时间、算基于最小化所有工作流的完成时间、最小化用户成本和最3.根据权利要求1所述的基于任务时空属性的算力网络工作流任务调度方法，其特征若工作流所需的资源量大于待选择算力平台的资源需求量，4.根据权利要求3所述的基于任务时空属性的算力网络工作流任务调度方法，其特征若工作流所需的资源量小于等于待选择算力平台的资源需求量设备的地理位置距离最近的算力平台；对与该算力平台间带宽高于均值的其它算力平台，5.根据权利要求1所述的基于任务时空属性的算力网络工作流任务调度方法，其特征6.根据权利要求1或5所述的基于任务时空属性37.根据权利要求1所述的基于任务时空属性的算力网络工作流任务调度方法，其特征采用Halton低差异序列方法初始化种群，每一个兔子是一个任务调度方案，共有N个采用非支配排序方法对所有解，并计算所有解的拥挤度，得到与种群随机隐藏策略在迭代过程中基于历史记录的适应度变化调整行时实现如权利要求1_7中任一项所述的基于任务时空属性的算力网络工作流任务调度方4[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技向全局匹配资源，但基于算力网络提出的调度方法不能满足实现任务与资源的最优映射。[0006]本发明的第一个方面提供一种基于任务时空属性的算力网络工作流任务调度方5[0027]本发明的第二个方面提供一种基于任务时空属性的算力网络工作流任务调度系6如上述第一个方面所述的基于任务时空属性的算力网络工作流任[0040]图2是本发明示出的基于任务时空属性的算力网络工作流任务调度方法的流程7连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来[0048]如图1所示，本实施例提供了一种基于任务时空属性的算力网络工作流任务调度[0052]设工作流为W＝{w1,w2,…,ww}，其中w,=(id;,ar,G,d,p":p:")包括工作流标识id",用户优先级p",工作流优先级:,表示vw,t与vw,m之间的数据传输关系。[0053]设算力平台为P＝{p1,p2,…,pi}，其中p,=(id,8[0061]结合工作流描述文件内的用户优先级p"、作业优先级p"、任务资源需求额度raw得出该工作流所用最大的CPU资源数量和MEM资源数量α、β是用来归一化的系[0067]以总工作流完成时间、工作流执行总成本和资源匹配度三个目标建立多目标函9任务会先被调度。计算任务在该处理器上最早能完成的时间由该任务的开始执成的结束时间tend(vw,m,pn)与数据传输时间计算得到。该任务的开始执行时间tstart(vw,t,pk)，包括每个任务的前驱任务的完成时间ttc(vw,m,pk)与数据传输时间当工作流的无前驱任务的任务开始调度时，任务的开始执行时间为工作流所需任务的完成时间得到该工作流的完成时间。工作流的子任务执行时间通过任务负载量li,j[0079]资源匹配度用来衡量任务所调度的算力平台的处理器资源与内存资源使用比例聚类算法，将划分为一类的任务判断为具备周期性的工作流任务。再由工作流资源数量cpuia和判断，设cpularge和memlarge为大型工作流的CPU和MEM需求的平均值，若mem>mem'i"且对该工作流在其提交时间前一个T时间周期内，使用多目标[0089]在对上述的提交工作流数量>>M的多工作流任务选择部分算力平台时，使用IP地异构最早完成时间调度算法得到以执行速度最快为目标的工作流任务执[0097]任务变成pod在k8s调度器内执行流程如图4所示，调度器接收生成的Pod进入pod择一个最合适的作为pod执行的节点，随后此节点上的Kublet进程通过APIServer监听到理器执行时实现如上述实施例一所述的基于任务时空属性的算力网络工作流任务调度方任务时空属性的算力网络工作流任务调度方法现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0119]这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一碟、光盘、只读存储记忆体(Read_OnlyMemory，RO