CN114416313B 基于资源预测模型的任务调度方法和装置 （腾讯科技（深圳）有限公司）

本申请公开了一种基于资源预测模型的任据第一任务调度历史信息和第一资源占用状态括一个任务在一个历史周期中的一个时段上的务在一个历史周期中一个时段的上一个时段上的子任务在一个历史周期的上一个历史周期中一个时段的下一个时段上的调度特征和资源占2获取第一任务调度历史信息和第一资源占用状态信所述资源占用状态标签用于表示所述被调度的任务的资根据所述第一任务调度历史信息和所述第一资源占用状态信息，确定目务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和根据所述目标训练样本集合，对待训练的资源预测模型进行训练，本中的所述一个任务的父任务在所述一个历史周期中所述一个时段的上一个时段上的调将所述目标训练样本集合中的每个训练样本依次输入到所述待训练的资源预测模型用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值满足预设的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值不满足所述预设的损失条件的情况下，对所述待训练的资源预测模型中的参数进行调整，所述多个时段中的每一个时段上的实际资源占用状态是根据所述每个训练样本中的所述一个任务在所述一个历史周期中的所述一个时段上的调度特征和资源占用状态标签确定所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上重复执行以下步骤，直到所述待训练的资源预测模型输出的时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间在所述目标训练样本集合中选择当前训练样本，并3在所述待训练的BERT模型中，根据所述每个训练样本中的所述述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时确定所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值是否满足所述预设的在所述待训练的BERT模型输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值不满足所述预设获取在目标未来周期中预约调度的目标任务集合以及预约预约调度时段集合中的每个预约调度时段是所述目标任务集合中的任务在所述目标未来获取目标调度时段集合中的每个目标调度时段上的预测资态是根据所述目标资源预测模型确定得到的资根据所述预约调度时段集合、所述每个目标调度时段上的预测资源获取第二任务调度历史信息和第二资源占用状态信态信息包括所述M个历史周期中被调度的任务的资源占用根据所述第二任务调度历史信息和所述第二资源占用状态信息，确定目务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和将所述目标测试样本集合输入到所述目标资源预测模型，得到所述多样本集合中的每个测试样本，确定所述多个时段中的每一个时段上的预测资源占用状态，4将所述目标测试样本集合中的每个测试样本依次输入到所述目标资在所述目标资源预测模型中，根据所述每个测试样本中的所述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时获取所述目标任务集合中在所述当前预约调度时段上预约在所述预约调度的任务的数量小于或等于所述平均调度任务数在所述预约调度的任务的数量大于所述平均调度任所述当前预约调度时段之后的一个或多个预约查找在所述当前预约调度时段之后的满足第一预设条件的第一个预约调度时段，其5预约调度时段上预约调度的任务的数量与所述目标数量之和小于或等于所述平均调度任标数量的任务的预约调度时段调整为满足所述第一预设条件的所述第一个预约调度时段；查找在所述当前预约调度时段之后的满足第二预设条件的第一组预约调度时段，其述目标调度时段上的预测资源占用状态表示所述目标调度时段上的预测资源利用率小于述第一组预约调度时段中的每个预约调度时段上预约调度的任务的数量均小于或等于所在所述目标未来周期中的当前预约调度时段上，检测所述当前预约调度在检测出所述当前预约调度时段上预约调度的任务都运行完毕查找在所述当前预约调度时段之后的满足第三预设条件的第一个预约调度时段，其测资源占用状态表示所述目标调度时段上的预测资源利用率在查找到所述满足第三预设条件的第一个预约调度时段设条件的所述第一个预约调度时段中确定所述在所述目标未来周期中的当前预约调度时段上，检测所述当前是否少于所述当前预约调度时段上预约调度的任务在检测出所述当前预约调度时段上的资源少于所述当前预约调度时段上预约调度的6查找在所述当前预约调度时段之后的满足第四预设条件的第一个预约调度时段，其测资源占用状态表示所述目标调度时段上的预测资源在查找到所述满足第四预设条件的第一个预约调度时段的情任务的预约调度时段从所述当前预约调度时段调整为所述满足第四预设条件的第一个预任务调度历史信息包括N个历史周期中被调度的任务的调度特征，每个历史周期包括多个确定模块，用于根据所述第一任务调度历史信息和所述第一一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和资源占用状态标签，所述N个历史周期包括所述一个历史周期和所述上一的每个训练样本中的所述一个任务的父任务在所述一个历史周期中所述一个时段的上一将所述目标训练样本集合中的每个训练样本依次输入到所述待训练的资源预测模型用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值满足预设的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值不满足所述预设的损失条件的情况下，对所述待训练的资源预测模型中的参数进行调整，所述多个时段中的每一个时段上的实际资源占用状态是根据所述每个训练样本中的所述一个任务在所述一个历史周期中的所述一个时段上的调度特征和资源占用状态标签确定7练的资源预测模型输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值满足预设的重复执行以下步骤，直到所述待训练的资源预测模型输出的时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间在所述目标训练样本集合中选择当前训练样本，并在所述待训练的BERT模型中，根据所述每个训练样本中的所述述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时确定所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值是否满足所述预设的在所述待训练的BERT模型输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值不满足所述预设获取在目标未来周期中预约调度的目标任务集合以及预约预约调度时段集合中的每个预约调度时段是所述目标任务集合中的任务在所述目标未来获取目标调度时段集合中的每个目标调度时段上的预测资态是根据所述目标资源预测模型确定得到的资根据所述预约调度时段集合、所述每个目标调度时段上的预测资源获取第二任务调度历史信息和第二资源占用状态信态信息包括所述M个历史周期中被调度的任务的资源占用根据所述第二任务调度历史信息和所述第二资源占用状态信息，确定目务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和8将所述目标测试样本集合输入到所述目标资源预测模型，得到所述多样本集合中的每个测试样本，确定所述多个时段中的每一个时段上的预测资源占用状态，的预测资源占用状态为所述多个时段中的每一个时段上的预测资源将所述目标测试样本集合中的每个测试样本依次输入到所述目标资在所述目标资源预测模型中，根据所述每个测试样本中的所述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时获取所述目标任务集合中在所述当前预约调度时段上预约在所述预约调度的任务的数量小于或等于所述平均调度任务数在所述预约调度的任务的数量大于所述平均调度任9所述当前预约调度时段之后的一个或多个预约的预约调度时段调整为所述当前预约调度时段之后的一个或查找在所述当前预约调度时段之后的满足第一预设条件的第一个预约调度时段，其预约调度时段上预约调度的任务的数量与所述目标数量之和小于或等于所述平均调度任标数量的任务的预约调度时段调整为满足所述第一预设条件的所述第一个预约调度时段；查找在所述当前预约调度时段之后的满足第二预设条件的第一组预约调度时段，其述目标调度时段上的预测资源占用状态表示所述目标调度时段上的预测资源利用率小于述第一组预约调度时段中的每个预约调度时段上预约调度的任务的数量均小于或等于所在所述目标未来周期中的当前预约调度时段上，检测所述当前预约调度在检测出所述当前预约调度时段上预约调度的任务都运行完毕预约调度时段之后的预约调度时段上预约调度的任务中确定查找在所述当前预约调度时段之后的满足第三预设条件的第一个预约调度时段，其测资源占用状态表示所述目标调度时段上的预测资源利用率在查找到所述满足第三预设条件的第一个预约调度时段设条件的所述第一个预约调度时段中确定所述在所述目标未来周期中的当前预约调度时段上，检测所述当前是否少于所述当前预约调度时段上预约调度的任务在检测出所述当前预约调度时段上的资源少于所述当前预约调度时段上预约调度的或多个任务的预约调度时段从所述当前预约调度时段调整为所述当前预约调度时段之后查找在所述当前预约调度时段之后的满足第四预设条件的第一个预约调度时段，其测资源占用状态表示所述目标调度时段上的预测资源在查找到所述满足第四预设条件的第一个预约调度时段的情任务的预约调度时段从所述当前预约调度时段调整为所述满足第四预设条件的第一个预处理器执行时实现权利要求1至13任一项中所述方序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至13任一项中所述的方[0006]根据本申请实施例的一个方面，提供了一种基于资源预本集合中的每个训练样本包括一个任务在一个历史周期中的一个时段上的调度特征和资上一个历史周期中所述一个时段的下一个时段上的调度特征和资源占用状态标签，所述N[0007]根据本申请实施例的另一方面，还提供了一种基于资源预测模型的任务调度装第一任务调度历史信息包括N个历史周期中被调度的任务的调度特征，每个历史周期包括[0009]确定模块，用于根据所述第一任务调度历史信息和所述所述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和资源占用状态标签，所述N个历史周期包括所述一个历史周期和所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个状态是根据所述每个训练样本中的所述一个任务在所述一个历史周期中的所述一个时段测模型用于根据所述每个训练样本中的所述一个任务的父任务在所述一个历史周期中所在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和资定所述多个时段中的每一个时段上的预测资源个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源预测模型输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时训练样本集合中选择当前训练样本，并将所述当前训练样本输入到待训练的BERT模型中，根据所述每个训练样本中的所述一个任务的父任务在所述一个历史周期中所述一个时段历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和资源占用状态标签，确定所述一个任务在所述一个历史周期中的所述一个时段上的预测资源占用状态，资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值是否上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损目标调度时段上的预测资源占用状态、以及获取所述目标调度时段上的平均调度任务数其中，所述第二任务调度历史信息包括所述目标未来周期之前的M个历史周期中被调度的的整数，所述第二资源占用状态信息包括所述M个历史周期中被调度的任务的资源占用状子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和资源占用状态标签，确定所述一个任务在所述一个历史周期中的所述一个时段上的预测资源占用状任务数量的情况下，在所述当前预约调度时段上预约调度的任务中确定目标数量的任务，其中，所述目标数量等于所述预约调度的任务的数量与所述平均调度任务数量之间的差目标数量的任务的预约调度时段调整为所述当前预约调度时段之后的一个或多个预约调度时段相同的所述目标调度时段上的预测资源占用状态表示所述目标调度时段上的预测段中的每个预约调度时段相同的所述目标调度时段上的预测资源占用状态表示所述目标预约调度的任务的数量与所述平均调度任务数量之间的差值的总和大于或等于所述目标数量的任务中的每个任务的预约调度时段分别调整为所述第一组预约调度时段中对应的时段相同的所述目标调度时段上的预测资源占用状态表示所述目标调度时段上的预测资情况下，在满足所述第三预设条件的所述第一个预约调度时段中确定所述一个或多个任预约调度时段上的资源是否少于所述当前预约调度时段上预约调度的任务运行所需的资务运行所需的资源时，在所述当前预约调度时段上预约调度的任务中确定一个或多个任时段调整为所述满足第四预设条件的第一个预机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指[0026]在本申请实施例中，采用获取第一任务调度历史信息和中的每个训练样本包括一个任务在一个历史周期中的一个时段上的调度特征和资源占用下一个时段上的调度特征和资源占用状态标签，N个历史周期包括一个历史周期和上一个[0028]图1是根据本申请实施例的一种可选的基于资源预测模型的任务调度方法的应用[0029]图2是根据本申请实施例的一种可选的基于资源预测模型的任务调度方法的流程[0030]图3是本申请实施例提供的分布式系统100应用于区块链系统的一个可选的结构[0032]图5是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方法的示[0033]图6是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方法的示[0034]图7是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方法的示[0035]图8是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方法的示[0036]图9是根据本申请实施例的一种可选的基于资源预测模型的任务调度装置的结构[0037]图10是根据本申请实施例的一种可选的基于资源预测模型的任务调度产品的结员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络，其目的是为了处[0044]BERT算法：即双向Transformer的Encoder，模型主要用了MaskedLM和Nexti+1n)作为目标函数训练LM。[0049]根据本申请实施例的一个方面，提供了一种基于资源预[0051]S1，在服务器101上获取终端设备103上应用程序107的第一任务调度历史信息和历史周期的上一个历史周期中一个时段的下一个时段上的调度特征和资源占用状态标签，上一个历史周期中一个时段的下一个时段上的调度特征和资源占用状态标签，N个历史周统100应用于区块链系统的一个可选的结构示意图，由多个节点200(接入网络中的任意形PeerToPeer)网络，P2P协议是一个运行在传输控制协议(TCP，TransmissionControl据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，[0072]参见图4，图4是本申请实施例提供的区块结构(BlockStructure)一个可选的示相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防[0079]某网站为了实现天气实时展示，每隔5分钟就去天气服务器获取最新的实时天气[0081]图5是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方法的示[0087]其中，xf(i=T-n,…,T;j=0,…,23)表示第i天第j个小时段内的样本特一个任务的子任务在一个历史周期的上一个历史周期中一个时段的下一个时段上的调度[0092]例如，图6是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方Y(Task2)表示任务Task2在T-1历史周期中的1时段上的资源占用状态标签，Task1是Task2[0094]例如，图7是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方务即为Task_00004,，可以根据任务调度历史信息确定任务ID以及具有上下依赖关系的任[0097]在本申请实施例中，采用获取第一任务调度历史信息和中的每个训练样本包括一个任务在一个历史周期中的一个时段上的调度特征和资源占用下一个时段上的调度特征和资源占用状态标签，N个历史周期包括一个历史周期和上一个到待训练的资源预测模型输出的多个时段中的每一个时段上的预测资源占用状态与多个时段中的每一个时段上的实际资源占用状态之间的损用状态与多个时段中的每一个时段上的实际资源占用状态之间的损失值不满足预设的损上的实际资源占用状态是根据每个训练样本中的一个任务在一个历史周期中的一个时段子任务在一个历史周期的上一个历史周期中一个时段的下一个时段上的调度特征和资源[0103]输入具有上下依赖关系任务的标签数据和具有上下依将标签数据矩阵Y与特征数据XT-1和XT按照任务ID和每个任务当前周期的一个时段的上一时段及上一历史周期的一个时段的下一时段的相应的用经验将样本随机切分为训练样本：测试样本＝8:2(即，按8:2的比例随机切分训练样本s"和测试样本)。对于XT用于构建预测样本。多个时段中的每一个时段上的实际资源占用状态之间的损失值满足预设的损失条件可以包括但不限于待训练的资源预测模型输出的预测资源占用状态与历史数据中记录的实际确定上述多个时段中的每一个时段上的预测资资源占用状态与多个时段中的每一个时段上的实际资源占用状态之间的损失值满足预设上的预测资源占用状态与多个时段中的每一个时段上的实际资源占用状态之间的损失值[0108]在目标训练样本集合中选择当前训练样本，并将当前训练样本输入到待训练的一个历史周期的上一个历史周期中一个时段的下一个时段上的调度特征和资源占用状态[0110]确定多个时段中的每一个时段上的预测资源占用状态与多个时段中的每一个时段上的实际资源占用状态之间的损失值是否满足预设的损[0111]在待训练的BERT模型输出的多个时段中的每一个时段上的预测资源占用状态与多个时段中的每一个时段上的实际资源占用状态之间的损失值不满足预设的损失条件的YHHBH真实输出向量的概率变换隐藏层采用第一期(T-n期)的真实输出向量的UHBH[0117]获取在目标未来周期中预约调度的目标任务集合以及预预约调度时段集合中的每个预约调度时段是目标任务集合中的任务在目标未来周期上的上述目标资源预测模型的输出即为上述目标未来周期中每个目标调度时段上的预测资源述平均调度任务数量表示每个目标调度时段所调[0126]根据第二任务调度历史信息和第二资源占用状态信息，历史周期中一个时段的下一个时段上的调度特征和资源占用状态标签，M个历史周期包括之前的M个历史周期中被调度的任务的调度特征，上述第二资源占用状态信息可以包括但不限于M个历史周期中被调度的任务的资源占用一个历史周期的上一个历史周期中一个时段的下一个时段上的调度特征和资源占用状态时段上的调度特征，Y(Task2)表示任务Task2在T-1历史周期中的1时段上的资源占用状态预约调度时段上预约调度的任务的数量不变可以包括但不限于在当前预约调度时段上预进行匹配，将第T+1天调度任务按照平均任务数分配到第T+1天中的每一个目标调度时段，[0147]查找在当前预约调度时段之后的满足第一预设条件的第一个预约调度时段，其[0148]查找在当前预约调度时段之后的满足第二预设条件的第一组预约调度时段，其每个预约调度时段上预约调度的任务的数量与平均调度任务数量之间的差值的总和大于量的任务中的每个任务的预约调度时段分别调整为第一组预约调度时段中对应的预约调的目标调度时段上的预测资源占用状态表示目标调度时段上的预测资源利用率小于预设[0158]查找在当前预约调度时段之后的满足第三预设条件的第一个预约调度时段，其态表示目标调度时段上的预测资源利用率大于或等于[0163]在检测出当前预约调度时段上的资源少于当前预约调度时段上预约调度的任务个或多个任务的预约调度时段从当前预约调度时段调整为当前预约调度时段之后的预约上的资源少于当前预约调度时段上预约调度的任务运行所需的资源时可以包括但不限于向后调度至当前预约调度时段之后的预约调[0166]查找在当前预约调度时段之后的满足第四预设条件的第一个预约调度时段，其态表示目标调度时段上的预测资源利用率小于的预约调度时段从当前预约调度时段调整为[0173]图8是根据本申请实施例的又一种可选的基于资源预测模型的任务调度方法的示依赖关系的调度任务ID构成具有上下依赖关系的任务ID对应标签与任务上下依赖任务ID对应关系库D进行匹配，得到具有上下依赖关系任务的样本标yf(i=T-n…,T;j=0…,23)表示第i天第[0177]Step4、具有上下依赖关系的调度任务特征数据构建阶段。特征数据包括但不限启动时间差、任务下发时间是否落入该下发时间所在时间区间等作为样本特征数据矩阵。根据任务ID将具有上下依赖关系的任务库D与样本特征数据进行匹配，得到具有上下依赖表示第i天第j个小时段内的[0178]Step5、样本构建阶段。输入Step4的具有上下依赖关系任务的标签数据和具有上下依赖关系任务的特征数据s-将按照任务ID和及每个任务当前主节点(对应于前述的周期)的上一子节点(对应于前述的时YHHBH实输出向量的概率变换隐藏层采用第一期(T-n期)的真实输出向量的概[0182]Step7、BERT模型训练测试阶段。输入训练样本S"和测试样本至BERT模UHBHUHBHY分别表示参数向量；t期第i个小时段的隐藏层Ht.利用代入上述参数得到第[0187]本申请通过BERT算法，解决具有上下相互依赖关系的任务调度的资源预测问一主节点对应下一子节点的资源占用状态标签预测当前主节点对应当前子节点的资源占所述第一任务调度历史信息包括N个历史周期中被调度的任务的调度特征，每个历史周期[0196]确定模块904，用于根据所述第一任务调度历史信息和所述第一资源占用状态信及所述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和资源占用状态标签，所述N个历史周期包括所述一个历史周期和所[0198]作为一种可选的方案，所述装置用于通过如下方式根据型输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一资源预测模型输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值不满足所述预设的损失条件的情的实际资源占用状态是根据所述每个训练样本中的所述一个任务在所述一个历史周期中待训练的资源预测模型用于根据所述每个训练样本中的所述一个任务的父任务在所述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个所述待训练的资源预测模型输出的所述多个时段中的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的损失值满足预设的损失条务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和源占用状态，并根据确定出的所述多个时段中的每个时段上的任务的预测资源占用状态，时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用状态之间的每一个时段上的预测资源占用状态与所述多个时段中的每一个时段上的实际资源占用述一个任务的子任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征和资源占用状态标签，所述M个历史周期包括所述一个历史周期和所述上用状态为所述多个时段中的每一个时段上的预测资源任务在所述一个历史周期的上一个历史周期中所述一个时段的下一个时段上的调度特征资源占用状态，并根据确定出的所述多个时段中的每个时段上的任务的预测资源占用状于或等于2的整数；将所述平均调度任务数量确定为等于所述总数量除以P所得到的取值；[0204]