CN117931446B 一种基于任务需求预测的算力调度方法及系统 （浙江讯盟科技有限公司）

一种基于任务需求预测的算力调度方法及本发明提供一种基于任务需求预测的算力待调度任务的算力调度周期及多个算力调度时力调度周期及在算力调度周期的多个算力调度2基于所述预设算力资源需求，对所述云计算集群进行资源调度，获取所述待调度任务在对应的多个测试运行时基于所述待调度任务的任务特征参数、预设算力资源需求和在对根据所述待调度任务的算力调度周期及在所述算力调度周期的多个算力调度时间段的算力资源需求和所述多个已调度任务的算力调度周期及在所述算力调度周期的多个算基于所述云计算集群的动态部署策略对所述云计算集群进所述基于所述待调度任务的任务特征参数，确定所述待调度任务的预设算力资源需预先建立并训练多个资源预测模型，其中，一个所述资源预测模型基于所述待调度任务的任务类型，从所述多个资源预测模型中确定目标资源预测模通过所述目标资源预测模型基于所述待调度任务的任务功能、任务间要求和每个应用程序实例所需的CPU核心数及内存大小，确定所述待调度任务的预设算对于任意一个所述已调度任务，基于所述待调度任务的任务特征参数基于所述待调度任务与每个所述已调度任务之间的任务相似度，从对于每个所述候选已调度任务，基于所述候选已调度任务在对应所述候选已调度任务与所述待调度任务之间的资源占用3基于每个所述候选已调度任务与所述待调度任务之间的资源基于每个所述第一目标已调度任务在多个目标时间段的算力资源需求，确定度任务的算力调度周期及在所述算力调度周期的多个算力调度时间段的算于所述候选已调度任务在对应的多个测试运行时间点的资源占用信息和所述待调度任务对所述候选已调度任务在对应的多个测试运行时间点的资源占用信息进行经验模态对所述待调度任务在对应的多个测试运行时间点的资源占用信息进行经验模态分解，确定所述候选已调度任务对应的多个资源占用信通过相似度确定模型基于所述候选已调度任务对应的多个资源占用信息分量及残差通过需求预测模型基于每个所述第一目标已调度任务在多个目标时间段的算力资源述第二目标已调度任务为与所述第一目标已调度任务存在关联关获取所述至少一个第二目标已调度任务在所述多个目标时间段通过需求修正模型基于所述至少一个第二目标已调度任务在所述多个目标时间段的获取所述多个已调度任务在多个历史时间段基于所述多个已调度任务在多个历史时间段的算力资源需求，确定任意两个基于所述至少一个第一目标已调度任务及所述任务关联图谱，7.根据权利要求1_6中任意一项所述的一种基于任务需求预测的算力调度方法，其特时间段的算力资源需求和所述多个已调度任务的算力调度周期及在所述算力调度周期的4通过方案生成模型根据所述待调度任务的算力调度周期及在所述算力调度周期的多个算力调度时间段的算力资源需求和所述多个已调度任务的算力调度周期及在所述算力候选动态部署策略包括在多个未来时间段的候选算力资源分配计划；对于每种所述候选动态部署策略，确定在所述候选动态部署策略下，所对于每种所述候选动态部署策略，确定在所述候选动态部署策对于每种所述候选动态部署策略，确定在所述候选动态部署策略下，任务的在每个所述未来时间段的分布均衡参对于每种所述候选动态部署策略，基于在所述候选动态部署策略下，所衡参数及任务稳定性参数和每个所述已调度任务的在每个所述未来时间段的分布均衡参基于每个所述候选动态部署策略的方案匹配参数，对所述多种对于每个未来时间段，基于所述候选动态部署策略，获取所述待对于每个未来时间段，基于所述待调度任务在所述未来时间段的算力资源分布信息，对于每个未来时间段，基于所述待调度任务在所述未来时间段的算资源预设模块，用于基于所述待调度任务的任务信息获取模块，用于获取所述待调度任务在对应的多5需求确定模块，用于基于所述待调度任务的任务特征参数、预设周期及在所述算力调度周期的多个算力调度时策略确定模块，用于根据所述待调度任务的算力调度周期及在所个算力调度时间段的算力资源需求和所述多个已调度任务的算力调度周期及在所述算力所述资源调度模块还用于基于所述云计算集群的动态部署策略对所述云计算集群进6网平台则是算力网络实现各类计算密集型任务处理的系统，它不仅能够对算力和网络资署至所述云计算集群；获取所述待调度任务在对应的多个测试运行时间点的资源占用信所述算力调度周期的多个算力调度时间段的算力资源需求和所述多个已调度任务的算力7要求和每个应用程序实例所需的CPU核心数及内存大小；所述基于所述待调度任务的任务选已调度任务在对应的多个测试运行时间点的资源占用信息和所述待调度任务在对应的资源占用相似度；基于每个所述候选已调度任务与所述待调度任务之间的资源占用相似周期及在所述算力调度周期的多个算力调度时间段的算力8个算力调度时间段的算力资源需求和所述多个已调度任务的算力调度周期及在所述算力调度周期的多个算力调度时间段的算力资源需求，确定所述云计算集群的动态部署策略，个算力调度时间段的算力资源需求和所述多个已调度任务的算力调度周期及在所述算力所述云计算集群在每个所述未来时间段的负载分布参数；对于每种所述候选动态部署策及任务稳定性参数和每个所述已调度任务的在每个所述未来时间段的分布均衡参数及任9度任务的算力调度周期及在所述算力调度周期的多个算力调度时间段的算力资源需求和所述多个已调度任务的算力调度周期及在所述算力调度周期的多个算力调度时间段的算计算集群的动态部署策略对所述云计算集群进行资[0015]相比于现有技术，本发明提供的一种基于任务需求预测用信息和多个已调度任务的算力调度周期及在所述算力调度周期的多个算力调度时间段[0017]2、基于候选已调度任务在对应的多个测试运行时间点的资源占用信息和待调度[0018]3、通过对候选已调度任务在对应的多个测试运行时间点的资源占用信息进行经验模态分解和待调度任务在对应的多个测试运行时间点的资源占用信息进行经验模态分[0021]图1是根据本说明书一些实施例所示的一种基于任务需求预测的算力调度方法的[0022]图2是根据本说明书一些实施例所示的确定待调度任务在算力调度周期的多个算[0023]图3是根据本说明书一些实施例所示的确定云计算集群的动态部署策略的流程示[0024]图4是根据本说明书一些实施例所示的一种基于任务需求预测的算力调度系统的[0026]图1是根据本说明书一些实施例所示的一种基于任务需求预测的算力调度方法的[0031]步骤120，基于待调度任务的任务特征参数，确定待调度任务的预设算力资源需求和每个应用程序实例所需的CPU核心数及内存大小，确定待调度任务的预设算力资源需网络(RecurrentNeuralNetworks，RNN)模型、长短时记忆网络(LongShort_Term[0036]待调度任务的预设算力资源需求可以为目标资源预测模型基于待调度任务的任[0042]图2是根据本说明书一些实施例所示的确定待调度任务在算力调度周期的多个算务的算力调度周期及在算力调度周期的多个算力调度根据待调度任务的任务用户数量、响应时间要求和每个应用程序实例所需的CPU核心数及例所需的CPU核心数及内存大小，计算待调度任务与任务类型相同的已调度任务之间的任M23及M4均为预设参数，N(1,i)为任务类型相同的第i个已调度任务的任务用户数量，(1,current)为待调度任务的任务用户数量，Ti为第i个已调度任务要求的最大响应时间，Tcurrent为待调度任务要求的最大响应时间，N(2,i)为任务类型相同的第i个已调度任务的每核心数，N(3,i)为任务类型相同的第i个已调度任务的每个应用程序实例所需的内存大小，[0052]候选已调度任务可以为与待调度任务之间的任务相似度大于预设任务相似度阈[0053]第一目标已调度任务可以为与待调度任务之间的资源占用相似度大于预设资源[0056]对候选已调度任务在对应的多个测试运行时间点的资源占用信息进行经验模态[0057]对待调度任务在对应的多个测试运行时间点的资源占用确定候选已调度任务对应的多个资源占用信[0058]通过相似度确定模型基于候选已调度任务对应的多个资源占用信息分量及残差息进行经验模态分解和待调度任务在对应的多个测试运行时间点的资源占用信息进行经[0061]通过需求预测模型基于每个第一目标已调度任务在多个目标时间段的算力资源标已调度任务可以为与第一目标已调度任务之间存在用户竞争关系[0064]通过需求修正模型基于至少一个第二目标已调度任务在多个目标时间段的算力经网络(ArtificialNeuralNetwork，ANN)模型、循环神经网络(RecurrentNeural历史时间段的算力资源需求变化参数大于0时，该算力资源需求变化序列中对应该历史时[0075]对于任意两个已调度任务，可以基于该两个已调度任务的算力资源需求变化序算力资源需求变化序列的第f个元素的值，F为算力资源需求变化序列包括的元素的总数，[0080]可以理解的，第二目标已调度任务有较大可能与待调度[0081]步骤160，根据待调度任务的算力调度周期及在算力调度周期的多个算力调度时间段的算力资源需求和多个已调度任务的算力调度周期及在算力调度周期的多个算力调[0083]通过方案生成模型根据待调度任务的算力调度周期及在算力调度周期的多个算力调度时间段的算力资源需求和多个已调度任务的算力调度周期及在算力调度周期的多包括在多个未来时间段的候选算力资源分配计划；[0085]图3是根据本说明书一些实施例所示的确定云计算集群的动态部署策略的流程示[0090]基于每个候选动态部署策略的方案匹配参数，对多种候选动态部署策略进行筛段的分布均衡参数越大及任务稳定性参数越大的候选动态部署策略的方案匹配参数越大。可以将方案匹配参数最大的候选动态部署策略作为云计算集[0098]图4是根据本说明书一些实施例所示的一种基于任务需求预测的算力调度系统的[0102]信息获取模块可以用于获取待调度任务在对应的多个测试运行时间点的资源占期及在算力调度周期的多个算力调度时间段的算[0104]策略确定模块可以用于根据待调度任务的算力调度周期及在算力调度周期的多个