CN120256114A 服务器的资源调度方法和电子设备 (苏州元脑智能科技有限公司)_第1页
CN120256114A 服务器的资源调度方法和电子设备 (苏州元脑智能科技有限公司)_第2页
CN120256114A 服务器的资源调度方法和电子设备 (苏州元脑智能科技有限公司)_第3页
CN120256114A 服务器的资源调度方法和电子设备 (苏州元脑智能科技有限公司)_第4页
CN120256114A 服务器的资源调度方法和电子设备 (苏州元脑智能科技有限公司)_第5页
已阅读5页,还剩30页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

(10)申请公布号CN120256114A(71)申请人苏州元脑智能科技有限公司地址215124江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢(72)发明人刘程程(74)专利代理机构北京法胜知识产权代理有限公司11922专利代理师韩丽娜(54)发明名称服务器的资源调度方法和电子设备本申请公开了一种服务器的资源调度方法和电子设备,涉及网络优化技术领域,在特征提取阶段引入基于历史负载数据的时间特征和基于相邻服务器的负载相关性的空间特征,全面地捕捉服务器负载的动态变化规律及集群环境的协同影响,提升预测模型的输入信息丰富性和上下文感知能力。通过负载预测模型对目标时刻负载数据的预测,结合任务类型权重对服务器负载状态加权计算,量化评估不同任务类型对服务器资源的实际占用需求,基于负载状态与分配优先级的反比关系动态调整任务分配策略。本申请能够解决无法根据任务负载的波动和资源消耗的变化,在短时间内对负载均衡策略做出优化的问2对服务器的监控数据进行特征提取,得到时间特征及空间特征;其中,所述时间特征包括历史负载数据的统计特征,所述空间特征包括所述服务器的相邻服务器的负载相关性特将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测结果;基于所述负载预测结果以及所述服务器任务类型动态调整任务的资源分配和调度策2.根据权利要求1所述的服务器的资源调度方法,其特征在于,所述对服务器的监控数据进行特征提取,得到时间特征及空间特征包括:在预设数据库中获取预设数量的时间步对应的所述监控数据;其中,所述监控数据包括所述服务器的负载数据及所述相邻服务器的网络流量数据;在各个所述时间步的监控数据中提取所述历史负载数据的统计特征,及提取所述相邻服务器的网络流量及负载依赖,得到各个所述时间步的时间特征及空间特征;所述将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测结果包括:将所述预设数量的时间步输入所述负载预测模型。3.根据权利要求1所述的服务器的资源调度方法,其特征在于,在基于所述负载预测结果以及所述服务器任务类型动态调整任务的资源分配和调度策略之前,所述方法还包括:基于所述负载预测结果及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态;所述基于所述负载预测结果以及所述服务器任务类型动态调整任务的资源分配和调度策略包括:根据所述负载状态,动态调整任务的资源分配和调度策略;其中,所述负载状态与所述服务器的分配优先级成反比。4.根据权利要求3所述的服务器的资源调度方法,其特征在于,所述基于所述预测负载数据及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态包括:对所述预测负载数据进行归一化处理,消除量纲差异;基于归一化处理后的所述预测负载数据及所述任务类型的权重,加权求和计算所述服务器的综合负载评分;基于预设阈值及所述综合负载评分,确定所述服务器的负载状态。5.根据权利要求4所述的服务器的资源调度方法,其特征在于,所述根据所述负载状态,动态调整任务的资源分配和调度策略还包括:基于待分配任务的任务类型及所述待分配任务的优先级,将所述待分配任务分配至处理任务类型相同,且负载状态为低负载的服务器;其中,所述待分配任务的优先级越高,分配的服务器的综合负载评分越低;和/或基于所述待分配任务的服务器性能需求,将所述待分配任务分配至满足所述服务器性能需求,且负载状态为所述低负载的服务器;其中,所述服务器性能需求包括算力需求及存3基于服务器的分配优先级,将所述待分配任务按照所述分配优先级进行分配;其中,所述分配优先级为根据服务器剩余容量及所述综合负载评分计算得到的。6.根据权利要求3所述的服务器的资源调度方法,其特征在于,在基于所述预测负载数据及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态之后,所述方法还包括:在确定所述服务器的负载状态为高负载时,在所述服务器中,确定迁移成本低于预设迁移成本阈值的待处理任务;其中,所述迁移成本为根据任务资源占用及迁移时间计算得将所述待处理任务迁移至负载状态为所述低负载的相邻服务器中。7.根据权利要求1所述的服务器的资源调度方法,其特征在于,在将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测获取所述目标时刻的真实负载数据,基于均方误差计算所述预测负载数据与所述真实负载数据之间的误差;基于所述误差计算所述负载预测模型中每个参数的梯度信息;基于所述梯度信息,更新所述负载预测模型中的所述参数。8.根据权利要求7所述的服务器的资源调度方法,其特征在于,在获取所述目标时刻的真实负载数据,基于均方误差计算所述预测负载数据与所述真实负载数据之间的误差之在所述预测负载数据与所述真实负载数据之间的误差大于预设误差阈值时,基于所述真实负载数据重新执行所述待分配任务的分配。9.根据权利要求1-8中任一项所述的服务器的资源调度方法,其特征在于,负载预测模型的输入维度与隐藏层维度维度相同。处理器,用于执行所述计算机程序时实现如权利要求1至9任一项所述服务器的资源调度方法的步骤。4服务器的资源调度方法和电子设备技术领域[0001]本申请涉及网络优化技术领域,尤其涉及服务器的资源调度方法和电子设备。背景技术[0002]随着云计算、大数据、物联网等技术的快速发展,数据中心的规模急剧扩大,服务器的计算能力和资源的使用需求也随之增大。[0003]目前,服务器的资源调度主要依赖静态的负载均衡策略,该种调度方法虽然能够在一定程度上实现对服务器负载的调整,但随着任务负载的波动和资源消耗的变化,该种方法无法在短时间内对负载均衡策略做出优化的调整,导致出现服务器过度负载或服务器资源浪费的情况。发明内容[0004]本申请提供了一种服务器的资源调度方法和电子设备,以至少解决相关技术中无法在短时间内对负载均衡策略做出优化的调整,导致出现服务器过度负载或服务器资源浪费的情况的问题。[0006]对服务器的监控数据进行特征提取,得到时间特征及空间特征;其中,时间特征包括历史负载数据的统计特征,空间特征包括服务器的相邻服务器的负载相关性特征;[0007]将时间特征及空间特征输入负载预测模型进行服务器负载预测,得到服务器目标时刻的负载预测结果;[0008]基于负载预测结果以及服务器任务类型动态调整任务的资源分配和调度策略。[0009]本申请还提供了一种服务器的资源调度装置,[0010]特征提取单元,用于对服务器的监控数据进行特征提取,得到时间特征及空间特征;其中,时间特征包括历史负载数据的统计特征,空间特征包括服务器的相邻服务器的负载相关性特征;[0011]预测单元,用于将时间特征及空间特征输入负载预测模型进行服务器负载预测,得到服务器目标时刻的负载预测结果;[0012]调整单元,用于基于负载预测结果以及服务器任务类型动态调整任务的资源分配和调度策略。执行计算机程序时实现上述任一种服务器的资源调度方法的步骤。[0014]本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述任一种服务器的资源调度方法的步骤。[0015]本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一种服务器的资源调度方法的步骤。[0016]通过本申请,由于在特征提取阶段同时引入了基于历史负载数据的时间特征和基5于相邻服务器的负载相关性的空间特征,能够更全面地捕捉服务器负载的动态变化规律及集群环境的协同影响,提升预测模型的输入信息丰富性和上下文感知能力。通过负载预测模型对目标时刻负载数据的预测,结合任务类型权重对服务器负载状态进行加权计算,量化评估不同任务类型对服务器资源的实际占用需求,进而基于负载状态与分配优先级的反比关系动态调整任务分配策略。因此,本申请能够解决无法根据任务负载的波动和资源消耗的变化,在短时间内对负载均衡策略做出优化的问题,实现服务器集群资源的精细化调度和任务分配效率的协同优化。附图说明[0017]为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。[0018]图1为本申请实施例所提供的一种服务器的资源调度方法的流程示意图;[0019]图2为本申请实施例所提供的一种服务器的资源调度方法示意图;[0020]图3为本申请实施例所提供的一种服务器的资源调度方法的流程示意图;[0021]图4为本申请实施例提供的一种服务器的资源调度装置的结构示意图;[0022]图5为本申请实施例提供的一种服务器的资源调度装置的结构示意图。具体实施方式[0023]以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。[0024]下面参考附图描述本公开实施例的服务器的资源调度方法和电子设备。[0025]图1为本申请实施例所提供的一种服务器的资源调度方法的流程示意图。[0027]步骤101,对服务器的监控数据进行特征提取,得到时间特征及空间特征;其中,所述时间特征包括历史负载数据的统计特征,所述空间特征包括所述服务器的相邻服务器的负载相关性特征。[0028]在服务器资源管理与任务调度中,特征提取旨在捕捉服务器负载的动态变化规期性等,用于反映服务器负载随时间的变化规律,例如平均负载水平、波动程度、极值范围以及长期变化趋势和周期性模式。空间特征则通过分析服务器与其相邻服务器之间的负载相关性来提取,包括负载相关性系数、相邻服务器的负载分布以及集群整体负载均衡状态等,用于反映服务器在集群环境中的协同效应和负载分布情况。[0029]通过结合时间特征和空间特征,能够全面捕捉服务器负载的时空动态变化,为负载预测和任务分配提供更精准的数据支持。[0030]步骤102,将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测结果。6[0031]时间特征(如历史负载数据的均值、方差、趋势和周期性)提供了服务器负载随时间变化的规律性信息,帮助模型理解负载的历史行为;空间特征(如相邻服务器的负载相关性系数和集群负载分布)反映了服务器在集群环境中的协同效应和负载分布情况,增强了模型对集群动态的感知能力。通过将这两类特征共同输入负载预测模型,负载预测模型能够综合考虑时间维度的变化规律和空间维度的环境影响,从而更准确地预测目标时刻的服务器负载状态。[0032]在一些实施例中,负载预测模型可为长短期记忆网络(LongShort-TermMemory,LSTM),LSTM模型不仅处理时间维度的信息,还通过时空特征融合处理空间信息。[0033]负载预测模型的预测结果为后续的任务分配和资源调度提供了重要依据,助于实现服务器资源的精细化管理和高效利用。[0034]步骤103,基于所述负载预测结果以及所述服务器任务类型动态调整任务的资源分配和调度策略。[0035]在一些实施例中,根据负载预测结果,识别出当前和未来一段时间内负载较低的服务器,并结合任务类型(如计算密集型、存储密集型或网络密集型)的需求特性,将任务分配到最适合的服务器上。例如,计算密集型任务优先分配到CPU资源充足的服务器,而存储密集型任务则分配到存储资源丰富的服务器。[0036]通过引入任务类型的权重系数,对不同任务类型对服务器资源的占用情况进行量化评估,确保高优先级任务能够优先获得资源支持,同时避免低优先级任务占用过多资源。在一些实施例中,动态监控服务器负载的变化情况,实时调整任务分配策略,例如在某一服务器负载突然增加时,将部分任务迁移到负载较低的服务器,或在集群整体负载较低时,充分利用空闲资源执行低优先级任务。通过这种动态调整机制,能够有效避免服务器过载或资源浪费,提升资源利用率和任务执行效率,从而实现服务器集群的智能化调度和优化管[0037]在一些实施例中,在执行步骤101之前,在一个数据中心的各个服务器节点上,部署传感器和监控工具,实时收集服务器的资源使用情况。请参阅图2,图2为本申请实施例所提供的一种服务器的资源调度方法示意图,如图2所示,启动数据收集模块,定期采集实时等;请参阅表1,表1为本申请实施例所提供的一种服务器资源使用数据表;记录时间当前时刻CPU的使用率当前时刻内存的使用率当前时刻硬盘使用情况网络接收带宽使用情况网络发送带宽使用情况[0041]任务执行状态数据:包括任务类型、优先级、执行时长、状态(如运行中、已完成等);请参阅表2,表2为本申请实施例所提供的一种任务信息表:7任务类型(如计算任务、存储任务等)任务优先级任务开始时间任务结束时间成”、“失败”)[0044]历史负载数据:为LSTM模型提供训练数据,用于负载预测;请参阅表3,表3为本申请实施例所提供的一种历史负载数据表:[0046]server_id服务器唯一标识符timestamp记录时间cpu_usageCPU使用率memory_usage内存使用率disk_usage磁盘使用率network_in网络接收带宽使用情况network_out网络发送带宽使用情况[0047]空间负载数据:存储不同服务器之间的负载关系,用于建模空间特征请参阅表4,表4为本申请实施例所提供的一种空间负载表:[0048]表4当前服务器的标识符记录时间当前时间点相邻服务器之间的网络[0050]在一些实施例中,步骤101对服务器的监控数据进行特征提取还包括:[0051]在预设数据库中获取预设数量的时间步对应的所述监控数据;其中,所述监控数据包括所述服务器的负载数据及所述相邻服务器的网络流量数据;[0052]请继续参阅图2,启动负载预测模块,提取历史数据及多维输入参数,这些数据用于捕捉服务器在时间维度上的负载变化规律以及在空间维度上与相邻服务器的协同效应。具体来说,服务器的负载数据反映了其资源使用情况(如CPU、内存、磁盘和网络的使用率),而相邻服务器的网络流量数据则提供了集群环境中服务器之间的通信负载和依赖关系。通过获取这些数据,能够为后续的特征提取和负载预测提供全面的输入信息,从而更准确地分析服务器负载的时空动态变化,为资源调度和任务分配奠定数据基础。[0053]时间步是指在时间序列分析或预测中,将连续的时间划分为离散的时间单元或间8隔。每个时间步代表一个特定的时间点或时间段,用于捕捉数据随时间的变化规律。在时间序列数据中,时间步是将连续时间离散化的基本单位。[0054]例如,如果以1小时为一个时间步,那么时间序列数据可以表示为每小时的数据点(如每小时的服务器的负载数据);在本申请实施例中,提取过去5分钟的数据,并以1分钟为一个时间步,得到5个时间步。需要说明的是,该种叙述方式体时间步数量的具体限制。[0055]在各个所述时间步的监控数据中提取所述历史负载数据的统计特征,及提取所述相邻服务器的网络流量及负载依赖,得到各个所述时间步的时间特征及空间特征;[0056]在各个时间步的监控数据中,提取历史负载数据的统计特征(如CPU、内存、网络带宽等数据),以捕捉服务器负载随时间的变化规律,同时提取相邻服务器的网络流量数据及其负载依赖关系,以反映服务器在集群环境中的协同效应和空间关联性。[0057]这种结合时间维度和空间维度的特征提取方法,能够全面反映服务器负载的时空动态特性,为后续的负载预测和资源调度提供更加精准和可靠的数据支持。[0058]所述将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测结果包括:[0059]将所述预设数量的时间步输入所述负载预测模型。[0060]请继续参阅图2,将日去到的多维输入参数输入LSTM模型,每个时间步包含提取的时间特征和空间特征,将时间特征和空间特征结合形成输入序列,假设模型的输入是过去5个时间步(示例为5个,可为多个)的负载数据以及相邻服务器的网络流量数据。每个时间步[0061]X=[CPU,Memory,NetworkSend,NetworkErcv,的网络数据量;NetworkRecv服务器接收的网络数据量;NetworkTraffict-1在时间步t-1时相邻服务器的网络流量数据;NetworkTraffic.]为在时间步t时相邻服务器的网络流量数初始化权重矩阵及偏置项等模型参数,进行多门运算,输出下一时刻的预测结果,根据LSTM的公式计算遗忘门、输入门、输出门和候选细胞状态及结合时间特征和空间特征更新细胞状态Ct。[0066]其中,h-1为上一时刻的隐层状态示完全忘记,1表示完全保留。遗忘门的输出,决定当前时刻哪些信息会被丢弃(即,从细胞状态中忘记哪些信息)。[0069]其中W、b为输入门的权重和偏置项。输入门的输出,决定哪些新信息将被添加到细胞状态中。9[0070]候选细胞状态Č:1)之间,确保数据不超过这一范围。候选细胞状态,表示将要加入当前细胞状态的“新信[0073]细胞状态C:含重要的信息来进行长期存储。[0076]输出门o:哪些信息将影响最终的输出(即隐层状态)。[0079]隐层状态h:[0081]计算得到最终的隐层状态h,通过ypred=W,h+b,得到最终的预测输出,包含当前时刻所有信息的汇总。[0082]其中,ypre即负载预测模型的预测结果;W,是输出层的权重矩阵,b,是输出层的偏置向量。[0083]在一些实施例中,负载预测模型的输入维度与隐藏层维度维度相同,由于时间步中包含6个特征,因此将负载预测模型的输入维度设定为6,隐藏层维度也设定为6。[0084]通过将这些时间步数据输入负载预测模型,模型能够综合分析时间序列的负载变化趋势和空间维度的集群动态,从而更准确地预测目标时刻的服务器负载状态。[0085]图3为本申请实施例所提供的一种服务器的资源调度方法的流程示意图,请参阅图3,包括:[0086]步骤201,基于所述负载预测结果及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态;[0087]目标时刻的负载预测值服务器在目标时刻的预期负载水平。在一些实施例中,时间步为1分钟,则目标时刻则为1分钟后的服务器预期负载水平;需要说明的是,目标时刻随时间步的不同而不同,该种叙述方式并非为对目标时刻的具体限定,本申请实施例对此不进行限定。[0088]根据任务类型(如计算密集型、存储密集型、网络密集型)对服务器资源的需求特性,为每种任务类型分配相应的权重。例如:计算密集型任务的CPU权重较高务的内存和磁盘权重较高;网络密集型任务的网络带宽权重较高。[0089]对每种任务类型的负载预测值乘以其对应的权重,得到加权负载值,并将所有任务类型的加权负载值相加,得到服务器的综合负载状态。[0090]在一些实施例中,所述基于所述预测负载数据及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态包括:变量名描述服务器i在时间t的第j项资源使用率(如CPU、内存等)LSTM预测的服务器i在时间t+1的第j项资源使用率服务器i的综合负载评分(归一化后)高负载和低负载的阈值(如0.7和0.3)服务器i的任务容量(剩余可分配任务数)任务k的迁移成本(与任务大小、资源占用相关)[0099]其中Rj表示所有服务器第j项资源的预测值,min(R,j)为最小资源预测值,[0.1,0.1,0.3,0.2,0.2,0.1]需要说明的是该种叙述方式仅为一示例性叙述,并分为对具11[0105]在实际应用中,可根据实际需求确定高负载阈值及低负载阈值,本申请实施例对此不进行限定。[0106]步骤202,根据所述负载状态,动态调整任务的资源分配和调度策略;其中,所述负载状态与所述服务器的分配优先级成反比。[0107]请继续参阅图2,判断任务类型是否为计算任务,在任务类型为计算任务时,根据计算密集型任务权重计算负载,在任务类型不是计算任务时,按存储密集型任务权重计算[0108]基于待分配任务的任务类型及所述待分配任务的优先级,将所述待分配任务分配至处理任务类型相同,且负载状态为低负载的服务器;其中,所述待分配任务的优先级越[0109]基于所述待分配任务的服务器性能需求,将所述待分配任务分配至满足所述服务器性能需求,且负载状态为所述低负载的服务器;其中,所述服务器性能需求包括算力需求[0110]基于服务器的分配优先级,将所述待分配任务按照所述分配优先级进行分配;其中,所述分配优先级为根据服务器剩余容量及所述综合负载评分计算得到的。[0111]根据任务的类型(计算密集型、存储密集型等)和任务的优先级,结合负载预测结果,选择负载较低的服务器进行任务分配。[0112]对于计算密集型任务,优先选择计算能力较强且负载较低的服务器;对于存储密集型任务,优先选择存储资源充足的服务器。[0113]系统通过调度算法,确保各台服务器的负载尽可能均衡,从而避免出现某台服务器过载的情况。[0114]综合任务类型和服务器剩余容量,计算分配优先级:[0116]其中α,β为权重系数(如α=0.7,β=0.3),需满足a+β=1。任务分配给优先级P₁,最高的服务器[0117]在一些实施例中,在基于所述预测负载数据及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态之后,所述还包括:[0118]在确定所述服务器的负载状态为高负载时,在所述服务器中,确定迁移成本低于预设迁移成本阈值的待处理任务;其中,所述迁移成本为根据任务资源占用及迁移时间计算得到的;[0119]请继续参阅图2,启动实时监控模块,在服务器负载超过预设阈值时,获取满足条件的低负载服务器,执行任务迁移保证负载均衡;在确定服务器的负载状态为高负载时,即服务器的负载超过了预设的阈值,系统将自动将部分任务迁移到负载较低的服务器。从该服务器中筛选出迁移成本低于预设迁移成本阈值的待处理任务,具体方法为:首先,根据任务资源占用(如CPU、内存、存储等)和迁移时间(如数据传输时间、任务重启时间)计算每个[0121]将计算得到的迁移成本与预设迁移成本阈值进行比较,筛选出迁移成本低于阈值的任务作为待迁移任务。确保迁移任务的选择在资源开销和时间成本上均处于可接受范围[0123]从相邻服务器中选择当前负载状态为低负载且资源充足的服务器作为目标服务目标时刻的真实负载数据后,基于均方误差(MSE)计算预测负载数据与真实负载数据之间用链式法则将梯度信息从输出层传递到输入层[0135]请继续参阅图2,评估当前性能并反馈对模型进行优化调整。系统运行过程中,动态调整是确保资源高效利用的关键。以下是动态调整的过程:[0136]实时监控:系统实时监控每台服务器的资源使用情况,特别是负载高峰时段的负[0137]实时反馈:如果预测负载与实际负载之间存在较大差异,系统会触发反馈机制,实时调整资源分配策略;例如,如果某台服务器的负载预测为较低,而实际负载突然增加,系统可以及时调整任务分配策略,将更多任务迁移到其他负载较低的服务器。[0139]在任务执行过程中,系统根据实时监控的负载数据,动态调整任务的调度。例如,如果某台服务器即将达到负载上限,系统会提前将任务迁移到其他服务器,以避免过载。[0140]系统优化包括对负载预测精度、任务调度效率、能效等方面的持续优化。具体过程[0141]性能评估:通过定期评估任务执行的时间、资源利用率、能效等指标,监控系统性务执行过程中能量的消耗,确保能效优化。[0142]预测精度反馈:将实时负载数据与LSTM模型预测结果进行对比,评估模型的预测优先级策略等,以进一步提高资源利用率和任务执行效率。[0144]模型优化:通过周期性地使用新的历史数据重新训练LSTM模型,以提高负载预测的准确性;调整模型输入特征(如引入新的时空特征或增强现有特征)来提升预测性能。[0145]与上述的服务器的资源调度方法相对应,本发明还提出一种服务器的资源调度装置。由于本发明的装置实施例与上述的方法实施例相对应,对于装置实施例中未披露的细节可参照上述的方法实施例,本发明中不再进行赘述。[0146]图4为本申请实施例提供的一种服务器的资源调度装置的结构示意图,如图4所[0147]特征提取单元31,用于对服务器的监控数据进行特征提取,得到时间特征及空间特征;其中,所述时间特征包括历史负载数据的统计特征,所述空间特征包括所述服务器的相邻服务器的负载相关性特征;[0148]预测单元32,用于将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测结果;[0149]调整单元33,用于基于所述负载预测结果以及所述服务器任务类型动态调整任务的资源分配和调度策略。[0150]进一步地,在本公开实施例一种可能的实现方式中,如图5所示,所述特征提取单元31还用于:[0151]在预设数据库中获取预设数量的时间步对应的所述监控数据;其中,所述监控数据包括所述服务器的负载数据及所述相邻服务器的网络流量数据;[0152]在各个所述时间步的监控数据中提取所述历史负载数据的统计特征,及提取所述相邻服务器的网络流量及负载依赖,得到各个所述时间步的时间特征及空间特征;[0153]所述将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测结果包括:[0154]将所述预设数量的时间步输入所述负载预测模型。[0156]第一计算单元34,用于在调整单元33基于所述负载预测结果以及所述服务器任务类型动态调整任务的资源分配和调度策略之前,基于所述负载预测结果及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态;[0157]所述调整单元33还用于:[0158]根据所述负载状态,动态调整任务的资源分配和调度策略;其中,所述负载状态与所述服务器的分配优先级成反比。[0159]进一步地,在本公开实施例一种可能的实现方式中,如图5所示,所述第一计算单元34还用于:[0160]对所述预测负载数据进行归一化处理,消除量纲差异;[0161]基于归一化处理后的所述预测负载数据及所述任务类型的权重,加权求和计算所述服务器的综合负载评分;[0162]基于预设阈值及所述综合负载评分,确定所述服务器的负载状态。[0163]进一步地,在本公开实施例一种可能的实现方式中,如图5所示,所述调整单元33还用于:[0164]基于待分配任务的任务类型及所述待分配任务的优先级,将所述待分配任务分配至处理任务类型相同,且负载状态为低负载的服务器;其中,所述待分配任务的优先级越[0165]基于所述待分配任务的服务器性能需求,将所述待分配任务分配至满足所述服务器性能需求,且负载状态为所述低负载的服务器;其中,所述服务器性能需求包括算力需求[0166]基于服务器的分配优先级,将所述待分配任务按照所述分配优先级进行分配;其中,所述分配优先级为根据服务器剩余容量及所述综合负载评分计算得到的。[0168]确定单元35,用于在第一计算单元34基于所述预测负载数据及所述服务器的任务类型的权重,通过加权求和计算所述服务器的负载状态之后,在确定所述服务器的负载状态为高负载时,在所述服务器中,确定迁移成本低于预设迁移成本阈值的待处理任务;其中,所述迁移成本为根据任务资源占用及迁移时间计算得到的;[0169]迁移单元36,用于将所述待处理任务迁移至负载状态为所述低负载的相邻服务器[0171]获取单元37,用于在预测单元32将所述时间特征及所述空间特征输入负载预测模型进行服务器负载预测,得到所述服务器目标时刻的负载预测结果之后,获取所述目标时刻的真实负载数据,基于均方误差计算所述预测负载数据与所述真实负载数据之间的误

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论