CN119415272A 提高gpu资源利用率的分配方法、系统、介质和程序产品 （四川边缘算力科技有限公司）

本申请提供一种提高GPU资源利用率的分配算力和显存颗粒度划分的已划分资源池及保留完整GPU资源单元的整块备用资源池。接着从接训练所得的任务分析模型确定其算力规模与连2构建包含已划分资源池和整块备用资源池的混合资源池，所述已划分资源池是将GPU设个数的完整GPU资源单元的资源池，所述设定算力颗粒度是指用于划分计算资源的最小从接口端获取待处理任务，通过任务分析模型确定所述待处理任务成所述待处理任务所需的计算能力大小，所述连续性需求数据是指任务在执行过程中对根据所述算力规模数据和所述连续性需求数据按照预设方法从所述已划分资源池和求数据按照预设方法从所述已划分资源池和所述整块备用资源池中分配相应的算力资源若所述待处理任务需要的所述算力规模小于设定算力阈值且所述连续性需求数据小若所述待处理任务需要的所述算力规模大于设定算力阈值且所述连续性需求数据小算力规模超过设定算力阈值部分对应的待处理任务分配至所述整块备用资源池处理的步若所述待处理任务的所述连续性需求数据大于设定连续性程度任务先分配至已划分资源池中进行所述待处理在所述整块备用资源池中搜索与所述待处理任务相匹配的完整GPU资源单元之后，暂将任务的计算状态信息数据迁移至所述完整GPU资源单元中并当所述整块备用资源池的使用率连续设定时长低于第二预设阈值时，将部分完整GPU3若所述混合资源池无法满足高优先级所述待处理任务需求时，根据所述待处理任务的数据结构特点将所述待处理任务的处理状态信息数据按照统求数据按照预设方法从所述已划分资源池和所述整块备用资源池中分配相应的算力资源健康度评估模型是事先根据多个历史性能数据和对应的资源健康状态标签进行机器学习4在面对需要大量连续GPU资源的大型任务是将GPU资源按照设定算力颗粒度和显存颗粒度进行划分的资源池，该整块备用资源池是性需求数据按照预设方法从该已划分资源池和该整块备用资源池中分配相应的算力资源5理任务需要的该算力规模大于设定算力阈值且该连续性需求数据小于设定连续性程度阈算力规模超过设定算力阈值部分对应的待处理任务分配至该整块备用资源池处理的步骤中搜索与该待处理任务相匹配的完整GPU资源单元之后，暂停在该已划分资源池中执行的的使用率连续设定时长低于第二预设阈值时，将部分完整GPU资源单元按照设定算力颗粒6性需求数据按照预设方法从该已划分资源池和该整块备用资源池中分配相应的算力资源能数据和对应的资源健康状态标签进行机器学习训练而得；当检测到GPU资源单元的健康分配系统执行如第一方面以及第一方面中任一可能的实现方式描7是将GPU资源按照设定算力颗粒度和显存颗粒度进行划分的资源池，该整块备用资源池是[0031]已划分资源池的构建主要通过系统的虚拟化技术或专门的资源管理驱动程序实8[0033]计算该任务总量序列的标准差·,[0035]其中为第i个时间单元的序号，该是指设定时间r内时间单元序号的平均的计算综合考虑了未来规模任务量对完整GPU资源的需求、已划分资源池在大规模任务前期工作中的承担能力以及整体可用的完整GPU资源数量等因素，从而确定为应对大规模任务所需预留的整块资源池的比例，以确保在有大规模任务时能够有足够的连续GPU资源可9等结合输入数据的特征（如图像尺寸、数据集中样本数量等通过复杂的计算和模型推程中的中间结果导致算力需求增加或减少系统动态调整分配给该任务的资源。用专门的监测工具和技术来实时采集GPU资源的多维度性能指标。这些性能指标涵盖了多技术构建的。其训练数据来源于对GPU资源在过去不同运行场景下的多个历史性能数据的和稳定性，避免因GPU资源问题导致任务失败或计算错误，系统会自动启动任务量调整机康状态良好的GPU资源单元上进行处理（如果有可用资源的话或者根据整体资源情况对[0048]本申请实施例中，通过构建包含已划分资源池和整块备[0049]在结合上述内容后，下面对本实施提供的方法进行进一步的更具体的流程叙定基于大量历史数据分析和性能测试得出，例如算力阈值可能设定为单个GPU算力的30%，连续性阈值可能设定为连续计算时间需求的[0051]当系统确认任务属于小算力低连续性需求类型后，会启动精细化的资源分配流当待处理任务的算力规模大于设定的算力阈值，说明该任务需要较大量的GPU算则继续拆分超阈值子任务直到其可被提交到整块备用资源池中的某GPU资源单元执行；4）处理任务先分配至已划分资源池中进行该待处理任务的当检测到待处理任务的连续性需求数据大于预设阈值时，说明该任务对GPU算力[0056]S204、在该整块备用资源池中搜索与该待处理任务相匹配的完整GPU资源单元之当连续性任务的初始计算启动后，系统采取以下技术手段继续为其分配整块GPU分资源池中的相关调度模块发送暂停指令，暂停该连续性任务当前正在占用的GPU算力单[0057]该搜索匹配和暂停处理的技术方案，能够准确无缝地为连续任务找到所需整块资源分配系统在找到与待处理任务相匹配的完整GPU资源单元后，需要将任务挂为实现资源池间的动态平衡，资源分配系统需要实时监控两个资源池的使用情粒度已划分资源被系统标记为整块GPU资源，并由资源管理模块转移入统一的整块备用资完整GPU资源单元按照设定算力颗粒度划分后转的完整GPU资源单元数量，例如使用率低于阈值期间完整资源池总量的10%可以进行划分。划分的GPU资源单元被资源分配系统标记为已划分资源，并记录原完整GPU的元数据信息，划分资源池及保留完整GPU资源单元的整块备用资源池，运用基于多因素机器学习训练的