CN120295737A 基于任务感知与生成长度预测的计算卡群调度方法及装置 （中国科学院计算技术研究所）

基于任务感知与生成长度预测的计算卡群本发明提出一种基于任务感知与生成长度测器模块对用户请求池中请求对象的用户提示户请求池中每个请求对象创建对应推理任务和据和各个计算卡的运行状态，生成任务调度序2初始步骤，将具有用户提示词的多个推理请求发预测步骤，将该请求对象加入用户请求池中；采用预测器模块对分配步骤，为该用户请求池中每个请求对象创建对应推理步骤，按顺序从该任务调度序列中选取推理任务，并分配2.如权利要求1所述的基于任务感知与生成长度预测的计算卡群调度方法，其特征在3.如权利要求1所述的基于任务感知与生成长度预测的计算卡群调度方法，其特征在4.如权利要求1所述的基于任务感知与生成长度预测的计算卡群调度方法，其特征在初始模块，将具有用户提示词的多个推理请求发预测模块，将该请求对象加入用户请求池中；采用预测器模块对分配模块，为该用户请求池中每个请求对象创建对应推理模块，按顺序从该任务调度序列中选取推理任务，并分配6.如权利要求5所述的基于任务感知与生成长度预测的计算卡群调度装置，其特征在7.如权利要求5所述的基于任务感知与生成长度预测的计算卡群调度装置，其特征在9.一种计算机可读存储介质，其上存储有计算机程3实现权利要求1_4中任一所述基于任务感知与生成长度预测的计时实现权利要求1_4中任一所述基于任务感知与生成长度预测的计算卡群调度方法的步4统的请求调度技术领域，本发明提出的基于任务感知与生成长度预测的计算卡群调度方[0002]现有的大语言模型推理服务系统没有结合MLUArchv3架构的智能加速卡硬件特性进行优化，适用于英伟达芯片的加速技术并不能简单复制到所有加速卡(计算卡)环境[0003]目前大语言模型的主要应用场景是提供云端问答服务，该场景下往往存在高并会在高并发场景中存在系统崩溃或者用户长时间得不到吞吐量严重受限；其次，智能边缘加速卡缺乏动态显存分页机制的支持(如vLLM的5务对大显存块的需求。这一机制使显存利用率从60％提升至85系统最高可支持并发任[0016]如图4所示，本发明还提出了一种基于任务感知与生成长度预测的计算卡群调度6序被处理器执行时实现所述基于任务感知与生成长度预测的计算理器执行时实现所述基于任务感知与生成长度预测的计算卡群调度方法[0027]本发明通过任务感知与生成长度预测协同优化面向智能计算卡群的大语言模型设计了基于生成长度预测的显存按需分配策略，通过轻量级BERT预测模型实现98.41％的78算机软件产品存储在一个存储介质中，包括若干9数据信息进行调度，而不仅仅针对用户请求的系统到达时间这一个元数据信息进行调度，[0066]另外，针对部分基于MLUArchv3架构的边缘加速卡目前不支持基于页式的显存务质量。任务感知调度器在推理任务执行过程中持续监控并更新任务元数据(metadata)，同时结合监控器(Supervisor)提供的智能加速卡实时状态(XPUstatus)，由任务分析器运行时状态及具体推理任务的需求进行动态调整，从而进一步增强系统的灵活性与适应[0072]任务池是用户请求向可调度任务转化的中间层，负责对请求进行进一步抽象封[0074]负责对用户提示词进行生成长度预测，并将预测结果记录到任务的元数据信息[0079]任务分析器(TaskProfiler)是任务感知调度器的核心模块之一，负责对任务池中的任务进行深度分析与优先级排序。任务分析[0081]作为硬件状态与系统运行时的桥梁，负责实时采集并上报加速卡的资源使用情98.41为显存分配提供可靠决策依据。数组中的一个元素就是一个用户请求，存储在CPU的内存中等待调度。为了应对高并发场[0096]预测器模块(Predictor)对用户提示词进行生成长度预测。预测器采用轻量级桶1对应的就是长度范围1_1000，桶2是1001_2000，这样我训练的模型的输出类别为1_10[0097]微调后预测器模块的预测准确率高达98.41这为显存按需分配与任务调度提[0100]任务分析器(TaskProfiler)从任务池中获取所有待调度任务的元数据，包括预(Supervisor)上报的加速卡实时状态(如显存剩余容量、计算单元利用率、任务队列深度[0105]推理任务完成后，系统生成推理结果，并将结果封装为响应对象(Response[0107]如图4所示，本发明还提出了一种基于任务感知与生成长度预测的计算卡群调度[0115]如图6所示，第一电子设备A还可通过有线或无线信息传输方案与数据采集设备C[0116]其中信息显示设备D可基于信息展示机制对第一电子设备A输出的数据进行整理将第一电子设备A输出的数据进行可视化展示，其可根据用户设置的显示参数和/或属性，各方法所提供的基于任务感知与生成长度预测的计算卡[0118]本发明于另一实施方案还提出了一种存储存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两器(staticRAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledatarate动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器[0119]图7示出了可以用来实施本发明的实施例的第二电子设备1000的示意性框图。第算机程序或者从存储介质Ⅷ加载到随机访问存储器(RAM)Ⅲ中的计算机程序，来执行各种1000通过诸如因特网的计算机网络和/或各