CN119512752A 一种面向高性能计算的gpu、npu资源调度方法 （辽宁省烟草公司营口市公司）

法块分析待执行的AI计算任务，获取任务特征数度模块分别反馈资源状况数据的变化信息和任发明针对GPU和NPU等异构硬件加速器进行动态22)任务分析模块分析待执行的AI计算任务，4)设置动态调度模块参数，动态调度模块实时监控任务执状况数据的变化信息和任务执行情况至资源监控模块和任务5)重复步骤4)，直至动态调度模块下发新的任务2_1)通过SciTools对AI计算任务的源2_2)将AI计算任务通过NVIDIANsight软件在小规模输入数据上运行，进行动态运行2_4)使用RealTime_UML进行建模分析，包括任随机生成N个粒子，每个粒子代表一种任务分配方案；每个粒根据资源监测模块和任务分析模块提供的资源状况数据和任务特3如果粒子的当前位置比其历史最优位置更好，则更3_6)重复步骤3_2)～步骤3_5)，直到调度优化模块采用GA算法根据资源状况数据和任务特征数据，计算出最优的任务分配方经网络推理速度，以确保算法搜索到的最优任务分配方案能够充分发挥硬件加速器的性4根据实时的资源监测模块的信息，和跟踪正在执行的任资源监控模块，用于对GPU和NPU硬件加速器进行实时监控，并硬件加速器的资源状况数据等待调度优化模块调用；动态调度模块，用于设置动态调度模块参数，动态调度模模块分别反馈资源状况数据的变化信息和任务执行情况至资源监控模块和任务分析模块；述计算机程序被处理器执行时，实现如权利要求1_8任一项所述的一种面向高性能计算的5务的各项特性，如仅考虑计算复杂度而忽略了输入数据规模或实时性要求等其他重要因6资源状况数据的变化信息和任务执行情况至资源监控模[0019]2_2)将AI计算任务通过NVIDIANsight软件在小规模输入数据上运行，进行动态[0022]调度优化模块采用PSO根据资源状况数据和任务特征数据，计算出最优的任务分7群体中某个粒子的历史最优位置比群体的历史最优位置更好，则更新群体的历史最优位[0050]4_7)重复步骤4_2～4_6)，直到达到最大迭代次数或适应度值达到设定的精度要[0056]a.设定监控频率：其决定了系统对任务执行情况和资源变化进行监控的时间间8NPU硬件加速器的资源状况数据等待调度优化模块调用；调度模块分别反馈资源状况数据的变化信息和任务执行情况至资源监控模块和任务分析[0071]3.本发明采用粒子群优化(PSO)和遗传算法[0076]本发明针对高性能计算场景下的GPU和NPU资源调度问题提出了一种创新性的解9[0081]调度优化模块采用PSO和GA算法,根据资源状况和任务特征计算出最优的任务分[0082]动态调度机制实时监控任务执行情况和资源变化,[0083]动态调度模块会不断地与调度优化模块、资源监测模块和任务分析模块进行交用SciTools对AI计算任务的源代码进行静态分析,提取关键指标如计算复杂度、内存访问[0093]采用多目标优化算法，粒子群优化(PSO)和遗传算法(GA)，结合硬件加速器的特速度来搜索最优的任务分配方案。群体中某个粒子的历史最优位置比群体的历史最优位置更好，则更新群体的历史最优位[0139]2_7)重复步骤2_2～2_6)，直到达到最大迭代次数或适应度值达到设定的精度要机制确保了系统能够适应不断变化的计算环境和任务需求，提高了系统的稳定性和适应[0146]动态调度的核心是根据实时的任务执行情况和资源变化，及时调整任务分配方NPU硬件加速器的资源状况数据等待调度优化模块调用；调度模块分别反馈资源状况数据的变化信息和任务执行情况至资源监控模块和任务分析[0161]a.多目标优化算法的应用：引入粒子