CN119473560A 基于大模型的指令优化调度方法以及相关装置 （中昊芯英(杭州)科技有限公司）

基于大模型的指令优化调度方法以及相关指令在所述计算任务图中所处指令路径的重要测的寄存器压力状态动态优化所述指令调度策2的连接边分别基于所述目标模型中各个计算任务对应的指令调度操作排布为对应的多个基于所述计算任务图确定所述目标模型中各个指令的调度优先级；所根据实时监测的寄存器压力状态以及所述调度优先级，执行对所述目标模型识别所述目标模型中包含的各个指令，并识别各个指令之间将所述目标模型中各个指令构建为对应的节点，并依据各个指令之间的依赖关系和/基于优化后的所述依赖关系，优化各个节点以及各个连接边之间识别所述目标模型中与硬件设备资源关联的待优化指令；所述件计算单元，所述硬件计算单元用于加速所述待优化指令所执行的部分或全部计算任务；所述硬件设备资源至少包括超长指令字VL根据所述硬件计算单元的数据存取关系，解析多个计算操作基于硬件资源层面的依赖关系，对多个计算操作对应的局部依赖关系进3基于所述矩阵乘法运算对应的数据存储位置、以及硬件资源的部建立所述至少一个节点与所述计算任务图中其他节点之间从所述计算任务图中选取关键指令路径；所述关键指令路径包括以下至少对所述关键指令路径的关键程度以及执行时效性进行静态分析，得到对所述关键指令路径进行动态分析，并基于分析结果调整所述静在调度过程中对所述目标模型进行全局监控，以获得所述目标模型的寄存器监测数根据所述寄存器压力状态，从预先配置的寄存器分配策略中选取对应基于所述调度优先级执行指令调度操作，并采用所述目标寄存器分若所述寄存器压力状态大于设定压力阈值，则优先调度寄存器资源使用率度阈值的第一指令，和/或重新规划寄存器资源使用率高于设定调度阈值的第二指令的调若所述寄存器压力状态小于设定压力阈值，则并行调度多个执行令，并4采用局部优化策略，在指令调度过程中同步调度使用同一寄存器的多采用最低干扰分配策略，在指令调度过程中根据预测得到的动态利转换单元，被配置为对于待处理的目标模型，将所述目标模型转换节点以及多个节点之间的连接边分别基于所述目标模型中各个计算任务对应的指令调度确定单元，被配置为基于所述计算任务图确定所述目标模型中各个指令的调度优先执行单元，被配置为根据实时监测的寄存器压力状态以及所述调处理器，用于读取并执行所述计算机软件程序，进而实现权利要求1_所述计算机软件程序被处理器执行时实现如权利要求1_12任一项所述的基于大模型的指算机软件程序和/或硬件单元用于实现如权利要求1_12任一项所述的基于大模型的指令优5BERT等因其包含数亿到数百亿的参数，对计算能力和硬件资源提出了前所未有的挑战。之间的连接边分别基于所述目标模型中各个计算任务对应的指令调度操作排布为对应的6个节点以及多个节点之间的连接边分别基于所述目标模型中各个计算任务对应的指令调[0011]本申请的有益效果是：提供了一种基于大模型的指令优化调度方法以及相关装节点以及多个节点之间的连接边分别基于所述目标模型中各个计算任务对应的指令调度监测的寄存器压力状态进一步优化模型指令的调度策略，实现基于大模型的指令调度优7BERT等因其包含数亿到数百亿的参数，对计算能力和硬件资源提出了前所未有的挑战。及各种计算瓶颈的优化处理，而现有的指令调度策略难以满足上述场景的数据处理需求。算任务图中多个节点以及多个节点之间的连接边分别基于所述目标模型中各个计算任务监测的寄存器压力状态进一步优化模型指令的调度策略，实现基于大模型的指令调度优8[0024]图1为本申请实施例提供的一种基于大模型的指令优化调度方法的流程示意图，定的位段分配，一部分位用于指定整数运算单元的操作，另一部分位用于浮点运算单元的[0029]本申请实施例中，所述计算任务图中包含多个节点以及多个节点之间的连接模型中各个计算任务对应的指令调度操作排布为对应的法及加法等，每一个独立的此类运算都可被抽象为一个节点。以一个简单的卷积神经大模型计算流程中一个个相对独立的执行单元，便于后续分析各操作之间的关联及依赖情况。9程依据计算任务的先后顺序和所属阶段，将节点与连接边有序地排布为多个不同的层次，直观地展现出了大模型从输入到输出完整的计算任务层次行指令调度优化时，可以从全局角度更清晰地判断哪些操作是处于关键路径上的核心操[0043]从指令路径时效性来看，时效性主要涉及指令的执行时机对整体计算效率的影[0056]103中，根据实时监测的寄存器压力状态以及既定的调度优先级来执行指令调度204、基于优化后的所述依赖关系，优化各个节点以及各个连接边之间的结构关赖关系后，发现某些原本可以并行执行的指令在考虑硬件资源分配后其实更适合顺序执硬件平台上实现高效的指令调度和优化计算奠定坚据所述硬件计算单元的数据存取关系，解析多个计算操作之间在硬件资源层面的依赖关着前面的矩阵乘法操作结果这些依赖关系都可以在DAG中直观地通过节点和边的连接来仅仅依靠DAG呈现的常规依赖关系还不足以充分挖掘大模型在特定硬件平台上的更精准地确定各个指令的执行顺序。调度器可以依据DAG所呈现的逻辑依赖以及硬件资源都是从硬件资源角度解析出的多个计算操作之间的依赖关系。会形成多个局部的依赖关系情况。通过上述步骤对每一处的局部依赖关系都进行优化后，若某层有向量运算与其他运算交叉，优化依赖关系就得结合向量计算单元的数据存取关[0079]在基于硬件资源层面的依赖关系对多个计算操作对应的局部依赖关系进行拓展以得到优化后的局部依赖关系时，当硬件计算单元支持的计算任务类型为矩阵乘法运算。法运算对应的数据存储位置以及硬件资源的部署信息来重新设置这些节点在计算任务图某个矩阵乘法运算的结果数据存储位置靠近后续另一个关键计算操作所需数据的读取位隐藏层中有矩阵乘法运算用于计算神经元之间的加权和，以及后续的激活函数计算操作。定的缓存中，而后续下一层全连接层的计算或者输出层的相关计算操作需要用到这些数的计算操作能够更高效地获取数据，重新设置后的节点位置能更好地契合硬件资源部署，件资源层面的依赖关系，需要在计算任务图中准确地构建节点和连接边来体现这些关系，器各计算单元以及寄存器等资源的使用情况，对于那些能够充分利用当前空闲资源的指的寄存器监测数据动态评估寄存器压力状态，可以实时了解寄存器资源的紧张或充裕程出的寄存器压力状态，从预先配置的寄存器分配策略中选取对应的目标寄存器分配方式，高指令调度对大模型实际运行特点的适配性和整存器压力状态。寄存器分配频率体现了一段时间内寄存器被分配给指令使用的频繁程度，[0112]而当寄存器压力状态小于设定压力阈值时，则采用不同的策略来进一步提升性[0118]基于这样预测得出的使用时长，再来动态地配置各个指令对应的寄存器释放时测的寄存器压力状态进一步优化模型指令的调度策略，实现基于大模型的指令调度优化，个节点以及多个节点之间的连接边分别基于所述目标模型中各个计算任务对应的指令调基于硬件资源层面的依赖关系，对多个计算操作对应的局部依赖关系进行拓展，建立所述至少一个节点与所述计算任务图中其他节点之间建立所述至少一个节点与所述计算任务图中其他节点之间从所述计算任务图中选取关键指令路径；所述关键指令路径包括以下至少一个：定调度阈值的第一指令，和/或重新规划寄存器资源使用率高于设定调度阈值的第二指令通过寄存器释放预测模型，预测指令调度过程中各个指令的寄存器资源使用时间的连接边分别基于所述目标模型中各个计算任务对应的指令调度操作排布为对应的多述调度优先级与各个指令在所述计