CN119416826A 一种算子执行方法、设备、存储介质及程序产品 （上海壁仞科技股份有限公司）

请求不公布姓名请求不公布姓名该方法中，在第二线程束组采用矢量算子对第n一矩阵算子对第n+1批次任务进行矩阵计算，同时第三线程束组采用第二矩阵算子对第n_1批次单元和矢量计算单元可以同时对不同批次任务Attention算子处理多个批次任务所带来的时间2意力机制算子至少包括对所述N个批次任务中任一批次任务进行依序执行的第一矩阵算在第二线程束组采用所述矢量算子对所述N个批次任务中第n批次任务进行矢量计算所述第二线程束组接收所述第一线程束组发送的所述第n批次任务对应的第一指令且所述第二线程束组对所述第n_1批次任务的矢量计算结束，则所述第二线程束组采用所述述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩所述第二线程束组获取所述第n批次任务对应的第一中间结果；所述第的第一中间结果为所述第一线程束组采用所述第一矩阵算子对所述第n批次任务进行矩阵所述第二线程束组采用所述矢量算子对所述第n批次任务对应的第一中间结果进行矢所述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩阵计算结束，则所述第一线程束组采用所述第一矩阵算子对所述第n+1批次任务进所述第三线程束组接收所述第二线程束组发送的所述第n_1批次任务对应的第二指令且所述第三线程束组采用所述第二矩阵算子对第n_2批次任务的矩阵计算结束，则所述第务对应的第二指令用于标识所述第二线程束组采用所述矢量算子对所述第n_1批次任务的所述第三线程束组获取所述第n_1批次任务对应的第二中间结果；对应的第二中间结果为所述第二线程束组采用所述矢量算子对所述第n_1批次任务进行矢3所述第三线程束组采用所述第二矩阵算子对所述第n_1批次任务对应的第二中间结果所述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩阵计算结束，并且所述第一线程束组向所述第二线程束组发送所述第n批次任务对应的8.一种计算机设备，包括存储器、所述人工智能芯9.一种计算机可读存储介质，其特征在于，4Transformer结构为核心基础架构，Transformer结构的核心计算部分是注意力机制[0003]在大语言模型对多个批次任务进行推理时，Attention算子可以依次针对各个批理大量批次任务所带来的时间开销。个矢量计算核的人工智能芯片，所述人工智能芯片用于采用注意力机制算子对N个批次任务进行处理；所述注意力机制算子至少包括对所述N个批次任务中任一批次任务进行依序在第二线程束组采用所述矢量算子对所述N个批次任务中第n批次任务进行矢量量计算核中S1个张量计算核，所述第三线程束组包括所述S个张量计算核中S2个张量计算所述第二线程束组接收所述第一线程束组发送的所述第n批次任务对应的第一指令且所述第二线程束组对所述第n_1批次任务的矢量计算结束，则所述第二线程束组采用识所述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩5对应的第一中间结果为所述第一线程束组采用所述第一矩阵算子对所述第n批次任务进行所述第二线程束组采用所述矢量算子对所述第n批次任务对应的第一中间结果进所述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩阵计算结束，则所述第一线程束组采用所述第一矩阵算子对所述第三线程束组接收所述第二线程束组发送的所述第n_1批次任务对应的第二指令且所述第三线程束组采用所述第二矩阵算子对第n_2批次任务的矩阵计算结束，则所次任务对应的第二指令用于标识所述第二线程束组采用所述矢量算子对所述第n_1批次任[0010]可选地，所述第三线程束组采用所述第二矩阵算子对所述第n_1批次任务进行矩任务对应的第二中间结果为所述第二线程束组采用所述矢量算子对所述第n_1批次任务进所述第三线程束组采用所述第二矩阵算子对所述第n_1批次任务对应的第二中间所述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩阵计算结束，并且所述第一线程束组向所述第二线程束组发送所述第n批次任务量计算核中S1个张量计算核，所述第三线程束组包括所述S个张量计算核中S2个张量计算所述第n批次任务对应的第一指令且所述第二线程束组对所述第n_1批次任务的矢量计算第n批次任务对应的第一指令用于标识所述第一线程束组采用所述第一矩阵算子对所述第6任务对应的第一中间结果为所述第一线程束组采用所述第一矩阵算子对所述第n批次任务通过所述第二线程束组采用所述矢量算子对所述第n批次任务对应的第一中间结在所述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩阵计算结束在所述第三线程束组接收所述第二线程束组发送的所述第n_1批次任务对应的第二指令且所述第三线程束组采用所述第二矩阵算子对第n_2批次任务的矩阵计算结束时，通过所述第三线程束组采用所述第二矩阵算子对所述第n_1批次任务进行矩阵计算；所述第n_1批次任务对应的第二指令用于标识所述第二线程束组采用所述矢量算子对所述第n_批次任务对应的第二中间结果为所述第二线程束组采用矢量算子对所述第n_1批次任务进通过所述第三线程束组采用所述第二矩阵算子对所述第n_1批次任务对应的第二阵算子对所述第n批次任务的矩阵计算结束，并且通过所述第一线程束组向所述第二线程次任务进行矩阵计算，同时第三线程束组采用第二矩阵算子对第n_1批次任务进行矩阵计7图3为本申请实施例提供的一种Attent图4为本申请实施例提供的一种Attent图8为本申请实施例提供的一种Attent图9为本申请实施例提供的一种Attent量计算单元102和矢量计算单元103为该计算[0029]寄存器104是张量计算单元102和矢量计算单元103共享的寄存器，张量计算单元8[0032]如果寄存器104的容量可以满足张量计算单元102与矢量计算单元103之间的数据[0033]如果寄存器104的容量不能满足张量计算单元102与矢量计算单元103之间的数据[0034]如果片上高速缓存105的容量不能满足张量计算单元102与矢量计算单元103之间[0035]本申请中的人工智能芯片100除了包含上述结构之外，还可以包括其他结构，对元101中的张量计算单元102包括4个张量计算核（T_Core4个张量计算核均用于张量计[0039]在本申请实施例中，采用Attention算子对任一批次任务进行训练或者推理的过[0042]以2个线程束组处理4个待推理的批次任务为例，具体计算过程可以参照图4所示91通过张量计算单元处理批次任务时，线程束组2无法同时通过张量计算单元处理批次任元处于空闲状态，由于张量计算单元和矢量计算单元没有得到充分利用，进而导致算核选取S1个张量计算核分配至第一线程束组，以及从S个张量计算核选取S2个张量计算[0049]上述人工智能芯片中的张量计算核和矢量计算核的分配方案还可以参照图6，即将每个计算单元中的4个张量计算核平均分配至第一线程束组和第三线程束组，将计算单[0050]上述人工智能芯片中的张量计算核和矢量计算核的分配方案还可以采取其他分计算并获得了计算结果，且第n_1批次任务已经由矢量算子进行了矢量计算并获得了计算组可以采用第一矩阵算子对第n+1批次任务进行矩阵计算，此时的第三线程束组可以采用一指令用于标识第一线程束组采用第一矩阵算子对第n批次任[0059]在上述S702中，第一线程束组采用第一矩阵算子对第n批次任务进行矩阵计算结令用于标识第二线程束组采用矢量算子对第n批次任批次任务对应的第一中间结果为第一线程束组采用第一矩阵算子对第n批次任务进行矩阵计算的结果；第二线程束组再采用矢量算子对第n批次任务对应的第一中间结果进行矢量[0064]实施方式A1，若第n批次任务对应的第一中间结果所写入的寄存器与第二线程束组位于同一计算单元，则第二线程束组可以从寄存器获取第n批次任务对应的第一中间结[0065]实施方式A2，若第n批次任务对应的第一中间结果所写入的寄存器与第二线程束[0066]实施方式A3，若第n批次任务对应的第一中间结果所写入的寄存器与第二线程束组先将第n批次任务对应的第一中间结果写入片上高速缓存，第二线程束组再从片上高速束组接收第二线程束组发送的第n_1批次任务对应的第二指令且第三线程束组采用第二矩[0070]在上述706中，第三线程束组从寄存器获取第n_1批次任进行矢量计算的结果；第三线程束组采用第二矩阵算子对第n_1批次任务对应的第二中间[0076]第一线程束组在t0时刻采用第一矩阵算子对第一批次任务的查询向量Q和键向量指令用于标识第一线程束组采用第一矩阵算子对第一批次任务的应的第二指令用于标识第二线程束组采用矢量算子对第一批次任务一线程束组在t1时刻采用第一矩阵算子对第二批次任务的查询向量Q和键向量K进行矩阵标识第一线程束组采用第一矩阵算子对第二批次任务的矩[0079]第二线程束组在t3时刻接收到第二批次任务对应的第一指令且在t2时刻对第一算子对第二批次任务对应的相关度进行矢量计算，在t4时刻获得第二批次任务对应的权应的第二指令用于标识第二线程束组采用矢量算子对第二批次任务三线程束组在t2时刻采用第二矩阵算子对第一批次任务对应的权重和第一批次任务的值[0081]第二线程束组在t5时刻接收到第三批次任务对应的第一指令且在t4时刻对第二算子对第三批次任务对应的相关度进行矢量计算，在t6时刻获得第三批次任务对应的权应的第二指令用于标识第二线程束组采用矢量算子对第三批次任务三线程束组在t4时刻采用第二矩阵算子对第二批次任务对应的权重和第二批次任务的值[0083]第三线程束组在t6时刻接收到第三批次任务对应的第二指令且在t6时刻对第二务对应的权重和第三批次任务的值向量V进行矩阵计算，在t8时刻获得第三批次任务的输长。Attention算子依次针对3个批次任务进行计算，具体计算过程可以参照图9所示的步[0086]第一线程束组在t0时刻采用第一矩阵算子对第一批次任务的查询向量Q和键向量指令用于标识第一线程束组采用第一矩阵算子对第一批次任务的应的第二指令用于标识第二线程束组采用矢量算子对第一批次任务一线程束组在t1时刻采用第一矩阵算子对第二批次任务的查询向量Q和键向量K进行矩阵标识第一线程束组采用第一矩阵算子对第二批次任务的矩[0089]第二线程束组在t2时刻接收到第二批次任务对应的第一指令且在t3时刻对第一算子对第二批次任务对应的相关度进行矢量计算，在t6时刻获得第二批次任务对应的权应的第二指令用于标识第二线程束组采用矢量算子对第二批次任务三线程束组在t3时刻采用第二矩阵算子对第一批次任务对应的权重和第一批次任务的值[0091]第二线程束组在t4时刻接收到第三批次任务对应的第一指令且在t6时刻对第二算子对第三批次任务对应的相关度进行矢量计算，在t8时刻获得第三批次任务对应的权应的第二指令用于标识第二线程束组采用矢量算子对第三批次任务三线程束组在t6时刻采用第二矩阵算子对第二批次任务对应的权重和第二批次任务的值[0093]第三线程束组在t8时刻接收到第三批次任务对应的第二指令且在t7时刻对第二矩阵算子对第三批次任务对应的权重和第三批次任务的值向量V进行矩阵计算，在t9时刻个张量计算核中S1个张量计算核，所述第三线程束组包括所述S个张量计算核中S2个张量送的所述第n批次任务对应的第一指令且所述第二线程束组对所述第n_1批次任务的矢量所述第n批次任务对应的第一指令用于标识所述第一线程束组采用所述第一矩阵算子对所任务对应的第一中间结果为所述第一线程束组采用所述第一矩阵算子对所述第n批次任务通过所述第二线程束组采用所述矢量算子对所述第n批次任务对应的第一中间结在所述第一线程束组采用所述第一矩阵算子对所述第n批次任务的矩阵计算结束在所述第三线程束组接收所述第二线程束组发送的所述第n_1批次任务对应的第二指令且所述第三线程束组采用所述第二矩阵算子对第n_2批次任务的矩阵计算结束时，通过所述第三线程束组采用所述第二矩阵算子对所述第n_1批次任务进行矩阵计算；所述第n_1批次任务对应的第二指令用于标识所述第二线程束组采用所述矢量算子对所述第