CN118796389B 归约调度方法和装置 （苏州亿铸智能科技有限公司）

约任务的各个待归约向量存放到各个向量寄存应的向量寄存器行中的待归约向量的各向量元各个标量寄存器位进行归约，得到第二归约结2将所述目标归约任务的各个待归约向量存放到各个所述向量寄存器使目标线程束具有对所述标量寄存器中各个所述标量寄存器区通过所述执行单元对应的多个所述线程束中的目标线程束，执行第二归约指将所述标量寄存器中单个所述线程束中各个所述线程对应的所述标量寄存器位进行将所述标量寄存器中各个所述线程束的所述第一中间归约为所述标量寄存器中单个所述线程束中的各将各个所述线程束中同一所述线程索引的所述线程对应的所述标量寄存器位进行归将所述标量寄存器中各个所述线程索引对应的所述第二中间归约结果进行在通过所述执行单元对应的多个所述线程束中的目3将所述共享内存中各个所述执行单元的所述第二归约结果读取到所述目标执行单元在所述目标执行单元的所述归约单元中对各个所述执行单元的所述第二归约结果进所述将所述共享内存中各个所述执行单元的所述第二归约结果在通过多个所述执行单元中的目标执行单元的所述目标线程束，执行第三归约指令，通过多个所述计算单元中的目标计算单元的所述目标执行单元如果单个所述线程束中的各个所述线程都得到了所述第一所述通过所述执行单元对应的多个所述线程束中的目标线程束，执行第二归约指令，获取所述目标归约任务的待归约向量数目、所述线程束中的如果所述待归约向量数目不大于所述第一积，基于在计算所述最大线程数目与所述最大线程束数目的第一积之4如果所述待归约向量数目大于所述第一积，基于所述如果所述第二数目不大于所述计算单元中包含的执行在如果所述待归约向量数目大于所述第一积，基于所述待如果所述第二数目大于所述计算单元中包含的执行单元如果所述第三数目不大于所述计算组件中包含的将所述目标归约任务的各个待归约向量依次存放到各个所述向量寄存器区中的所述将所述目标归约任务的各个待归约向量存放到各个所述使目标线程束具有对所述标量寄存器中各个所述标量寄存器区通过所述执行单元对应的多个所述线程束中的目标线程束，执行第二归约指5[0003]通常的利用硬件芯片归约的方式将目标任务中的各个待归约向量加载到芯片中[0009]通过所述执行单元对应的多个所述线程束中的目标线程6[0014]通过所述执行单元对应的多个所述线程束中的目标线程[0016]将所述标量寄存器中单个所述线程束中各个所述线程对应的所述标量寄存器位[0020]将各个所述线程束中同一所述线程索引的所述线程对应的所述标量寄存器位进[0021]将所述标量寄存器中各个所述线程索引对应的所述第二[0023]使所述目标线程束具有对所述标量寄存器中各个所述标而多个所述线程束中的其它线程束仅具有对所述其它线程束对应的所述标量寄存器区的[0026]通过多个所述执行单元中的目标执行单元的所述目标线程束，执行第三归约指[0032]将所述共享内存中各个所述执行单元的所述第二归约结果读取到所述目标执行[0033]在所述目标执行单元的所述归约单元中对各个所述执行单元的所述第二归约结7[0044]通过多个所述计算单元中的目标计算单元的所述目标执行单元的所述目标线程[0046]通知各个所述计算单元将所述计算单元的所述第三归约结果存储到所述计算单[0049]将各个所述计算单元的所述第三归约结果读取到所述目标计算单元的所述目标[0050]在所述目标计算单元的所述目标执行单元的所述归约单元寄存器区对各个所述8[0069]将所述目标归约任务的各个待归约向量依次存放到各个所述向量寄存器区中的9[0085]图4A和图4B是根据本公开的实施例提供的标量寄存器和向量寄存器的一个示意[0088]图7是根据本公开的实施例的在执行单元为计算单元中的多个执行单元的情况下[0089]图8是根据本公开的实施例的在计算单元为计算组件中的多个计算单元的情况下[0105]图24是根据本公开的实施例的在多个执行单元中选定目标执行单元的一个流程[0120]通常的利用硬件芯片归约的方式将目标任务中的各个待归约向量加载到芯片中[0123]图1是根据本公开实施例的归约调度方法所应用的系统体系架构图。它主要为计[0127]本公开实施例提供的归约调度方法应用在图1所示的系统架构，它能提高归约操[0130]本公开实施例提供的归约调度方法用于调度单元，调度线程束M相对应。在向量寄存器区中，设置有多个与线程束中各个线程对应的向量寄存器存器行对应的向量的一个元素。如图4B中与线程束1对应的向量寄存器的第一行存储的是[0147]对于目标归约任务可将e至e"划分为多个待归约向量，并存放到[0153]在得到第一归约结果之后，将第一归约结果存储在线程对应的标量寄存器位由于图4B中的向量寄存器区1中的待归约向量A1与标量寄存器区1中第一行第一列的标量寄存器位对应同一线程，那么将待归约向量A1对应的第一归约结果S11存储在该标量寄存量寄存器区1中的各个标量寄存器位存储有第一归约结果SM1至SMN。对标量寄存器中的各线程束的个数为最大线程束数目，另一个执行单元中的线程束的个数基于待归约向量数执行单元设置有最大线程束数目个线程束，而另一个计算单元的执行单元容纳N个待归约[0204]上述步骤810和步骤820的实施例在第二数目大于计算单元中包含的执行单元数[0215]参照图4A和图4B，假设目标待归约任务对应设置有线程束1、线程束2、线程束[0216]上述步骤1010和步骤1020的实施例首先确定多个线程束对应的多个向量寄存器[0220]步骤1110、将标量寄存器中单个线程束中各个线程对应的标量寄存器位进行归[0229]上述步骤1110和步骤1120的实施例首先计算各个线程束中各个线程对应的标量[0232]步骤1220、将各个线程束中同一线程索引的线程对应的应的线程的线程索引设置为2，S1N对应的线程的线程索引设置为N。那么对于线程束M而[0240]在步骤1230中，将标量寄存器中各个线程索引对应的第二中间归约结果进行归的点或引申出的内容进行分专题的详述。这些专题包括目标线程束的确定以及权限设置、[0245]本公开实施例通过执行单元对应的多个线程束中的目标线程束执行第二归约指区的寄存器区容量确定线程束的性能，在确定多个线程束的剩余处理能力和寄存器区容多个线程束中的其它线程束仅具有对其它线程束令的过程中，利用归约单元将执行单元内的标量寄存器中的各个标量寄存器位进行归约。[0302]上述步骤1810至步骤1820的实施例将第二归约结果读取到目标执行单元的归约行单元的第二归约结果进行归约，得到第三归约结[0315]上述步骤2010和步骤2020的实施例通过各个执行单元的归约单元获取第二归约[0343]步骤2610、通过多个计算单元中的目标计算单元的目标[0361]上述步骤2710和步骤2720的实施例通过共享内存存储其对应的计算单元的第二的目标执行单元的归约单元中，并在归约单元中对各个计算单元的第三归约结果进行归[0372]上述步骤2910和步骤2920的实施例在目标计算单元的目标执行单元的归约单元[0382]如果执行单元对应的多个线程束中的目标线程束已接收到了各个其它线程束的程束1中的待归约向量A1至AN都已得到对应的第一归约结果，那么向其他线程束广播与线[0383]上述步骤3010和步骤3020的实施例基于在接收到各个其它线程束的同步消息之用归约单元3121，将执行单元3120内的标量寄存器3123中的各个标量寄存器位进行归约，程束中的其它线程束仅具有对其它线程束对应的标量[0408]将共享内存中各个执行单元3120的第二归约结果读取到目标执行单元的归约单[0409]在目标执行单元的归约单元3121中对各个执行单元3120的第二归约结果进行归[0425]将各个计算单元的第三归约结果读取到目标计算单元的目标执行单元的归约单[0426]在目标计算单元的目标执行单元的归约单元3121对各个计算单元的第三归约结如果执行单元3120对应的多个线程束中的目标线程束已接收到了各个其它线程束的同步[0433]如果待归约向量数目不大于第一积，基于待归约向量数[0438]如果第二数目不大于计算单元中包含的执行单元数目，[0442]如果第三数目不大于计算组件中包含的计算单元数目，[0445]将目标归约任务的各个待归约向量依次存放到各个向量寄存器区中的向量寄存等同的变形或替换均包括在本公开权利要求所限