CN115357850B Transformer模型不规则稀疏矩阵乘法运算方法与硬件架构 （华南理工大学）

Transformer模型不规则稀疏矩阵乘法运算本发明提供了一种Transformer模型不规则稀疏矩阵乘法运算方法与硬件架构；其中方法模块的非零值与行模块的行索引对应的输入矩22.根据权利要求1所述的Transformer模型不规则稀疏矩阵乘法运算方法，其特征在3.根据权利要求1所述的Transformer模型不规则稀疏矩阵乘法运算方法，其特征在4.根据权利要求1所述的Transformer模型不规则稀疏矩阵乘法运算方法，其特征在权重矩阵RCBA排列格式生成模块，用于对Transformer模型的稀疏权重矩阵的行列顺3乘法运算模块，用于对输入矩阵和权重矩阵RCBA排列格式进行乘将对应行模块的非零值与行模块的行索引对应的输入矩阵元素逐个相乘得到的乘法结果；分配器根据各个列模块的列索引，将G1个乘法单元输出的乘法结果分配到G2个合并单元所述权重矩阵RCBA排列格式生成模块中，行模块生成方法是：按4Transformer模型不规则稀疏矩阵Transformer模型的计算和存储等方面[0004]Transformer加速器的设计在算法上对模型进行压缩，硬件上进行专有的定制架则稀疏权重的Transformer加速器考虑的数据流是输入与权重都是完全稀疏的，或者都是稠密的。忽略了Transformer模型绝大部分的计算都是稠密输入矩阵与稀疏权重矩阵的乘[0005]为克服现有技术中的缺点与不足，本发明的目的在于提供一种Transformer模型不规则稀疏矩阵乘法运算方法与硬件架构；该方法充分利用Transformer模型中占绝大部5[0018]权重矩阵RCBA排列格式生成模块，用于对Transformer模型的稀疏权重矩阵的行6分别将对应行模块的非零值与行模块的行索引对应的输入矩阵元素逐个相乘得到的乘法[0022](2)本发明提出的索引分配机制直接通过输入的列索引进行乘法输出结果的分[0023](3)本发明将乘法单元阵列的输出结果即时分配到合并单元阵列中进行累加，避[0025]图1是本发明Transformer模型不规则稀疏矩阵乘法运算方法的运算阵列整体架[0026]图2是本发明Transformer模型不规则稀疏矩阵乘法运算方法的运算阵列的乘法[0027]图3是本发明Transformer模型不规则稀疏矩阵乘法运算方法的运算阵列的合并7[0034]本实施例一种Transformer模型不规则稀疏矩阵乘法运算方法，其运算阵列架构的权重矩阵RCBA(Row-columnBa索引值1和2都属于合并组1的计算负载，导致该周期合并组0没有相应的输入而合并组1具8并单元，分配器按索引将每个周期计算得到的乘法结果依次均衡分配到各个合并单元中，为8x16,通过调整数据流分配参数大小来调节分配均衡率和并行计算数，最大限度减少数[0052]输入元素分配到相应的乘法单元后，2个乘法单元计算出向量矩阵乘法的部分和9[0057]为实现上述Transformer模型不规则稀疏矩阵乘法运算方法，本实施例还提供一[0058]权重矩阵RCBA排列格式生成模块，用于对Transformer模型的稀疏权重矩阵的行分别将对应行模块的非零值与行模块的行索引对应的输入矩阵元素逐个相乘得到的乘法