CN116187407B 一种基于脉动阵列自注意力机制的实现系统及方法 （西安电子科技大学）

一种基于脉动阵列自注意力机制的实现系一种基于脉动阵列自注意力机制的实现系获得矩阵和K矩阵的乘积矩阵；自注意力机制模种基于脉动阵列自注意力机制的实现系统的应2预处理单元：对数据输入行方向矩阵数据data1和输入列方向矩阵数据data2进行处到的数据data4缓存在缓存cache2中，把缓存在缓存cache1中的数据data3和缓存在缓存cache2中数据data4通过乘法器进行乘法运算得到数据data5，然后把数据data5传输到缓数据data3和数据data4传输是否完成，若完成则将数据data5传输到加法器中与上一个PE计算单元加法器中的数据进行相加得到数据data6，若未完成则等待数据data3和数据data4传输完成后再进行乘法计算得到数据data5，并将计算结果数据data5传输到加法器方向和列方向传递至下一个PE计算单元的行输入端dim1和列输入端dim2中，重复以上操脉动阵列：由多个PE计算单元构成，对PE计算单元输出的乘加结果矩阵乘法计算单元：将矩阵Q和矩阵K经过数据整形模块利数据缓存阵列：用于对输入行方向矩阵数据data1和输入列方向矩阵数据data2的缓数据整形与加载模块：用于将数据缓存阵列中保存的输入行矩述PE计算单元中的加法器同时会发出一个反馈信号至乘法器，用来判断乘法计算是否完数据data5传输到加法器中与上一个PE计算单元加法器中的数据data6进行相加得到这个35.一种基于权利要求1_4任一系统的一种基于脉动阵列自注意力机制的实现方法，其步骤1：输入数据的Q矩阵和输入K矩阵经过矩阵乘法计算单元得到Q矩阵和K矩阵的乘步骤3：根据步骤2得到的数据SoftMax<Q，K>与输入矩阵V，重复步骤1，得到数据行或列的方式进行错位排列，得到行错位排列的向量数据data3和列错位排列的向量数据步骤1.3：把预处理单元中得到的数据data3通过行输入端输入端口dim1缓存在缓存cache1中，预处理单元中得到的数据data4通过列输入端输入端口dim1缓存在缓存cache2乘加结果数据data6传递至下一个PE单元的加法器中；通过多个PE计算单元对PE计算单元4工具也被开发出来，硬件加速计算算法的设计和优化是硬件加速计算研究的重要方面之用场景中发挥作用。[0005]现有技术在ZYNQ开发平台上实现自注意力机制是通过调用大量的DSP计算单元，5存cache2中数据data4通过乘法器进行乘法运算得到数据data5，然后把数据data5传输到断数据data3和数据data4传输是否完成，若完成则将数据data5传输到加法器中与上一个PE计算单元加法器中的数据进行相加得到数据data6，若未完成则等待数据data3和数据data4传输完成后再进行乘法计算得到数据data5，并将计算结果数据data5传输到加法器方向和列方向传递至下一个PE计算单元的行输入端dim1和列输入端dim2中，重复以上操[0014]矩阵乘法计算单元：将矩阵Q和矩阵K经过数据整形模块元得到乘积矩阵，然后通过SoftMax计算单元将乘积矩阵进行归一化计算，得到数据6错位排列后的新的行向量或列向量传输到PE计算到加法器中与上一个PE计算单元加法器中的data6数据进行相加得到这个PE计算单元的[0022]步骤1：输入数据的Q矩阵和输入K矩阵经过矩阵乘法计算单元得到Q矩阵和K矩阵按照行或列的方式进行错位排列，得到行错位排列的向量数据data3和列错位排列的向量存cache1中，预处理单元中得到的数据data4通过列输入端输入端口dim1缓存在缓存得到的乘加结果数据data6传递至下一个PE单元的加法器中；通过多个PE计算单元对PE计7data2进行处理，得到错位排列后的行向量数据data3和列向量数据data4，将行向量数据8到的数据data4缓存在缓存cache2中，把缓存在缓存cache1中的数据data3和缓存在缓存cache2中数据data4通过乘法器进行乘法运算得到数据data5，然后把数据data5传输到缓据数据data3和数据data4传输是否完成，若完成则将数据data5传输到加法器中与上一个PE计算单元加法器中的数据进行相加得到数据data6，若未完成则等待数据data3和数据data4传输完成后再进行乘法计算得到数据data5，并将计算结果数据data5传输到加法器中与上一个PE计算单元加法器中的数据进行相加得到数据data6；同时加法器发出一个反加法器中的数据data6数据进行相加得到这个PE计算单元的数据data6，之后把数据data6传输至下一个PE计算单元中的加法器中，在下一个时钟周期到来的时候把数据data3和数据data4按照行方向和列方向传递至下一个PE计算单元的行输入端输入端口dim1和列输入算过程描述如下：缓存cache3引出一条反馈信号通路，分别接入到缓存cache1和缓存9[0057]步骤1：输入数据Q矩阵和输入K矩阵经过矩阵乘法计算单元得到Q矩阵和K矩阵的按照行或列的方式进行错位排列，得到行错位排列的向量数据data3和列错位排列的向量存cache1中，预处理单元中得到的数据data4通过列输入端输入端口dim1缓存在缓存得到的乘加结果数据data6传递至下一个PE单元的加法器中；通过多个PE计算单元对PE计[0067]本发明所描述的基于脉动阵列的自注意计算单元，可以适用于Transformer神经