CN114158284B 用于使用存储器内处理进行矩阵乘法的装置和方法 （北京苹芯科技有限公司）

2020.09.02PCT/CN2020/1006172020.07.07WO2022/006733EN2022.01.13用于使用存储器内处理进行矩阵乘法的装在此公开了用于使用存储器内处理(PIM)进块都被配置为处于存储器模式；以及第二组PIM被配置为存储第二矩阵并且基于第一和第二矩2行和列形式的存储器内处理PIM块阵列，每个存储器内处理PIM块都法VVM引擎，其中PIM块的存储器阵列被配置为存储第一矢量并且PIM块的缓冲器被配置为2.根据权利要求1所述的装置，其中第一组PIM块包括3.根据权利要求2所述的装置，其中第一组PI制器被配置为将第一矩阵映射到第一组PIM块，使得第一组PIM块基于第一组PIM块的尺寸控制器还被配置为控制MUX以将数据从第一组PIM的每个PIM块定向到第二组PIM块的相应5.根据权利要求4所述的装置，其中第一组PIM块的至少一个PIM块未处于相同的相应置为将第二矩阵映射到第二组PIM块，使得第二组PIM块的每个PIM块都存储第二矩阵的相8.根据权利要求1所述的装置，其中控制器被配置为控9.根据权利要求8所述的装置，其中第一矩阵包括卷积神在计算模式下启用VVM引擎并控制VVM引擎以执行第一矢量与第二矢量之间的点积以在存储器模式下停用VVM引擎并控制存储器阵列以11.根据权利要求10所述的PIM设备，其中VVM引擎包括位计数器、移位累加器和多个313.根据权利要求10所述的PIM设备，其中存储器阵列包括电阻性随机存取存储器由控制器将PIM块阵列的第一组PIM块的每个都配置为处于存储器模式，使得第一组15.根据权利要求14所述的方法，其中第一组PIM块包括PIM块阵列的行，并且第二组将数据从第一组PIM的每个PIM块定向到第二组PIM块的相应列中18.根据权利要求17所述的方法，其中第一组PIM块的至少一个PIM块未处于相同的相21.根据权利要求14所述的方法，其中计算第三矩阵的部分和包括执行第一和第二矩4为功率预算例如在电池或能量收集源的情况下是有限的。然而，由深度卷积神经网络随机存取存储器(ReRAM)的非易失性PIM应运而生。ReRAM的高单元密度允许在芯片上实现制器被配置为将第一矩阵映射到第一组PIM块，使得第一组PIM块基于第一组PIM块的尺寸一些实施例中，控制器还被配置为控制MUX以将数据从第一组PIM的每个PIM块定向到第二置为将第二矩阵映射到第二组PIM块，使得第二组PIM块的每个PIM块都存储第二矩阵的相[0011]在一些实施例中，控制器被配置为控制第二组PIM块以在计算第三矩阵的部分和5存储器阵列被配置为存储第一矢量。控制电路被配置为在计算模式下启用VVM引擎并控制VVM引擎以执行第一矢量和第二矢量之间的点积以生成部分和。控制电路还被配置为在存储器模式下停用VVM引擎并控制存储器阵列以写入[0016]在一些实施例中，PIM设备还包括第一缓冲器，所述第一缓冲器被配置为从另一[0019]在又一示例中，公开了一种由行和列形式的PIM块阵列实现的用于矩阵乘法的方二组PIM块每个都由控制器配置为处于计算模式。第一矩阵由控制器映射到第一组PIM块，一矩阵的一部分由第一组PIM块基于第一组PIM块的[0022]在一些实施例中，来自第一组PIM块的每个PIM块的数据由第一组PIM块和第二组PIM块之间的MUX定向到第二组PIM块的相一起进一步用于解释本公开的原理并使得本领域技术人员[0030]图2示出了根据本公开一些实施例的包括可重新配置的PIM块阵列的示例性装置[0031]图3示出了根据本公开一些实施例的包括用于矩阵乘法的PIM块阵列的示例性装6[0033]图5A示出了根据本公开一些实施例的图4所示处于存储器模式的PIM块的详细框[0035]图6A示出了根据本公开一些实施例的用于在矩阵乘法中处于计算模式的PIM块的[0036]图6B示出了根据本公开一些实施例的用于在矩阵乘法中处于存储器模式的PIM块[0037]图7示出了根据本公开一些实施例的矩阵乘法中的不同PIM块之间的示例性数据[0038]图8示出了根据本公开一些实施例的矩阵乘法中的不同PIM块之间的示例性计算[0039]图9是根据本公开一些实施例的由PIM块阵列实施的用于矩阵乘法的示例性方法的术语又可以至少部分地根据上下文被理解为表达单数用法的数字/模拟转换器和模拟/数字转换器(ADC/DAC)以分别将数字输入变换成用于PIM操作7设备与随机存取存储器(RAM)结合使用以用于存储输入和输出数据以及来自计算的中间结为通过施加具有不同幅度和时长的电激励来在两个或更多电平(level)之间切换。每个ReRAM元件都通过输入处的电压来表示矢量，然后在输出处收集的位线电流形成VMM结果。繁地在每个PIM块104与RAM102[0046]根据本公开的各个实施例提供了可重新配置的PIM架构，其在各种矩阵乘法应用阵列被配置成处于存储器模式的第一组PIM块和处于计算模式的第二组PIM块以用于执行[0047]图2示出了根据本公开一些实施例的包括可重新配置的PIM块阵列的示例性装置置为适应与特定任务相对应的计算方案和数据流。根据一些实施例，被启用的MUX204将PIM块202阵列划分成两个或更多个组，每个组都被配置为处于相同的计算或存储器模式。按照特定任务的需要进一步在不同行和/或列之间重定[0048]总线212可以是装置200的主/系统总线，其用于将诸如矩阵之类的输入数据传输入和输出以及中间结果——，装置200中的一组PIM块202可以被配置为处于存储器模式以8存储器阵列中的不必要的写入。附加的列可以由全局功能单元210添加到存储器阵列中以[0050]图3示出了根据本公开一些实施例的包括用于矩阵乘法的PIM块阵列的示例性装输出(I/O)接口304，其被配置为与诸如主处理器和/或系统存储器之类的其它设备交换数施例中，累加器208被配置为从第二组PIM块314接收部分和并且基于第三矩阵的部分和输在一些实施例中，MUX204中的处于第一和第二组PIM块314和312之间的仅仅一个MUX204MUX204并且停用其余MUX204(未在图3中示出)以将PIM块202阵列划分成处于存储器模式206还被配置为控制MUX204以将数据从第一组PIM块312的每个PIM块202定向到第二组PIM一列中加载的数据可以由MUX204重定向到第二列、第三列或者第二组PIM块314的第一列之外的任何列。9子来说，所述存储器包括但不限于：相变随机存取存储器(PRAM)、磁阻随机存取存储器包括控制电路406，所述控制电路406被配置为在计算模式下启用VVM引擎404并控制VVM引在存储器模式下停用VVM引擎404并控制存储器阵列402以多个：页缓冲器、解码器(例如行解码器416或列解码器414)、灵敏口412可操作地耦合在存储器阵列402与存储器总线之间以在存储器总线与存储器阵列402以在存储器模式下停用VVM引擎404和部分和缓冲器410(以虚线示出)，使得PIM块202充当的第一矢量和列缓冲器408中缓冲的第二矢量可以被发送给VVM引擎404以计算第一和第二制电路406在任何操作期间都总是开启)。列缓冲器408可以被用于对在存储器列的每行上[0058]其中a和b分别是原始地存储在第一组PIM块312(处于存储器模式的PIM块202)中1brow-1能需要移位累加运算以计算具有不同权重的点积之和，并且部分和缓冲器410可以被用于矢量中的每个元素的符号位可以首先从存储器阵列402中被读取，并且确定哪个VVM引擎第一组PIM块312并且将第二矩阵映射到第二组PIM块314。在一些实施例中，第一组PIM块为将第一矩阵映射到第一组PIM块312，使得第一组PIM312基于第一组PIM块312的尺寸同个PIM块202的列。核的处于不同位置的元素可以被映射为第二组PIM块314中的不同PIM块权重的位宽N>1，则可能需要存储器阵列402中的处于不同列的N个存储单元来表示一个核映射扩展到第二组PIM块314中的更多PIM块202。[0062]图6B示出了特征图到第一组PIM块312的映射。可以将不同特征图的相同位置处的元素分组为矢量，并且可以将矢量映射到第一组PIM块312中的一个PIM块将映射扩展到第一组PIM块312中的更多PIM[0064]为了将FC层的核映射到第二组PIM块314中的PIIM块202，权重矩阵的列被直接映计算第三矩阵的部分和时执行第一矩阵和第二矩阵的卷积。继续上面在CNN中执行特征图存储在块(i,j)中存储的特征图的第ic个输入通道,Woc,ic,i,j是存储在块(i,j)中的核的oc[0073]图9是根据本公开一些实施例的由PIM块阵列实施的用于矩阵乘法的示例性方法一矩阵的尺寸，并且第一矩阵的一部分由第一组PIM块基于第一组PIM块的尺寸同时存储。由第一组PIM块和第二组PIM块之间的MUX定向到第二组PIM块的相应列中的PIM块。在一些三矩阵的部分和包括执行第一和第二矩阵的卷积。如图3所示，第一和第二组PIM块312和以通过应用领域内的基本常识，在不进行过度实验且不背离本发明的基本概念的情况下，