CN111445004B 存储权重矩阵的方法、推断系统和计算机可读存储介质 （三星电子株式会社）

2020.07.24号一种在包括一系列集群的电路中存储用于所述方法包括将稀疏权重矩阵分割成至少一个区块仅包括零值权重且所述第二子区块包括非子区块中的非零值权重指派给电路的所述一系利用人工神经网络进行的推断过程期间执行所述至少一个第二子区块的非零值权重与输入向21.一种在包括多个集群的电路中存储用于被训练的人工神经网络的稀疏权重矩阵的将所述稀疏权重矩阵分割成至少一个第一子区块及至少一个第二子区将所述至少一个第二子区块中的所述非零值权重指派给所述电路的所述多个集群中其中所述电路被配置成执行所述至少一个第二子区块的所述非零值权重与输入向量其中所述至少一个第一子区块未指派给所述电路6.根据权利要求4所述的方法，其中指派所述非零值权重包括利用与所述忆阻器串联8.根据权利要求1所述的方法，其中分割所述稀疏权重矩阵包括以递归方式将所述至少一个第二子区块的大小与所述多个集群中的计算利用包括未被闭锁元件缓冲器及至少一个数字算术逻辑单元的未被闭锁元件集根据所述较低的能量成本，将所述非零值权重指派给所述未被闭锁将所述至少一个第二子区块进一步分割成多个子区，所述多个子区具有计算使用所述第一多个集群处理所述多个子区中的每一者的所述非零值权重的第一3计算使用与所述至少一个第二子区块的每一者具有相同的大小的单个集群处理所述至少一个第二子区块的所述每一者的所述非零值权根据所述较低的总能量成本，将所述多个子区的所述非零值权重集群或者将所述至少一个第二子区块的所述非零值权重指派给非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质中存储有指令，将所述稀疏权重矩阵分割成至少一个第一子区块及至少一个第二子区将所述至少一个第二子区块中的所述非零值权重指派给电路的所述多个集群中的至其中所述电路被配置成执行所述至少一个第二子区块的所述非零值权重与输入向量其中所述至少一个第一子区块未指派给所述电路12.根据权利要求11所述的系统，其中所述指令在由所述处理器执行时还使所述处理器识别所述多个集群中未被指派至少一个非零值13.根据权利要求12所述的系统，其中所述指令在由所述处理器执行时还使所述处理器完全切断未被指派至少一个非零值权重的所14.根据权利要求11所述的系统，其中所述忆阻器交叉开关的阵列的每一忆阻器选自15.根据权利要求11所述的系统，其中所述片上网络还包括与所述忆阻器交叉开关串述多个选择器设定所述忆阻器交叉开关的电阻来指派所述17.根据权利要求11所述的系统，其中所述指令在由所述处理器执行时还使所述处理器以递归方式将所述至少一个第二子区块的大小与所述多个集群中的最小集群的大小进18.根据权利要求17所述的系统，其中如果所述至少一个第二子区块的所述大小等于计算利用包括未被闭锁元件缓冲器及至少一个数字算术逻辑单元的未被闭锁元件集4根据所述较低的能量成本，将所述非零值权重指派给所述未被闭锁将所述至少一个第二子区块进一步分割成多个子区，所述多个子区具有计算使用所述第一多个集群处理所述多个子区中的每一者的所述非零值权重的第一计算使用与所述至少一个第二子区块的每一者具有相同的大小的单个集群处理所述至少一个第二子区块的所述每一者的所述非零值权根据所述较低的总能量成本，将所述多个子区的所述非零值权重集群或者将所述至少一个第二子区块的所述非零值权重指派给20.一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质中存储将人工神经网络的稀疏权重矩阵分割成至少一个第一子区块及至少一个第二子区块，及将所述至少一个第二子区块中的所述非零值权重指派给包括忆阻器交叉开关的阵列5[0002]本申请主张2019年1月17日提出申请的美国临时申请第62/793,731号以及2019年5月10日提出申请的序列号为16/409,487的美国非临时专利申请的优先权及权益，所述美并使用传递函数将加权输入的线性组合传递到阈值激活函数(thresholdingactivation地存储到神经元-神经元互连，以快速地以及在能量上高效地执行人工神经网络的乘法及[0006]本公开涉及一种在包括一系列集群的电路中存储用于被训练的人工神经网络的被配置成执行所述至少一个第二子区块的所述非零值权重与输入向量之间的矩阵-向量乘6[0008]所述方法可包括：完全切断未被指派至少一个非零值权重的所述集群的电力(进[0010]所述忆阻器中的每一者可为电阻式随机存取存储器(resistiverandomaccessCBRAM)、相变存储器(phase-changememory，PCM)、铁电场效应晶体管(ferroelectricfieldeffecttransistor，FerroFET)、自旋转移力矩随机存取存储器(spin-transfer[0011]指派所述非零值权重可包括利用与所述忆阻器串联连接的一系列选择器设定所[0012]所述稀疏权重矩阵可具有512×512的大小，所述至少一个第一子区块可具有256[0013]分割所述稀疏权重矩阵可包括以递归方式将所述至少一个第二子区块的大小与权重的第二能量成本；确定所述第一能量成本及所述第二能量成本中的较低的能量成本；小集群。子区块具有相同的大小的单个集群处理所述第二子区块的所述非零值权重的第二总能量者将所述至少一个第二子区块的所述非零值权重指派给所述单个集[0016]本公开还涉及一种使用具有稀疏权重矩阵的人工神经网络执行推断的系统的各少一个第二子区块中的所述非零值权重指派给电路的所述一系列集群中的至少一个集群。所述电路被配置成执行所述至少一个第二子区块的所述非零值权重与输入向量之间的矩7[0017]所述指令在由所述处理器执行时还可使所述处理器识别所述一系列集群中未被[0018]所述指令在由所述处理器执行时还可使所述处理器完全切断未被指派至少一个指令在由所述处理器执行时还可使所述处理器通过利用所述选择器设定所述忆阻器交叉[0021]所述稀疏权重矩阵可具有512×512的大小，所述至少一个第一子区块可具有256[0022]所述指令在由所述处理器执行时还可使所述处理器以递归方式将所述至少一个第二子区块的大小与所述一系列集群中的最小一系列子区，所述一系列子区具有与所述一系列集群中的第一系列集群的大小匹配的大权重指派给所述第一系列集群或者将所述至少一个第二子区块的所述非零值权重指派给所述单个集群。[0025]本公开还涉及一种非暂时性计算机可读存储介质的各种实施例。在一个实施例特征可与一个或多个其他所阐述的特征组合以提8[0028]图1是示出根据本公开一个实施例的使用忆阻器加速器执行人工神经网络推断的[0029]图2绘示根据本公开一个实施例的被训练的人工神经网络，所述被训练的人工神[0031]图4绘示根据本公开一个实施例的硬件加速器的一系列集群，所述一系列集群各9[0063]本公开涉及在电路中存储用于被训练的人工神经网络的稀疏权重矩阵的权重系的)。每一集群被配置成在推断期间当数据从人工神经网络的一个层流到另一层时执行稀法包括将稀疏权重矩阵分割成至少两个子区块，其中至少一个子区块仅包含零权重系数，的系统及方法被配置成改善人工神经网络推断过程的性能，且被配置成通过在MVM运算中避免执行例如乘以零或加零的琐碎的计算而在能量上中的普通技术人员完整地理解本发明的各个方面及特征而言并非必需的过程、元件及技解，当在本说明书中使用用语“包含(comprises、comprising)”以及“包括(includes、等表达在位于一系列元件之前时修饰整个系列的元件而并非修饰所述一系列元件中的各词典中所定义的用语)应被解释为具有与其在相关技术和/或本说明书中的上下文的含义[0071]图1是示出根据本公开一个实施例的使用忆阻器加速器执行人工神经网络推断的权重矩阵分割成仅包含零值权重系数的至少一个第一子区块及包含非零值权重系数的至过程(例如(举例来说)稀疏权重矩阵的对角化(diagonalization))来执行。稀疏权重矩阵是指大部分或近似大部分权重系数为零值或基本上为零值[0072]图2绘示根据本公开一个实施例的被训练的人工神经网络200，人工神经网络200包括输入层201、至少一个隐藏层203及输出层205，输入层201具有一系列输入层神经元神经元206。输入层神经元202中的每一者的输出通过一系列连接或突触207连接到隐藏层神经元204中的每一者，且隐藏层神经元204中的每一者的输出通过一系列连接或突触208与隐藏层203之间的连接207或者隐藏层203与输出层205之间的连接208相关联的权重矩重矩阵300的稀疏度而定，稀疏权重矩阵300可被分割成任何其他数目的第一子区块301且第一子区块301中的每一者可具有任何其他疏权重矩阵300的总大小及稀疏权重矩阵300的稀疏度而定，第二子区块302可具有任何其或多个实施例中，第二子区块302可被进一步分割成任何其他合适数目的具有任何合适的[0075]继续参照图1所示实施例，方法100还包括将第二子区块302中的权重存储在一个120包括将第二子区块302中的非零权重系数映射到忆阻器交叉开关的一个或多个阵列重存储在与子区具有相同的大小(例如，256×256；128×128和/或64×64)的单独的集群方法100可包括完全切断在任务120期间未被指派至少一个非零值权重的集群的电力(例务120期间完全切断未被指派至少一个非零值权重的集群的电力能够将执行人工神经网络[0077]图4绘示根据本公开一个实施例的各自包括忆阻器交叉开关401的阵列的硬件加将一个或多个集群400(即，忆阻器交叉开关401的一个或多个阵列)的忆阻器交叉开关401一忆阻器交叉开关401编程为与对应的权重矩阵系数的一个或多个位的值成反比的电阻水平)。每一忆阻器交叉开关401的电导(且因此存储在忆阻器交叉开关401中的权重)可在任务120中利用选择器(例如(举例来说)，串联连接到忆阻器交叉开关401的二极管或场效应例来说)电阻式随机存取存储器(RRAM)、导电桥接随机存取存储器(CBRAM)、相变存储器用作模拟存储器或数字存储器且STTRAM可用作每个胞元单个位的数字存储器(single-[0078]如图4中所示，每一集群400还包括连接到忆阻器交叉开关401的每一阵列的采样及保持阵列(S/H阵列)403及被配置成将由忆阻器交叉开关401的每一阵列计算的点乘积(dotproduct)从模拟转换为数字的模拟-数字转换器(analog-to-digitalconverter，[0079]在一个或多个实施例中，存储权重的任务120可包括将权重存储在具有不同大小的两个或更多个集群400中(即，任务120可包括将非零权重存储在具有不同大小的忆阻器述两个集群400各自具有大小为256×256的忆阻器交叉开关401的阵列；将子区304中的权各自具有大小为64×64的忆阻器交叉开关401的阵列。割的稀疏权重矩阵的第二子区块302的大小与硬件加速器的最小集群400(即，忆阻器交叉开关401的最小阵列)的大小进行比较的任务。如果第二子区块302的大小与由硬件加速器指派给呈现较低能量成本的集群400(例如，模拟的或未被闭锁的)。在一个或多个实施例中，未被闭锁元件集群包括未被闭锁元件缓冲器及一个或多个数字算术逻辑单元第二子区块302的大小大于在硬件加速器上实施的最小集群400的大小，则方法100包括计305中的非零的能量成本进行求和)以及将能量成本的和与将整个第二子区块302映射到具有与第二子区块302相同大小的忆阻器交叉开关401的阵列的单个集群400的能量成本进行二子区302大于最小集群400(即，如果第二子区302大于具有忆阻器交叉开关401的最小阵305)且将子区中的非零权重系数映射到与子区具有相同的大小的忆阻器交叉开关阵列401示忆阻器交叉开关401的阵列的集群400来执行，其中每一集群400被配置成执行权重矩阵的电导(其表示神经元202、204、206之间的连接207、208的权重)之间的乘法及累加[0082]仍参照图1所示实施例，方法100还包括将由使用一个集群400执行MVM的任务130所得出的输出向量加到从不同的集群400发送的运行向量和(runningvectorsum)的任务140(例如，任务140包括根据在任务130中由图4所示集群400中的忆阻器交叉开关401的阵和的任务140来计算一组神经网络激活函数并将结果发送到目的集群的任务150(例如，任结构(modularNoCfabric)连接，且可利用成熟的直接存储器存取(directmemory集群400各自具有忆阻器交叉开关401的阵列(例如，计算节点501中的每一者包括图4所示总线505，输入向量系数及输出向量系数以及它们的目的地址由计算节点501内的集群400或由服务于此计算节点501的NoC的路由节点502在所述一对地址总线504与数据总线505上使用控制逻辑编程成)将输入向量系数引导到适当的忆阻