CN114298296B 基于存算一体阵列的卷积神经网络处理方法和装置 （清华大学）

WO2021115262A1,2021.0基于存算一体阵列的卷积神经网络处理方一种基于存算一体阵列的卷积神经网络处设置输入特征图的子输入特征图的宽度为x、高×z的结果小于或等于存算一体阵列行数；基于子卷积核在子输入特征图中以步长S滑动的情列的N列中；将子输入特征图以行输入信号输入2基于所述子卷积核在所述子输入特征图中以步长S滑动的情形，将所述子卷积核依次将所述子输入特征图以行输入信号输入到所述至少一个存算子输入特征图中以步长S滑动的情形，将所述子卷积核依次部署到至少一个存算一体阵列根据基于所述子卷积核在所述子输入特征图中以所述步长S滑动的情形，将所述子卷积核相对于所述子输入特征图的位置分为第一卷积位置、第二卷积位置和第三卷积位置；根据所述第一卷积位置、所述第二卷积位置和所述第三卷积其中，所述第一卷积位置对应于所述子卷积核在滑动过程中所述第二卷积位置对应于所述子卷积核在滑动过程中处于两个所述子输入特征图之所述第三卷积位置对应于所述子卷积核在滑动过程中处于四个所述子输入特征图之根据所述第一卷积位置，将所述子卷积核部署到所述至少一个存算一体阵列的n1列根据所述第二卷积位置，将所述子卷积核部署到所述至少一个存算一体阵列的n2列根据所述第三卷积位置，将所述子卷积核部署到所述至少一个存算一体阵列的n3列3所述子卷积核在所述第一卷积位置对应的权重元素的数量为x_k×y所述子卷积核在所述第二卷积位置对应的权重元素的数量为x所述子卷积核在所述第一卷积位置对应的权重元素的数量为x_k×y所述子卷积核在所述第三卷积位置对应的权重元素的在n2列中的一半列上，所述子卷积核在所述第二卷积位置对应在n2列中的另一半列上，所述子卷积核在所述第二卷积位置对输入信号输入到所述至少一个存算一体阵列中，从所述至少一个存算一体阵列的N列的列所述至少一个存算一体阵列中，并从所述至少一个存算一体阵列的N列的列输出信号得到基于所述子卷积核在所述子输入特征图中以步长S滑动的情形，将所述子卷积核依次基于所述子卷积核在所述子输入特征图中以所述步长S滑动的4控制单元，被配置为，将所述子输入特征图以行输入信号输入到所根据基于所述子卷积核在所述子输入特征图中以步长S滑动的情形，将所述子卷积核根据所述第一卷积位置、所述第二卷积位置和所述第三卷积其中，所述第一卷积位置对应于所述子卷积核在滑动过程中所述第二卷积位置对应于所述子卷积核在滑动过程中处于两个所述子输入特征图之所述第三卷积位置对应于所述子卷积核在滑动过程中处于四个所述子输入特征图之根据所述第一卷积位置，将所述子卷积核部署到所述至少一个存算一体阵列的n1列根据所述第二卷积位置，将所述子卷积核部署到所述至少一个存算一体阵列的n2列根据所述第三卷积位置，将所述子卷积核部署到所述至少一个存算一体阵列的n3列所述至少一个存算一体阵列中，并从所述至少一个存算一体阵列的N列的列输出信号得到所述部署单元还被配置为：基于所述子卷积核在所述子输入特征图中以步长S滑动的情形，将所述K个子卷积核中的每个子卷积核依次部署到至少一个存算一体阵列的N列中，56[0001]本公开的实施例涉及一种基于存算一体阵列的卷积神经网络处理方法和卷积神入特征图中以步长S滑动的情形，将子卷积核依次部署到至少一个存算一体阵列的N列中；对应于子卷积核在滑动过程中处于四个子输入特7置、第二卷积位置和第三卷积位置，将子卷积核依次部署到至少一个存算一体阵列的N列应的权重元素的数量为x_k×y_k×z，子卷积核在第三卷积位置对应的权重元素的数量为以行输入信号输入到至少一个存算一体阵列中，从至少一个存算一体阵列的N列的列输出输入到至少一个存算一体阵列中，并从至少一个存算一体阵列的N列的列输出信号得到该[0012]本公开至少一实施例提供一种基于存算一体阵列的卷积神经网络处理装置，包8[0022]图3示出了本公开至少一实施例提供的一种卷积神经网络处理方法的示意性流程[0024]图5示出了子卷积核在子输入特征图内进行滑动步长为S的卷积操作时的三种情[0027]图7示出了本公开至少一实施例提供的一种基于存算一体阵列的卷积神经网络处9的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其可能相应地改变。映射到基于忆阻器的存算一体阵列上的过程的基本思想是将整个卷积操作转换成向量矩电压信号的方式输入到存算一体阵列中，存算一体阵列的每一列部署一个卷积核(即用存(C_out)等于存算一体阵列的使用列数。该存算一体阵列通过行输入电压和忆阻器的电导入特征图中以步长S滑动的情形，将子卷积核依次部署到至少一个存算一体阵列的N列中；[0042]该卷积神经网络处理方法针对不同的神经网络层参数以及不同的存算一体阵列[0043]本公开至少一实施例还提供对应于上述卷积神经网络处理方法的卷积神经网络[0045]图2A示出了一种存算一体阵列的示意性结构，该存算一体阵列由多个运算单元线与位线施加相应的字线信号与位线信号，上述存算一体阵列可以并行地完成乘累加计[0046]图2A的存算一体阵列中的运算单元例如可以具有1T1R结构或[0049]本公开的实施例对采用的晶体管的类型不作限定，例如当晶体管M1采用N型晶体的第二极可以是漏极并配置为和忆阻器R1的第二极(例如负极)连接，忆阻器R1的第一极个晶体管M1和M2以及两个忆阻器R1和R2。下面以晶体管M1和M2均采用N型晶体管为例进行[0056]图3示出了本公开至少一实施例提供的一种基于存算一体阵列的卷积神经网络处的数量为IC_inz1,这里IC_inal为正整数。[0063]由于Z小于或等于C_in，因此需要有IC_inal个子输入特征图才可以处理完所有存算一体阵列的情况下需要[c_in'zl个阵列。[0067]图5示出了子卷积核在子输入特征图内进行滑动步长为S的卷积操作时的三种情[0068]如图5所示，子卷积核在子输入特征图内滑动时相对于子输入特征图的位置分为[0080]由于每个卷积位置(对应1个子卷积核)需要部署在存算一体阵列的一列上，因此第一卷积位置对应的权重元素的数量为x_k×y_k×z，子卷积核在第二卷积位置对应的权卷积核的x_k与y_k不相同的情形，子卷积核在第一卷积位置对应的权重元素的数量为x_k一体阵列的N列的列输出信号得到该步对应[0087]在此实施例中，以子输入特征图为一个单位在整个输入将K个子卷积核中的每个子卷积核依次部署到至少一个存算一体阵列的N列中，由此将K个子卷积核依次部署到至少一个存算一体阵列[0092]下面以卷积神经网络中的一个卷积层部署到一个规模为400行×150列的存算一现有的映射方法，1个卷积核有3×3×64＝576个元素，而存算一体阵列只有400行，小于制的情况下需要IC_in'zl-64/16-4个存算一体阵列来完成计算。算可得这27列中的每列部署的权重元素的数量为3×3×16＝144，所以每列上部署的权重个存算一体阵列的N列的列输出信号得到计算结果。以子输入特征图为一个单位在整个输并分别输入到1个存算一体阵列的400行上。通过输入电压信号和表征权重元素的电导值，从至少一个存算一体阵列的N列的列输出信号得到计算[0100]下面结合表2对本公开至少一实施例提供的卷积神经网络处理方法的性能与其他[0103]映射方式1可参见：W.Zhangetal.,“DesignGuidelinesofRRAMbasedNeural-Processing-Unit:AJointDevice-Circuit-AlgorithmAnalysis,”in201956thACM/IEEEDesignAutomationConference(DAC),Jun.DataFlowforConvolutionalNeuralNetworksonProcessing-in-MemoryArchitectures,”IEEETransactionsonCircuitsandSystemsI:RegularPapers,vol.67,no.4,pp.1333–1343,Apr.2020.DataMovementsAndInterfacesInPimAcceleratorsTowardsLocalAndInTimeDomain,”in2020ACM/IEEE47thAnnualInternationalSymposiumonComputerArchitecture(ISCA),May202[0106]如表2所示，本公开至少一实施例提供的卷积神经网络处理方法可以极大地提升[0107]图7示出了本公开至少一实施例提供的一种基于存算一体阵列的卷积神经网络处[0112]控制单元704被配置为，将子输入特征图以行输入信号输入到至少一个存算一体入特征图中以步长S滑动的情形，将子卷积核相对于子输入特征图的位置分为第一卷积位一体阵列的N列的列输出信号得到该步对应中的另一个忆阻器用于接收上述输入电压信号对应的反相输忆阻器802接收的输入电压信号用-v(t)表示。忆阻器801和忆阻器802连接到两条不同的11-G12G1211-G1211-G12的数值关系可以实现负值元素。和忆阻器802的2T2R结构的忆阻器单元可以对应一个权重元素，并且，该权重元素为G11-11-G12的数值关系可以实现负值元素。[0131]该卷积神经网络处理装置700的技术效果与图3所示的卷积神经网络处理方法的[0133]如图9所示，卷积神经网络处理装置用于实施根据本公开至少一实施例的卷积神极可以是源极并被配置为和源线端SL连接，P型晶体管的第一极与N型晶体管的第一极相[0136](1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考[0137](2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到