CN113723600B 神经网络计算方法、装置、板卡及计算机可读存储介质 （上海寒武纪信息科技有限公司）

2及所述第一分割值xp1为：述激活值步骤根据以下表达式产生所述第一3.根据权利要求2所述的方法，其中所述权3权值步骤根据以下表达式产生所述第二定点数6.根据权利要求5所述的方法，其中所述第一定点数据及所述第二定点数据的数据结将所述第一定点数据及所述第二定点数据的符号位的数值相加，以生成符号加总值;将所述第一分割参数及所述第一定点数据的标志位的数值相乘，以;将所述第二分割参数及所述第二定点数据的标志位的数值相乘，以。存储器，所述存储器中存储有计算机可执行指令，当所述计算机可9.一种计算机可读存储介质，包括计算机可执行指令10.一种在神经网络中反向传播的方法，所述神经网络包括权值及所述权值定点化处根据所述分割参数、偏移值及分割值，量化所述下一层误差值对所述误差值定点数据及所述权值定点数据进行乘法运算，以生成所述权值的梯度；4述量化所述下一层误差值步骤根据以下表达式产生所述存储器，所述存储器中存储有计算机可执行指令，当所述计算机可根据对应于所述下一层误差值的第三分割参数、第三偏移值及5及所述第一分割值xp1为：所述激活值步骤根据以下表达式产生所述第一定6述量化所述下一层误差值步骤根据以下表达式产生所述符号位，用以记录所述第一定点数据、所述第二定点数据及所述第三定数值位，用以记录所述第一定点数据、所述第二定点数据及所。23.根据权利要求22所述的方法，其中所述对所述第一定点数据及所述第二定点数据将所述第一定点数据及所述第二定点数据的符号位的数值相加，以生成符号加总值;将所述第一分割参数及所述第一定点数据的标志位的数值相乘，以;将所述第二分割参数及所述第二定点数据的标志位的数值相乘，以。24.根据权利要求22所述的方法，其中所述对所述第二定点数据及所述第三定点数据将所述第二定点数据及所述第三定点数据的符号位的数值相加，以生成符号加总值7;将所述第二分割参数及所述第二定点数据的标志位的数值相乘，以;将所述第三分割参数及所述第三定点数据的标志位的数值相乘，以。存储器，所述存储器中存储有计算机可执行指令，当所述计算机可8模型存储容量和计算量日益增加，导致神经网络在进行训练和推理时是极度消耗资源的，9述浮点数据落在所述多个量化区间的特定区间；以及根据所述特定区间所对应的量化公[0020]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，致上是由以下四种层结构组成：输入层、卷积层(convolutionlayer)、池化层(pooling[0048]池化层203配置成对数据的某一个区域用一个值代替，这值通常是该区域所有数[0049]全连接层204在整个卷积神经网络200中起到分类器的作用，相当于特征空间变[0050]神经网络需要权值作为模型的参数，在训练神经网络的过程中对权值取得最佳[0052]当输入数据在神经网络中计算时，一般都是希望能够找到损失函数(loss间的误差每传播一层会衰减一次，如果在深层模型中使用前述的sigmoid函数作为激活函任何适当的磁存储介质或者磁光存储介质，比如阻变式存储器RRAM(ResistiveRandom存取存储器SRAM(StaticRandom_AccessMemory)、增强动态随机存取存储器EDRAM混合存储立方HMC(HybridMemoryC[0062]控制单元31用以提供量化过程当中所需的分割参数α、偏移值shift及分割值x[0063]输出入模块311作为控制单元31与外部单元信号传递的渠道，在发生控制要求时p[0074]分割值产生器314用以生成分割值xp，分割值xp表示第一区间A与ppppppppp[0080]二路选择器323自控制单元31接收分割参数α,并基于标志位fl[0081]加法器324接收二路选择器323的输出与来自控制单元31的偏移值shift，将偏移[0085]总线转换器326用以结合标志位flag的数值与中间数据x[n_1:0]，以生成定点数[0088]此实施例搭配一种新的非均匀定点量化数据结构，以下将说明非均匀定点数据x录定点数据的数值。量化器325的输出x[n_1:0]即对应至非均匀定点量化数据结构的符号[0093]前述说明是以输入数据x为激活值为例，但本公开不以此为限，亦即在神经网络p如果分割值x小于或等于绝对值abs(x)，表示输入数据x落在第二区间B内，设定标志位pq器323自控制单元31接收分割参数α,并基于标志位flag的数值来决定输出分割参数α或0。(5)将输入数据x量化为中间数据xq，总线转换器326再将标志位flag的数值加入到中间数qq化器325及总线转换器326不根据分割参数量化浮点数据，而根据以下表达式量化浮点数qqq[0105]由于此实施例能通过比较器322产生标志位flag来记录输入数据x落在第一区间A[0107]对具有图6的定点数据结构的两定点数据进行乘法计算时，假设第一定点数据x1z(10)定点积y[2n_1:0]，也就是实现式(10)的valuez.第一定点[0111]加法模块82用以将多个对应至第一定点数据x1[n_1:0]及第二定点数据x2[n_1:0]的量化偏移系数相加，以生成量化偏移系数和，也就是实现式(10)的2e1fa8x2e2fla82xintervalyxinterval2.如式(8)便等于因1+α2shift1及第二偏移值shift2是[0120]如第一浮点数据x1未落在第一区间A内，则二路选择器323、加法器324及量化器亦可利用前述步骤转换成定点数据与输入数据进而本公开并不限制区间的数量，只要在不同范围内的数值分布需要利用不同的精度来量图10中的标志位10所示。换言之，如果数值分布被分割为N个区间，则标志位需要ceil实施例的神经网络计算装置将浮点数据的数值分布分割为第一区间、第二区间及第三区[0135]此实施例利用2个分割参数来定义这3个区间，分割参数α1用以定义第一区间A及qqqqqq出对应于分割参数α1的第一分割值xp1与对应于分割参数α2的第二分割值xp2至比较器122，数据x的绝对值abs(x)与第一分割值x[0155]在步骤1302中，控制单元31提供对应激活值x1的第一分割参数α1、第一偏移值[0156]在步骤1303中，控制单元31提供对应于权值x2的第二分割参数α2、第二偏移值生成第一参数乘值pm1；第二选择器822的任务等效于将第二分割参数α2及所述第二定点数全连接层204中重复执行多次前述步骤的乘法运算，直到完成推理过程，最终识别这些图[0171]本公开的另一个实施例是一种在神经网络中反向传播的[0173]在步骤1402中，控制单元31提供对应于下一层误差值xR的分割参数αR、偏移值[0176]如下一层误差值xR未落在第一区间A内，则二路选择器323、加法器324及量化器一参数乘值pm1；第二选择器822的任务等效于将第二分割参数α2及权值定点数据的标志位[0184]图15是示出根据本公开实施例的一种集成电路装置1500的处理装置1506作为计算装置1502与外部数据和控制的接口，执行包括但不限于数据搬运，完成对计算装置1502的开启、停止等的基本控制。其他处理装置1506也可以和计算装置[0186]通用互联接口1504可以用于在计算装置1502与其他处理装置1506间传输数据和用于所需要运算的数据在计算装置1502或其他处理装置1506的内部存储中无法全部保存[0191]存储器件1604与芯片封装结构内的芯片1602通过总线1616连接，用于存储数口装置1606为标准PCIe接口，待处理的数据由服务器通过标准PCIe接口传递至芯片1602，1602与控制器件1608可以通过SPI接口电连接。控制器件1608可以包括单片机(“MCU”，D1为所述第一数值分布。量化所述激活值步骤根据以下表达式产生所述所述电子设备执行如条款A1_9中任意一项D1为所述数值分布。所述电子设备执行如条款A12_15中任意一项D1为所述第一数值分布。述量化所述激活值步骤根据以下表达式产生所述第一所述电子设备执行如条款A18_31中任意一项实施方式进行了阐述，以上实施例的说明只是用于帮助理解本披露的方法及其核心思想；