CN111062475B 用于对神经网络的参数进行量化的方法和装置 （三星电子株式会社）

WO2018140294A1,2018.08.02CorrectioninaFixed-PointMultiplier.用于对神经网络的参数进行量化的方法和在用于对参数进行量化的定点格式的比特范围2针对每个参数，计算比特移位值，所述比特移位值指示在用针对每个参数，将检测到的最高有效比特与所述定点格式针对每个参数，基于所述定点格式的整数部分的最高有效比基于所述上溢的发生次数和所述最大比特移位值来更新在上溢的发生次数大于预定值的情况下，通过将所述定点格其中，所述定点格式是基于在第t_1次学习或推断过程中更新的参数来更新的定点格在根据所述定点格式来量化所述参数的过程中计算每个参9.一种计算机可读记录介质，存储用于使计算机执行根据权利要求1所述的方法的程针对每个参数，计算比特移位值，所述比特移位值指示在用3根据经更新的定点格式来量化在学习或推断过针对每个参数，将检测到的最高有效比特与所述定点格式其中，所述定点格式是基于在第t_1次学习或推断过程中更新的参数来更新的定点格4[0002]本申请要求于2018年10月17日在韩国知识产权局递交的韩国专利申请No.10_在各种电子系统中通过使用神经网络装置来分析输入数据并提取有效信息进行了大量研次学习或推断过程中更新的参数，定点格式可以是基于在第t_1次学习或推断过程中更新5将检测到的最高有效比特与所述定点格式的整数部分的最高有效比特之间的比特数的差[0019]处理器可以基于定点格式的整数部分的最高有效比特来[0020]处理器可以根据所计算的比特移位值来确定上溢的发生次数[0022]处理器可以在根据定点格式对参数进行量化的过程中计算每个参数的比特移位位值来更新定点格式；以及基于经更新的定点格式对神经网络的第t+1次学习或推断过程[0025]确定最大比特移位值可以包括：将所计算的在第t次学习或推断过程中更新的参数的比特移位值彼此比较，以及将在第t次学习或推断过程中更新的比特移位值中的最大[0026]在另一个一般方面中，一种计算机可读记录介质在其上该一个或多个程序包括用于执行对神经网络的参数进6宽度的定点格式参数到具有另一比特宽度的另一定点格[0048]神经网络学习装置10可以通过反复训练(学习)给定的初始神经网络来生成经训7[0049]神经网络学习装置10可以在反复学习(训练)初始神经网络的过程中根据定点格式来处理参数。具体地，神经网络学习装置10可以根据8比特或16比特定点格式来处理参[0051]用于驱动经量化的神经网络21的神经网络推断装置20可以在独立于神经网络学[0052]部署经量化的神经网络21的神经网络推断装置20可被包括在例如自动驾驶车辆、[0055]神经网络2可以是深度神经网络(DNN)或者包括一个或多个隐藏层在内的n层神经8节点的权重、bf表示第i层中包括的第j个节点的偏置以及af表示第i层的第j个节点的激可以具有值然而，上述等式1仅是用于描述是通过允许通过对从前一层接收的激活的加权和应用激活函数所获得的值经过修正线性单元(ReLU)而获得的值。式参数30可以包括符号比特310、与指数部分320相对应的比特以及与尾数部分330相对应数点345可以指示作为用于区分定点格式参数35的整数部分325和小数部分335的参考的9式参数35表示的值也可以是负的。整数部分325的最高有效比特可以对应于确定定点格式[0077]神经网络装置100可以通过被包括在神经网络学习装置10和神经网络推断装置20本示例的神经网络装置100的组成元件。因此，对于本领域普通技术人员来说显而易见的可以由神经网络装置100中设置的中央处理单元(CPU)、图形处理单元(GPU)、应用处理器于在学习过程期间可能发生准确度损失，所以处理器110可以更新定点格式以对参数进行[0082]处理器110可以反复更新神经网络的参数，即使在驱动经学习的神经网络以获得[0083]处理器110可以在第t次学习或推断过程中更新参数，然后可以量化经更新的参的定点格式对参数进行量化，从而减少对在第t次学习或推断过程中更新的所有参数进行[0086]处理器110可以根据具有小数长度frac_lengtht-1的定点格式来量化在第t次学习器110可以基于在第t-1次学习或推断过程中更新的参数parametert-1来预先确定具有小数长度frac_lengtht-1的定点格式，并在第t次学习或推断过程中，根据具有小数长度frac_lengtht-1的定点格式对参数paramete[0087]处理器110可以基于参数parametert将已有小数长度frac_lengtht-1更新为小数程中更新的参数parametert+1的小数长度frac_le[0088]处理器110可以在第t+1次学习或推断过程中将参数parametert更新为参数parametert+1。此外，处理器110可以根据具有小数长度frac_lengtht的定点格式对参数张量是神经网络中的相同通道上的权重或输入/输出激活。此外，t可以是1或更大的自然次数大于预定值时，处理器110可以通过将定点格式中的小数部分的长度减少比特移位值理器110可以使用比特移位值中的最大比特移位值和最小比特移位值来更新定点格式。此[0092]然后，处理器110可以根据经更新的定点格式来量化在学习或推断过程中更新的值更新的定点格式来量化在第t+1次学习或推断过程[0093]因此，处理器110可以使用参数的上溢的发生次数和最大比特移位值来更新定点[0095]处理器110可以计算在第t次学习或推断过程中更新的参数parametert(1)至的每个参数相对于具有预定小数长度frac_lengtht-1的定点格式的比特范围的比特移位lengtht-1的定点格式的整数部分的最高有效比特与先前检测到的第i个参数parametert特，所以第六比特与第三比特之间的比特数的差是3，且因此处理器110可以将第i个参数[0100]处理器110可以根据具有小数长度frac_lengtht-1的定点格式来量化第i个参数parametert(i)以生成经量化的参数q_parametert(i)，从而在量化第i个参数parametert比特定点值，且经量化的参数q_parametert(i)被示出为具有比特宽度为8和小数长度为4[0103]处理器110可以从参数parametert(i)中的最高有效比特开始沿比特降低方向顺处理器110可以读取与具有小数长度frac_lengtht-1的定点格式的整数部分的最高有效比句话说，处理器110可以基于最大比特移位值和上溢的发生次数，将具有小数长度frac_lengtht-1的定点格式更新为具有小数且将小数长度从已有的小数长度frac_lengtht-1更新为新的小数长度frac_len[0109]类似于图9中所示出的逻辑运算，处理器110可以通过对总共N个参数进行逻辑运[0110]在操作s910中，处理器110可以确定参数中的第i个参数的比特移位值bit_shift个参数的比特移位值bit_shift(i)大于0时，处理器110可以将上溢的发生次数增加1更新的N个参数的每个比特移位值是否大于0，并且确定在第t次学习或推断过程中上溢的最大比特移位值max_bit_shiftt进移位值max_bit_shiftt时，处理器110可以将比特移位值bit_shift(i)更新为最大比特移shift(i+1)与经更新的最大比特移位值max_bit_shiftt进行比较来确定是否更新最大比移位值是具有小于或等于0的值的比特移位[0113]图10是示出了根据示例的用于处理器110更新定点格式的小数长度frac_处理器110可以通过图9所示出的逻辑运算1时，处理器110可以执行从小数长度frac_lengtht-1中减去最大比特移位值max_bit_frac_lengtht-1中减去最大比特移位值max_bit_shiftt的运算，以将小数长度从已有的小数长度frac_lengtht-1更新为新的小数长度fr量化在第t+1次学习或推断过程中更新的参数的定点格式的小数长度frac_len[0116]当上溢总数#ofoverflowt不大于NxTH时，处理器110可以不更新并维持小数长参数的小数长度frac_lengtht-1确定为用于量化在第t+1次学习或推断过程中更新的参数[0117]图11是示出了根据另一示例的用于处理器110更新定点格式的小数长度frac_外获得最小比特移位值min_bit_shi神经网络设备1230可以包括上述神经网络装置100或神经网络专用硬件加速器或包括其在[0124]处理器1210控制电子系统1200的所有操作。处理器1210可以包括一个处理器核(单核)或多个处理器核(多核)。处理器12如动态RAM(DRAM)或静态RAM(SRAM)等算的结果来生成信息信号。神经网络可以包括CNN、RNN、深度信念网络、受限玻尔兹曼[0130]传感器模块1250可以收集与其上安装有电子系统1200的电子设备的外围有关的[0131]传感器模块1250可以向神经网络设备1230提供经转换的数据作为输入数据。例[0134]图13所示的方法可以由图4的神经网络装置100或图12的电子系统1200的各元件装置100可以基于在第t_1次学习或推断过程中更新的参数来计算在第t次学习或推断过程中更新的每个参数相对于预定定点格式的比特范围的比特移位值。神经网络装置100可以计算参数的比特移位值以确定参数的上溢或每个参数计算在检测到的最高有效比特与定点格式的整数部分的最高有效比特之间的比[0137]在操作s1320中，神经网络装置100可以使用参数的比特移位值来更新定点格神经网络装置100可以将用于量化第t次学习或推断过程中的参数的已有定点格式更新为格式的小数长度减小比特移位值的最大比特移位值来更新的参数的比特移位值所更新的定点格式来量化在第t+1次学习或推断过程中更新的参第t次学习或推断过程中更新的参数时，神经网络装置可以根据预定的定点格式来量化参数，从而减少对在第t次学习或推断过程中更新的所有参数进行扫描的时间和用于确定定质也可以分布在联网的计算机系统上，使得按照分布式方式存储和执行计算机可读代码。可以在一个或多个微处理器或其他控制设备的控制下执行各种功能的各种集成电路组件，示出的连接线或连接器旨在表示各种元件之间的示例性功能关系和/或物理或逻辑耦合。[0144]应当理解的是：应仅以描述性意义而不是限制性目的来考虑本文中描述的实施不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合物的范围内的所