CN111428852A 用于神经网络量化的方法和装置 （三星电子株式会社）

始权重与通过每个周期的学习来确定的经更新2对具有第一比特精度的第一神经网络执行多个周期的前馈和反针对所述第一神经网络中的每一层，获得初始权重基于经分析的统计量，从各层中确定要以低于所述第其中，对要量化的一个或多个层的确定包括：从经序的各层中的具有最小的经分析的统计量的大小的层确定为要所述第一神经网络具有所述第一比特精度的定点参数经量化的第二神经网络包括具有所述第二比特精度的定点参数的所确定的一个或多其中，经量化的第二神经网络包括具有所述第二比特10.一种存储指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时使所针对所述第一神经网络中的每一层，获得初始权重3基于经分析的统计量，从各层中确定要以低于所述第将经排序的各层中的具有相对小的经分析的统计量的大小的层确定为要量化的一个所述第一神经网络具有所述第一比特精度的定点参数经量化的第二神经网络包括具有所述第二比特精度的定点参数的所确定的一个或多经量化的第二神经网络包括具有所述第二比特精度的定点参数的所确定的一个或多在训练之后获得所述第一神经网络的所述各层的权重与所述各层的相应的经更新的4基于所述统计量，从所述各层中确定要以低于所述第通过以所述第二比特精度量化所述至少一个基于每一层的权重在训练的各周期中的每个周期之前和每个周期之后的差来获得在5[0002]本申请要求于2019年1月9日在韩国知识产权局提交的韩国专利申请No.10-2019-[0003]本公开涉及用于将神经网络的一些被选择层的精度调整到较低比特的方法和装[0004]神经网络指的是在经过大量训练之后可以在输入模式与输出模式之间提供计算[0005]提供了本发明内容以简化形式来介绍对下面在具体实施方式中进一步描述的理[0011]对要量化的一个或多个层的确定可以包括：按照经分析的统6比特精度的定点参数的所确定的一个或多个层以及具有第四比特[0023]处理器可以被配置为：响应于第一神经网络具有第一比特精度二比特精度的定点参数的所确定的一个或多个层以及具有第四比特精度7[0031]图4示出了经学习的神经网络由神经网络量化装置进行量化并由硬件加速器进行[0042]图13是示出了将包括浮点参数的层在内的神经网络量化成包括定点参数的层在[0043]图14是示出了将包括浮点参数的层在内的神经网络量化成包括定点参数的层在[0045]图16是示出了以较低比特精度来量化的层的数量与准确度损失之间的相关关系[0046]图17是示出了使用权重差统计量作为用于确定要以较低比特来量化的层的标准[0050]提供以下具体实施方式以帮助读者获得对本文中描述的方法、装置和/或系统的8在本文中阐述的那些操作顺序，而是如在理解本申请的公开之后明显的那样可以进行改[0051]本文描述的特征可以以不同形式来体现，并且不被解释为受限于本文描述的示9[0059]在卷积层中，在第一特征图FM1与权重图WM之间执行卷积运算以生成第二特征图图WM的深度(即权重图WM的通道数)等于第一特征图FM1的深度与第二特征图FM2的深度的该位置是第一特征图FM1的区域中的与权重图WM重叠的对应位置。将所有乘法的乘积相加[0066]每个通道的输入可以被称为输入激活，而每个通道的输出可以被称为输出表示第i层中包括的第j个通道的输出激活时，可以根据下面的等式1来计算输出激示例可以用于交通工具的导航设备中的道路引导信息，例如增强现实平视显示器(AR3D量化装置10可以是作为用于驱动神经网络的专用模块的硬件加速器，例如神经处理单元包括在参考图3～图4以及图18所描述的装置中的至少一个中或包括参考图3～图4以及图器120可以存储已经在神经网络量化装置10中处理的数据和要在神经网络量化装置10中处性RAM(MRAM)、电阻RAM(RRAM)、以及铁电RAM(FeRAM)。易失性存储器的示例包括动态RAM动器(HDD)、固态驱动器(SSD)、高密度闪存(CF)卡、安全数字(SD)卡、微型安全数字[0076]处理器110通过对初始神经网络进行重复训练来生成经训练的神经网络。为了确的神经网络量化之后通过使用经量化的神经网络来执行神对神经网络中包括的任何层进行量化可以意味着对入式设备)的处理性能来执行经训练的神经网络的浮点参数到具有特定比特数的定点参数[0079]在示例中，处理器110获取存储器120中存储的经预训练的浮点神经网络的数[0080]参考附图来详细描述了由处理器110执行的将神经网络的每一层量化到定点类[0081]存储器120存储已经由处理器110处理或要由处理器110处理的神经网络相关的数由处理器110执行的神经网络的训练算法和量化[0082]图4示出了经学习的神经网络由神经网络量化装置进行量化并由硬件加速器进行理器(图3的110)(其可以是GPU)使浮点神经网络410(例如，32比特浮点神经网络)进行学理单元(TPU)或神经引擎，它们是用于驱动神经网络的专用设备，但是硬件加速器不限于[0084]在示例中，用于驱动经量化的神经网络420的硬件加速器可以在独立于神经网络浮点值510由32个比特表示，包括1比特的符号部分、8比特的指数部分和23比特的小数部过对1比特的符号部分、m比特的指数部分以及n比特的小数部分求和而获得的定点值(1+m+数部分。每一层分配的权重可以与表示每一层中包括的一个或多个[0095]在示例中，图3的处理器110对神经网络710重复地执行前馈学习和反向传播学习当神经网络710是具有32比特精度浮点的模型时，经学习的神经网络与具有32比特精度浮[0098]图8A是示出了用于描述通过神经网络的反向传播学习来更新的权重的示例的参考图8A，示出了与每一层的初始权重有关的表810和与通过反向传播学习来更新的每一[0101]根据表820，作为周期1处的反向传播学习的结果，层1的经更新的权重被确定为[0103]权重差Wdiff表示学习之前的神经网络的每一层的初始权重与每一层的在每个周[0108]每一层的权重差的统计量可以用于确定和选择要在神经网络量化中以较低比特的每一层的权重差的统计量)的大小按照大小的顺序对各层进行排序。排序方法可以是升[0113]图10是示出了用于描述从经排序的层中选择要以较低比特精度进行量化的层的110可以量化包括具有最小的经分析的统计量的大小的层(层确度损失是否等于或小于阈值。当准确度损失等于或小于阈值时，处理器110执行操作[0125]在操作1106中，处理器110通过以较低比特精度量化所确定的层来生成经量化的的层的实施例。图3的处理器110通过使用二分搜索算法来确定与包括不以A比特精度来量化的层在内的神经网络相比，包括经排序的各层中的以A比特(较低比特)精度来量化的一[0131]在操作1203中，处理器110将所有经排序的层中的具有较低统计量的一定数目的的统计量的大小的升序将经排序的各层中的一定数目的层确定为要以较低比特精度来量至图8C中描述的均方)来选择要以较低比特精度来量化的层的方法。然而，本公开不限于[0135]图13是示出了用于描述将包括浮点参数的层在内的神经网络1301量化成包括定[0138]当确定用于量化神经网络1301的所有层的比特精度时，处理器110执行以所确定络1302包括具有A比特精度的定点参数的层1315和具有B比特精度的定点参数的其他层[0139]图14是示出了用于描述将包括浮点参数的层在内的神经网络1401量化成包括定[0141]图3的处理器110通过以8比特精度来量化的神经网络1402的前馈和后向传播学习[0143]在图13和图14中描述的神经网络的比特精度值(例如，32比特或8比特)仅是示例[0145]参考图15，经量化的神经网络1501可以包括具有4比特精度(较低比特精度)的层[0147]图16是示出了以较低比特精度来量化的层的数量与准确度损失之间的相关关系[0150]图17是示出了使用权重差统计量与使用其他方法作为用于确定要以较低比特精重差的均方的情况1703作为用于确定要以较低比特精度来量化的层的标准之间的比较结括上述神经网络专用的硬件加速器或包括神经网络专用据其中安装有电子设备1800的电子设备的类型或功能来接收其他类型的输入数据并根据[0166]传感器模块1850收集与其中安装有电子设备1800的电子设备的周围环境有关的经训练的神经网络量化为定点神经网络，并且向电子设备1800提供经量化的神经网络数[0170]输入/输出模块1870是包括一个或多个硬件组件在内的物理结构，该硬件组件提可以在不脱离所描述的说明性示例的精神和范围的情况下使用有效连接到电子设备1800多个块以及块的组合可以由执行指定功能的基于硬件的专用计算机(例如处理器)或由专[0172]在操作1901中，处理器110对具有第一比特精度的第一神经网络重复地执行多个[0173]在操作1902中，处理器110获得第一神经网络中的每一层的初始权重与经更新的[0175]在操作1904，处理器110基于经分析的统计量来确定要以第二比特精度来量化的的硬件组件可以执行指令或软件，诸如操作系统(OS)和在OS上运行的一个或多个软件应者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制一个或多个其它硬件组件可以由一个或多个其它处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任何一种或多种，该处理配置的示例包括或者处理器和控制器可以执行单个操作或者两[0179]用于控制处理器或计算机如上所述地实现硬件组件并执行方法的指令或软件被[0181]尽管本公开包括特定示例，但是在理解了本申请的公开内容之后将显而易见的