CN112949839B 用于量化浮点神经网络以获得定点神经网络的方法和设备 （高通股份有限公司）

feedforwarddeepnaWorkshoponSignal2021.06.11201680026295.72016.04.14用于量化浮点神经网络以获得定点神经网公开了用于量化浮点神经网络以获得定点浮点机器学习网络以获得定点机器学习网络的分地基于浮点机器学习网络的输入分布的该至少一个所选矩来确定用于量化该浮点机器学习网络的值的量化器参数以获得定点机器学习网2基于所述平均数将所述层的所述输入激活值移位一移位值，以针及将经移位的非线性函数应用于所述经移位的输入激活值以生成所述神经网络的所述基于所述方差和所述平均数中的至少一者来确定用于量化所层的权重值以及所述神经网络的所述层的偏置值中的至3.如权利要求2所述的方法，其中所述量化器参数包括最大动态编码范围、量化器步基于所述第二平均数将所述不同层的所述输入激活值移位第二移位值将应用于所述不同层的经移位的输入激活值的第二非线性函数的坐标移位与所述第将经移位的第二非线性函数应用于所述经移位的输入激活值以生成所述神经网络的基于所述平均数将所述层的所述输入激活值移位，以针对所述神使用经移位的对应偏置值来处理经移位的输入激活值，以生成基于所述方差和所述平均数中的至少一者来确定用于量化所层的权重值以及所述神经网络的所述层的所述偏置值中的至7.如权利要求6所述的方法，其中所述量化器参数包括最大动态编码范围、量化器步8.如权利要求6所述的方法，进一步包括使用所确定的量化器参数来量化至少所述层9.如权利要求6所述的方法，进一步包括使用所确定的量化器参数来量化至少所述层3基于所述第二平均数将所述不同层的所述输入激活值移位第二移位值基于所述平均数将所述层的所述输入激活值移位一移位值，以针及将经移位的非线性函数应用于所述经移位的输入激活值以生成所述神经网络的所述基于所述方差和所述平均数中的至少一者来确定用于量化所层的权重值以及所述神经网络的所述层的偏置值中的至基于所述第二平均数将所述不同层的所述输入激活值移位第二移位值将应用于所述不同层的经移位的输入激活值的第二非线性函数的坐标移位与所述第将经移位的第二非线性函数应用于所述经移位的输入激活值以生成所述神经网络的基于所述平均数将所述层的所述输入激活值移位，以针对所述神使用经移位的对应偏置值来处理经移位的输入激活值，以生成基于所述方差和所述平均数中的至少一者来确定用于量化所层的权重值以及所述神经网络的所述层的所述偏置值中的至418.如权利要求16所述的装置，所述处理器被进一步适配成使用所确定的量化器参数19.如权利要求16所述的装置，所述处理器被进一步适配成使用所确定的量化器参数基于所述第二平均数将所述不同层的所述输入激活值移位第二移位值21.一种其上记录有程序代码的非瞬态计算机可读介质，所述程序代码被适配成使计5[0001]本申请是申请日为2016年4月14日、申请号为201680026295.7(国际申请号PCT/[0003]本申请要求于2015年5月8日提交的题为“FIXEDPOINTNEURALNETWORKBASEDONFLOATINGPOINTNEURALNETWORKQUANTIZATION(基于浮点神经网络量化的定点神经学习如何通过特定类别的典型输入数据特征来标识这6[0011]一种使用量化器来量化浮点机器学习网络以获得定点机器学习网络的方法可以基于该浮点机器学习网络的输入分布的至少一个所选矩来确定用于量化该浮点机器学习网络的值的量化器参数以获得定点机器学习[0012]一种用于使用量化器来量化浮点机器学习网络以获得定点机器学习网络的设备量化该浮点机器学习网络的值的量化器参数以获得定点机器学习网络[0013]一种用于使用量化器来量化浮点机器学习网络以获得定点机器学习网络的装置化该浮点机器学习网络的值的量化器参数以获得定点机器学习[0014]一种其上记录有在由处理器执行时用于使用量化器来量化浮点机器学习网络以确定用于量化该浮点机器学习网络的值的量化器参数以获得定点机器学习网络的对应值本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附[0017]图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设[0024]图6B解说了根据本公开的各方面的用于示例性深度卷积网络的经修改的输入分7[0025]图7A和7B解说了根据本公开的各方面的通过将激活值的分布的平均值纳入到第二机器学习网络的网络偏置中来将第一机器学习网络转换[0026]图8解说了根据本公开的各方面的一种使用量化器来量化浮点机器学习网络以获[0027]图9解说了根据本公开的各方面的一种根据第一机器学习网络确定第二机器学习中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理[0031]尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之量化可以在指定最大池化的情况下不应用于池化层；和/或在指定经校正的线性单元[0035]图1解说了根据本公开的某些方面的通过使用片上系统(SOC)100量化浮点神经网络以获得定点神经网络而对计算复杂度的前述降低的示例实现，该SOC100可包括通用处8理单元(GPU)104相关联的存储器块中、与数字信号处理器(DSP)106相关联的存储器块中、关联的程序存储器加载或可从专用存储器块包括用于量化浮点神经网络以获得定点神经网络的代码。加载到通用处理器102的指令还部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组9[0043]参照图3A，神经网络的各层之间的连接可以是全连接的(302)或局部连接的域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输[0044]局部连接的神经网络可能非常适合于其中输入的空间位被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元，这整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为整个系统可达成的误差率已停止下降或直到误差率已集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维每个元素从先前层(例如，318)中一定范围的神经元以及从该多个通道中的每一个通道接[0053]深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩350可进一步包括逻辑回归(LR)层。深度卷积网络350的每一层之间是要被更新的权重(未述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或[0058]根据本公开的某些方面，每个局部处理单元202可被配置成基于模型的一个或多件和/或软件实现的复杂度。在一些情形中，网络(诸如深度卷积网络(DCN)或人工神经网[0061]定点数可被指定以用于以减小的准确度为代价来使用较不复杂的软件和/或硬件[0063]在一种配置中，Q数格式的扩展被指定成支持分辨率大于一或者最大范围小于一[0064]深度卷积网络(DCN)是可以根据本公开的各方面应用量化的人工神经网络的一个[0065]根据本公开的各方面，人工神经网络中的量化效率可以通过根据图4中所示的概(γ)分布的对称均匀量化器的步长可以在假定这些分布具有零均值和单位方差的情况下使[0072]在本公开的各方面，对权重和/或激活值计算的修改以使得各分布具有零均值是[0076]然而，图6B的经修改的输入分布650涉及附加位以表示具有零均值的经修改的输[0077]图7A和7B解说了一种通过将第一机器学习网络的激活值分布的平均数值纳入到第二机器学习网络的网络偏置中来将该第一机器学习网络转换成第二机器学习网络的方法。图7A解说了也具有平均数(μ)和方差(σ)的示例性深度卷积网络的激活值的输入分布[0078]图7B解说了具有方差(σ)和平均数(μ)的示例性深度卷积网络的激活值的经修改代为经修改的值":配置中，浮点到定点模型转换器可以通过测量每一层处的平均数激活μ(l)和[0094]在一些情形中，假定ANN中的权重对于每次观察都具有基本上为零的平均数。由其中n是可被指定成表示量化器输入的分数位数，而2-n可被指定为步长。除了[0107]图8解说了根据本公开的各方面的一种使用量化器来量化浮点机器学习网络以获针对该输入分布的每个矩(包括例如输入分布的平均数、方差或其他类似矩)重复框802和经网络)确定第二机器学习网络(例如，定点神经网络)的步长以降低第二机器学习网络的计算复杂度的方法900。向人工神经网络中的权重、偏置和激活值应用量化包括步长的确[0110]以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方上述的组合应当也被包括在计算机可读介质的计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一