CN113255877B 神经网络模型的量化处理方法、装置、设备及存储介质 （阿里巴巴集团控股有限公司）

本申请实施例提供一种神经网络模型的量频次确定用于对第一神经网络层进行量化训练2获取神经网络模型中的第一神经网络层所需的计算数据根据所述计算数据所属的数值范围，确定用于将所述计算数据根据所述计算数据及所述量化映射关系，预测量化后的第一神经根据所述算术溢出的频次和所述计算数据，确定用于对所述第一其中，根据所述算术溢出的频次和所述计算数据，确定用于执行所述确定用于将所述计算数据转换为设定位数定点数的量化映射关系以及根据所述2.根据权利要求1所述的方法，其特征在于，根据所述计算数据以及所述量化映射关根据所述量化映射关系，将所述计算数据映射为所述设定位数根据所述量化后的计算数据，推理量化后的第一神经网络根据所述中间计算结果、所述输出数据以及设定的数据存储范围根据量化后的模型参数和量化后的输入数据，按照第一神经网络层4.根据权利要求2或3所述的方法，其特征在于，所述设定的若所述算术溢出的频次小于或者等于设定溢出频次阈值，3按照第一缩放倍数，对所述第一神经网络层的模型参数所属的数值范围进行放大处按照第二缩放倍数对所述第一神经网络层的输入数据所属的数值范围进行放大7.根据权利要求6所述的方法，其特征在于，算数据存在所属的数值范围且所述计算数据所属的数值范围可述确定用于将所述计算数据转换为设定位数定点数的量化映射关系以及根据所述量化映计算子模块，用于根据所述量化后的计算数据，推理所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-7任一项所4被执行时能够实现本申请实施例提供的神经网络模型的5[0018]图6为本申请一示例性实施例提供的神经网络模型的数据量化装置的结构示意模型包含多种模型参数，一般的模型参数及其运算过程采用浮点数(float数据类型)进行6[0027]图1为本申请一示例性实施例提供的神经网络模型的量化处理方法的流程示意[0036]图2a为本申请另一示例性实施例提供的神经网络模型的量化处理方法的流程示[0041]步骤205、若该算术溢出的频次大于设定溢出频次阈值，则对该计算数据进行调7[0050]接着，可根据计算数据所属的数值范围以及设定位数的整型数据所属的数值范8以是8bit的整型数据对应的数值范围，输出数据对应的存储范围可以是16bit的整形数据对应的数值范围。在又一些场景下，中间计算结果和输出数据对应的存储范围均可以是2…wn的取值均为127。[0066]若将中间计算结果存储为10bit整型数据，那么，若中间计算结果xn*wn超出了9据的算术溢出的频次和/或溢出量确定。当算术溢出的频次较多时，可设置较大的缩放倍范围均远小于设定的数据存储范围，则可对第一神经网络层对应的模型参数和/或输入数[0088]需要说明的是，上述实施例所提供方法的各步骤的执行CNN)模型、深度神经网络(DeepNeuralNetwork，DNN)模型、图卷积神经网络(Graph应用于上述一种或多种神经网络变形得到的其他神经[0095]图6为本申请一示例性实施例提供的神经网络模型的量化述第一神经网络层进行量化训练的目标计算数据，以对所述第一神经网络层进行量化训定的缩放倍数对所述计算数据所属的数值范[0106]进一步可选地，调整子模块623在按照设定的缩放倍数对所述计算数据所属的数[0109]图7示意了对神经网络模型中的卷积层进行量化时的典型操作环节，如图7所节，溢出预测模块62可根据输入数据的上限值、下限值，将float类型的输入数据量化为至算术溢出的频次N小于或者等于设定的溢出设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指[0114]其中，存储器801可以由任何类型的易失性或非易失性存储设备或者它们的组合缩放倍数对所述计算数据所属的数值范围进[0122]进一步可选地，处理器802在按照设定的缩放倍数对所述计算数据所属的数值范[0125]其中，通信组件803被配置为便于通信组件所在设备和其他设备之间有线或无线仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压算机程序被执行时能够实现上述方法实施例中可由电子现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0132]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一