CN119443164A 模型量化调节方法、装置、计算设备和存储介质 （华为技术有限公司）

本申请公开了一种模型量化调节方法、装于目标模型的特征和超参数构建的伪量化模型量化模型中的任一量化层基于第一学习率所能第一学习率进行自适应的缩放来实现自适应的数量的权重可以被更新，从而减小量化精度损2对所述伪量化模型进行多次迭代训练，得到训练后的伪量化模型，基于第二学习率确定所能更新的权重的数量，当基于所述第二学习根据所述第N学习率确定目标学习率，所述目标学习率为所述第一4.根据权利要求3所述的方法，其特征在于，所述根据所根据所述第N学习率与第N_1学习率确定所述目标学习率，所述第N_6.根据权利要求1至5中任一项所述的方法，其特根据所述目标模型的特征，对所述目标模型进行近似变换，所在每个所述量化层之前插入与所述超参数对应的伪量化算子，得到所述伪量化模型，述至少一项：3构建模块，用于根据目标模型的特征及超参数构建基于第二学习率确定所能更新的权重的数量，当基于所述第二学习根据所述第N学习率与第N_1学习率确定所述目标学习率，所述第N_插入单元，用于在每个所述量化层之前插入与所述超参数对应的伪量4代码，使得所述计算设备执行如权利要求1至权利要求7中任一项所述的模型量化调节方16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代5型量化可以将浮点模型转换为定点整数计算的模型，从而实现模型的量化压缩和推理加6量化层，该第一量化层训练用的数据为根据所述第一量化层对应的量化参数处理后的数[0018]其中，最优的学习率是指基于该目标学习率所能更新的权重的数量是第N学习率7对目标模型进行近似变换包括：对目标模型中访存密集型算子和计算密集型算子进行替一个功能模块用于执行如前述第一方面或第一方面中任一种可能的实现方式所提供的模面或第一方面中任一种可能的实现方式所提供的模使得该计算设备执行如前述第一方面或第一方面中任一种可能的实现方式所提供的模型一方面中任一种可能的实现方式所提供的模89[0057]图1是本申请实施例提供的一种模型量化调节方法的实施环境示意图。如图1所[0061]该嵌入式设备102是指应用于特定任务的计算机系统，相比一般的计算机处理系可以被嵌入到其他设备中，例如：智能机器人、自动驾驶车辆、虚拟现实终端(virtual超级文本标记语言(hypertextmarkuplanguage，HTML)、可扩展标记语言(extensible用诸如安全套接字层(securesocket1ayer，SSL)、传输层安全(transportlayerprotocolsecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例[0064]下面先对本申请实施例提供的一种伪量化模型的构建方法进行介绍。图3是本申对该目标模型中符合该预设的近似变换规则的子图或算子进件上计算效率较高的子图或算子，例如，在硬件为神经网络处理器(neuralnetworklinearunit，Gelu)替换为快速高斯误差线性单元(fastgaussianerrorlinearuni型中的激活层由Gelu替换为FastG[0071]需要说明的是，上述图4所示例的近似变换方式仅是示例性的，可以根据实际需中，先对卷积层的输入进行量化操作(quant)，再对卷积层的输出进行反量化操作意图，如图5所示，伪量化算子先将卷积层的权重(weight)和输入(input)从浮点型量化带着该误差进行模型的前向运算，从而使得模型在训练阶段适应推理阶段硬件的量化过可以是基于上述图3所示的实施例构建的伪量化模型，也即是在构建过程中进行了近似变[0083]下面以多个量化层中的第一量化层的第I次迭代训练为例，对上述训练过程进行为整型(float→int)，再将量化后的权重和输入从整型反量化(dequant)为浮点型(int→浮点型权重θ(I+1)量化至整型权重int(θ(I+1))；基于int(θ(I))和int(θ(I+1的学习率是指基于该目标学习率所能更新的权重的数量是第N学习率与第N_1学习率之间且，由于第N_1次放大是前N_1次放大中放大效果最强的，放大得到的第N学习率也是最大量化参数的数量和；当基于第一学习率所能更新的权重和量化参数的数量和小于预设值敛效果相比于常规训练更好，推理性能可加速1020从而实现精度无损的量化推理[0107]基于本申请实施例提供的一种模型量化调节方法训练得到的量化模型可以部署[0119]根据所述第N学习率与第N_1学习率确定所述目标学习率，所述第N_1学习率为所述第N学习率的上一个学习率，所述目标学习率为所述第N学习率与第N_1学习率之间最优述近似变换是指对所述目标模型中的子图或算子进同的AZ中，每个AZ包括一个数据中心或多个地理位置相近的数据中心。其中，通常一个[0132]同样，用于运行该代码的多个主机/虚拟机/容器可以分布在同一个虚拟私有云[0133]模块作为硬件功能单元的一种举例，构建模块1101可以如服务器等。或者，构建模块1101也可以是利用专用集成电路(application_specific现的设备等。其中，上述PLD可以是复杂程序逻辑器件(complexprogrammablelogical用集成电路(application_specificintegratedcircuit，ASIC)，可编程逻辑器件[0139]通信总线1202用于在上述组件之间传送信息。通信总线1202可以分为地址总线、可存储信息和指令的其它类型的动态存储设备，又如是电可擦可编程只读存储器或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，理器1201通信，可以以多种方式来显示信息。例如，输出设备可以是液晶显示器(liquid算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储[0154]该集成的单元如果以软件功能单元的形式实现并作为独[0161]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件