CN119476375A 用于深度神经网络的量化训练方法和系统 （中科南京人工智能创新研究院）

本发明公开了一种用于深度神经网络的量2S2、基于层敏感度矩阵和预存储的量化参数范围数据3S31、获取原始网络参数，根据初始量化配置表中的量化参数对原始网络参数进行量48.根据权利要求7所述的用于深度神经网络的量化训9.根据权利要求7所述的用于深度神经网络的量化训练5所述存储器存储有可被所述处理器执行的指令，所述指令用于被所现权利要求1~9任一项所述的用于深度神经网络6[0001]本发明属于深度学习领域，尤其是一种用于深度神经网络的量化训练方法和系[0002]随着深度神经网络在计算机视觉、自然语言处理和语音经网络量化通过将高精度浮点数转换为低位宽定点数，可以显著减少模型大小和计算开[0003]目前，神经网络量化主要包括训练后量化(Post_TrainingQuantization，PTQ)和量化感知训练(Quantization_AwareTraining，QAT)两类方法。PTQ方法直接对预训练题严重制约了神经网络量化技术在实际应用中的推广7[0025]如图1所示，本申请提出了一种用于深度神经网络的量化训练方法，包括如下步8化的敏感程度，得到层级敏感度指标(LSI)：LSI=α*ΔLoss/Δbit+β*grad_值范围。或者LSI=α*norm(ΔLoss/Δ要度分数(TIS)：TIS=Σ(impact_weight*downstream_sensitivity)，其中impact_9[0041]本实施例通过引入层级敏感度指标(LSI)、拓扑重要度(TIS)和综合敏感度分数了量化训练的精确性和可靠性，实验表明本实施例可以将量化敏感度评估的准确率提高量化对网络性能的影响，预测准确率提升40%；通过梯度稳定性分析和激活值分布特征提[0054]本实施例通过引入拓扑重要度分析机制，实现了网络结构对量化影响的精确建态量化阈值(DQT)：DQT=base_threshold*(1+sensitivity_factor)*layer_depth_factor，其中base_threshold为基础阈值，sensitivity_factor为敏感度因子，layer_开销。[0074]在本申请的一个实施例中，计算每层的量化误差向量(QEV)：QEV=original_[0077]本实施例通过提出多层次误差补偿机制，实现了量化误差的精确建模和有效补[0091]S41、获取初始量化配置表中的前向量化参数，对网络参数和中间激活值进行量[0094]在本申请的一个实施例中，应用前向量化函数Qf：Qf(x)=round(clamp(x/态变化，提升了量化训练的收敛性。实验结果表明，本实施例可以加快训练收敛速度30_值，gradient_norm为梯度范数，quantization_error为量化误差；计算当前资源利用率(RU)，评估剩余资源容量(RC)；基于PIM和RC，计算位宽调整因子(BAF)：BAF=min[0151]本实施例通过引入基于Hessian矩阵的误差传播建模机制，实现了网络中误差传播路径的精确分析。首先通过Hessian矩阵特征分析，准确捕捉了网络各层的局部几何特TbXXTbQwFaBwF四种量化函数，保证对各张量进行细粒度量化，在提升精度的同时保持量化友T)WWbXXbTTw用于梯度累积和权重更新活值自动更新统计值。考虑到在训练过程中，BatchNorm会统计激活全局均值(running_统计值与最终模型权重所产生的中间激活值存在一定差异。使用有偏差的BatchNorm统计67.00，低精度训练准确率为66.40，精度损失为_0.6；神经网络为ResNet_18，方法为度训练准确率为73.29，精度损失为_0.39；神经网络为ResNet_34，方法为Ours(Bi_