CN114756517B 一种基于可微量化训练的视觉Transformer压缩方法及系统 （中科南京人工智能创新研究院）

麟人工智能产业园3号楼3楼一种基于可微量化训练的视觉Transformer本发明公开了一种基于可微量化训练的视觉Transformer压缩方法及系统，属于人工智能量化步长训练方法提高每次可微量化步长与图量化偏置训练方法自动学习得到最优的量化区2所述可微量化步长训练方法同时适用于图像特征量化和图通过反量化操作，计算得到与定点权重为q相对应的浮点w,D=a·q;2.根据权利要求1所述的一种基于可微量化训练的视觉T3.根据权利要求1所述的一种基于可微量化训练的视觉T4.根据权利要求1所述的一种基于可微量化训练的视觉Transf5.根据权利要求2所述的一种基于可微量化训练的视觉T36.根据权利要求2所述的一种基于可微量化训练的视觉Tr7.一种基于可微量化训练的视觉Transformer压缩系统，用于实现如权利要求1至6中处理层；所述可微量化步长训练模块被设置为提高每次可微量化步长与图像数据的匹配可微量化偏置训练模块，嵌入在激活层内；所述可微量化偏置8.根据权利要求7所述的一种基于可微量化训练的视觉Tr4[0001]本发明属于人工智能的技术领域，特别是涉及一种基于可微量化训练的视觉(NaturalLanguageProcessing)任务中都取得了非常成功的结果。而在计算机视觉个视觉任务中取得了接近甚至超越传统卷积神经网络(ConvolutionalNeuralNetwork)的探索合适的压缩技术，使得在大幅减少视觉Transformer模型大小和推理延迟的同时保持化后进行微调(finetune)分为后量化(Post-trainingQuantization)和量化训练都造成了较大的性能损失。而传统的量化训练方法由于没有充分考虑视觉Transformer的入了可微量化偏置训练方法，基于可微量化偏置训练方法自动学习得到最优的量化区间，5[0010]在进一步的实施例中，在执行可微量化步长训练方法和/或可微量化偏置训练方[0021]通过反量化操作，计算得到与定点权重为q相对应的浮点其[0026]在进一步的实施例中，基于最小化均方误差的量化参数初始化具体包括以下流6实施例中使用8比特量化(4倍压缩率)或是4比特量化(8倍压缩率)下都可达到与全精度视7[0058]通过反量化操作，计算得到与定点权重为q相对应的浮点w,=a·q.[0064]通过反量化操作，计算得到与定点权重为q相对应的浮点w,w=a·q+B,其[0065]上述步长量化训练方法和偏置量化训练方法在进行反量化操作时，由于round操作在反向传播时会遇到梯度消失的问题，因此使用STE(StraightThroughEstimator)来处g，g=,而丽其中Nw表示全精度的权重w的元素个数。步长量化训练方法相对于传统的固定步长的量化训练方法使得量化器的步长更加匹配数8[0078]基于上述方法，在DeiT-Tiny和DeiT-Small上进行测试，测试数据集为ImageNet示了不同模型在不同比特位下的压缩率和分类Top-1精度。其中FP32表示32位浮点数表示9的权重和特征都量化成定点数，自注意力层中所有的运算都使用用定点数矩阵乘法实现。