CN116188902B 一种视觉骨干模型的令牌混合器剪枝方法 （上海人工智能创新中心）

本发明公开一种视觉骨干模型的令牌混合过程中，将教师模型学到的知识蒸馏到学生模2构建教师模型，该教师模型包含令牌混合器，并且构建学生模型，该学生模型包含与教师模型对应的层将所述仿射变换模块学到的相关参数通过重参数化过程融入到学生模型的层归一化3的Batch数量索引，通道数索引，高度索引和宽度索引，vi和pi是重参数化之后的变量，层的缩放参数和位移参数，yi和是第i个通道重参数化之前的变量，si和ti是对应第i行时实现根据权利要求1至5中任一项所述的方7.一种计算机设备，包括存储器和处理器4一个允许不同空间位置(tokens)进行交流的令牌混合器(TokenMixer)和一个允许相同位取得性能与计算复杂度最佳权衡的模型。知识蒸馏技术是指借助更加复杂的教师模型意力(Window_basedSelf_attention)和简单的池化操作(Pool)，这些新的令牌混合模块[0005]1)基于模型架构搜索的方法得到的ViT模型虽然可以实现较好的精度与计算复杂[0006]2)目前基于高效令牌混合器设计的方法的目的是设计计算复杂度较小的令牌混模型训练的灵活性不高，这是因为目标学生模型的架构无法完成训练和推理过程的解耦，而且学生模型中也具有计算复杂度较高的令牌混合器，在实际业务中部署时有较高的延5[0015]将所述仿射变换模块学到的相关参数通过重参数化过程融入到学生模型的层归6[0030]图2是现有技术中的模型架构，其中左图是通用视觉骨干模型的一般架构Eia,Lout,Lrel的定[0042]这种知识蒸馏损失函数的设计希望利用简单的仿射变换操作模仿复杂的令牌混特征蒸馏方法可以有效改变TokenMixer_Free类架构的特征分布，使之更接近于有TokenMixer的模型。而且，训练出的学生模型能够使TokenMixer_Free类架构的有效感受野更7射变换的参数利用重参数化过程融合到前置的层归M(2)8模型作为学生模型，通过在合适的位置进行特征知识蒸馏和关系型的知识蒸馏策略将TokenMixer相关知识教给学生模型，希望学生模型简单Affine操作的功能与教师模型实施例进行适当的改变或变型。本发明核心点是将令牌混合器剪枝之后如何保证模型精[0064]为了进一步验证本发明的效果，进行了实验。具体地，在大规模图像分类任务4160.184899.602140.202530.489[0073]2)本发明的特征蒸馏方法的目的是让简单的仿射变换操作模仿复杂的令牌混合[0074]3)本发明剪枝之后的不带令牌混合器的模型使用带有令牌混合器模型的预训练[0077]6)在多种视觉任务上评估了基于知识蒸馏得到的IdenFormer，包括图像分类[0080]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形[0081]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中