CN114819140B 模型剪枝方法、装置和计算机设备 （支付宝(杭州)信息技术有限公司）

A,2021.06.11A,2020.09.15A,2022.02.11A,2020.03.102根据剪枝参数，确定掩码信息；所述掩码信息用于指示目标模型将样本输入至增添了掩码信息后的目标模型，得到目标模型的所述价值信息包括多个子价值信息，所述掩码信息包括多个子掩3.根据权利要求1所述的方法，所述掩码信息包括第一掩码信息和/或第二掩码信息，6.根据权利要求1所述的方法，所述将样本输入至增添了掩码信息后的目标模型，包将样本输入至增添了掩码信息和外挂输出模块后的目标模根据第一输出和第二输出，优化参数信息；所述参数信息包括3所述掩码信息用于指示目标模型中剪枝对象的有效状态，所述目标模型包括图像分类模所述价值信息包括多个子价值信息，所述掩码信息包括多个子掩存储有程序指令的存储器，其中，所述程序指令被配置为适45数可以在目标模型的学习过程中自适应调整。这样根据掩码信息对剪枝对象进行剪枝处资源的占用。[0037]下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清6一化层(BN，BatchNormalize)。所述批归一化层具有缩放系数γ(一种可学习的模型参的剪枝参数，有可能会与模型的实际情况不匹配，从而影响了剪枝效果(例如剪枝精度较7[0047]每个编码模块可以包括归一化层(Norm)、多头自注意力层(Multi-Head的数据序列；可以将数据序列输入至向量转换层，得到图像块的向量表示(Patch[0050]本说明书实施例提供一种模型剪枝方法。所述模型剪枝方法可以应用于剪枝设8子价值信息大于或等于比较基准，则可以为相应的子掩码信息赋予第二预设值(例如数值较基准进行比较，可以根据比较结果为与该第一子价值信息相对应的第一子掩码信息赋9从而可以指示与第一子掩码信息相对应的子权重每个第一子价值信息可以对应掩码矩阵中的一息表示取值为0的第一子掩码信息，白色的第一子掩码信息表示取值为1的第一子掩码信价值信息按照从小到大的顺序进行排列，可以选择第r×H个第二子价值信息作为比较基从而可以指示与第二子掩码信息相对应的自注意价值信息可以包括H个第二子价值信息。每个第二子价值信息可以对应一个第二子掩码信自注意力头有效。如图5所示。灰色的第二子价值信息表示小于比较基准的第二子价值信[0069]步骤S13：将样本输入至增添了掩码信息后的目标模型，得到目标模型的第一输的输出可以表示为Wproj表示多头自注意力层中第一线hαh表示第h个自注意力头的裁剪比例，具体可以根据第一剪枝率计算得到。例如，所述第二剪枝率可以根据公式信息的梯度。表示第一价值信息中第j个第一子价值信息的梯度。可以根据公式计算第二价值信息的梯度。表示第二价值信息中第h个第二子价类器可以与除最后一个编码模块以为的其它P-1个编码模块相连接。每个外挂分类器可以[0095]具体地，所述性能指标可以包括准确率(Accuracy)、召回率(Recall)、精确率作为目标外挂输出模块；可以以目标外挂输出模块所连接的单元模块作为目标单元模块；数可以在目标模型的学习过程中自适应调整。这样根据掩码信息对剪枝对象进行剪枝处类模块，例如外挂分类器(Plugged-inClassifier)。所述外挂分类模块可以用于分类预器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(ApplicationSpecificIntegrated于随机存取存储器(RandomAccessMemory,RAM)、只读存储器(Read-OnlyMemory,ROM)、间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogicDevice,PLD)(例如现场可编程门阵列(FieldProgrammableGate而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(AdvancedBooleanExpressionLanguage)、AHDL(AlteraHardwareDescription(JavaHardwareDescriptionLanguage)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardwareDescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-Speed该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬可以位于包括存储设备在内的本地和远程计算