CN119494381A 模型压缩方法及装置 （Oppo广东移动通信有限公司）

再将待压缩模型的知识通过知识蒸馏传递给剪后的模型同时具有剪枝的灵活性和知识蒸馏的2基于所述待压缩模型对所述剪枝模型进行知识蒸馏，得到所述剪枝基于所述第一预测结果和所述第一预测结果计算基于所述目标损失迭代训练所述剪枝模型至满足预设停止条件，获取所述微调模型中至少一个第一网络层对应的至少获取所述剪枝模型中至少一个第二网络层对应的至少基于至少一个所述第一网络参数与至少一个所述第二网络参数计算各个所述第一网基于各个所述第一网络层的第一网络参数、各个所述第二网络个所述第一网络层和各个所述第二网络层之间的迁移指标确定网络基于所述网络层蒸馏损失和所述预测蒸馏损失若所述剪枝模型不满足预设停止条件，则更新所述剪枝模型的模3知识蒸馏模块，用于基于所述待压缩模型对所述剪枝模型10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指被处理器执行时实现权利要求1至7任一项所述的模型压缩方4或指令被处理器执行时实现本申请所提供的5[0023]图6是本申请实施例提供的模型压缩方法的一个实施例中以微调模型为教师神经[0024]图7是本申请实施例提供的模型压缩方法的一个实施例中基于预测蒸馏损失确定[0025]图8是本申请实施例提供的模型压缩方法的一个实施例中微调模型和剪枝模型的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，6配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘样适用。[0043]请参照图2，图2是本申请实施例提供的模型压缩方法的一个实施例的流程示意7双向编码器表示)模型或者BART(BidirectionalandAuto_RegressiveTransformers)模它能同时利用前面的词和后面的词两部分信息。BART模型使用标准的基于Transformer的编码器与单向的自回归Transformer解码器，通过对含有噪声的输入文本去噪重构进行预[0050]其中，剪枝单元的剪枝方式可以为头部剪枝(HeadPruning)、权重剪枝(Weight程度的模型加速则可以牺牲部分模型性能选择加速效果更明显的层剪枝以[0052]头部剪枝(HeadPruning)是以注意力头为裁剪单元的剪枝方法。这种方法剪枝Transformer模型中的一些注意力头(attentionhead)。每个注意力头都有一个独立的参[0053]权重剪枝(WeightPruning)根据权重的大小对Transformer模型进行全局剪枝。8行裁剪同时也会导致下一线性层的相同偏移的列[0055]层剪枝(LayerPruning)以整层的权重作为裁剪单元的剪枝方法，通过对重矩阵进行裁剪。它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机[0061]类比人类的学习过程，在知识蒸馏中称要进行压缩的模型为教师神经网络9[0064]模型微调(fine_tune)通过使用在大数据上得到的预训练好的模型来初始化自己[0079]其中，预设停止条件可以为迭代次数达到预设次数或者目标损失小于预设损失[0087]其中，第二网络层的数量少于第一网络层的数量。如图8所示，微调模型包括Embeddings层和4个第一网络层，第一网络层包括FFN模块和MHA模块；剪枝模型包括[0089]403、基于至少一个第一网络参数与至少一个第二网络参数计算各个第一网络层层和第二网络层之间的相似度越小。差异度可以为EMD(地球移动距离，EarthMover's式堆积一定数量的山堆，那么EMD就是把一堆变成另一堆所需要移动单位小块最小的距离个第一网络层和各个第二网络层之间的迁移指标确定网络[0096](1)基于各个第一网络层的第一网络参数、各个第二网络层的第二网络参数计算层的第二网络参数计算各个第一网络层和各个第二网络层之间的单层层间蒸馏损失。其[0098](2)基于各个第一网络层和各个第二网络层之间的迁移指标确定各个第一网络层[0100](3)基于各个第一网络层和各个第二网络层之间的迁移权重对各个单层层间蒸馏接受的知识能力不同，本申请通过使用EMD距离对教师神经网络不同层迁移到学生神经网[0105]参阅图9，图9是本申请实施例提供的模型压缩方法的另一个实施例的流程示意双向编码器表示)模型或者BART(BidirectionalandAuto_RegressiveTransformers)模[0115]其中，剪枝单元的剪枝方式可以为头部剪枝(HeadPruning)、权重剪枝(Weight程度的模型加速则可以牺牲部分模型性能选择加速效果更明显的层剪枝以[0127]510、基于多个第一网络参数与多个第二网络参数计算各个第一网络层和各个第个第一网络层和各个第二网络层之间的迁移指标确定网络[0131](1)基于各个第一网络层的第一网络参数、各个第二网络层的第二网络参数计算层的第二网络参数计算各个第一网络层和各个第二网络层之间的单层层间蒸馏损失。其[0133](2)基于各个第一网络层和各个第二网络层之间的迁移指标确定各个第一网络层[0135](3)基于各个第一网络层和各个第二网络层之间的迁移权重对各个单层层间蒸馏[0142]若目标损失低于预设损失值，则将迭代训练得到的剪枝模型确定为目标压缩模[0148]模型剪枝模块702，用于基于预设剪枝策略对待压缩模型进行剪枝，得到剪枝模[0153]该电子设备可以包括一个或者一个以上处理核心的处理器101、一个或一个以上[0154]处理器101是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的[0155]存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器10