CN115062769B 基于知识蒸馏的模型训练方法、装置、设备及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中二模型中网络层之间的表征相似度作为第二模2获取满足目标条件的第一模型和不满足所述目标条件的第二将带有原始标签的第一训练样本输入至所述第一模型中，以所述利用所述第一训练样本与所述第二训练样本对所述第一知识蒸馏损失函数与所述第二知识蒸馏损失使用梯度下降算法对所述初始蒸馏损失函数进行参数更新使用相同的训练集对第一模型和更新后的第二模型进行训练，一模型的各个网络层输出的特征矩阵，计算所述第一模型中M个网络层分别与所述更新后根据所述目标相似度，构建相似度损失函数，并将所述相使用训练集对所述第二模型进行训练，直至所述目标损分别获取所述第一模型中M个网络层与所述更新后的第二模型中N个网络层中每个网计算所述第一模型中M个网络层的特征矩阵分别与所述更新后的第二模型中N个网络从所述第一模型中每个网络层对应的表征相似度序列中通过预设选取从所述第一模型中每个网络层对应的表征相似度序列中获取表征相似度3根据所述训练集中的正负样本，构建样本对；所述样本对至少包获取模型模块，用于获取满足目标条件的第一模型和不满足所述目标条件的第二模更新模块，用于将带有原始标签的第一训练样本输入至所述第一模利用所述第一训练样本与所述第二训练样本对所述第一知识蒸馏损失函数与所述第二知识蒸馏损失使用梯度下降算法对所述初始蒸馏损失函数进行参数更新如权利要求1至5任一项所述的基于知识蒸馏8.一种计算机可读存储介质，所述计算机可读存储介质4练时间和减少资源占据，使用知识蒸馏方法对大型深度学习网络进行压缩得到了广泛运[0005]获取满足目标条件的第一模型和不满足目标条件的第二模型，第一模型包括M个[0007]计算第一模型中M个网络层分别与更新后的第二模型中N[0013]目标相似度确定模块，用于计算第一模型中M个网络层分别与更新后的第二模型5计算机程序时实现如第一方面所述的基于知识蒸型中M个网络层分别与更新后的第二模型中N个网络层的表征相似度，通过预设选取条件，[0021]图1是本发明一实施例提供的一种基于知识蒸馏的模型训练方法的一应用环境示6的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限[0035]本发明一实施例提供的一种基于知识蒸馏的模型训练方法，可应用在如图1的应的服务器或者是多个服务器组成的服务器集[0036]参见图2，是本发明一实施例提供的一种基于知识蒸馏的模型训练方法的流程示7习卷积神经网络模型，通过使用训练集对第一模型进行训练得到满足目标条件的第一模8为soft-target，由于第一模型的参数多，得到的表征信息比较多，而真实的标签Hard-target所含的表征信息很少，例如，在二分类任务中，假设第一模型的softmax输出为9型的网络层较为成功地学习拟合了第一模型对应的网络层。第一模型中M个网络层分别与间的相似性，线性CKA算法能够确定基于不同随机初始化和不同宽度训练的神经网络的隐[0063]分别获取第一模型中M个网络层与更新后的第二模型中N个网络层中每个网络层[0064]计算所述第一模型中M个网络层的特征矩阵分别与所述更新后的第二模型中N个网络层的特征矩阵的表征相似度，得到所述第一模型中每个网络层对应的表征相似度序更新后的第二模型中N个网络层的表征相似度，得到第一模型中每个网络层对应的表征相第二模型的第4层输出的特征矩阵和第一模型的第12层输出的特征矩阵之间的相似度，计[0068]可选地，从第一模型中每个网络层对应的表征相似度序度损失函数为第二模型知识蒸馏后学到的网络层输出特征与第一模型中对应网络层输出第二模型中每层网络层中的表征相似度的值取值范围为(0,1)，当表征相似度的大小越接本的数量对训练的帮助收益甚微，所以每个样本对中可以选择一个正样本和一个负样本。型中M个网络层分别与更新后的第二模型中N个网络层的表征相似度，通过预设选取条件，[0090]目标相似度确定模块33，用于计算第一模型中M个网络层分别与更新后的第二模[0094]第二训练样本获取单元，用于将带有原始标签的第一训练样本输入至第一模型[0104]计算所述第一模型中M个网络层的特征矩阵分别与所述更新后的第二模型中N个网络层的特征矩阵的表征相似度，得到所述第一模型中每个网络层对应的表征相似度序[0116]所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegrated介质可以是计算机