CN114386604B 基于多教师模型的模型蒸馏方法、装置、设备及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中2获取训练样本数据和所述训练样本数据对应的硬标签根据所述硬标签、所述多个第一软标签和所述第二软标签，对所根据所述硬标签、所述第一软标签和所述第三软标签更新教师模基于所述更新后的教师模型选择策略重新确定对应的教师模型，所述根据所述硬标签、所述多个第一软标签和所述第二软标签，对所根据所述多个第一软标签和所述第二软标签确定根据所述第一偏差值和所述第二偏差值确定第三偏差值，并根据所所述根据所述硬标签、所述第一软标签和所述第三软标根据多个所述第一软标签和所述第四偏差值生成每个所述教师模型对应的状态向量基于所述更新策略对所述教师模型选择策略进行更新，根据所述第一偏差值和所述第二偏差值以及对应的权重比例确定基于阈值函数，根据每个所述教师模型对应的状态向量参数计算根据所述各个教师模型的分值对所述教师模型选择策略中的教师模型进行3基于所述反馈策略和所述更新策略对所述教师模型选择策略进根据所述重新确定的教师模型对所述第一学生模型进行知第一标签生成模块，用于获取训练样本数据和所述训练样第二标签生成模块，用于通过所述第二学生模型对所述训练样本数策略更新模块，用于根据所述硬标签、所述第一软标签和所述第三模型确定模块，用于基于所述更新后的教师模型选择策略重新确定对应的教师模型，所述根据所述硬标签、所述多个第一软标签和所述第二软标签，对所根据所述多个第一软标签和所述第二软标签确定根据所述第一偏差值和所述第二偏差值确定第三偏差值，并根据所所述根据所述硬标签、所述第一软标签和所述第三软标根据多个所述第一软标签和所述第四偏差值生成每个所述教师模型对应的状态向量基于所述更新策略对所述教师模型选择策略进行更新，48.一种计算机可读存储介质，其特征在于，5[0002]现有的模型参数量巨大，这对于技术人员在精调和线上部署上带来了巨大的挑个学生模型的框架进行的，将单个复杂的教师模型学习到的知识蒸馏到简单的学生模型一的复杂教师模型对学生模型准确率的提升[0012]第一标签生成模块，用于获取训练样本数据和所述训练6[0014]第二标签生成模块，用于通过所述第二学生模型对所述并在执行所述的计算机程序时实现本申请实施例提供的任一项所述的基于多教师模型的施例提供的任一项所述的基于多教师模型的[0023]图3是本申请一实施例提供的一种基于多教师模型的模型蒸馏装置的示意性框7[0031]其中，所述终端设备可以包括诸如手机、平板电脑、个人数字助理(Personal8[0041]具体地，对所述训练样本数据进行识别是通过建立了一个以softmax为损失函数9[0048]在一些实施例中，根据所述多个第一软标签和所述第二软标第二偏差值调整得到的综合损失值。由此可以通过多个教师模型对学生模型进行知识蒸k个教师模型预测的样本xi属于第c类的s)为第一学生模型预测的样本xjj为0或者1的常[0075]具体地，利用sigmoid函数将每个所述教师模型对应的状态向量参数映射得到对[0091]确定所述第三偏差值是否满足收敛条件具体可以通过确定所述第三偏差值是否[0096]第一标签生成模块201，用于获取训练样本数据和所述训练样本数据对应的硬标[0097]模型生成模块202，用于根据所述硬标签、所述多个第一软标签和所述第二软标[0098]第二标签生成模块203，用于通过所述第二学生模型对所述训练样本数据进行识[0099]策略更新模块204，用于根据所述第一软标签和所述第三软标签更新教师模型选[0100]模型确定模块205，用于基于所述更新后的教师模型选择策略重新确定对应的教[0106]非易失性存储介质可存储操作系统和计算机程序。该计用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列师模型的分值对所述教师模型选择策略中的教师模型进行筛选，得到筛选后的教师模型；得到所述第二学生模型的准确率；根据所述第二学生模型的准确率确定对应的反馈策略；