CN114818902B 基于知识蒸馏的文本分类方法及系统 （浪潮云信息技术股份公司）

本发明公开了基于知识蒸馏的文本分类方复杂模型的精度优势得到精度相当的轻量级模针对具体分类任务的有监督训练语料对教师语言模型通过fine-tuning进行分类任务训练，获2使用针对具体分类任务的有监督训练语料对教师语言模型通过fine-tuning进行分类根据具体分类任务和训练好的教师语言模型构根据教师语言模型及学生模型的中间层输出和最终输出，构造损失其中，学生模型是基于经过分类任务训练得到的训练好的教师语言模型并选择每隔2s根据教师语言模型和学生模型的最终输出构造，pi和sm根据教师语言模型和学生模型的中间输出即transformer层输出构造，trs为3无监督语料是从任意的文章、著作、互联网博客或新闻进行搜集获取对于BERT具有特定tokenizer方式的教师语言模型，使用对应的tokeni根据需要选择中间的tansformer层对BERT的输4训练模块二，用于使用针对具体分类任务的有监督训练语料对教师语言模型通过其中，学生模型是基于经过分类任务训练得到的训练好的教师语言模型并选择每隔2s根据教师语言模型和学生模型的最终输出构造，pi和sm根据教师语言模型和学生模型的中间输出即transformer层输出构造，trs为5所述至少一个处理器执行所述存储器存储的计算机程序，使得所述行如权利要求1至5任一项所述的基于知识蒸馏的文8.一种计算机可读存储介质，其特征在于，所6[0003]自从BERT横空问世，使用预训练语言模型在下游任务通过fine-tuning已经成为[0004]把复杂模型或者多个模型Ensemble(Teacher)学到的知识迁移到另一个轻量级模[0009]使用针对具体分类任务的有监督训练语料对教师语言模型(模型T)通过fine-[0013]作为优选，教师语言模型(模型T)设定为语言模型，在训练时直接使用无监督语7[0027]将编码后的信息通过输出层输出，输出层包括对nextsentence的预测和token层transformer抽取一层transform8[0053](3)、针对对应学生模型与教师语言模型transformer层之间的MSE损失，公式如[0056](4)、针对对应学生模型与教师语言模型transformer层之间的COS损失，公式如[0066]训练模块二，用于使用针对具体分类任务的有监督训练语料(数据2)对教师语言[0067]构造模块，用于根据具体分类任务和训练好的教师语言模型(模型T)构造学生模9计算机程序可被处理器执行以实现如上述的基于[0087]参照说明书附图和具体实施例对本发明的基于知识蒸馏的文本分类方法及系统[0096]本实施例中的教师语言模型(模型T)设定为语言模型，在训练时直接使用无监督[0101]S103、对于BERT具有特定tokenizer方式的教师语言模型(模型T)，使用对应的[0102]如附图1所示，本实施例步骤S2中的教师语言模型(模型T)采用BERT语言模型，BERT语言模型包括输入层、编码层和输出层；输入层用于词嵌入；编码层包括多层[0110]S203、将编码后的信息通过输出层输出，输出层包括对nextsentence的预测和[0136](3)、针对对应学生模型与教师语言模型transformer层之间的MSE损失，公式如[0139](4)、针对对应学生模型与教师语言模型transformer层之间的COS损失，公式如[0150]训练模块二，用于使用针对具体分类任务的有监督训练语料(数据2)对教师语言[0151]构造模块，用于根据具体分类任务和训练好的教师语言模型(模型T)构造学生模[0159]存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部