CN119441390A 基于语义增强和知识蒸馏的关系抽取模型构建方法及系统 （山东师范大学）

基于语义增强和知识蒸馏的关系抽取模型本发明提出了基于语义增强和知识蒸馏的持续学习过程中因新关系学习而导致的旧关系2获取训练数据，对训练数据进行处理得到典型样本，基于典型样对训练数据和记忆集进行数据增强，分别得到扩展学生模型对混合后的数据进行特征提取，得到学生模型的教师模型对混合后的数据进行特征提取，得到每个教师模型输出特征表对学生模型和每个教师模型的隐藏表示分别进行关系分类，分别得2.如权利要求1所述的一种基于语义增强和知识蒸馏的关系抽取模型构建方法，其特3.如权利要求1所述的一种基于语义增强和知识蒸馏的关系抽取模型构建方法，其特对训练数据和记忆集均采用替换相似语义实体、词汇变体扩展及随机噪音来增加数4.如权利要求1所述的一种基于语义增强和知识蒸馏的关系抽取模型构建方法，其特基于学生模型的实体特征表示和教师模型的输出特征表示，分别构建5.如权利要求4所述的一种基于语义增强和知识蒸馏的关系抽取模型构建方法，其特6.如权利要求5所述的一种基于语义增强和知识蒸馏的关系抽取模型构建方法，其特37.如权利要求6所述的一种基于语义增强和知识蒸馏的关系抽取模型构建方法，其特L=λ1Lcls+λ2Lm_fdl+λ3Lhrdl+λ4Ltri+λ5Lpred；r,x数据增强模块，用于对训练数据和记忆集进行数据增强，分别得特征提取模块，用于学生模型对混合后的数据集进行关系分类模块，用于对学生模型和每个教师模型的隐藏表示分别进行关系分9.一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计4[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技[0003]在自然语言处理(NLP)领域，关系抽取(RelationExtraction,RE)是从文本中识5[0012]对训练数据和记忆集进行数据增强，分别得到扩展后的增强数据集和增强内存[0025]作为进一步的技术方案，基于学生模型的隐藏表示和每6[0032]L=λ1Lcls+λ2Lm_fdl+λ3Lh藏表示蒸馏损失，Lpred表示多教师预测蒸馏损失，Lcls表示学生模型关系分类损失，[0038]关系分类模块，用于对学生模型和每个教师模型的隐藏[0039]本发明第三个方面是提供一种计算7[0047]图1为本实施例一中的一种基于语义增强和知识蒸馏的关系抽取模型构建方法整[0049]图3为本实施例一中的一种基于语义增强和知识蒸馏的关系抽取模型构建方法流8yyyy应能力。关系原型则是通过对关系r的记忆内存Memr中L个典型样本的隐藏表示取平均得9yy[0095]实体“YouTube”与“Instagram”相似度极高，则可以将“YouTube”替换为[0097]同时将新生成的数据添加到原始训练数据和记忆集中，作为增强数据集和增强内存集,。[0103]词汇变体扩展是一种在NLP任务中被广泛应用的数据增强技术，利用同义词来替[0104]随机噪音是一种通过随机插入或删除文本中的某些词汇来增加训练数据变异性[0113]当面临新的关系抽取任务Tj时，将扩展后的增强数据集和增强[0121]在本实施例中，有两个教师模型，教师模型1采用BERT模型，教师模型2采用上进行预训练，RoBERTa模型与BERT模型有着相同的架构，但和BERT的静态掩码语言建模[0122]选用的BERT模型和RoBERTa模型各自经过不同的数据和任务训练，具有独特的特[0124]将混合后的增强数据集和增强内存集均同时输入到教师模型1和教师模征表示和教师模型特征表示之间的距离，使得学生模型能够尽可能接近教师模型的表现，[0130]x表示增强内存集中样本，i,表示为增强内存集，即当前任务的典型样[0133]其中，fxT1和fxS分别表示样本x的教师模型1的输出特征和[0134]当教师模型1的特征蒸馏损失Lcos1最小化时，学生模型的实体特征表示和教师模[0137]其中，fxT2和fxS分别表示样本x的教师模型2的输出特征和[0138]当教师模型2的特征蒸馏损失Lcos2最小化时，学生模型的实体特征表示和教师模表示n?",公式为：[0159]基于学生模型的隐藏表示hxS、教师模型2的隐藏表示",计算学生模型和教师模[0169]在特征嵌入学习中，我们希望模型能够将相似样本映射到特征空间中的邻近区那些与基准样本在同一关系原型下的样本，负样本(Negative)是与基准样本不相似的样强模型在区分不同关系类别上的能力，尤其是当某些关系类别在句子表面形式上很相似[0183]而三元组损失则可以通过在特征空间中的距离约束来解决很多句子在结构上相[0198]其中，PT1、PT2分别表示教师模型1和教师模型2的关系分布概率，weseRRj和类别之间的相对关系。[0202]对学生模型和教师模型在最后一层输出的原始分数logits进行softmax操作得到和分别表示学生模型和教师模型第i个类别的预测概率分布，T是温度参数用来调节softmax的平滑程度。[0217]对齐学生模型与两个教师模型的预测来构建多教师模型的预测蒸馏损失，公式模型对于第i个类别的预测概率，x表示增强内存集中样本，表示为增强内存[0227]首先给定一个初始温度tem[0251]"entity1":"谷歌",[0252]"entity2":"YouTube",[0255]通过本实施中关系抽取模型构建方法，不仅提高了关系变的关系抽取任务提供了更加稳健和高效的解决[0257]本实施例的目的是提供一种基于语义增强和知识蒸馏的[