CN119539067A 一种基于超网络的持续学习关系抽取方法 (厦门大学)_第1页
CN119539067A 一种基于超网络的持续学习关系抽取方法 (厦门大学)_第2页
CN119539067A 一种基于超网络的持续学习关系抽取方法 (厦门大学)_第3页
CN119539067A 一种基于超网络的持续学习关系抽取方法 (厦门大学)_第4页
CN119539067A 一种基于超网络的持续学习关系抽取方法 (厦门大学)_第5页
已阅读5页,还剩35页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

2成一个新的混合数据增强后的训练集,利用混合数据增强后的数据集训练新任务的投影means聚类方法对新任务的每类数据进行聚类,选择最接近每个聚类中心的样本作为典型2.如权利要求1所述一种基于超网络的持续学习关系抽取方法,其特征在于在步骤1)本x中头实体的起始和结束位置分别表示为E11/E12,给定的样本x中尾实体的位置表示为E21/E22;在对给定的样本X进行分词后,给定的样本X中头实体的起始位置E11和样本x中尾实体的起始位置E21的隐藏表示被用于计算当前给定的样本x的语义嵌入;h-w[inia]tb(1)h表示给定的样本X经过BERT之后的语义嵌入,和a分别表示对应于给定的样本x中头实体的起始位置E11和给定的样本x中尾实体的起始位置E21的隐藏3.如权利要求1所述一种基于超网络的持续学习关系抽取方法,其特征在于在步骤2)3(5)的样本x的关系表示,通过比较给定的样本x的关系表示与4.如权利要求1所述一种基于超网络的持续学习关系抽取方法,其特征在于在步骤3)得到第k个任务增强数据集D:',并使用网络生成器HNG与任务嵌入为任务创建生成第k个任务的投影头;使用编码器对训练集样本进行编码,生成嵌入表示并存储在嵌入库EB次关系表示中的第j个元素,表示依次遍历当前训练集批次关系表示和当前嵌入45.如权利要求1所述一种基于超网络的持续学习关系抽取方法,其特征在于在步骤4)6.如权利要求1所述一种基于超网络的持续学习关系抽取方法,其特征在于在步骤5)具体来说,对于任意一个关系r中的第il个样本和i2个样本,用关系r中的第il个样7.如权利要求1所述一种基于超网络的持续学习关系抽取方法,其特征在于在步骤6)5步骤6.3:相似度计算与分类:计算测试样本特征表示与每个关系类原型之间的相似是关系c对应的特定投影头;h是测试样本的嵌入表示;pro。是记忆库M中关系c所超网络投影头生成模块,用于为每个新任务生成特定投影头,将典型样本选择模块,用于从新任务数据中选取典型样本存储到记忆计算机程序,所述处理器执行所述计算机程序时实现权利要求1~7任一项所述一种基于超6的灾难性遗忘问题和模型鲁棒性提升问题的基于混合数据增强与超网络的一种基于超网[0005]如何让模型更好地适应新任务的数据分布,同时保持对相似关系的准确区分能7用网络生成器HNG为新任务创建一个特定的投影头,将原始数据和增强后的数据集进行混用Kmeans聚类方法对新任务的每类数据进行聚类,选择最接近每个聚类中心的样本作为尾实体的位置表示为E21/E22。在对给定的样本x进行分词后,给定的样本x中头实体当前给定的样本的语义嵌入;8应于给定的样本x中头实体的起始位置El1和给定的样本x中尾实体的起始位置E21的集得到第k个任务增强数据集D:',并使用网络生成器HNG与任务嵌入为任务创建生成EB中;从第k个任务增强数据集D:'中选择一批样本,并计算其表示,同时从嵌入库EB中9-库批次关系表示中的第j个元素,c表示依次遍历当前训练集批次关系表示和当一步训练后用批次中新生成的表示对其进行刷新。是关系c对应的特定投影头;h是测试样本的嵌入表示;pro。是记忆库M中关系c所序,所述处理器执行所述计算机程序时实现上述一种基于超网络的持续学习关系抽取方算机程序被处理器执行时实现上述一种基于超网络的持[0064]6、本发明在多个数据集上均取得优异的表现,证明本发明在实际应用中的有效头实体的起始和结束位置分别表示为E11lE12,给定的样本x中尾实体的位置表示为位置E11和样本x中尾实体的起始位置E21的隐藏表示被用于计算当前给定的样本x的语应于给定的样本x中头实体的起始位置E11和给定的样本x中尾实体的起始位置E21的[0086]为了进一步增强模型在区分相似关系方面的鲁棒性,引入一种混合数据增强方[0087]离散负向数据增强:通过合并来自两个不同关系的样本,构造多样化的负样本kl个样本,用关系r;中第个样本n的头实体和尾实体替换关系中第kl个样本a是关系r中第"l个样本的关系表示,是关系中第。系中第ml个样本和第m2个样本的关系表示,de[0,1]是从均匀分布u(0,1)中采样的混其存储在记忆库M中;多任务重放旨在复习记忆库M中的所有样本。模型首先学习新任通过最大化同类样本之间的相似性和最小化异类样本之间的相似性来原始数据集进行增强得到第k个任务增强数据集D:'。随后将四个第k个任务特定的嵌第k个任务增强数据集D:'中选出一部分数据得到关系表示,然后使用连续一负向数据增始数据集n进行增强得到第k个任务增强数据集D:'并生成第k个任务的投影头n;接存储到嵌入库EB中,这一过程不涉及梯度计算,且嵌入库EB会在训练完成后被移除;随本以及第IBl个样本的关系表示;对当前训练集批次关系表示Z和当前嵌入库批次关系表-表示负号,表示当前训练集批次关系表示z第i个元素,表示当前嵌入库批次关系表示中的第j个元素,是表示表示依次遍历当前训练集批次关系表示在每一步训练后用批次中新生成的表示对其进随后使用编码器与第k个任务的投影头获得第k个任务原始数据集D:的关系表示,接着对关系表示使用聚类方法K_means进行聚类,选出各个类别最靠近样本中心的样本存入记忆库M中。缓解因样本数量有限导致的过拟合问题,本实施例中使用混合数据增强策略生成正负样别进行对比学习。具体而言,首先使用离散正样本数据增强方法对记忆库中的数据进这里使用连续正向数据增强方法进一步增加连续语义空间中的正样本数量。在对所有任关系表示进行连续正向的数据增强并进行对特定投影头生成关系类原型。这些原型是每个关系类在特征空间中的一个代表性特征表小值对应的下标;c表示集合1,2,…,km中第c个元素;表表示集合中的第个元素;c=l,…,hm;m是每个任务包含的关表示关系c;是关系c对应的特定投影头;h是测试样本的嵌入表示;pro。是记忆库M中关系c所有关系表示的平均值。[0132]本发明实施例根据发明的技术方案解决新任务训练与旧任务遗忘之间的平衡问[0133]本发明通过引入基于超网络的网络生成器(HNG能够为每个新任务创建特定的

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论