CN114417839B 基于全局指针网络的实体关系联合抽取方法 （北京工业大学）

基于全局指针网络的实体关系联合抽取方法本发明公开了基于全局指针网络的实体关件层归一化融合头实体信息以指导模型捕捉三子潜在语义关系以过滤掉部分预测错误的三元组。本发明在公开数据集CMeIE上的实验结果表明本发明构建的模型能有效地识别句子中的关2步骤1：对输入句子进行特征提取；使用NEZHA预步骤2：识别出句子中所有的头实体；将步骤1得到的编的[CLS]向量作为句向量，对其关系分类以识别出句子中潜在语义关系并以此过滤掉抽取全局指针网络将长度为n的输入句子视为n(n+1)/2个长度不同的连续子序列，表示形分数大于阈值的子序列都被视为当前头实体在第α种关系下的尾实体；全局指针网络标注流程如下所示：3分别表示句子中第i位置的字为头实体首和尾的模型将根据概率与阈值的大小关系决定每个字的二元标签；对于句4引入了条件层归一化方法CLN，将层归一化结构中对应的偏置和权重设置为关于待融∈是一个趋于0的正数，γ和β是无条件的训练参数，使用CLN方法对头实体特征和步骤1输出的编码向量进行特征融合，并将CLN方法中的和步骤2抽取出的实体起始与结束位置对应的编码向量hstart和hepf'=o(wxhcis+b)(13)5了融合跨度距离的多序列标注方法实现三元组的抽取；Wei等人设计了级联二进制指针标6输出的融合向量在每一种预定义关系下，将句子划分为若干个连续子序列并对子序列打识别出句子中潜在语义关系并以此过滤掉抽[0013]1.本发明设计了全局指针网络，作为解码器对输入语句进行关系和尾实体的抽7[0025]NEZHA基于BERT预训练语言模型开发，额外使用了函数式相对位置编码、全词掩明训练了两个二元指针标注器，通过为每个字分配二元标签(0/1)分别标注出头实体的首8了条件层归一化方法CLN(ConditionalLayerNormalization)，将层归一化结构中对应的将cγ和cβ映射到不同的向量空间中学习待融合条件的方向信息。[0042]如图1所示，本发明使用CLN方法对头实体特征和步骤1输出的编码向量进行特征步骤1和步骤2抽取出的实体起始与结束位置对应的编码向量hstart和h在m个关系子空间下对子序列进行判别，这意味着本文将关系和尾实体抽取任务转换为m个ka有分数大于阈值的子序列都被视为当前头实体在第α种关系下的尾实体。全局指针网络标9得实体子序列的分数都大于s0，非实体子序列都小于s0，最终输出所有大于阈值s0的子序[0066]本发明使用了Adam算法训练模型，并采用了指数滑动平均(ExponentialMoving意三元组的头实体或者尾实体与其它三元组的头尾实体没有重叠。EPO类型表示句子中的[0078]本发明抽取的三元组只有当头尾实体边界同时正确以及相应的关系类别正确时[0082]其中，TP代表抽取的实体关系三元组正确个数，TP+FP则为抽取出的三元组总个[0087]3.MultiHeadSelection用Bert预训练语[0089]5.CasRel使用BERT作为共享编码层,一种级联二进[0095](3)对比BiaffineAttention与CasRel结果可以发现，将关系视为头实体映射到验结果如表4所示。从实验结果中我们可以发现本发明在五种复杂程度的句子上的抽取性[0097]为了进一步探究重叠类型不同的模型抽取性能，本发明将CMeIE的验证集划