CN119474394A 基于异构图神经网络的实体关系联合抽取模型及构建方法 （昆明理工大学）

基于异构图神经网络的实体关系联合抽取于异构图神经网络的实体关系联合抽取模型及中预定义的关系类型信息作为先验知识引入到原始文本序列在字粒度上融合上下文语义信息通过联合建模能够更好地捕捉到实体和关系之通过联合建模这些关系还可以更好地还原实际2采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引入到所述将所述第二特征词向量输入到预设的BILSTM模型中进行编码操作将第三特征词向量转换为预设的表形式输出，并采用多头选择方法根据实体标注后的表形式输出以不同的实体类型作为不同类型的节为每一种关系类型设置对应的异构图卷积层，执行对应的异构图卷积操作，生成相应的边预测结果得到每个关系类型的三元组预测输定义的关系类型作为先验知识引入到所述第一动态将预定义的各个关系类型通过嵌入层映射为与查通过全连接层将第二特征词向量的双向编码表示进行特征融合形成第三将第三特征词向量的张量形状（批次batch_size，序列长度seq_len,，隐藏维度将得到的中间张量输出进行转置后并交换第一个维度和第二个维度的3将第一隐藏状态组合矩阵和第二隐藏状态组合矩阵在表示特征的最后一个维度上进通过全连接层将表形式输出的拼接后的隐藏状态组合映射到预设的标使用softmax激活函数将拼接后的隐藏状态组合映射为最终的标签概率，得到原始文本序采用多头注意力机制融合每一实体的实体位置信息和所述第三特构建异构图中各个实体节点的字典形式，字典的键执行对应的异构图卷积操作，生成相应的边预测结果得到每个关系类型的三元组预测输对于每个关系类型以异构图和异构图中的所有实体节点的初始特征向量作为输入数在异构图卷积训练中，通过在图上进行消息传递的过程，对每9.一种基于异构图神经网络的实体关系联合抽取模全局特征识别模块以及实体标注模块，关系分类单元包括异构图构建模块和关系分类模关系信息融合模块，用于采用条件注意力机制将原始文本序列全局特征识别模块，用于将所述第二特征词向量输入到预设的BILST实体标注模块，用于将第三特征词向量转换为预设的表法在表形式输出中对原始文本序列中的实体位置以及实体异构图构建模块，用于根据实体标注后的表形式输出以不同的4关系分类模块，用于为每一种关系类型设置对应的异构图卷积层，处理器执行时实现如权利要求1_8任一项所述方5从海量自然语言文本中挖掘实体和关系的命名实体识别（NamedEntityRecognition,述问题的基于异构图神经网络的实体关系联合抽取模采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引入到状态序列和反向隐藏状态序列，将所述正向隐藏状态序列和反向隐藏状态序列进行合并，6根据实体标注后的表形式输出以不同的实体类型作为不同类型的节点构建异构图，每一节点的初始特征向量包括实体位置信息和所述第三特征词向量的融合特征向量，将预定义的各个关系类型通过嵌入层映射为与查询向量维度相同的关系嵌入向计算融合关系类型信息的查询向量和键向量的点积，得到注意力分数矩阵采用自适应多头注意力机制线性变换计算每个头的注意力分数，并通过softmax通过全连接层将第二特征词向量的双向编码表示进行特征融合形成第三特征词将第三特征词向量的张量形状（批次batch_size，序列长度seq_len，隐藏维度7将第一隐藏状态组合矩阵和第二隐藏状态组合矩阵在表示特征的最后一个维度通过全连接层将表形式输出的拼接后的隐藏状态组合映射到预设的标签空间之[0013]可选地，所述在异构图卷积训练中对每种关系类型执行对于每个关系类型以异构图和异构图中的所有实体节点的初始特征向量作为输[0015]本发明的另一方面还提供了一种基于异构图神经网络的原始文本序列在字粒度上融合上下文语义信息的第择方法在表形式输出中对原始文本序列中的实体位置以及实体类型进8[0016]本发明的第三方面还提供了一种计算机可读存储介质，该计算机程序被处理器执行时实现上述基于异构图神经网络的实体关系联合抽取模型的[0017]本发明实施例提供的基于异构图神经网络的实体关系联通过采用自适应多头注意力机制将关系信息作为先验知识引入到原始文本序列在字粒度[0018]上述说明仅是本发明技术方案的概述，为了能够更清楚[0020]图1为本发明实施例提供的基于异构图神经网络的实体关系联合抽取模型的构建图2为本发明实施例提出的基于异构图神经网络的实体关系联合抽取模型的构建图3为本发明实施例提出的基于异构图神经网络的实体关系联合抽取模型的结构图4为本发明实施例提出的基于异构图神经网络的实体关系联合抽取模型的整体9体关系联合抽取模型的构建方法。图1示意性示出了本发明一个实施例的基于异构图神经神经网络的实体关系联合抽取模型的构建方法[0028]S12、采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引包括：通过全连接层将第二特征词向量的双向编码表示进行特征融合形成第三特征词向[0032]本实施例中，将融合了文本语义信息和关系类型信息的第二特征词向量输入到正向和反向的隐藏状态序列，正向和反向编码得到的隐藏状态序列会被合并在一起，从而从而更好地捕捉到序列中的长依赖关系，使得模型能够充分捕捉上下文信息。将输出的[0033]BiLSTM是一种基于RNN的模型，擅长捕捉序列数据中的依赖关系。本发明通过在输出中对原始文本序列中的实体位置以及实体类型进行{"text":"苏州XXX科技有限公司于2011年11月04日在苏州市XX区市场监督管理局登记成立",'\'"spo_list":[{"predicate":"成立日期","object_type":{"@value":"Date"},"subject_type":"机构","object":{"@value":"2011年11月04日"},"subject":"苏州XXX科技有限公司"}]}'态组合矩阵；将得到的中间张量输出进行转置后并交换第一个维度和第二个维度的位置，第二隐藏状态组合矩阵在表示特征的最后一个维度上进行拼接即可得到表的输出在第三个位置新加一个维度并扩展为seq_len大小，变成（batch_size，seq_l法即是在第四维度上进行cat函数按照指定的第四维度拼接到一起即在第四个维度拼接起始位置和结束位置的信息，得到(batch_size，seq_len，seq_len，hidden_size*2)[0038]具体的，步骤S14中的采用多头选择方法在表形式输出中对原始文本序列中的实态组合映射到预设的标签空间之中，并使用softmax激活函数将拼接后的隐藏状态组合映位置为2，所代表的实体类型为2通过预先定义的实体类型词典可知2所对应的实体类型为[0040]本实施例中，通过全连接层将表形式输出的隐藏状态映射到预设的标签空间之[0041]S15、根据实体标注后的表形式输出以不同的实体类型作为不同类型的节点构建[0047]本发明实施例提供的基于异构图神经网络的实体关系联通过采用多头注意力机制将关系类型信息作为先验知识引入到原始文本序列在字粒度上联合建模能够更好地捕捉到实体和关系之间的语境依赖性以及多个实体之间的关系交互，}本发明实施例提供的基于异构图神经网络的实体关系联合抽取模型的构建方法，[0052]在本发明实施例中，步骤S12中的采用条件注意力机制将原始文本序列中预定义的关系类型作为先验知识引入到所述第一动态特征词向量中包括如下附图中未示出的步values=inputs·w,keys=inputs·wkQueries=inputswq以通过多个头的共同作用来降低单头注意力可能带来的噪声和误差，增强模型的鲁棒性，energy=energy.masked_fill(mask==0,--)S124、对注意力分数矩阵应用softmax函数进行归一化得到注意力权重out=attention·values[0061]本发明通过条件自注意力机制能够有效地将关系类型信息融入到句子文本向量先验知识引入到文本第一动态特征词向量中从而在提取实体之前就会考虑到实体之间可[0063]在本发明实施例中，步骤S16中的在异构图卷积训练中对每种关系类型执行对应[0065]在创建异构图卷积层时，本发明为每一种关系类型都对并引入权重系数用于调整实体识别模块的损失和关系预测模块的损失以灵活地控制两个entity_loss是命名实体识别单元在实体识别过程的损失，用于衡量模型在实体识[0070]tripletsloss是关系分类单元在三元组预测过程的损失，用于衡量模型在实体关[0071]a和β分别是实体识别模块损失和实体关系三元组预测模块损输出logits转化为头实体开始的位置和结束的位置、尾实体开始的位置和结束的位置以及[0074]图3示意性示出了本发明实施例的基于异构图神经网络的实体关系联合抽取模型块202、全局特征识别模块203以及实体标注模块204，关系分类单元包括异构图构建模块关系信息融合模块202，用于采用条件注意力机制将原始文本序列中预定义的关全局特征识别模块203，用于将所述第二特征词向量输入到预设的BILSTM模型中选择方法在表形式输出中对原始文本序列中的实体位置以及实体类型进行实异构图构建模块205，用于根据实体标注后的表形式输出以不同的实体类型作为典的值为包含该实体类型下所有实体的初始特征该计算机程序被处理器执行时实现上述基于异构图神经网络的实体关系联合抽取模型的异构图神经网络的实体关系联合抽取模型的[0082]图4为本发明实施例提出的基于异构图神经网络的实体关系联合抽取模型的整体架构图，本发明实施例提供的基于异构图神经网络的实体关系联合抽取模型及