CN114722820B 基于门控机制和图注意力网络的中文实体关系抽取方法 （河海大学）

基于门控机制和图注意力网络的中文实体本发明公开了一种基于门控机制和图注意文BERT预训练模型将文本转换为机器可以识别2步骤1)使用中文BERT预训练模型将文本转换为步骤2)将实体嵌入拼接到每个词嵌入后面，采用一种全步骤4)从图注意力网络的输出中，获取两个实体和所述步骤2)中词嵌入的实体语义强化指的是对于BERT模型转换得到的词嵌入进行实2-1)将头实体和尾实体的嵌入表示拼接，2-2)将该融合后的实体嵌入与句子中每个词语2-4)计算第i个词语在经过实体嵌入增强后的词嵌入表示v",将该词语的候选词向"=g,oi,3采用掩码自注意力机制计算注意力转移权重，进而在图注意力网络中对文本进行特征提3-1)根据句子的依存句法树构造邻接矩阵根据依存句法树的提供的依赖类型和依赖方向信息，构造依赖类型矩阵T和依赖方向-1表示依赖边是反向的；3-2)图注意力网络采用了一种掩码自注意依赖边不同的权重；实体嵌入增强后的词向量序列为同时是图注意力网络3-3)结合本层的注意力权重矩阵和网络输入42.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法，其特征在于，所述步骤1)的使用中文BERT预训练模型将文本转换为机器可以识别的向量形3.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法，其特征在于，所述步骤4)中使用最大池化操作获得句子中两个实体的表征向量(h、h)和其中，是可学习的权重矩阵，改变关系特征向量的维度到分类空间中，4.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法，其并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-4中任一项所述的基于门控机制和图注意力网络的中6.一种计算机可读存储介质，其特征在于：该计算机可读5要求1-4中任一项所述的基于门控机制和图注意力网络的中文实体关系抽取方法的计算机6术(InformationExtraction,IE)就是服务于该问题而被提出的，其作为一项解放人力的这些信息以合理的结构保存在存储媒介中。命名实体识别(NamedEntityRecognition,7[0014]1-3)利用第一步的字向量序列{c1,c2,…}，将词序列初始化为词向量序列{v1,用于拼接实体嵌入的线性转换，beR"是一个偏置项，tanh为双曲正切函数，ve是融[0026]2-4)计算第i个词语在经过实体嵌入增强后的词嵌入表示v",将该词语的候选8大小为n×n，若结点i和结点j的依赖类型为nsubj，则T中元素ti,j的值为type_to_id_-1表示依赖边是反向的。依赖边不同的权重。实体嵌入增强后的词向量序列为同时是图注意力网络的初始输入符号n"表示第i个词语在l层的隐层向量。在一个L层的图注意自注意力计算得到的"=0,当ai,j＝1时，表示依赖类型ti,j所对应[0040]进一步的，所述步骤4)中使用最大池化操作获得句子中两个实体的表征向量9[0046]对实体关系抽取模型进行参数优化，可选地，采用随机梯度下降(Stochastic控机制和图注意力网络的中文实体关系抽取方法的[0052]1)所述的关系抽取方法采用大规模语料预训练的BERT模型完成文本到向量的转矩阵和依赖方向矩阵，使用依赖边的类型信息和方向信息计算更合理的注意力权重矩阵，形式的修改均落于本申请所附权利要求所限[0063]1-3)利用第一步的字向量序列{c1,c2,…}，将词序列初始化为词向量序列{v1,;e""[0075]2‑4)计算第i个词语在经过实体嵌入增强后的词嵌入表示v",将该词语的候选词[0079]根据依存句法树的提供的依赖类型和依赖方向信息，构造依赖类型矩阵T和依赖的依存句法分析结果为[[1,1,0,0,0],[1,1,1,0,0],[0,1,1,0,1],[0,0,0,1,1],[0,0,1,1,1]]，根据依赖方向矩阵的构造规则，构造出的依赖方向矩阵为[[1,12345678926,1,0,11],[0,0,0,1,14]予了依赖边不同的权重。实体嵌入增强后的词向量序列为同时是图注意力网络的初始输入符号n"表示第i个词语在l层的隐层向量。在一个L层[0094]使用最大池化操作获得句子中两个实体的表征向量和