CN114444694B 一种开放世界知识图谱补全方法及装置 （何开辉）

具体涉及一种开放世界知识图谱补全方法及装通过Transformer获取连接结果的向量表示；将编码问题向量与连接结果的向量表示的融合结果与Transformer获取的候选向量表示分别输入模型进行补全，本发明使用注意力机制与Transformer网络框架，充分利用实体的文本描2S2.使用Word2Vec模块对头部实体描述和候选尾部实体描述进行词嵌入，得到头实体S4.将头实体向量与关系感知进行连接，采用Transformer提取连接结果的全局特征，S6.采用Transformer提取候选尾实体向量的全局特征，得到候选向量表示并输入CNNS8.采用交叉熵损失函数计算分数的损失值，使用Adam优化算法训练知识图谱补全模3接结果采用Transformer提取全局特征之后Transformer模块，用于提取头实体向量与关系感知连接结果的全局特征得到连接结CNN网络，用于对融合模块的融合结果和Transformer模块的候4尾部实体做比较生成排序列表；但是该模型没有充分利用实体文本描述中丰富的特征信[0007]S1.获取三元组数据，5[0008]S2.使用Word2Vec模块对头部实体描实体向量和候选尾实体向量，将头部实体名称与关系名称的文本连接视作问题，使用Word2Vec模块对问题进行词嵌入得到问[0014]S8.采用交叉熵损失函数计算分数的损失值，[0025]进一步的，步骤S5中编码后的问题向量与连接结果的向量表示的融合结果表示6[0032]L=-1ylogy;[0038]Transformer模块，用于提取头实体向量与关系感知连接结果的全局特征得到连[0044]本发明主要使用Transformer网络框架与CNN网络，其中Transformer能够很好的7[0049]一种基于注意力机制与Transformer的开放世界知识图谱补全方法，如图1、2所[0051]S2.使用Word2Vec模块对头部实体描实体向量和候选尾实体向量，将头部实体名称与关系名称的文本连接视作问题，使用Word2Vec模块对问题进行词嵌入得到问[0057]S8.采用交叉熵损失函数计算分数的损失值，[0059]Freebase15K数据集在知识图谱补全中被广泛使用，但是FB15K充满了使用两个新的数据集DBPedia50k和DBPedia500k，用于开放世界的知识图谱补全；DBpedia50k数据集包含49900个实体，实体的平均描述长度为454个单词，654个关系。8的每个单词的表示并不同等重要，对于关系和头部实体描述这段文本中的每个单词来说，[0074]其中注意力分数QXV捕获了给定的输入单词x和文本Y中每个单词yi之间的相似量w"h对应的关系感知表示公式为：[0076]将未经过注意力操作的头实体向量w"h与经过注意力操作得到的关系感知表示[0078]然后将候选尾实体向量也输入到Transformer编码器中得到TZ相较于LSTM更容易进行训练，能够很大程度上提高训练效率。将问题向量使用9[0080]为了融合头实体向量Tun与问题向量Ta,…使用门控机制进行融合得到目标实体[0083]卷积神经网络能够解决深层次结构的过拟合问题，同时CNN网络也常常用于知识[0084]使用CNN网络作为目标实体融合结构，将目标实体嵌入Rs与TZ分别输入到CNN网；[0109]Transformer模块，用于提取头实体向量与关系感知连接结果的全局特征得到连