【《知识图谱补全方法概述》2400字】

知识图谱补全方法概述目录TOC\o"1-3"\h\u7113知识图谱补全方法概述 1113011.1知识表示方法 1231431.2神经网络模型 4虽然现在知识图谱涉及的领域广，但是其离完整准确还差一大段距离，还是需要不断的补充和完善，因此知识图谱补全的重要性就显而易见。知识图谱补全的重要思想即根据已知的两个元素，推测三元组中的另一个元素，也叫作链路预测，链路预测是知识图谱补全的重要手段。设计好链接预测的模型之后，就可以对知识图谱进行补充完善，应用于商品推荐，知识问答等领域。1.1知识表示方法基于向量的知识表示方法就是将获取到的实体和关系学习成向量的形式，然后将实体和关系向量进行组合，再通过定义度量函数来判断组合的可能性，这样就完成了关系的预测和推理。基于向量的知识表示方法的主流模型是翻译模型，因此本文主要讨论翻译模型。该模型中，三元组尾实体被认为是头实体经过关系转换得到的。经典的翻译的模型有TransE，TransH，TransR，TransD等。（1）TransE模型TransE模型是Bordes等人提出的，该模型是受到了word2vec模型中词向量经过平移但是一如既往现象的引导。其主要思想是：在知识图谱的三元组（h，r，t）中，将实体及关系表现成向量h，r，t，并且向量h，r，t满足h+r≈t。如图2.3所示。图2.2TransE模型翻译示例图在TransE中，定义了h+r与t之间的间距用d（h+r,t）也就是距离函数表示，同时采用最大间距法优化目标函数，目标函数如下： 公式2-（1）在公式2-（1），S代表知识库中用于训练的三元组集合，S'是改变三元组中的头实体而其它两部分不变或者改变尾实体其它两部分不变得到的，是负样本集合。γ是一个正负集合之间的间隔参数，其范围大于0，[x]+表示正值函数，当x>=0时，保留该值。算法模型简单易懂，刷新模型梯度只需要计算d（h+r,t）,d(h'+r,t')，模型构建中希望L的值越小越好，也就是h+r与t的距离越小越好，h'+r与t'的距离则越大越好。（2）TransH模型TransE在一对一关系上的链接预测表现优异，但是在处理复杂关系上则有心无力。因为在TransE中希望任意的三元组（h，r，t）都能实现h+r≈t，那在实际中遇到一个实体和关系对应多种实体的情况，例如（美国，总统，特朗普）（美国，总统，拜登），两个不同的实体特朗普和拜登就对应了相同的向量。为了解决上述问题，2014年wang[[]ZhenW,ZhangJ,FengJ,etal.KnowledgeGraphEmbeddingbyTranslatingonHyperplanes.AAAIPress,2014.[]ZhenW,ZhangJ,FengJ,etal.KnowledgeGraphEmbeddingbyTranslatingonHyperplanes.AAAIPress,2014.图2.3TransH模型翻译示例图在TransH中，定义超平面空间，将实体嵌入表示到超平面空间中，因此头实体h，尾实体t在关系r下的向量表达为[[][]陈晓军,向阳.STransH:一种改进的基于翻译模型的知识表示模型[J].计算机科学，2019,46（09）：184-189. 公式2-（2）距离函数表示为： 公式2-（3）目标函数为： 公式2-（4）（3）TransR模型TransR模型是由清华大学的林衍凯等人提出的，其认为同一实体在不同关系下具有不同的属性，进而在TransH的基础上进一步细化，为每个关系都假定相应的语义空间。在翻译过程中，对于知识图谱三元组中的每个实体，在训练时将实体对应到到实体空间后，再映射到关系对应的语义空间。如图2.5所示。图2.4TransR模型翻译示例图如图所示，圆形代表实体，三角形代表其相仿实体。三元组中的实体先映射到实体相应的空间，再映射到关系r对应的向量空间，在这个过程中，原来在实体空间与实体相仿的实体就被区分了，这就是细化关系空间带来的结果。由于实体和关系分别建立在不同的语义空间，因此实体向量和关系向量的空间维度可能不同，假设实体向量的空间维度为k，关系向量的空间维度为d，Mr为对应关系关系矩阵，则hr=h*Mr，tr=t*Mr。距离函数表示为： 公式2-（5）代价函数为： 公式2-（6）1.2神经网络模型（1）循环神经网络循环神经网络（RecurrentNeuralNetwork，RNN）的特点在于其可以处理序列数据，也就是说它可以有效的挖掘数据中的语义信息和时序信息，目前广泛的应用于图像处理还有自然语言处理领域。在一些场景中，想要理解一长句话的意思光靠独立的单词是不够的的，需要考虑单词前后的输入，也就是所有词组成的句子序列；处理短视频是同样如此，要考虑所有帧组成的序列，单独考虑某个帧是没有意义的。比如在一个句子的词性标注任务中：“我想吃苹果”，让神经网络对其进行标注，可以明显看出“吃”对于“苹果”词性的标注有较大的影响，因为动词接名词是一种常见的表达方式。由于有很多这样处理序列数据的任务，因此循环神经网络应运而生。它的优势在于：可以处理长序列问题，直接将句子作为输入；参数共享，可以提高学习的效率，减少参数学习的数量。RNN的简易内在结构图如图4.1所示，它由一个输入层，隐藏层，输出层三层构成：图2.5循环神经网络结构由图可以看出最终的结果由现时的X和前一步隐含层输出值共同决定。图2.5RNN结构图还可以按时间展开为图2.6：图2.6循环神经网络展开图RNN中惯用的激活函数很多，譬如：Sigmoid函数，公式如2-（7）所示： 公式2-（7）Sigmoid函数数值范围为（0，1），图像如图2.7所示：图2.7Sigmoid函数图像Sigmoid函数优缺点：优点是取值范围在（0，1），递增函数，易于优化，求导容易；缺点是收敛较慢，反向传播过程中可能发生梯度消失。还有一种激活函数是tanh函数，公式如2-（8）所示： 公式2-（8）tanh函数图像如图2.8所示：图2.8tanh函数图像tanh函数优缺点：优点收敛速度比Sigmoid函数有较大提升，缺点依然存在梯度消失的可能。再有一种激活函数是Relu函数，公式如2-（9）所示： 公式2-（9）Relu函数图像如图2.9所示：图2.9Relu函数图像Relu函数优缺点：优点收敛速度最快，行之有效搞定了梯度消失的麻烦，缺点训练过程中容易出现神经元梯度为0的情况。（2）注意力机制首先介绍现在大多注意力机制模型都依附的一个框架Encoder-Decoder[[]ChoK,MerrienboerBV,BahdanauD,etal.OnthePropertiesofNeuralMachineTranslation:Encoder-DecoderApproaches[J].ComputerScience,2014.[]ChoK,MerrienboerBV,BahdanauD,etal.OnthePropertiesofNeuralMachineTranslation:Encoder-DecoderApproaches[J].ComputerScience,2014.图2.10Encoder-Decoder框架如图2.10所示，Encoder-Decoder框架可以看做是一种语言转换模型，它可以将输入的句子Input转换成对应的句子Output，其中Input和output可能是同种语言，也可能是不同语言。Input和output是由单词序列组成的，如公式2-（10）所示。 公式2-（10）Encoder-Decoder框架顾名思义就是解码和编码，它首先通过Encoder将Input语义编码，用C来表示，然后Decoder通过语义编码C和之间解码完成的句