【知识图谱补全方法概述2400字】

知识图谱补全方法概述 1 41.1知识表示方法转换得到的。经典的翻译的模型有TransE,TransH,TransR,TransD等。(1)TransE模型TransE模型是Bordes等人提出的，该模型是受到了word2vec模型中词向量t)中，将实体及关系表现成向量h,r,t,并且向量h,r,t满足h+r≈t。如图在TransE中，定义了h+r与t之间的间距用d(h+r,t)也就是距离函数表示，公式2-(1)在公式2-(1),S代表知识库中用于训练的三元组集合，S'是改变三元组中合。γ是一个正负集合之间的间隔参数，其范围大于0,[x]+表示正值函数，当x>=0时，保留该值。算法模型简单易懂，刷新模型梯度只需要计算d (h+r,t),d(h'+r,t'),模型构建中希望L的值越小越好，也就是h+r与t的距离越(2)TransH模型无力。因为在TransE中希望任意的三元组(h,r,t)都能实现h+r≈t,那在实际中遇到一个实体和关系对应多种实体的情况，例如(美国，总统，特朗普)(美国，总统，拜登),两个不同的实体特朗普和拜登就对应了相同的向量。为了解决上述问题，2014年wangi等人在TransE的基础上提出了相应的解决办法：将图2.4所示。在TransH中，定义超平面空间，将实体嵌入表示到超平面空间中，因此头实体h,尾实体t在关系r下的向量表达为i]:h=h-w,hw,,t₁=t-w,tw,公式2-(2)f,(h,t)=||(h-w,hw,)+d,-(t-w,tw,)²公式2-(3)公式2-(4)TransR模型是由清华大学的林衍凯等人提出的，其认为同一实体在不同关系下具有不同的属性，进而在TransH的基础上进一步细化，为每个关系都假定将实体对应到到实体空间后，再映射到关系对应的语义空间。如图2.5所示。到实体相应的空间，再映射到关系r对应的向量空间，在这个过程中，原来在实不同，假设实体向量的空间维度为k,关系向量的空间维度为d,Mr为对应关系公式2-(5)公式2-(6)1.2神经网络模型(1)循环神经网络循环神经网络(RecurrentNeuralNetwork,RNN)的特点在于其可以处理序SWSWXX由图可以看出最终的结果由现时的X和前一步隐含层输出值共同决定。RNN中惯用的激活函数很多，譬如：Sigmoid函数，公式如2-(7)所示：公式2-(7)Sigmoid函数数值范围为(0,1),图像如图2.7所示：Sigmoid函数优缺点：优点是取值范围在(0,1),递增函数，易于优化，求导容还有一种激活函数是tanh函数，公式如2-(8)所示：62Relu函数优缺点：优点收敛速度最快，行之有效搞定了梯度消失的麻烦，缺点训练过程中容易出现神经元梯度为0的情况。(2)注意力机制首先介绍现在大多注意力机制模型都依附的一个框架Encoder-Decoderii框y3y3如图2.10所示，Encoder-Decoder框架可以看做是一种语言转换模型，它可以将输入的句子Input转换成对应的句子Output,其中Input和output可能是同公式2-(10)语义编码，用C来表示，然后Decoder通过语义编码C和之间解码完成的句子序列{y1,y2,…,yt-1}共同得到yt,也就是t时刻的输出序列。从框架编码解码的过程可以看出，中间语义编码C的作用至关重要，主要体现在两个方面：一是对Decoder模型进行初始化；二就是作为中间向量，参与每一时刻y的输出。计算C=f(x1,x2,…xn)公式2-(11)yt=g(C,y1,y2,…,yt-1)公式2-(12)输出句子Output每个单词序列的生成公式如下：公式2-(13)公式2-(13)onHyperplanes.AAAIPress,2012019,46(09):184-189.[iii]ChoK,MerrienboerBV,Bahdan