CN114117229B 一种基于有向和无向结构信息的图神经网络的项目推 荐方法 （北京科技大学）

一种基于有向和无向结构信息的图神经网本发明公开了一种基于有向和无向结构信的有向结构信息，再计算得到中间项目隐含向2s=[vS4、将项目隐含向量输入目标注意力网络，从而得到会话序列s基于目标注意力的向S6、通过softmax函数对会话序列s预测所有目标S31、生成会话序列图的特征矩阵X；会话序列图中的每个结点vi对应的d维特征向量3reR(rin为图卷积网络输出的第一中间隐含向量，σ(·)是代表图中结点的交流，A:eR2n4和huE"分别为所有项目vi与目标项目vt的项目隐含向量表示，S52、获取全局向量sgotaER",所述全局向量聚合了会话序列s中所有出现的项目向代表最后一项与整个会话序列中出现的项目之其中权重参数wgeRid把三个向量拼接的结果投射到向量空间jER"中；j=sofimax(2z),(19)其中zeR"代表了所有候选目标项目的预测推荐得分，而jeR"代表了目标项目在会话序列s下一时刻被点击的概率,中排名最高的前K个的项目即为将要推荐的项目；56荐模型，对每个会话s都可以得到所有可能项目的概率其中$=$1,j2,…,jn。概率[0005](1)忽略了点击序列中重复出现的项目。实际上多次出现的项目与其他项目的重[0006](2)在生成项目的向量表示时没有较好地利用会话序列图中的结构信息。实际上collaborativefilteringbyusingtemporalcontext提出用聚类方法把稀疏会话向量转换为稠密向量；PARK.S.E等人的论文Session-basedcollaborativefilteringfor7[0008]本发明要解决的技术问题是提供一种基于有向和无向结构信息的图神经网络的为n的匿名会话序列就可以用s=[v1表示，且会话s中的项目是按时间先后顺序排列iAs)，其中Vs代表点集，εs代表边集，As代表邻接矩阵的集合，将As定义为三个邻接矩阵分别代表的是带权重的入度邻接矩阵和出度8S=a(S+I-SOI)+BI,(4)传播矩阵中有重复点击的项目v2以及在重复点击过程中转换的项目v3会有更高的注意力[0032]进一步地，利用门控图神经网络提取会话序列图中项目转换的第二中间隐含向表示结点与相邻结点间的相互作用的结果，和分别是重置门和更新zrhneR代表了结点vi的第二中间隐含向量，是会话中的结点向量序9代表结点vi在中的两列矩阵块。[0042]在经过图卷积网络GCN和门控图神经网络GGNN的信息处理后，得到第二中间隐含向量F,为了平衡带注意力的无向结构信息与有向结构信息的比例，采用如下公式进行控hy,E"和hn,E"分别为项目vi与vt的第二中间隐含向量表示。weRexd来进行成对的非线性转换；然后用softmax函数对得到的自注意力分数进行归[0053]把用户的短期兴趣表现为局部向量siuaER",用会话序列中最后一个项目Dsn[0055]把用户的长期偏好定义为全局向量saaE",其中聚合了会话s中所有出现的项目向量。同时利用注意力机制来引入最后交互的项目vsn与整个会话中出现的项目[v1,且W1,wzeRd是相应的权重参数，αi代表最后一项与整个会话[0061]其中权重参数把三个向量拼接的结果投射到向量空间jER"中；max(⃞),(19)[0067]其中zeR"代表了所有目标项目的预测推荐得分，而yeR"代表了目标项目在[0074]图2为本发明提供的示例的会话序列图与其对应的带权重无向邻接矩阵和带[0076]图4为本发明在消融实验中结构信息组成部分之间P@20指标上不同组成成分的表[0077]图5为本发明在消融实验中结构信息组成部分之间MRR@20指标上不同组成成分的[0078]图6为本发明在消融实验中注意力信息组成部分之间)P@20指标上不同组成成分[0079]图7为本发明在消融实验中注意力信息组成部分MRR@20指标上不同组成成分的表用图卷积网络GCN和门控图神经网络GGNN分别提取会话序列图中项目转换的无向结构信息为n的匿名会话序列就可以用s=[v表示，且会话s中的项目是按时间先后顺序排列i阵和ni)的拼接，代表的是无向图的带权重邻接矩阵，而和分别代表的是带权重的入度邻接矩阵和出度维向量表示再通过图卷积网络和门控图神经网络和线性处理得到项目隐含向量表所有会话序列中出现过的项目集合；会话序列图中的每个结点vi对应的d维特征向量[0095]1)会话序列图Gs中的带权重无向邻接矩阵是一个稀疏且对称的邻[0097]3)通过得到图中的每个结点vi都有对应的d维特征向量xiERd,所以会话[0098](2)将xi输入带无向结构信息的图卷积网络，得到图中所有结点的第一中间隐含[0099](3)通过带有向结构信息的门控图神经网络，得到图中所有结点的第二中间隐含[0106]层数为K的GCN相当于对图中所有结点的特征向量xi应用一个K层的MLPs模型，除[0113]$=a(S+I-SOI)+Bl,(4)接矩阵Ad中考虑了重复项目的权重，所以矩阵中带有对重复点击物品额外的注意力。同时由于S带自环，对称归一化的过程导致多条边相连的项目权重相比单边相连或无边相[0116]为了提高有边项目的权重并减少其他项目的噪带注意力的结点信息的吸收比例。根据图2中给出的具体示例可以看到邻接矩阵和传播矩阵中有重复点击的项目α2以及在重复点击过程中转换的项目α3会有更高的注意力信[0118]因此，公式(2)的等价更新形式就可以变成一个对于所有结点的简单稀疏矩阵相[0127]公式(6)中，邻接矩阵代表图即把图卷积网络的最终输出作为门控图神经网络的初始[0128]对于公式(7)，即通过σ(·)sigmoid函数分别得到重置门和更新门[0129]矩阵a定义为入度矩阵A")和出度矩阵的拼接，它们分别代表会话序列图得到前者是对初始嵌入向量进行了带注意力的无向结s中所有项目vi对每个目标项目vt∈V的注意力得分βi,t，其中hyE"和hy,E"分别为[0141]最终得到基于目标注意力的向量它代表了用户对不同目标项目之间产生[0142]在步骤S5中，利用会话s中涉及到的项目向量进一步地探索用户的短期和长期喜[0145]S52、获取全局向量，把用户的长期偏好定义为全局向量sgoba[0148]其中q,ceRd且W1,wzeRd是相应的权重参数。[0151]其中权重参数把三个向量拼接的结果投射到向量空间$ER"中。[0154]然后通过softmax函数对获得模型的输出向量j,[0156]其中zeRm代表了所有目标项目的预测推荐得分，而YER"代表了目标项目[0159]其中yi代表了会话序列下一时刻真实点击项目的独热编码向量(one-hot[0161]训练时，以每一个序列作为一个训练样本，所以总的误差就是每一个时间步(推[0164]在实际应用中使用公开数据集Yoochoose和CIKMCup2016发布的公开数据集Diginetica来评估该方法。Yoochoose数据集包含了电子购物平台上6个月内的用户点击[0172](2)MRR@20(MeanReciprocalRank)是算法推荐结果中正确推荐项目的倒数排名[0176]若干个方法在P@20和MRR@20这两个指标上的性能表现如表2所示，其中加粗显示忽略了用户在当前会话中的偏好而仅仅考虑了前K个最受欢迎的项目。BPR-MF说明利用会的主要偏好，而STAMP利用了注意力机制来考虑用户的短期兴趣，这都是它们要优于击行为达到了较好的预测效果，这也就说明了对用户的行为习惯进行建模有一定的重要重复点击习惯进行建模是不充分的，且基于RNN的结构无法捕获会话内的一些共同的依赖对会话中的所有项目进行编码。SR-GNN和TAGNN都比所有基于RNN的模型有着更加好的结初始向量同时输入两个神经网络中，然后再把模型输出结果进行线性组合。(d)-GCN+GNN出，综合有向结构信息与无向结构信息的方法GCN+GNN(GCN)在三个数据集的两个指标P@更加优异，而从单个数据集的表现上来说在Yoochoose1/4数据集和Diginetica数据集的取而后再进行有向结构信息的提取能够得到更精准表示点击项目的注意力信息。(c)GCN+AttGNN，只在GNN中考虑项目之间不同程度的依赖关系。的AttGCN+AttGNN在三个数据集的两个指标上均取得了最佳的实验结果，这说明了重复点击行为和项目间的依赖关系在基于会话序列的推荐中是有着一定重要性的。同时根据图6考虑任何注意力信息的GCN+GNN要有更好的表现，综合考虑二者的AttGCN+AttGNN效果最向量。然而根据图7中的MRR@20指标的实验