【《神经图协同网络算法及其基础结构概述综述》1600字】

神经图协同网络算法及其基础结构概述目录TOC\o"1-3"\h\u18765神经图协同网络算法及其基础结构概述 14877（一）为什么要提出新的网络结构 138（二）网络结构细节 1101151.嵌入层(embeddinglayer) 2154562.嵌入信息传播层 261693.预测层 3175164.系数优化 455485.DropOut设置 4（一）为什么要提出新的网络结构回顾一下之前两个章节，为了得到可学习的协同过滤模型，需要解决用户和物品的嵌入表示以及对于两者之间关系的建模。前面列举了多个解决方案但是都没有充分的利用图中所隐含的信息。即协同信息。这就导致了当图的嵌入表示因为信息过少导致不足以进行协同过滤时，只能通过程序员手工构建低效的图表示[20]。通过引入节点的高阶连接性（如下图所示）可以自然的输入图的高阶连接性。目前假设数据集为隐式反馈数据集，即物品用户关系可以抽象成为一个二分图，当u1代表人物时可以将从u1的邻居作为子节点化作右图内圈，因为和u1之间的距离为1，所以将其阶数定为1；同理因为i2与u2有关联，所以u2作为i2的子节点划入图中，其余节点同理。整个算法可以看做在图上的BFS。而树的层数则代表着关系的阶数。在这个思路指引下最大的问题变成了如何将这颗树输入网络进行运算。目前来讲高阶连接性作为一个元素可变的特征，不太可能使用普通卷积相加的办法来实现效果。因此借鉴GraphSAGE中通过对邻居采样来更新自身节点的思想，构建了一个通过递归聚合来进行更新用户节点的高阶连接的协作信号。（二）网络结构细节算法提出者[18]认为，神经图协同网络主要由三部分组成：1.将用户和物品进行embedding操作的嵌入层，目的是提供对称的数据来为后续处理提供条件，类比于上一章提到的GraphSAGE；2.多层嵌入信息传播层，假设层数为K，那么该网络结构能够处理K跳的邻居信息并动态更新到中心用户节点以及途中的节点从而来获得高阶协同信息；3.预测层聚合不同阶数（1-K）的精细化嵌入信息，输出用户物品亲和力评分。结构图如下：下面来说明具体的网络细节。1.嵌入层(embeddinglayer)按照主流的推荐系统模型的观点，嵌入层将每个用户和物品的嵌入表示放在同一个向量中，和NeuMF非常类似。但是NeuMF是直接将embedding变量直接喂进网络来进行训练，并不会对嵌入数据进行修改。但在神经图协同网络中，嵌入层数据将会在反向传播的过程中进行调整更新来学习邻居节点的协同信息。2.嵌入信息传播层嵌入信息传播层负责提取不同层的邻居对于用户或者物品之间的隐藏联系。从最基础的视角来开，用户直接交互过的物品是用户的喜好的直接表现，换句话来讲，交互过某个物品的用户可以视为该物品具有这些用户共有的一部分特征，因此可以用来衡量两个物品之间的相似性。因此通过在用户和项目之间交错执行嵌入表示的传播，并将其分为两个部分。(1)消息构建对于用户和物品之间的连接UI，定义其消息为：m其中前两项代表u和i的特征嵌入表示向量，p代表消息传播的衰减系数。F是消息构建函数，定义为：其中W1和W2是用来提取嵌入特征向量中有用的特征的可训练的矩阵，可以理解为物品对用户的特征影响是由物品的部分特征和用户和物品的特征亲和度相结合组成的。代表衰减因子，分母两项是用户u和物品i的第一跳邻居的数量，来源是继承GNN中拉普拉斯标准化系数。(2)消息聚合消息聚合顾名思义就是集合目标节点的邻居节点的特征用来更新目标节点的嵌入特征。为了添加非线性特征从而提高模型的拟合能力，在获取的消息加和之后需要加入非线性激活函数[21]。例如：e(3)堆叠传播层获得高阶表示：3.预测层经过前一部分网络的传播后拥有了K个用户u的特征嵌入表示，同时也有K个i的特征嵌入表示，通过将其合并为两个长度为K的向量进行内积，即可获得用户对目标物品的偏好。y4.系数优化原论文中采用pairwiseBPR[22]的损失函数，目的是将原关系矩阵中显性关系和预测出的隐性关系进行更加明显的区分。5.DropOut设置在深度学习中为了防止网络拟合能力过强而导致的过拟合，设