CN119416087A 一种基于多层图神经网络模型的网络节点分类方法 （郑州大学）

一种基于多层图神经网络模型的网络节点本发明提出了一种基于多层图神经网络模注意力网络利用注意力机制为每个节点的邻居多头注意力机制将图注意力网络输出的节点的到优化特征；根据优化特征获取预测的节点分类。本发明能够有效捕捉异构图数据的复杂特2步骤一：根据网络节点构建图，对图中的初始节点特征步骤二：根据节点和其邻居节点的初始嵌入向量，步骤三：根据节点和其邻居节点的初始嵌入向量，图注步骤四：采用多头注意力机制将图注意力网络输出的步骤五：采用图对比学习和节点嵌入模块将综合特所述预处理的方法为：将节点特征矩阵X中节点v的原始节点特征通3.根据权利要求1或2所述的基于多层图神经网络模所述将根树的层次结构与节点嵌入中的有序神经元对齐2)根据节点v的初始嵌入向量和其邻居节点的初始嵌入向量计算节点v的初始节点表行Softmax函数操作，得到节点表示中每个位置作为分割点的概率p":选择分割点的概率3对于下一级根树r",对应于第一个s,"神经元其邻居节点的嵌入和自身的嵌入来更新自己的节点表示，节点v在GNN的第k层的节点表示n"表示节点v的第k_1层的节点表示的第j个位置的元素7.根据权利要求4_6中任意一项所述的基于多层图神经网络模型的网络节点分类方息传递的方法为：对节点v的邻居节点的初始节点表示进行聚合获得当前层聚合上下文信望向量9":通过可微分的OR操作符对前一层的门控向量与当前层的期望向量9"进据期望向量9"对节点v的第k_1层的节点表示与当前层聚合上下文信息m,"进行整4其中，MEAN()表示求平均操作,N(v)表示节点v的邻居节点集合；为GNN的第k层的节点表示；表示将第k_1层的节点表示与当前层聚合上下所述图注意力网络通过共享注意力机制和Softmax函数对节点v的第k_1层的图注意力网络的特征向量和其邻居节点u的第k_1层的图注意力网络的特征向量进行处理得所述图对比学习通过反向传播算法，根据对比损失函数计算得到的梯所述步骤六中采用多头注意力机制和Softmax函数处理优化特征并通过输出层获取节10.根据权利要求9所述的基于多层图神经网络模型的网络节点分类方法，其特征在的头数；tanh表示双曲正切函；AttentionHead"'表示第n个注表示多个注意力头的输出向量经过tanh激活函数处理后的并集；每个节点嵌入模块将前一个节点嵌入模块的输出作为输入进行进一步细化并按顺序5所述步骤六的实现方法为：对于第k层的节点v利用多头注意力机制得到所有P个注意其中，Wclass是权重矩阵，bclass是分类层的偏置向量，K表示注意力机制的最后一层，wns"表示多头注意力机制的输出。6经网络的方法、基于传统图神经网络(GNNs)的方法和基于深度学习的图神经网络改进方7深度学习的图神经网络改进方法可以通过设计更复杂的网络结构和损失函数来解决传统[0009]针对现有网络节点分类方法不能很好地捕获图数据的复杂特征并避免过平滑的图神经网络模型整合局部和全局数据，以更好地捕捉图数据的复杂特征并避免过平滑问8[0020]优选地，所述分层消息传递机制将GNN中的消息传递机制与根节点的根树层次结经元的分配以编码不同深度的子树进行消息传递，使GNN按照一定的顺序对邻域信息进行[0023]2)根据节点v的初始嵌入向量和其邻居节点的初始嵌入向量计算节点v的初始节积求和后的向量进行Softmax函数操作，得到节点表示中每个位置作为分割点的概率p,";选择分割点的概率p"最大的位置作为预测的分割点位置s".[0027]节点v在第k层的节点表示n"仅取决于其k阶根数r"内的节点，对节点表示9h"表示节点v的第k_1层的节点表示的第j个位置的息传递的方法为：对节点v的邻居节点的初始节点表示进行聚合获得当前层聚合上下文信望向量9":通过可微分的OR操作符对前一层的门控向量与当前层的期望向量9"进据期望向量9"对节点v的第k_1层的节点表示与当前层聚合上下文信息m,"进行整和α2为两个自适应参数。[0040]优选地，所述图注意力网络通过共享注意力机制和Softmax函数对节点v的第k_1层的图注意力网络的特征向量和其邻居节点u的第k_1层的图注意力网络的特征向量[0042]所述步骤六中采用多头注意力机制和Softmax函数处理优化特征并通过输出层获意力的头数；tanh表示双曲正切函；Attention[0047]每个节点嵌入模块将前一个节点嵌入模块的输出作为输入进行进一步细化并按[0051]所述步骤六的实现方法为：对于第k层的节点v利用多头注意力机制得到所有P个arrw,"代表第n个注意力头根据每个节点的优化特征的重要性计算的[0058]本申请的多层图神经网络模型利用分层消息传递策略来克服图结构同质性和过中运行的多头注意力机制，提高了模型检测和分析对下游应用有重要意义的特征的能力。通过对齐根数的层次结构与节点嵌入中的有序神经元，让图神经网络GNN按照一定的顺序准确性。本发明对邻域节点异质性的有效处理使NML_GNN模型在面对不同类型的节点时更[0067]图3为本发明与基线模型在不同数据集中不同深度下节点的分类精度示意图，其影特征Z,=ML:P(X,)-O(WX,+h)…O(WX,+b1),MeR"r"为权重矩阵，节点v的初始嵌入向量：Z,-LcyerNorm(Linear(2.)),其中，Linear表示线性变换函数，[0077]3.将归一化后的特征即节点v的初始嵌入向量2.作为GNN的第一层输入，记为"=z,用于后续的消息传递和节点更新操作。[0080]本发明提出的NML_GNN模型采用分层消息传递机制(命名为LayeredGCN模块)，将GNN中的消息传递机制与根节点的根树层次结构相结合，通过将根树的层次结构与节点嵌图结构数据的异质性和传统图神经网络可能会导致的目标是将k阶根数内的信息正确编码到固定大小的节点表示n"中。[0086]2)根据节点v的初始嵌入向量和其邻居节点的初始嵌入向量计算节点v的初始节[0088](1)在每一层GNN中，节点v根据其邻居节点的嵌入和自身的嵌入来更新自己的节拼接或加权求和。表示节点v在GNN的第k层的节点表示，N(v)表示节点v的邻居节点集[0091](2)将融合后第k层的节点表示的节点表示h"输入到一个线性层中，得到一个输向量进行Softmax函数操作，得到节点表示中每个位置作为分割点的概率p"。具体来说节n")置作为预测的分割点位置s9,表示为门控向量9",其中门控向量的前s个条目为点传递到节点v的消息仅限于节点v的节点表示中的前个神经元。将相邻节点的不同深点表示中的有序神经元对齐。对节点表示中的所有神经元排序成一个序列，对于根树r""内的信息，允许其在第一个s,""神经元内编码，对于下一级根树r:",涉及更多神经控向量g,"对应的门控向量为1，它们抑制新聚合的上下文信息m,",只继承上一层的输出h"",右边神经元则相反。[0097]门控向量用于控制第k_1层的节点表示和当前层的聚合消息在组合阶段进行中心节点第k_1层的节点表示与当前层聚合上下文信息m,"的整合。具体流程[0099]其中，mf"是通过对节点v的邻居节点的特征向量进行聚合获得的当前层的聚合向量进行平均以得到当前层的聚合上下文信息mg",MEAN即通过预测门控向量的期望值，得到期望向量9"。具体来说期望向量9"是通过对每个位置成为分割点的概率的累积和，累计和函数采用的累计方向为从右到左。表示将第k_1层的节点表示与当前层聚合上下文信息m,"进行拼接。W(k)量转换为概率分布，这个概率分布表示了节点表示中每个位置成为分割点的概率。中分割点的有序性，需要一种机制来保证新计算出的期望向量9"与之前的期望向量点大小符合根数的嵌套结构。这种设计允许模型在深层网络中仍然保留节点的个性化特到门控向量9",SOFTEN操作符通过对前一层的门控向量与当前层的期望向量进行逐元素加权求和来实现的一种可微分的“或”操作的软化版本，其中权重由门控向量点表示的更新这一步骤里添加了两个自适应[0105]首先，图注意力网络通过共享注意力机制和Softmax函数得到注意力系数并进行同节点之间注意力分配的关键参数之一；表示第k层图注意力网络中的可训练权重矩[0108]这里的特征向量的更新规则为其中阵代表第k层的图注意力网络中更新节点初始表示的可训练的权重矩阵，是偏置[0112]本发明引入了双模块架构，其中GAT模块侧重于通过共享注意力机制对邻居节点[0113]步骤四：采用多头注意力机制将GAT输出的节点的特征向量H"和LayeredGCN模权衡和组合来自分层信息传递层和图注意力网络的表征，可在不同的表征子空间中运行，通过整合不同模块的输出从而产生一个综合特AttentionHead"'表示第n个注意力头在第k层的计算函数；表示多个注意力头的输出向量经过tanh激活函数处理后的并集。每个注意力头都会计算节点组合嵌入[n,":n"]的转[0117]每个注意力头的表述为其中，是LayeredGCN层输出的节点组合嵌入和的合并结果；表示权重矩阵w"的转[0119]步骤五：采用图对比学习和节点嵌入模块将综合特征向量M,"进行进一步的优[0120]具体来说本发明的NML_GNN模型引入了图对比学习模块，旨在增强综合特征向量子代表正样本对的相似度，分母表示节点v的邻居节点作为负样本的相似度之和以及非邻其中每个节点嵌入模块将前一个节点嵌入模块的输出作为输入进行进一步细化并按顺序[0126]在模型的训练过程中，每一层的综合特征向量M"都包含了节点v在之前层中学[0128]步骤六：采用多头注意力机制和Softmax函数处理节点之间的复杂互动并通过输Datasetsformachinelearningongraphs’,Advancesinneuralinformationprocessingsystems,2020,33,pp.22118_22133]的ogbn_arxiv和文献[Lim,D.,Li,X.,Hohne,F.,andLim,S._N.:ζNewbenchmarksforlearningonnon_homophiloussupervisedclassificationwithgraphconvolutionalnetworks’,arXivpreprint(20),pp.10_48550]和GraphSAGE___来自于文献[Hamilton,W.,Ying,Z.,andLeskovec,J.:ζInductiverepresentationlearningonlargegraphinformationprocessingsystems,2017,30]等经典的GNN模型；还包括GGCN___来自于文Editor(Ed.)^(Eds.):ζBookTwosidesofthesamecoin:Heterophilyandoversmoothingingraphconvolutionalneuralnetworks’(IEEE,2022,edn.),pp.1287_1292]等近几年专门inEditor(Ed.)^(Eds.):ζBookSimpleanddeepgraphconvolutionalnetworks’arXivpreprintarXiv:2002.05287,2020]同质引文网络数据集上的最新模型。本发明还B.,Kapoor,A.,Alipourfard,N.,Lerman,K.,Harutyunyan,H.,VerSteeg,G.,andGalstyan,A.:‘Mixhop:Higher_ordergraphconvolutionalarchitecturesviasparsifiedneighborhoodmixing’,inEditor(Ed.)^(Eds.):‘BookMixhop:Hiordergraphconvolutionalarchitecturesviasparsifiedneighborhoodmixing’Kawarabayashi,K._i.,andJegelka,S.:‘Representationlearningonjumpingknowledgenetworks’,inEditor(Ed.)^(Eds.):‘BookRepresentation[0143]实验结果表明，本发明所提