【《图神经网络概述》3900字】

图神经网络概述Gori等人[36]首先提出图神经网络的概念，Scarselli等人[37]又在在此基础上进一步研究阐明，早期学习目标节点的表示都是以迭代的方式通过循环神经架构传播邻近信息学习得到，迭代直到达到稳定的状态，该过程计算量比较大，这个问题也成了该领域的一项研究难点。2018年，DeepMind、谷歌大脑、MIT和爱丁堡大学的27名作者，对图神经网络及其推理能力进行了全面阐述[38]。随后，关系网络（RelationNetwork）、图卷积网络（GraphConvolutionalNetwork）、几何深度学习技术（GeometricDeepLearning）、图神经网络（GraphNeuralNetwork）等关键词频频出现在各大顶级机器学习、数据挖掘会议上。图神经网络（GNN）有两大优势。第一，在现实世界中图是比较常见的一种数据结构，在图神经网络还没有发展起来的时候没有与之相对应神经网络模型，而GNN可以看作在图上的扩展，将卷积的思想从欧几里得域迁移到非欧几里得域[39]。第二，由于基于传统神经网络的人工智能系统的智能推理能力有限，无法展现出人工智能系统的“智能”之处，但是图神经网络却恰哈具备这种“推理能力”。换言之，图神经网络是符号主义和非符号主义相结合的产物，将规则、知识引入神经网络，使得神经网络具备了可解释性和推理能力。事实上，图神经网络并不是近几年诞生的新概念和技术，早在2005年这一概念就被提出。在后来的发展中，研究者们在针对图的空间域（SpatialDomain）和频谱域（SpecturalDomain）上分别提出了不同形式的图神经网络，并通过深入研究在2017年将空间域模型和频谱域模型进行了良好的结合，自此，图神经网络的研究进入了高速发展阶段。近几年研究者们把图神经网络分为了五类：图卷积网络[40]（GraphConvolutionalNetworks）、图注意力网络[41]（GraphAttentionNetworks）、图自编码机（GraphAuto-encoder）、图生成网络（GraphGenerativeNetworks）、图时空网络（GraphSpatial-TemporalNetworks）。1.1图卷积神经网络图卷积网络(GCN)，由传统的卷积神经网络引申出的图卷积网络，了解图卷积首先需要了解卷积在CNN中的机制。在针对图像识别任务时，由于图片中的像素点都是二维结构，为了提取图片的特征信息，CNN应运而生。CNN的核心在于卷积操作，卷积操作过程中有一个内核，该内核相当于一个映射窗口，通过在二维矩阵中按照一定的步长进行平移，将二维信息映射到更高层次，通过这样的卷积方式来提取特征。由于图片结构具有平移不变性，这点保证了在卷积过程中对原始图片的内部结构不会发生修改，所以利用CNN可以很好的对具有平移不变性的数据进行特征提取任务。无论图片还是语言，都属于欧式空间数据，其数据结构比较规则，相对比较容易捕捉数据特征。但是由于现实世界中的不确定性，大部分的数据结构都呈现不规则性，比如图结构，如社交网络、交通网络、蛋白质网络、知识图谱等等。因为图的结构一般来说是十分不规则的，不同节点的周围结构可能都是不同的，针对这种数据结构，传统的CNN的处理能力就显得力不从心，为了处理这类数据，涌现出了许多方法，GCN只是其中的一种。图卷积神经网络与CNN的作用一样，用来进行特征提取，但是所针对的对象是图数据。GCN可以从这种不规则的图数据中提取特征信息，利用这种特征信息可以进行节点分类、图分类、边预测、图的嵌入表示等任务。表2-1GCN概念概念定义G一个拓扑图定义为G=(V,E)其中V是节点集合，E是边集合。NN是图中节点个数，即|V|F节点的特征数，不同学习任务F不同X网络初始化矩阵,X是N行F列的矩阵D图的度矩阵,Dij表示点i和点j是否存在连接A图结构表征矩阵,A是N行N列的矩阵，A通常是G的邻接矩阵HiGCN中每层输出矩阵Hi是一个N行F列矩阵WiGCN中每层权值矩阵Wi是一个F行F列矩阵一个图结构数据集中包含N个节点，存在节点之间会有相互关联的边，利用这些边关系可以构造出N×D维的邻接矩阵A，除了节点之间的关系，每个节点还包含自身的特征信息，采用节点特征构造出N×F维的特征矩阵X。X和A便是模型的输入，GCN中的层与层之间的传播方式如下公式所示： (1)其中是无向图G的邻接矩阵加上每个顶点和自身加一条边，I是单位矩阵。在邻接矩阵A与特征矩阵H相乘的时候，由于邻接矩阵的对角线上全是0，所以在计算节点之间的特征加权和时，就会出现节点自身特征丢失的情况，导致语义信息不全。因此，研究者们给矩阵A加上一个单位矩阵I，这样就让对角线元素变成1了，希望在进行信息传播的时候顶点自身的特征信息也得到保留。公式(1)中是度矩阵（degreematrix），其公式为：，度矩阵为对角矩阵，对角线上的元素值即为该节点的度再加1，其中公式是可以事先算好的，因为这两个矩阵均已知是没有经过归一化的矩阵，这样与特征矩阵相乘会改变特征原本的分布，产生一些不可预测的问题，所以研究者们对A做一个标准化处理，归一化后的矩阵中每个元素取值都在(0，1)之间。H是每一层的特征，对于输入层的话，H就是X，这个运算可以理解为实现了空间信息的聚合。其中第0层的输入，是原始的特征，以后每增加一层，就会多聚合一阶邻居节点上的信息。是第i层的权重矩阵，权重矩阵的维度为，所以决定下一层的特征数由权重矩阵的第二维度大小。最终训练出来的参数矩阵W的个数都是核心公式中的层数所决定的，最后采用非线性激活函数，一般比较常用的非线性激活函数有Sigmoid、ReLu等。1.2图注意力神经网络与图卷积神经网络最大的不同之处在于，图注意力网络在图卷积网络的基础上引入了注意力机制，在真实网络中，节点与节点之间或者单个节点对于全局的影响程度不同，在研究过程中应当根据不同节点的影响比重大小对其分配不同的权重，继而在端到端的框架中，可以同时学习到注意力权重和神经网络参数，图注意网络一般被应用于异质网络社区发现等场景[42]。1、GraphAttentionNetwork(GAT)GAT模型思想主要是先求出每个节点与其邻居节点之间的注意力系数，再根据注意力系数确定邻近节点的特征，

邻近节点特征的权重与图结构并无关系，主要取决去节点本身特征的影响因子。引入注意力机制之后，只与相邻节点有关，即共享边的节点有关，无需得到整张图的信息：(1)该图不需要是无向的(如果边缘j→i不存在，可以简单地省略计算；(2)它使这项技术直接适用于归纳学习，包括在训练期间完全看不见的图形上的评估模型的任务。2、图注意力层GraphAttentionlayer图注意力层的输入与输出GAT与GCN的最主要的工作就是能够高效的进行特征提取，针对的是N个节点，按照其输入的节点特征预测输出新的节点的特征，图注意力层的输入是节点特征向量集，如公式（2）所示：（2）其中节点个数为N，节点特征的个数为F，继而构造出来N×F的矩阵h，矩阵h包含了所有节点特征，R是表示单独节点的特征，每一层的输出都是一批新的节点特征向量如公式（3）所示：（3）其中F′表示新的节点特征向量维度。特征提取与注意力机制针对图网络数据的特征，模型输入的初始特征矩阵并不能被模型所理解，所以需要对初始特征矩阵进行线性变换，这个线性变换过程需要将输入的特征与输出的特征联系起来，在这里就需要对所有节点训练权重矩阵：，这个权重矩阵就是输入的F个特征与输出的F′个特征之间的关系。self−attention注意力学习机制的目标之一就是使我们能够更好地理解得到与图结构的全局几何节点之间存在依赖关系,self−attention通过直接计算出一个图结构中任意两个节点之间的依赖关系,一步到位地从图结构中获取其全局几何节点的特征。针对每个节点实行self-attention的注意力机制，注意力系数为： (4)下标i，j表示第i个节点和第j个节点，表示网络节点j对网络节点i的影响程度，与图本身的结构没有关联，h为模型的输入特征，不是一个常数或是矩阵，是一个函数，类似于f(x)那种自己定义好的函数。之前的研究者们将注意力分配到节点i的邻居节点集上，即，节点i也是的一部分，通过softmax函数对所有节点的相邻节点进行正则化，可以更加容易计算与比较注意力系数: (5)注意力机制是一个单层的前馈神经网络，是神经网络中连接层与层之间的权重矩阵，在该前馈神将网络的输出层上还加入了LeakyReLu函数，其中ReLu是将所有的负值都设为零，相反，LeakyReLu是给所有负值赋予一个非零斜率。综合上述公式（4）和（5），整理可得到完整的注意力机制如下： (6)其中，和都叫做注意力系数，只不过是在基础上进行归一化后的。上述过程可用下图来表示：图2-6计算注意力系数3、输出特征经过上面内容的推理，节点的输出特征可以通过正则化处理后的不同节点间的注意力系数进行预测来得到： (7)：权重矩阵：注意力互相关系数：非线性激活函数中遍历的j表示所有与i相邻的节点公式(7)：网络中节点与邻居节点通过线性与非线性激活得到的输出特征。4、multi-headattention为了增加self-attention的稳定性，通过实现多头注意力机制学习不同网络中的特征，然后再将学习到的特征连接起来。但是，如果对最终的网络层执行multi−headattention，则连接操作不再合理，相反，采用k平均来替代连接操作，并延迟应用最终的非线性函数，得到最终的公式（8）： （8）共有K个注意力机制同时进行，第k个注意力机制为，第k个注意力机制下性变换权重矩阵表示为，图2-7multi-headattention图例:图2-7多头计算由节点在其邻域上的multi-headattention（具有K=3个头）的图2-7所示。不同的箭头样式和颜色表示独立的注意力计算，来自每个头的聚合特征被连接或平均以获得。1.3其他图神经网络1、图自编码器图自编码器是一种非监督学习框架，目的是采用图自编码器在复杂网络中通过学习获得各个节点的低维向量表示，然后通过解码机重构出图数据。图自编码机是一种常见的图嵌入方法，可以被应用到有属性信息的图中和无属性信息的