大规模图数据管理与分析 课件 10-图神经网络

大规模图数据管理与分析图神经网络第十章2本章概览3图神经网络的基本概念图卷积网络图采样和聚合网络图注意力网络图同构网络面向异构图的图神经网络图表示学习的新技术图神经网络基本概念Part14图神经网络5

图神经网络6基于深度学习模型的图神经网络（GraphNeuralNetwork）是图表示学习领域的主流研究方向。核心思想：基于图的结构设计多层非线性变换，学习图中节点、边、子图乃至图级别的向量表示。图神经网络的编码器视角图神经网络7朴素方法考虑图的邻接矩阵和特征矩阵，将以邻接矩阵和特征矩阵对应该节点的一行信息当做神经网络的输入。存在问题神经网络的参数过多，引发模型训练困难、容易过拟合等问题由于输入维度的限制，该模型无法应用到不同规模的图上基于图神经网络的模型示例图卷积神经网络8图卷积神经网络（GraphConvolutionalNeuralNetwork,GCNN）卷积神经网络通过卷积算子对图像上一个像素点周围固定大小区域进行计算，并滑动的对整个图像进行卷积操作。卷积算子的目标为结合并转化邻居节点的信息，并创造一种新的信息。基于图神经网络的方法的核心思路：设计一种机制，使其可以从一个节点的邻居节点处收集信息，聚合它们并创造一个信息。图像和图上的卷积操作对比图图卷积神经网络9

图卷积神经网络邻居信息聚合示意图图卷积神经网络10

图卷积神经网络11计算图定义图神经网络与经典神经网络本质上的区别：每个节点都可以定义自己的神经网络架构，即每个节点都可以基于它的局部邻居结构定义自己的计算图。图卷积神经网络邻居信息聚合示意图图卷积神经网络12

两层图卷积神经网络图卷积神经网络13邻居信息聚合聚合算子要满足置换不变性（PermutationInvariance），即按任何顺序对待聚合的节点集合进行排序，聚合之后都要得到相同的结果。最直观的设计方法就是将邻居的信息进行简单平均，其结果再经过一个神经网络进行特征空间的变换。

图卷积神经网络14

参数矩阵

参数矩阵非线性变换聚合算子定义图卷积神经网络15

图卷积神经网络16消息传递神经网络（Message-PassingNeuralNetwork,MPNN）图卷积神经网络本质上是一种消息传递神经网络通用模型框架消息函数更新函数

图卷积神经网络17

图卷积神经网络18

图卷积神经网络19

图卷积神经网络20

图卷积神经网络21

图神经网络22

节点表示预测的类别概率

图神经网络23

正样例负样例图神经网络24典型的图神经网络模型图卷积网络（GraphConvolutionalNetwork,GCN）图采样和聚合网络（GraphSamplingandAggregate，GraphSAGE）图注意力网络（GraphAttentionNetwork,GAT）图同构网络（GraphIsomorphismNetwork,GIN）图卷积网络Part225

图卷积网络26

图卷积网络27多数情况下，GCN

模型仅使用两层图卷积当其用于节点分类等任务时，具体的消息传播公式定义如下：第一层图卷积使用了ReLU作为激活函数，第二层图卷积没有使用激活函数。由于模型的输出被用于节点分类任务，使用softmax

函数生成一个概率分布。

图卷积网络28

图卷积网络29

图卷积网络30

图卷积网络31

图卷积网络32

图卷积网络33

图卷积网络34

图卷积网络35图卷积滤波器的多种形式。切比雪夫多项式（ChebyshevPolynomials)作为滤波器。

切比雪夫多项式迭代的定义如下：

滤波器具有如下形式：

图卷积网络36ChebNet

模型Defferrard等人对上述滤波器公式进行少许调整，提出了ChebNet模型其中是对应特征值的拉普拉斯矩阵，是可学习参数矩阵。

图卷积网络37

图卷积网络38

图采样和聚合网络Part339图采样和聚合网络40图采样和聚合网络（GraphSamplingandAggregate），简称GraphSAGE模型图采样和聚合网络是早期具备显著归纳式图学习能力的模型之一图采样聚合网络设计了多种消息聚合函数，并将聚合的邻居消息与自身消息连接起来计算新的节点表示图采样和聚合网络41

图采样和聚合网络42

图采样和聚合网络43

图注意力网络Part444图注意力网络45

图注意力网络46

图注意力网络47

GAT模型的图注意力机制图同构网络Part548图同构网络49

图同构网络50

图同构网络51

图同构网络52图同构（Graphisomorphism）中的经典算法WL

算法（Weisfeiler-Lehman）WL-1第1轮示意图图同构网络53

图同构网络54

迭代过程可以概述为：在第0

层，节点的标签就是原始图上的标签。将原始标签与邻接矩阵相乘，再进行哈希处理，得到节点的1

阶标签。

图同构网络55WL算法的迭代过程与图卷积神经网络的对比：信息聚合时，WL算法直接使用邻接矩阵，而图卷积神经网络使用度矩阵的逆矩阵做归一化；卷积神经网络将聚合的表达通过一个可学习的权重矩阵变换后，通过一个非线性函数产生一个新的表达，而WL算法直接使用哈希处理聚合标签，生成新的标签。图同构网络56GIN模型证明了当消息聚合函数与空间变换函数都是单射（injection）时，图神经网络模型的表达能力与1

阶WL测试等价。等价:如果WL测试可以区分两个图为非同构的，则图神经网络模型学习到的对应的图表示也不相同。面向异质图的图神经网络Part657面向异质图的图神经网络58异质图（heterogeneousgraph）很多应用产生的图数据包含多种关系类型，即图中的边可分为多个种类。除此之外，图中的节点同样可以有多种类别；知识图谱就是一类典型的包含多类型关系和多种节点的图数据。面向异质图的图神经网络59

面向异质图的图神经网络60

图表示学习的新技术Part761图表示学习的新技术62同配性与异配性（homophilyandheterophily）同异配性：如果大部分相邻节点属于同一类别，则称该图是同配图异配性：如果相邻节点一般不属于同一类，则称为异配图图自监督学习（graphself-supervisedlearning）不需要监督信息的自训练任务实现对模型参数的更新，仅需要少量监督信息对模型参数进行调优。典型方法：图对比学习（graphcontrastivelearning）。图表示学习的新技术63图Transformer模型过分依赖图结构也可能导致问题：距离较远的节点无法有效传播信息、图结构信息不完备等。图Transformer模型（