【《图卷积神经网络构建研究的文献综述》5500字】

第第页共22页图卷积神经网络构建研究的文献综述目录TOC\o"1-3"\h\u12265图卷积神经网络构建研究的文献综述 1200421.1谱方法图卷积神经网络 16801.2空间方法图卷积神经网络 7图卷积神经网络一般由三部分组成。分别为图卷积层、图粗化层、全连接层ADDINEN.CITE<EndNote><Cite><Author>吴晨晖</Author><Year>2019</Year><RecNum>3</RecNum><DisplayText><styleface="superscript">[3]</style></DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619055975">3</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>吴晨晖</author></authors><tertiary-authors><author>柴利,</author></tertiary-authors></contributors><titles><title>基于图卷积神经网络的人脸表情识别研究</title></titles><keywords><keyword>人脸表情识别</keyword><keyword>图卷积神经网络</keyword><keyword>随机取点</keyword><keyword>特征融合</keyword><keyword>LBP</keyword><keyword>HOG</keyword></keywords><dates><year>2019</year></dates><publisher>武汉科技大学</publisher><work-type>硕士</work-type><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[\o"吴晨晖,2019#3"3]。全连接层结构简单，图滤波层与图粗化层的构建主要依赖于卷积算子与池化算子的构建。池化算子作用主要是学习图网络的层级化表示，降低模型参数。多数用于图级别的任务——如图分类问题，在解决多数的节点层面任务时用处不大，我们在第三章给出分子预测模型时再着重讨论。而卷积算子用来刻画节点的局部结构，能否构建卷积算子是各大GCN任务执行的关键。现有的图卷积神经网络主要有两类ADDINEN.CITE<EndNote><Cite><Author>徐冰冰</Author><Year>2020</Year><RecNum>4</RecNum><DisplayText><styleface="superscript">[4]</style></DisplayText><record><rec-number>4</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619056227">4</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>徐冰冰</author><author>岑科廷</author><author>黄俊杰</author><author>沈华伟</author><author>程学旗</author></authors></contributors><auth-address>中国科学院网络数据科学与技术重点实验室;中国科学院计算技术研究所;中国科学院大学;</auth-address><titles><title>图卷积神经网络综述</title><secondary-title>计算机学报</secondary-title></titles><periodical><full-title>计算机学报</full-title></periodical><pages>755-780</pages><volume>43</volume><number>05</number><keywords><keyword>图卷积神经网络</keyword><keyword>卷积</keyword><keyword>池化</keyword><keyword>非欧空间</keyword></keywords><dates><year>2020</year></dates><isbn>0254-4164</isbn><call-num>11-1826/TP</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[\o"徐冰冰,2020#4"4]。一是利用谱方法在谱域内对图进行乘法，实现卷积。二是空间方法直接从节点的角度出发，通过定义节点间的聚合函数值来聚集节点周围的相邻节点，得到更新后的节点特征。1.1谱方法图卷积神经网络GCN最初的灵感来源于CNN。但普通的卷积神经网络研究对象是具备欧式空间的数据。欧式空间数据的显著特征是具有规则的空间结构：例如常见的图片为规则的二维矩形。我们所使用的语音数据为规则的一维序列。这些数据的特征是都可以很容易的使用n维的矩阵来表示，使用卷积神经网络可以高效地对他们进行处理。其原因就在于卷积神经网络处理的数据具有典型的平移不变性质，CNN可以利用共享卷积核（kernel）计算中心像素和相邻像素组成的Featuremap来实现空间特征的提取，这样可以非常有效地提取特征，并且由于卷积核的共享性，可以使得模型的参数大大降低。CNN在欧式空间如此强大，那么能否通过相同的思想，在非欧空间——图数据上采取共享参数卷积核实现卷积操作呢？答案是否定的。在非欧空间，邻居节点的数量不确定、节点数量不确定，难以选择固定的卷积核来适应整个图的结构，想要直接进行卷积几乎是不可能的。因此，ThomasN.Kipf等人ADDINEN.CITE<EndNote><Cite><Author>Kipf</Author><Year>2016</Year><RecNum>6</RecNum><DisplayText><styleface="superscript">[5]</style></DisplayText><record><rec-number>6</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619056580">6</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Kipf,ThomasN</author><author>Welling,Max</author></authors></contributors><titles><title>Semi-supervisedclassificationwithgraphconvolutionalnetworks</title><secondary-title>arXivpreprintarXiv:1609.02907</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1609.02907</full-title></periodical><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>[\o"Kipf,2016#6"5]提出了一种利用卷积定理在谱域对图进行操作，从而在空域实现卷积的方法。1．图信号处理:卷积定理：使用傅里叶变换处理两个信号进行卷积运算的结果等价于信号单独傅里叶变换后的乘积ADDINEN.CITE<EndNote><Cite><Author>Shuman</Author><Year>2013</Year><RecNum>7</RecNum><DisplayText><styleface="superscript">[6]</style></DisplayText><record><rec-number>7</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619058457">7</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Shuman,DavidI</author><author>Narang,SunilK</author><author>Frossard,Pascal</author><author>Ortega,Antonio</author><author>Vandergheynst,Pierre</author></authors></contributors><titles><title>Theemergingfieldofsignalprocessingongraphs:Extendinghigh-dimensionaldataanalysistonetworksandotherirregulardomains</title><secondary-title>IEEEsignalprocessingmagazine</secondary-title></titles><periodical><full-title>IEEEsignalprocessingmagazine</full-title></periodical><pages>83-98</pages><volume>30</volume><number>3</number><dates><year>2013</year></dates><isbn>1053-5888</isbn><urls></urls></record></Cite></EndNote>[\o"Shuman,2013#7"6]：Ff⋆g其中，f，g表示原始信号，Ff表示f的傅里叶变换，⋅表示乘积，f⋆g=其中F−1(f)通过（1）式（2）式，我们便解决了由于不满足平移不变形导致图信号卷积困难的问题。我们直接将卷积运算转化为在谱域上对图信号的傅里叶变换进行乘积运算。接下来我们仅需要了解如何对图信号进行傅里叶变换，即可实现图卷积。在图上，傅里叶变换依赖于拉普拉斯矩阵的特征向量。基于拉普拉斯矩阵的特征向量，信号xx其中x为图信号在原始节点域的表示。x指x通过傅里叶变换转到谱域上的表示。UT为拉普拉斯矩阵特征向量的转置。信号xx=了解了卷积定理以及图信号的傅里叶变换方式，我们便可利用（2-1）、（2-2）、（2-3）、（2-4）式，得到基于卷积定理实现的图卷积算子：x其中G∗表示图卷积算子，x，y表示图节点域上的原始信号，卷积定理提供了通过傅里叶变换在谱域定义图卷积算子，使得即使在非欧空间的图数据下进行卷积操作成为了可能。以此为基础，国内外出现了一系列的图卷积神经网络。2．基于卷积定理的GCN谱卷积神经网络ADDINEN.CITE<EndNote><Cite><Author>Bruna</Author><Year>2013</Year><RecNum>8</RecNum><DisplayText><styleface="superscript">[7]</style></DisplayText><record><rec-number>8</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619058748">8</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Bruna,Joan</author><author>Zaremba,Wojciech</author><author>Szlam,Arthur</author><author>LeCun,Yann</author></authors></contributors><titles><title>Spectralnetworksandlocallyconnectednetworksongraphs</title><secondary-title>arXivpreprintarXiv:1312.6203</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1312.6203</full-title></periodical><dates><year>2013</year></dates><urls></urls></record></Cite></EndNote>[\o"Bruna,2013#8"7]（SpectralCNN）是最早提出在图数据上构建卷积神经网络的方法。从名称上能看出来，利用CNN的思想在网路的每一层加入卷积算子，并借以损失函数使用梯度更新学习卷积核。神经网络由多层结构组成。SpectralCNN第m层结构式如下：X其中，p是输入特征维度，q是输出特征维度，Xim∈Rn用于表示图上的节点在第m层的第i个特征，Fi,jm卷积核被SpectralCNN直接应用于谱空间的输入信号。卷积定理用于完成节点间各种信息的聚合。然后利用非线性激活函数对聚合结果进行处理。最后形成多层神经网络。SpectralCNN虽然拥有和CNN相同的参数共享特性，但没实现我们所期望的局部性，即某一层节点所聚合的信息并不完全来自邻近节点信息，使得网络的结构信息没有被充分利用。使用图卷积神经网络处理处理图数据的目的即是期望可以利用网络的结构信息刻画节点信息，然而SpectralCNN并不满足这一条件。为了更好地利用网络结构，MikaelHenaff等人ADDINEN.CITE<EndNote><Cite><Author>Henaff</Author><Year>2015</Year><RecNum>9</RecNum><DisplayText><styleface="superscript">[8]</style></DisplayText><record><rec-number>9</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619058823">9</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Henaff,Mikael</author><author>Bruna,Joan</author><author>LeCun,Yann</author></authors></contributors><titles><title>Deepconvolutionalnetworksongraph-structureddata</title><secondary-title>arXivpreprintarXiv:1506.05163</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1506.05163</full-title></periodical><dates><year>2015</year></dates><urls></urls></record></Cite></EndNote>[\o"Henaff,2015#9"8]提出了带有平滑性约束的差值卷积算子，实现了卷积神经网络局部化的基础上又降低了参数的个数。此外，XuB.等人又提出小波神经网络ADDINEN.CITE<EndNote><Cite><Author>Xu</Author><Year>2019</Year><RecNum>10</RecNum><DisplayText><styleface="superscript">[9]</style></DisplayText><record><rec-number>10</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619058932">10</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Xu,Bingbing</author><author>Shen,Huawei</author><author>Cao,Qi</author><author>Qiu,Yunqi</author><author>Cheng,Xueqi</author></authors></contributors><titles><title>Graphwaveletneuralnetwork</title><secondary-title>arXivpreprintarXiv:1904.07785</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1904.07785</full-title></periodical><dates><year>2019</year></dates><urls></urls></record></Cite></EndNote>[\o"Xu,2019#10"9]（GWNN，GraphWaveletNeuralNetwork）用于代替傅里叶变换进行卷积定理的新方法。在GWNN小波神经网络中，小波变换定义了一种全新的方式将图信号从节点域转至谱域ADDINEN.CITE<EndNote><Cite><Author>Hammond</Author><Year>2011</Year><RecNum>11</RecNum><DisplayText><styleface="superscript">[10]</style></DisplayText><record><rec-number>11</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619059011">11</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Hammond,DavidK</author><author>Vandergheynst,Pierre</author><author>Gribonval,Rémi</author></authors></contributors><titles><title>Waveletsongraphsviaspectralgraphtheory</title><secondary-title>AppliedandComputationalHarmonicAnalysis</secondary-title></titles><periodical><full-title>AppliedandComputationalHarmonicAnalysis</full-title></periodical><pages>129-150</pages><volume>30</volume><number>2</number><dates><year>2011</year></dates><isbn>1063-5203</isbn><urls></urls></record></Cite></EndNote>[\o"Hammond,2011#11"10]。上文介绍的傅里叶变换中，使用拉普拉斯矩阵的特征向量作为变换基底，在小波网络中，我们使用Ψs=ψs1,ψs2,⋯,ψΨ其中：G对角矩阵Gs的元素为特征值经过gs处理得到。由于gs函数的存在，可以使用不同的g以ΨsΨ其中：GGWNN作者指出ADDINEN.CITE<EndNote><Cite><Author>Hammond</Author><Year>2011</Year><RecNum>11</RecNum><DisplayText><styleface="superscript">[10]</style></DisplayText><record><rec-number>11</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619059011">11</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Hammond,DavidK</author><author>Vandergheynst,Pierre</author><author>Gribonval,Rémi</author></authors></contributors><titles><title>Waveletsongraphsviaspectralgraphtheory</title><secondary-title>AppliedandComputationalHarmonicAnalysis</secondary-title></titles><periodical><full-title>AppliedandComputationalHarmonicAnalysis</full-title></periodical><pages>129-150</pages><volume>30</volume><number>2</number><dates><year>2011</year></dates><isbn>1063-5203</isbn><urls></urls></record></Cite></EndNote>[\o"Hammond,2011#11"10]小波变换相比于傅里叶变换，有诸多优秀的性质：拉普拉斯矩阵的特征分解成本很高，而小波变换的底部可以直接用切比雪夫多项式来近似小波变换基底具有我们所期望的局部性局部性可使小波变换基底构成的矩阵稀疏化，可大大降低ΨsGWNN在gs函数中使用热核函数，通过使用不同的g综上，通过小波变换实现节点域到谱域转换的神经网络结构定义为：X可以看出，小波神经网络式（2-11）仅通过将式（2-6）傅里叶变换的SpectralCNN网络中的U替换为Ψs、U⊤替换为除了小波神经网络这样通过替换傅里叶变换基底的方式实现局部性、简化模型的操作，还有些方式同过参数化卷积核进而实现局部化：如切比雪夫网络ADDINEN.CITE<EndNote><Cite><Author>Defferrard</Author><Year>2016</Year><RecNum>13</RecNum><DisplayText><styleface="superscript">[11]</style></DisplayText><record><rec-number>13</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619060882">13</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Defferrard,Michaël</author><author>Bresson,Xavier</author><author>Vandergheynst,Pierre</author></authors></contributors><titles><title>Convolutionalneuralnetworksongraphswithfastlocalizedspectralfiltering</title><secondary-title>arXivpreprintarXiv:1606.09375</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1606.09375</full-title></periodical><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>[\o"Defferrard,2016#13"11]（ChebyNet）。切比雪夫网络：对于式子（2-5），为便于网络学习，可以使用对角矩阵gθ代替向量UTyx在（12）中，gθ常常是需要进行学习的带有参数的卷积核，例如在谱卷积神经网络中，gθ为一个具有n个参数的对角矩阵。然而，切比雪夫网络（CheByNet）对g其中：Λθk为需要学习的参数，Tk为切比雪夫多项式，In∈RT其中：T0x令归一化后的拉普拉斯矩阵为：L=X切比雪夫网络避免了拉普拉斯矩阵的特征分解。其具有当且仅当节点i和j满足k-hop可达性时，Li,jK≠0的性质，当K比较小时，易得切比雪夫网络具有局部性。其参数复杂度也由O(n×p×q)为了使GCN在图的半监督学习中发挥重要作用，Kipf等人ADDINEN.CITE<EndNote><Cite><Author>Kipf</Author><Year>2016</Year><RecNum>6</RecNum><DisplayText><styleface="superscript">[5]</style></DisplayText><record><rec-number>6</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619056580">6</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Kipf,ThomasN</author><author>Welling,Max</author></authors></contributors><titles><title>Semi-supervisedclassificationwithgraphconvolutionalnetworks</title><secondary-title>arXivpreprintarXiv:1609.02907</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1609.02907</full-title></periodical><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>[\o"Kipf,2016#6"5]简化了切比雪夫网络，提出了一阶GCN，Kipf等人设K=2和λmax＝2，那么方程（16）可以写成如下：X在图的半监督学习场景中，很少有标记数据。为了避免模型的过拟合，Kipf等人将模型参数约束为θ=θX其中：A=A+切比雪夫网络和一阶GCN将核心放在在参数化卷积核。虽然这些方法都是从谱空间来讨论的。然而，从节点域角度它们都包括了定义节点相关性的聚合函数，切比雪夫网络以拉普拉斯矩阵多项式为聚合函数，一阶GCN以式（18）为聚合函数。他们的输出结果表示在聚合函数下每个节点及其相邻节点的加权，可以看作是谱方法与空间方法之间的桥梁。除谱方法外，还有些工作直接着眼于从节点域直接定义聚合函数实现图卷积。1.2空间方法图卷积神经网络以上方法都是从卷积定理出发，在谱域定义图卷积。空间方法的目标是从节点域开始，通过定义聚合函数来聚合每个中心节点及其相邻节点。切比雪夫网络和Kipf所定义的图卷积神经网络在某种程度上也是间接定义了节点域聚合函数。受此启发，最近的一些著作直接从节点域通过注意机制或递归神经网络学习聚合函数。此外，一些著作从空间的角度描述了图卷积神经网络的总体框架，阐释了图们卷积神经网络的内在机制。1．通用框架通用框架的定义指出了图卷积网络的核心问题，为现有工作提供了一个比较分析平台。两篇论文定义了图卷积网络的一般框架。其中，混合卷积网络（MoNet）ADDINEN.CITE<EndNote><Cite><Author>Monti</Author><Year>2017</Year><RecNum>76</RecNum><DisplayText><styleface="superscript">[12]</style></DisplayText><record><rec-number>76</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619071900">76</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Monti,Federico</author><author>Boscaini,Davide</author><author>Masci,Jonathan</author><author>Rodola,Emanuele</author><author>Svoboda,Jan</author><author>Bronstein,MichaelM</author></authors></contributors><titles><title>Geometricdeeplearningongraphsandmanifoldsusingmixturemodelcnns</title><secondary-title>ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition</secondary-title></titles><pages>5115-5124</pages><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[\o"Monti,2017#76"12]通过定义映射函数，将每个节点的局部结构映射到一个大小相同的向量上。消息传播网络（MPNNs）ADDINEN.CITE<EndNote><Cite><Author>Gilmer</Author><Year>2017</Year><RecNum>19</RecNum><DisplayText><styleface="superscript">[13]</style></DisplayText><record><rec-number>19</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619061457">19</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Gilmer,Justin</author><author>Schoenholz,SamuelS</author><author>Riley,PatrickF</author><author>Vinyals,Oriol</author><author>Dahl,GeorgeE</author></authors></contributors><titles><title>Neuralmessagepassingforquantumchemistry</title><secondary-title>InternationalConferenceonMachineLearning</secondary-title></titles><pages>1263-1272</pages><dates><year>2017</year></dates><publisher>PMLR</publisher><isbn>2640-3498</isbn><urls></urls></record></Cite></EndNote>[\o"Gilmer,2017#19"13]基于节点间的信息传播聚合提出了一个通用框架。由于图数据不满足平移不变性，在图上定义一个新的坐标系，并将图上的节点在新的坐标系下转化为一组低维向量。同时，混合卷积网络定义了一组权函数，作用于以节点为中心的所有相邻节点。它的输入是节点间关系的表示，输出是通过权函数的向量。混合卷积网络为每个节点获得相同大小的向量表示：D其中，Nx表示x的周围临近点所组成的集合，fy表示节点y在信号f上的取值，ux,yf其中，{g(j)}与混合卷积网络不同，消息传播网络指出图卷积的核心是定义节点间的聚合函数。以聚合函数为例，将每个节点表示为周围节点与自身的信息叠加，提出了一种图卷积网络的通用框架。消息传播网络分为两个步骤。首先，将聚合函数应用于每个节点及其相邻节点，得到节点的局部结构表达式。然后，将更新函数应用到其自身和局部的结构表达式中，得到当前节点的新表达式。m其中，hxt,表示第t步节点x的隐层表示。ex,y表示节点x与节点y之间连边的特征。Mt表示第t步聚合函数。mxt+1在上述方法中，定义在空间框架中，不再依赖于拉普拉斯矩阵。设计学习聚合函数的神经网络可以使模型更加灵活，适应各种实际任务。2.基于聚合函数的图卷积神经网络图神经网络（GNNs）是第一个在图上建立神经网络的模型ADDINEN.CITE<EndNote><Cite><Author>Scarselli</Author><Year>2008</Year><RecNum>92</RecNum><DisplayText><styleface="superscript">[14]</style></DisplayText><record><rec-number>92</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619184251">92</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Scarselli,Franco</author><author>Gori,Marco</author><author>Tsoi,AhChung</author><author>Hagenbuchner,Markus</author><author>Monfardini,Gabriele</author></authors></contributors><titles><title>Thegraphneuralnetworkmodel</title><secondary-title>IEEEtransactionsonneuralnetworks</secondary-title></titles><periodical><full-title>IEEEtransactionsonneuralnetworks</full-title></periodical><pages>61-80</pages><volume>20</volume><number>1</number><dates><year>2008</year></dates><isbn>1045-9227</isbn><urls></urls></record></Cite></EndNote>[\o"Scarselli,2008#92"14]。在图神经网络中，聚合函数被定义为递归函数。每个节点以周围节点和连接边作为源信息更新自己的表达式。h其中lx表示节点x的标签。lc0[x]表示x连边的标签。x邻居节点的标签为lne[x]。hne[x]为x邻居节点上的一个时间步的表达。fwo近年来，注意机制引起了广泛的关注。图形注意网络（GAT）ADDINEN.CITE<EndNote><Cite><Author>Veličković</Author><Year>2017</Year><RecNum>71</RecNum><DisplayText><styleface="superscript">[15]</style></DisplayText><record><rec-number>71</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619071564">71</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Veličković,Petar</author><author>Cucurull,Guillem</author><author>Casanova,Arantxa</author><author>Romero,Adriana</author><author>Lio,Pietro</author><author>Bengio,Yoshua</author></authors></contributors><titles><title>Graphattentionnetworks</title><secondary-title>arXivpreprintarXiv:1710.10903</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1710.10903</full-title></periodical><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[\o"Veličković,2017#71"15]通过注意机制定义了聚合函数。从图注意力网络起，基于聚合函数的图卷积神经网络开始越来越多的依照节点之间的特征定义节点间的权重，而非一开始依赖结构信息。再使得准确率提高的同时，这也要求模型同时加载整个网络的全部节点。使得这些模型很难在大规模的网络结构上使用。因此，Hamilton等人ADDINEN.CITE<EndNote><Cite><Author>Hamilton</Author><Year>2017</Year><RecNum>89</RecNum><DisplayText><styleface="superscript">[16]</style></DisplayText><record><rec-number>89</rec-number><foreign-keys><keyapp="EN"db-id="zdvt9xwz529rflewvf4psws0ax9wdwaxpr00"timestamp="1619097945">89</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Hamilton,WilliamL</author><author>Ying,Rex</author><author>Leskovec,Jure</author></authors></contributors><titles><title>Inductiverepresentationlearningonlargegraphs</title><secondary-title>arXivpreprintarXiv:1706.02216</secondary-title></titles><periodical><full-title>arXivpreprintarXiv:1706.02216</full-title></periodical><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[\o"Hamilton,2017#89"16]提出了图采样聚合网络（GraphSAGE），该模型仅考虑节点周围被随机选中的采样节点而非所有临近节点。将原GCN由全图训练的方式改为以节点为中心的小批量训练方式。这可使得我们通过分布式系统，训练极大规模的图数据网络。我们知道，在GCN中，在第（k+1）层的特征只与他的邻居在前k层的特征有关，这也是我们一直期待实现得局部特征所带来的性质。因此，我们待计算节点在第k层的特征，仅与其自己的k阶子图有关。我们仅需局部考虑该节点的子图，便可计算该节点的特征。然而这又会带来新的问题：（1）子图节点数会呈指数增长；（2）真是世界图数据节点度呈现幂律分布，会存在超级节点（即某些节点的度会远高于其他节点）。这些问题使得我们求解遍历子图的时间代价、模型训练代价、存储代价会变得十分不可控。图2-1GraphSAGE示例和聚合方法的可视化说明为此，GraphSAGE使用了非常自然的采样邻居策略：设每个待计算节点在第K层的邻居采样率为Sk（为GraphSAGE超参数，可自行调节），即每个节点采样的一阶邻居数不能超过Sk，即对于一个两层的网络，S1=5，S2=3，总采样的节点总数不会超过1+1x5+5x3=21个。如上图所示，红色节点是目标节点，图采样聚合算法随机采样后，通过聚合函数聚合被采样的节点，最后，更新红色目标节点。当选择某节点作为采样节点时，图采样可以给出多种采样形式：均匀聚集、最大聚集、长短时记忆网络聚集（LSTM）。均匀聚合是以采样节点的平均值为结果。最大聚合是以节点的最大值为聚合结果。LSTM网络聚合是将要聚合的相关节点输入LSTM网络，并将网络输出作为聚合结果。参考文献[1]Reymond,Jean-Louis.TheChemicalSpaceProject[J].AccountsofChemicalResearch,2015,48(3).[2]中国政府网.国务院印发《新一代人工智能发展规划》[J].通信世界,2017,304(08):8-8.[3]吴晨晖.基于图卷积神经网络的人脸表情识别研究[D].武汉科技大学,2019.[4]徐冰冰,岑科廷,黄俊杰,etal.图卷积神经网络综述[J].计算机学报,2020,43(05):755-780.[5]KipfTN,WellingM.Semi-supervisedclassificationwithgraphconvolutionalnetworks[J].arXivpreprintarXiv:1609.02907,2016.[6]ShumanDI,NarangSK,FrossardP,etal.Theemergingfieldofsignalprocessingongraphs:Extendinghigh-dimensionaldataanalysistonetworksandotherirregulardomains[J].IEEEsignalprocessingmagazine,2013,30(3):83-98.[7]BrunaJ,ZarembaW,SzlamA,etal.Spectralnetworksandlocallyconnectednetworksongraphs[J].arXivpreprintarXiv:1312.6203,2013.[8]HenaffM,BrunaJ,LecunY.Deepconvolutionalnetworksongraph-structureddata[J].arXivpreprintarXiv:1506.05163,2015.[9]XuB,ShenH,CaoQ,etal.Graphwaveletneuralnetwork[J].arXivpreprintarXiv:1904.07785,2019.[10]HammondDK,VandergheynstP,GribonvalR.Waveletsongraphsviaspectralgraphtheory[J].AppliedandComputationalHarmonicAna