基于对比学习的图表示学习研究综述

基于对比学习的图表示学习研究综述1对比学习与图表示学习基础对比学习的核心思想是通过构造正负样本对，让模型学习到同类样本的相似性与异类样本的差异性，其本质是在特征空间中最大化正样本对的互信息、最小化负样本对的互信息。早期对比学习主要应用于计算机视觉领域，通过图像裁剪、翻转、颜色扰动等数据增强方式构造不同视图，让模型学习到图像的不变性特征。而图作为一种描述实体与实体间关系的非欧几里得数据结构，其不规则性、排列不变性、结构依赖性等特点，使得传统的对比学习方法无法直接迁移，也催生了图对比学习这一交叉研究方向。图表示学习的目标是将图中的节点、边甚至整个图映射到低维稠密向量空间，同时保留图的拓扑结构、节点属性、语义关系等核心信息，以便后续完成节点分类、链路预测、图分类等下游任务。传统图表示学习方法可分为三类：基于矩阵分解的方法，如拉普拉斯特征映射、LINE，通过分解图的邻接矩阵或相似度矩阵得到节点表示，但存在计算复杂度高、难以处理大规模图的问题；基于随机游走的方法，如DeepWalk、Node2vec，通过模拟随机游走生成节点序列，再利用词向量模型学习节点表示，但其依赖手工设计的游走策略，泛化能力较差；基于图神经网络（GNN）的方法，如GCN、GAT，通过邻域聚合机制迭代更新节点表示，成为当前图表示学习的主流框架，但这类方法通常依赖大量标注数据，在半监督、无监督场景下性能受限。对比学习与图表示学习的结合，恰好解决了GNN对标注数据的依赖问题。图对比学习无需人工标注，仅通过图本身的结构与属性信息构造监督信号，让模型学习到鲁棒的图表示，因此在生物信息学、推荐系统、社交网络、知识图谱等标注成本极高的领域得到了广泛应用。2图对比学习的核心构造模块一个典型的图对比学习框架包含四个核心模块：数据增强策略、视图构造方式、对比损失函数、训练策略，不同模块的设计直接决定了模型的最终性能。2.1图数据增强策略图数据增强是构造不同视图的基础，其核心目标是在不改变图核心语义的前提下，生成语义一致的正样本对。与图像数据的标准化增强不同，图数据增强需要兼顾结构与属性两个维度，常见的增强方法包括：结构层面增强：最常用的是边扰动，即随机删除或添加一定比例的边，这种方法实现简单，但过度扰动可能破坏图的核心结构，例如在分子图中，删除一条化学键可能完全改变分子的化学性质。其次是子图采样，通过随机游走或节点采样从原图中提取一个子图作为另一个视图，这种方法更适合大规模图训练，但需要保证子图能够保留原图的核心语义。还有图扩散，即通过热核扩散、个性化PageRank等方式将原图的离散邻接矩阵转换为平滑的相似度矩阵，相当于为图添加全局结构信息，适合处理稀疏图。属性层面增强：主要包括属性掩码，即随机掩盖部分节点的属性特征，让模型学习到利用结构信息补全属性的能力，这种方法在属性信息冗余的场景下效果较好。其次是属性扰动，即向节点属性中添加高斯噪声或者对属性进行线性变换，增强模型对属性噪声的鲁棒性。对于包含文本属性的图，还可以使用同义词替换、句子重写等文本增强方式。自适应增强策略：传统的固定比例增强策略无法适配不同结构的图，例如稠密图和稀疏图适合的边删除比例差异极大，因此近年来研究者提出了一系列自适应增强方法，基于节点的度、中心性等结构特征动态调整每个节点的扰动概率，或者通过强化学习自动搜索最优的增强策略组合，进一步提升了增强的有效性。2.2对比视图构造范式根据对比层级的不同，图对比学习的视图构造可分为三类范式：节点级对比：同一节点在不同增强视图下的表示作为正样本对，不同节点的表示作为负样本对。这是最常见的范式，适用于节点分类、链路预测等节点级下游任务。例如MoCo在图上的迁移版本GraphMoCo，就是通过动量编码器生成不同视图下的节点表示，维护一个大型负样本队列提升对比效率。上下文级对比：将节点与其所在的上下文环境（如邻居子图、图的全局表示）作为正样本对，本质是让节点表示捕捉到全局结构信息。典型代表是InfoGraph，通过最大化节点表示与整个图的全局表示之间的互信息，学习到既包含局部结构又包含全局信息的节点表示。这类范式适合需要全局信息的任务，例如异常检测中需要识别节点与全局结构的偏离程度。图级对比：同一图在不同增强视图下的全局表示作为正样本对，不同图的表示作为负样本对，主要适用于图分类、图相似度计算等图级任务。例如在分子属性预测任务中，对同一分子的分子图进行不同增强，让模型学习到分子的不变性特征，不需要分子属性标注就能预训练出通用的分子表示。2.3对比损失函数损失函数的作用是量化正样本对的相似性与负样本对的差异性，常用的损失函数包括：InfoNCE损失：是当前图对比学习中应用最广泛的损失，其形式为对数softmax损失，将正样本对的相似度作为分子，所有正负样本对的相似度之和作为分母，优化目标是最大化该值的对数期望。InfoNCE的性能与负样本数量高度相关，负样本越多，区分正负样本的难度越大，模型学到的表示越鲁棒，但过大的负样本队列会带来额外的内存开销。Triplet损失：由一个锚样本、一个正样本、一个负样本组成三元组，优化目标是让锚样本与正样本的距离小于锚样本与负样本的距离，且至少相差一个边际值。Triplet损失不需要大量负样本，适合负样本难以构造的场景，但需要精心设计三元组的采样策略，避免出现大量容易区分的三元组导致模型收敛缓慢。BYOL损失：是一种无需负样本的对比损失，通过两个不对称的编码器（在线编码器和目标编码器）学习表示，让在线编码器的预测结果逼近目标编码器的输出，仅用正样本对就能完成训练。这类损失解决了InfoNCE依赖大量负样本的问题，降低了内存占用，但需要精心设计动量更新策略，避免模型出现坍塌。SimSiam损失：同样无需负样本，通过停止梯度操作避免模型坍塌，结构比BYOL更简单，仅由两个共享权重的编码器和一个预测头组成，训练效率更高，在多个图数据集上取得了与InfoNCE相当的性能。3图对比学习的主流方法分类根据训练场景与技术路线的不同，当前的图对比学习方法可分为无监督图对比学习、半监督图对比学习、多模态图对比学习、大规模图对比学习四大类。3.1无监督图对比学习无监督图对比学习是研究最成熟的方向，完全不需要标注数据，仅利用图本身的结构与属性信息进行训练。早期代表性工作是DeepGraphInfomax（DGI），首次将互信息最大化引入图表示学习，通过最大化节点表示与图全局表示的互信息学习节点特征，在多个无监督节点分类任务上超越了之前的随机游走方法。后续的GraphCL进一步规范了图对比学习的框架，系统比较了不同数据增强策略在不同数据集上的效果，提出“适配任务的增强策略”这一核心观点，例如社会网络适合边扰动，而分子图适合属性掩码。针对传统方法容易出现的语义偏移问题，研究者提出了一系列改进方法。例如GCA引入自适应增强机制，根据节点的结构重要性动态调整扰动概率，对中心节点少扰动、边缘节点多扰动，避免破坏图的核心语义。MVGCL构造了多个不同粒度的视图，包括结构视图、属性视图、扩散视图，通过多视图对比让模型学习到更全面的图信息，在稀疏图上的性能提升尤为明显。3.2半监督图对比学习在很多实际场景中，虽然标注数据有限，但仍存在少量标注信息，半监督图对比学习就是将少量标注信息与无监督对比学习结合，进一步提升表示质量。常见的思路有两种：一种是将标注信息融入对比损失，例如SemiGCL将同一类别的标注节点作为额外的正样本对，不同类别的标注节点作为额外的负样本对，让对比学习同时捕捉数据的内在结构与标注的语义信息，在半监督节点分类任务上，仅用10%的标注数据就能达到与全监督GCN相当的性能。另一种是两阶段训练，先通过无监督对比学习预训练模型，再用少量标注数据对模型进行微调，这种方法在数据分布差异较大的跨领域场景中效果更好，例如预训练的分子图表示，仅用少量目标领域的分子标注数据微调，就能快速适配新的分子属性预测任务。还有一类方法利用标注信息优化对比样本构造，例如PairAug根据标注的类别信息生成更难的正样本对与负样本对，避免模型学习到简单的区分模式，提升了模型的泛化能力。半监督图对比学习很好地平衡了标注成本与模型性能，是工业界应用最广泛的技术路线。3.3多模态图对比学习现实中的很多图数据包含多模态信息，例如电商场景的用户-物品图中，用户有文本属性、图像属性，物品有文本描述、图片、视频等信息，知识图谱中实体也包含文本描述、图像等多模态数据，传统的单模态图对比学习无法充分利用这些多模态信息，因此多模态图对比学习成为新的研究热点。多模态图对比学习的核心是对齐不同模态的表示，常见的框架是先分别构造图的结构模态视图与其他模态视图（文本、图像等），然后通过跨模态对比损失对齐同一实体的不同模态表示。例如KGCL针对知识图谱，将实体的结构表示与文本描述表示作为正样本对，通过跨模态对比让结构信息与文本信息相互融合，在实体链接、关系预测任务上性能远超单模态方法。在推荐系统领域，MMGCL结合用户的交互结构图、用户的文本评论、物品的图像信息，通过多模态对比学习捕捉用户的多维度兴趣，缓解了推荐系统的冷启动问题，对于新用户、新物品的推荐准确率提升了20%以上。多模态图对比学习面临的主要挑战是模态异质性问题，不同模态的特征空间差异极大，简单的对比对齐容易导致模态冲突，因此如何设计自适应的模态融合权重、如何处理缺失模态的情况，是当前研究的重点方向。3.4大规模图对比学习随着互联网、物联网的发展，现实中的图规模越来越大，例如社交网络有数十亿节点、数百亿边，传统的图对比学习方法需要存储整张图的邻接矩阵与节点特征，无法处理这类大规模图。大规模图对比学习的核心是解决训练效率与内存开销问题，常见的技术路线包括：基于采样的方法：训练时仅采样一个子图进行对比学习，不需要加载整张图。例如GraphSAINT结合子图采样与对比学习，通过预采样多个子图，每次训练从子图库中选取两个子图进行增强对比，可支持十亿级节点的图训练。但子图采样会丢失全局结构信息，因此通常会结合图扩散、全局表示蒸馏等方法弥补这一缺陷。分布式训练方法：将图数据切分到多个计算节点上，通过分布式通信完成邻域聚合与对比损失计算。例如DGL提出的分布式图对比学习框架，支持数百个GPU并行训练，在淘宝的用户-物品交互图（百亿边）上训练仅需数小时。线性化方法：通过简化GNN的邻域聚合过程，将非线性的GNN转换为线性模型，大幅降低计算复杂度。例如LINEAR-GCL将图卷积转换为矩阵乘法，结合对比学习，训练速度比传统GNN-based的对比方法快10倍以上，同时性能损失不到5%，非常适合超大规模图的预训练。4图对比学习的典型应用场景图对比学习的无监督特性与鲁棒性，使其在多个领域得到了落地应用。在生物信息学领域，分子图的标注需要大量湿实验，成本极高，图对比学习成为分子表示学习的主流技术。例如谷歌的DeepMind利用图对比学习预训练了超过1亿个分子的表示，在药物毒性预测、分子亲和力预测任务上，仅用少量标注数据微调就超过了传统的基于专家特征的方法，大幅加速了新药研发的速度。在蛋白质结构预测领域，通过对比学习预训练蛋白质的氨基酸残基图表示，能够提升蛋白质结构预测的准确性，尤其是对于没有同源结构的蛋白质，性能提升更为明显。在推荐系统领域，用户-物品交互图的天然稀疏性与冷启动问题一直是行业痛点，图对比学习通过数据增强构造更多的正样本对，能够充分挖掘用户的潜在兴趣。例如美团的推荐系统引入多视图图对比学习，结合用户的地理位置信息、交互历史、搜索记录等构造多个视图，有效缓解了数据稀疏问题，外卖推荐的点击率提升了12%，商家的转化率提升了8%。针对冷启动用户，通过对比学习学习到用户的通用兴趣表示，新用户的推荐准确率提升了30%以上。在异常检测领域，网络攻击、金融欺诈等异常样本数量极少，标注难度大，图对比学习能够学习到正常样本的分布模式，通过计算样本表示与正常分布的偏离程度识别异常。例如银行的交易异常检测系统，基于用户的交易关系图进行对比预训练，能够识别出传统规则系统无法发现的新型欺诈模式，欺诈检测的召回率提升了25%，误判率降低了40%。在网络安全领域，基于通信图的对比学习能够检测出零日攻击，即使攻击模式从未出现在训练数据中，也能通过结构异常识别出来。在知识图谱领域，知识图谱的补全与实体链接任务需要大量标注数据，图对比学习通过实体结构信息与文本信息的对比对齐，能够学习到更鲁棒的实体表示。例如百度的文心知识图谱，利用大规模图对比学习预训练实体表示，在实体链接任务上的准确率超过了95%，知识图谱补全的命中率提升了18%，支撑了搜索、问答等多个下游业务。5图对比学习的挑战与未来研究方向尽管图对比学习已经取得了大量研究成果，但仍存在多个亟待解决的挑战，也是未来的主要研究方向：增强策略的泛化性问题：当前的增强策略大多是针对特定任务手工设计的，不同数据集、不同任务需要的最优增强策略差异极大，缺乏通用的增强策略设计理论。未来需要研究更通用的自适应增强策略，能够根据图的结构特征、任务类型自动选择最优的增强方式，甚至实现增强策略的端到端学