基于噪声对比估计的图神经网络自监督学习中的正负样本构造与判别性增强研究综述

基于噪声对比估计的图神经网络自监督学习中的正负样本构造与判别性增强研究综述一、噪声对比估计与图自监督学习的基础逻辑关联噪声对比估计（NoiseContrastiveEstimation,NCE）的核心思想是将密度估计问题转化为二分类任务，通过区分真实样本与噪声样本实现模型优化，其损失函数的本质是最大化真实样本与噪声样本的对数似然比，为无监督场景下的表示学习提供了可扩展的优化框架。在图结构数据中，节点、边、子图等多粒度实体的非欧几里得分布特性使得传统的自监督学习范式面临特征对齐难、结构依赖性建模复杂等挑战，而NCE的二分类判别逻辑与图数据的邻域依赖特性天然契合：图上的相似性度量（如结构近邻、语义关联）可直接作为“正样本对”的构造依据，随机采样的不相关实体则作为“负样本对”，模型通过区分两类样本学习到蕴含结构与语义信息的低维表示。早期将NCE引入图神经网络（GraphNeuralNetwork,GNN）的工作主要围绕节点级任务展开，如DeepWalk、Node2Vec等基于随机游走的方法本质上是将“中心节点-共现邻居”作为正样本对，负样本采用全局随机采样，通过NCE损失优化节点嵌入，这类方法的局限性在于样本构造完全依赖结构邻接关系，未考虑节点属性语义，且负样本采样的随机性容易引入假阴性样本。随着GNN架构的发展，基于NCE的图自监督学习（GraphSelf-SupervisedLearning,GSSL）框架逐渐形成“样本构造-对比学习-判别性增强”的三段式流程，其中正负样本的构造质量直接决定了对比信号的有效性，而判别性增强机制则负责放大样本对之间的差异，避免模型陷入平凡解。二、图自监督学习中正样本构造的主流范式正样本构造的核心目标是生成与原样本在语义或结构上具有一致性的“视图”，使得模型能够学习到数据的不变性特征。目前基于NCE的GSSL中，正样本构造主要分为三类范式：结构扰动类正样本：通过对原图结构进行可控修改生成正样本视图，常见操作包括随机边删除、随机节点掩码、子图采样、边重连等。例如GraphCL方法随机对图进行四种扰动（节点掩码、边删除、属性掩码、子图采样）中的任意两种，生成两个视图作为正样本对，假设同一图的不同扰动视图语义一致。这类方法的关键在于扰动强度的控制：扰动过弱会导致正样本对差异过小，模型难以学习到有效特征；扰动过强则可能破坏原图的核心语义，导致正样本标签噪声。后续工作进一步提出自适应扰动策略，如基于节点重要性的掩码机制，对核心节点保留更高的掩码概率，或基于结构熵的扰动强度自适应调整，保证扰动后视图与原图的语义相似度维持在合理区间。属性增强类正样本：针对节点/边属性进行修改生成正样本，适用于属性图场景。常见操作包括特征掩码、特征加噪、特征变换等，如GCA方法根据节点度和特征稀疏度自适应调整属性掩码概率，对度低、特征稀疏的节点施加更少的掩码，避免破坏其有限的语义信息。还有工作利用生成模型生成属性增强视图，如通过VAE学习节点属性的分布，采样生成与原节点属性相似的新特征作为正样本，这类方法能够生成更具多样性的正样本，但也引入了生成模型的训练开销。语义匹配类正样本：不依赖显式的结构或属性扰动，而是基于数据的内在语义关联构造正样本。这类方法突破了“同一实体的不同视图”的限制，将语义相似的不同实体也作为正样本对，例如基于知识图谱中的实体对齐关系构造跨图谱的正样本，或基于节点的文本属性相似度（如论文标题的语义相似度）构造跨图正样本。还有工作利用对比学习本身的中间结果动态构造正样本，如MoCo系列方法在图上的扩展，将队列中历史编码的与当前样本相似度高于阈值的样本也作为正样本，显著扩大了正样本的来源，缓解了单视图正样本多样性不足的问题。三、负样本构造的挑战与优化方向负样本构造的目标是提供与正样本语义差异足够大的“噪声”样本，使得模型能够有效区分相似与不相似实体，但图数据的结构依赖性和长尾分布特性导致负样本采样面临两个核心挑战：一是假阴性问题，即随机采样的负样本实际上与正样本语义相似，被错误赋予负标签，导致模型学习到错误的判别边界；二是负样本信息量不足问题，简单的随机负样本与正样本差异过大，模型很容易区分，无法提供有效的优化信号，导致模型收敛慢、表示判别性不足。针对这两个问题，现有研究主要从以下方向优化负样本构造：难负样本采样：优先选择与正样本语义相近但确实不属于正样本的“难负样本”，这类样本能够为模型提供更丰富的梯度信号，提升表示的判别性。早期的难负样本采样方法基于结构相似度筛选，如选择与正样本结构距离为2-3跳的节点作为负样本，这类节点比随机采样的节点与正样本更相似，但又不是直接邻接的正样本。后续工作进一步结合动态相似度计算，如在训练过程中实时计算样本编码的余弦相似度，选择相似度排名前K%但未被标记为正样本的样本作为难负样本。但难负样本采样也存在引入假阴性的风险，因此很多方法采用“难负样本退火”策略，在训练初期使用简单负样本保证模型稳定收敛，随着训练进行逐渐提高难负样本的比例。假阴性缓解机制：一方面通过多粒度关联判断减少假阴性标签，如结合结构邻接、属性相似度、标签信息（如果有少量标注）等多维度信息判断样本是否为真正的负样本，对于相似度高于阈值的样本即使不是结构邻接也不标记为负样本；另一方面采用软负样本标签，不再使用0/1硬标签，而是根据样本与正样本的相似度赋予连续的负样本权重，相似度越高负样本权重越低，缓解假阴性带来的惩罚误差。还有工作利用多视图一致性过滤假阴性，即只有在多个视图下都与正样本相似度低的样本才被标记为负样本，提高负样本标签的可靠性。非采样类负样本构造：为了避免采样带来的各类问题，部分工作提出不需要显式采样的负样本构造方法。一类是基于批量内样本的互斥利用，将同一批量内的其他样本都作为当前样本的负样本，即“批量内负样本”，这种方法不需要额外采样，计算效率高，但受批量大小限制，负样本数量有限，容易出现批量内样本语义相似导致的假阴性问题；另一类是基于生成模型的负样本生成，如利用GAN生成与正样本分布接近但语义不同的负样本，这类方法能够生成高质量的难负样本，但训练难度较大，容易出现模式崩溃问题。还有工作将图的全局结构信息作为负样本，如将图的拉普拉斯矩阵的低秩分量作为负样本信号，避免了显式的样本采样过程。四、样本判别性增强的核心技术路径即使构造了高质量的正负样本对，对比学习模型仍然容易出现“表示坍缩”问题，即所有样本的编码都趋向于一致，模型无法区分不同样本的语义差异。因此需要引入判别性增强机制，放大正负样本对的信号差异，提升模型学习到的表示的区分度。目前主流的判别性增强技术分为三类：损失函数改进：在基础NCE损失（InfoNCE）的基础上进行调整，强化判别信号。例如加权InfoNCE损失，为不同难度的正负样本对赋予不同的权重，难正样本和难负样本的权重更高，使得模型更关注难区分的样本对；还有对齐-均匀性正则化的损失函数，在InfoNCE损失的基础上增加两个正则项：对齐项约束正样本对的表示距离尽可能小，均匀性约束所有样本的表示在嵌入空间尽可能均匀分布，从损失函数层面避免表示坍缩。针对图的多粒度特性，还有工作提出层次化对比损失，分别在节点级、子图级、图级构造对比损失，让不同粒度的表示都具有判别性，实现多尺度的判别性增强。对比视图的差异化设计：通过扩大正样本视图的一致性和负样本视图的差异性增强判别性。对于正样本对，采用多视图一致性约束，即同一实体的多个增强视图的编码不仅要相互接近，还要在不同GNN编码器、不同任务头的输出上保持一致，增加正样本对的信号强度；对于负样本对，采用视图特异性设计，让不同负样本在不同视图下的差异被放大，例如对不同负样本采用不同的扰动策略，使得负样本在嵌入空间的分布更分散，避免与正样本的分布重叠。还有工作引入对抗性视图生成，通过对抗训练生成能够最大化模型判别难度的正负样本对，即“对抗性正样本”和“对抗性负样本”，让模型在更难的判别任务中学习到更鲁棒的表示。表示空间的约束与校准：对模型输出的嵌入空间施加约束，提升表示的判别性。常见的方法包括温度系数自适应调整，InfoNCE损失中的温度系数控制着对比信号的尖锐程度，固定的温度系数难以适配不同训练阶段和不同数据集的需求，自适应温度调整方法根据当前批量内样本的相似度分布动态调整温度，当样本区分度高时降低温度放大差异，区分度低时升高温度避免模型过拟合；还有表示归一化方法，如L2归一化、中心化、标准化等操作，避免嵌入空间中少数样本的模长过大主导损失计算，保证所有样本的贡献均衡；另外，利用辅助任务校准表示空间，如将少量标注数据的有监督损失作为辅助任务，或者引入节点属性重构、边预测等传统自监督任务作为辅助约束，让对比学习得到的表示同时满足结构判别性和属性重构能力，进一步提升表示的实用性。五、现有研究的局限与未来方向当前基于NCE的GSSL在正负样本构造和判别性增强方面已经取得了大量成果，但仍然存在三个核心局限：一是样本构造的泛化性不足，现有方法大多针对特定图类型（如同构图、属性图）或特定任务（节点分类、图分类）设计，跨领域、跨任务的通用样本构造策略仍然缺失，例如在异构图中，不同类型的节点和边的语义差异大，同一种扰动策略对不同类型实体的语义影响差异显著，难以统一适用；二是样本质量的动态评估机制缺失，现有方法大多采用固定的样本构造策略，无法根据训练过程中模型的状态动态调整样本的选择，当模型已经能够轻松区分当前的正负样本时，仍然使用相同的样本会导致优化信号不足；三是判别性与通用性的平衡问题，过度追求判别性会导致表示过拟合到训练任务，在下游任务上的泛化能力下降，如何在保证表示判别性的同时维持其跨任务的通用性仍然是未解难题。未来研究可从四个方向展开：首先是多模态异构图的统一样本构造框架，融合图结构、文本、图像等多模态信息，针对不同类型的实体设计自适应的样本构造策略，实现异构图上的高效对比学习；其次是闭环式样本生成与评估机制，将样本构造、模型训练、样本质量反馈形成闭环，根据模型的当前表现动态调整正负样本的采样策略和扰动强度，实现“因材施教”式的对比学习