基于负学习与辅助分类的深度学习模型在噪声标签下的鲁棒训练方法研究综述

基于负学习与辅助分类的深度学习模型在噪声标签下的鲁棒训练方法研究综述深度学习模型在计算机视觉、自然语言处理等领域的突破性进展，高度依赖大规模高质量标注数据集的支撑。然而在实际应用场景中，数据标注过程不可避免会受到标注人员主观偏差、领域知识不足、标注成本限制等因素影响，导致数据集中存在大量错误标注的噪声标签。噪声标签会严重误导模型的参数更新过程，造成模型过拟合于错误标注样本，最终导致模型泛化能力急剧下降。因此，如何提升深度学习模型在噪声标签下的训练鲁棒性，成为当前机器学习领域的核心研究方向之一。负学习与辅助分类相结合的训练范式，通过主动利用噪声标签提供的反向监督信息，同时引入辅助分类机制过滤噪声干扰，为解决噪声标签学习问题提供了全新的技术路径。负学习的基本原理与核心范式负学习（NegativeLearning）的核心思想突破了传统监督学习仅利用正确标签进行正向监督的限制，通过显式建模“样本不属于某一类别”的反向约束，将噪声标签转化为有效的监督信号。在标准交叉熵损失函数中，模型仅被引导向学习样本与标注类别之间的映射关系，当标注类别本身错误时，这种单向引导会直接将模型参数导向错误的优化方向。而负学习通过构造负损失项，强制模型降低对错误标注类别的预测概率，即使标签本身存在错误，“样本不属于标注类别”这一约束仍然能够为模型提供有效的梯度信息。早期负学习方法主要采用硬负约束策略，即直接将噪声标签对应的类别输出概率惩罚至接近0的水平。这类方法通常需要结合噪声标签检测模块，首先通过模型预测置信度、小损失准则等方式识别出潜在的噪声样本，随后对检测出的噪声样本施加负损失约束。例如，有研究提出当模型对某一样本的预测类别与标注类别不一致，且预测置信度高于预设阈值时，判定该样本为噪声样本，此时将损失函数替换为负交叉熵损失，让模型学习“该样本不属于标注类别”的知识。这类硬约束方法在噪声率较低的场景下表现优异，但当噪声率超过30%时，噪声检测模块的准确率会显著下降，容易将部分难分类的正确标注样本误判为噪声样本，进而引入错误的负约束，导致模型性能受损。为解决硬负约束的鲁棒性问题，软负约束范式逐渐成为研究热点。软负约束不再对噪声标签进行二元判定，而是为每个样本的负约束赋予动态权重，权重大小与标签的噪声概率正相关。典型的实现方式包括基于样本自适应权重的负损失、基于标签分布估计的软负监督等。例如，通过贝叶斯估计或元学习方法预测每个标签的噪声概率，将该概率作为负损失项的权重，当标签噪声概率较高时，负损失的权重更大，模型更多地学习反向约束；当标签噪声概率较低时，负损失权重更小，模型仍然以正向学习为主。这种自适应的软约束机制大幅降低了误判带来的负面影响，使得负学习方法在40%-60%的高噪声率场景下依然能够保持稳定的性能。辅助分类机制的设计与噪声过滤能力辅助分类机制是提升噪声标签鲁棒性的另一核心技术，其核心思路是在主分类器之外引入一个或多个辅助分类分支，通过多分支预测结果的一致性校验，实现对噪声标签的精准识别和过滤。辅助分类分支通常具有与主分类器不同的结构特性或数据访问权限，能够从不同视角学习数据的特征表示，从而降低对噪声标签的敏感度。根据辅助分支的构造方式，可将辅助分类机制分为数据增广驱动型、结构异构型和半监督引导型三大类。数据增广驱动型辅助分类是最常用的实现方式，其核心思想是对同一样本进行不同方式的数据增广，将增广后的样本输入共享特征提取器的不同分类头进行预测，通过对比不同增广样本的预测结果一致性判断标签是否存在噪声。例如，在图像分类任务中，对同一张图像分别进行弱增广（随机裁剪、翻转）和强增广（色彩抖动、随机擦除、MixUp等），若弱增广样本的预测结果与标注标签一致，而强增广样本的预测结果与标注标签差异较大，则认为该标签可能存在噪声，在后续训练中降低该样本的损失权重。这类方法充分利用了数据增广带来的特征不变性约束，无需引入额外的模型参数，计算开销较低，尤其适合大规模数据集的训练场景。结构异构型辅助分类机制则通过构造与主分类器结构不同的辅助分类器，利用结构差异带来的决策边界多样性提升噪声检测的准确率。常见的实现方式包括在深度神经网络的中间层插入辅助分类头、使用不同深度或不同架构的模型作为辅助分类器等。由于中间层特征包含更多的低层次细节信息，中间层辅助分类头的决策边界与顶层主分类器存在显著差异，噪声样本通常难以同时满足多层分类头的预测一致性要求，因此通过多层预测结果的投票机制，可以有效过滤掉大部分噪声标签。有研究表明，在ResNet-50模型的第3、第4残差块后分别插入辅助分类头，结合三层分类结果的一致性校验，可以将噪声标签检测的准确率提升15%以上，同时辅助分类头带来的梯度还能够缓解底层特征的梯度消失问题，提升模型的特征学习能力。半监督引导型辅助分类机制则进一步利用无标注数据提升模型的鲁棒性。这类方法通常将数据集划分为标注集和无标注集两部分，主分类器在标注集上进行监督学习，辅助分类器则在无标注集上进行自监督学习或半监督学习，随后利用辅助分类器对标注集样本进行重新预测，若预测结果与原标注标签不一致，则认为该标签为噪声标签。在噪声率极高的场景下，无标注数据中蕴含的真实数据分布信息能够为模型提供更加可靠的监督信号，即使标注集的噪声率达到80%，这类方法依然能够通过无标注数据学习到正确的决策边界。负学习与辅助分类的融合框架与典型算法负学习与辅助分类的融合并非简单的技术叠加，而是需要通过统一的损失函数设计、动态权重调度和协同优化机制，实现两类技术的优势互补。目前主流的融合框架可分为三阶段范式、双路协同范式和元学习调度范式三大类。三阶段范式是最容易落地的融合方案，其训练过程分为噪声检测、负学习预训练、主分类器微调三个阶段。在第一阶段，首先利用辅助分类机制对整个数据集进行噪声标签检测，为每个样本输出噪声概率得分；第二阶段，基于检测得到的噪声概率，对高噪声概率样本施加负学习约束，对低噪声概率样本施加传统的正向交叉熵约束，进行预训练，让模型学习到基本的决策边界；第三阶段，冻结特征提取器的参数，仅使用低噪声概率样本对主分类器的顶层全连接层进行微调，进一步修正决策边界。这类方法的优势是逻辑清晰，各模块职责明确，便于调试和优化，适合工业界落地应用。但该方法的性能高度依赖第一阶段噪声检测的准确率，当噪声分布存在类别不平衡时，容易出现对少数类噪声样本的漏检问题。双路协同范式则实现了负学习与辅助分类的端到端联合训练，无需进行明确的阶段划分。该范式通常设置主分类支路和辅助分类支路两个并行分支，主支路负责学习最终的分类任务，辅助支路负责实时估计每个样本的标签噪声概率。在每一轮训练迭代中，辅助支路首先根据当前批次样本的特征表示和预测结果输出噪声概率，随后主支路根据该噪声概率动态调整正负损失的权重：对于噪声概率高的样本，以负损失为主，引导模型学习反向约束；对于噪声概率低的样本，以正向交叉熵损失为主，引导模型学习正确的类别映射。两个分支通过反向传播实现协同优化，辅助分支的噪声估计精度会随着主支路特征学习能力的提升而不断提高，反过来更精准地指导主支路的损失权重调整，形成正向循环。这类端到端训练方法在多个公开噪声标签数据集上的表现优于传统的三阶段方法，尤其在对称噪声、非对称噪声等多种噪声类型下都表现出更强的适应性。元学习调度范式则引入了元学习器来动态调度负学习与辅助分类的权重比例，进一步提升融合框架的泛化能力。该范式将辅助分类器的输出、当前批次的噪声率估计、模型的训练阶段等信息作为元特征输入到元学习器中，由元学习器实时输出每个样本的正负损失权重以及辅助分类损失的权重系数。元学习器通常在小规模的干净验证集上进行训练，学习如何在不同训练场景下最优地组合负学习和辅助分类的监督信号。有研究表明，通过元学习动态调度的融合框架，在噪声率动态变化的开放场景下，性能比固定权重的融合方法高出20%以上，能够更好地应对真实世界中复杂多变的噪声环境。实际应用场景与性能表现负学习与辅助分类融合的鲁棒训练方法已经在多个实际应用场景中展现出显著的性能优势。在医疗影像诊断领域，由于不同医生的诊断水平存在差异，大规模医疗影像数据集的标注噪声率通常在20%-40%之间，传统深度学习模型在这类数据集上训练得到的模型诊断准确率往往难以满足临床需求。采用负学习与辅助分类融合的方法后，胸部X光片疾病分类模型在30%噪声率的数据集上的AUC值从0.78提升至0.92，接近在干净数据集上训练的模型性能。在自然语言处理的情感分析任务中，用户生成内容的标注噪声率通常高达50%以上，融合方法训练得到的情感分类模型准确率比传统交叉熵训练方法高出18个百分点，有效解决了社交媒体文本标注质量参差不齐的问题。在自动驾驶的目标检测任务中，由于复杂交通场景下的标注难度大，数据集中的boundingbox标注错误率普遍在15%左右，融合负学习与辅助分类的鲁棒训练方法，能够将目标检测的mAP值从0.81提升至0.89，大幅降低了错误标注带来的检测漏检和误检问题。值得注意的是，这类方法并不会带来过高的计算开销，通常仅比传统训练方法增加10%-15%的计算量，完全可以适配大规模工业级训练的需求。当前研究挑战与未来发展方向尽管负学习与辅助分类融合的鲁棒训练方法已经取得了显著进展，但仍存在几个核心挑战有待解决。首先是高噪声率场景下的性能瓶颈问题，当数据集的噪声率超过70%时，现有方法的性能会出现断崖式下降，如何在极端高噪声场景下仍然能够学习到正确的决策边界，是未来研究的重要方向。其次是开放世界噪声标签的适配问题，现有方法大多假设噪声类型是对称噪声或非对称噪声等固定模式，而真实世界中的噪声标签往往呈现出开放集、动态变化、类别相关等复杂特性，如何提升方法对未知噪声类型的泛化能力，是亟需解决的实际问题。第三是轻量化部署问题，当前大多数融合方法需要引入额外的辅助分类分支，增加了模型的参数量和推理开销，如何在不增加推理成本的前提下实现鲁棒训练，是工业界落地的关键需求。未来的研究方向可以从