基于自训练与伪标签细化的半监督语义分割中的类别平衡与确认偏差研究综述

基于自训练与伪标签细化的半监督语义分割中的类别平衡与确认偏差研究综述一、半监督语义分割领域的自训练与伪标签技术演进半监督语义分割（Semi-SupervisedSemanticSegmentation,S4）作为缓解像素级标注成本瓶颈的核心技术路径，近年来已从传统的一致性正则化主导范式，逐步转向自训练（Self-Training）与伪标签（Pseudo-Labeling）技术为核心的第二发展阶段。自训练框架的核心逻辑是利用少量标注数据训练初始教师模型，对大量无标注数据生成伪标签，再将混合标注数据用于学生模型训练，通过多轮迭代实现性能增益。早期自训练方法如2019年提出的Self-TrainingwithEntropyMinimization首次验证了该范式在PascalVOC数据集上的有效性，仅使用1/8标注数据即可达到全监督模型90%的性能。伪标签质量是决定自训练性能上限的核心因素，因此伪标签细化技术成为近五年研究的焦点。第一代伪标签细化策略聚焦置信度过滤机制，通过设定固定阈值（如0.9）保留模型预测置信度高于阈值的像素伪标签，直接丢弃低置信度区域。这类方法简单高效，但存在严重的信息损失问题：在Cityscapes等包含大量小目标（如交通灯、警示牌）的数据集上，小类别像素的预测置信度普遍低于阈值，导致90%以上的小类别伪标签被过滤，进一步加剧训练过程中的类别失衡。第二代细化技术引入空间上下文约束，如2021年的Class-AwareSelf-Training提出利用超像素分割结果对伪标签进行平滑，同一超像素内的伪标签需满足类别一致性约束，这类方法能有效降低噪声伪标签比例，但无法解决固有分类偏差带来的系统误差。第三代伪标签细化技术则融合多模型一致性约束，通过多个异构教师模型的预测结果投票生成伪标签，如2023年的EnsemblePseudo-LabelRefinement方法在ADE20K数据集上将伪标签准确率提升了12.7%，但多模型推理带来的计算成本提升了3倍以上，限制了其在大规模场景下的应用。二、类别平衡问题的核心挑战与现有缓解方案类别不平衡是半监督语义分割自训练过程中普遍存在的固有问题，其成因可分为三个层级：第一层级是数据分布本身的固有不平衡，如在自动驾驶场景数据集Cityscapes中，道路类像素占比高达35%，而交通灯类像素占比不足0.2%，天然存在数量级差异；第二层级是伪标签生成过程中的选择性偏差，模型对高频类别学习更充分，预测置信度更高，因此高置信度伪标签中高频类别占比进一步提升，小类别伪标签数量被进一步压缩；第三层级是训练过程中的累积偏差，学生模型在迭代训练中不断拟合占主导的高频类别特征，对小类别的识别能力持续退化，形成“富者越富、穷者越穷”的马太效应。现有类别平衡缓解方案可分为三类：第一类是基于重采样的方法，包括对小类别伪标签过采样和对高频类别伪标签欠采样。如2022年提出的BalancedSelf-Training方法采用类别感知的采样策略，每个训练批次中各类别像素数量保持一致，在PascalVOC1/16标注设置下，将小类别平均交并比（mIoU）提升了8.3%。但这类方法存在明显缺陷：过采样会导致小类别样本重复使用，容易引发过拟合；欠采样则会丢弃大量高频类别有效样本，降低模型对整体场景的建模能力。第二类是基于损失函数加权的方法，通过给小类别损失分配更高的权重，提升模型对小类别错误的关注度。经典的FocalLoss、DiceLoss以及类平衡交叉熵损失都属于这类方法，其中2023年提出的AdaptiveClassWeighting方法会根据每轮伪标签中各类别的数量动态调整权重，在ADE20K数据集上实现了整体mIoU2.1%的提升，且小类别mIoU提升达7.8%。但这类方法对权重参数敏感，权重过高容易导致模型对小类别噪声过度拟合，反而降低整体性能。第三类是基于伪标签生成优化的方法，专门针对小类别设计伪标签增强机制，如2024年提出的Few-ShotPseudo-LabelAugmentation方法利用类别原型匹配技术，为小类别生成额外的高置信度伪标签，在小类别占比不足0.5%的工业缺陷检测数据集上，将小类别识别准确率提升了15.2%，是目前最具潜力的类别平衡解决方案。三、确认偏差问题的形成机制与负面影响确认偏差（ConfirmationBias）是自训练范式中尚未得到充分重视的关键瓶颈，其本质是教师模型的固有错误会通过伪标签传递给学生模型，且在多轮迭代中被持续放大，导致模型最终收敛到错误的局部最优解。该现象最早在2020年被系统观测到：当使用仅包含1/32标注数据的PascalVOC数据集进行多轮自训练时，前两轮模型性能持续提升，但第三轮之后mIoU开始下降，对猫、鸟等易混淆类别的识别错误率上升了20%以上，通过分析伪标签发现，教师模型对这些类别的错误标注比例在迭代中从15%上升到了45%。确认偏差的形成机制可分为三个阶段：第一阶段是初始偏差注入，有限标注数据训练的教师模型本身存在固有分类误差，尤其是在类别边界、遮挡区域和小目标区域的预测错误率较高，这些错误会直接进入伪标签；第二阶段是偏差强化，学生模型在包含错误伪标签的数据集上训练，会学习到错误的特征映射，进一步放大对特定类别的分类偏差，当该学生模型作为下一轮的教师模型时，会生成更多错误伪标签；第三阶段是偏差固化，经过多轮迭代后，模型对错误模式的拟合程度超过对真实模式的学习，最终形成稳定的错误分类器，即使增加标注数据也难以纠正。确认偏差带来的负面影响具有隐蔽性和破坏性：首先，它会导致自训练性能饱和甚至下降，现有研究表明，在标注数据比例低于10%的场景下，60%以上的自训练方法会在3-5轮迭代后出现性能下降，其中确认偏差的贡献占比超过70%；其次，它会导致模型fairness指标恶化，对长尾类别的识别错误率持续上升，在医疗影像分割场景下，确认偏差会导致模型对罕见病变的漏检率提升30%以上，存在严重的安全隐患；最后，它会降低模型的泛化能力，经过多轮偏差放大的模型对分布外样本的适应能力显著下降，在跨域测试集上的性能降幅比无偏差模型高15%-25%。四、类别平衡与确认偏差的耦合关系及联合优化方向类别平衡与确认偏差并非独立问题，而是存在紧密的耦合关系，形成相互放大的恶性循环：一方面，类别不平衡会加剧确认偏差，小类别样本量不足导致模型对小类别的特征学习不充分，伪标签错误率更高，这些错误在迭代中被持续放大，进一步降低小类别性能；另一方面，确认偏差也会加剧类别不平衡，模型对小类别的错误预测会生成大量错误伪标签，导致小类别有效伪标签数量进一步减少，形成“偏差-失衡-更大偏差”的正反馈循环。2023年的实证研究表明，在1/64标注设置的ADE20K数据集上，同时存在类别不平衡和确认偏差的模型，其小类别mIoU比仅存在单一问题的模型低12.1%，充分验证了耦合效应的负面影响。现有联合优化方案仍处于初步探索阶段，主要有三类技术路径：第一类是动态伪标签过滤机制，根据各类别的识别准确率动态调整置信度阈值，对错误率较高的小类别采用更低的阈值以保留更多有效样本，同时对错误率高的样本采用多模型验证机制降低噪声。如2024年提出的DynamicThresholdingwithConfidenceCalibration方法，在Cityscapes1/16标注设置下，同时实现了整体mIoU3.2%的提升和小类别mIoU9.7%的提升，确认偏差导致的错误率下降了18.3%。第二类是因果干预去偏方法，利用因果推断中的反事实推理技术，剥离类别分布和伪标签噪声对模型训练的影响。2023年的CausalSelf-Training方法通过前门调整准则消除伪标签中的偏差分量，在多个基准数据集上验证了同时缓解类别失衡和确认偏差的有效性，其性能超越了仅优化单一问题的方法。第三类是半监督小样本学习融合方法，引入小样本学习中的元学习策略，为小类别学习更鲁棒的特征表示，降低对伪标签的依赖。这类方法在标注数据比例极低（<5%）的场景下表现出显著优势，2025年最新提出的MetaBalancedSelf-Training方法在1/128标注设置的PascalVOC数据集上，比现有SOTA方法性能高出4.8%，是未来最值得关注的研究方向。当前研究仍存在三大空白：一是缺乏统一的理论框架来量化类别平衡与确认偏差的耦合