基于原型对比学习的类增量语义分割方法研究综述

基于原型对比学习的类增量语义分割方法研究综述一、类增量语义分割的核心挑战与原型对比学习的适配逻辑类增量语义分割（Class-IncrementalSemanticSegmentation,CISS）的核心目标是让模型在持续学习新增类别的过程中，既保持对旧类别的分割性能，又能高效适配新类别语义特征，同时避免灾难性遗忘问题。相较于图像分类任务的增量学习，语义分割的像素级预测特性使其面临三重独特困境：一是像素空间的类别分布极不均衡，背景类像素占比通常超过70%，新增类别像素往往稀疏分布在复杂场景中，模型易将新类别像素误判为背景或旧类别；二是新旧类别语义边界存在模糊性，例如新增类别"电动自行车"与旧类别"自行车"在视觉特征上高度相似，像素级特征空间的重叠会导致边界预测混淆；三是旧类别数据访问限制，多数场景下旧类别训练数据因隐私、存储成本等问题无法在增量阶段复用，模型仅能通过少量示例或特征记忆实现知识保留。原型对比学习的核心思想是将每个类别映射为特征空间中的一个代表性向量（即类别原型），通过约束同类别样本特征与对应原型的相似度高于异类别样本，实现特征空间的类内紧凑性与类间区分性优化，恰好与类增量语义分割的需求高度适配。一方面，类别原型作为类别知识的低维载体，仅需存储少量原型向量即可保留旧类别核心特征，无需留存海量原始训练数据，能够大幅降低增量学习的存储成本；另一方面，对比学习的度量学习机制可以在特征空间中主动拉大新旧类别原型的距离，强化语义边界的区分度，减少像素级误判；此外，原型的动态更新特性能够支持模型在增量阶段逐步融合新类别特征，无需对模型整体参数进行大规模重训练，有效提升增量学习的效率。二、基于原型对比学习的类增量语义分割技术脉络当前该领域的技术发展可划分为三个阶段，不同阶段的技术核心围绕原型构建、对比约束设计、增量适配机制三个维度逐步迭代。（一）基础原型匹配阶段（2019-2021年）早期研究主要聚焦于如何将原型学习引入语义分割增量场景，核心思路是通过旧类别原型的固定与新类别原型的扩增实现增量学习。代表性工作如2020年提出的PLOP方法，首次在类增量语义分割中引入类别原型概念，该方法在基础训练阶段为每个旧类别计算平均特征作为原型，增量阶段固定旧类别原型参数，仅对新类别原型进行学习，同时通过特征蒸馏约束旧类别像素特征与对应原型的相似度不下降。这类方法的核心局限在于对比约束的缺失，仅依赖原型匹配进行预测，当新旧类别特征高度相似时，特征空间的重叠会导致旧类别原型被新类别特征"侵蚀"，出现旧类别性能骤降的问题。随后2021年的ILTP方法首次引入弱对比约束，通过在损失函数中加入同类别像素特征与原型的相似度损失、异类别特征与原型的排斥损失，初步实现了特征空间的类间分离，但该阶段的对比约束仅作用于当前增量阶段的样本，未考虑跨阶段的原型关系维护，在多轮增量后仍会出现原型漂移问题。（二）动态原型对比阶段（2022-2023年）这一阶段的研究重点转向解决原型漂移与跨增量阶段的特征一致性问题，核心创新点在于引入动态原型更新机制与跨阶段对比约束。2022年提出的DualProNet方法设计了双重原型体系，包括固定的"记忆原型"与动态更新的"适应原型"，其中记忆原型存储基础训练阶段的旧类别核心特征作为锚点，适应原型在增量阶段根据新样本逐步微调，同时通过对比损失约束适应原型与记忆原型的相似度高于与新类别原型的相似度，既保证旧类别知识的稳定性，又允许原型根据场景分布变化进行适度调整。2023年的PCIL-SS方法进一步提出跨阶段原型对比机制，在每一轮增量训练时，不仅计算当前阶段样本与新旧原型的对比损失，还将历史增量阶段的样本特征存入记忆库，与当前阶段的原型进行跨批次对比，有效避免了多轮增量后原型的累积偏移。该阶段方法在5轮增量、每轮新增5类的设置下，旧类别性能下降幅度从早期的30%以上降低至15%以内，但仍存在小样本新类别原型估计偏差的问题——当新增类别训练样本少于10张时，基于平均特征计算的原型难以代表类别真实分布，导致新类别分割精度不足60%。（三）原型增强与语义对齐阶段（2024年至今）最新研究重点解决小样本增量场景下的原型鲁棒性问题与跨域语义对齐问题。针对小样本新类别原型估计偏差，2024年提出的ProtoAug方法引入原型增强机制，通过对少量新类别样本特征进行扰动、插值生成大量虚拟特征，基于虚拟特征与真实特征的混合分布计算新类别原型，同时引入对比学习中的难样本挖掘策略，主动选择与旧类别原型相似度高的新类别特征作为难样本进行对比约束，将小样本场景下新类别分割精度提升了12%以上。针对跨数据集增量场景下的语义偏移问题，同年提出的SCA-Proto方法设计了语义对齐对比损失，在增量训练时约束新数据集的类别原型与通用语义空间中的对应类别原型距离最小化，同时通过跨域对比损失拉大同名类别原型与异名类别原型的距离，解决了不同数据源下同一类别特征分布差异导致的原型冲突问题。该阶段的方法已经能够支持10轮以上的增量学习，在每轮仅提供5张新类别训练样本的设置下，整体分割精度仍能保持基础训练阶段的80%以上。三、核心技术模块拆解基于原型对比学习的类增量语义分割方法通常包含四个核心技术模块，不同模块的设计直接决定模型的增量学习性能。（一）类别原型构建与初始化模块原型的质量是后续对比学习的基础，当前主流的原型构建方式分为三类：第一类是平均特征原型，即对基础训练阶段所有该类别的像素特征取平均值作为原型，这类方法计算简单、稳定性高，是目前最常用的原型初始化方式，但易受极端样本影响；第二类是聚类中心原型，通过K-means等聚类算法将类别像素特征聚合成多个子原型，能够更好地建模类别内的特征多样性，适用于外观差异较大的类别（如"汽车"包含轿车、SUV、卡车等多种形态），但存储成本会随子原型数量线性上升；第三类是文本引导原型，利用CLIP等多模态模型的文本编码器生成类别名称对应的文本特征作为原型初始化值，这类原型具备跨模态的语义一致性，能够有效降低零样本/小样本增量场景下的原型估计偏差，是当前研究的热点方向。（二）对比损失函数设计模块对比损失的设计需要兼顾旧类别知识保留与新类别特征区分，当前常用的损失函数由三部分组成：一是旧类别特征蒸馏损失，约束旧类别像素的特征输出与基础模型的特征输出相似度高于阈值，避免旧类别特征发生偏移；二是原型对比损失，对于每个像素特征，最大化其与对应类别原型的相似度，最小化其与其他类别原型的相似度，通常采用InfoNCE损失作为基础损失函数，温度系数的设置会直接影响对比约束的强度，温度系数越小，类间区分的约束越强；三是边界正则化损失，针对语义边界区域的像素，额外增加边界两侧类别原型的对比约束，强化边界区域的特征区分度，减少边界像素的误判。最新研究还会引入难原型对比机制，在计算损失时重点关注与当前类别相似度最高的前K个负类原型，提升对比学习的效率。（三）原型更新与维护模块增量阶段的原型更新策略需要在稳定性与适应性之间取得平衡，主流策略分为三种：第一种是固定旧原型策略，即基础训练阶段得到的旧类别原型在增量阶段完全固定，仅学习新类别原型，这类策略能够完全避免旧类别知识遗忘，但无法适应新场景下旧类别的分布变化，当增量阶段的数据分布与基础阶段差异较大时，旧类别性能会出现明显下降；第二种是滑动平均更新策略，旧类别原型在增量阶段根据当前批次的旧类别样本特征进行滑动平均更新，更新速率由动量系数控制，动量系数越高，原型更新越慢，这类策略能够适度适配分布变化，但动量系数的调优难度较高；第三种是动态门限更新策略，仅当当前批次的旧类别特征与原有原型的相似度高于预设门限时，才对原型进行更新，若相似度低于门限则认为样本属于异常分布，不参与原型更新，这类策略能够有效过滤噪声样本的影响，是目前性能最优的更新方式。（四）记忆库构建与采样模块由于增量阶段无法访问完整的旧类别数据，通常需要构建小规模的记忆库存储旧类别的样本或特征，用于对比学习的负样本采样。记忆库的设计核心在于采样策略，当前常用的采样策略包括：一是类别平衡采样，即每个旧类别存储相同数量的样本特征，避免样本数量多的类别在对比学习中占主导；二是难样本优先采样，优先存储与其他类别原型相似度高的难样本特征，提升对比学习的有效性；三是特征压缩存储，为了降低记忆库的存储成本，通常不对原始图像进行存储，仅存储像素级特征向量，同时采用向量量化技术对特征进行压缩，能够将记忆库的存储成本降低70%以上。四、主流方法性能对比与适用场景目前典型方法的性能差异主要体现在增量轮次适应性、小样本鲁棒性、存储成本三个维度，具体对比如下：方法名称发布年份5轮增量mIoU下降幅度小样本（5张/类）新类别mIoU原型存储成本适用场景PLOP202032.1%42.3%低（每类1个向量）数据充足、增量轮次少的场景ILTP202124.7%51.6%低常规增量学习场景DualProNet202214.3%57.2%中（每类2个向量）多轮增量、分布稳定的场景PCIL-SS20239.8%59.7%中（含记忆库）多轮增量、对旧类别性能要求高的场景ProtoAug20248.2%71.5%中小样本增量场景SCA-Proto20247.6%73.1%高（含多模态原型）跨域、零样本增量场景从实际应用角度看，工业场景中通常需要根据具体需求选择合适的方法：例如自动驾驶场景的增量学习，由于涉及的交通类别数量多、需要持续新增罕见交通参与者类别，且对旧类别（如行人、车辆）的性能要求极高，适合选择PCIL-SS或SCA-Proto这类多轮增量性能稳定的方法；而医疗影像分割场景中，新增疾病类别通常仅有少量标注样本，适合选择ProtoAug这类小样本鲁棒性高的方法。五、当前研究瓶颈与未来方向尽管基于原型对比学习的类增量语义分割方法已经取得显著进展，但仍存在三个核心瓶颈有待突破：一是长周期增量的累积误差问题，当前方法在15轮以上的增量学习后，原型的累积偏移仍会导致整体性能下降超过20%，如何设计更鲁棒的原型校准机制是未来研究的重点；二是开放世界场景下的未知类别处理，现有方法假设新增类别是预定义的，而真实场景中模型会遇到大量未知类别，如何通过原型对比学习实现未知类别的自动发现与原型构建，是走向实际应用的关键；三是边缘设备部署限制，当前方法的记忆库存储与对比计算成本较高，难以在算力有限的边缘设备上部署，如何