基于原型网络的小样本分类方法研究综述

基于原型网络的小样本分类方法研究综述一、小样本分类问题与原型网络的核心定位在传统监督学习范式下，深度分类模型的性能高度依赖大规模标注训练数据，数据标注的高成本与低效率成为制约其在医疗影像分析、工业缺陷检测、低频自然语言理解等场景落地的核心瓶颈。小样本分类（Few-ShotClassification,FSC）旨在仅利用每个类别少量标注样本（通常为1-5个）的前提下，实现对未知类别的高精度分类，而原型网络（PrototypicalNetworks）作为度量学习类小样本方法的典型代表，自2017年被Snell等人提出以来，凭借其结构简洁性、泛化鲁棒性与场景适配性，成为小样本分类领域应用最广泛的基准框架之一。原型网络的核心假设建立在“同一类别的样本在特征空间中聚集于某一原型表征周围”的流形分布假设之上，其核心逻辑可拆解为三个步骤：首先通过特征编码器将输入样本映射到低维嵌入空间，其次对支持集中每个类别的样本嵌入取均值得到对应类别的“原型向量”，最后通过计算查询样本嵌入与各类别原型之间的距离度量（通常为欧氏距离），将查询样本分类到距离最近的原型所属类别。相较于同期的匹配网络（MatchingNetworks）、关系网络（RelationNetworks）等小样本模型，原型网络无需复杂的注意力机制或关系打分模块，训练过程仅需基于情节式训练（EpisodicTraining）范式模拟小样本任务场景，推理速度较其他度量学习模型提升40%以上，且在少样本类别数量扩展时无需重新训练模型主干，天然适配开放集识别与增量学习场景。二、原型网络的基础架构与理论基础原型网络的标准架构由特征编码器、原型计算层、度量分类层三个核心模块构成。特征编码器通常采用卷积神经网络（CNN）、视觉Transformer（ViT）或预训练语言模型（PLM）作为主干，负责将高维原始数据（图像、文本、音频等）转换为低维稠密嵌入向量。以图像分类场景为例，常用的特征编码器包括4层卷积块组成的Conv-4backbone、ResNet-12、轻量化的MobileNet等，在预训练数据充足的场景下，也可采用在ImageNet上预训练的ResNet-50作为主干，通过冻结低层参数、微调高层参数的方式进一步提升特征提取能力。原型计算层的核心操作是对支持集同一类别的样本嵌入进行聚合，标准原型网络采用简单算术平均作为聚合方式，其数学表达为：对于类别$c$，其原型向量$\boldsymbol{p}_c=\frac{1}{|\mathcal{S}c|}\sum{(\boldsymbol{x}_i,y_i)\in\mathcal{S}c}f\theta(\boldsymbol{x}_i)$，其中$\mathcal{S}c$为类别$c$的支持集样本集合，$f\theta$为参数为$\theta$的特征编码器。这一聚合方式的理论依据可从贝叶斯推断角度解释：当特征空间中同类样本的嵌入服从各向同性的高斯分布时，均值向量即为该类分布的极大似然估计，此时采用欧氏距离进行分类等价于后验概率最大化的贝叶斯决策。度量分类层采用距离度量作为分类依据，标准原型网络默认采用欧氏距离计算查询样本与各类原型的相似度，通过Softmax函数将距离转换为类别概率：$p(y=c|\boldsymbol{x}q)=\frac{\exp(-d(f\theta(\boldsymbol{x}q),\boldsymbol{p}c))}{\sum{c'}\exp(-d(f\theta(\boldsymbol{x}q),\boldsymbol{p}{c'}))}$，其中$d(\cdot,\cdot)$为欧氏距离函数，$\boldsymbol{x}_q$为查询样本。训练过程采用情节式训练范式：每个训练批次随机采样N个类别，每个类别采样K个支持样本与Q个查询样本，构成一个N-wayK-shot的小样本分类任务，最小化查询样本的交叉熵损失。这种训练方式通过模拟测试阶段的小样本任务分布，有效缓解了训练数据与测试数据分布偏移的问题，使得模型能够学习到通用的类别无关特征表示。三、原型网络的优化方向与研究进展近年来，针对标准原型网络在特征判别性不足、原型估计偏差、域适应性差等方面的缺陷，学术界从多个维度对其进行了改进，相关研究可归纳为特征嵌入空间优化、原型估计增强、度量机制改进、跨域适配四个主要方向。（一）特征嵌入空间优化特征嵌入空间的判别性直接决定了原型网络的分类性能，相关研究主要从特征解耦、对比学习约束、嵌入空间正则化三个角度展开。特征解耦方向的研究尝试将样本特征拆解为类别相关特征与类别无关特征（如姿态、光照、背景等干扰因素），通过仅利用类别相关特征计算原型，提升特征的鲁棒性。例如解耦原型网络（DisentangledPrototypicalNetworks）引入变分自编码器将样本嵌入分解为语义分量与噪声分量，在Mini-ImageNet数据集的5-way1-shot任务上较标准原型网络精度提升了6.2%。对比学习约束方向的研究通过在训练过程中加入对比损失，使得同类样本在嵌入空间中更接近、不同类样本更疏远，例如Proto-CL方法将情节式训练与对比学习结合，在支持集样本上构造正样本对与负样本对，利用InfoNCE损失优化特征嵌入，在1-shot任务上的精度提升了4.8%。嵌入空间正则化方向则通过引入流形正则化、余弦间隔约束等方式，避免特征空间出现类别重叠，例如余弦原型网络将嵌入向量归一化到单位超球面上，采用余弦距离替代欧氏距离，有效缓解了高维空间中的距离度量退化问题。（二）原型估计增强标准原型网络仅采用简单平均计算原型，当支持集样本存在噪声、离群点或样本量极小时（如1-shot场景），原型估计偏差会显著降低分类精度，相关研究主要围绕鲁棒聚合、样本生成、先验知识融合三个方向改进原型估计方法。鲁棒聚合方向提出了加权平均、中位数聚合、注意力聚合等多种替代方案，例如注意力原型网络（AttentionPrototypicalNetworks）为每个支持样本学习一个权重，降低离群点样本的权重，在存在20%噪声样本的小样本任务中，分类精度较标准方法提升了12%以上。样本生成方向通过生成模型扩充支持集样本，缓解小样本下原型估计的方差，例如基于生成对抗网络的ProtoGAN方法，利用支持集样本训练类别条件生成器，生成伪样本补充到支持集中参与原型计算，在1-shot场景下精度提升了7.3%。先验知识融合方向则引入类别语义向量、知识图谱等外部先验信息校正原型，例如语义引导原型网络将类别名称的词嵌入作为先验，与支持集样本的视觉特征融合得到最终原型，在细粒度分类数据集CUB-200-2011上的1-shot精度提升了8.5%。（三）度量机制改进标准原型网络采用固定的欧氏距离作为度量方式，无法适配不同数据模态与任务场景的相似度分布，相关研究主要从自适应度量、混合度量、任务感知度量三个维度展开。自适应度量方向为每个维度或每个类别学习独立的距离权重，例如加权距离原型网络通过学习一个对角权重矩阵，对特征嵌入的不同维度赋予不同的距离权重，在文本分类场景下较欧氏距离精度提升了5.7%。混合度量方向结合多种距离函数的优势，例如将欧氏距离与余弦距离、马氏距离进行加权融合，根据任务特性自动调整权重系数。任务感知度量方向则针对每个小样本任务动态生成度量函数，例如元度量网络利用元学习器为每个N-wayK-shot任务生成专属的度量矩阵，在跨域小样本任务中性能提升了9.1%。（四）跨域适配的原型网络扩展当训练域（源域）与测试域（目标域）存在显著分布偏移时，标准原型网络的性能会出现断崖式下降，跨域小样本分类成为原型网络的重要研究方向。域对齐方向的研究通过域自适应方法对齐源域与目标域的特征分布，例如域对抗原型网络引入域判别器，学习域不变的特征表示，在Office-Home跨域数据集上的1-shot精度较基线提升了11.4%。目标域原型校正方向则利用目标域的无标注样本调整源域原型，例如基于自训练的跨域原型网络，首先利用源域模型为目标域无标注样本生成伪标签，再利用高置信度伪标签样本校正目标域的类别原型，在域偏移较大的场景下精度提升可达15%以上。此外，针对开放世界小样本分类场景，开放集原型网络引入未知类检测机制，通过设置距离阈值识别不属于已知类别的样本，同时动态扩展新类别原型，实现增量式小样本学习。四、原型网络的典型应用场景凭借简洁的架构与优秀的泛化能力，原型网络已在多个实际场景中得到广泛应用。在医疗影像分析领域，由于罕见病病例标注数据稀缺，原型网络被广泛应用于皮肤癌分类、肺部CT结节良恶性判断、眼底病变识别等任务，在仅提供3-5个阳性病例标注的场景下，分类精度可接近监督学习模型在大规模标注数据上的性能。在工业缺陷检测场景中，工业产品的缺陷类型多样且新缺陷不断出现，原型网络可实现仅需少量缺陷样本即可完成新缺陷类型的检测，相较于传统监督学习模型，新缺陷类别的部署周期从数周缩短至数小时，检测精度可达95%以上。在自然语言处理领域，原型网络被应用于低资源语言的文本分类、对话系统中的意图识别、Few-Shot关系抽取等任务，在仅提供5个标注样本的情况下，意图识别精度可达到80%以上，显著优于传统的微调方法。在计算机视觉的细粒度分类、遥感影像地物分类、人脸识别等场景中，原型网络也凭借小样本学习能力得到了大量应用。五、当前挑战与未来研究方向尽管原型网络相关研究已取得显著进展，但在复杂场景下的应用仍面临诸多挑战。首先是特征迁移性与判别性的平衡问题，当前基于预训练主干的原型网络在通用域上表现良好，但在细粒度分类、高干扰场景下，特征的类别判别性仍显不足，如何构建兼具强泛化性与高判别性的特征编码器是未来的重要研究方向。其次是小样本下的原型估计不确定性问题，尤其在1-shot场景下，单个样本的噪声可能导致原型出现严重偏差，如何融合多模态先验知识、利用无标注样本降低原型估计的不确定性，仍需进一步探索。第三是复杂分布场景下的度量适配问题，当前度量机制多针对独立同分布假设设计，在类别分布不平衡、样本存在多重语义标签的场景下，固定度量方式的适应性较差，动态自适应度量机制仍有待突破。最后是原型网络的可解释性不足问题，当前原型向量的语义含义难以直观解释，如何