基于原型对比学习的半监督图像分类结题报告

基于原型对比学习的半监督图像分类结题报告一、研究背景与问题提出在计算机视觉领域，图像分类作为基础任务之一，其性能提升对目标检测、语义分割等上层任务具有重要支撑作用。传统监督学习方法依赖大量标注数据，然而在实际场景中，数据标注需耗费大量人力、物力和时间，尤其在医疗影像、遥感图像等专业领域，标注数据的获取难度和成本更高。半监督学习（Semi-SupervisedLearning,SSL）旨在利用少量标注数据和大量未标注数据进行模型训练，为解决数据标注难题提供了有效途径。近年来，对比学习（ContrastiveLearning）在无监督和半监督学习领域取得了显著进展。其核心思想是通过构造正负样本对，使模型学习到具有判别性的特征表示，即让同类样本的特征在嵌入空间中更接近，不同类样本的特征更远离。然而，现有半监督对比学习方法仍存在一些局限性：一方面，多数方法未充分利用数据的类别信息，导致特征学习的方向性不足；另一方面，在处理复杂数据分布时，模型容易受到噪声样本的干扰，泛化能力有待提升。基于此，本研究提出一种基于原型对比学习的半监督图像分类方法，通过引入类别原型（ClassPrototype），将对比学习与原型学习相结合，旨在利用少量标注数据构建类别原型，并以此为引导，在大量未标注数据中进行特征学习，从而提升半监督图像分类的性能。二、相关工作综述（一）半监督图像分类方法半监督图像分类方法主要分为生成式方法、判别式方法和混合方法三类。生成式方法通过学习数据的生成模型，利用未标注数据补充数据分布信息，如基于生成对抗网络（GAN）的半监督学习方法，通过生成器生成逼真样本，辅助判别器进行分类。判别式方法则直接优化分类器，利用未标注数据的一致性约束提升模型性能，如伪标签（Pseudo-Label）方法，通过模型对未标注数据的预测结果生成伪标签，将其作为监督信息进行训练。混合方法结合了生成式和判别式方法的优势，如基于一致性正则化的方法，通过对输入数据施加扰动，要求模型对扰动前后的输入输出保持一致。（二）对比学习方法对比学习方法可分为无监督对比学习和半监督对比学习。无监督对比学习无需标注数据，通过数据增强构造正负样本对，如MoCo、SimCLR等方法，在大规模未标注数据上预训练模型，学习到通用的特征表示。半监督对比学习则结合了标注数据和未标注数据，如FixMatch方法，利用标注数据的类别信息和未标注数据的伪标签，构造对比损失进行训练。然而，这些方法大多未充分利用类别原型的引导作用，特征学习的效率和判别性有待提升。（三）原型学习方法原型学习的核心思想是为每个类别学习一个原型表示，将样本的特征与类别原型进行比较，从而实现分类。在半监督学习中，原型学习可利用少量标注数据初始化类别原型，并在训练过程中不断更新。如PrototypicalNetworks方法，在少样本学习中通过计算样本特征与类别原型的距离进行分类，为半监督学习中类别原型的构建提供了思路。然而，现有原型学习方法在半监督场景下，未有效结合对比学习的优势，特征学习的充分性不足。三、基于原型对比学习的半监督图像分类方法（一）方法框架本研究提出的基于原型对比学习的半监督图像分类方法框架主要包含三个模块：特征提取模块、原型构建与更新模块、对比学习与分类模块。特征提取模块：采用卷积神经网络（CNN）作为特征提取器，如ResNet、ViT等，将输入图像映射到高维特征空间，得到样本的特征表示。原型构建与更新模块：利用少量标注数据初始化类别原型，在训练过程中，结合标注数据和未标注数据的伪标签，动态更新类别原型，使其更能代表类别的特征分布。对比学习与分类模块：以类别原型为中心，构造对比损失，使同类样本的特征向类别原型聚集，不同类样本的特征远离类别原型；同时，结合交叉熵损失，对标注数据和未标注数据的伪标签进行分类训练，实现半监督图像分类。（二）类别原型的构建与更新类别原型的构建是本方法的关键步骤。在训练初期，利用标注数据计算每个类别的初始原型，即该类别所有标注样本特征的平均值：$$\boldsymbol{c}k^{(0)}=\frac{1}{N_k}\sum{i=1}^{N_k}\boldsymbol{f}(x_i)$$其中，$\boldsymbol{c}_k^{(0)}$表示第$k$类的初始原型，$N_k$表示第$k$类标注样本的数量，$\boldsymbol{f}(x_i)$表示标注样本$x_i$的特征表示。在训练过程中，为了使类别原型更能反映数据的真实分布，结合未标注数据的伪标签对原型进行动态更新。对于未标注数据$x_u$，模型预测其伪标签为$\hat{y}_u$，则将其特征$\boldsymbol{f}(x_u)$加入到对应类别的原型更新中：$$\boldsymbol{c}k^{(t+1)}=\alpha\boldsymbol{c}k^{(t)}+(1-\alpha)\cdot\frac{1}{M_k}\sum{j=1}^{M_k}\boldsymbol{f}(x{u,j})$$其中，$\boldsymbol{c}k^{(t+1)}$和$\boldsymbol{c}k^{(t)}$分别表示第$t+1$步和第$t$步的第$k$类原型，$\alpha$为更新权重，用于平衡历史原型和新样本特征的影响，$M_k$表示伪标签为第$k$类的未标注样本数量，$\boldsymbol{f}(x{u,j})$表示伪标签为第$k$类的未标注样本$x{u,j}$的特征表示。（三）原型对比损失设计为了使模型学习到具有判别性的特征表示，本研究设计了原型对比损失（PrototypeContrastiveLoss），该损失包含两个部分：类内对比损失和类间对比损失。类内对比损失：使同类样本的特征与类别原型更接近，同时同类样本之间的特征也保持相似。对于标注样本$x_i$（类别为$y_i$），其类内对比损失计算如下：$$\mathcal{L}{\text{intra}}=-\log\frac{\exp(\boldsymbol{f}(x_i)\cdot\boldsymbol{c}{y_i}/\tau)}{\exp(\boldsymbol{f}(x_i)\cdot\boldsymbol{c}{y_i}/\tau)+\sum{j\in\mathcal{N}_i}\exp(\boldsymbol{f}(x_i)\cdot\boldsymbol{f}(x_j)/\tau)}$$其中，$\tau$为温度参数，用于调整分布的平滑程度，$\mathcal{N}_i$表示与$x_i$同类的其他样本集合。类间对比损失：使不同类样本的特征与其他类别的原型远离，同时不同类样本之间的特征也保持差异。对于标注样本$x_i$（类别为$y_i$），其类间对比损失计算如下：$$\mathcal{L}{\text{inter}}=-\log\frac{\exp(-\text{dist}(\boldsymbol{f}(x_i),\boldsymbol{c}{-y_i})/\tau)}{\sum_{k\neqy_i}\exp(-\text{dist}(\boldsymbol{f}(x_i),\boldsymbol{c}_k)/\tau)}$$其中，$\text{dist}(\cdot,\cdot)$表示特征之间的距离（如欧氏距离、余弦距离），$\boldsymbol{c}_{-y_i}$表示除$y_i$类之外的其他类别原型集合。将类内对比损失和类间对比损失加权求和，得到总的原型对比损失：$$\mathcal{L}{\text{proto-contrast}}=\lambda_1\mathcal{L}{\text{intra}}+\lambda_2\mathcal{L}_{\text{inter}}$$其中，$\lambda_1$和$\lambda_2$为损失权重，用于平衡类内和类间对比损失的影响。（四）半监督分类损失在半监督学习中，除了原型对比损失外，还需结合分类损失对模型进行训练。对于标注数据，采用交叉熵损失：$$\mathcal{L}{\text{sup}}=-\frac{1}{N}\sum{i=1}^{N}\logp(y_i|x_i)$$其中，$N$为标注样本数量，$p(y_i|x_i)$为模型对标注样本$x_i$属于类别$y_i$的预测概率。对于未标注数据，采用伪标签损失，即模型对未标注数据的预测概率作为伪标签，计算交叉熵损失：$$\mathcal{L}{\text{unsup}}=-\frac{1}{U}\sum{i=1}^{U}\logp(\hat{y}_i|x_i)$$其中，$U$为未标注样本数量，$\hat{y}_i$为模型对未标注样本$x_i$预测的伪标签。将标注数据的交叉熵损失、未标注数据的伪标签损失和原型对比损失加权求和，得到总的训练损失：$$\mathcal{L}{\text{total}}=\mathcal{L}{\text{sup}}+\mu\mathcal{L}{\text{unsup}}+\nu\mathcal{L}{\text{proto-contrast}}$$其中，$\mu$和$\nu$为损失权重，用于平衡不同损失项的影响。四、实验设置与结果分析（一）实验数据集本研究采用三个常用的图像分类数据集进行实验：CIFAR-10：包含60000张32×32的彩色图像，分为10个类别，每个类别6000张图像。实验中分别选取每个类别20、50、100张图像作为标注数据，其余作为未标注数据。CIFAR-100：包含60000张32×32的彩色图像，分为100个类别，每个类别600张图像。实验中分别选取每个类别10、20、50张图像作为标注数据，其余作为未标注数据。STL-10：包含13000张96×96的彩色图像，分为10个类别，其中标注数据5000张（每个类别500张），未标注数据8000张。实验中使用全部标注数据和未标注数据进行训练。（二）实验设置模型架构：采用ResNet-18作为特征提取器，在CIFAR-10和CIFAR-100数据集上，输入图像尺寸为32×32；在STL-10数据集上，输入图像尺寸调整为96×96。训练参数：采用随机梯度下降（SGD）优化器，初始学习率为0.1，动量为0.9，权重衰减为5e-4。训练轮数为200轮，在第100轮和第150轮学习率分别衰减为原来的0.1倍。温度参数$\tau$设置为0.5，损失权重$\lambda_1=1.0$，$\lambda_2=0.5$，$\mu=1.0$，$\nu=0.5$。对比方法：选取多种主流半监督图像分类方法作为对比，包括伪标签（Pseudo-Label）、MixMatch、FixMatch、SimCLRv2等。（三）实验结果与分析1.不同数据集上的分类准确率在CIFAR-10、CIFAR-100和STL-10数据集上，本方法与对比方法的分类准确率（Top-1）结果如下表所示：数据集标注数据量Pseudo-LabelMixMatchFixMatchSimCLRv2本方法CIFAR-1020078.2%83.5%85.1%84.3%86.7%CIFAR-1050082.1%86.8%88.3%87.5%89.6%CIFAR-10100084.5%88.2%89.7%89.0%90.8%CIFAR-100100052.3%58.7%61.2%59.8%63.5%CIFAR-100200056.8%62.5%64.8%63.2%66.7%CIFAR-100500062.1%67.8%69.5%68.3%71.2%STL-10500075.3%79.8%81.5%80.2%83.1%从表中可以看出，在不同数据集和不同标注数据量的情况下，本方法均取得了优于对比方法的分类准确率。例如，在CIFAR-10数据集标注数据量为200时，本方法的准确率达到86.7%，比FixMatch方法高出1.6个百分点；在CIFAR-100数据集标注数据量为1000时，本方法的准确率达到63.5%，比FixMatch方法高出2.3个百分点。这表明本方法通过引入类别原型和原型对比损失，有效提升了半监督图像分类的性能。2.消融实验结果为了验证本方法中各个模块的有效性，进行了消融实验，分别移除原型构建与更新模块、类内对比损失和类间对比损失，观察模型性能的变化。实验在CIFAR-10数据集标注数据量为500的情况下进行，结果如下表所示：实验设置分类准确率完整模型89.6%移除原型构建与更新模块86.2%移除类内对比损失88.1%移除类间对比损失87.5%从消融实验结果可以看出，移除原型构建与更新模块后，模型的分类准确率下降了3.4个百分点，说明类别原型的引入对模型性能提升具有重要作用；移除类内对比损失或类间对比损失后，模型的分类准确率也有所下降，说明类内和类间对比损失的结合能够有效提升特征的判别性。这验证了本方法中各个模块的有效性和必要性。3.特征可视化分析为了直观展示本方法学习到的特征表示，采用t-SNE（t-DistributedStochasticNeighborEmbedding）方法将高维特征映射到二维空间进行可视化。在CIFAR-10数据集标注数据量为500的情况下，本方法与FixMatch方法的特征可视化结果如下：从可视化结果可以看出，本方法学习到的特征在二维空间中，同类样本的特征聚集性更好，不同类样本的特征分离度更高；而FixMatch方法的特征分布相对较为分散，部分类别的样本特征