半监督学习与主动学习【演示文档】

20XX/XX/XX半监督学习与主动学习汇报人:XXXCONTENTS目录01

基础概念02

原理概述03

算法细节04

应用价值05

具体案例06

前沿进展与局限01基础概念半监督学习定义介于监督与无监督之间的范式

半监督学习由屠恩美与杨杰（2018，《上海交通大学学报》）明确定义为“利用少量标注+大量未标注数据提升性能”，在数据稀缺场景下避免模型退化，核心是借助无标签数据内在分布优化分类边界。正则化驱动的理论基础

基于图拉普拉斯矩阵（GraphLaplacian）构建相似性图，通过高斯场与调和函数约束标签平滑性；Zhu等提出的SSL模型在Cora引文网络上实现89.2%准确率，较纯监督提升7.3个百分点。典型应用场景界定

适用于医学影像（标注需放射科医生）、语音识别（小时级转录成本超$200/小时）等高成本领域；2024年腾讯医疗AI平台用半监督方法仅用15%标注CT片即达全监督93.6%结节检出率。主动学习定义模型驱动的样本选择范式主动学习让模型主动筛选最有价值样本交由专家标注，2024年DeepMind在蛋白质结构预测中采用QBC策略，将AlphaFold3训练所需标注结构减少62%，标注周期压缩至11天。以最小标注换取最大性能增益核心目标是降低标注成本同时保障性能；2025年阿里达摩院农业大模型项目采用不确定性采样，在水稻病害识别任务中仅标注800张图像即达92.4%准确率，节省标注预算87%。两者对比区别01目标导向差异半监督学习被动利用全部未标注数据（如DDU-BiATeacher在Pest24数据集上使用100%未标注图像生成伪标签），而主动学习主动筛选子集（如MTIR框架仅选3.2%难例样本进入下一轮标注）。02数据依赖逻辑不同半监督依赖未标注数据规模与分布质量（玉米螟实验显示：当未标注数据>标注数据50倍时，自训练性能提升14.8%），主动学习则强调查询策略有效性（DDU策略比随机采样精度高1.7%）。03部署阶段与交互方式半监督为“一次性数据输入+离线训练”（如协同训练MAX_ITER=40固定迭代），主动学习为“人机闭环交互”（中科院合肥研究院实测平均需5轮标注交互达成mAP收敛）。04性能提升路径差异半监督通过增强特征表示（BiResCo架构带来6.2%增益）提升泛化，主动学习通过修正知识盲区（柑橘害虫检测中边缘采样使误检率下降31.5%）优化判别边界。与监督/无监督关系监督学习的延伸与补充在标注数据仅10%时，自训练算法结合C4.5基础学习器在UCI数据集上达78.4%准确率，接近全监督82.1%水平，验证其作为监督学习轻量级替代方案的有效性。无监督学习的引导式进化标签传播算法（LPA）以已标记点为锚点，通过图相似度传播标签；在MATID农业多模态数据集上，LPA+KNN使聚类纯度提升至86.3%，显著优于纯K-means（71.9%）。三者构成连续谱系监督（100%标注）→半监督（5%-40%标注）→主动学习（动态5%-20%标注）→无监督（0%标注）；2024年华为云ModelArts平台实测显示：三者混合策略在遥感图像解译任务中F1-score达89.7%，超越单一范式3.2–5.8个百分点。02原理概述半监督学习思想

01小标注大利用的核心逻辑在标记比例仅为10%时，自训练算法通过迭代扩充标签集，在Pest24数据集上使mAP@0.75从58.3%提升至64.1%，证明“少标多学”的可行性。

02未标注数据的信息挖掘机制协同训练利用双视图冗余性（如图像纹理+光谱特征），在农业害虫检测中使伪标签准确率稳定在82.6%±3.1%，显著高于单视图自训练（74.9%±5.7%）。

03分布一致性约束原理通过图拉普拉斯正则项强制邻近样本具有相似标签；在MATID数据集上，该约束使跨模态对齐误差降低22.4%，实体识别F1提升至96.5%。

04模型鲁棒性增强路径引入未标注数据可缓解过拟合；C4.5剪枝树（confidence=0.25）在20%标注下测试误差比纯监督低11.3%，验证半监督对决策边界的平滑作用。主动学习流程初始模型冷启动阶段DDU-BiATeacher框架以200张人工标注图像初始化YOLOv8模型，在玉米螟数据集上初始mAP@0.5仅41.2%，但为后续主动筛选提供可靠不确定性基线。多轮闭环交互执行过程中科院团队实测显示：平均4.3轮交互后模型性能收敛，第3轮新增标注使mAP@0.5跃升5.7个百分点（63.1%→68.8%），验证主动学习的高效性。终止条件的工程化设定采用双重停止机制：预算耗尽（≤1000张）或性能增益<0.5%/轮；在柑橘害虫任务中，第6轮增益仅0.32%，系统自动终止，总标注量控制在782张。关键查询策略

不确定性采样（主流方法）边缘采样在DDU-BiATeacher中识别出置信度[0.48,0.52]区间样本，标注后使小目标（<32×32像素）召回率提升26.4%，显著优于熵采样（+18.1%）。

基于委员会的查询（QBC）MTIR框架集成3个异构模型（ViT、ResNet50、CLIP），投票熵最高样本标注后，意图识别准确率单轮提升2.9个百分点，验证模型分歧的价值。

多样性增强策略DDU策略融合距离（特征空间远）、分歧（模型预测不一致）、不确定性（置信度低）三维指标，在Pest24数据集上使样本覆盖度达91.7%，较单一策略高13.2%。核心理论基础流形假设与聚类假设在农业多模态数据中，同一病害图像-文本对在嵌入空间距离<0.32（欧氏），支持流形假设；聚类假设使MATID数据集上半监督实体识别F1达96.5%，较监督基线+3.2%。图正则化与标签传播基于图拉普拉斯矩阵L的半监督损失项λ·f^TLf，λ=0.8时在Cora数据集上最优；中科院实验显示该正则项使伪标签噪声率从19.6%降至12.3%。一致性正则与熵最小化APLF机制动态调整伪标签阈值（0.72→0.85），使BiATeacher在Pest24上伪标签准确率从76.4%升至84.9%，验证熵最小化对模型校准的关键作用。03算法细节自训练算法

算法流程标准化实现输入初始标注集L（10%数据）、未标注池U，每轮选取k=5个最高置信度样本赋伪标签；在Pest24实验中，MAX_ITER=40时mAP@0.75达64.1%，较初始提升6.8个百分点。

基础学习器适配性分析KNN（K=3，欧氏距离）在10%标注下准确率72.4%，C4.5（剪枝，confidence=0.25）达75.1%，SMO达76.8%，显示SVM类学习器更适配自训练范式。

超参数敏感性研究MAX_ITER=40为最优值：低于30时性能未收敛（+3.2%），高于50时引入噪声（-1.7%）；协同训练同设MAX_ITER=40，但InitialUnlabeledPool=75确保初始多样性。

误差传播风险控制在柑橘害虫数据集中，自训练若未加置信度阈值（0.7），伪标签错误率飙升至31.2%，引入0.75阈值后降至14.6%，验证阈值机制必要性。协同训练算法

双视图构建实践MTIR框架构建图像视觉视图（ResNet50提取）与文本语义视图（BERT-base），两视图在MATID数据集上初始准确率分别为78.3%与81.6%，满足协同训练独立性要求。

视图间监督信号交换每轮各视图对对方未标注样本打分，取Top-3样本互标；在玉米螟数据集上，该机制使mAP@0.5提升至70.6%，比单视图自训练高3.9个百分点。

收敛性保障机制设置Early-Stopping：当连续3轮视图间标签一致率>95%时终止；在Pest24实验中第28轮达成，总迭代数比固定40轮节省28%计算资源。

多模态协同优势验证双视图协同使农业问答意图识别准确率达91.5%，较单模态提升12.7个百分点；消融实验显示移除协同模块后准确率跌至78.8%。基础学习器

朴素贝叶斯（NB）适配性在10%标注UCI数据集上，NB作为自训练基础学习器达73.2%准确率，虽低于SMO（76.8%），但训练速度最快（0.8s/轮），适合边缘设备部署。

C4.5决策树优化配置采用剪枝树（confidence=0.25，叶子节点≥2样本），在20%标注下测试误差11.3%，较未剪枝降低4.2个百分点，验证剪枝对半监督过拟合抑制效果。

K近邻（K-NN）参数调优K=3且欧氏距离在农业图像分类中表现最优：在MATID数据集上准确率85.7%，K=1时易受噪声干扰（-3.2%），K=5时泛化性下降（-2.1%）。

序列最小优化（SMO）性能表现作为SVM高效求解器，在Pest24数据集上以20%标注达76.8%准确率，是四种学习器中最高；但训练耗时最长（4.2s/轮），需GPU加速。超参数设置

自训练迭代上限设定MAX_ITER=40为实验最优值：在Pest24数据集上，30轮时mAP@0.75=62.3%，40轮达64.1%，50轮反降至63.5%，表明过拟合风险随迭代增加。

协同训练初始池规模InitialUnlabeledPool=75保证初始多样性：小于50时首轮伪标签准确率仅68.4%，设75后提升至75.2%，验证初始池对协同质量的基础作用。

KNN距离度量与K值欧氏距离在农业图像特征空间中表现最优，K=3时综合准确率85.7%；曼哈顿距离导致准确率下降2.9%，切比雪夫距离下降4.1%。

C4.5剪枝参数影响confidence=0.25时测试误差11.3%，调至0.15则误差升至13.8%（欠剪枝），调至0.35则升至12.6%（过剪枝），0.25为帕累托最优。04应用价值数据稀缺场景

农业病虫害识别中科院DDU-BiATeacher在玉米螟数据集仅用20%标注（1276张）即达mAP@0.5=70.6%，而传统全监督需6380张，解决田间标注人力不足痛点。

多模态农业问答MTIR框架在MATID数据集（10139图+文本对）上，仅用17%标注样本即实现91.5%意图识别准确率，突破农业专家知识难以结构化瓶颈。

医学影像分析2024年联影智能uAI平台在肺结节CT数据上，采用半监督+主动学习混合策略，用1200例标注（占总量8%）达94.2%检出率，较纯监督节省标注成本83%。降低标注成本

标注量削减量化效果DDU-BiATeacher在柑橘害虫数据集将标注量从全量5200张压缩至1040张（20%），mAP@0.5达69.3%，标注成本减少80%，单张图像标注费从$12.5降至$2.5。

专家时间节约实证MTIR部署于山东省农科院平台后，病虫害诊断时间从人工45分钟/例缩短至0.8秒/例，年节省农业专家工时超1.2万小时，相当于3名高级农艺师全年工作量。

跨领域成本对比在语音转录领域，主动学习使ASR模型达到95%词错率（WER）仅需标注280小时音频（传统需1500小时）；在遥感解译中，标注成本从$220万/项目降至$38万。提升模型性能

01小目标检测精度突破DDU-BiATeacher中BiResCo架构使<32×32像素害虫目标召回率从58.3%提升至76.9%，在Pest24数据集上mAP@0.75达69.2%，超PestTeacher5.1个百分点。

02多模态任务综合提升MTIR框架在MATID数据集上综合任务准确率达88.3%，较传统VQA模型提升41.2%；其中复杂语义理解准确率78.3%，远超传统方法（49.1%）。

03泛化能力增强验证在极端光照场景下，DDU-BiATeacher通过数据增强使模型mAP波动范围从±8.2%收窄至±2.7%，验证半监督对分布偏移的鲁棒性提升。不同领域应用智慧农业落地DDU-BiATeacher已在安徽、江西等6省农田部署，覆盖玉米、柑橘等12类作物，2024年累计识别害虫超2300万次，防治响应时效提升至2.3小时内。医疗健康应用2025年推想医疗InferReadCT肺模块采用半监督学习，在300家基层医院部署，仅用5%标注CT数据即达93.6%结节检出率，助力分级诊疗落地。工业质检拓展华为云ModelArts在光伏板缺陷检测中融合主动学习，将标注需求从12万张降至1.8万张，缺陷识别F1-score达96.4%，误检率下降至0.8%。05具体案例农业害虫检测

DDU-BiATeacher框架创新中科院合肥研究院2024年提出DDU-BiATeacher，融合距离-分歧-不确定性三维查询，在玉米螟数据集用20%标注达mAP@0.5=70.6%，较SOTA提升2.6个百分点。

多数据集验证效果在柑橘害虫数据集上mAP@0.5=69.3%，标注成本减80%；在Pest24数据集mAP@0.75=69.2%，比PestTeacher高5.1个百分点，验证跨场景泛化能力。

消融实验模块贡献DDU策略提升精度1.3–1.7%，BiResCo架构增益5.5–6.2%，APLF机制改进2.2–3.9%，DynUW解决权重适应问题，各模块协同贡献达12.8%。农业多模态问答

MTIR框架技术构成山东农业大学2024年发布MTIR框架，含双塔异构特征提取、动态权重融合、知识图谱驱动联合训练三层，在MATID数据集上意图识别准确率91.5%。

数据集构建创新首创农业多模态标注规范，GPT-4生成12种变异场景合成图像，构建10139图-文对MATID数据集，覆盖17类意图、34类实体，填补领域空白。

平台部署实效接入山东省农科院智能诊断平台后，病虫害识别时间从45分钟缩至0.8秒，实体识别关联防治方案，时空预测模型准确率达91.2%，服务农户超210万人。实验效果展示

标注比例-性能关系曲线在Pest24数据集上，自训练算法在10%/20%/30%/40%标注比例下mAP@0.75分别为58.3%/64.1%/67.5%/69.2%，呈现强正相关性，验证半监督数据效率。

算法对比基准结果DDU-BiATeacher在玉米螟数据集mAP@0.5=70.6%，显著优于PestTeacher（68.0%）、Self-Training（66.7%）及Co-Training（65.2%），SOTA优势明确。

跨模态对齐精度MTIR框架在MATID数据集上图像-文本跨模态对齐误差为7.3%，较基线CLIP-RN50（14.6%）降低50%，支撑高精度问答生成。案例技术亮点

三维查询策略（DDU）DDU策略在Pest24数据集上使样本覆盖度达91.7%，较随机采样高13.2%，且高价值样本标注后单轮性能提升达5.7个百分点。

双分辨率协作架构（BiResCo）BiResCo在玉米螟数据集上使小目标（<32px）召回率从58.3%升至76.9%，性能增益6.2%，解决农业图像中小害虫漏检难题。

自适应伪标签过滤（APLF）APLF机制动态调整阈值（0.72→0.85），使伪标签准确率从76.4%升至84.9%，在柑橘害虫数据集上降低伪标签噪声31.2%。

知识图谱驱动训练MTIR融合农业知识图谱（含1023个实体、2867条关系），使意图识别准确率在零样本场景下仍达63.8%，验证知识引导有效性。06前沿进展与局限前沿方法应用

图神经网络（GNNs）融合2024年清华团队将GNNs嵌入半监督框架，在社交网络欺诈检测中利用10%标注+图结构，AUC达0.932，较传统SSL高0.041。

生成对抗网络（GANs）增强华为诺亚方舟实验室用GAN生成农业害虫未标注图像，在Pest24数据集上扩充后mAP@0.75提升至70.1%，较原始数据高0.9个百分点