小样本学习检验规范

小样本学习检验规范1范围本规范规定了小样本学习模型检验的基本要求、检验流程、检验指标、检验方法和结果判定规则，适用于图像分类、自然语言处理、语音识别等领域小样本学习模型的性能评估、质量验证与上线前检测，其他涉及少样本数据训练的人工智能模型检验可参照执行。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件；凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T38634-2020信息技术人工智能术语GB/T40660-2021信息安全技术人工智能产品安全基本要求GB/T41479-2022信息技术人工智能计算机视觉数据集质量评价方法YD/T3962-2021人工智能自然语言处理服务技术要求3术语和定义GB/T38634-2020界定的以及下列术语和定义适用于本文件。3.1小样本学习few-shotlearning仅利用少量标注样本（通常每个类别样本数为1~50个）完成模型训练与知识迁移的机器学习范式，包含元学习、度量学习、数据增强等核心技术路径。3.2支撑集supportset小样本学习任务中用于模型快速适配新类别的少量标注样本集合，每个类别样本数符合任务设定的少样本约束。3.3查询集queryset用于评估小样本学习模型在新类别上泛化能力的测试样本集合，样本不与支撑集重复。3.4N-wayK-shot任务小样本学习通用测试范式，指任务包含N个目标类别，每个类别提供K个标注样本作为支撑集，模型需对查询集样本完成N分类任务。3.5跨域泛化能力cross-domaingeneralizationability小样本学习模型在与训练数据分布存在差异的目标域数据上的性能表现，差异包含数据采集设备、场景、风格、语种等维度。4检验基本要求4.1检验环境要求4.1.1硬件环境应满足模型运行最低配置需求，处理器、内存、显卡算力需与模型上线部署环境保持一致，检验前需记录硬件参数，包含CPU型号、核心数、GPU显存大小、内存容量等信息。4.1.2软件环境需固定版本依赖，深度学习框架（如PyTorch、TensorFlow）、第三方依赖库版本需与模型训练时环境完全一致，检验过程中不得随意更新软件版本。4.1.3检验环境需与外部网络隔离，避免检验过程中模型访问外部数据、调用第三方接口，确保检验结果仅反映模型本身性能。4.2数据集要求4.2.1检验数据集需与模型应用场景匹配，包含训练域数据集、目标域验证数据集两部分：训练域数据集用于验证模型元训练阶段的有效性，目标域验证数据集需覆盖实际应用中的典型场景、边缘场景与极端场景，样本标注准确率不得低于99%。4.2.2支撑集构建需满足任务约束，每个类别的样本数严格遵循K-shot设定，样本需随机抽取，避免刻意选择易分类样本，同一检验批次中支撑集抽取方式需保持固定，不同检验批次需重新随机抽取支撑集以消除样本选择偏差。4.2.3查询集样本量需满足统计显著性要求，每个类别查询样本数不得少于20个，整体查询集样本量不得少于1000个，需包含难分类样本、噪声样本占比不低于5%，以模拟实际应用中的数据质量波动。4.2.4数据集需进行数据泄露排查，支撑集、查询集与模型训练过程中使用的所有数据集不得存在样本重复、标注信息重叠等问题，跨域检验场景下需验证训练域与目标域的分布差异，通过KL散度、余弦相似度等指标量化分布偏移程度，KL散度不得低于0.3以确保跨域检验有效性。4.3模型提交要求4.3.1检验方需提交完整的模型文件、训练代码、依赖配置文件，不得提交包含隐藏逻辑、后门攻击的模型，若模型包含预训练backbone，需同时提交预训练权重及预训练数据集说明。4.3.2提交方需明确说明模型的适用场景、输入输出格式、推理速度要求、样本量约束，对于N-wayK-shot的适配范围需明确标注，不得超出模型设计能力设置检验任务。5检验流程5.1检验准备阶段5.1.1检验方接收待检模型与检验需求，明确模型应用领域、任务类型、性能基线要求，制定检验方案，包含检验任务设定、数据集划分规则、指标计算方法、异常值处理规则。5.1.2对检验数据集进行预处理，完成数据清洗、标注复核、数据泄露检测，生成支撑集与查询集划分清单，记录数据集版本、样本分布、噪声占比等信息。5.1.3搭建并调试检验环境，运行基准测试模型验证环境稳定性，连续3次运行基准模型的准确率波动不得超过±0.5%，确认环境符合检验要求后启动正式检验。5.2性能检验阶段5.2.1基础任务性能检验：按照应用场景设定N-wayK-shot任务，通常默认设置5-way1-shot、5-way5-shot、10-way1-shot、10-way5-shot四种典型任务模式，每种任务模式独立重复检验不少于10次，每次重新抽取支撑集，记录每次检验的指标结果。5.2.2鲁棒性检验：在支撑集或查询集中逐步加入不同比例的噪声数据，包含标注错误样本、模糊样本、对抗样本，噪声比例从0%逐步提升至20%，间隔5%，记录模型在不同噪声水平下的性能衰减程度。5.2.3跨域泛化检验：选择与训练域存在明显分布差异的3个以上目标域数据集，分别在每个目标域上完成基础任务性能检验，记录跨域性能与训练域性能的差值。5.2.4效率检验：统计模型支撑集适配时间、单样本推理时间，记录不同批次大小下的推理吞吐量，验证模型在上线部署要求的响应时间约束下的性能表现。5.3结果复核阶段5.3.1对检验过程中出现的异常值进行排查，若某批次检验结果超出平均值±3σ范围，需重新运行该批次检验，确认是否为环境波动、样本抽取偏差导致的异常。5.3.2抽取性能最差的10%查询样本进行人工复核，验证是否为样本标注错误导致的模型误判，若标注错误占比超过该部分样本的10%，需重新修正数据集后再次检验。5.3.3对比相同任务下的行业基准模型性能，若待检模型性能超出基准20%以上，需进行二次独立检验，确认无作弊、数据泄露等问题后方可确认结果。6检验指标6.1核心性能指标6.1.1分类准确率：查询集中正确分类的样本数占总查询样本数的比例，为核心性能指标，按不同任务模式分别统计平均准确率与准确率标准差。6.1.2top-k准确率：对于多分类任务，统计模型预测结果的前k个候选中包含真实标签的样本比例，k值根据应用场景设定，通常取k=3、k=5。6.1.3F1分数：针对类别不平衡的小样本任务，统计精确率与召回率的调和平均值，避免模型偏向多数类导致的性能高估。6.2鲁棒性指标6.2.1噪声鲁棒性系数：噪声比例为20%时的模型准确率与无噪声时准确率的比值，比值越高说明模型抗噪声能力越强。6.2.2对抗样本防御率：在添加L2范数不超过0.1的对抗样本时，模型仍能正确分类的样本占比，反映模型面对恶意攻击时的稳定性。6.2.3小样本波动系数：多次重复检验的准确率标准差，标准差越小说明模型对支撑集样本选择的敏感度越低，性能稳定性越好。6.3泛化性指标6.3.1跨域性能衰减率：（训练域准确率-目标域平均准确率）/训练域准确率，衰减率越低说明模型跨域泛化能力越强。6.3.2新类别适配能力：对于从未在训练中出现过的全新类别，模型仅使用K个样本即可达到的准确率，反映模型的知识迁移效率。6.3.3低资源场景适配性：在样本量低于常规K值（如K=1、K=2）时的性能表现，评估模型在极端少量样本场景下的可用性。6.4效率指标6.4.1支撑集适配时间：模型完成N个类别共N*K个支撑样本的特征提取、参数适配所需的平均时间，单位为毫秒。6.4.2单样本推理时间：模型处理单个查询样本并输出预测结果的平均时间，单位为毫秒。6.4.3内存占用：模型运行过程中占用的GPU显存峰值、内存峰值，单位为MB。7检验方法7.1分类准确率检验7.1.1针对图像分类任务，支撑集与查询集图像分辨率保持与模型输入要求一致，不进行额外的增强处理，仅做归一化、Resize等基础预处理。每次检验随机抽取N个类别，每个类别抽取K个样本作为支撑集，剩余样本作为查询集，模型完成支撑集适配后对所有查询样本进行分类，统计正确分类样本数，计算准确率。重复上述过程10次，取平均值作为最终准确率结果。7.1.2针对自然语言处理任务，包含文本分类、意图识别等，文本预处理需与模型训练时保持一致，包含分词、停用词过滤、向量转换等步骤。检验时需覆盖不同长度的文本、不同领域的语料，避免样本类型单一导致的结果偏差。7.1.3针对语音识别任务，需覆盖不同口音、不同背景噪声、不同采样率的语音样本，支撑集语音长度控制在1~5秒，查询集包含5秒以上的长语音样本，统计词错误率（WER）作为核心指标。7.2鲁棒性检验7.2.1噪声样本生成：标注错误样本通过随机替换支撑集样本的标注实现；图像模糊样本通过高斯模糊、运动模糊处理生成，模糊程度控制在峰值信噪比（PSNR）20~30dB之间；文本噪声样本通过随机替换语句中的1~2个关键词、添加错别字生成；语音噪声样本通过叠加不同信噪比的环境噪声实现，信噪比范围为0~20dB。7.2.2分别在支撑集添加噪声、查询集添加噪声两种场景下进行检验，每种噪声比例下重复检验5次，统计平均准确率，计算噪声鲁棒性系数。7.2.3对抗样本采用PGD攻击方法生成，攻击迭代次数为10，步长为0.01，检验模型在对抗样本下的防御成功率。7.3跨域泛化检验7.3.1图像领域跨域场景包含：不同拍摄设备（手机、专业相机、监控摄像头）的跨设备检验，不同光照、天气、角度的跨场景检验，真实场景图像与卡通图像、素描图像的跨风格检验。7.3.2自然语言处理领域跨域场景包含：不同语种、不同方言的跨语言检验，新闻、电商、医疗等不同领域的跨领域检验，正式书面语、网络流行语、口语的跨语体检验。7.3.3分别计算每个目标域下的模型准确率，取所有目标域的准确率平均值作为跨域平均准确率，计算跨域性能衰减率。7.4效率检验7.4.1适配时间与推理时间统计需排除数据加载、预处理的时间，仅统计模型前向传播与参数更新的时间，重复测试100次取平均值。7.4.2内存占用通过监控工具实时记录模型运行过程中的峰值，包含模型权重、中间特征图、运算缓存等所有占用的内存空间。7.4.3对于边缘端部署的小样本模型，需在边缘设备（如嵌入式芯片、移动终端）上完成效率检验，确保结果与实际部署场景一致。8结果判定规则8.1合格判定满足以下全部条件的模型判定为检验合格：基础任务平均准确率不低于应用场景要求的性能基线，通常图像分类5-way5-shot任务准确率不低于85%，文本分类5-way5-shot任务准确率不低于80%，语音识别5-way5-shot任务词错误率不高于15%；噪声鲁棒性系数不低于0.6，即20%噪声下准确率不低于无噪声时的60%；跨域性能衰减率不高于30%，即目标域平均准确率不低于训练域准确率的70%；适配时间与推理时间满足部署场景的响应时间要求，通常支撑集适配时间不超过100ms，单样本推理时间不超过10ms；内存占用不超过部署设备的内