2026年人工智能训练师(三级)案例实操试题及评分标准

2026年人工智能训练师(三级)案例实操试题及评分标准本次实操考试总时长180分钟，满分100分，考试环境配备：算力节点为16核AMDEPYC7V13CPU、单张NVIDIARTX4090（24GB显存）、32GBDDR4内存、1TBSSD存储的GPU服务器1台，预装Ubuntu22.04LTS操作系统、Python3.10.12、PyTorch2.1.2、TorchVision0.16.2、LabelStudio1.11.0、Scikit-learn1.3.2、ONNXRuntime1.16.3等工具库，提供离线操作权限，禁止外接存储设备及联网传输数据。考试共设3道综合实操试题，各试题分值占比分别为30%、35%、35%，所有操作需在指定的/home/user/ai_trainer_3/工作目录下完成，最终提交材料需按各试题要求的命名规则归档至submit文件夹，未按要求归档的材料不予评分。【试题一：动力电池外观质检场景数据集处理实操】一、任务背景某新能源汽车零部件厂商需搭建动力电池顶盖外观质检AI模型，替代人工完成产线末端的缺陷检测。当前已完成前期图像采集，需人工智能训练师（三级）完成数据标注校验、噪声清洗、数据集划分等工作，为后续模型训练提供符合质量要求的数据集。二、给定条件1.原始图像数据集：共1200张动力电池顶盖灰度图像，分辨率为1920*1080，包含划痕、气泡、漏镀、良品4类样本，各类别初始样本量分别为220张、180张、200张、600张；其中混入150张存在过曝（灰度均值＞220）、motion模糊（拉普拉斯方差＜100）、异物遮挡（遮挡面积占比＞30%）的无效噪声图像，噪声图像随机分布在各类别中。2.预标注数据集：初级标注员完成的100张图像的预标注结果，标注格式为COCO2017，预标注整体准确率约82%，存在标注类别错误、边界框偏移、漏标等问题。3.工具支持：LabelStudio标注平台、Python编程环境、OpenCV4.8.0图像处理库。三、操作要求1.制定工业质检场景标注规范：明确划痕、气泡、漏镀3类缺陷的视觉边界定义、标注粒度要求、多缺陷重叠/边界缺陷等例外情况的处理规则、标注文件的字段要求，输出《动力电池顶盖外观标注规范V1.0》文档（markdown格式）。2.预标注数据校验修正：基于制定的标注规范，对100张预标注图像的结果进行逐一校验与修正，输出修正后的COCO格式标注文件（命名为val_annotations_corrected.json），要求修正后的标注准确率达到100%。3.噪声数据清洗：通过图像质量评估算法或人工校验结合的方式，从1200张原始图像中筛选出所有无效噪声图像，输出噪声图像清单（命名为noise_list.csv，包含图像文件名、噪声类型、判定依据三列），清洗后有效样本的噪声残留率不得超过1%。4.数据集分层划分：将清洗后的有效数据集按8:1:1的比例划分为训练集、验证集、测试集，采用分层抽样方式保证各类别样本在三个数据集的分布占比与总数据集的占比偏差不超过5%，输出划分后的数据集目录结构及对应标注文件，目录结构需符合ImageNet标准分类目录格式。【评分标准（30分）】1.标注规范制定（8分）评分规则：规范包含3类缺陷的视觉边界定义（2分，每缺1类扣0.5分，定义模糊无量化标准每类扣0.3分）；明确标注粒度要求（2分，未明确缺陷标注最小外接矩精度≤2像素扣1分，未明确单图多缺陷需逐一标注扣1分）；包含例外情况处理规则（2分，未明确多缺陷重叠处理方式扣1分，未明确边界缺陷/疑似缺陷处理规则扣1分）；明确标注文件格式与字段要求（2分，未明确COCO格式核心字段扣1分，未标注标注员/校验员字段扣0.5分，未明确版本号扣0.5分）。扣分说明：本项最高扣8分，规范内容与工业质检场景不符的，整体扣3分。2.预标注数据校验修正（10分）评分规则：修正后的标注结果与标准答案对比，准确率达到100%得10分；准确率每低于100%1个百分点扣1分，低于90%本项不得分；存在标注格式错误的，每处扣0.5分，最多扣3分。扣分说明：未采用COCO格式输出的，本项扣5分。3.噪声数据清洗（7分）评分规则：噪声图像识别召回率达到100%得4分，每漏检1张噪声图像扣0.5分，漏检超过8张本项不得分；清洗后有效样本的噪声残留率≤1%得2分，每超出0.5个百分点扣1分；噪声清单字段完整、判定依据清晰得1分，字段缺失扣0.5分，判定依据无量化标准扣0.5分。扣分说明：仅采用人工校验无算法辅助的，本项扣1分。4.数据集分层划分（5分）评分规则：数据集划分比例符合8:1:1要求得1分，比例偏差超过2%扣0.5分；各类别分布偏差≤5%得2分，每有1类偏差超出5%扣0.5分；目录结构符合ImageNet标准格式得1分，结构混乱扣0.5-1分；标注文件与图像一一对应得1分，存在错配、漏配每10张扣0.2分，最多扣1分。扣分说明：未采用分层抽样方式的，本项扣2分。【试题二：小样本下工业质检图像分类模型微调实操】一、任务背景基于试题一处理完成的动力电池顶盖外观质检数据集，完成图像分类模型的微调训练与超参数优化，输出满足精度要求的质检模型，为产线部署提供支持。若考生试题一输出的数据集不符合要求，可调用考试系统提供的标准数据集（命名为standard_dataset，与试题一要求的数据集参数一致）进行后续操作，不影响本题得分。二、给定条件1.数据集支持：考生自行处理的数据集或系统提供的标准数据集（训练集840张、验证集105张、测试集105张，类别分布与总数据集偏差≤3%）。2.预训练模型权重：提供ResNet50（ImageNet预训练，Top-1准确率76.1%）、EfficientNetB2（ImageNet预训练，Top-1准确率79.8%）两个预训练模型的官方权重文件。3.工具支持：PyTorch深度学习框架、TensorBoard2.14.0可视化工具、Scikit-learn评估库。三、操作要求1.预训练模型选型与框架搭建：结合数据集规模、任务场景、算力条件选择合适的预训练模型，搭建图像分类微调框架，说明模型选择依据，输出选型说明文档（命名为model_selection.md），微调框架代码需包含数据加载、模型加载、训练循环、验证循环4个核心模块。2.超参数对比实验：设计至少3组对照实验，调整的超参数需覆盖学习率、批次大小、权重衰减系数三类，记录每组实验的验证集Top-1准确率、训练10个epoch的总时长、损失函数收敛趋势，输出超参实验对比报告（命名为hyperparam_report.csv，包含实验编号、学习率、批次大小、权重衰减系数、验证集准确率、训练时长6列）。3.过拟合优化：针对微调过程中可能出现的过拟合问题（验证集准确率上升1个epoch后持续下降、训练集准确率与验证集准确率差值＞10%），采用至少2种不同类型的正则化手段进行优化，输出优化前后的验证集准确率、训练集准确率对比数据，说明各优化手段的作用逻辑。4.最优模型输出：完成全量训练，输出最优模型权重文件（命名为best_model.pth）及完整训练日志，要求测试集Top-1准确率不低于92%，单epoch训练时长不超过120秒。【评分标准（35分）】1.模型选型与框架搭建（8分）评分规则：模型选择依据合理，结合小样本场景、算力条件、工业检测精度需求三个维度分析得3分，每缺1个维度扣1分；微调框架代码模块完整，包含数据加载（含数据增强）、模型加载（含冻结层设置）、训练循环（含损失函数、优化器）、验证循环（含指标计算）4个核心模块得4分，每缺1个模块扣1分；代码注释清晰、可运行得1分，存在语法错误无法运行扣1分。扣分说明：未选择预训练模型直接从零训练的，本项扣5分。2.超参数对比实验（12分）评分规则：完成至少3组对照实验得3分，每少1组扣2分；调整的超参数覆盖学习率、批次大小、权重衰减系数三类得3分，每缺1类扣1分；实验数据记录完整，包含要求的6类字段得2分，每缺1类字段扣0.3分；实验设计逻辑合理，采用控制变量法得2分，未采用控制变量法本项不得分；对实验结果有简要分析，说明最优超参数选择依据得2分，无分析扣2分。扣分说明：实验数据造假（与训练日志不符）的，本项按0分处理。3.过拟合优化（10分）评分规则：采用至少2种不同类型的正则化手段得4分，每少1种扣2分，类型重复（如均为数据增强类）扣1分；有明确的优化前后准确率对比数据得3分，数据不完整扣1-2分；能准确说明各优化手段的作用逻辑得3分，逻辑错误每种扣1.5分。扣分说明：未结合本次训练的实际过拟合情况，直接罗列优化手段的，本项扣3分。4.最优模型效果（5分）评分规则：测试集Top-1准确率≥92%得3分，每低0.5个百分点扣0.5分，低于88%本项不得分；单epoch训练时长≤120秒得2分，每超出10秒扣0.2分，超出180秒本项不得分。扣分说明：模型权重文件损坏或无法加载的，本项按0分处理。【试题三：工业质检模型效果评估与边缘端适配实操】一、任务背景将训练完成的动力电池外观质检模型部署到产线边缘质检工位，需完成场景化效果评估、错误归因及边缘端推理优化，确保模型满足产线实际运行要求。若考生试题二输出的模型不符合要求，可调用考试系统提供的基准模型（命名为base_model.pth，测试集准确率93.2%）进行后续操作，不影响本题得分。二、给定条件1.测试数据集：产线现场采集的真实场景测试图像200张，包含工位光照波动（±30%亮度）、拍摄角度偏移（±15°）、表面水雾/灰尘附着等现场干扰因素，其中缺陷样本80张（划痕28张、气泡22张、漏镀30张）、良品样本120张，标注为标准答案文件（命名为ground_truth.json）。2.部署环境：模拟边缘端算力环境（4核ARMv8CPU、8GBLPDDR4内存、无独立GPU），预装ONNXRuntime1.16.3推理框架。3.工具支持：Scikit-learn评估库、Matplotlib3.7.2可视化库、ONNX1.14.1模型转换工具。三、操作要求1.场景化评估指标体系搭建：结合工业质检的业务需求，制定包含通用指标与业务专属指标的评估体系，至少包含准确率、精确率、召回率、F1值、误检率、漏检率6项核心指标，说明每项指标的业务含义及产线可接受的阈值标准，输出评估指标说明文档（命名为evaluation_metrics.md）。2.模型效果评估与报告输出：使用现场测试集对模型进行推理测试，计算6项核心指标的数值，绘制混淆矩阵，输出完整的模型效果评估报告（命名为evaluation_report.pdf），报告需包含指标数值、混淆矩阵、整体效果结论三部分内容。3.错误样本归因与优化建议：对所有预测错误的样本进行分类统计，至少归纳出3类错误原因，每类错误原因给出至少2条可落地的优化建议，输出错误归因分析文档（命名为error_analysis.md）。4.边缘端部署适配与推理优化：将PyTorch格式的模型转换为ONNX格式，采用量化、算子融合等至少2种优化手段提升边缘端推理速度，输出优化后的ONNX模型文件（命名为optimized_model.onnx）、推理脚本（命名为infer_onnx.py）及耗时测试报告（命名为speed_test.md），要求单张1920*1080图像的推理耗时不超过200ms，精度损失不超过1个百分点。【评分标准（35分）】1.评估指标体系搭建（7分）评分规则：包含要求的6项核心指标得3分，每少1项扣0.5分；每项指标有明确的业务含义说明得2分，含义表述错误每项扣0.3分；结合工业质检场景给出各指标的合理阈值标准得2分，阈值不符合产线实际（如漏检率阈值设为5%以上）每项扣0.4分。扣分说明：仅罗列指标无业务说明的，本项扣3分。2.模型效果评估与报告（10分）评分规则：6项指标计算准确得4分，每错1项扣0.7分；混淆矩阵绘制规范，类别对应正确得2分，类别错配扣1分，格式不规范扣0.5分；评估报告结构完整，包含指标、混淆矩阵、结论三部分得2分，每缺1部分扣0.7分；结论客观、符合实际效果得2分，结论与指标数据不符扣2分。扣分说明：指标计算结果与真实值偏差超过10%的，本项不得分。3.错误归因与优化建议（10分）评分规则：归纳错误类型不少于3类得3分，每少1类扣1分；错误归因与样本实际情况匹配得3分，归因错误每类扣1分；每类错误给出至少2条可落地的优化建议得4分，每类少1条建议扣0.7分，建议不可落地每条扣0.3分。扣分说明：错误归因未结合现场干扰因素的，本项扣2分。4.边缘端适配与推理优化（8分）评分规则：成功完成PyTorch模型到ONNX格式的转换得2分，转换失败或模型无法运行扣2分；采用至少2种推理优化手段得3分，每少1种扣1.5分；单张图像推理耗时≤200ms得2分，每超出50ms扣1分，超出