2026年人工智能训练师(三级)技能等级认定实操试题

2026年人工智能训练师(三级)技能等级认定实操试题考试总时长180分钟，满分100分，60分及以上为合格。考试依托云实训平台开展，每台考生终端分配独立云主机，配置为：8G显存NVIDIAA10GPU、16GDDR4内存、50GSSD存储，预装Ubuntu22.04LTS操作系统、Python3.11.9、PyTorch2.3.1、HuggingFaceTransformers4.42.1、LabelStudio1.13.0、FastAPI0.115.0、CUDA12.2、cuDNN8.9，考试所需数据集、预训练模型、基础代码框架均已预置在/home/user/exam目录下，考生不得外接存储设备、不得访问外部互联网，操作过程中需实时保存文件，考试结束后系统自动收卷。题型一：多模态数据标注与质检实操题量2道，总分30分，建议完成时长45分钟。试题1：电商图文配对数据标注（15分）【操作环境】LabelStudio1.13.0标注平台、预置的120组电商服饰类图文素材（存放在/home/user/exam/dataset/img_text_match目录，含images文件夹存储商品图像、raw_text.csv存储对应商品标题文本）【任务描述】根据电商商品检索场景的标注规范，对120组图文素材进行匹配度标注及错误原因标注，为后续图文匹配模型训练提供高质量标注数据。【标注规范】1.匹配度分为3个等级，定义如下：（1）完全匹配：图像展示的核心商品与文本描述的品类、核心属性（服饰品类如上衣/裤子/裙子、颜色、尺码范围、材质、品牌）完全一致，无信息偏差；（2）部分匹配：核心商品品类一致，仅非核心属性存在差异（如赠品不同、包装不同、展示的搭配件不同、文本多写了非核心促销信息），不影响用户对核心商品的识别；（3）不匹配：核心商品品类、核心属性中任一维度不符，或图像为非商品图（如风景图、空白图）。2.不匹配原因需标注具体类型，可选值为：品类不符、核心属性不符、品牌不符、非商品图，若存在多种原因需标注最主要的1项。【操作要求】1.启动LabelStudio平台，创建名为“img_text_match_准考证号”的标注项目，配置对应的标注模板；2.导入120组图文素材，按规范完成全部标注；3.标注完成后导出JSON格式的标注结果，保存为/home/user/exam/output/img_text_match_result.json；4.标注过程中不得使用批量自动标注工具，需人工逐一审定。【评分标准】1.标注准确率（9分）：以考试方预置的标准答案为基准，标注准确率≥95%计9分；准确率每低于95%1个百分点扣1分，扣完为止；2.标注格式合规性（3分）：导出文件格式为JSON、字段完整（含图像ID、文本ID、匹配度等级、不匹配原因4个必填字段）计3分，字段缺失1项扣1分，格式错误不得分；3.项目配置规范性（2分）：标注项目名称符合要求、标注模板与任务匹配计2分，不符合不得分；4.完成时效（1分）：在建议时长45分钟内（以系统提交时间为准）完成计1分，超时不得分。试题2：医疗实体标注数据质检与修复（15分）【操作环境】Python3.11.9、预置的200条已标注医疗命名实体识别数据集（存放在/home/user/exam/dataset/medical_ner目录，格式为BIO标注的txt文件，标注实体类型为疾病、症状、药物3类）【任务描述】对已标注的医疗NER数据集进行质量校验，识别并修复标注错误，输出质检后的数据集及质检报告，确保标注数据满足模型训练的质量要求。【质检规范】1.错误类型分为4类：（1）实体边界错误：实体的起始或结束位置标注错误，如“急性阑尾炎”仅标注了“阑尾炎”；（2）实体类型错误：实体的类别标注错误，如将症状“头痛”标注为疾病；（3）漏标：应标注的实体未被标注；（4）多标：将不属于实体的内容标注为实体。2.质检需结合规则校验与人工抽检：规则校验需覆盖BIO格式合法性、实体边界连续性2个维度，人工抽检比例不低于总数据量的30%。【操作要求】1.编写Python规则校验脚本，对200条数据进行格式校验和初步错误排查，脚本保存为/home/user/exam/output/ner_check.py；2.结合规则校验结果，对所有数据进行人工复核，找出全部标注错误并修复；3.输出质检后的数据集，保存为/home/user/exam/output/medical_ner_clean.txt；4.撰写质检报告，内容需包含：错误总数量、各类错误占比、错误分布规律、标注改进建议，报告保存为/home/user/exam/output/ner_quality_report.md。【评分标准】1.错误检出率（7分）：以考试方预置的错误标准答案为基准，错误检出率≥92%计7分；每低于92%1个百分点扣1分，扣完为止；2.修复准确率（4分）：修复后的标注与标准答案一致率为100%计4分，每错1处扣0.5分，扣完为止；3.规则校验脚本有效性（2分）：脚本可正常运行、能检出至少80%的格式类和边界类错误计2分，否则酌情扣分；4.质检报告完整性（2分）：报告包含全部要求内容、分析逻辑清晰、建议可落地计2分，内容缺失酌情扣分。题型二：模型训练与超参数调优实操题量2道，总分30分，建议完成时长50分钟。试题3：小样本客服意图分类模型LoRA微调（15分）【操作环境】PyTorch2.3.1、Transformers4.42.1、peft0.12.0、预置的客服意图分类小样本数据集（存放在/home/user/exam/dataset/intent_cls目录，共10个意图类别，每类20条训练样本、5条验证样本、20条测试样本）、预训练模型Qwen2-0.5B-Instruct（存放在/home/user/exam/model/qwen2-0.5b）【任务描述】基于给定的小样本客服意图数据集，使用LoRA低秩适配技术对预训练大语言模型进行微调，训练一个客服意图分类模型，要求模型在测试集上的准确率达到85%以上。【操作要求】1.编写微调训练代码，基于peft库配置LoRA参数，要求LoRA秩r在4-32之间、目标模块包含q_proj和v_proj、dropout在0.05-0.1之间；2.调整超参数完成模型训练，超参数调整范围要求：批次大小4-16、学习率1e-5到5e-4、训练epoch数3-10、优化器选择AdamW；3.训练过程中需记录训练损失、验证准确率等指标，保存完整训练日志；4.训练完成后保存LoRA权重文件、训练代码、训练日志到/home/user/exam/output/intent_cls/目录下；5.模型需支持批量输入推理，单条样本推理延迟不超过500ms。【评分标准】1.模型效果（8分）：测试集准确率≥85%计8分；准确率在80%-84%之间计5分；75%-79%之间计2分；低于75%不得分；2.代码规范性（4分）：代码结构清晰、有必要注释、LoRA参数配置符合要求、无语法错误计4分，存在问题酌情扣分；3.训练日志完整性（2分）：日志包含每轮训练损失、验证准确率、超参数配置信息计2分，内容缺失酌情扣分；4.推理效率（1分）：单条样本推理延迟≤500ms计1分，超时不得分。试题4：图像分类模型过拟合问题调优（15分）【操作环境】PyTorch2.3.1、torchvision0.18.1、预置的猫狗分类数据集（存放在/home/user/exam/dataset/cat_dog_cls目录，训练集2000张、验证集500张、测试集500张）、基础训练代码及初始模型权重（初始模型训练集准确率98.2%，验证集准确率71.8%，存在明显过拟合）【任务描述】针对给定的图像分类模型的过拟合问题，采用至少3种不同的优化手段进行调优，使得调优后的模型在测试集上的准确率达到90%以上，同时对比调优前后的效果差异。【操作要求】1.分析初始模型过拟合的原因，在调优方案中明确列出选用的优化手段及原理；2.优化手段可从数据增强、正则化、网络结构调整、训练策略优化等方向选择，每种优化手段需有明确的参数配置；3.完成调优训练，保存调优后的模型权重、训练代码、训练日志到/home/user/exam/output/cat_dog_cls/目录下；4.撰写调优报告，内容包含：过拟合原因分析、优化手段说明、调优前后训练/验证/测试准确率对比、优化效果分析，报告保存为/home/user/exam/output/cat_dog_tune_report.md。【评分标准】1.模型效果（7分）：测试集准确率≥90%计7分；准确率在85%-89%之间计4分；80%-84%之间计1分；低于80%不得分；2.优化手段有效性（4分）：采用了至少3种不同类别的过拟合优化手段、且每种手段均对效果提升有正向作用计4分；每少1种有效手段扣1.5分，扣完为止；3.调优报告质量（3分）：原因分析准确、对比数据完整、效果分析逻辑清晰计3分，内容缺失或分析错误酌情扣分；4.代码可复现性（1分）：调优代码可直接运行、能复现提交的模型效果计1分，否则不得分。题型三：模型效果评估与问题定位实操题量2道，总分20分，建议完成时长40分钟。试题5：多分类模型评估指标计算与分析（10分）【操作环境】Python3.11.9、pandas2.2.2、scikit-learn1.5.1、预置的10分类花卉识别模型推理结果文件（存放在/home/user/exam/dataset/flower_eval/test_result.csv，包含字段：image_id、true_label、pred_label、class_0_conf到class_9_conf共10个类别置信度）【任务描述】基于给定的模型推理结果，计算多分类模型的核心评估指标，分析模型的效果短板，提出针对性的优化方向。【操作要求】1.计算以下评估指标：整体准确率、各类别的精确率、各类别的召回率、各类别的F1值、宏平均F1（Macro-F1）、加权平均F1（Weighted-F1）、Top-2准确率；2.找出模型表现最差的2个类别（以F1值为基准），结合测试样本数据分析效果差的可能原因；3.提交指标计算代码、指标结果表格、效果分析报告到/home/user/exam/output/flower_eval/目录下，其中指标结果保存为result.csv，分析报告保存为eval_analysis.md。【评分标准】1.指标计算准确性（6分）：所有指标计算结果与标准答案误差在0.001以内计6分；每错1项指标扣1分，扣完为止；2.问题分析合理性（3分）：准确识别效果最差的2个类别、原因分析符合数据规律、逻辑自洽计3分，分析错误或不合理酌情扣分；3.代码规范性（1分）：计算代码可正常运行、有注释说明计1分，否则不得分。试题6：语音识别模型错误案例分析与优化建议（10分）【操作环境】VLC播放器、预置的50条中文语音识别错误样本包（存放在/home/user/exam/dataset/asr_error目录，包含audio文件夹存储原音频、reference.txt存储标准文本、hypothesis.txt存储模型识别结果，样本覆盖普通话、轻度方言、背景噪音、小声说话等场景）【任务描述】对50条语音识别错误样本进行错误类型分类统计，定位主要错误原因，提出可落地的模型优化方案。【错误分类规范】1.同音替换：发音相同或相近但字形不同的错误，如“支付”识别为“致富”；2.漏字：识别结果比标准文本少1个及以上字符；3.多字：识别结果比标准文本多1个及以上字符；4.语序错误：识别结果字符相同但顺序不同，如“语音识别”识别为“识别语音”；5.方言/口音误识别：因说话人带方言口音或发音不标准导致的识别错误；6.噪音干扰：因背景噪音、回声、电流音等干扰导致的识别错误。若同一样本存在多种错误，标注占比最高的1类错误。【操作要求】1.逐一比对50条样本的标准文本与识别结果，结合音频听辨，完成错误类型标注；2.统计各类错误的数量及占比，生成错误类型统计表；3.针对占比最高的2类错误，分别提出至少2条具体的模型优化建议，说明优化思路及预期效果；4.提交错误标注文件、统计表、优化方案报告到/home/user/exam/output/asr_analysis/目录下，报告保存为asr_error_analysis.md。【评分标准】1.错误分类准确率（5分）：错误分类与标准答案一致率≥94%计5分；每低1个百分点扣0.5分，扣完为止；2.统计结果准确性（1分）：错误数量、占比统计准确计1分，错误不得分；3.优化方案可行性（4分）：优化建议针对错误原因、具备可操作性、符合语音识别模型优化逻辑计4分，建议空泛或不合理酌情扣分。题型四：场景化模型部署与验证实操题量1道，总分20分，建议完成时长45分钟。试题7：客服意图识别模型API部署与功能验证（20分）【操作环境】FastAPI0.115.0、uvicorn0.30.6、pytest8.3.2、试题3训练完成的客服意图分类模型（若考生未完成试题3，可使用预置的基准模型，存放在/home/user/exam/model/intent_base）【任务描述】将训练好的客服意图识别模型封装为HTTPAPI接口，实现用户文本输入到意图结果的推理输出，并完成接口功能测试与性能验证，确保接口可满足线上调用的基础要求。【操作要求】1.使用FastAPI框架封装模型推理逻辑，接口要求如下：（1）接口路径：/api/intent/recognize；（2）请求方式：POST；（3）请求体格式：JSON，必填字段为text（字符串类型，长度1-200字符）；（4）响应体格式：JSON，包含字段：code（状态码