2026年人工智能训练师(三级)综合实操考核试题及答案

2026年人工智能训练师(三级)综合实操考核试题及答案实操试题一：图像标注质量校验试题背景：某自动驾驶企业承接城市开放道路感知模型数据集建设项目，要求人工智能训练师（三级）完成初标数据集的质量校验工作。本次待校验数据集共包含1000张车载RGB图像，标注对象为城市道路场景下的行人、非机动车、机动车三类核心感知目标，标注规则要求：①每个目标必须单独标注，不存在重叠目标漏标；②目标检测框需完整包裹目标整体，标注框与金标准的交并比（IOU）≥0.8判定为框合格；③目标分类必须匹配所属类别，分类不符判定为错标；漏标、错标、框不合格均记为单个目标不合格。本次初标完成后，初标记录表显示共标注目标3215个，其中行人1122个、非机动车568个、机动车1525个。考核要求：（1）结合项目质量管控要求，设计符合考核标准的抽样校验方案，要求置信度95%，允许最大抽样误差不超过3%；

（2）本次抽样校验完成后，共检出不合格目标17个，具体错误分布为：漏标目标7个（行人4个、非机动车2个、机动车1个），分类错标5个（将骑行电动滑板车的用户错分为非机动车3个、将停靠在人行道的共享单车错分为行人2个），目标框IOU未达标的5个。请根据抽样结果计算本次初标数据集的整体标注合格率、漏标率、分类错标率、框不合格率；（3）根据计算结果给出本次校验的最终结论，并制定对应整改方案，要求标注整体合格率需达到98%以上才能进入下一环节。

2.实操试题二：大语言模型专属任务微调训练设计试题背景：某区域连锁电商企业需要训练适配自身业务的售后客服大模型，要求模型能够准确识别用户退换货、物流查询、商品咨询三类核心诉求，匹配企业知识库给出规范回答。企业已完成标注的高质量对话样本共12000条，其中退换货诉求样本4500条、物流查询样本4000条、商品咨询样本3500条，要求基于Lora低秩微调方案对通义千问7B基座模型进行微调，你作为项目负责的人工智能训练师（三级），完成本次微调训练的全流程设计。考核要求：设计内容必须包含数据集划分方案、训练超参数设置、效果评估指标体系、训练流程管控规则四个部分。实操试题三：RAG系统Prompt优化实操试题背景：某制造企业搭建了基于大语言模型的内部规章制度查询RAG系统，供员工查询考勤、薪酬、差旅报销等内部制度，原始使用的Prompt模板为：“请根据以下上下文回答问题：问题：[USER_QUERY]上下文：[RETRIEVED_CONTEXT]请回答。”上线试运行后，收集到三个核心问题：①当检索到的上下文与用户问题不相关时，模型会生成不符合制度的错误答案，存在误导风险；②回答内容冗余，存在大量无关拓展内容，员工无法快速获取核心规则；③回答不标注引用的制度条文出处，员工需要核对原文时无法快速定位。请你针对以上问题优化Prompt模板，并说明优化逻辑，设计验证优化效果的测试方案。实操试题四：语音识别模型训练异常排查试题背景：某语音识别模型训练项目，针对方言口音的普通话语音识别进行微调，训练启动后第5个epoch开始，训练损失不再下降，验证集准确率始终卡在31.8%-32.2%区间波动，项目开发组已经排除了硬件故障、学习率设置过高两种常见问题，请你作为人工智能训练师（三级），排查剩余可能的异常原因，并逐一给出对应解决方案。参考答案第1题参考答案：（1）抽样校验方案设计：根据给定的置信度95%、允许抽样误差3%的要求，抽样量计算过程如下：

置信度95%对应的Z统计量为1.96，总体待校验目标量N=3215，取估计总体不合格率P=0.5（保守估计，最大化抽样量保证校验精度），允许抽样误差e=0.03，无限总体抽样量计算公式为：

n=Zn′=n1+n−1N本次抽样量为800个目标，不合格共17个，因此：整体标注合格率=抽样总目标数−不合格目标校验结论：本次初标注整体合格率为97.88%，未达到项目要求的98%合格率标准，需要进行全数据集整改，核心问题为分类规则不清晰、小目标漏标，需要统一标准后复核。

整改方案：①将本次抽样检出的分类错误案例同步给初标团队，明确分类规则：“携带小型代步工具的行人属于行人类别，所有共享骑行车辆均属于非机动车类别”，统一标注判断标准；②要求初标员对全数据集进行二次排查，重点排查画面边缘、遮挡的小目标（路边行人、小型非机动车）的漏标问题，对所有大尺度目标的标注框进行复核，确保IOU达标；③整改完成后重新抽取500个目标进行二次校验，合格率达到98%以上即可进入下一环节，若仍未达标则重复整改复核流程。

第2题参考答案：

本次微调训练全流程设计如下：（1）数据集划分方案：现有样本存在轻微类别不平衡，首先采用smote过采样对占比最低的商品咨询样本进行扩增，将商品咨询样本量扩增至4000条，总样本量变为12500条，三类样本占比均匀，避免训练过程中模型偏向多数类。按照训练集:验证集:测试集=8:1:1的比例划分，即训练集10000条、验证集1250条、测试集1250条，划分时采用分层打乱划分，保证每个数据集中三类诉求的占比一致，避免划分后类别分布偏差影响训练效果。（2）训练超参数设置（基于Lora微调，适配单卡A10040G训练环境）：①Lora超参数：秩r=8，alpha=16，dropout=0.05，仅对注意力层的q、v投影矩阵进行适配，总训练参数量控制在约40M，在保证微调效果的同时降低训练资源消耗；②训练超参数：训练轮次epoch=10，批次大小batch_size=16，学习率采用线性衰减的warmup策略，初始学习率2e-4，warmup步长占总训练步长的10%，权重衰减设置为1e-5，最大序列长度设置为1024，覆盖99%以上客服对话的长度需求；③精度设置：采用FP16混合精度训练，节约显存，提升训练速度。

（3）效果评估指标体系：分为自动评估和人工评估两个部分：①自动评估：意图识别准确率（三类诉求的分类准确率，要求达到95%以上）、困惑度（Perplexity，要求生成困惑度低于8，越低表示生成越符合业务语言规范）、BLEU-4分数（对比标准回答，要求BLEU-4达到0.75以上）；②人工评估：从回答准确性、回答合规性、回答简洁性三个维度，每个维度1-5分，要求平均得分达到4分以上，50个抽样样本的不合格回答占比低于5%。

（4）训练流程管控规则：①训练前：检查数据集格式，去除空白样本、重复样本、违规样本，统一格式为ShareGPT对话格式，验证划分后数据集的类别分布偏差不超过1%；②训练中：每100步保存一次检查点，每1个epoch在验证集上计算一次准确率，若连续2个epoch验证集准确率提升不超过0.5%，触发早停，防止过拟合；③训练后：按照评估指标完成效果评估，评估合格后导出模型部署，评估不合格则先排查数据集标注质量，再调整超参数，重新训练。

第3题参考答案：

（1）优化后的Prompt模板如下：

你是该企业内部制度查询助手，仅能根据检索到的企业制度上下文回答问题，必须严格遵守以下规则：

1.如果检索到的上下文没有和问题相关的内容，你必须直接回复“当前知识库未收录相关问题，请联系人力资源部薪酬福利组咨询”，禁止编造任何答案。

2.回答必须简洁明了，只输出问题对应的核心规则，禁止添加无关拓展内容，禁止重复用户问题。

3.回答内容需要标注引用的制度名称和条文编号，格式为【引用：XX制度第X条】放在回答末尾。

用户问题：{USER_QUERY}

检索到的上下文：{RETRIEVED_CONTEXT}

请按照上述规则回答：（2）各优化点设计逻辑：①新增身份定位与核心禁则约束：开头明确模型的输出边界，强制要求无相关内容时只能回复固定内容，解决了上下文不匹配时模型胡编乱造的问题，符合大语言模型的指令遵循特性；②新增输出简洁性明确要求：直接约束输出内容范围，禁止无关拓展，解决了原始prompt回答冗余的问题，匹配员工快速查询制度的需求；③新增引用格式明确要求：强制标注出处，解决了原始输出无法核对原文的问题，满足内部制度查询的合规性需求；④将规则前置，利用大语言模型对prompt开头指令权重更高的特性，提升规则遵守率，优化效果远优于规则后置的设计。（3）优化效果测试验证方案：①测试集构建：抽取100条历史真实用户问题，其中包含20条知识库未收录的问题、30条涉及具体条文的问题、50条已收录常规问题，构建封闭测试集，避免测试偏差；②测试指标设定：规则遵守率（未收录问题正确回复不编造的比例，要求达到100%）、回答冗余率（人工判断回答存在无关内容的比例，要求低于5%）、引用正确率（正确标注引用出处的比例，要求达到95%以上）；

③验证流程：分别用原始prompt和优化后prompt对测试集进行推理，统计各项指标，若优化后所有指标达标则上线，若有指标不达标则调整规则描述的清晰度，再次测试，直到指标符合要求。第4题参考答案：排除硬件故障和学习率过高后，可能的异常原因及对应解决方案如下：原因一：学习率设置过低。学习率过低时，模型参数每次更新的幅度太小，无法跳出局部最优平台，导致损失长期不下降，准确率卡在低位。解决方案：将学习率调整为原来的5-10倍，采用warmup策略逐步提升学习率，避免训练震荡，重新启动训练后观察损失变化。原因二：训练集标注质量不合格，存在大量错标漏标。训练数据标签错误率过高时，模型无法学习到正确的语音-文本映射特征，导致损失无法下降。解决方案：抽取10%的训练语音样本进行标注质量校验，计算标注错误率，如果错误率超过5%，对错误标注进行批量修正，重新划分数据集后训练；如果错误率超过20%，则重新组织标注团队完成标注。原因三：批次大小设置不合理。批次过小会导致梯度波动过大，模型无法收敛；批次过大会导致梯度更新方向偏差，模型卡在局部最优。解决方案：如果原批次大小小于4，逐步增大批次大小到4、8，观察损失变化；如果原批次大小大于32，逐步降低批次大小，调整后重新启动训练。原因四：数据预处理异常，语音特征提取错误。输入模型的梅尔频谱特征归一化错误，所有样本特征分布偏移，模型无法学习到有效特征。解决方案：随机抽取10个批次的语音特征，可视化查看特征分布是否符合预期，检查归一化参数计算是否正确，若存在错误则重新预处理全数据集，再启动训练。原因五：预训练基座模型不匹配