2026年人工智能训练师(三级)技能等级认定实操试题

2026年人工智能训练师(三级)技能等级认定实操试题本次实操考核总时长180分钟，总分100分，60分及以上为合格，考核全程需在指定离线训练环境中完成，环境预置Python3.10、PyTorch2.3、Transformers4.42、LabelStudio1.12、Scikit-learn1.4、Pandas2.2、Matplotlib3.9、TensorBoard2.17、vLLM0.5.3工具集与依赖库，单GPU算力为24G显存RTX3090，考核全程禁止接入公网、禁止接入外部存储设备、禁止跨考生路径拷贝文件，所有作答结果需按题目要求保存至指定本地路径，因路径错误、文件损坏、格式不符合要求导致无法核验的内容一律不计分；考核过程中遇硬件故障、环境崩溃等非考生操作导致的问题，需举手示意监考人员处置，不得自行重启设备或修改环境预置配置。1.多模态训练数据集构建与质量校验（总分30分）给定素材位于D:\exam\raw_data路径下，包含3类原始业务数据：一是12000条2023-2025年某街道社区便民服务渠道采集的用户咨询数据，其中9200条为微信公众号、小程序端的文字咨询记录，2800条为热线电话语音转写结果，每条数据包含唯一data_id、时间戳、来源渠道字段；二是与咨询数据关联的1200张实拍素材，包含办事指南海报截图、公共设施故障实拍、服务窗口现场照片三类；三是150小时窗口坐席服务录音片段，每条录音与对应咨询记录关联标注。数据标注规范文档存储于D:\exam\spec\annotation_guideline.pdf，明确标注边界、标签定义、判定规则。1.1原始数据清洗处理（12分）请按以下要求完成原始数据清洗：（1）文本去重：采用SimHash算法计算文本指纹，设置海明距离≤3为重复判定阈值，对重复文本仅保留时间戳最早的1条记录，剔除其余重复项；（2）噪声剔除：全面剔除文本中包含的HTML标签、无意义表情符号、广告引流内容、涉政涉敏违规内容、与社区便民服务无关的闲聊内容，同时剔除语音转写置信度低于0.75的无效转写记录；（3）格式统一：将所有清洗后的文本转换为UTF-8无BOM编码，统一日期时间格式为YYYY-MM-DDHH:MM:SS。清洗完成后将结果保存为train_text_clean.csv，字段需包含data_id、content、timestamp、source_type，存储至D:\exam\dataset\interim路径。评分标准：清洗后数据集重复率≤0.1%得4分，重复率在0.1%-0.5%区间得2分，重复率高于0.5%不得分；无效数据剔除准确率≥98%得5分，准确率在90%-97%区间得3分，准确率低于90%不得分；文件编码、字段设置、格式完全符合要求得3分，存在字段缺失、编码错误、格式混乱问题不得分。1.2多模态数据标注与一致性校验（12分）请依据给定标注规范完成多模态数据标注对齐：（1）标签标注：为清洗后的每条有效文本标注意图标签与实体标签，其中意图标签共8类，分别为政策咨询、业务办理、故障报修、投诉建议、便民查询、活动报名、其他咨询、无效对话；实体标签共12类，分别为办事事项、办理地点、办理时间、所需材料、联系电话、故障位置、故障类型、活动名称、活动时间、活动地点、申请人身份、诉求优先级。（2）模态对齐：为每条文本匹配语义关联度最高的图片或音频片段，设置语义相似度阈值≥0.85，无匹配模态资源的样本标注为“无关联模态”。（3）质量校验：完成标注后通过随机抽样20%样本的方式计算标注一致性（Cohen'sKappa系数），统计各类标签分布占比、低置信度标注样本（标注人员判定存在歧义的样本）占比，形成标注质量报告。标注结果需按预置schema要求保存为multimodal_annotation.json，标注质量报告保存为annotation_quality_report.md，统一存储至D:\exam\dataset\interim路径。评分标准：整体标注准确率≥95%得6分，准确率在85%-94%区间得3分，准确率低于85%不得分；模态关联匹配准确率≥92%得3分，准确率在80%-91%区间得1分，准确率低于80%不得分；标注质量报告中Cohen'sKappa系数≥0.8、低置信度样本占比≤3%、单类标签占比介于2%-40%区间（无极端长尾或倾斜）得3分，每出现1项指标不达标扣1分，扣完为止。1.3数据集划分与格式转换（6分）请将完成标注清洗的全量有效数据集按照8:1:1的比例随机划分为训练集、验证集、测试集，划分过程需采用分层抽样方法，保证每个数据子集内8类意图标签的分布占比与全量数据集的分布偏差不超过5%，避免出现标签偏移问题；划分完成后将数据集转换为适配预置Qwen-VL-7B基础模型的训练输入格式，确保数据可直接被模型训练脚本读取无解析错误。转换完成后将train.json、dev.json、test.json三个文件存储至D:\exam\dataset\final路径。评分标准：数据集划分比例准确、分层抽样后标签分布偏差符合≤5%的要求得3分，标签分布偏差每超出1个百分点扣1分，扣完为止；数据格式完全适配模型训练要求、读取无报错得3分，存在字段缺失、格式错误导致训练脚本无法解析不得分。2.垂域多模态模型微调与训练过程管控（总分30分）预置Qwen-VL-7B基础模型权重存储于D:\exam\base_model路径，训练启动脚本、推理验证脚本已预置在环境中，可直接调用。2.1高效微调超参数配置（8分）请采用LoRA参数高效微调方法完成训练配置，需满足以下约束：（1）训练目标为适配社区便民服务智能客服场景，训练后模型在验证集上需达到意图识别准确率≥92%、实体抽取宏F1值≥88%、图文匹配准确率≥90%的效果基线；（2）超参数设置需适配24G显存硬件条件，其中训练轮次（epoch）设置不超过5轮，批次大小（batch_size）可结合梯度累积步设置为显存可承载值，学习率设置在5e-5至1e-4区间，LoRA秩（rank）设置为8-16区间，LoRA作用模块需覆盖注意力层的q_proj、v_proj参数，权重衰减系数设置为0.01，预热步长（warmup_steps）占总训练步长的10%，同时配置早停机制，设置耐心值（patience）为3，即验证集损失连续3个评估步不下降时自动终止训练。配置完成后将参数文件保存为lora_config.yaml至D:\exam\model\training路径。评分标准：所有超参数设置符合给定约束、适配硬件环境可正常启动训练得8分，每出现1项参数不符合约束扣2分，扣完为止；参数设置不合理导致显存溢出、训练无法启动的，本项不得分。2.2训练过程监控与异常处置（12分）启动训练任务后，请通过内置TensorBoard工具实时监控训练状态，每100个训练步记录1次训练损失、验证集损失、验证集意图识别准确率3项核心指标。训练过程中需处置2类预置典型异常：（1）训练启动后前200步出现训练损失大幅震荡、无平稳下降趋势的问题，需定位根本原因并调整参数恢复训练正常收敛；（2）训练至第3轮时出现训练损失持续下降、验证集损失反向上升的过拟合迹象，需及时采取干预措施抑制过拟合。训练完成后，需将训练过程监控曲线截图、异常问题排查记录、参数调整说明整理为training_log.md文档，训练得到的LoRA适配器权重保存至D:\exam\model\lora_weight路径。评分标准：成功启动训练、最终训练损失平稳收敛得4分，因参数配置错误导致训练崩溃且30分钟内未排查解决不得分；2类异常问题根因定位准确、处置措施有效（损失震荡需定位到学习率过高/批次过小/数据未随机打乱三类核心原因之一，调整后损失进入平稳下降通道；过拟合需定位到轮次过多/正则不足/训练样本分布偏差三类核心原因之一，采取早停/增大权重衰减/补充少量难例等措施后验证集损失回升趋势得到抑制）得4分，每类异常处置错误扣2分；训练日志记录完整、权重存储路径正确得4分，日志缺失关键过程记录、权重存储错误每出现1处扣1分，扣完为止。2.3训练效果初步验证（10分）训练完成后，请加载基础模型与训练得到的LoRA权重，在验证集上完成初步效果验证，统计意图识别准确率、实体抽取宏F1值、图文匹配准确率3项核心指标；若指标未达到2.1中明确的效果基线，需在不启动全量重训的前提下，通过调整LoRA权重融合比例（scale值）、补充≤5%训练集规模的难例样本做小步微调的方式完成效果优化，直至指标达到基线要求。验证与优化完成后，将指标统计结果、优化过程记录保存为initial_eval_result.csv至D:\exam\model\training路径。评分标准：3项核心指标全部达到效果基线得8分，每有1项指标未达标扣3分，扣完为止；优化过程未使用全量重训、优化效率符合考核时间要求得2分，采用全量重训导致考核超时不得分。3.模型效果综合评测与问题归因（总分25分）测试集数据存储于D:\exam\dataset\final\test.json路径，共1200条标注完成的测试样本，本地模型推理服务已通过vLLM部署在:8000端口，可通过API接口调用。3.1多维评测指标体系构建（7分）请结合社区便民服务智能客服的上线要求，构建覆盖功能效果、性能效率、安全合规3个维度的评测指标集：其中功能效果维度需设置意图识别准确率、实体抽取宏F1值、多模态回复相关性、拒识准确率4项细分指标；性能效率维度需设置单条query平均响应时长、10路并发下的吞吐量（QPS）、异常请求占比3项细分指标；安全合规维度需设置敏感内容拦截率、事实性错误生成率、隐私信息泄露率3项细分指标。请明确每个指标的计算逻辑、场景适配的合格阈值，将指标体系保存为eval_metric.yaml至D:\exam\eval路径。评分标准：3个维度共10项细分指标无遗漏得4分，每缺失1项指标扣0.5分；每个指标的计算逻辑科学合理、合格阈值符合场景实际（其中敏感内容拦截率、隐私信息泄露率合格阈值为100%，事实性错误生成率≤2%，单条响应时长≤500ms，10路并发QPS≥15，异常请求占比≤0.1%）得3分，指标计算逻辑错误、阈值设置明显不符合业务要求每出现1处扣0.5分，扣完为止。3.2自动化评测脚本开发与执行（10分）请基于构建的评测指标体系编写Python自动化评测脚本，批量调用本地模型服务接口完成全量测试样本的评测，自动计算所有指标的实际值，形成评测结果汇总表；同时从测试结果中筛选所有模型预测错误的样本，将其保存为hard_example.csv，字段包含data_id、真实标签、模型预测结果、错误类型（分为标注错误、样本不足、语义歧义、模态不匹配、模型泛化不足、其他共6类）、错误原因初步判定。所有评测结果文件保存至D:\exam\eval路径。评分标准：评测脚本可稳定运行、无语法或逻辑报错，可完整跑完所有测试样本得3分，脚本运行崩溃无法输出结果不得分；所有指标计算结果与真实值偏差≤2%得4分，偏差每超出1个百分点扣0.5分，扣完为止；难例样本筛选完整、错误类型分类准确率≥90%得3分，难例遗漏率超过5%、错误类型判定准确率低于90%不得分。3.3评测结果分析与根因定位（8分）请基于评测得到的指标结果与筛选出的难例样本，完成评测结果分析：一是梳理所有指标的达成情况，明确未达标指标的具体差距；二是从未达标指标对应的错误样本出发，从数据质量、训练过程、参数配置3个层面定位问题根本原因，避免笼统归因为“模型效果差”这类无依据的定性描述；三是针对每类根因提出可落地的优化方向，按照“高优先级（影响核心功能/合规要求）、中优先级（影响用户体验）、低优先级（不影响核心使用）”划分优化优先级，最终形成完整的评测分析报告eval_report.md保存至D:\exam\eval路径。评分标准：根因定位准确、有对应错误样本作为数据支撑得4分，根因分析浮于表面、无数据支撑每出现1处扣1分；优化方案可落地、优先级划分合理得2分，方案不具备可操作性、优先级逻辑混乱不得分；报告结构完整、表述清晰得2分，结构缺失、逻辑混乱不得分。4.模型上线前适配与交互规则配置（总分15分）4.1模型推理效率量化优化（7分）请采用GPTQ-Int4量化方法对训练完成的LoRA权重与基础模型融合后的模型进行量化压缩，需满足以下要求：（1）量化后模型核心指标（意图识别准确率、实体抽取F1值、图文匹配准确率）较量化前的下降幅度不超过2个百分点，无明显精度损失；（2）量化后模型在24G显存环境下单条query平均响应时长≤500ms，推理时显存占用≤12G。量化完成后将模型权重保存至D:\exam\model\quant_model路径，同时记录量化前后的精度、推理速度、显存占用对比数据保存为quant_compare.csv。评分标准：量化流程操作正确、量化后模型可正常加载完成推理得3分，量化后模型无法加载、推理报错不得分；量化精度损失、推理速度、显存占用全部符合要求得4分，每出现1项指标不达标扣2分，扣完为止。4.2客服交互规则配置（8分）请结合社区便民服务场景要求，完成模型交互响应规则配置，包含3类核心规则：（1）兜底回复