2026年人工智能训练师(四级)考前模拟实操试题

2026年人工智能训练师(四级)考前模拟实操试题本场实操考试总分100分，考试时长120分钟，考核合格分数线为60分，考生需在指定实操考核系统内完成所有任务，操作过程需符合《人工智能训练师国家职业技能标准（2022年版）》中四级（中级工）的技能操作规范，所有答题内容需保存至指定考生文件夹，未按要求存储的答题内容不计入成绩。1.智能客服场景训练数据清洗与标注（35分，建议答题时长40分钟）1.1任务背景某本地生活服务平台外卖业务2025年Q4累计产生12.6万条用户与客服的交互语料，现需搭建智能客服意图识别模型，已完成语音转写生成原始CSV格式数据集，包含msg_id（语料唯一标识）、text（转写文本）、create_time（会话时间）3个字段，共抽取1000条连续会话语料作为本次数据处理任务的样本集，处理完成后的数据将直接作为模型训练输入。1.2具体任务1.2.1无效语料清洗（15分）请按照既定规则完成无效语料识别与剔除，规则如下：①文本为纯乱码、无意义字符组合，语义无法识别；②存在完全重复的语料（msg_id相邻且text字段完全一致，仅保留第一条）；③包含涉政、涉黄、辱骂等违规敏感内容；④文本内容与外卖客服业务完全无关的闲聊、广告内容；⑤语音转写错误率超过60%，无法通过文本推断用户核心诉求。待清洗语料片段如下（共10条，全量语料已存放至考生文件夹“/data/raw_corpus.csv”路径）：①msg_id:0012文本：“我的餐都晚了20分钟了怎么还没到啊”②msg_id:0087文本：“sdjfklewio2342@#$”③msg_id:0156文本：“*你们平台和骑手都是什么东西，再也不点了*”④msg_id:0239文本：“为什么我的订单还没送到”⑤msg_id:0240文本：“为什么我的订单还没送到”⑥msg_id:0312文本：“我买的可乐怎么没有放冰块啊”⑦msg_id:0426文本：“今天天好热啊不想出门”⑧msg_id:0489文本：“我昨天点的餐今天拉肚子了”⑨msg_id:0573文本：“[微笑][微笑]你们真行，餐撒了一半”⑩msg_id:0641文本：“啊是多少的撒发顺丰啊”请列出所有需剔除的语料msg_id，并对应说明剔除原因，将处理后的有效语料保存至“/data/clean_corpus.csv”路径。1.2.2语料归一化处理（10分）请按照统一规范对清洗后的有效语料做归一化处理，规范要求：①谐音字、错别字、方言表述修正为通用书面语，不改变原文本语义；②数字表述统一补全单位（如“3块”改为“3元”），时间表述统一为24小时制格式；③网络缩写、拼音缩写还原为完整表述（如“gg”还原为“哥哥”）；④表情符号替换为对应语义的文字标注（如[发怒]替换为“表达不满情绪”）；⑤删除无意义粗俗语气词、冗余语气助词，保留核心诉求信息。待归一化语料片段如下（共10条，全量待处理语料已存放至“/data/clean_corpus.csv”路径）：①“我点的黄焖鸡米板啥时候能到啊，3点半之前能到不”②“骑手gg也太慢了吧，我都等了四十多分钟了[发怒]”③“满30减15的卷能用在奶茶店不”④“我要退钱，餐品都凉透了，根本没法吃”⑤“上次给的5块钱红苞怎么过期了啊”⑥“打骑手电话打不通，我要改下收货地址到小区北门”⑦“我点的两份米饭怎么只送了一份啊，搞什么啊”⑧“你们这的卫生也太差了吧，菜里有个小虫子卧曹”⑨“会员自动续费扣了我15块钱，能退不”⑩“俺的餐被别人拿错了，这咋整啊”请将归一化处理后的语料保存至“/data/norm_corpus.csv”路径。1.2.3意图标签初标注（10分）请按照给定的6类意图标签体系，对归一化后的20条抽样语料进行初始标签标注，标签不允许交叉、不允许自定义，每条语料仅对应一个标签。标签体系定义如下：①配送超时：用户反馈餐品配送超出预计送达时间；②餐品质量问题：用户反馈餐品存在漏送、错送、变质、有异物、温度不符合要求等问题；③申请退款：用户明确提出退款、赔付等资金类诉求；④骑手沟通问题：用户反馈无法联系骑手、骑手服务态度差、需要修改配送地址/联系方式等与骑手服务相关的问题；⑤优惠活动咨询：用户咨询优惠券使用、会员权益、满减活动等相关问题；⑥其他：无法归入上述5类的诉求。待标注语料已存放至“/data/norm_corpus.csv”路径的sample_annotation工作表中，标注完成后保存文件。1.3评分细则①无效语料清洗（15分）：需准确剔除5条无效语料，分别为msg_id:0087（纯乱码无意义）、msg_id:0156（含辱骂性违规内容）、msg_id:0240（与msg_id:0239完全重复）、msg_id:0426（与客服业务无关的闲聊内容）、msg_id:0641（转写错误语义无法识别）。每条语料判断正确得2分，对应剔除原因说明准确得1分/条；错剔有效语料每条扣3分，漏剔无效语料每条扣2分，扣完为止。②语料归一化处理（10分）：每条语料处理符合规范、语义无偏差得1分；出现语义改变、格式不符合规范的每条扣1分，扣完为止。③意图标签初标注（10分）：20条待标注语料，每条标注正确得0.5分；标签错配、多选标签的每条扣0.5分，标注准确率达到90%及以上得满分，低于60%本项不得分。2.意图识别模型微调训练辅助（30分，建议答题时长35分钟）2.1任务背景基于第一题处理完成的外卖客服语料数据集，需辅助算法工程师完成BERT-base中文预训练模型的垂直领域微调，训练硬件环境为单张RTX4090（24G显存）、32G内存、2T固态硬盘，训练框架为PyTorch2.2，数据集按训练集:验证集:测试集=8:1:1比例分层抽样划分，总样本量10000条，各标签分布为：配送超时4000条、餐品质量问题2500条、申请退款1500条、骑手沟通问题1000条、优惠活动咨询700条、其他300条。2.2具体任务2.2.1训练基础参数配置（12分）请从给定的参数选项中选择适配当前硬件环境与数据集特征的最优参数，并逐一说明选择理由。可供选择的参数选项如下：①训练批次大小（batch_size）：4、16、64、256②微调学习率（learning_rate）：1e-2、1e-5、1e-7③训练轮次（epoch）：3、10、50、100④文本最大序列长度（max_seq_len）：32、128、512、1024请将参数配置结果与理由说明填写至“/train/config.yaml”文件的对应字段中。2.2.2训练过程异常排查（10分）训练过程中观测到3类典型异常现象，请逐一分析异常产生的核心原因，并给出可落地的解决方法，将排查结果填写至“/train/debug_log.md”文件中。异常现象如下：①启动训练脚本后，程序运行10秒左右抛出“RuntimeError:CUDAoutofmemory.Triedtoallocate2.00GiB”错误，训练进程自动终止。②连续训练5个epoch后，训练集分类准确率稳定在98.2%，但验证集分类准确率始终维持在61.7%左右，没有上升趋势。③训练进行到第2个epoch时，训练集loss下降至0.28，第3到第8个epoch的loss值在0.27-0.31区间反复波动，验证集loss没有明显下降。2.2.3样本不均衡问题调整（8分）当前数据集存在明显的类别分布不均衡问题，请说明该问题会对模型效果产生的具体影响，并给出可落地的调整方案，将方案填写至“/train/data_adjustment.md”文件中。2.3评分细则①训练基础参数配置（12分）：最优参数组合为batch_size=16、learning_rate=1e-5、epoch=10、max_seq_len=128，每个参数选择正确得2分，对应理由说明准确、符合硬件与数据特征得1分/个。理由需覆盖显存利用率、模型收敛速度、过拟合风险、文本长度适配性等维度，表述模糊不得分。②训练过程异常排查（10分）：3个异常现象的排查与解决共10分，其中①显存溢出问题：原因判断准确（batch_size设置过大超出显存承载）得2分，解决方法合理（调低batch_size、开启混合精度训练、开启梯度累积）得1分；②过拟合问题：原因判断准确（训练轮次过多、数据泛化性不足）得2分，解决方法合理（加入早停机制、增加训练数据多样性、添加dropout正则化层）得2分；③loss震荡问题：原因判断准确（学习率偏大、batch_size过小导致梯度波动）得1分，解决方法合理（加入学习率余弦衰减策略、适当增大batch_size）得2分。③样本不均衡问题调整（8分）：准确说明不均衡带来的影响（模型偏向多数类、少数类召回率偏低）得2分；调整方案可落地，覆盖上采样扩充少数类样本（骑手沟通、优惠咨询、其他类样本分别扩充至1000条、700条、500条以上，通过同义改写、场景补全生成新样本）、下采样压缩多数类冗余样本、损失函数加入类别权重三个核心维度得6分，方案空泛仅提及“上采样/下采样”无具体操作路径只得2分。3.智能客服对话流程配置（20分，建议答题时长25分钟）3.1任务背景基于微调完成的意图识别模型，需在通用智能对话搭建平台完成外卖场景智能客服的应答逻辑配置，要求对话流程逻辑闭环、应答话术符合平台客服规范、转人工触发条件明确，上线后需承接70%以上的高频用户咨询。3.2具体任务3.2.1单轮对话应答配置（10分）请为3类高频用户意图配置应答话术与转人工触发规则，要求应答语气温和、信息要素齐全、无歧义，转人工触发条件可量化。意图对应要求如下：①触发意图为“配送超时10分钟以内”：需主动致歉，告知用户预计送达时间的查询入口，主动提供3元无门槛红包补偿方案，明确用户可自主选择是否接受。②触发意图为“餐品漏送餐具”：需主动致歉，告知用户可申请5元无门槛补偿，询问用户是否需要联系骑手补送餐具。③触发意图为“非用户原因申请全额退款”：需提示用户上传餐品问题凭证，说明凭证审核通过后10分钟内自动完成退款，款项将按原支付路径退回。通用转人工规则需覆盖以下场景：用户连续2次发送负面情绪表述、用户明确提及“投诉”“找人工”等关键词、意图识别置信度低于0.6、用户问题超出预设应答范围。请将单轮配置结果填写至“/dialog/single_turn_config.csv”文件中，包含意图名称、触发阈值、应答话术、转人工触发条件4个字段。3.2.2多轮对话流程配置（10分）请为“用户反馈餐品存在异物”场景配置完整多轮对话流程，要求每个节点的触发条件明确、分支逻辑无死循环、最终形成服务闭环，流程需覆盖以下核心环节：①触发节点：用户输入命中“餐品质量问题-存在异物”意图，置信度≥0.7。②第一应答节点：主动致歉，提示用户3分钟内上传异物清晰照片作为凭证。③凭证识别分支：AI图像识别凭证置信度≥0.85判定为有效凭证，<0.6判定为无效凭证，0.6-0.85区间转人工审核。④有效凭证分支：告知用户可申请全额退款+10元无门槛红包补偿，询问用户是否接受方案；接受则自动触发退款流程、发送到账提示后结束对话，不接受则转人工。⑤超时分支：用户3分钟未上传凭证则发送提示消息，告知需在10分钟内完成上传，逾期无法走快速赔付通道；10分钟仍未上传则提示用户后续可联系人工处理，结束对话。⑥无效凭证分支：直接转人工客服对接。请将多轮流程配置结果以结构化节点形式填写至“/dialog/multi_turn_flow.md”文件中，明确每个节点的编号、触发条件、输出内容、下一跳节点。3.3评分细则①单轮对话应答配置（10分）：每个意图的应答话术覆盖所有要求的信息要素、符合客服规范得2分/个，共6分；转人工触发规则覆盖所有要求的场景、阈值明确可执行得4分，缺一个触发场景扣1分。②多轮对话流程配置（10分）：节点覆盖所有要求的核心环节、无遗漏得4分；每个分支的触发条件量化明确、无模糊表述得3分；流程逻辑闭环、无死节点、无逻辑错误得3分，每缺一个分支节点扣2分，逻辑错误一处扣1分，扣完为止。4.模型上线前效果评测与问题反馈（15分，建议答题时长20分钟）4.1任务背景对话流程配置完成后，需开展上线前效果验收，通过测试集评测、模拟会话测试收集模型效果数据，形成评测报告并提出优化建议，评测指标要求上线前整体加权F1值≥85%、智能客服独立会话完成率≥90%。4.2具体任务4.2.1核心评测指标计算（5分）请根据给定的测试数据，计算模型整体加权F1值（按各标签样本占比加权）、智能客服独立会话完成率，将计算过程与结果填写至“/eval/report.md”文件中。基础测试数据如下：①测试集共1000条分层抽样样本，各标签评测指标为：配送超时（精确率92%、召回率94%、F1值93.0%）、餐品质量问题（精确率87%、召回率82%、F1值84.4%）、申请退款（精确率89%、召回率91%、F1值90.0%）、骑手沟通问题（精确率76%、召回率68%、F1值71.8%）、优惠活动咨询（精确率81%、召回率72%、F1值76.2%）、其他（精确率62%、召回率48%、F1值54.1%）。②模拟会话测试共发起200通覆盖全场景的测试会话，其中168通由智能客服独立完成服务且用户问题得到解决，22通由用户主动要求转人工，10通因机器人连续2次无法识别意图自动转人工。4.2.2典型问题归因分析（6分）请结合指标结果与抽取的典型badcase，分析当前模型与流程存在的核心问题，将分析结果填写至“/eval/problem_analysis.md”文件中。典型badcase如下：