2026年人工智能训练师(三级)全国统考实操试题

2026年人工智能训练师(三级)全国统考实操试题2026年人工智能训练师（三级）全国统一职业技能等级认定实操考试，总时长180分钟，总分100分，60分及以上为合格，考试统一搭载国家职业技能鉴定人工智能实训平台V3.2版本，预置算力资源为单卡A10G24G显存、16核vCPU、32G运行内存、100G本地存储资源，预装Python3.9、PyTorch2.1、HuggingFaceTransformers4.35、LabelStudio2.2、LangChain0.1、Gensim4.3等标准化工具库，考试全程断网，禁止外接存储设备、私自访问本地非考试目录，所有提交文件需命名为「模块序号-小题序号-考生准考证号」格式，上传至平台对应提交目录，未按要求命名的作答按0分处理，出现平台故障需举手示意监考人员处置，私自重启设备、篡改系统配置的按作弊处理。模块一标注任务设计与数据预处理（分值25分，建议作答时长40分钟）任务背景：本次任务基于某地级市2025年1-6月12345政务服务热线随机抽样的1200条原始用户诉求语料展开，语料已上传至平台「/data/raw/corpus.csv」目录，原始语料包含空白内容、乱码、重复内容、广告等无关噪声数据，业务方需基于该语料构建智能语义分类系统的训练数据集，要求标注字段包含「诉求一级分类」「诉求二级分类」「诉求紧急程度」「是否涉敏」4项，已内置政务诉求分类体系参考文档至平台「/ref/classify.md」：一级分类包含政策咨询、办事诉求、投诉举报、建议反馈、其他5类，对应二级分类为：政策咨询下设社保政策、公积金政策、营商环境政策3类；办事诉求下设户政办理、社保办理、商事登记3类；投诉举报下设服务质量投诉、违法违规举报、公共设施投诉3类；建议反馈下设政务服务建议、城市建设建议2类；其他下设无法归类诉求1类，共12个二级分类。1.1噪声数据清洗（8分）任务要求：编写Python脚本完成原始语料的噪声清洗，需满足以下规则：①剔除空白内容、全乱码内容、非中文（港澳台繁体、合法少数民族文字诉求除外）无关内容（含广告、色情、暴力等无关语料）；②基于Jaccard相似度阈值0.95完成重复语料去重，相同语义、表述差异小于5%的语料仅保留1条；③对包含无意义特殊符号（@、#、$、%等）占比超过内容总字符数30%的语料做剔除处理；④清洗后的数据保留原始语料的ID、内容两个字段，新增「清洗标记」字段，标记为「有效」的语料进入下一环节。提交要求：可运行的Python脚本文件、清洗后的有效语料CSV文件。评分细则：噪声识别准确率100%得4分，准确率每低5%扣1分，扣完为止；脚本可无报错运行得2分，存在非致命性报错但可输出正确结果扣1分，完全无法运行得0分；清洗后无残留噪声得2分，残留1-2条噪声扣1分，残留3条及以上扣2分。1.2标注规则设计（10分）任务要求：基于给定的政务诉求分类体系，完成4个标注字段的规则编写，需满足：①每个字段明确标注判定依据、正反边界示例、3种以上歧义场景的处理规则；②「诉求紧急程度」字段划分为一般、紧急、特急3级，明确各级触发场景：特急为涉及人员伤亡、重大公共安全事件、群体性诉求等场景，紧急为涉及个人重大利益损失、公共设施故障影响大面积群众生活等场景，其余为一般；③「是否涉敏」字段明确涉敏判定范围：包含意识形态错误表述、敏感事件不当言论、过度披露第三方个人隐私（身份证号、手机号、住址完整披露）等内容判定为涉敏；④规则内容符合政务数据安全合规要求，不得出现违反个人信息保护法的判定规则。提交要求：标注规则Word文档。评分细则：4个字段规则覆盖率100%得3分，缺失1个字段规则扣1分，扣完为止；边界示例清晰无歧义得3分，存在2个及以上边界模糊示例扣1分，扣完为止；歧义场景处理规则可落地得2分，规则无法直接指导标注操作扣1分；规则符合政务合规要求得2分，出现1项违规判定规则得0分。1.3标注任务配置（7分）任务要求：在平台内置的LabelStudio2.2标注工具中完成本次标注任务的可视化配置，需满足：①导入清洗后的有效语料，配置4个对应标注字段的交互组件：「诉求一级分类」「诉求二级分类」「诉求紧急程度」为单选组件，「是否涉敏」为布尔选择组件，二级分类需联动一级分类选项，选择对应一级分类后仅显示下属二级分类选项；②设置标注任务分配规则：标注人员共3人，每人分配300条语料，重叠标注比例为20%，即60条语料为3人共同标注，用于后续质量核验；③设置标注提交校验规则：存在空字段、字段值不符合分类体系的标注内容无法提交，系统自动弹出错误提示。提交要求：LabelStudio任务导出的JSON配置文件。评分细则：字段配置与交互逻辑完全符合要求得3分，缺失联动逻辑扣2分，字段组件不匹配扣1分；任务分配与重叠标注设置符合要求得2分，重叠标注比例偏差超过5%扣1分；提交校验规则生效得2分，1项校验规则未生效扣1分。模块二标注质量核验与数据集迭代（分值25分，建议作答时长35分钟）任务背景：平台已上传本次标注任务的初始标注结果集「/data/labeled/result.csv」，共1000条有效标注语料，包含字段错标、漏标、歧义标注等问题，需完成质量核验与数据集优化，为后续模型训练提供合格数据集。2.1标注质量抽样核验（10分）任务要求：按5%的总抽样比例对标注结果做分层抽样核验，分层维度为「诉求一级分类」，每个一级分类的抽样比例不低于该分类总数据量的3%，需满足：①输出抽样核验表，包含每条抽样数据的原始标注结果、核验标注结果、错误类型（字段错标、漏标、歧义标注）、错误原因说明；②计算全量标注结果的准确率、召回率、F1值三个核心质量指标，计算公式参考平台内置的「/ref/metrics.md」文档；③对标注错误率超过10%的二级分类，明确对应标注人员的返工范围为该二级分类下的所有标注语料。提交要求：抽样核验表CSV文件、质量指标计算说明文档。评分细则：抽样规则符合分层抽样要求得3分，存在1个一级分类抽样比例低于3%扣2分；标注错误识别准确率100%得4分，每识别错误1条扣0.5分，扣完为止；指标计算完全准确得3分，每错误1个指标扣1分，扣完为止。2.2歧义标注共识校准（8分）任务要求：平台已导出20条存在标注歧义的语料至「/data/ambiguous/corpus.csv」，需基于1.2编写的标注规则完成歧义校准，需满足：①对每条歧义语料给出明确的标注结果，附带校准依据，校准结果需符合分类体系要求；②对原有标注规则中未覆盖的歧义场景补充至少3条规则条目，更新原有标注规则文档；③输出歧义标注校准手册，明确同类歧义的统一判定标准，可直接用于后续标注人员培训。提交要求：校准后的歧义标注结果表、更新后的标注规则文档、歧义校准手册。评分细则：校准结果准确率100%得4分，每错误1条扣0.5分，扣完为止；规则补充符合场景需求得2分，补充规则少于3条扣1分；校准手册可复用性强得2分，内容无法指导实际标注操作扣1分。2.3训练数据集拆分（7分）任务要求：将核验合格的920条标注语料做训练集、验证集、测试集拆分，需满足：①拆分比例为8:1:1，采用分层拆分逻辑，保证每个一级分类在三个数据集的分布占比与原数据集偏差不超过2%；②对文本语料做预处理：采用Jieba分词做中文分词、过滤平台内置的中文停用词表「/ref/stopwords.txt」、采用平台内置的Word2Vec中文预训练模型做文本向量化，向量维度设置为128；③输出拆分后的三个数据集的向量化文件与对应标签文件，按NPZ格式存储，保证语料与标签一一对应无错配。提交要求：三个数据集的NPZ存储文件、拆分逻辑说明文档。评分细则：拆分比例与分布符合要求得3分，某一级分类分布偏差超过2%扣1分，扣完为止；向量化处理无报错得2分，处理逻辑错误导致向量维度不符合要求扣1分；标签与语料一一对应无错配得2分，存在1条及以上错配得0分。模块三基础模型微调与效果评估（分值30分，建议作答时长60分钟）任务背景：基于上述政务语义分类数据集，对开源预训练语言模型ernie-3.0-mini做微调，实现政务诉求的自动分类功能，业务方要求模型上线标准为一级分类准确率≥90%、二级分类准确率≥85%，预训练权重已内置至平台「/model/pretrained/ernie-3.0-mini」目录。3.1微调环境配置与参数设置（8分）任务要求：基于平台预置的PyTorch2.1框架完成微调环境的依赖适配与超参数设置，需满足：①加载ernie-3.0-mini预训练权重，冻结前6层Transformer编码器参数，仅微调后6层与分类头参数，分类头输出维度对应12个二级分类；②设置超参数：batch_size=16、学习率=2e-5、训练轮次epoch=10、损失函数采用交叉熵损失、优化器采用AdamW、权重衰减系数=1e-4；③配置早停机制：当验证集损失连续3个epoch无下降时停止训练，自动保存验证集损失最低的模型权重。提交要求：微调启动脚本文件、超参数配置说明文档。评分细则：参数配置完全符合要求得4分，冻结层数设置错误扣2分，超参数设置偏差1项及以上扣1分；环境适配无报错得2分，存在依赖缺失报错但可修复扣1分；早停机制生效得2分，未配置早停机制得0分。3.2模型训练与过程调试（12分）任务要求：运行微调脚本完成模型训练，需满足：①记录每个epoch的训练集损失、验证集损失、训练集准确率、验证集准确率，采用Matplotlib输出训练过程的指标可视化折线图；②针对训练过程中可能出现的过拟合现象（验证集准确率在第6个epoch后持续下降），将分类头的Dropout概率从默认0.1调整为0.3，重新训练至符合早停条件；③对比优化前后的模型验证集指标变化，给出过拟合优化效果说明。提交要求：训练过程日志文件、指标可视化折线图、优化后的最优模型权重文件、优化效果对比说明文档。评分细则：训练过程无中断报错得4分，每出现1次意外中断扣2分，扣完为止；过拟合优化后验证集一级分类准确率≥92%得5分，准确率在90%-92%之间扣2分，低于90%得0分；训练过程记录完整清晰得3分，缺失2个及以上epoch指标扣1分，无可视化折线图扣2分。3.3模型效果评估与错误分析（10分）任务要求：用测试集对最优模型做效果评估，需满足：①输出一级分类、二级分类的混淆矩阵，计算两类分类任务的准确率、召回率、F1值；②筛选出至少10条分类错误的测试集语料，逐一分析错误原因（标注错误、对应类目样本量不足、模型泛化能力不足、语料歧义等）；③给出针对性的模型优化建议，至少包含3条可落地的优化路径（如样本补充、参数调整、模型升级等）。提交要求：模型评估报告、错误分析表、优化建议文档。评分细则：指标计算与混淆矩阵完全准确得4分，每错误1个指标扣1分，扣完为止；错误原因分析匹配实际场景得3分，2条及以上原因分析不符合实际扣1分；优化建议可行性强得3分，建议少于3条或不可落地扣1分。模块四场景落地调试与交付输出（分值20分，建议作答时长45分钟）任务背景：将微调好的政务语义分类模型部署到平台内置的测试环境中，完成功能调试与交付文档编写，满足12345热线业务方的使用需求。4.1模型封装与接口调试（10分）任务要求：采用FastAPI将最优模型封装为HTTP接口，需满足：①接口请求地址为「/api/classify」，请求方式为POST，支持批量输入，单次最多支持50条文本，返回结果包含文本ID、文本内容、一级分类结果、二级分类结果、分类置信度5个字段，置信度保留2位小数；②接口单条请求响应时间≤200ms，采用平台内置的压测工具测试10QPS并发量时服务无崩溃、无请求超时；③配置异常处理逻辑：输入文本长度超过模型最大输入长度（512字符）时自动截断前512字符，并在返回结果中新增「截断标记」字段提示用户，输入为空时返回错误提示。提交要求：接口服务启动脚本、接口压测报告。评分细则：接口功能完全符合要求得4分，缺失1个返回字段扣1分，不支持批量输入扣2分；响应时间与并发量符合要求得4分，单条响应时间超过200ms扣2分，10QPS并发下出现超时或崩溃扣2分；异常处理逻辑生效得2分，缺失1项异常处理扣1分。4.2应用效果验证与交付文档编写（10分）任务要求：用业务方提供的200条未标注的盲测语料「/data/test/blind.csv」完成上线前效果验证，需满足：①盲测集一级分类准确率≥90%、二级分类准确率≥85%，输出验证结