版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2026年人工智能训练师(四级实操技能)考试题及答案一、实操考试试题(满分100分,考试时长180分钟)1.图像目标检测标注实操(20分)任务描述:现有100张自动驾驶路测采集的日间城市场景图像,数据集格式为JPG,分辨率1920×1080,要求完成交通参与者类别的目标检测标注,具体考核要求如下:(1)标注类别要求:需区分小型机动车、大型机动车、非机动车、行人4个大类,其中小型机动车包含轿车、SUV、微型面包车,大型机动车包含公交车、货车、工程车、大巴车,非机动车包含自行车、电动自行车、三轮车,行人包含成人、儿童,所有类别允许标注重叠目标;(2)标注框要求:标注框必须紧密贴合目标外轮廓,整体误差不超过5个像素,截断目标(图像边缘未完全显示的目标)只要可见区域超过1/2必须标注,可见区域小于等于1/2可忽略标注;(3)标注完成后要求抽取10%的样本完成交叉审核,记录不合格标注的类型和判定结果。考核问题:请写出完整的标注执行流程、标注规则执行要点,列举不合格标注的常见类型,并对以下3个审核发现的问题分别做合格/不合格判定,说明原因:①1辆整辆可见的大型货车被标注为小型机动车;②1辆电动自行车被轿车遮挡,仅露出1/3车身被标注;③1个行人的标注框整体比实际轮廓大10个像素。2.文本意图分类标注实操(20分)任务描述:现有500条用户语音转写后的电商智能客服咨询文本,要求完成售后咨询类意图的标注分类,预设分类体系为:退货申请、换货申请、退款申请、物流查询、质量投诉、安装咨询、其他,标注规则要求:多意图文本需标注所有对应意图;歧义词需结合上下文判定意图,例如“什么时候能送到”仅当上下文提及商品已发货时标注物流查询,未发货咨询发货时间归入其他;模糊表述无法判定意图直接归入其他。考核问题:请写出本次标注项目的质量控制核心要点,完成以下3条样本的标注,并分别说明判定理由:样本1:“我上周买的洗衣机开不了机,能不能给我换一台,顺便把退回去的运费给我报销了”样本2:“你们这个东西到底发不发,都一周了还没一点动静”样本3:“帮我查一下我的货到哪了”3.微调数据预处理实操(25分)任务描述:某电商企业需要基于BERT-base微调一个电商评论情感分类模型,用于判断商品评论的正向、负向、中性情感,现有标注完成的原始训练样本12000条,预留测试样本1500条,人工排查后发现原始训练样本存在以下五类问题:①空文本样本共128条;②完全重复样本共362条;③包含违规违法内容的样本共17条;④单条文本token长度超过BERT-base最大输入限制(512token)的样本共89条;⑤标注错误样本,即文本情感和标签不匹配的样本共213条。考核问题:请写出面向模型微调的完整数据预处理流程,针对上述五类问题分别给出合规处理方案,说明验证集的合理划分比例与划分方法,计算清洗后可用于训练的有效样本量下限。4.智能对话交互问题优化实操(20分)任务描述:某品牌智能音箱的天气查询技能上线1个月后,运营团队收集到10条有效用户负面反馈,经整理可分为三类:第一类共6条,反馈内容为“用户询问‘明天会不会下雨’,音箱重复追问‘请问你想查询哪个城市的天气’,但用户已经在当前对话的上一轮询问过‘昨天北京的天气怎么样’,明确提到了城市,用户认为音箱没有记忆,体验差”;第二类共3条,反馈内容为“用户没有指定城市直接询问‘明天有雨吗’,音箱直接回复北京的天气,但用户常住地为上海,用户对默认城市错误不满”;第三类共1条,反馈内容为“用户询问‘后天适合穿什么衣服’,音箱回复‘未找到相关信息,请你换个问题提问’”。考核问题:请分别分析三类问题产生的核心原因,给出对应的可落地实操优化方案。5.AI模型效果评估实操(15分)任务描述:现有一个新训练的猫、狗二分类图像分类模型,测试集共1000张标注完成的样本,其中猫样本400张,狗样本600张,模型推理结果统计为:正确识别为猫的样本共320张,错误将100张狗样本识别为猫。考核问题:将猫作为正类别,计算该模型针对猫类别的精确率、召回率、模型整体准确率、针对猫类别的F1值,写出完整计算过程与结果;若该模型用于宠物自动喂食器的身份识别模块,要求必须准确识别出主人的宠物猫才放出粮食,严禁错放粮食给非授权动物,说明该场景下应该优先优化哪一个指标,阐述理由。参考答案1.图像目标检测标注实操参考答案(1)完整标注执行流程:①标注前准备:配置标注工具(如LabelImg、VGGImageAnnotator),导入待标注数据集,核对预设类别标签体系,调整标注工具显示比例为1:1,避免图像缩放导致的标注误差,统一标注规范;②逐图标注:按照从左到右、从上到下的顺序梳理图像内所有目标,按照规则逐个绘制标注框,重叠目标分层标注,上层目标完整标注,下层目标可见部分符合要求的正常标注,标记存疑目标;③自审核:完成全部标注后,逐张复核标注框位置、类别归属,修正自身标注的明显错误;④交叉审核:按照随机抽样原则抽取10%即10张样本开展交叉审核,记录所有不合格标注的类型与位置。(2)标注规则执行要点:①类别区分要点:严格按照车身尺寸分类,车长小于6米、总质量小于4.5吨的机动车归入小型机动车,超过该标准的机动车归入大型机动车,非机动车不区分动力类型,所有自行车、电动自行车、三轮车统一归入非机动车大类;②截断目标判定:仅针对图像边缘的未完整显示目标做可见比例要求,被其他目标遮挡的部分可见目标不受该规则限制;③标注框误差控制:标注框四个边与目标轮廓的像素差累计不超过5个像素,单个边误差不超过2个像素,避免框过大或者过小。(3)常见不合格标注类型:类别错分、标注框误差超标、漏标符合要求的目标、多余标注不符合要求的目标、重叠目标漏标。(4)三个问题的判定:①大型货车错标为小型机动车:不合格,原因:大型货车车长超过6米、总质量超过4.5吨,属于大型机动车大类,类别标注错误,违反分类规则,因此不合格。②电动自行车被遮挡仅露出1/3被标注:合格,原因:规则仅对图像边缘截断目标做了可见比例要求,被前景目标遮挡的部分可见目标属于明确存在的交通参与者,标注不违反规则,因此合格。③行人标注框大10个像素:不合格,原因:规则要求标注框整体误差不超过5个像素,该标注误差超出要求,贴合度不满足标准,因此不合格。2.文本意图分类标注实操参考答案(1)标注质量控制核心要点:①标注前统一规则培训:组织所有参与标注的人员学习分类体系与歧义场景判定标准,通过10道标准测试题考核,考核通过才可参与标注,确保判定标准统一;②建立疑点上报机制:标注员无法独立判定的样本必须提交审核组统一判定,不得随意归入其他类;③双审校验机制:所有样本至少由2名标注员独立标注,标注结果不一致的样本提交第三方审核员判定,要求整体标注Kappa一致性系数不低于0.8,否则全部返工;④抽验复核:标注完成后随机抽取10%的样本抽验,不合格率超过5%要求整批返工。(2)样本标注与判定理由:①样本1标注结果:换货申请、其他;理由:文本包含两个核心诉求,第一是更换故障洗衣机,符合换货申请的分类定义,第二是报销退货运费,不属于预设的6个明确分类,因此额外标注其他。②样本2标注结果:其他;理由:文本核心诉求是催促商家发货,未询问已发出商品的运输位置,不符合物流查询的分类定义,因此归入其他。③样本3标注结果:物流查询;理由:用户明确要求查询当前商品的运输位置,符合物流查询的分类定义,无需额外上下文判定,直接标注。3.微调数据预处理实操参考答案(1)完整预处理流程:①原始数据建档:汇总所有原始训练样本,建立样本索引表,记录每个样本的存储路径、原始标签,方便追溯;②数据清洗:逐一排查并处理无效、违规、错误样本;③格式化转换:将清洗后的样本转换为模型要求的“文本内容+情感标签”结构化格式,一般为CSV或JSON格式;④数据集划分:将清洗后的训练样本划分为训练集和验证集,预留的原始测试集保留用于最终模型效果评估;⑤格式校验:检查所有样本的格式合法性,统计各情感类别的样本分布,确认类别分布均衡,避免出现严重的类别倾斜。(2)五类问题处理方案:①空文本样本:直接删除,空文本不包含任何有效语义信息,无法为模型训练提供有效信号,属于无效样本,直接剔除;②完全重复样本:删除重复样本,仅保留1份,重复样本会导致模型对重复内容过拟合,还会增加不必要的训练计算量,无任何正向增益,因此剔除重复;③违规违法内容样本:直接删除,违规内容不符合数据集合规要求,违反内容安全规定,必须全部剔除;④长度超过512token的样本:针对BERT-base的输入限制,可采用两种处理方式,一是截取法:从文本开头截取前510个token,加上<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>和[SEP]占位符刚好满足512token的要求,情感分类任务核心情感一般出现在文本开头,该方法效率最高,应用最广;二是滑动窗口切分法:将长文本切分为多个长度不超过512token的子文本,所有子文本沿用原样本标签加入数据集,剔除无有效语义的子文本;两种方式均合规,不需要直接删除长文本样本;⑤标签错误样本:组织标注员重新核对样本,能够修正标签的直接修正,无法修正或者语义有歧义的直接删除,错误标签会严重干扰模型训练,必须处理。(3)验证集划分:合理比例为清洗后训练样本的10%,90%作为训练集;划分方法采用分层随机抽样,保证训练集和验证集的情感标签分布与整体样本分布一致,避免分布偏差导致验证结果不准确。(4)有效样本量下限计算:原始训练样本12000条,长文本样本无需全部剔除,仅需剔除必须删除的无效样本,即空文本128条+重复样本362条+违规样本17条+标签错误样本213条=720条,因此有效样本量下限为12000-720=11280条。4.智能对话交互问题优化实操参考答案(1)第一类问题(上下文重复追问城市):核心原因:对话状态追踪模块的槽位管理机制不合理,同场景多轮对话中已填充的地域槽位没有设置合理的保留周期,触发了不必要的追问;上下文语义理解模块未配置槽位继承规则,没有主动关联上文已经出现的地域实体。优化方案:①调整槽位生命周期规则:同天气查询技能的多轮对话中,已填充的地域槽位信息保留3轮对话,用户未主动更新城市则默认沿用,超出3轮对话再发起追问;②新增上下文实体继承规则:当当前用户查询未携带地域实体,而上文3轮内已经出现明确地域实体,直接继承上文地域实体,不发起追问;③上线前开展回归测试,要求多轮上下文场景的槽位填充正确率不低于95%,达标后再上线。(2)第二类问题(默认城市错误):核心原因:默认城市兜底规则设置不合理,仅统一设置为开发所在地北京,未结合用户属性做个性化匹配,没有利用用户的注册地址、IP定位、历史查询地址等信息生成个性化默认值。优化方案:①新增多层级默认城市匹配规则:优先匹配用户预留的常住地址,其次匹配当前IP定位地址,最后匹配用户历史查询过的城市,无任何地址信息的情况下再使用统一默认值;②增加提示机制:匹配默认城市后,在回复末尾增加“以上是[XX城市]的天气,如需查询其他城市可以告诉我哦”,降低用户预期差;③定期统计用户反馈,调整匹配规则的优先级,持续提升默认城市匹配准确率。(3)第三类问题(穿衣建议无法识别):核心原因:天气查询技能的意图体系仅覆盖了直接天气查询类诉求,未覆盖穿衣指南这类天气衍生诉求,意图识别模块未训练该类意图,也没有配置对应的回复模板,因此触发默认未命中回复。优化方案:①新增“天气衍生咨询-穿衣建议”意图,补充至少50条不同表述的用户问句样本,更新意图识别模型;②配置动态回复规则,基于查询日期的气温范围自动生成穿衣建议,例如10度以下建议穿厚羽绒服、毛衣,10-20度建议穿风衣、针织衫,20-28度建议穿长袖T恤、薄外套,28度以上建议穿短袖、短裤;③上线后持续收集用户该类提问,补充样本优化识别准确率。5.模型效果评估实操参考答案(1)混淆矩阵构建(猫为正类别,狗为负类别):真正例(TP):正确识别为猫的样本数=320假负例(FN):实际为猫但被识别为狗的样本数=总猫样本数-TP=400-320=80假正例(FP):实际为狗但被识别为猫的样本数=100真负例(TN):实际为狗且被正确识别为狗的样本数=总狗样本数-FP=600-100=500(2)指标计算:精确率(P,针对猫类别)=TP/(TP+FP)=320/(320+100)≈76.19%召回率(R,针对猫类别)=TP/(TP+FN)=320/(320+8
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 混凝土泵送工安全知识宣贯水平考核试卷含答案
- 2026年中医膏方养生知识课件
- 油制氢装置操作工安全意识强化测试考核试卷含答案
- 2026年手术安全核查与风险管理课件
- 两栖类养殖工基础验收测试考核试卷含答案
- 飞机数字化装配工岗中考核试卷含答案
- 玻纤非织造制品生产工岗前细节考核试卷含答案
- 电切削工岗前新材料考核试卷含答案
- 螺旋分选工成果转化知识考核试卷含答案
- 巧克力成型工技能模拟考核试卷含答案
- 电缆老化机理研究-深度研究
- 水利水电工程单元工程施工质量检验表与验收表(SLT631.7-2025)
- 2026年高考地理一轮复习:湘教版必修第二册知识点考点背诵提纲
- 《义务教育科学课程标准(2025年修订版)》与(2022年版)对比
- 开启科学探索之旅 课件(内嵌视频) 2025-2026学年人教版初中物理八年级上册
- 县四大班子联席会议制度
- 运营中心管理制度模板
- OpenFOAM培训教学课件
- DB53-T 1269-2024 改性磷石膏用于矿山废弃地生态修复回填技术规范
- 古建筑修复项目可行性研究报告
- 品牌可持续发展研究报告2025年
评论
0/150
提交评论