2026年大模型数据标注能力考核试卷及答案

2026年大模型数据标注能力考核试卷及答案1.单项选择题（每题2分，共20分）1.1在RLHF数据标注流程中，以下哪一步骤必须人工介入？A.策略梯度更新B.奖励模型训练C.偏好对排序D.PPOrollout采样答案：C1.2使用BRAT工具对医疗NER进行标注时，若实体边界跨越两个token，应优先采用：A.合并tokenB.拆分实体C.添加“Discontinuous”属性D.放弃该实体答案：C1.3在3D点云语义分割任务中，若点云密度≥200kpts/m²，推荐的标注格式为：A.LAS1.2B.PCDbinarycompressedC.E57D.OBJwithvertexcolor答案：B1.4针对多模态图文对，CLIPScore的阈值设定为0.31时，其物理含义是：A.图文余弦相似度高于31%B.图文匹配概率高于69%C.图文特征向量夹角小于arccos(0.31)D.图文交叉熵低于0.31答案：C1.5在数据标注质量抽检中，若采用“2+1”双盲复检机制，允许的最大分歧率是：A.3%B.5%C.8%D.10%答案：B1.6对中文对话情感四分类（喜、怒、哀、惧）进行标注时，Cohen’sκ<0.6的主要原因是：A.类别不平衡B.标注员文化背景差异C.情感词粒度不一致D.以上全部答案：D1.7在指令微调数据集中，若出现“请用三句话总结上文”与“用三句话总结上文”两条样本，应：A.保留两条视为正例B.合并为一条并标记为增强C.删除后者D.标记为重复并仅保留一条答案：D1.8对代码生成数据集进行Execution-based过滤时，沙箱超时阈值一般设为：A.1sB.3sC.5sD.10s答案：C1.9在LLM安全标注中，以下哪类内容必须标记为“Severe-Harm”？A.政治敏感B.医疗谣言C.暴力唆使D.版权争议答案：C1.10对多轮对话状态追踪（DST）进行标注时，若用户在第3轮撤回第1轮实体，标注员应：A.删除第1轮实体B.标记为“revoked”并保留历史C.忽略撤回D.将实体移至第3轮答案：B2.多项选择题（每题3分，共15分；多选少选均不得分）2.1以下哪些指标可直接用于衡量NER标注一致性？A.实体级F1B.令牌级AccuracyC.实体边界IoUD.实体类型Cohen’sκ答案：A、C、D2.2在RLHF偏好标注中，造成“奖励黑客”现象的数据端原因包括：A.偏好对分布偏移B.标注员对长答案偏好C.排序界面默认位置偏差D.温度采样过高答案：A、B、C2.3对多语言语料进行毒性检测标注时，需特殊考虑的语种特征有：A.黏着语形态B.敬语体系C.代码混合D.书写方向答案：A、B、C、D2.4在图像语义分割标注质量抽查中，以下哪些错误会被记为“Critical”？A.目标类标成背景B.5像素以内边界偏差C.实例ID不连续D.孔洞未标注答案：A、C、D2.5对大规模指令数据进行难度分层的可用信号有：A.指令长度B.指令动词抽象度C.输出程序循环层数D.标注员主观打分答案：A、B、C、D3.填空题（每空2分，共20分）3.1在LLM预训练数据清洗中，去重常用的MinHash参数组合为________条shingles，________位签名。答案：5,1283.2对中文文本进行隐私脱敏时，人名识别的正则模板平均召回率约为________%。答案：923.3在语音-文本对齐标注中，若采用MontrealForcedAligner，音素错误率阈值一般设为________%。答案：53.4对多轮对话进行主题分割时，TextTiling算法窗口大小通常取________句。答案：203.5在3Dbbox标注中，若物体中心z坐标误差超过________cm，则视为Critical错误。答案：103.6对代码注释生成数据集进行BLEU-4评估时，常规基线分数为________。答案：22.13.7在RLHF奖励模型训练中，学习率warm-up步数通常占总步数的________%。答案：103.8对图像进行旋转增强时，安全角度范围应限制在±________度以内，避免标签错位。答案：153.9对多模态对话进行情感标注时，融合文本与图像特征的常用融合算子是________。答案：Cross-modalTransformer3.10在数据标注项目Kick-off会议中，必须输出的三大交付件为：标注指南、________、________。答案：样例集、验收规范4.判断题（每题1分，共10分；正确写“T”，错误写“F”）4.1对NER数据采用BIO与BIOES标注方案，最终模型F1差异通常小于0.3%。答案：T4.2在指令微调数据集中，删除所有含“抱歉”一词的样本可显著提升模型安全性。答案：F4.3对图像分割任务，标注员使用放大镜工具可将边界误差降低至1像素以内。答案：T4.4在偏好标注中，若标注员间Krippendorff’sα=0.78，则无需第三轮仲裁。答案：F4.5对代码数据集进行静态分析时，Clang-Tidy可检测所有内存泄漏。答案：F4.6使用LabelStudio进行视频事件标注时，快捷键“Shift+→”可将播放速度提升2倍。答案：T4.7在3D点云标注中，若反射强度<20，则该点可直接视为噪声并删除。答案：F4.8对多语言毒性分类，采用“翻译-标注-回译”策略可降低语种偏差。答案：T4.9对对话状态追踪，标注员可接受用户同指代实体在相邻两轮使用不同槽位。答案：F4.10在数据标注成本估算中，标注难度系数与领域专家时薪呈线性正相关。答案：T5.简答题（封闭型，每题5分，共15分）5.1列举并简要解释造成LLM指令数据集“长度偏差”的三种数据端原因。答案：1.标注员倾向保留较长回答，认为信息更全面；2.原始爬取论坛数据中高赞回答通常更长；3.过滤策略采用字符截断而非语义完整，导致长答案被保留。5.2说明在3Dbbox标注质检中，为何“中心点偏差”比“角度偏差”更易导致Critical错误。答案：中心点偏差直接影响后续碰撞检测与路径规划，5cm误差即可造成自动驾驶决策失败；而角度偏差在±5°内对IoU影响<2%，可被跟踪算法平滑。5.3写出计算实体级F1的完整公式，并指出其中“FalseNegative”如何统计。答案：F1=2PR/(P+R)，P=TP/(TP+FP)，R=TP/(TP+FN)；FN指gold存在但预测缺失或边界类型不符的实体数量，由标注员对比gold与pred逐条统计。6.简答题（开放型，每题10分，共20分）6.1某LLM公司需构建1亿条中文多轮对话数据，预算仅允许每条0.03元。请给出可落地的“人机协同”标注方案，包括人员配比、工具链、质控流程与成本分解，并论证其满足<5%错误率。答案：1.人员：采用“1名专家+4名众包”组合，专家负责制定指南与抽检，众包完成初标；2.工具：基于LabelStudio二次开发，集成预填充大模型生成草稿，众包员只需修改；3.质控：随机5%双盲复检，κ<0.7进入仲裁；对低κ众包员再培训，两次不合格淘汰；4.成本：众包0.025元/条，专家0.005元/条，总0.03元；5.错误率：历史项目表明该流程可将实体级错误率控制在3.8%，满足<5%要求。6.2针对多模态图文对“文本描述存在但图像未呈现”的语义漂移，设计一套自动识别+人工复审的闭环系统，需给出特征提取、规则阈值、人工抽检比例及迭代更新策略。答案：1.特征：用CLIPViT-B/32提取图像特征，用Sentence-BERT提取文本特征，计算余弦相似度s；2.规则：s<0.35标记为“漂移”；3.人工：对漂移样本按20%抽检，确认后回流训练集；4.迭代：每周重训CLIP，若漂移率下降<1%则提升阈值至0.37，持续优化。7.应用题（计算类，15分）7.1某项目需标注50万条语音片段，平均时长8s。标注员速度为每条35s，每日有效工时7.5h，工资180元/天。公司要求10天内完成，求：(1)所需最少标注员人数；(2)总人力成本；(3)若引入预识别模型，将标注速度提升至每条20s，重新计算(1)(2)。答案：(1)单员10天可标7.5×3600/35×10≈7714条；需500000/7714≈64.8→65人；(2)成本65×180×10=117000元；(3)新速度20s，单员标7.5×3600/20×10=13500条；需500000/13500≈37.04→38人；成本38×180×10=68400元。8.应用题（分析类，15分）8.1给出某NER标注项目实体级混淆矩阵（单位：实体数）：predB-PERI-PERB-LOCI-LOCOthersgoldB-PER8504025580I-PER30720101525B-LOC20106005070I-LOC5153048040Others602535205000计算：(1)实体级Precision、Recall、F1（合并PER、LOC为总体）；(2)指出主要错误类型及两条改进措施。答案：(1)TP=850+720+600+480=2650；FP=(40+25+5+80)+(10+15+25)+(20+10+50+70)+(5+15+30+40)=415；FN=(30+40)+(30+15)+(20+10)+(5+15)+(60+25+35+20)=305；P=2650/(2650+415)=0.865；R=2650/(2650+305)=0.897；F1=0.880；(2)主要错误：PER实体被截断为I-PER漏标、LOC边界扩大；改进：增加嵌套实体指南、对易混地名加词典预提示。9.应用题（综合类，20分）9.1某自动驾驶公司需对夜间雨天场景进行3D语义分割标注，数据规模50万帧，点云密度≥300kpts/m²，反射强度下降40%，要求实例级mIoU≥85%。请给出：A.标注工具硬件配置（CPU/GPU/内存/存储）；B.标注流程（预处理、自动预标注、人工修正、质检、迭代）；C.质量评估指标与合格阈值；D.项目风险及应对。答案：A.工具硬件：i9-13900K+RTX408016G+64GRAM+8TBNVMeRAID0；显示器≥32″4K，配3D鼠标；B.流程：1.预处理：强度归一化、地面去