2026年人工智能训练师（三级）案例实操真题及答案

2026年人工智能训练师（三级）案例实操真题及答案【2026年人工智能训练师（三级）案例实操真题】一、数据治理与质量评估（15分）【背景】某市“城市大脑”项目采集了2025年全年12345热线语音，经ASR转写后形成文本语料库“hotline_2025.txt”，单条样本格式为：timestamp,caller_id,content,label其中label∈{噪音,咨询,投诉,求助,举报}。现抽取10万条样本做质量评估，发现以下问题：A.存在3.2%的重复文本；B.1.7%的样本出现关键字段缺失；C.0.9%的样本label与内容明显不符（人工抽检200条，其中18条错误）；D.8.6%的样本带有方言口音导致的转写错误，表现为同音错字≥2个/句。1.1请给出一条可落地的数据清洗Pipeline伪代码（Python），要求：①去重但不破坏类别分布；②缺失字段用“unknown”填充并标记；③对转写错误进行自动纠错（可调用外部词典）；④输出清洗后的DataFrame并打印每步剩余样本数。（7分）1.2基于抽检结果，计算整个数据集label噪声率的95%置信区间（Clopper-Pearson精确区间），并判断该噪声率是否高于项目阈值1%。（4分）1.3设计一条规则+模型混合的样本可信度评分函数，要求：①规则部分惩罚缺失字段、重复、错字；②模型部分用预训练BERT计算内容与label的语义一致性；③输出0~1分，给出公式并解释权重设置理由。（4分）二、模型训练与调优（25分）【背景】继续上一题数据，清洗后保留95000条。现需训练一个多分类模型，基线选用bert-base-chinese，目标macro-F1≥0.85，训练集/验证集/测试集按7:1:2划分。2.1给出完整的PyTorch训练脚本（含数据加载、优化器、学习率调度、earlystopping），要求：①使用梯度累积实现“显存8G条件下batch_size=32”的等效训练；②对“投诉”类采用加权损失以缓解样本不平衡（权重=1.5）；③每轮在验证集计算macro-F1，若连续3轮无提升则停止；④保存最佳模型为“best_hotline.pt”。（10分）2.2经训练，得到学习曲线：训练loss持续下降，验证macro-F1在第5轮达到峰值0.847后震荡。请用偏差-方差分解视角给出两条改进建议，并说明如何验证改进效果。（5分）2.3现对BERT进行知识蒸馏，教师为上述best_hotline.pt，学生为3层TinyBERT。给出蒸馏损失函数，要求：①包含soft交叉熵与隐状态MSE；②用LaTex写出总损失；③解释温度参数τ=5的设置依据。（5分）2.4测试集上学生模型macro-F1=0.831，延迟8.7ms，教师模型macro-F1=0.849，延迟63ms。若业务要求延迟≤10ms，F1下降容限0.02，请用数学方式论证学生模型是否可上线；若不可，给出再优化方向。（5分）三、模型解释与可信AI（18分）【背景】“举报”类预测关系重大，需对每条预测给出解释。现取一条测试样本：content=“我家门口河道这几天又黑又臭，怀疑是上游工厂偷排污水，请政府彻查。”模型预测概率：举报0.92，投诉0.05，其余<0.02。3.1用IntegratedGradients计算每个token对“举报”类的贡献值，给出可运行代码（Captum库），并输出贡献最高的5个token及其贡献值。（6分）3.2将3.1结果可视化为一维条形图（代码+图），要求：①中文显示无乱码；②贡献值归一化到0~1；③保存为“ig_report.png”。（4分）3.3基于SHAP值，给出全局解释：随机抽取500条“举报”样本，计算特征（token）级平均绝对SHAP值，列出Top10高频词及其值；并解释为何“河道”“偷排”排名靠前。（4分）3.4结合3.1~3.3，写一段不超过120字的面向市政工作人员的解释话术，禁止出现技术术语。（4分）四、隐私计算与合规部署（20分）【背景】模型需部署到政务内网，数据敏感级为“核心”，要求：①训练数据不可出内网；②推理日志留存≥180天；③支持国密SM4加密传输；④模型权重需防泄漏。4.1设计一套基于联邦学习的跨区模型更新方案：A市与B市各持本地数据，联合训练而不交换原始文本。给出系统架构图（文字描述即可），并说明如何保障数据最小可用原则。（6分）4.2给出模型权重加密存储的完整流程，包括：①使用SM4-CBC模式，IV随机生成；②密钥通过国密SM2数字信封由KMS分发；③推理时解密在TEE（IntelSGX）内完成；④附关键代码片段（Python+OpenSSL接口调用）。（8分）4.3若出现“用户要求删除其历史通话记录”情形，需实现模型“遗忘”。现采用SISA（Sharded,Isolated,SlicedAggregated）方案，请：①说明如何划分切片；②给出删除指定caller_id=“C_12345”数据的完整流程；③估算在95000条样本、8个分片、每分片5个切片条件下，重训练所需时间（单卡V10032G，历史测得每秒处理312条）。（6分）五、持续迭代与A/B监控（22分）【背景】模型上线后，每日新增约3000条语音转写文本，需持续迭代。现构建A/B实验：对照组=当前生产模型M0；实验组=新训练模型M1。指标：macro-F1、平均延迟、用户满意度（1~5分）。实验周期14天，流量拆分50%/50%。5.1给出A/B实验的假设检验设定：①零假设与备择假设；②检验统计量（macro-F1）的分布假设；③样本量计算：要求检验效能1-β=0.8，α=0.05，期望检测差异Δ=0.01，给出公式与代入结果。（6分）5.2第7天中午发现实验组macro-F1骤降0.03，延迟升高5ms。请设计一条实时告警规则，要求：①基于指数加权移动平均（EWMA）检测漂移；②给出EWMA公式及参数λ=0.3；③触发条件：连续3个时间点超出±2σ；④附伪代码。（6分）5.3经排查，漂移由“春节返乡”新话题导致，数据分布偏移。现采用“增量学习+回滚”策略：①用近3天数据微调M1，学习率=2e-5，步数=200；②若微调后验证macro-F1仍低于M0，则自动回滚；③给出完整脚本（含回滚逻辑）并说明如何零停机切换。（6分）5.4春节过后，业务方要求新增label“表扬”。请设计一条类别增量学习方案，要求：①不遗忘旧类，即“举报”macro-F1下降≤0.5%；②采用重放+蒸馏，重放样本数=每旧类300条；③给出损失函数并解释如何选取重放样本。（4分）——————————答案与解析——————————一、1.1参考伪代码```pythonimportpandasaspd,json,zhconv,pkg_resourcesfromcollectionsimportCounterdefpipeline(path):df=pd.read_csv(path,sep=',',dtype=str)print(f'origin{len(df)}')1.去重dup_mask=df.duplicated(subset=['content'],keep=False)df=df[~dup_mask].reset_index(drop=True)按label分层采样保留分布：同content只留1条print(f'afterdedup{len(df)}')2.缺失填充df.fillna({'caller_id':'unknown','label':'unknown'},inplace=True)df['missing_flag']=df.isna().any(axis=1)3.转写纠错dict_path=pkg_resources.resource_filename('pypinyin','phrase_dict.txt')corrector=load_custom_dict(dict_path)#自定义函数df['content_corr']=df['content'].apply(corrector)print(f'aftercorr{len(df)}')returndf```评分点：分层去重2分；缺失标记2分；纠错可落地2分；打印样本数1分。1.2噪声率估计抽检200条，错误18条，样本噪声率p̂=18/200=0.09。Clopper-Pearson区间：下95%CI：[0.0567,0.1389]，远高于阈值0.01，拒绝“噪声≤1%”假设。1.3可信度评分S权重理由：字段缺失与重复直接影响可用性，故占0.5；错字容忍度稍高；BERT置信度反映语义一致，占0.4。二、2.1训练脚本核心片段```pythonfromtransformersimportBertForSequenceClassification,AdamW,get_linear_schedule_with_warmupmodel=BertForSequenceClassification.from_pretrained('bert-base-chinese',num_labels=5)accum_steps=4;effective_bs=32optimizer=AdamW(model.parameters(),lr=2e-5)scheduler=get_linear_schedule_with_warmup(optimizer,num_warmup_steps=0.1total_steps,num_training_steps=total_steps)scheduler=get_linear_schedule_with_warmup(optimizer,num_warmup_steps=0.1total_steps,num_training_steps=total_steps)best_f1,patience=0,0forepochinrange(10):model.train()epoch_loss,step=0,0forbatchintrain_loader:loss=model(**batch).lossloss=model(**batch).lossloss=loss/accum_stepsloss.backward()if(step+1)%accum_steps==0:optimizer.step();scheduler.step();optimizer.zero_grad()epoch_loss+=loss.item()accum_stepsepoch_loss+=loss.item()accum_stepsvalmacro_f1=validate(model,val_loader)ifmacro_f1>best_f1:best_f1=macro_f1;patience=0;torch.save(model.state_dict(),'best_hotline.pt')else:patience+=1ifpatience>=3:break```加权损失：```pythonweights=torch.tensor([1.0,1.0,1.5,1.0,1.0]).to(device)loss_fct=torch.nn.CrossEntropyLoss(weight=weights)```2.2偏差-方差分析现象：训练loss降、验证F1震荡→高方差。建议：①数据增强：用EDA对“投诉”类扩增1.5倍，验证集F1提升稳定性；②Dropout从0.1提到0.3，加权重衰减1e-2，观察验证方差是否下降。验证：重复5次训练，计算验证F1标准差，若σ<0.005则有效。2.3蒸馏损失ℒ其中α=0.5，τ=5。τ增大可软化分布，使小模型学到更多暗知识；经网格搜索τ∈{3,5,7}，τ=5时验证F1最高。2.4数学论证延迟约束：8.7ms≤10ms，满足；F1下降=0.849−0.831=0.018<0.02，满足。故可上线。若不可，再优化：①继续蒸馏中间层attention；②用量化INT8，F1损失<0.005。三、3.1IntegratedGradients代码```pythonfromcaptum.attrimportIntegratedGradientsig=IntegratedGradients(model)inputs=tokenizer.encode_plus(text,return_tensors='pt',truncation=True)input_ids=inputs['input_ids']baseline=torch.zeros_like(input_ids)attr,delta=ig.attribute(input_ids,baseline,target=3,n_steps=50,return_convergence_delta=True)token_attr=attr[0].sum(dim=1)top5=torch.topk(token_attr,5)fori,(score,idx)inenumerate(zip(top5.values,top5.indices)):print(tokenizer.convert_ids_to_tokens(int(idx)),score.item())```输出示例：河道0.182，偷排0.165，工厂0.123，黑臭0.119，彻查0.101。3.2可视化```pythonimportmatplotlib.pyplotaspltplt.rcParams['font.sans-serif']=['SimHei']tokens=[tokenizer.convert_ids_to_tokens(int(idx))foridxintop5.indices]plt.barh(tokens,top5.values.numpy());plt.savefig('ig_report.png')```3.3SHAP全局解释Top10词：河道0.152，偷排0.148，工厂0.112，黑臭0.108，彻查0.095…原因：这些词与“举报”类在训练集共现率高，且情感极性负面，模型依赖其做出高置信度判断。3.4解释话术“系统判断该诉求为‘举报’，因为市民明确提到‘河道黑臭’、‘工厂偷排’，属于涉嫌环境违法线索，需执法部门核查。”四、4.1联邦学习架构1.各市内网部署联邦节点，数据本地特征化；2.中央服务器下发初始BERT参数；3.每轮各节点本地训练1epoch，上传梯度；4.服务器用FedAvg聚合，下发新权重；5.采用差分隐私梯度裁剪(δ=1e-5)，保障数据最小可用。4.2加密存储流程```pythonfromgmsslimportsm2,sm4sm4_key=sm2_decrypt(envelope,sm2_private_key)#由KMS获取iv=os.urandom(16)cipher=sm4.CryptSM4(mode=sm4.SM4_CBC)cipher.set_key(sm4_key,sm4.SM4_ENCRYPT)ciphertext=cipher.crypt_cbc(iv,plaintext_model_bytes)```TEE内解密：SGXenclave调用同样sm4接口，密钥密封到MRENCLAVE，防止主机层泄露。4.3SISA删除流程①按caller_id哈希分8片，每片再按时间切5切片；②删除时定位含C_12345的切片；③仅重训练该切片，聚合时其余切片权重不变；④重训