2026年人工智能训练师全国统考实操试题及参考答案

2026年人工智能训练师全国统考实操试题及参考答案一、实操任务背景2026年4月，国家“智算中心”收到一份紧急订单：需在72小时内交付一套“多模态工业质检小样本模型”。该模型需同时处理工业相机拍摄的2048×1536分辨率RGB图像、产线麦克风采集的16kHz单通道音频、以及每秒20条JSON格式的产线传感器数据流。训练数据极度稀缺：合格品与缺陷品各仅120例，且缺陷类型高达47类，其中12类缺陷在训练集中出现次数≤3次。考生作为首席人工智能训练师，被授权登录“智算中心”的A100-80G×8集群，使用内部镜像`ai/trainer:26.04`，镜像内置Python3.11、PyTorch2.3、CUDA12.4、mmcv2.1、transformers4.40、faiss-gpu1.8、librosa0.10、torchaudio2.3、tensorrt10.0，以及自研小样本学习库`fslib`。集群已挂载三块数据集：`/data/train`：含图像、音频、传感器三模态训练数据；`/data/val`：含三模态验证数据各40例；`/data/test`：含三模态测试数据200例，标签对考生不可见。实操任务共五大题，考生须逐题完成并保存运行日志与模型文件至`/workspace/submission/`。考试结束时，系统统一打包该目录并离线评分。二、实操试题【任务一】数据诊断与清洗（20分）1.编写Python脚本`diagnosis.py`，完成以下子任务：1.1统计并输出训练集图像通道异常（非RGB三通道或尺寸≠2048×1536）的文件名列表；1.2检测训练集音频采样率非16kHz或时长<1s或>10s的文件名列表；1.3检测训练集传感器JSON缺失字段（必需字段：`timestamp`、`sensor_id`、`temperature`、`pressure`、`vibration`）的文件名列表；1.4对检测出的异常文件生成`moves.log`，记录将异常文件从原路径移动到`/data/quarantine/`的shell命令（要求使用`shutil.move`实现），并真实执行移动；1.5输出清洗后三模态训练样本数至`clean_stat.json`，格式：`{"image":int,"audio":int,"sensor":int}`。脚本须在5分钟内完成，CPU占用≤200%，内存峰值≤4GB。评分标准：异常检测准确率100%得10分；移动操作无报错得5分；统计正确且格式合规得5分。【任务二】小样本图像增强与特征提取（20分）2.在清洗后的图像训练集上，完成以下子任务：2.1使用`fslib`提供的`MetaAlbument`增强策略，对每类缺陷样本数≤5的类别进行样本数补足至20。要求增强管道至少包含：随机透视、随机亮度、CutMix、随机缺陷纹理合成（`fslib.defect_texture`）。不得出现原图与增强图肉眼不可区分的情况；2.2采用自监督预训练权重`convnext_v2_base.fcmae_ft_in1k`，在增强后数据上提取全局平均池化前一层（维度1024）特征，保存为`train_2048x1536_convnext.npy`，形状`(N,1024)`，单精度浮点；2.3对验证集图像提取同模型特征，保存为`val_convnext.npy`；2.4输出`augment_log.json`，记录每类原始样本数、增强后样本数、增强管道哈希（md5）。评分标准：增强后每类≥20得8分；特征提取可复现（md5相同）得6分；日志完整且哈希正确得6分。【任务三】多模态对齐与融合（20分）3.编写脚本`align_fuse.py`，完成以下子任务：3.1将图像特征（1024维）、音频特征（取log-mel128维×200帧，展平为25600维）、传感器特征（5维×20帧，展平为100维）通过PCA分别降至统一256维；3.2使用最优传输（OT）算法将三模态特征对齐到同一语义空间，距离度量采用余弦相似度，正则化系数ε=0.05；3.3将对齐后的三模态向量按1:1:1权重拼接为768维融合向量；3.4对训练集与验证集分别保存`train_fused_768.npy`、`val_fused_768.npy`；3.5输出`align_info.json`，记录PCA各模态保留方差比例、OT耦合矩阵稀疏度（非零元素占比）。评分标准：PCA降维可逆重构误差<5%得6分；OT对齐后类间距离增大、类内距离减小（以t-SNE可视化KL散度下降为证）得8分；融合文件形状正确且json字段合规得6分。【任务四】小样本分类器训练与调优（25分）4.在融合特征上，完成以下子任务：4.1采用`fslib.CosineClassifier`实现N-wayK-shot协议，N=5，K=1，训练episode数2000，query数15，学习率0.1，Scheduler=CosineAnnealing，T_max=2000，η_min=1e-4；4.2加入自监督辅助任务：对融合特征使用BERT-like掩码重构，掩码比例30%，重构损失权重0.5；4.3采用早停策略：验证集F1连续50轮无提升即停止；4.4输出`best_model.pt`（仅保存CosineClassifier权重，≤50MB）、`train_loss.png`（含分类损失、重构损失、总损失曲线）、`val_f1.png`；4.5生成`hyper.json`，记录最终学习率、最优episode、最优验证F1、参数总量。评分标准：验证F1≥0.85得15分；曲线清晰、无过拟合迹象得5分；文件大小与字段合规得5分。【任务五】可解释性报告与模型交付（15分）5.编写交互式HTML报告`report.html`，完成以下子任务：5.1嵌入混淆矩阵（测试集预测由考官后台运行，考生使用占位符，但须预留接口），支持点击格子跳转至对应样本可视化；5.2对测试集中被误判为“裂纹”的样本，使用Grad-CAM生成热图，并叠加原图，要求热图分辨率与原图一致；5.3对音频模态，使用IntegratedGradients给出关键频段贡献柱状图（0–8kHz，分辨率500Hz）；5.4对传感器模态，给出SHAP值随时间变化折线图，并高亮贡献最大的传感器；5.5在报告末尾附《模型交付清单》表格，含文件路径、文件作用、MD5、大小（KB）。评分标准：可视化清晰、无脚本错误得10分；交付清单准确得5分。三、答案与解析【任务一】参考实现```pythondiagnosis.pyimportos,json,shutil,wave,cv2,globfromtqdmimporttqdmos.makedirs('/data/quarantine',exist_ok=True)moves=[]defcheck_image(path):try:img=cv2.imread(path)ifimgisNoneorimg.shape!=(1536,2048,3):returnFalseexcept:returnFalsereturnTruedefcheck_audio(path):try:withwave.open(path,'rb')asf:rate=f.getframerate()frames=f.getnframes()ifrate!=16000orframes<16000orframes>160000:returnFalseexcept:returnFalsereturnTruedefcheck_sensor(path):try:withopen(path)asf:d=json.load(f)forkin['timestamp','sensor_id','temperature','pressure','vibration']:ifknotind:returnFalseexcept:returnFalsereturnTrueformod,check_funcin[('image',check_image),('audio',check_audio),('sensor',check_sensor)]:files=glob.glob(f'/data/train/{mod}/')files=glob.glob(f'/data/train/{mod}/')forfinfiles:ifnotcheck_func(f):dst=f'/data/quarantine/{os.path.basename(f)}'moves.append(f'mv{f}{dst}')shutil.move(f,dst)withopen('moves.log','w')asf:f.write('\n'.join(moves))stats={}formodin['image','audio','sensor']:stats[mod]=len(glob.glob(f'/data/train/{mod}/'))stats[mod]=len(glob.glob(f'/data/train/{mod}/'))withopen('clean_stat.json','w')asf:json.dump(stats,f,indent=2)```解析：使用OpenCV与wave库做快速格式检查，避免冗余解码；异常文件统一移动到隔离区，保证后续流程无脏数据；统计输出JSON供后续任务读取。【任务二】参考实现```pythonaugment_extract.pyimportos,json,numpyasnp,torch,cv2,hashlibfromfslibimportMetaAlbument,defect_texturefromtransformersimportConvNextV2Modelfromtorch.utils.dataimportDataset,DataLoaderfromtqdmimporttqdmclassFewImageDataset(Dataset):def__init__(self,root,augment=None):self.files=sorted([os.path.join(root,f)forfinos.listdir(root)])self.augment=augmentdef__len__(self):returnlen(self.files)def__getitem__(self,idx):img=cv2.imread(self.files[idx])img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)ifself.augment:img=self.augment(image=img)['image']returnimg,os.path.basename(self.files[idx])defget_class(fname):returnfname.split('_')[0]#假设文件名首段为类别1.统计少样本类别train_root='/data/train/image'files=os.listdir(train_root)fromcollectionsimportCountercnt=Counter([get_class(f)forfinfiles])rare_classes=[kfork,vincnt.items()ifv<=5]2.增强管道aug=MetaAlbument([dict(type='Perspective',scale=0.05,p=0.5),dict(type='BrightnessContrast',brightness_limit=0.2,p=0.5),dict(type='CutMix',p=0.5),defect_texture(p=0.8)],additional_targets={})3.增强并保存augment_log={}forclsinrare_classes:cls_files=[fforfinfilesifget_class(f)==cls]lack=20len(cls_files)ds=FewImageDataset([os.path.join(train_root,f)forfincls_files],augment=aug)foriinrange(lack):img,_=ds[i%len(ds)]save_name=f'{cls}_aug_{i}.png'cv2.imwrite(os.path.join(train_root,save_name),cv2.cvtColor(img,cv2.COLOR_RGB2BGR))augment_log[cls]={'original':len(cls_files),'after':20}augment_log['md5']=hashlib.md5(str(aug).encode()).hexdigest()withopen('augment_log.json','w')asf:json.dump(augment_log,f,indent=2)4.特征提取model=ConvNextV2Model.from_pretrained('convnextv2-base-1k').cuda().eval()defextract(root,save_name):files=sorted([os.path.join(root,f)forfinos.listdir(root)])feats=[]withtorch.no_grad():forfintqdm(files):img=cv2.imread(f)img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)img=cv2.resize(img,(224,224))x=torch.from_numpy(img).permute(2,0,1).unsqueeze(0).float()/255.x=(x0.5)/0.5x=x.cuda()feat=model(x).last_hidden_state.mean(dim=(2,3)).squeeze().cpu().numpy()feats.append(feat)np.save(save_name,np.array(feats,dtype=np.float32))extract('/data/train/image','train_2048x1536_convnext.npy')extract('/data/val/image','val_convnext.npy')```解析：MetaAlbument支持可复现随机种子，保证评分一致性；ConvNextV2在ImageNet-1M上预训练，全局平均池化前特征判别力强；增强哈希用于验证脚本一致性。【任务三】参考实现```pythonalign_fuse.pyimportnumpyasnp,json,torch,otfromsklearn.decompositionimportPCAfromsklearn.metricsimportpairwise_distancesdefload_npy(p):returnnp.load(p).astype(np.float32)img_tr=load_npy('train_2048x1536_convnext.npy')img_val=load_npy('val_convnext.npy')音频特征defextract_audio(root):importlibrosa,globfiles=sorted(glob.glob(os.path.join(root,'.wav')))files=sorted(glob.glob(os.path.join(root,'.wav')))feats=[]forfinfiles:y,sr=librosa.load(f,sr=16000)mel=librosa.feature.melspectrogram(y=y,sr=sr,n_mels=128,fmax=8000)logmel=librosa.power_to_db(mel)iflogmel.shape[1]<200:logmel=np.pad(logmel,((0,0),(0,200-logmel.shape[1])))else:logmel=logmel[:,:200]feats.append(logmel.T.flatten())returnnp.array(feats)aud_tr=extract_audio('/data/train/audio')aud_val=extract_audio('/data/val/audio')传感器特征defextract_sensor(root):importjson,globfiles=sorted(glob.glob(os.path.join(root,'.json')))files=sorted(glob.glob(os.path.join(root,'.json')))feats=[]forfinfiles:withopen(f)asff:d=json.load(ff)seq=np.array([d['temperature'],d['pressure'],d['vibration'],d.get('speed',0),d.get('current',0)])ifseq.shape[0]<20:seq=np.pad(seq,(0,20-seq.shape[0]))else:seq=seq[:20]feats.append(seq.flatten())returnnp.array(feats)sen_tr=extract_sensor('/data/train/sensor')sen_val=extract_sensor('/data/val/sensor')PCA统一256维pca_img=PCA(n_components=256,random_state=42)pca_aud=PCA(n_components=256,random_state=42)pca_sen=PCA(n_components=256,random_state=42)img_tr_pca=pca_img.fit_transform(img_tr)aud_tr_pca=pca_aud.fit_transform(aud_tr)sen_tr_pca=pca_sen.fit_transform(sen_tr)OT对齐defot_align(x1,x2,eps=0.05):M=pairwise_distances(x1,x2,metric='cosine')M=M/M.max()a=ot.unif(x1.shape[0])b=ot.unif(x2.shape[0])T=ot.sinkhorn(a,b,M,reg=eps,stopThr=1e-3)x1_aligned=x1+0.1T@x2x1_aligned=x1+0.1T@x2returnx1_aligned,Timg_tr_aligned,T_imgaud=ot_align(img_tr_pca,aud_tr_pca)sen_tr_aligned,T_imgsen=ot_align(img_tr_pca,sen_tr_pca)拼接fused_tr=np.concatenate([img_tr_aligned,aud_tr_pca,sen_tr_aligned],axis=1)np.save('train_fused_768.npy',fused_tr.astype(np.float32))验证集img_val_pca=pca_img.transform(img_val)aud_val_pca=pca_aud.transform(aud_val)sen_val_pca=pca_sen.transform(sen_val)fused_val=np.concatenate([img_val_pca,aud_val_pca,sen_val_pca],axis=1)np.save('val_fused_768.npy',fused_val.astype(np.float32))info={'img_var_ratio':float(np.sum(pca_img.explained_variance_ratio_)),'aud_var_ratio':float(np.sum(pca_aud.explained_variance_ratio_)),'sen_var_ratio':float(np.sum(pca_sen.explained_variance_ratio_)),'T_imgaud_sparsity':float(np.count_nonzero(T_imgaud)/T_imgaud.size),'T_imgsen_sparsity':float(np.count_nonzero(T_imgsen)/T_imgsen.size)}withopen('align_info.json','w')asf:json.dump(info,f,indent=2)```解析：PCA降维保留>95%方差，满足可逆重构误差<5%；Sinkhorn算法实现高效GPU加速，稀疏度指标证明对齐未过平滑；拼接后维度768，适配后续Transformer分类头。【任务四】参考实现```pythontrain_cls.pyimporttorch,json,numpyasnp,matplotlib.pyplotaspltfromfslibimportCosineClassifierfromtorch.utils.dataimportTensorDataset,DataLoaderX_tr=torch.from_numpy(np.load('train_fused_768.npy')).cuda()X_val=torch.from_numpy(np.load('val_fused_768.npy')).cuda()y_tr=torch.load('train_labels.pt')#由考官提供y_val=torch.load('val_labels.pt')train_ds=TensorDataset(X_tr,y_tr)val_ds=TensorDataset(X_val,y_val)train_loader=DataLoader(train_ds,batch_size=64,shuffle=True)val_loader=DataLoader(val_ds,batch_size=64)model=CosineClassifier(in_dim=768,num_classes=47).cuda()opt=torch.optim.SGD(model.parameters(),lr=0.1,momentum=0.9,weight_decay=1e-4)scheduler=torch.optim.lr_scheduler.CosineAnnealingLR(opt,T_max=2000,eta_min=1e-4)ce_loss=torch.nn.CrossEntropyLoss()mse_loss=torch.nn.MSELoss()best_f1,best_ep=0,0train_losses,val_f1s=[],[]forepinrange(2000):model.train()total_cls,total_rec,total=0,0,0forx,yintrain_loader:opt.zero_grad()logits,feat=model(x,return_feat=True)掩码重构mask=torch.rand(feat.shape).cuda()<0.3feat_masked=feat(1mask)feat_masked=feat(1mask)rec=model.reconstruct(feat_masked)loss_rec=mse_loss(rec,feat)loss_cls=ce_loss(logits,y)loss=loss_cls+0.5loss_recloss=loss_cls+0.5loss_recloss.backward()opt.step()total_cls+=loss_cls.item()total_rec+=loss_rec.item()total+=loss.item()scheduler.step()train_losses.append([total_cls/len(train_loader),total_rec/len(train_loader),total/len(train_loader)])验证F1model.eval()preds,gts=[],[]withtorch.no_grad():forx,yinval_loader:logits=model(x)preds.append(logits.argmax(1).cpu())gts.append(y.cpu())preds,gts=torch.cat(preds),torch.cat(gts)fromsklearn.metricsimportf1_scoref1=f1_score(gts,preds,average='macro')val_f1s.append(f1)iff1>best_f1:best_f1,best_ep=f1,eptorch.save(model.state_dict(),'best_model.pt')ifepbest_ep>50:break画图plt.plot([l[0]forlintrain_losses],label='cls')plt.plot([l[1]forlintrain_losses],label='rec')plt.plot([l[2]forlintrain_losses],label='total')plt.legend()plt.savefig('train_loss.png')plt.close()plt.plot(val_f1s)plt.savefig('val_f1.png')hyper={'final_lr':scheduler.get_last_lr()[0],'best_episode':best_ep,'best_val_f1':best_f1,'params':sum(p.numel()forpinmodel.parameters())}withopen('hyper.json','w')asf:json.dump(hyper,f,indent=2)```解析：CosineClassifier使用L2归一化权重与特征，适合小样本；掩码重构提升特征泛化性，权重0.5经网格搜索最优；早停防止过拟合，F1≥0.85即可满分。【任务五】参考实现```html<!-report.html--><!DOCTYPEhtml>