2026年人工智能效果评估基础考试真题及解析

2026年人工智能效果评估基础考试真题及解析一、单项选择题（每题2分，共20分）1.在图像分类任务中，若训练集与测试集分布差异较大，下列哪种评估指标最容易产生误导？A.准确率（Accuracy）B.精确率（Precision）C.召回率（Recall）D.F1-score答案：A解析：准确率在类别不平衡或分布偏移时极易被“多数类”主导，导致高估模型性能。2.使用AUC-ROC评估二分类器时，若训练集中负样本占比90%，以下说法正确的是：A.AUC-ROC必然低于0.5B.AUC-ROC对类别不平衡具有鲁棒性C.AUC-ROC会随负样本增加而线性下降D.必须改用AUC-PR答案：B解析：AUC-ROC衡量的是排序能力，对边际分布变化不敏感，因此在类别不平衡下仍保持稳定。3.在强化学习效果评估中，return的方差过大会导致：A.策略梯度估计无偏但高方差B.值函数估计有偏C.环境奖励泄漏D.探索率自动下降答案：A解析：高方差return使Monte-Carlo策略梯度估计波动剧烈，需引入基线或优势函数减方差。4.对生成对抗网络（GAN）进行定量评估时，下列指标直接衡量生成样本与真实样本分布距离的是：A.InceptionScore（IS）B.FréchetInceptionDistance（FID）C.Precision@kD.BLEU答案：B解析：FID利用Inception网络提取特征，计算两个高斯分布的Fréchet距离，越小越好。5.在NLP任务中，若评估指标为ROUGE-L，其计算核心依赖：A.n-gram共现频率B.最长公共子序列（LCS）C.编辑距离D.余弦相似度答案：B解析：ROUGE-L基于LCS长度，兼顾序列顺序与召回率。6.当使用k折交叉验证时，增大k值会：A.降低评估方差，增加计算成本B.增加评估方差，降低计算成本C.对偏差无影响D.必然导致过拟合答案：A解析：k越大，训练集占比越高，评估方差下降，但训练次数线性增加。7.在推荐系统离线评估中，下列哪种采样方式最容易造成“流行度偏差”放大？A.均匀采样用户B.均匀采样交互C.负采样服从物品热度分布D.时间窗采样答案：C解析：负采样若按物品热度分布，热门物品被采为负例概率高，模型进一步偏向热门。8.对模型进行显著性检验时，若p值=0.008，显著性水平α=0.01，则：A.拒绝原假设，模型效果显著B.接受原假设，模型效果不显著C.无法判断D.需增大样本量再测答案：A解析：p<α，拒绝原假设，认为模型效果在统计意义上显著优于基线。9.在联邦学习场景下，评估全局模型性能时最需关注的是：A.客户端数据异构性（Non-IID）B.通信轮数C.参数服务器内存D.梯度压缩率答案：A解析：Non-IID导致本地指标与全局指标差异巨大，需按客户端加权平均。10.若某语音识别系统在干净环境下WER=3.2%，在嘈杂环境下WER=18.7%，则系统鲁棒性可量化为：A.15.5%B.5.84dBC.相对退化率=18.7/3.2−1≈4.84D.绝对差值无意义答案：C解析：相对退化率=(WER_noisy−WER_clean)/WER_clean，可横向比较不同系统。二、多项选择题（每题3分，共15分）11.以下哪些做法可降低评估指标估计的置信区间宽度？A.增加测试样本量B.采用分层采样C.使用Bootstrap重复采样D.降低模型复杂度答案：A、B、C解析：A提高大数定律精度；B减少采样方差；C通过重采样估计分布；D与指标估计方差无直接关系。12.关于PR曲线与ROC曲线，下列说法正确的是：A.PR曲线对类别不平衡更敏感B.ROC曲线下面积一定≥PR曲线下面积C.当正负样本比例趋于1:1时，二者趋近一致D.PR曲线横轴为Recall，纵轴为Precision答案：A、C、D解析：B错误，二者面积无量纲可比，但无必然大小关系。13.在模型效果持续监控（monitoring）中，需实时跟踪的统计量包括：A.人口稳定性指数（PSI）B.特征漂移的KL散度C.平均预测概率D.训练损失答案：A、B、C解析：D仅在训练阶段可见，线上无法直接获取。14.以下哪些指标适用于多标签分类？A.HammingLossB.micro-F1C.macro-F1D.Cohen’sκ答案：A、B、C解析：Cohen’sκ适用于一致性检验，非多标签专属。15.对深度生成模型进行“模式坍塌（modecollapse）”检测时，可采用：A.记忆化检验：生成样本与训练集最近邻距离B.多样性指标：LPIPSC.覆盖指标：MS-SSIMD.重建误差：MSE答案：A、B解析：C衡量图像质量而非多样性；D用于自编码器，非GAN。三、判断题（每题2分，共10分）16.在强化学习中，重要性采样比率ρ的期望一定为1。答案：对解析：E[ρ]=E[π(a|s)/b(a|s)]=∑b(a|s)·π/b=∑π=1。17.当使用EarlyStopping时，训练集损失不再下降即可停止，无需验证集。答案：错解析：EarlyStopping核心是在验证集上监控，防止过拟合。18.对于任意二分类器，AUC-ROC=1必然意味着Accuracy=1。答案：错解析：AUC=1仅说明正负样本得分无重叠，若阈值选择不当仍可错分。19.在联邦学习中，即使所有客户端本地准确率均为100%，全局准确率也可能低于100%。答案：对解析：Non-IID导致全局分布与本地分布差异，全局最优≠本地最优叠加。20.BLEU指标取值范围为0~1，越接近1表示机器翻译结果越接近参考译文。答案：对解析：BLEU通过n-gram精确率几何平均计算，上限为1。四、填空题（每空2分，共20分）21.若某模型在测试集上TP=80，FP=20，FN=30，TN=70，则其F1-score为\_\_\_\_。（保留三位小数）答案：0.727解析：Precision=80/(80+20)=0.8，Recall=80/(80+30)=0.727，F1=2×0.8×0.727/(0.8+0.727)=0.727。22.给定真实回归值y∈ℝ，预测值ŷ，则RMSE的LaTeX表达式为\_\_\_\_。答案：RMSE=23.在A/B测试的多重比较问题中，控制族系错误率（FWER）的经典方法是\_\_\_\_校正。答案：Bonferroni24.对语言模型进行困惑度（Perplexity）评估时，若交叉熵损失为3.2，则Perplexity=\_\_\_\_。（保留一位小数）答案：25.0解析：PP=exp(3.2)≈24.53，四舍五入25.0。25.若某推荐算法在Top-10推荐中Recall@10=0.4，用户实际正例共20个，则算法成功推荐\_\_\_\_个正例。答案：8解析：Recall=TP/20=0.4⇒TP=8。26.在图像分割任务中，Dice系数与IoU的换算关系为Dice=2×IoU1+IoU答案：0.75解析：Dice=2×0.6/(1+0.6)=1.2/1.6=0.75。27.当使用McNemar检验比较两个分类器时，原假设为两个分类器\_\_\_\_相同。答案：错误率28.在强化学习离线评估中，拟合Q评估（FQE）的核心是通过\_\_\_\_回归估计任意策略π的Q函数。答案：Bellman29.对生成模型进行隐私攻击时，攻击者通过成员推理（MembershipInference）判断某样本是否属于\_\_\_\_集。答案：训练30.若某模型在三个数据集上的AUC分别为0.81、0.83、0.85，则其宏观平均AUC=\_\_\_\_。（保留两位小数）答案：0.83解析：(0.81+0.83+0.85)/3=0.83。五、简答题（每题10分，共20分）31.简述在类别极度不平衡（正负比例1:99）的异常检测任务中，为何AUC-PR比AUC-ROC更具参考价值，并给出AUC-PR的估算步骤。答案与解析：1)意义：PR曲线纵轴Precision直接反映“被标记为异常的案例中有多少是真异常”，对少数类敏感；ROC的FPR易被大量负例稀释，无法体现少数类性能。2)估算步骤：a)将测试样本按模型得分降序排列；b)依次取阈值，计算对应的Precision、Recall；c)以Recall为横轴、Precision为纵轴绘制曲线；d)使用插值法（11点或全点）计算曲线下面积，得AUC-PR。32.联邦学习环境下，客户端数据Non-IID导致全局模型在某些客户端表现极差。请提出一种“个性化”评估方案，并说明如何量化该方案的公平性。答案与解析：方案：采用“混合评估”——全局指标+个性化指标。步骤：1)每个客户端k使用本地数据D_k计算个性化模型θ_k^（如本地微调）；1)每个客户端k使用本地数据D_k计算个性化模型θ_k^（如本地微调）；2)计算本地指标A_k（如准确率）；3)定义公平性量化指标：a)最差5%客户端的平均准确率A_min；b)Jain公平指数：J=(∑k4)报告(A_avg,A_min,𝒥)三元组，综合反映整体性能与公平性。六、计算与综合题（共35分）33.（10分）某电商推荐系统采用多任务学习，同时优化点击率（CTR）与转化率（CVR）。给定测试集10000条曝光记录，其中：点击正例800，负例9200；转化正例200，负例9800（未点击视为自动未转化）。任务1：计算CTR任务的F1-score；任务2：计算CVR任务的F1-score（仅考虑点击后样本）；任务3：若采用微平均F1合并两任务，求合并后F1。答案：任务1：Precision_CTR=800/10000=0.08，Recall_CTR=800/800=1，F1_CTR=2×0.08×1/(0.08+1)=0.148。任务2：点击样本共800，其中转化200，Precision_CVR=200/800=0.25，Recall_CVR=200/200=1，F1_CVR=2×0.25×1/(0.25+1)=0.4。任务3：微平均TP=800+200=1000，FP=9200+600=9800，FN=0+0=0，Precision=1000/10800=0.0926，Recall=1000/1000=1，F1=2×0.0926×1/(0.0926+1)=0.169。34.（12分）某语音识别系统在三种噪声条件下测试，得到词错误率（WER）如下表：条件WER(%)测试时长(h)安静2.110车载7.515街头12.325（1）计算加权平均WER；（2）若公司目标为加权平均WER≤8%，请通过调整街头条件数据占比，求街头测试时长至少需降低至多少小时（总时长50h不变）？答案：（1）加权WER=(2.1×10+7.5×15+12.3×25)/50=9.36%。（2）设街头时长降为x，则(2.1×10+7.5×15+12.3×x)/(10+15+x)≤8解得：21+112.5+12.3x≤8(25+x)⇒133.5+12.3x≤200+8x⇒4.3x≤66.5⇒x≤15.47h。故街头测试时长至少减少25−15.47=9.53h。35.（13分）某医疗影像分割模型在100张CT上预测病灶区域。已知：每张图像像素512×512，单张真实病灶平均面积A_g=2400像素；模型预测平均面积A_p=2800像素；平均交并比mIoU=0.65；临床要求Recall≥0.90，且单张过检（FP）像素≤1600。（1）根据mIoU推导平均Precision；（2）判断是否满足临床Recall要求；（3）若不满足，提出一种后处理策略并给出量化依据。答案：（1）由IoU=TP/(FP+TP+FN)，Precision=TP/(TP+FP)，Recall=TP/(TP+FN)。设TP=x，则IoU=x/(FP+x+FN)=0.65。平均而言，FP=A_p−x，FN=A_g−x，代入：x/(2800−x+2400−x+x)=x/(5200−x)=0.65⇒x=0.65(5200−x)⇒