2026年人工智能算法鲁棒性考试试题及答案

2026年人工智能算法鲁棒性考试试题及答案一、单项选择题（每题2分，共20分）1.对抗样本是指（）。A.数据集中标注错误的样本B.对原始输入施加微小、人眼难以察觉的扰动后，使模型以高置信度输出错误结果的样本C.训练集中重复出现的样本D.模型中权重值异常的参数答案B解析对抗样本的关键特征有二：扰动微小（人眼不易察觉）且能使模型出错。A属于标注噪声，C属于数据冗余，D属于参数异常，均不符合定义。2.FGSM（FastGradientSignMethod）属于（）。A.基于优化的黑盒攻击B.基于梯度的单步白盒攻击C.基于查询的决策黑盒攻击D.训练阶段的数据投毒攻击答案B解析FGSM由Goodfellow等人于2014年提出，利用损失函数对输入梯度的符号方向，单步生成对抗样本，属于白盒攻击。3.PGD（ProjectedGradientDescent）攻击与FGSM相比，最主要的特点是（）。A.不需要任何梯度信息B.只适用于L2C.多次迭代更新扰动，并在每步后将扰动投影回约束范围内D.只能攻击线性模型答案C解析PGD从随机扰动起点出发，迭代执行小步长梯度符号更新，并通过投影保证扰动始终满足Lp4.在L∞范数约束下，扰动预算ϵA.每个像素的扰动绝对值均不超过8B.所有像素扰动值的平方和不超过8C.发生扰动的像素个数不超过8个D.扰动后图像的亮度整体降低8答案A解析L∞范数度量的是所有坐标中扰动的最大绝对值，因此ϵ=8/2555.对抗训练（AdversarialTraining）的核心思想是（）。A.训练前过滤掉所有可能产生对抗样本的数据B.在训练过程中动态生成对抗样本并加入训练，通过min-max优化提升鲁棒性C.无限增大模型参数量以提高拟合能力D.降低训练损失函数的收敛阈值答案B解析对抗训练将"生成最强对抗样本"（内层max）与"在对抗样本上最小化损失"（外层min）结合，是当前最有效的经验防御方法之一。6.随机平滑（RandomizedSmoothing）主要提供（）。A.经验鲁棒性B.可认证的鲁棒性（CertifiedRobustness）保证C.差分隐私保证D.模型可解释性答案B解析随机平滑通过向输入添加高斯噪声并聚合多次预测，能够在给定扰动半径内给出分类结果不变的统计保证，属于认证鲁棒方法。7.防御蒸馏（DefensiveDistillation）失效的根本原因在于（）。A.训练过程无法收敛B.其本质是梯度掩蔽，可被基于迭代梯度的自适应攻击绕过C.需要海量人工标注数据D.只适用于决策树模型答案B解析防御蒸馏通过软标签平滑模型输出，使梯度变小，属于梯度掩蔽的一种。Carlini等人证明，针对真实损失构造的自适应攻击可以轻易绕过该类防御。8.AutoAttack是（）。A.一种自动超参数搜索工具B.集成多种白盒与黑盒攻击的对抗鲁棒性基准评估工具C.一种数据增强算法D.一种模型量化压缩方法答案B解析AutoAttack集成了APGD-CE、APGD-DLR、FAB与SquareAttack等白盒与黑盒攻击，用于统一、可靠地评估模型的对抗鲁棒性，避免因攻击强度不足而高估鲁棒性。9.后门攻击（BackdoorAttack）属于（）。A.推理阶段的对抗样本攻击B.训练阶段的数据投毒攻击C.模型窃取攻击D.成员推断攻击答案B解析后门攻击通过在训练数据中注入带触发器（Trigger）的样本，使模型在遇到触发器时输出攻击者指定的错误结果，属于训练阶段投毒。10.关于对抗鲁棒性与干净样本准确率的关系，下列说法正确的是（）。A.提高鲁棒性必然提升干净样本准确率B.对抗鲁棒性与干净样本准确率之间存在固有的权衡（Trade-off）C.二者完全相互独立D.鲁棒性越高的模型参数量一定越少答案B解析已有理论与实验（如Tsipras等人）表明，在部分分布下，鲁棒分类器与标准分类器存在准确率上的固有差距，即鲁棒性—准确率权衡。二、填空题（每空1分，共10分）1.FGSM的扰动方向取损失函数对输入梯度的__方向，扰动幅度由超参数__控制。答案符号（sign）；ϵ（epsilon）2.对抗样本的迁移性是指针对__模型生成的对抗样本，在未经访问的__模型上同样具有攻击效果。答案源（白盒）；目标（黑盒）3.PGD攻击在每次迭代更新后，需将扰动__回给定的__球内，以保证扰动幅度不超过约束预算。答案投影（Project）；L4.对抗训练的目标函数可写为minθE(x,y)答案在扰动约束内寻找使损失最大的对抗样本（生成最强对抗扰动）；在对抗样本上最小化经验损失（训练鲁棒模型参数）5.随机平滑通过对输入添加__噪声，并对多个扰动样本的预测结果进行__，从而获得具有统计保证的鲁棒分类器。答案高斯（Gaussian）；多数投票（MajorityVote）三、判断题（每题1分，共10分）1.对抗样本仅存在于深度神经网络中，传统机器学习模型不受影响。答案错误（×）2.在L∞预算ϵ下，FGSM生成的对抗样本对每个像素的扰动幅度都不超过ϵ答案正确（√）3.对抗训练可以完全消除对抗样本，使模型对所有攻击永久免疫。答案错误（×）4.梯度掩蔽（GradientMasking）是一种鲁棒、不可绕过的防御机制。答案错误（×）5.模型容量越大，其对抗鲁棒性一定越高。答案错误（×）6.随机平滑的认证半径与所添加高斯噪声的标准差有关。答案正确（√）7.在联邦学习中，恶意客户端通过上传投毒的模型更新，可以破坏全局模型性能或植入后门。答案正确（√）8.对输入进行JPEG压缩等简单预处理，即可完全防御所有对抗攻击。答案错误（×）9.黑盒攻击场景下，攻击者无法获取目标模型的梯度信息。答案正确（√）10.模型在ϵ=8/答案错误（×）四、简答题（每题5分，共20分）1.简述对抗样本的定义，并说明其产生的主要原因。答案对抗样本是对原始输入施加微小、人眼难以察觉的扰动后，能够使模型以高置信度输出错误预测的样本。产生的主要原因包括：(1)深度网络的决策边界在输入空间中高度复杂，训练样本邻域内存在大量模型预测不可靠的区域；(2)高维输入下，即使每个维度的扰动极其微小，叠加后也足以使线性模型或近似线性的深层模型的输出发生显著变化；(3)标准经验风险最小化只约束训练样本点上的预测，对样本邻域缺乏约束，导致决策边界紧贴训练数据。2.简述FGSM与PGD两种攻击方法的原理及主要区别。答案FGSM是单步梯度符号攻击，沿损失函数对输入梯度的符号方向一次性施加幅度为ϵ的扰动：δPGD是FGSM的迭代版本，从随机扰动起点出发，以较小步长α多次执行梯度符号更新，并在每次更新后将扰动投影回允许的Lpδ主要区别：FGSM计算高效但攻击强度有限；PGD迭代优化，计算开销大，但生成的对抗样本更强，常被用作对抗训练中的基准攻击。3.写出对抗训练的min-max优化目标，并解释内层max与外层min的含义。答案对抗训练的优化目标为：min其中，内层max是在扰动约束范围内寻找使损失最大的对抗扰动，即生成当前模型下最强的对抗样本；外层min是在这些对抗样本上最小化经验损失，从而训练出对扰动鲁棒的模型参数θ。实际训练中通常使用PGD近似求解内层最大化问题。4.列举至少三种对抗防御方法，并简要说明其原理。答案(1)对抗训练：在训练中动态生成对抗样本并加入训练集，通过min-max优化平滑决策边界，是目前最有效的经验防御方法；(2)随机平滑：向输入添加高斯噪声并对多次预测结果进行多数投票，可提供可认证的鲁棒性保证；(3)输入预处理：在推理前对输入进行JPEG压缩、去噪、随机裁剪等变换，以减弱或消除对抗扰动；(4)认证防御：基于Lipschitz约束、区间传播或抽象解释等方法，从理论上保证输入在给定扰动范围内时模型预测不变。五、计算与综合分析题（每题10分，共20分）1.给定一个二分类线性模型f(x)=wTx+b，其中w(1)计算f(x0(2)采用FGSM在L∞约束ϵ=0.5下生成对抗样本（忽略损失函数形式，直接沿使f(x(3)求能使模型将x0误分类的最小L答案(1)f((2)为使f(x)δx此时f((3)设扰动为δ=f在L∞约束∥δ∥∞≤t下，令δ1=δ2=−t解析：本题体现了两个要点：其一，FGSM作为单步攻击并不保证成功；其二，对线性模型而言，最小L∞2.某团队在CIFAR-10上训练了一个ResNet-18模型，干净测试集准确率为95%，但在PGD-20（L∞，ϵ答案该现象说明模型"干净准确率高、对抗鲁棒性极低"，可能原因包括：(1)模型采用标准经验风险最小化（ERM）训练，只约束训练样本点上的预测，决策边界紧贴训练数据，样本邻域内存在大量对抗区域；(2)深度网络在高维输入空间中的局部线性近似放大了微小扰动的影响；(3)训练数据有限，模型对数据流形之外的输入缺乏泛化能力，容易被定向推向错误分类区域。改进方案：(1)对抗训练（如PGD对抗训练或TRADES）：在训练中动态生成对抗样本并最小化其在扰动邻域内的损失。优点：能显著提升经验鲁棒性，是目前最有效的经验防御之一；缺点：训练计算开销大，鲁棒性局限于训练所用的攻击类型与扰动预算，且干净样本准确率通常会下降。(2)随机平滑：对输入添加高斯噪声并对多次预测投票。优点：可提供可认证的鲁棒性保证，不依赖于具体攻击算法；缺点：需要多次前向推理，推理开销大，且认证半径与噪声标准差之间存在权衡，对结构化扰动的鲁棒性有限。(3)输入预处理或去噪：在推理前使用去噪器净化输入。优点：可与已有模型即插即用，无需重新训练；缺点：可能被利用预处理器梯度的自适应攻击绕过，并引入额外计算开销。(4)数据增强与正则化：使用CutMix、Mixup、标签平滑等增强训练。优点：实现简单、通用性强；缺点：单独使用对对抗鲁棒性的提升有限，通常需与对抗训练结合。解析鲁棒准确率从95%骤降至0.1%是未防御模型在强攻击下的典型表现。改进方案的选取需综合考虑鲁棒性收益、干净准确率损失、训练与推理开销及应用场景。六、论述题（每题20分，共20分）1.结合当前人工智能技术的发展，论述人工智能算法鲁棒性的重要性、算法面临的主要安全威胁（至少三类），以及当前鲁棒性研究面临的主要挑战与未来发展方向。答案（一）鲁棒性的重要性。随着人工智能在自动驾驶、医疗影像诊断、人脸识别、金融风控、工业质检等安全关键领域的规模化部署，模型不仅需要在理想测试集上准确，更需要在对抗扰动、数据污染、环境变化等非理想条件下保持可靠。对抗攻击已从数字世界扩展到物理世界（如对交通标志贴纸、佩戴特制眼镜框），可导致自动驾驶误判、人脸识别绕过等严重安全事故。此外，大语言模型与多模态模型的兴起带来了提示注入、越狱攻击等新型威胁。鲁棒性是可信人工智能（安全、可靠、公平、可解释）的核心支柱，直接关系到系统安全性、用户信任与合规要求。（二）主要安全威胁。至少包括以下三类：(1)对抗样本攻击：在推理阶段对输入施加微小扰动使其被误分类，包括白盒攻击（FGSM、PGD、C&W）与黑盒攻击（基于迁移性的替代模型攻击、基于查询的边界攻击等）；(2)数据投毒与后门攻击：在训练阶段污染训练数据或注入带触发器的样本，使模型在特定条件下输出攻击者指定的错误结果，威胁模型供应链安全；(3)分布式场景中的拜占庭攻击：在联邦学习等分布式训练框架中，恶意客户端通过上传精心构造的梯度更新破坏全局模型或植入后门。此外，隐私攻击（成员推断、模型窃取）与自然分布偏移（噪声、模糊、天气变化导致的损坏鲁棒性）也是鲁棒性研究的重要范畴。（三）主要挑战。(1)鲁棒性与准确率的权衡：强鲁棒模型在干净数据上的准确率往往下降，理论研究表明该权衡在某些分布下是固有的；(2)防御与攻击的攻防博弈：大量经验防御（如梯度掩蔽、输入预处理）被后续自适应攻击破解，评估基准（如AutoAttack）仍需不断完善；(3)认证鲁棒性的可扩展性：随机平滑、区间传播等认证方法在大规模模型与复杂数据集上的计算成本极高，认证半径偏小；(4)对抗训练的计算开销与鲁棒过拟合问题：对抗训练成本高昂，且存在鲁棒过拟合，即验证集鲁棒准确率不再提升甚至下降；(5)大模型与多模态场景下的鲁棒性理论尚不成熟，现有攻击与防御手段难以直接迁移。（四）未来发展方向。(1)构建