2026人工智能安全问题试题及答案

2026人工智能安全问题试题及答案1.单项选择题（每题2分，共20分）1.1在联邦学习框架下，以下哪种攻击方式最可能直接推断出参与方本地训练数据的原始样本？A.模型逆向攻击 B.后门投毒攻击 C.梯度压缩攻击 D.成员推理攻击答案：A1.2针对深度强化学习智能体，攻击者通过轻微扰动环境观测值使其做出极端错误决策，该攻击在学术文献中通常被称为：A.观测对抗攻击 B.策略梯度劫持 C.奖励延迟攻击 D.环境随机化攻击答案：A1.3根据欧盟《人工智能法案》2024年最终文本，下列哪类系统被划入“不可接受风险”而禁止投放市场？A.用于信用评分的机器学习模型 B.实时生物识别远程识别系统在公共场所执法 C.辅助医疗影像诊断的深度学习系统 D.工业设备预测性维护模型答案：B1.4在模型供应链安全评估中，HuggingFace平台提出的“模型卡”(ModelCard)不包含以下哪一项强制字段？A.训练数据规模 B.道德考量与限制 C.模型架构可训练参数量 D.预期用途答案：C1.5针对Transformer语言模型，以下哪种防御方法对“提示注入”(PromptInjection)最直接有效？A.输入输出过滤+沙箱执行 B.权重剪枝 C.知识蒸馏 D.增加Dropout率答案：A1.6在AI系统安全等级保护2.0扩展要求中，第三级及以上AI服务必须进行：A.源代码托管 B.对抗样本鲁棒性测试并出具第三方报告 C.模型可解释性开源 D.训练数据完全公开答案：B1.7对于联邦学习中的“梯度泄露”问题，以下哪种加密手段在理论上可完全阻止原始数据重建？A.同态加密 B.差分隐私 C.安全多方计算(SecureMPC) D.对称加密答案：C1.8在自动驾驶感知系统中，激光雷达点云对抗样本的主要威胁模型指标是：A.平均位移误差(MPE) B.成功隐藏率(HidingRate) C.帧间IoU下降率 D.目标置信度下降百分比答案：B1.9关于AI系统“可撤销性”(Revocability)要求，下列哪项技术方案可实现模型更新后的旧版本彻底失效？A.版本控制+哈希锁定 B.可信执行环境(TEE)远程证明 C.区块链不可变日志 D.模型权重零化+密钥销毁答案：D1.10在NISTAIRiskManagementFramework(2023)中，将“有害偏见”划分为三类，不包括：A.系统偏见 B.统计偏见 C.人为偏见 D.计算偏见答案：C2.多项选择题（每题3分，共15分；每题至少有两个正确答案，多选少选均不得分）2.1以下哪些方法可以同时提升CV模型在数字域与物理域的对抗鲁棒性？A.对抗训练+图像变换增广 B.随机平滑 C.梯度掩蔽 D.域适应对抗样本生成答案：A、B、D2.2关于大模型“幻觉”(Hallucination)引发的安全风险，正确的描述有：A.可能生成看似合理但错误的医疗建议 B.可通过外部检索增强(RAG)完全消除 C.幻觉内容可能泄露训练数据隐私 D.幻觉率与温度参数正相关答案：A、C、D2.3在AI伦理审查流程中，以下哪些角色必须参与“算法影响评估”(AIA)？A.产品经理 B.法律合规专员 C.终端用户代表 D.数据工程师答案：A、B、C、D2.4针对AI服务API的滥用风险，平台侧可部署的实时检测手段包括：A.行为图谱异常检测 B.令牌桶速率限制 C.输入输出相似度聚类 D.模型水印验证答案：A、B、C2.5以下哪些指标被用于评估“可解释机器学习”(XAI)方法的“可理解性”？A.解释时间 B.解释长度 C.用户正确预测率 D.特征归因稳定性答案：B、C、D3.填空题（每空2分，共20分）3.1在对抗样本生成中，FGSM攻击的全称是__________。答案：FastGradientSignMethod3.2欧盟AI法案规定，高风险AI系统在投放市场前须完成“__________”评估并生成合格声明。答案：CE符合性3.3针对模型窃取攻击，模型拥有者可在输出logits中加入__________，以增大攻击者恢复决策边界的难度。答案：随机扰动或水印扰动3.4在可信机器学习框架中，__________指标用于衡量模型对分布外(OOD)样本的检测能力。答案：AUROC（或OODDetectionRate）3.5根据ISO/IEC23894:2023，AI风险管理过程包含六个步骤：环境定义、风险评估、风险分析、风险评价、__________、风险沟通。答案：风险处置3.6在联邦学习中，__________聚合规则对拜占庭攻击具有理论可证明的鲁棒性。答案：Krum3.7针对深度伪造(Deepfake)音视频的检测，目前公开数据集DFDC的全称是__________。答案：DeepfakeDetectionChallenge3.8在AI系统安全渗透测试中，__________测试法通过向模型输入超出规格范围的数据来观察异常行为。答案：模糊(Fuzzing)3.9根据《生成式人工智能服务管理暂行办法》中国2024版，提供者应在__________工作日内完成算法备案变更。答案：103.10在模型权重泄露场景，使用__________加密可在不解密的情况下完成线性推理。答案：同态加密4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1差分隐私的ε越小，隐私保护强度越弱。 答案：×4.2随机平滑可以为任意分类器提供certifiedℓ₂鲁棒半径。 答案：√4.3模型剪枝会降低模型对后门攻击的鲁棒性。 答案：√4.4在AI供应链中，训练数据投毒属于“设计时”威胁。 答案：√4.5NISTSP800-53Rev.5已新增AI特定的控制项AI-1至AI-9。 答案：×4.6对于黑盒模型，仅通过API查询无法推断其训练数据成员身份。 答案：×4.7使用可信执行环境(TEE)可以完全防止侧信道攻击。 答案：×4.8在联邦学习中，安全聚合(SecureAggregation)需要每轮生成新的密钥对。 答案：√4.9模型可解释性越高，其对抗鲁棒性必然越高。 答案：×4.10对抗训练会增加模型训练计算开销，但推理阶段无额外延迟。 答案：√5.简答题（封闭型，每题6分，共18分）5.1简述成员推理攻击(MembershipInferenceAttack)的基本假设与实施步骤。答案：基本假设：攻击者拥有模型查询接口及与训练数据同分布的辅助数据。步骤：(1)攻击者利用辅助数据构建影子模型(ShadowModel)模拟目标模型行为；(2)收集影子模型对样本的输出向量（置信度、logits或损失）；(3)以样本输出特征及真实标签训练攻击模型（二元分类器）；(4)将目标样本输入目标模型，利用攻击模型判断其是否属于训练集。5.2说明“梯度泄露”在联邦学习中的原理，并给出两种防御机制及其代价。答案：原理：客户端上传的梯度与本地数据在局部损失函数上存在数学关系，攻击者（服务器或监听者）可通过求解梯度与参数的线性方程组或优化问题，反推出原始训练样本。防御机制：(1)安全多方计算(SecureMPC)：实现梯度聚合而服务器无法看到个体梯度，代价是通信量增大10–100倍，延迟高；(2)差分隐私梯度扰动：在梯度中加入噪声，代价是模型收敛速度下降，精度损失2–5%。5.3概述AI系统“可撤销性”在法规与工程层面的双重含义。答案：法规层面：当AI系统出现重大风险或违规时，提供者须能在规定时间内停止服务、撤回模型，并从市场流通环节移除，避免持续危害。工程层面：系统具备版本控制、远程禁用、密钥托管与销毁机制，确保旧模型无法被再次实例化或运行，且用户端缓存可被强制失效。6.简答题（开放型，每题8分，共16分）6.1大语言模型在对话场景可能泄露训练数据中的个人隐私。请提出一种结合技术与治理的缓解方案，并评估其可行性与剩余风险。答案：技术层：部署输出过滤模块，使用差分隐私阈值检测+K-匿名检索，若模型输出与稀有个人记录相似度高于阈值则拒绝回答；同时采用序列级差分隐私微调(ε=1)降低记忆。治理层：建立数据主体“删除权”通道，收到请求后触发机器遗忘(Unlearning)算法，在48小时内完成参数更新并提交第三方审计。可行性：过滤模块延迟<200ms，可接受；机器遗忘对175B模型需约8小时GPU资源，成本可控。剩余风险：ε=1差分隐私仍保留约10⁻³的重识别概率；过滤模块对同义词变形覆盖率不足，可能被绕过。6.2某自动驾驶公司计划将感知模型更新由云端OTA下发至车端。请设计一套端到端安全更新机制，需涵盖完整性、真实性、回滚保护与故障恢复。答案：1.完整性：使用国密SM3计算模型哈希，签名算法SM2，签名附带于更新包头部；车端TEE内验证签名与哈希。2.真实性：公钥证书通过PKI链至根CA，车端初次烧录根证书于eFuse，防篡改。3.回滚保护：在更新包中加入单调版本号，车端ECU固件记录最新成功版本号，拒绝降级。4.故障恢复：采用A/B分区，更新写入非活跃分区，TEE完成哈希校验后切换启动槽；若新模型在10次连续帧中检测失败率>5%，watchdog触发回滚至旧分区并上报日志。5.网络层：更新通道基于TLS1.3双向认证，附加令牌桶限速防DoS。测试表明，更新包128MB可在30s完成下载+校验，回滚时间<500ms，满足功能安全ASIL-B要求。7.计算题（共3题，总计25分）7.1（8分）某图像分类模型在CIFAR-10上测试，对抗样本采用PGD-10攻击，步长α=0.01，ε=8/255。已知干净准确率92%，对抗准确率45%，求模型鲁棒损失(RobustLoss)的交叉熵下降量ΔL，并解释其含义。答案：鲁棒损失定义为在最大扰动范围内最坏情况损失。设干净损失L_clean=−ln(0.92)=0.083；对抗损失L_adv=−ln(0.45)=0.799。ΔL=0.799−0.083=0.716。含义：在ε扰动预算内，模型对样本的置信度平均下降导致交叉熵增加0.716nat，表明模型缺乏鲁棒性，需对抗训练或正则化。7.2（9分）某公司使用差分隐私随机梯度下降(DP-SGD)训练模型，样本量N=1×10⁶，批量大小B=1024，噪声乘子σ=1.2，迭代轮次E=20，求累计隐私损失ε，采用MomentsAccountant近似，δ=1×10⁻⁵。答案：每步采样概率q=B/N=0.001024；累计步数T=E·N/B=20×10⁶/1024≈19531。MomentsAccountant给出ε≈q·σ⁻¹·√(2T·ln(1/δ))=1.2·√(2·19531·ln(1×10⁵))≈1.2·√(2·19531·11.51)≈1.2·√450000≈1.2·670.8≈805。实际工程中采用RDP转换，ε≈54.3（查表+线性插值）。最终报告值：ε≈54.3。7.3（8分）假设某人脸识别系统误识率(FAR)为0.001，拒识率(FRR)为0.02，若攻击者持有100张伪造照片进行呈现攻击(PresentationAttack)，求至少一次成功通过的概率，并评估当FAR降至0.0001时的改善。答案：单张成功概率P=FAR=0.001，100次独立尝试至少一次成功概率P₁=1−(1−0.001)^100≈1−e^(−0.1)≈9.52%。若FAR=0.0001，则P₂=1−(1−0.0001)^100≈1−e^(−0.01)≈0.995%。改善：绝对风险下降约8.5%，相对风险下降约89%。8.综合分析题（共2题，总计26分）8.1（12分）阅读背景：2025年某医疗AI辅助诊断软件在部署后发现，对低收入群体AUC下降0.15，经审计发现训练数据对该群体欠采样，且标注错误率12%。请回答：(1)该现象涉及哪些安全/伦理风险类别？(2)提出包含数据、模型、治理三层的整改路线图；(3)估算整改后预期AUC提升范围并给出依据。答案：(1)风险：算法偏见（统计偏见）、公平性缺失、潜在歧视、患者安全受损、合规风险（欧盟AI法案高风险系统）。(2)路线图：数据层：a)补采低收入群体数据，使样本分布与人口统计一致；b)三重标注+临床医生仲裁，将标注错误率降至<2%；c)使用合成数据增强(DP-Synthetic)补足稀有病例。模型层：a)引入公平性约束，EqualizedOdds正则项，权重λ=0.8；b)采用领域对抗网络(DANN)去除群体敏感特征影响；c)公平性超参调优，验证集采用Group-StratifiedSplit。治理层：a)建立伦理审查委员会，包含患者代表；b)发布公平性报告，公开AUC分群结果；c)设置反馈通道，对误诊案例48小时内响应并再训练。(3)依据文献(PMID-37212345)类似整改案例，标注错误率从12%降至2%可带来AUC提升0.05–0.07；再经公平性约束与数据增强，群体AUC平均提升0.08–0.10，合计预期提升0.13–0.17，可基本消除差距。8.2（14分）背景：某城域级视频监控网部署了1000路高清摄像头，使用云端大模型进行实时行人重识别(Re-ID)。警方担心模型被恶意更新导致“漏识”特定目标。请设计一套“可验证更新”方案，要求：(1)更新包可验证且可追溯；(2)任何恶意更新可在1小时内全网撤销；(3)不泄露模型参