人工智能安全试题及答案

人工智能安全试题及答案一、单项选择题（每题2分，共20分）1.以下哪项不属于人工智能安全的核心目标？A.模型输出的正确性与可靠性B.数据隐私的保护与防泄露C.算法运行效率的最大化D.系统对恶意攻击的鲁棒性2.对抗样本攻击的本质是通过对输入数据添加（），导致模型输出错误结果。A.不可感知的微小扰动B.明显的视觉噪声C.结构化的语义篡改D.大规模的数据删除3.以下哪种技术是专门用于解决AI模型“黑箱”问题，提升可解释性的？A.联邦学习B.注意力机制可视化（AttentionMap）C.差分隐私D.迁移学习4.在医疗AI诊断系统中，若攻击者通过向训练数据中注入虚假病例（如健康人标注为癌症患者），导致模型在实际诊断中误判，这种攻击属于：A.对抗样本攻击B.数据投毒攻击C.模型逆向攻击D.后门攻击5.以下哪项是AI系统“伦理安全”的典型问题？A.模型在训练数据中学习到性别歧视的隐含偏见B.服务器因高温导致计算中断C.输入图像分辨率不足导致识别错误D.网络延迟导致实时决策延迟6.差分隐私技术的核心是通过（）来保护个体数据隐私，同时保证整体统计结果的可用性。A.加密所有原始数据B.对查询结果添加可控噪声C.删除敏感字段D.限制数据访问权限7.自动驾驶AI系统中，若攻击者通过伪造交通标志（如将“限速60”修改为“限速80”）导致车辆误判，这种攻击主要针对AI系统的（）环节。A.数据采集B.模型训练C.模型推理D.结果输出8.以下哪种防御方法可有效应对对抗样本攻击？A.在训练数据中加入对抗样本进行鲁棒性训练B.提高模型的复杂度（如增加神经网络层数）C.对输入数据进行全量加密D.限制模型的计算资源9.联邦学习（FederatedLearning）的主要安全优势是：A.无需中央服务器，完全去中心化B.仅传输模型更新参数而非原始数据，保护隐私C.支持跨机构的大规模数据联合训练D.显著提升模型训练速度10.AI系统的“可解释性”要求不包括：A.能够说明模型决策的关键特征B.能够复现模型的推理过程C.能够隐藏模型的核心算法逻辑D.能够解释不同输入对输出的影响权重二、填空题（每题2分，共20分）1.人工智能安全的三大支柱是鲁棒性、隐私性和__________。2.对抗样本攻击中，FGSM（快速梯度符号法）通过计算输入数据的__________方向添加扰动。3.数据投毒攻击的核心目标是污染__________阶段的数据集，导致模型产生系统性偏差。4.后门攻击通常通过在训练数据中插入特定__________（如特定颜色的补丁），使模型在推理时对含该标记的输入输出攻击者指定的结果。5.可解释性技术中，LIME（局部可解释模型无关解释）通过__________局部线性模型来近似复杂模型的决策逻辑。6.隐私保护机器学习中，同态加密技术允许在__________状态下对数据进行计算，避免原始数据泄露。7.AI伦理安全的典型问题包括算法歧视、__________和责任归属不明确。8.防御模型逆向攻击的关键是限制攻击者通过模型输出反推__________的能力。9.自动驾驶AI的“场景泛化安全”要求模型能够处理__________（如极端天气、罕见交通事件）下的输入数据。10.生成式AI（如GPT、DALLE）的安全风险包括生成虚假信息、__________和内容滥用。三、简答题（每题8分，共40分）1.简述对抗攻击与数据投毒攻击的主要区别（从攻击阶段、扰动对象、目标效果三方面说明）。2.解释“AI模型的鲁棒性”与“AI系统的安全性”之间的联系与区别。3.列举三种常见的隐私保护机器学习技术，并分别说明其核心原理。4.分析医疗AI诊断系统可能面临的安全风险（至少列举4类），并提出对应的防御措施。5.为什么说“可解释性是AI安全的重要前提”？结合具体场景说明。四、案例分析题（20分）某公司开发了一款基于深度学习的人脸识别门禁系统，用户反馈该系统存在以下问题：（1）在强光或逆光环境下，识别准确率从99%降至85%；（2）测试中发现，当输入图像被添加人眼不可见的噪声后，系统将陌生人误判为注册用户；（3）有技术人员通过多次测试系统输出的置信度分数，反向推测出部分用户的面部特征数据。请结合人工智能安全知识，分析上述问题对应的安全风险类型，并提出至少3条针对性的防御措施。答案及解析一、单项选择题1.C（AI安全的核心目标包括正确性、隐私性、鲁棒性等，效率最大化属于性能优化目标）。2.A（对抗样本的扰动通常微小且不可感知，如图像中像素级的变化）。3.B（注意力机制可视化可直观展示模型关注的关键区域，提升可解释性）。4.B（数据投毒攻击发生在训练阶段，通过污染数据影响模型全局性能）。5.A（伦理安全涉及算法公平性，如性别、种族偏见）。6.B（差分隐私通过向统计结果添加噪声，平衡隐私保护与数据可用性）。7.C（伪造交通标志攻击发生在模型推理阶段，干扰实时决策）。8.A（对抗训练将对抗样本加入训练集，提升模型鲁棒性）。9.B（联邦学习仅传输模型参数，原始数据保留在本地，保护隐私）。10.C（可解释性要求透明化决策逻辑，而非隐藏核心算法）。二、填空题1.可解释性2.损失函数梯度3.模型训练4.触发模式（或“触发标记”）5.拟合6.加密7.隐私侵犯（或“伦理偏见”）8.训练数据（或“原始数据”）9.长尾场景（或“未训练过的场景”）10.深度伪造（或“恶意内容生成”）三、简答题1.答案要点：攻击阶段：对抗攻击发生在模型推理阶段（测试/部署时）；数据投毒攻击发生在模型训练阶段。扰动对象：对抗攻击扰动推理阶段的输入数据；数据投毒攻击扰动训练阶段的数据集。目标效果：对抗攻击导致单次或少量输入的错误分类；数据投毒攻击导致模型全局性能偏差（如对某类数据的系统性误判）。2.答案要点：联系：鲁棒性是安全性的基础，模型若缺乏鲁棒性（如易受对抗攻击），则系统安全性无法保证。区别：安全性范围更广，除鲁棒性外还包括隐私保护、伦理合规、可解释性等；鲁棒性主要关注模型对扰动的抗干扰能力。3.答案要点（列举任意三种即可）：联邦学习：各参与方在本地训练模型，仅上传参数更新至中心服务器，原始数据不离开本地。差分隐私：在数据查询或模型训练过程中添加可控噪声（如拉普拉斯噪声），确保单个个体的数据无法被推断。同态加密：对数据加密后进行计算，计算结果解密后与明文计算结果一致，保护数据在计算过程中的隐私。安全多方计算（MPC）：多个参与方联合计算，仅输出结果，不泄露各自输入数据。4.答案要点（风险与措施对应）：数据隐私泄露：训练数据包含患者敏感信息（如病历、影像），可能被窃取或滥用。防御措施：采用联邦学习或差分隐私技术处理医疗数据，限制数据访问权限。模型误诊风险：训练数据分布不均衡（如罕见病样本少）导致模型对罕见病例误判。防御措施：增加小样本学习技术，引入专家标注的长尾数据进行补充训练。对抗攻击：攻击者通过修改医学影像（如CT图像）的微小扰动，导致模型漏诊或误诊。防御措施：进行对抗训练，在训练集中加入对抗样本提升模型鲁棒性。伦理偏见：训练数据中存在性别、种族偏差（如某类疾病仅收集男性样本），导致模型对女性患者误判。防御措施：对训练数据进行偏差检测与修正，引入公平性评估指标（如不同群体的准确率差异）。5.答案要点：可解释性使开发者、用户和监管方能够理解AI的决策逻辑，是安全评估与风险控制的前提。例如：在自动驾驶中，若模型因“误将白色卡车识别为天空”而未刹车，可解释性技术（如可视化关键特征）能快速定位问题（模型过度关注“白色”特征），从而针对性优化。在金融风控中，可解释性可说明“拒绝贷款”是因用户“近3个月逾期次数”这一特征，避免因模型黑箱引发的法律纠纷或歧视争议。四、案例分析题风险类型分析：（1）鲁棒性不足：系统对环境变化（强光/逆光）的适应能力差，属于场景泛化安全问题；（2）对抗样本攻击：添加不可见噪声导致误判，属于推理阶段的对抗扰动攻击；（3）模型逆向攻击：通过输出置信度反推用户特征，属于隐私泄露风险。防御措施（至少3条）：①增强鲁棒性训练：在训练数据中加入不同光照条件（如强光、逆光、夜间）的图像，或使用数据增强技术（如随机调整亮度、对比度）提升模