AI 模型安全工程师考试试卷及答案

AI模型安全工程师考试试卷及答案一、填空题（共10题，每题1分）1.AI模型训练数据泄露的常见风险之一是______攻击，通过查询模型输出推断训练数据。2.差分隐私中，衡量隐私保护强度的指标是______。3.对抗样本攻击中，使模型误分类的微小扰动称为______。4.联邦学习中，客户端上传的是______而非原始数据。5.模型水印的核心是嵌入______证明所有权。6.AI模型安全评估的经典框架是______MLTop10。7.后门攻击中，触发错误输出的特定输入是______。8.针对输入扰动的模型鲁棒性测试称为______测试。9.联邦学习的隐私风险之一是______攻击（分析梯度推断数据）。10.生成式AI的有害内容风险称为______风险。二、单项选择题（共10题，每题2分）1.以下属于模型窃取攻击的是？A.成员推理B.模型复制C.对抗样本D.差分隐私2.差分隐私通过添加______保护数据隐私？A.噪声B.加密C.水印D.触发器3.不属于OWASPMLTop10风险类别的是？A.数据泄露B.模型窃取C.鲁棒性不足D.训练速度慢4.联邦学习的主要优势是？A.提高准确率B.保护数据隐私C.降低成本D.加速推理5.对抗样本攻击的目标是？A.窃取参数B.推断训练数据C.使模型误分类D.嵌入后门6.GDPR可解释性要求包括？A.提供决策逻辑说明B.公开全部参数C.免费下载模型D.允许修改模型7.防止后门攻击的技术是？A.差分隐私B.对抗训练C.联邦学习D.数据加密8.模型水印的作用不包括？A.证明所有权B.检测窃取C.提高准确率D.追踪滥用9.生成式AI的伦理风险不包括？A.虚假信息B.版权侵权C.算法歧视D.训练效率提升10.AI模型安全评估常用工具是？A.TensorFlowB.PyTorchC.OWASPZAPD.ART三、多项选择题（共10题，每题2分）1.AI模型安全核心风险包括______？A.数据泄露B.模型窃取C.对抗样本D.算法歧视2.差分隐私应用场景包括______？A.医疗数据训练B.金融建模C.公开数据集发布D.推理加速3.联邦学习隐私技术包括______？A.梯度裁剪B.差分隐私C.同态加密D.模型压缩4.对抗样本防御方法包括______？A.对抗训练B.输入预处理C.模型蒸馏D.数据加密5.OWASPMLTop10包含的风险有______？A.数据污染B.模型窃取C.鲁棒性不足D.隐私泄露6.模型水印嵌入方法包括______？A.训练时嵌入B.推理时嵌入C.参数修改D.数据预处理嵌入7.后门攻击类型包括______？A.数据投毒后门B.训练后门C.推理后门D.梯度泄露后门8.AI合规需考虑的法规包括______？A.GDPRB.EUAI法案C.中国生成式AI暂行办法D.专利法9.模型鲁棒性评估维度包括______？A.对抗扰动抗性B.异常检测C.分布偏移适应D.训练速度10.生成式AI安全措施包括______？A.内容审核B.水印嵌入C.访问控制D.模型蒸馏四、判断题（共10题，每题2分）1.成员推理攻击属于模型窃取攻击。（）2.差分隐私ε越小，隐私保护越强。（）3.联邦学习不需要客户端本地计算。（）4.对抗样本仅影响图像模型。（）5.OWASPMLTop10是权威安全框架。（）6.模型水印可100%防止窃取。（）7.后门攻击需训练阶段植入触发器。（）8.GDPR不涉及AI模型安全。（）9.对抗训练提高对抗样本抗性。（）10.生成式AI虚假信息属于安全风险。（）五、简答题（共4题，每题5分）1.简述差分隐私的基本原理。2.什么是模型窃取攻击？其危害有哪些？3.联邦学习的隐私保护机制是什么？4.简述对抗样本的定义及常见防御方法。六、讨论题（共2题，每题5分）1.讨论生成式AI的虚假信息风险及应对策略。2.讨论AI模型安全与伦理的关系，如何实现平衡？---答案部分一、填空题答案1.成员推理2.ε（隐私预算）3.对抗扰动4.模型参数（或梯度）5.唯一标识（或水印信息）6.OWASP7.后门触发器8.对抗鲁棒性9.梯度泄露10.内容生成二、单项选择题答案1.B2.A3.D4.B5.C6.A7.B8.C9.D10.D三、多项选择题答案1.ABCD2.ABC3.ABC4.ABC5.ABCD6.AC7.AB8.ABC9.ABC10.ABCD四、判断题答案1.×2.√3.×4.×5.√6.×7.√8.×9.√10.√五、简答题答案1.差分隐私原理：通过在数据查询/训练中添加随机噪声，使攻击者无法区分仅差一个数据点的两个数据集的查询结果，核心指标是隐私预算ε（ε越小隐私越强），用于保护敏感数据（如医疗、金融）。2.模型窃取攻击：通过查询模型输出复制/近似复制其功能、参数。危害：侵权、扩散安全风险（如用窃取模型实施攻击）、丧失竞争优势、间接泄露训练数据。3.联邦学习隐私机制：数据本地化（不上传原始数据），配合梯度裁剪（限制上传梯度大小）、差分隐私（梯度加噪声）、同态加密（密文计算）、安全聚合（隐藏单客户端梯度）。4.对抗样本：对输入加微小不可察觉扰动导致模型误分类的样本。防御：对抗训练（加入对抗样本）、输入预处理（去噪）、模型蒸馏（鲁棒小模型蒸馏大模型）、异常检测（识别对抗样本）。六、讨论题答案1.生成式AI虚假信息风险：深度伪造（诈骗/诽谤）、虚假新闻、版权侵权。应对：①内容水印（标识AI生成）；②AI辅助审核（识别虚假内容）；③法规约束（要求标注）；④用户教育（提高辨别力）。2.安全与伦