2025年人工智能安全试题及答案

2025年人工智能安全试题及答案一、单项选择题（每题2分，共20分）1.以下哪种攻击方式通过向训练数据中注入特定扰动，导致模型在测试时对特定输入产生错误预测？A.对抗样本攻击B.数据投毒攻击C.模型窃取攻击D.后门攻击2.联邦学习中，为防止中心服务器通过梯度信息反推原始数据，通常采用的核心技术是？A.同态加密B.差分隐私C.联邦聚类D.模型蒸馏3.某AI招聘系统对女性求职者的简历评分显著低于同等条件男性，这主要反映了AI系统的哪类安全风险？A.数据泄露风险B.模型鲁棒性风险C.算法公平性风险D.伦理越界风险4.以下哪项不属于AI系统可解释性的评估指标？A.忠实性（Fidelity）B.简洁性（Simplicity）C.对抗鲁棒性（AdversarialRobustness）D.可理解性（Understandability）5.针对AI模型的“成员推理攻击”主要威胁的是？A.模型参数的完整性B.训练数据的隐私性C.模型输出的准确性D.系统接口的可用性6.某自动驾驶系统在暴雨天气下因视觉传感器数据模糊导致误判，这属于AI安全中的哪类问题？A.数据质量问题B.模型泛化能力问题C.算法偏见问题D.伦理决策问题7.以下哪种技术可用于检测AI模型中的后门触发模式？A.激活聚类分析（ActivationClustering）B.模型剪枝（ModelPruning）C.知识蒸馏（KnowledgeDistillation）D.迁移学习（TransferLearning）8.AI伦理中的“可追责性”原则要求？A.系统输出结果必须可被人类理解B.系统决策过程需记录完整审计日志C.系统设计需避免对特定群体的歧视D.系统需具备自我纠错能力9.针对大语言模型的“提示注入攻击”（PromptInjection）主要利用了模型的哪一特性？A.上下文理解能力B.生成内容的开放性C.多轮对话连贯性D.知识推理局限性10.以下哪项是AI系统安全评估的“红队测试”核心目标？A.验证系统在正常场景下的性能B.模拟真实攻击场景暴露系统漏洞C.评估模型参数的计算效率D.检查训练数据的标注一致性二、填空题（每空2分，共20分）1.AI系统的安全维度通常包括数据安全、模型安全和________三个层面。2.数据脱敏技术中，通过添加随机噪声使个体数据无法被精确识别的方法称为________。3.模型后门攻击的触发条件通常包括特定的输入模式和________。4.AI伦理风险评估的五个核心维度是：公平性、隐私性、可解释性、________和可追责性。5.对抗训练的核心思想是通过向训练数据中添加________，提升模型对扰动的鲁棒性。6.联邦学习按参与方数据分布差异可分为横向联邦、纵向联邦和________三种类型。7.算法公平性中的“机会平等”要求不同群体在________上具有相同概率。8.AI系统的“灰盒测试”指测试者已知部分系统信息（如模型结构），但未知________。9.大模型参数窃取攻击中，攻击者通过________（如查询输出结果）逆向推断模型权重。10.伦理审查中“最小必要原则”要求AI系统仅收集和处理________的信息。三、简答题（每题8分，共40分）1.简述数据隐私保护中“差分隐私”的核心原理，并举例说明其在AI训练中的应用。2.模型鲁棒性的定义是什么？请列举三种提升AI模型鲁棒性的技术方法。3.算法公平性评估需要关注哪些关键指标？请至少说明其中两种指标的具体含义。4.AI伦理审查的关键步骤包括哪些？请结合医疗诊断AI的场景说明审查重点。5.什么是AI系统的“漏洞挖掘”？请对比黑盒测试与白盒测试在漏洞挖掘中的优缺点。四、案例分析题（20分）背景：某医院引入的AI辅助诊断系统在试运行期间，对糖尿病患者的误诊率高达15%（行业平均为5%）。经调查发现：-训练数据中60%为男性患者病例，女性患者仅占40%；-模型在暗光环境下对眼底图像的特征提取能力显著下降；-系统未记录诊断过程的中间推理步骤，医生无法追溯误判原因。问题：（1）分析该AI系统存在的安全风险，需结合数据、模型、伦理三个维度；（12分）（2）提出针对性的改进措施。（8分）五、论述题（40分）随着多模态大模型（如GPT-4V、Gemini）的普及，其安全挑战日益复杂。请从“数据安全”“模型安全”“伦理风险”三个维度，论述多模态大模型面临的核心安全问题，并提出对应的防御策略。参考答案一、单项选择题1.B2.B3.C4.C5.B6.B7.A8.B9.B10.B二、填空题1.系统安全（或“应用安全”）2.随机扰动（或“差分隐私扰动”）3.触发阈值（或“触发场景”）4.可靠性（或“安全性”）5.对抗样本（或“扰动数据”）6.联邦迁移学习（或“跨域联邦”）7.获得有利结果（或“正反馈”）8.完整参数（或“具体权重”）9.查询交互（或“API调用”）10.实现目标所必需三、简答题1.差分隐私核心原理：通过向数据或计算结果中添加可控噪声（如拉普拉斯噪声），使得单个个体的数据是否被包含在数据集内无法被推断，从而保护隐私。应用示例：在联邦学习中，客户端上传梯度前添加差分隐私噪声，中心服务器聚合噪声梯度训练模型，既保证模型效果，又防止服务器通过梯度反推原始患者隐私数据（如某患者的具体诊断记录）。2.模型鲁棒性定义：模型在输入数据受到微小扰动（如噪声、对抗样本）或分布偏移（如测试数据与训练数据分布不一致）时，仍能保持输出稳定性的能力。提升方法：①对抗训练：在训练集中加入对抗样本，强制模型学习抗扰动特征；②数据增强：对训练数据进行多样化扰动（如图像旋转、加噪），扩大模型适应范围；③集成学习：融合多个子模型的输出，降低单一模型对特定扰动的敏感性。3.关键指标：①统计平等（StatisticalParity）：不同群体（如性别、种族）的正样本预测率需一致（如男性被推荐录用的概率与女性相等）；②机会平等（EqualOpportunity）：不同群体中实际正例被正确识别的概率相同（如糖尿病实际患者中，男性和女性被正确诊断的比例一致）；③预测平等（PredictiveParity）：不同群体中预测为正例的实际正确率相同（如被系统标记为高风险的男性和女性中，实际发生风险的比例一致）。4.伦理审查关键步骤：①需求分析：明确AI系统的应用目标与潜在影响范围（如医疗诊断涉及患者生命健康）；②风险识别：评估数据偏倚、模型误判、隐私泄露等风险（如训练数据是否覆盖不同年龄、性别患者）；③控制措施设计：制定数据去标识化、模型可解释性增强、决策审计日志等方案；④验证与监控：通过测试验证风险控制效果，并建立持续监测机制。医疗场景审查重点：需重点审查训练数据的代表性（是否覆盖罕见病、特殊体质患者）、模型误判对患者治疗的影响（如漏诊可能导致病情恶化）、诊断结果的可解释性（医生能否理解模型依据的关键特征）。5.漏洞挖掘定义：通过主动测试或分析，发现AI系统中可能被攻击者利用的缺陷（如模型易受对抗攻击、数据泄露漏洞等）。黑盒测试优缺点：-优点：无需模型内部信息，接近真实攻击场景，可测试系统接口安全性；-缺点：难以定位漏洞根源，效率较低。白盒测试优缺点：-优点：可深入分析模型结构、训练过程，精准定位参数漏洞（如梯度泄露）；-缺点：需获取模型细节，可能涉及知识产权风险，测试成本高。四、案例分析题（1）安全风险分析：-数据维度：训练数据性别分布失衡（男性占比60%），导致模型对女性患者特征学习不充分，引发算法偏见（误诊率高）；数据环境适应性不足（未覆盖暗光场景下的眼底图像），模型泛化能力受限。-模型维度：特征提取模块在特定环境（暗光）下性能下降，反映模型鲁棒性不足；缺乏可解释性设计（未记录中间推理步骤），无法追溯误判原因，影响问题定位与改进。-伦理维度：误诊率过高可能延误患者治疗，违反“不伤害”伦理原则；医生无法理解模型决策逻辑，削弱人机信任，违背“可解释性”原则。（2）改进措施：-数据层面：扩充女性患者病例数据，平衡训练集性别分布；增加暗光、低对比度等场景下的眼底图像数据，通过数据增强（如模拟光线扰动）提升数据多样性。-模型层面：采用对抗训练，在训练中加入暗光扰动的图像样本，提升特征提取模块的鲁棒性；引入可解释性技术（如LIME、SHAP），记录诊断过程中关键特征（如眼底血管异常区域）的权重，生成可追溯的推理报告。-伦理层面：建立误诊率动态监测机制，设定安全阈值（如≤5%）；开展医生与开发团队的联合培训，确保医生理解模型局限性并保留最终诊断权。五、论述题多模态大模型核心安全问题与防御策略1.数据安全维度核心问题：-多模态数据（文本、图像、视频）来源复杂，易混入伪造数据（如深度伪造视频）或敏感信息（如隐私图像、涉密文本），导致训练数据污染；-跨模态对齐（如图文关联）可能泄露隐含隐私（如通过用户上传的“某地照片+时间文本”推断具体位置）。防御策略：-数据清洗：采用多模态伪造检测技术（如图像元数据校验、文本语义一致性验证）过滤污染数据；-隐私增强：对输入数据进行跨模态脱敏（如对图像中的人脸打码、对文本中的姓名进行替换），结合联邦学习实现“数据可用不可见”；-来源追溯：为训练数据添加数字水印，记录数据采集与处理链路，便于问题溯源。2.模型安全维度核心问题：-多模态融合导致模型复杂度极高，易受新型对抗攻击（如同时扰动文本和图像的“多模态对抗样本”）；-大模型参数规模庞大，存在参数窃取风险（攻击者通过API调用获取输出，逆向推断模型权重）；-跨模态知识关联可能引发逻辑漏洞（如根据“刀”的图像和“切割”的文本描述，错误生成“用刀攻击他人”的危险指令）。防御策略：-抗攻击设计：开发多模态对抗训练框架，同时在文本（如添加同义词扰动）和图像（如局部像素替换）维度生成对抗样本，提升模型鲁棒性；-参数保护：采用模型加密（如梯度加密上传）、查询限流（限制单位时间内API调用次数）防止参数窃取；-逻辑校验：在输出生成阶段增加多模态一致性检查（如图文描述是否矛盾）和安全规则过滤（如禁止生成暴力指令），阻断危险输出。3.伦理风险维度核心问题：-多模态生成内容的“幻觉”（Hallucination）更隐蔽（如生成虚假历史事件的图文报告），可能误导公众；-跨模态交互可能强化偏见（如将“护士”与女性图像、“工程师”与男性图像关联，加剧性别刻板印象）；-儿童等脆弱群体接触多模态内容时，可能因暴力、恐怖图像或诱导性文本遭受心理伤害。防御策略：-内容审核：构建多模态伦理知识库（如敏感词库、暴力图像特征库），结