2026年计算机辅助设计师(人工智能应用安全技术)专业考试试卷及答案

2026年计算机辅助设计师(人工智能应用安全技术)专业考试试卷及答案选择题（单选）1.在人工智能应用安全生命周期中，下列哪个阶段的核心目标是识别和定义系统面临的安全威胁与风险，并确定安全需求？A.安全部署与运维B.安全设计与开发C.安全需求分析与威胁建模D.安全测试与评估答案：C解析：安全需求分析与威胁建模是AI安全生命周期的早期关键阶段，旨在系统性地识别潜在威胁、评估风险，并据此制定具体的安全需求与防护目标，为后续的安全设计、开发和测试提供依据。2.针对机器学习模型的“数据投毒”（DataPoisoning）攻击，以下哪种防御措施在训练阶段最直接有效？A.在模型推理时加入差分隐私保护B.对训练数据进行严格的清洗与异常检测C.使用同态加密对模型参数进行加密D.部署网络入侵检测系统（NIDS）答案：B解析：数据投毒攻击通过向训练数据中注入恶意样本，旨在破坏模型的训练过程或使其在推理时出现特定错误。在训练阶段，对训练数据进行严格的清洗、验证和异常值检测，是抵御此类攻击最直接和有效的手段之一。A项主要用于推理阶段的隐私保护，C项用于保护模型参数机密性，D项主要用于网络层防御。3.联邦学习（FederatedLearning）框架中，引入安全聚合（SecureAggregation）协议的主要目的是解决以下哪个安全问题？A.防止中心服务器被DDoS攻击B.保护各参与方本地训练数据的隐私C.防止恶意参与方上传错误的模型更新D.在聚合服务器不可见单个客户端模型更新内容的情况下，完成全局模型更新答案：D解析：安全聚合是联邦学习中的一项关键密码学技术，其核心目标是在不暴露各个客户端（参与方）所提交的本地模型更新（梯度或参数）具体内容给聚合服务器的前提下，完成对所有有效更新的安全求和，从而保护客户端数据隐私。B项是联邦学习的总体目标之一，安全聚合是实现该目标的具体技术。A和C分别涉及网络攻击和拜占庭攻击，并非安全聚合直接解决的主要问题。4.下列哪种技术主要用于检测对抗性样本（AdversarialExamples）？A.模型蒸馏（ModelDistillation）B.对抗训练（AdversarialTraining）C.输入重构（InputReconstruction）D.特征挤压（FeatureSqueezing）答案：D解析：特征挤压是一种通过减少输入数据的表示精度（如降低颜色位深、平滑图像）来检测对抗性样本的技术。其原理是，对抗性扰动通常依赖于输入特征的高精度表示，经过“挤压”后，对抗性样本可能失去其攻击性，从而被识别。B项对抗训练是提高模型鲁棒性的方法，而非专门的检测手段。A项模型蒸馏可用于提高效率或鲁棒性，但非主要检测方法。C项输入重构可能用于去噪或生成，与对抗样本检测关联不直接。5.在评估AI系统的公平性时，以下哪个指标用于衡量模型在不同子群体（如不同性别、种族）间预测结果的差异？A.准确率（Accuracy）B.精确率（Precision）C.均等机会差（EqualOpportunityDifference）D.F1分数（F1-Score）答案：C解析：均等机会差是AI公平性评估的核心指标之一，它计算的是对于理想结果（如获得贷款、通过考试）为正例的群体，模型预测为正例的比例（真正例率）在不同子群体（如群体A和群体B）之间的差值。该指标关注的是模型是否平等地惠及符合条件的各个群体。A、B、D均为通用的模型性能评估指标，不直接度量群体间的公平性差异。选择题（多选）6.以下哪些属于对生成式人工智能模型（如大型语言模型）可能发起的滥用攻击？（）A.提示注入（PromptInjection）B.越狱（Jailbreaking）C.训练数据提取（TrainingDataExtraction）D.模型窃取（ModelStealing）E.生成有害内容（HarmfulContentGeneration）答案：A,B,C,E解析：A项提示注入：通过精心构造的输入提示，诱导模型违反其预设的安全准则或执行非预期操作。B项越狱：利用特定技巧绕过模型的安全对齐限制，使其生成通常被禁止的内容。C项训练数据提取：通过反复查询模型，试图重构或推断出其训练数据中的敏感信息。E项生成有害内容：利用模型能力直接生成歧视性、虚假、违法或危险信息，是典型的滥用行为。D项模型窃取主要针对模型知识产权，通过查询构建替代模型，虽然相关，但通常不归类为“滥用”，更多属于知识产权侵犯或隐私威胁。7.为确保AI系统的可解释性，下列哪些技术属于事后解释方法？（）A.局部可解释模型-无关解释（LIME）B.在模型设计中强制使用决策树等内在可解释模型C.SHAP（SHapleyAdditiveexPlanations）D.为卷积神经网络添加注意力机制（AttentionMechanism）E.反事实解释（CounterfactualExplanations）答案：A,C,E解析：事后解释方法是在训练好的复杂“黑盒”模型基础上，对其特定预测结果提供解释。A项LIME：通过局部拟合一个可解释模型来近似黑盒模型在特定样本附近的行为。C项SHAP：基于博弈论，计算每个特征对模型特定预测结果的贡献值。E项反事实解释：通过寻找最小的输入改变来改变模型预测结果，从而说明决策依据。B项使用内在可解释模型属于事前/事中（设计时）的可解释性方法。D项注意力机制是模型内部结构的一部分，用于提高模型性能并提供一定的内部洞察，但通常也需结合可视化等进行解释，其性质介于内在与事后之间，但严格来说，将其作为模型设计的一部分时，不属于纯粹的事后方法。8.在AI应用的安全部署中，下列哪些措施有助于实现模型的安全持续监控？（）A.建立模型性能与输入数据分布的基线B.实时监控模型预测结果的统计特性偏移C.定期使用保留的测试集重新评估模型准确率D.部署对抗性样本检测模块并监控其告警频率E.监控模型服务接口的访问日志与异常请求模式答案：A,B,D,E解析：安全持续监控旨在动态发现模型在生产环境中可能出现的性能退化、安全威胁及异常情况。A项建立基线是监控的起点。B项监控数据/概念漂移是核心，预测结果统计特性变化可能预示漂移或攻击。D项直接针对对抗性攻击进行监控。E项从系统安全角度监控潜在的攻击行为。C项定期重评估是重要的维护手段，但非“实时持续”监控，更多是周期性检查。填空题9.在差分隐私（DifferentialPrivacy）技术中，________参数用于严格量化隐私保护的水平，其值越小，提供的隐私保护越强。答案：ε(Epsilon)解析：ε是差分隐私的核心隐私预算参数，定义了单个个体数据是否存在于数据集中对算法输出结果影响的上界。ε越小，意味着算法输出对任何单个记录的依赖性越弱，隐私保护强度越高。10.针对机器学习模型的成员推理攻击（MembershipInferenceAttack）成功与否，很大程度上取决于模型对训练样本和未见过样本的预测________差异。答案：置信度(或概率)解析：成员推理攻击基于一个观察：机器学习模型对其训练数据成员（训练时见过的样本）的预测置信度（或输出概率）往往高于对非成员（未在训练中见过的样本）的预测置信度。攻击者利用这种统计差异来判断特定数据记录是否属于模型的训练集。11.AI安全治理框架通常包含合规性、________、________和问责制四个关键支柱。答案：可解释性(或透明度)，鲁棒性(或韧性、安全性)解析：一个完整的AI安全治理框架旨在确保AI系统负责任、安全可靠地运行。合规性确保符合法律法规；可解释性/透明度使决策过程可被理解；鲁棒性/安全性确保系统能抵御攻击和干扰；问责制明确责任主体与追责机制。12.在硬件层面增强AI系统安全，可信执行环境（TEE，TrustedExecutionEnvironment）可以为AI模型的________和________提供隔离保护。答案：代码，数据(或模型参数，输入数据)解析：TEE通过硬件隔离技术在主处理器中创建一个安全区域，确保在该环境中加载的代码（如模型推理代码）和运行时的数据（如模型参数、用户的输入数据、中间计算结果）的机密性与完整性，即使宿主操作系统被破坏也能提供保护。简答题（封闭型）13.简述在AI供应链安全中，对第三方预训练模型进行安全评估至少应包含哪三个主要方面？答案：（1）模型完整性验证：检查模型文件是否被篡改，通常使用数字签名、哈希值校验等方式，确保获取的模型与官方发布版本一致。（2）恶意功能检测：通过静态分析（检查模型结构、参数异常）、动态分析（在沙箱环境中运行，监控其行为）或专门的后门检测技术，排查模型中是否被植入后门、恶意逻辑或隐藏功能。（3）安全属性评估：评估模型在隐私（如是否存在训练数据泄露风险）、公平性（是否存在偏见）、鲁棒性（对抗样本的脆弱性）等方面的表现，确保其符合应用场景的安全要求。14.列举三种防御模型逆向工程（ModelInversionAttack）或成员推理攻击（MembershipInferenceAttack）的隐私保护技术。答案：（1）差分隐私训练：在模型训练过程中注入calibrated的噪声，使得模型输出对任何单一训练样本的存在不敏感，从而增加从模型输出反推训练数据或判断成员属性的难度。（2）模型压缩与正则化：通过技术如dropout、权重衰减、知识蒸馏等，降低模型对训练数据的过拟合程度。过拟合是成员推理攻击成功的主要根源，减轻过拟合能有效提升隐私保护。（3）输出扰动或模糊化：在模型推理时，对输出结果（如类别概率向量）进行扰动、舍入或只返回Top-k类别，减少攻击者从精确输出中获取的信息量。简答题（开放型）15.假设你是一家金融科技公司的AI安全工程师，公司计划上线一个基于深度学习模型的自动化信贷审批系统。请从AI安全生命周期（至少涵盖设计开发、测试评估、部署运维三个阶段）的角度，阐述你会采取哪些关键安全措施来保障该系统安全、可靠、合规地运行。答案：设计开发阶段：安全需求与威胁建模：与业务、合规部门协作，明确系统需满足的金融监管要求（如公平信贷机会法案）、数据保护法规（如个人信息保护）。系统化识别威胁，如对抗性样本攻击导致误批/误拒、模型偏见导致歧视、训练数据泄露等。安全数据治理：确保用于训练和测试的数据来源合法、合规，经过脱敏或匿名化处理。建立数据质量监控，防止脏数据或偏见数据引入。隐私增强技术集成：考虑采用差分隐私技术处理训练数据，或使用联邦学习框架在不集中原始数据的情况下进行模型训练，保护客户数据隐私。可解释性设计：集成SHAP、LIME等事后解释工具，或尝试使用可解释性更强的模型变体，确保信贷决策理由可追溯、可说明，满足监管“解释权”要求。鲁棒性增强：在训练中引入对抗训练，使用数据增强，提升模型对输入扰动和潜在对抗性攻击的抵抗力。测试评估阶段：专项安全测试：公平性审计：使用均等机会、demographicparity等指标，在不同性别、年龄、地区等子群体上评估模型，确保无不当歧视。鲁棒性测试：使用FGSM、PGD等方法生成对抗性样本，测试模型在受干扰情况下的性能下降程度。隐私风险测试：尝试进行成员推理攻击和模型逆向攻击，评估模型泄露训练数据信息的风险。压力与异常测试：输入极端值、缺失值、分布外数据，检验模型的健壮性和失败模式。第三方审计：考虑引入独立的第三方安全机构对模型进行黑盒/灰盒安全评估。部署运维阶段：安全部署：将模型部署在安全的环境中，实施严格的访问控制、API安全防护（防滥用、防DDoS）、网络隔离。对模型文件进行加密和完整性保护。持续监控与预警：性能监控：实时监控模型预测结果的分布变化，检测概念漂移或数据漂移。安全监控：部署输入异常检测模块，监控疑似对抗性样本的攻击尝试；监控公平性指标在线上数据上的变化。日志与审计：详细记录所有预测请求、输入特征（脱敏后）、输出结果及解释，用于事后审计、问题追溯和模型迭代。更新与应急响应：建立模型安全更新流程，对发现的安全漏洞或性能退化及时进行模型迭代或打补丁。制定针对模型遭受攻击、产生重大偏差等安全事件的应急响应预案。应用题（分析类）16.某图像识别云服务提供商发现，其公开提供的API服务所部署的DNN模型可能面临模型窃取攻击。攻击者通过有限预算的查询，可以构建一个功能近似的替代模型。（1）请分析此类模型窃取攻击可能给该服务提供商带来的具体风险与危害。（2）从技术与管理两个层面，提出至少三项防御或缓解此类攻击的措施。答案：（1）风险与危害分析：知识产权损失：模型是服务提供商投入大量数据、算力和研发成本训练的核心资产。被窃取意味着知识产权被盗，竞争优势被削弱。直接经济损失：攻击者可以本地部署窃取的替代模型，不再需要调用付费API，导致提供商收入流失。攻击者甚至可能利用窃取的模型提供竞争性服务。安全风险放大：攻击者可以在窃取的替代模型上免费、无限次地进行白盒攻击研究（如生成对抗性样本），然后将有效的攻击方法迁移到原始黑盒模型上，从而更容易地发起后续攻击，破坏原始服务的可用性和可靠性。隐私风险：如果攻击者进一步对窃取的模型进行逆向工程或成员推理攻击，可能增加训练数据隐私泄露的风险。模型滥用风险：窃取的模型脱离了服务提供商的安全管控（如内容过滤、使用频率限制），可能被用于恶意目的。（2）防御与缓解措施：技术层面：查询扰动与输出模糊化：对API返回的预测结果（如类别概率向量）加入微小随机噪声、进行概率舍入，或只返回Top-k类别标签而非完整概率分布。这增加了攻击者利用查询结果精确训练替代模型的难度。需在保护效果和用户体验间平衡。检测与限制异常查询：监控API调用模式，识别并限制那些表现出明显“探索性”行为的查询，如短时间内对同一类图片进行大量微小扰动后的查询（这可能是为了构建替代模型的训练数据）。可以设置查询频率限制、检测查询序列的相似性。模型水印：在原始模型中嵌入不易察觉的后门水印（如对特定触发集产生特定预测）。一旦发现疑似窃取模型，可以通过验证其在水印触发集上的行为来确认所有权，为法律维权提供证据。管理层面：API访问控制与合约约束：实施严格的API密钥管理和身份认证。在用户服务协议中明确禁止模型逆向工程、窃取及用于构建竞争性服务的行为，并保留追究法律责任的权利。服务分层与混淆：提供不同精度或功能的API套餐。例如，免费或低价套餐提供较低精度或延迟的输出，高价值客户套餐才提供高精度完整输出。这增加了攻击者获取高质量训练数据的成本和难度。主动监控与法律威慑：建立专门团队监控网络（如GitHub、模型市场）上是否有疑似基于自己API窃取后发布的模型。一旦发现，启动法律程序，形成威慑。应用题（综合类）17.现有一个用于医疗影像辅助诊断的深度学习模型M，已训练完成并准备集成到医院信息系统中。该系统将处理包含患者敏感信息的影像数据。请设计一个综合性的安全集成方案，该方案需覆盖以下四个要点，并简要说明每个要点的实施考虑：（1）数据输入安全：如何确保传入模型的数据安全、合规？（2）模型运行环境安全：如何保障模型M在运算过程中的机密性与完整性？（3）输出安全与可解释性：如何确保模型输出安全可信，并为医生提供决策支持？（4）审计与追溯：如何满足医疗行业的监管与审计要求？答案：（1）数据输入安全：安全传输：从医院PACS等系统传输影像数据到模型服务端时，必须使用TLS/SSL等加密通道，防止中间人窃听或篡改。输入验证与净化：格式验证：严格检查输入文件格式、尺寸、分辨率，防止畸形文件导致系统崩溃或注入攻击。数据范围检查：验证像素值等数据在合理医学范围内，过滤异常值。脱敏处理：在数据进入模型前，由前置处理模块自动剥离或模糊化影像中包含的直接个人标识信息（如姓名、身份证号水印），仅保留必要的检查号等关联ID。处理过程需日志记录。合规性检查：确保数据调用符合患者授权范围，系统需验证当前诊断操作与数据使用的合规性。（2）模型运行环境安全：隔离环境部署：将模型M部署在独立的、最小化的容器或虚拟机中，遵循最小权限原则，严格限制不必要的网络访问和系统调用。使用可信执行环境：如条件允许，将模型M及其推理代码部署在服务器CPU支持的TEE（如IntelSGX）中。TEE能确保即使在操作系统或虚拟机监控程序被攻破的情况下，模型代码、参数以及正在处理的患者影像数据在内存中的明文内容也受到硬件级加密保护