2026年人工智能应用安全业务考试题库及答案

2026年人工智能应用安全业务考试题库及答案一、单项选择题（每题1分，共30分）1.人工智能应用中，对抗样本攻击的主要目标是？A.窃取训练数据B.使模型产生错误输出C.提升模型准确率D.加速模型推理答案：B解析：对抗样本通过在原始输入上添加精心设计的微小扰动，使模型以高置信度做出错误判断，直接威胁模型推理阶段的可靠性。2.提示注入攻击（PromptInjection）属于下列哪类安全风险？A.大语言模型应用安全风险B.供应链安全风险C.物理环境安全风险D.网络协议安全风险答案：A3.下列哪项是保护AI训练数据隐私的常用技术？A.数字签名B.防火墙C.差分隐私D.公钥加密答案：C解析：差分隐私通过对查询结果注入受控噪声，使攻击者无法准确判断某条个体数据是否在训练集中，兼顾数据可用性与隐私保护。4.模型投毒攻击（DataPoisoning）主要发生在AI生命周期的哪个阶段？A.模型推理阶段B.模型训练阶段C.模型部署阶段D.模型压缩阶段答案：B5.下列哪项不属于AI安全等级保护的基本要求？A.数据安全与隐私保护B.模型安全与算法公平性C.系统与应用安全D.业务盈利指标答案：D6.大语言模型"越狱"（Jailbreak）攻击的本质是？A.绕过模型安全对齐机制，诱导其生成违规内容B.非法复制模型参数C.提高模型推理速度D.破解模型的商业版权答案：A解析：越狱攻击通过精心构造的提示词或角色设定，使模型突破训练时注入的安全对齐约束，是内容安全治理的重点监测对象。7.模型逆向攻击（ModelInversionAttack）的主要威胁是？A.造成模型推理服务中断B.破坏模型网络结构C.反推并泄露训练数据中的敏感信息D.占用大量GPU算力答案：C解析：攻击者通过大量查询模型输出，结合概率信息逆向还原训练样本中的隐私内容，是AI隐私保护中的典型攻击类型。8.关于AI伦理与安全的关系，下列说法正确的是？A.AI安全仅关注系统功能是否稳定B.算法偏见不会带来安全与合规风险C.数据安全与AI安全无关D.AI安全涵盖数据、模型、应用、伦理等多个层面答案：D9.联邦学习在AI安全方面最主要的优势是？A.显著提升模型精确率B.大幅降低模型训练算力C.实现训练数据不出本地，降低隐私泄露风险D.允许模型完全开源共享答案：C解析：联邦学习通过"参数共享、数据不出域"的方式协作训练，但仍需防范梯度信息泄露，属于重要而非绝对安全的隐私保护手段。10.对AI生成内容进行鉴伪（Deepfake检测）主要对抗的风险是？A.虚假信息传播与身份冒用B.模型过拟合C.训练数据标注错误D.服务器磁盘空间不足答案：A11.根据《生成式人工智能服务管理暂行办法》，生成式AI服务提供者应当？A.向社会公开全部训练数据B.免除安全评估义务C.采取有效措施防范未成年人用户过度依赖D.允许用户生成任意内容答案：C12.AI应用供应链安全重点关注下列哪项？A.开源模型与组件的漏洞和来源可信度B.办公场所门禁系统C.显示器品牌型号D.员工着装规范答案：A13.AI系统"可解释性"的主要安全价值在于？A.提升模型参数量B.帮助人类理解决策依据，便于审计、追责与纠错C.减少训练数据规模D.加快模型收敛速度答案：B14.人脸识别系统被照片、头套等伪造物欺骗，此类攻击称为？A.数据投毒B.模型窃取C.呈现攻击（PresentationAttack）D.提示注入答案：C解析：呈现攻击指攻击者通过物理道具或数字替身欺骗生物特征识别系统，属于AI应用层典型的安全威胁。15.模型水印技术的主要用途是？A.美化模型输出结果B.保护模型知识产权，追溯非法分发C.加速模型训练D.替代人工数据标注答案：B16.下列哪项措施能有效降低对抗样本攻击的风险？A.增加模型网络层数B.扩大训练批量大小C.关闭系统安全日志D.使用对抗训练增强模型鲁棒性答案：D解析：对抗训练将对抗样本纳入训练集，迫使模型在扰动区域形成更稳健的决策边界，是提升模型鲁棒性的常见手段。17.大语言模型知识截止日期（KnowledgeCutoff）带来的主要风险是？A.模型推理速度显著下降B.模型无法准确回答截止日期之后发生的新事件C.模型参数规模自动缩减D.模型丧失基本对话能力答案：B18.AI系统审计中，"人机协同"操作记录主要指？A.关闭人工监督后的自动操作记录B.完全由机器人执行的批量操作C.人工对AI关键输出进行审核确认的操作记录D.仅记录系统版本号答案：C19.对AI训练数据中的个人信息进行去标识化处理，主要目的是？A.增加数据整体规模B.降低个人敏感信息被识别关联的风险C.使数据更易被公开传播D.简化数据存储格式答案：B20.下列哪项属于AI应用运行时安全监控的核心指标？A.输入输出内容的异常检出率B.服务器风扇转速C.办公区域温度D.员工考勤记录答案：A21.当大语言模型在金融问答场景中输出置信度过低时，规范的做法是？A.删除模型训练数据B.设置拒答并转接人工客服C.增加模型参数量D.关闭内容审核流程答案：B解析：高风险场景下，置信度低的输出可能造成误导。设置拒答与人工兜底机制，可有效控制错误决策的影响范围。22.红队测试（RedTeaming）在AI安全评估中的主要目的是？A.美化系统操作界面B.替代正式安全审查C.降低系统运行成本D.主动模拟攻击，发现系统脆弱点答案：D23.关于AI系统访问控制，下列说法正确的是？A.所有用户应拥有相同最高权限B.权限分配与业务职责无关C.应遵循最小权限原则，按角色分配权限D.管理员权限可随意共享答案：C24.大语言模型输出中的"幻觉"（Hallucination）是指？A.模型生成乱码文本B.模型生成看似合理但事实错误或编造的内容C.模型拒绝回答全部问题D.模型服务中断答案：B25.下列哪项属于AI数据安全中"数据脱敏"的正确做法？A.将手机号替换为随机非敏感标识B.将敏感数据公开到互联网C.删除所有数据备份D.将明文密码写入日志答案：A26.模型部署环节对容器镜像进行安全扫描，主要目的是防范？A.镜像中的已知漏洞与恶意代码B.显示器分辨率异常C.模型准确率自然波动D.网络带宽资源不足答案：A27.AIAgent（智能体）在执行业务操作前，规范的安全做法是？A.无条件执行用户所有指令B.跳过日志记录以提升效率C.为节省时间直接共享全部敏感权限D.建立操作白名单与人工审批机制答案：D28.根据《人工智能生成合成内容标识办法》，AI生成内容应？A.不需要任何标识B.仅付费用户需要使用标识C.以显式或隐式方式进行标识D.由内容平台自行决定是否标识答案：C29.大语言模型版本升级后，正确的安全管理流程是？A.直接全量上线，无需测试B.重新进行安全评估与回归测试C.仅更新产品文档D.立即删除旧版本模型答案：B30.根据安全事件统计分析，AI系统面临的最主要数据安全威胁通常来自？A.会议室投影仪故障B.打印机网络排队C.内部人员越权访问与数据泄露D.空调温度异常答案：C二、多项选择题（每题2分，共10题，20分）1.下列哪些属于大语言模型特有的安全风险？A.提示注入攻击B.越狱攻击C.数据投毒D.幻觉导致的错误决策答案：ABD解析：提示注入、越狱、幻觉均在大语言模型应用中表现突出；数据投毒是各类AI模型共同面临的风险，并非大语言模型特有，故C不选。2.开展AI应用安全评估时，应关注哪些层面？A.数据安全B.模型安全C.系统与应用安全D.管理合规与伦理答案：ABCD解析：AI安全评估是系统性工作，需覆盖数据、模型、系统、管理合规与伦理等多个层面，单一维度的评估无法满足业务整体安全要求。3.下列哪些措施有助于防范模型逆向攻击？A.限制查询频率与次数B.公开全部模型参数C.对输出进行噪声化处理D.部署异常查询检测答案：ACD解析：公开模型参数会降低攻击者还原训练数据的难度，反而加剧模型逆向风险，B错误。限制查询、输出噪声化、异常检测均可提升攻击成本。4.针对AI训练语料中的个人敏感信息，合规处理手段包括？A.数据脱敏B.差分隐私C.获取个人主体合法授权D.直接删除后重新收集答案：ABC解析：脱敏、差分隐私与合法授权均是从源头降低数据滥用风险的合规手段。D未解决收集环节的合规义务，且重新收集同样面临授权要求，故不选。5.AI安全事件应急预案应包含下列哪些内容？A.事件分级与响应流程B.责任人分工C.溯源分析与整改措施D.向监管机构报告机制答案：ABCD解析：完整的应急预案需覆盖事前预防、事中响应、事后溯源整改与对外报告，缺少任何环节都可能导致事件影响扩大。6.检测AI生成文本的常用技术途径包括？A.统计特征检测B.神经网络分类器C.水印与签名机制D.人工抽查答案：ABCD解析：AI生成文本检测通常融合统计特征、深度分类模型、生成端水印溯源和人工审核等多种手段，单一方法难以应对快速迭代的生成技术。7.下列哪些属于AI模型鲁棒性测试的内容？A.对抗样本攻击测试B.输入扰动敏感性测试C.服务器性能压测D.极端输入下的稳定性测试答案：ABD解析：鲁棒性测试关注模型在对抗扰动和极端输入下的表现，C属于基础设施运维范畴，与模型鲁棒性无关。8.关于AI供应链安全，下列做法正确的有？A.对开源模型进行漏洞扫描B.校验模型与数据来源的完整性C.与供应商签订安全责任协议D.直接使用来路不明的预训练模型答案：ABC解析：来路不明的预训练模型可能被植入后门或包含恶意样本，必须进行来源核验与安全扫描，D错误。9.设计AI系统日志时，应记录下列哪些关键信息？A.用户身份与操作时间B.明文密码C.模型版本与输出置信度D.输入输出内容摘要答案：ACD解析：日志是事件溯源与审计的基础，需记录身份、时间、模型版本、置信度及输入输出摘要；明文密码属于敏感凭据，严禁写入日志，B错误。10.下列哪些属于我国AI治理和数据安全领域的重要法规或文件？A.《生成式人工智能服务管理暂行办法》B.《数据安全法》C.《个人信息保护法》D.《人工智能安全治理框架》答案：ABCD解析：四项均为我国AI治理和数据安全领域的基础性法规或指导性文件，AI业务合规须同时满足上述要求。三、判断题（每题1分，共10题，10分）1.对抗样本攻击只能在实验室环境中实现，不会影响真实业务系统。答案：错误解析：对抗样本攻击已在图像识别、语音助手、自动驾驶等真实业务场景中被验证，现实影响显著。2.差分隐私通过向查询结果中注入噪声来保护个体隐私。答案：正确3.AI模型的公平性不属于安全范畴。答案：错误解析：算法公平性是AI安全与伦理的重要组成部分，偏见可能导致歧视性决策，进而引发安全事件与合规风险。4.大语言模型的输出内容无需人工审核即可直接用于高风险业务场景。答案：错误5.联邦学习可以实现"数据不出域"的协作训练，但仍需关注梯度泄露等隐私风险。答案：正确解析：联邦学习降低但未完全消除隐私风险，交换的梯度信息同样可能被推断出训练数据内容。6.深度伪造技术只用于娱乐，不会对社会安全造成威胁。答案：错误7.AI安全事件溯源分析中，模型版本和训练数据的记录对定位问题没有帮助。答案：错误解析：完整的模型版本、数据版本、提示词与操作日志是溯源分析的基础，缺少记录将难以定位根因。8.AI系统上线后无需再开展安全测试，一次评估即可保证永久安全。答案：错误9.当模型出现错误输出时，应首先排查输入数据、提示词和模型版本是否匹配。答案：正确10.提供生成式AI服务时，应当依法对生成内容进行显式或隐式标识。答案：正确四、简答题（每题5分，共4题，20分）1.简述大语言模型提示注入攻击的基本原理及常见防御措施。答案：提示注入攻击是指攻击者通过在输入提示词中嵌入恶意指令，改变模型原有的任务行为，使其绕过系统设定的安全约束，输出敏感信息或执行非预期操作。常见防御措施包括：(1)对用户输入与系统指令进行隔离，使用结构化提示词；(2)对输入内容进行恶意指令检测与过滤；(3)对高风险输出进行二次审核与过滤；(4)限制模型可调用的外部工具与数据访问权限。解析：答题要点包括攻击原理和防御措施两部分，防御措施应从输入侧、输出侧和权限侧三个维度展开，答出任意四点即可得满分。2.简述AI系统数据安全防护的主要环节。答案：(1)数据采集阶段：合法合规获取数据，取得用户授权，开展隐私影响评估；(2)数据存储阶段：加密存储、访问控制、分级分类管理；(3)数据处理阶段：脱敏、去标识化、差分隐私等隐私增强技术；(4)数据流转阶段：加密传输、审计日志、防止越权访问；(5)数据销毁阶段：安全删除、不可恢复，防止残余数据泄露。解析：答题需覆盖数据全生命周期，至少包括采集、存储、处理、流转、销毁五个环节，并结合具体安全措施说明。3.什么是模型窃取攻击？它有哪些危害？答案：模型窃取攻击是指攻击者通过大量查询目标模型，利用输入输出对训练一个功能相似的替代模型，或直接尝试提取模型参数。主要危害包括：(1)侵犯模型知识产权，导致商业竞争力受损；(2)降低攻击者复现模型漏洞的成本；(3)替代模型可能被用于进一步构造对抗样本以攻击原模型；(4)查询过程可能导致输出中的敏感信息泄露。解析：答题要点包括模型窃取的定义和危害，危害部分答出知识产权、漏洞复现、对抗攻击、信息泄露中任意三点即可。4.简述AI业务上线前安全评估的基本流程。答案：(1)需求与风险评估：明确业务场景、数据类型、风险等级与合规要求；(2)方案设计评审：审查数据流、模型选型、权限设计与日志方案；(3)安全测试：开展对抗样本测试、红队测试、渗透测试与鲁棒性验证；(4)合规审查：确认符合《生成式人工智能服务管理暂行办法》等法规要求，完成安全评估与备案；(5)上线审批与监控部署：建立运行时监控、应急响应与版本回退机制。解析：答题需体现"评估—测试—合规—上线"的完整闭环，五个环节缺一不可，答出流程框架并结合安全控制措施即可。五、案例分析题（每题10分，共2题，20分）1.某银行上线了一款基于大语言模型的智能客服系统，用于处理客户查询、转账咨询与投诉建议。上线一个月后，安全团队发现以下异常：①有用户通过输入特殊指令，使客服系统输出内部知识库中其他客户的账户余额信息；②部分对话记录显示模型在回答理财建议时引用了不存在的产品条款，导致客户投诉；③运维日志中发现模型的API调用频率异常增高，来源为同一IP地址。请回答：(1)分别指出上述三种异常对应的安全风险类型。(2)针对每种风险，提出两条具体的安全整改措施。答案：(1)风险类型：①提示注入攻击导致越权信息泄露，属于大语言模型特有的安全漏洞；②模型幻觉引发的误导性输出，属于内容安全与合规风险；③异常的API高频调用，可能为模型窃取攻击、数据抓取或拒绝服务攻击。(2)整改措施：针对①：对系统指令与用户输入进行严格隔离，过滤恶意提示词；在模型输出层增加敏感信息检测，禁止返回非本人账户数据；配置基于角色的输出权限控制。针对②：在金融业务场景中为模型接入实时可核验的知识库，对理财等高风险回答强制引用条款编号并加入人工审核环节；当置信度低或超出业务范围时，自动触发拒答并转接人工坐席。针对③：对API实施访问频率限制、身份认证与动态令牌机制；部署异常流量检测，对同一IP的异常调用进行预警与临时封禁；建立模型水印与指纹检测机制，辅助判断模型是否被窃取。解析：本案例综合考察大语言模型应用中的典型安全风险识别与处置能力。答题需分别对应提示注入、幻觉与资源滥用（模型窃取）三类风险，并结合金融行业监管要求给出可落地的安全控制措施。风险类型判断正确得3分，措施具体可行得7分。2.某互联网企业计划使用包含用户行为日志的公开数据集和一个开源预训练大模型，构建个性化推荐系统。在项目评审