2026面向人工智能系统的体系化安全检测与风险评估方法研究报告

面向人工智能系统的体系化安全检测与风险评估方法研究人工智能加速落地，安全风险日益凸显，已成为制约产业健康发展的突出短板Skill（技能）是人工智能执行特定任务Skill（技能）是人工智能执行特定任务54.7%存在安全缺陷，可能引发网络攻全球主要经济体强化人工智能领域政策部署，纷纷将人工智能上升为国家战略，抢占科技竞争和未来发展制高点亚洲北美美国：北美美国：《促进先进人工智能创新与安全》《赢得竞赛：美国AI行动计划》《国家人工智能政策框架》《关键与新兴技术国家战略》《出口管制条例》《芯片与科学法案》加拿大：《泛加拿大人工智能战略》欧盟：欧盟：《人工智能法案》《人工智能协调计划》法国：《国家人工智能战略》德国：《人工智能行动计划》英国：《人工智能路线图》《国防人工智能战略》《新一代AI发展规划》《政府工作报告》“人工智能+”《人工智能战略》韩国：《人工智能国家战略》《人工智能发展与信任基础构建基本法》新加坡：《国家人工智能战略》4人工智能安全已从4精准防跨层传导·防御成本效益分析逐层查7层漏洞分类体系研究体系化安全检测与风险评估方法，精准防跨层传导·防御成本效益分析逐层查7层漏洞分类体系研究体系化安全检测与风险评估方法，实现从检测到评估、再到修复量化决策的全链条能力全局看全生命周期·风险量化定级5打造人工智能系统的5全局看精准防全局看多层级安全检测多环节安全风险评估跨层级安全量化层层嵌套建成覆盖硬件到应用的层类风险的系统化漏洞分类体系层层嵌套应用智能交互模型算法数据基础架构硬件网络通信应用智能交互模型算法数据基础架构硬件1.直接绕过攻击4.推理链攻击1.直接绕过攻击4.推理链攻击基于研究提出的大模型安全风险评测架构基于研究提出的大模型安全风险评测架构,自研2.权限提升攻击任命AI为“无限制助手”5.策略傀儡攻击2.权限提升攻击任命AI为“无限制助手”5.策略傀儡攻击3.假设场景攻击6.ROT13编码攻击3.假设场景攻击6.ROT13编码攻击7.指令遗忘攻击8.上下文长度攻击7.指令遗忘攻击在在Al多层级安全体系中,智能交互层的最为突出,成为研究重点OWASP权威认定攻击检测技术体系OWASP权威认定nn提示词注入居人工智能安全风险首位n技术门槛低、危害性大：攻击者仅需输入精心设计的自然语言即可绕过安全防护，导致越权访问、敏感信息泄露、恶意内容生成等严重后果。n产业界高度重视：OpenAI、谷歌、Anthropic等头部厂商均将提示词注入防御列为安全建设的核心。即使表现最好的模型,也未能完全抵御攻击,行业安全水位整体偏低。提示词注入等攻击普遍有效部分模型面临极高攻击成功率提示词注入角色伪装语言切换条件限定编码攻击指令忽略DAN提示词注入角色伪装语言切换条件限定编码攻击指令忽略DAN越狱场景假设多样本攻击内容分割Token重复少样本攻击GCG场景假设多样本攻击内容分割Token重复少样本攻击GCG后缀混淆攻击全球全球Al智能体skill超75万个、日增2-3%我院实测3.4万个,明文暴露API密钥动态执行、命令调用等高危风险路径穿越漏洞324明文暴露API密钥动态执行、命令调用等高危风险路径穿越漏洞324371515611763,5%内容安全风险供应链安全风险供应链投毒攻击：恶意内容安全风险供应链安全风险供应链投毒攻击：恶意Skills通过伪装成常用工具，且能绕过安全检测，形成隐蔽且广泛的供应链投毒攻击。依赖管理机制缺失：根据测试情况看29.7%的Skills存在第三方或外部工具等间接依赖，甚至通过外部网络链接、开源代码库下载执行未经安全审核的代码，极易引入安全漏洞诱发安全事件。准入审查机制不足：官方Skills市场缺少严格身份核验机制和Skills前置审计，单账号即可批量投递数百个恶意包实施“供应链投毒”过多权限申请：多数Skills会申请过多权限，使得Skills能够以最高权限实施持久化控制，对用户构成凭过多权限申请：多数Skills会申请过多权限，使得Skills能够以最高权限实施持久化控制，对用户构成凭证窃取、系统破坏风险。过度授权和信任模型缺陷：部分Skills框架未遵守最小授权原则，Skills脚本默认拥有当前用户全部系统权限，可进行本地文件读写、系统命令执行及全网访问；同时，该框架“一次授权、持续生效”的信任模型存在安全隐患。底层代码漏洞：Skills底层代码漏洞频发，高危漏洞突出，易造成后门植入、网络攻击等安全威胁。提示词注入隐患：伪造系统规则、冒充管理权限等恶意指令大多隐藏在常用文档中不易发现，可造成越权操控AI、窃取系统敏感信息和文件越界访问等问题，威胁用户系统安全。从从"发现风险"走向"验证风险",支撑人工智能安全治理闭环收录AI收录AI相关漏洞Ollama端点实测中高危漏洞占比逐层查精准防逐层查多层级安全检测多环节安全风险评估跨层级安全量化《人工智能风险管理能力评估》《网络安全技术人工智能计算平台安全框架》《网络安全技术人工智能生成合成内容标识方法》《网络安全技术生成式人工智能服务安全基本要求》《人工智能通用大模型合规管理体系指南》《生成式人工智能数据应用合规指南》《生成式人工智能个人信息保护技术要求》《生成式人工智能模型训练合规技术规范》《人工智能风险管理能力评估》《网络安全技术人工智能计算平台安全框架》《网络安全技术人工智能生成合成内容标识方法》《网络安全技术生成式人工智能服务安全基本要求》《人工智能通用大模型合规管理体系指南》《生成式人工智能数据应用合规指南》《生成式人工智能个人信息保护技术要求》《生成式人工智能模型训练合规技术规范》《电信和互联网人工智能数据安全评估方法》（在研）《信息通信行业人工智能算法安全评估指南》（在研）《电信网和互联网大规模预训练模型安全评测指标和方法》（在研）《生成式人工智能网络安全产品应用技术要求和评估方法》（在研）系统梳理政策规范、国标、行标、团标共余项,为评估提供权威依据《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《新一代人工智能伦理规范》《科技伦理审查办法（试行）》评估视图:应用模型数据基础设施主要风险：提示注入、输出处理漏洞、主要风险：提示注入、输出处理漏洞、过度代理、深度模型完整性、鲁棒性和保密主要风险：对抗样本模型完整性、鲁棒性和保密主要风险：对抗样本、模型数据机密性、数据机密性、完整性和可用主要风险：数据投毒、隐私上线后持续运AI系统集成到主要风险：供应链攻击、代安全编码与模主要风险：供应链攻击、代安全编码与模设计开发部署运维用标准流程把评估做成可复制、可审计、可落地的方法1.范围定义2.风险识别3风险评级4.处置验证5.持续监控>>一级指标:宏观安全维度，包括基础架构安全、数据安全、模型算法安全、应用安全>二级指标:对一级指标具体化，对应具体的安全风险级指标基础架构安全数据安全模型算法安全应用安全软件算络访全供应平环问运链安台境管维全安安理监全全控数据访问控制安输用服全API入户务日接与认可志口输证用与安出与性应全安授保急全权障响应风险指数等级建议处置处置要点80-100极高立即停用高优先修复中完善改进低持续监控全局看逐层查全局看多层级安全检测多环节安全风险评估跨层级安全量化2.3.1人工智能系统跨层级动态安全量化模型中国工业互联网研究院chinaAcademyofIndustrialInternetAl系统七层技术体系架构Al系统七层技术体系架构,为提供框架基础应用层：提示词注入模型算法层：生成恶意代码硬件层：触发底层系统漏洞应用层：影响应用决策数据层：数据与模型文件受控硬件/系统层：硬件/容器漏洞2.3.1人工智能系统跨层级动态安全量化模型问题与挑战效果实现问题与挑战效果实现单一评估失效，风险破坏力难以量化目标：精准评估跨层风险价值：为安全资源优化配置提供量化依据痛点：风险跨层耦合，传播路径复杂引发资源配置低效实现从到技术路径构建多维联动量化评估体系威胁识别→风险评估→防御优化,把"修哪里"变成可计算问题算清威胁能不能传过去算清风险会放大到哪一层