2025年大模型与智能体安全风险治理与防护

大模型和智能体安全风险治理与防护2025年7月8日AI技术带来新的生产驱动力，企业数字化进入“大模型时代”专家系统

1968知识表征

1974XCON

1980支持向量1995AlexNet

2012联邦学习2016Transformer

2017GPT-O3NLP神经网络

2013ResNet

2015算力瓶颈1990计算机视觉

1976深度学习2006条件随机场

2001GPT-4图神经网络

2005BERT2018BP算法

1986CgatGPTAI进入“大模型”时代感知机

1957GeminiAlphaGoAI超越图灵测试的人工智能标准，使机器开始像“人”一样与用户交流。以大模型生成技术为核心的人工智能正在成为下一轮经济增长的关键动力，也为解决产业痛点带来了全新的思路。语义网络线路图

1998深蓝击败卡斯帕罗

1995达特茅斯会议

1956Deepseek-R1QWEN-3混元大模型在企业应用场景中的十大常见安全风险样本投毒（数据污染）恶意利用（Prompt注入攻击）代码辅助工具数据泄露（第三方代码辅助工具）第三方代码依赖风险（开源模型/库污染）自动化Agent权限滥用误用0102030405自建模型平台暴露面过大模型数据和隐私泄露模型推理劫持（对抗样本攻击）AI伦理与偏见放大开源模型滥用（深度伪造与辅助犯罪）0607080910人工智能与大模型的风险组成结构大模型应用的安全风险结构大模型应用安全敏感信息泄露风险：越狱攻击输出受控内容；应用开发安全风险：编码规范、风险开源组件；应用服务风险：api攻击，web服务攻击、ddos攻击；业务安全风险：批量注册、恶意引导、内容爬取；大模型运行环境安全开发框架风险：框架漏洞(包含组件漏洞)；开放数据集及训练工具风险；污染的开放数据集风险；大模型本体内生安全训练 推理 部署数据泄露的风险(私有数据集、模型文件、个人隐私)；供应链安全风险：木马后门、组件漏洞；越狱风险；prompt指令数据泄漏；大模型基础设施安全基础设施自身的安全性：操作漏洞风险、计算资源漏洞风险权限设置不当风险；基础设施的运维安全性：误操作、违规操作；大模型安全端到端过程的风险分析大模型越狱攻击方法和威胁模型MCP协议和应用生态风险：从传统漏洞到AI控制身份认证机制缺失权限控制不足缺乏审计追溯能力默认配置不安全系统性的安全疏忽MCP协议设计初期以“便利”和“易用”为主要考量，缺乏基础安全控制机制）针对AI的新型混合攻击结合传统漏洞与AI特性的新型攻击模式，实现语义层面的控制工具投毒（Tool

Poisoning）规划线路僭越（Line

Jumping存储式提示注入级联幻觉攻击RAG上下文污染MCP生态的"漏洞债务"“木偶”攻击/

恶意服务器伪装“地毯抽拉”攻击(Rug

Pull)跨服务器恶意调用链新的供应链安全风险社区驱动的生态系统缺乏治理，形成信任匮乏的软件供应链身份管理一致性缺失权限提升攻击双向混淆代理人风险多智能体系统复杂性混淆代理人问题权限传递不一致导致的越权访问和权限滥用命令注入（43%实现存在）SSRF（30%实现存在）路径遍历（22%实现存在）SQL注入转提示注入传统漏洞攻击链放大经典安全漏洞在AI环境中被显著放大，升级为控制面攻击12345发现传统应用漏洞（如SQL注入）注入恶意提示到数据库AI读取被污染的上下文执行恶意指令控制AI行为横向移动扩散影响MCP与Agentic场景下攻击链的变化：智能体应用场景的主要风险点Agent集群主Agent模型层认知层LLM

大语言模型(推理・理解・Th成・规划)工具交互层工具选择与调用逻辑环境交互层感知与观察Agent通信与协作认知与意图管理(评估・决策・规划)记忆与状态管理(短期・长期・上下文)其他AgentLLMMCPServerTools本地MCP服务资源(Resource)工具（Tools）提示词(Prompt)交互层用户多模态交互接口文本

/

语音

/

视觉

/

图形事件服务其他AgentLLMMCPServerToolsSSESTDIO协调平台MCP/A2A感知执行输入结果远程MCP服务知识库（RAG）API工具（Tools）资源(Resource)提示词(Prompt)代码执行幻觉/校准不足/对抗样本推理劫持/模型规避记忆投毒/篡改/注入意图劫持/操纵/混淆决策干扰/注入提示词注入/信息泄露本地越权访问/敏感信息窃取命令注入/代码执行跨智能体/信息域的越权访问身份仿冒/越权访问流氓智能体/决策操纵通讯投毒/篡改/注入v3.4Author:提示词注入/泄露/混淆/绕过违规输出/信息泄露侧信道注入/篡改/欺骗大模型风险评估与控制方法框架安全治理：腾讯大模型安全治理框架部署环境安全训练过程安全安全基准安全运营安全管控计算环境安全访问与身份安全运行环境安全网络安全身份安全开发安全安全运维模型训练模型推理及部署模型应用向量数据库安全模型安全GPU芯片安全大模型安全标准安全基准策略数据安全数据采集安全样本对抗数据使用安全数据存储安全Redteaming测试工具及平台风险监测及响应输入输出内容安全供应链安全应用安全API安全标准体系监管要求满足监管要求，提供安全、可控、可靠的服务大模型安全治理框架业务阶段模型训练安全风险安全防护训练数据泄露训练代码泄露模型架构泄露模型参数泄露推理部署业务应用可用性风险DDoS攻击造成服务中断、性能下降应用攻击风险API越权访问风险API命令注入攻击敏感数据泄露安全隔离专区敏感数据防外传/防删除数据独立隔离存储主机操作审计&监控主机安全防护代码安全扫描Web漏洞扫描账号风控安全内外部安全众测大模型威胁情报核心技术模型引擎 机器学习 密码学技术 图计算分析 敏感数据识别 主机/容器安全 攻防对抗模型输入安全安全合规风险提示注入风险数据投毒风险黄色、暴力、涉恐等违法违规内容泄露个人隐私大模型滥用风险DDoS攻击防护安全防护未授权访问风险内部横向移动风险漏洞入侵风险钓鱼攻击风险弱密码风险数据库访问控制内容安全过滤Prompt安全检测基础设施安全风险基础服务组件/AI组件风险后门植入风险账号盗用风险大模型安全防护整体架构围绕大模型的生命周期，根据不同阶段的风险制定对应安全防护措施和策略腾讯大模型安全防护方案重点5：数据安全全流程安全治理重点3：智能体与MCP身份和蓝军特攻权防防演练护重点1：边界API与用户输入输出安模全型输出安全重点2：模型运行环境安全防护和态势A管PI理云原生微隔离重点4：智能体行为与意图安数据加密防全篡管改控边界与API安全：腾讯

LLM-WAF

大模型智能安全防护网关企业用户平台用户提问内容模型返回内容APPWeb小程序请求风险消耗拦截不当内容提示词攻击正常返回LLM-WAF

大模型安全防护平台请求风险不当内容数据泄露提示词泄露正常返回大模型服务源站Deepseek混元大模型Qwen2.5阶跃星辰大模型业务安全防护大模型生成内容安全过滤注入攻击BOT攻击API越权算力消耗内容安全提示词攻击数据泄露WAF

+

大模型安全引擎多模型接入安全策略内容策略自定义敏感库数据分级分类引擎：身份证、手机号、社保卡、护照号、银行卡等混元内容安全大模型：社会、政治、色情、违法、其他不当内容LLM-WAF

为专为大语言模型设计的智能安全防护网关，提供多模型、多场景、高并发环境下的全链路防护能力支持实时检测并拦截针对大模型的算力滥用、提示词攻击及数据泄露风险，助力企业构建可信、稳定、可持续的大模型服务生态。腾讯AI-SPM，大模型攻击面和漏洞管理系统，保护大模型基础设施运行环境，及时发现和处置安全风险风险态势感知：腾讯AI-SPM，大模型安全态势感知系统资产测绘组件识别（50+）网络指纹测绘主机层指纹匹配资产关联资产的暴露状态与路径资产的全量风险大模型风险检测主机安全大模型组件的漏洞检测（200+）组件的配置风险检测网络扫描POC形式的精准检测（20+）基于版本的漏洞识别（200+）大模型网络攻击示警针对大模型组件漏洞的攻击行为（6类漏洞）腾讯天御大模型安全网关，构建企业内部智能体应用和MCP服务的统一身份和权限管控智能体身份管理：以统一身份为核心，构建身份安全访问控制Agent

ID生命周期权限控制跨平台认证智能体智能体身份管理工具权限数据权限平台账号社交账号自有

IDP身份上下游传递大模型安全网关身份管理智能体服务工具人权限管理MFA认证权限生命周期智能体互授权跨平台权限大模型时代的身份范围扩大：人、智能体、服务、工具人

的身份：MFA、token、手机号、设备指纹、IP。实人认证、本人认证、好人认证A

IAgent的身份：有限授权

token，AgentCards。Agent

互认证、互发现、协作任务服

务提供者的身份：AKSK，Server

List，能力清单。访问授权、Server

代理、动态路由远

程服务(tools)的身份：远端身份验证，tools

list，数据权限。调用授权、数据授权。统一身份缺失导致安全缺口在智能体等大模型应用实践中，统一的身份一直是缺失的一环。致使越权访问、非法请求、数据泄露等诸多问题频发。同时合理的权限控制也是防止投毒等新型攻击最终生效的有效手段。Agent

ID基于大模型安全网关，构建以统一身份为核心的访问控制，将有效释放权限类的安全风险。腾讯天御大模型安全网关，一站式管控企业智能应用的身份管理、防AI攻击、决策和执行安全问题天御大模型安全网关：以规则+模型为核心，构建身份、流量、工具、决策多重防线用户输入安全安全模型安全规则攻击意图检测安全数据库黑白执行序列提示词样本库工具信息库语义理解关键词过滤决策链安全虚假工具识别workflow检测执行序列判断执行安全传统

WEB

规则权限检查工具劫持识别基础数据和通用能力

体系化安全能力基于传统安全中的经验积累，和大模型实践中，体系化的安全建设探索，构建的大模型安全网关产品，可以实现大模型应用落地中统一的防护。统一安全水位安全网关把不同参与角色、不同的业务系统的安全水位拉到同一高度，防止某个短板造成的安全破口大模型安全中枢作为企业大模型应用落地的安全中枢，连接智能体、模型与服务，实现统一治理与高效协同，并通过多层次防护机制解决AI规模化应用中的关键风险。分阶段控制风险大模型安全网关通过构建以规则和模型为核心的三道安全防线，兼顾执行效率、风险识别率、误杀率，分阶段释放安全风险。共享数据和能力从大模型应用的不同阶段采集的不同数据组成了风险判断的统一依据，并在不同的环节传递风险标识，让大模型安全网关具备了全局视野，可以更准确的识别风险。API调用数据采集大模型应用生产数据存储数据处理数据筛选数据转换数据标注数据清洗模型开发模型评估模型精调参数调整发布管理模型发布模型打包数据输出模型推理数据输入客户侧行业数据推理数据存储数据工程师算法工程师实施工程师数据溯源KMSTSM特权与数据访问

安全网关：输入输出敏感数据发现数据动态脱敏身份认证与权限控制

数据库安全审计数据库防火墙数据访问开发测试库静态脱敏数据库安全审计同步仿真数据数据访问数据输入进行精调数据访问传输分布式训练开发测试参数调试数据导出模型训练分类分级风险评估用户行为监测模型评估数据访问mySQLTDSQLCOSVDB…………开发工程师

测试工程师算法工程师开发工程师开发工程师最终用户机密计算模型加密联邦学习秘钥管理动态脱敏静态脱敏数据加密敏感数据分类分级风险评估与监测数据防泄漏数据安全审计数据库防火墙数据库安全审计分类分级风险评估风险监测运营管理静态脱敏动态脱敏存储层数据溯源数据防泄漏机密计算平台数据溯源数据防泄漏动态/静态脱敏数据加密敏感数据分类分级风险评估与监测数据防泄漏数据安全审计数据安全：大模型的全生命周期数据安全与隐私保护接口输入、内容预处理、模型识别、策略辅助、平台调度分析、人工标注运营共6个维度为大模型的训练和推理提供有效支撑模型训练阶段内容生成阶段模型优化阶段内容安全：天御内容风控平台，大模型的内容安全实践攻防对抗与安全情报：大模型安全Red

Team对抗实践以腾讯的安全专家能力为基础，深度了解大模型的原理和机制，建