大模型和智能体安全风险治理与防护

大模型和智能体安全风险治理与防护AI技术带来新的生产驱动力，企业数字化进入“大模型时代”AlexNet2012深度学习2006图神经网络2005条件随机场2001ResNet2015"NLP神经网络2013GPT-4ResNet2015联邦学习2016联邦学习2016Transformer2017e。CgatGPTGPT-O3BERT2018语义网络线路图1998XCON1980支持向量1995算力瓶颈1990支持向量1995专家系统1968计算机视觉1976AI进入“大模型”时代知识表征AI进入“大模型”时代感知机195706自建模型平台暴露面过大07模型数据和隐私泄露08模型推理劫持（对抗样本攻击）09AI06自建模型平台暴露面过大07模型数据和隐私泄露08模型推理劫持（对抗样本攻击）09AI伦理与偏见放大10开源模型滥用（深度伪造与辅助犯罪）01样本投毒（数据污染）02恶意利用（Prompt注入攻击）03代码辅助工具数据泄露（第三方代码辅助工具）04第三方代码依赖风险（开源模型/库污染）05自动化Agent权限滥用误用系统性的安全疏忽MCP协议设计初期以“便利”系统性的安全疏忽MCP协议设计初期以“便利”混淆代理人问题传统漏洞攻击链放大击新的供应链安全风险针对AI的新型混合攻击551231234本地MCP服务工具（Tools）提示词(Prompt)资源(Resource)交互层多模态交互接口事件服务输入结果感知执行本地MCP服务工具（Tools）提示词(Prompt)资源(Resource)交互层多模态交互接口事件服务输入结果感知执行工具（Tools）提示词(Prompt)资源(Resource)知识库（RAG）API代码执行远程MCP服务其他AgentAgent集群其他Agent主Agent模型层LLM大语言模型认知层认知与意图管理记忆与状态管理工具选择与调用逻辑工具选择与调用逻辑工具交互层环境交互层感知与观察Agent通信与协作 协调协调平台其他Agentv3.4Authorv3.4Author:满足监管要求，提供安全、可控、可靠的服务数据存储安全数据使用安全数据采集安全样本对抗供应链安全数据存储安全数据使用安全数据采集安全样本对抗供应链安全围绕大模型的生命周期，根据不同阶段的风险制定对应安全防护措施和策略数据库访问控制数据加密防篡改内外部安全众测数据分级分类引擎：身份证、手机号、社保卡、护照号、银混元内容安全大模型：社会、政治、色情、违法、其大模型服务源站腾讯AI-SPM，大模型攻击面和漏洞管理系统，保护大模型基础设施运行环境，及时发现和处置安全风险腾讯天御大模型安全网关，构建企业内部智能体应用和MCP服务的统一身份和权限管控非法请求、数据泄露等诸多问题频发。同时合理的权限控制也非法请求、数据泄露等诸多问题频发。同时合理的权限控制也大模型时代的身份范围扩大：人、智能体、大模型时代的身份范围扩大：人、智能体、人腾讯天御大模型安全网关，一站式管控企业智能应用的身份管理、防AI攻击、决策和执行安全问题基于传统安全中的经验积累，和大模型实践中，体安全网关把不同参与角色、不同的业务系统的安从大模型应用的不同阶段采集的不同数据组成了风险数据库安全审计数据库安全审计接口输入、内容预处理、模型识别、策略辅助、平台调度分析、人工标注运营共6个维度为大模型的训练和推理提供有效支撑以腾讯的安