腾讯-AI Infra安全体系构建与边界思考

主讲人：腾讯云安全解决方案架构师AI技术变革带来新的新生隐患人工智能与大模型的风险组成结构大模型的安全风险结构:训练推理训练数据集数据采集预处理特征提取预处理特征提取决策执行训练模型应用模型业务流角度训练推理训练数据集数据采集预处理特征提取预处理特征提取决策执行训练模型应用模型业务流角度外部物理信息获取计算机内部转化为数字信息算法模型模型处理外部/后续行为具体应用大模型应用安全•应用服务风险：api攻击，web服务攻击、d大模型运行环境安全•开放数据集及训练工具风险；•污染的开放数据集风险；大模型本体安全训练大模型本体安全训练数据安全数据安全技术栈角度供应链风险模型和算法安全软件安全风险推理部署外部模型供应链风险模型和算法安全软件安全风险推理部署外部模型决策信息训练数据集决策信息训练数据集生成模型AI平台软件栈数据安全和隐私数据安全和隐私保护计算环境传感器/数据源硬件安全风险端侧计算环境和数据完整性基础设施层安全NPU计算环境传感器/数据源硬件安全风险端侧计算环境和数据完整性基础设施层安全NPU/GPU硬固件人工智能技术安全风险分析框架攻击面攻击面攻击方法攻击影响业务风险衍生风险应用和业务风控随着2026年金融行业全面迈入大模型应用阶段,传统的IT基础设施正在向AIInfra演进,面对急剧扩大的攻击面，金融机构亟需从战略高度重构安全体系。关键威胁指标提⽰词注入与越狱攻击内部员工违规操作五大核心安全风险1数据安全风险1234训练数据投毒、隐私数据泄露及非授权访问234模型安全风险恶意提⽰词注入、越狱攻击及模型输出幻觉基础设施风险底层算力劫持、容器逃逸及API接口漏洞供应链风险开源组件漏洞引入及第三方预训练模型后门5合规与伦理风险5违反数据出境规定及生成式AI监管合规要求纵深防御核心建议伦理监督审查大模型安全防护⽰词注入，并对敏感输出进行脱敏与阻断。最小权限原则微隔离，遵循最小权限原则，防止横向移动攻击。模型安全样本对抗模型安全样本对抗微小扰动导致模型产生严重提⽰词注入通过恶意Promp操纵模型输t出越狱攻击绕过安全护栏生成违规或有害内容模型幻觉生成看似合理但完全虚假的内容基础设施安全GPU集群权限算力资源被非法占用或横向Api接口鉴权模型接口缺乏鉴权导致未授权访问容器逃逸大模型训练环境隔离失效威胁宿供应链安全开源组件投毒引入包含后门的第三方组件库插件恶意代码Agent调用的外部恶意Skills预训练模型风险直接使用来源不明的开源基础模型合规监管风险可解释性缺失黑盒决策无法满足金融监管审计要求跨境数据违规传输调用海外大模型api导致敏感数据出境算法歧视数据安全模型记忆泄露模型输出包含训练集中的敏感数据数据污染恶意篡改训练数据导致模型逻辑偏差违规上传员工或系统将核心业务数据传至公有云大模型AIAgent大面积应用引入的安全风险AIAgent（OpenClaw）爆发式演进核心定位Local-First自托管、多渠道交互、强执行能力的AlAgent引擎GithubStar270K+““adangerouspreviewofagenticAI,demonstratinghighutilitybutexposingenterprisesto‘insecurebydefault’riskslikeplaintextcredentialstorage.”othermediaoutletsOpenClaw展现了极高的实用性，但向企业暴露了严重的"默认不安全"风险，包括明文凭证存储与失控执行。AIAgent大面积应用引入的安全风险云端OpenClaw的整体架构及安全风险AIAgent大面积应用引入的安全风险云端OpenClaw的整体架构及安全风险toolsGatewayAgentCoreChannelsMemoryBuilt-intoolsSkillsMCPClientAI安全体系构建：技术层推动“安全左移”建立AI安全运营团队研发推动“安全左移”建立AI安全运营团队在AI开发初期嵌入隐私与合规设计），例如，在AI模型的开发过程中，可以采用隐私保护技术，在AI开发初期嵌入隐私与合规设计），例如，在AI模型的开发过程中，可以采用隐私保护技术，如差分隐私和同态加密，确保数据的隐私和安全。建立AI安全运营团队（MLSecOps）统一管理模型训练与部署风险，制定AI攻防演练标准，模拟红蓝对抗场景。例如，AI安全运营团队可以通过定期进行攻防演练，发现和修复系统中的安全漏洞，提高系统的安全性。可以有效检测和防御对抗样本攻击，AI安全体系构建：治理层制定AI攻防演练标准建立AI制定AI攻防演练标准建立AI安全运营团队推动行业共享威胁情报，建立AI攻击特征库，及时发现和应对新的攻击手段。例如，通过共享威胁情报，各企业可以及时了解最新的攻击手段制定AI攻防演练标准，模拟红蓝对抗场景，通过实战演练提高防推动行业共享威胁情报，建立AI攻击特征库，及时发现和应对新的攻击手段。例如，通过共享威胁情报，各企业可以及时了解最新的攻击手段制定AI攻防演练标准，模拟红蓝对抗场景，通过实战演练提高防例如，通过模拟红蓝对抗场景，防御方可以更好地了解攻击者的攻击手段和策略，从而制定更有依照AI安全法规和标准要求依照依照AI安全法规和标准要求依照AI安全法规和标准要求（如中国《生成式人工智能服务管理暂行办法》，欧盟《人工智能法案》建立适当的AI风险控制框架和审计标准。例如，企业需要遵守相关法规和标准，建立健全的AI风险控制框架和审计标准，确保AI系统的合法合规运行。AI安全体系构建：合规层建立AI风险控制框架和审计标准建立适当的建立AI风险控制框架和审计标准建立适当的AI风险控制框架和审计标准，定期进行风险评估和审计，确保AI系统例如，企业可以通过定期的风险评估和审计，发现和修复系统中的安全漏洞，提高系统的安全性。推动行业共享威胁情报推动行业共享威胁情报，建立推动行业共享威胁情报推动行业共享威胁情报，建立AI攻击特征库，及时发现和应对新的攻击手段。例如，通过共享威胁情报，各企业可以及时了解最新的攻击手段和趋势，提前做好防范措施。AI安全体系构建：伦理层限制AI技术的恶意应用（如禁止开源模型生成深度伪造内容限制AI技术的恶意应用（如禁止开源模型生成深度伪造内容倡导“负责任AI”开发准则，平衡创新可以防止其被用于生成虚假内容或倡导“负责任AI”开发准则倡导“负责任AI”开发准则，平衡创新与安全，确保AI技术的健康发例如，开发者在开发AI模型时，需要遵循“负责任AI”开发准则，确建立AI伦理审查委员会，定期评估模型行为，确保其符合伦理道德准建立AI伦理审查委员会，定期评估模型行为，确保其符合伦理道德准例如，AI伦理审查委员会可以通过定期评估模型的行为，发现和纠正模型中的伦理问题，确保其符合伦理道德准则。AIInfra安全体系的应用实践大模型风险评估输入输出模型应用大模型训练数据基础设施模型生命周期模型应用模型部署模型训练模型开发模型应用模型部署模型训练模型开发OWASPLLM风险Top10输入输出模型应用大模型训练数据基础设施模型生命周期模型应用模型部署模型训练模型开发模型应用模型部署模型训练模型开发OWASPLLM风险Top10LLM01:提示词注入LLM06:敏感信息披露LLM02:不安全的输出处理LLM07:不安全的插件设计LLM08:过度代理LLM09:过度依赖LLM10:模型盗窃腾讯AIATT＆CK攻击矩阵NVIDIAAI红队评估框架LLM03:训练数据中毒LLM04:拒绝服务模型LLM05:供应链漏洞客户端漏洞客户端漏洞拒绝服务拒绝服务APIAPI滥用全全TOP40沙箱隔离沙箱隔离命令执行漏洞命令执行漏洞服务器端请求伪造服务器端请求伪造用户信息泄漏用户信息泄漏容器逃逸容器逃逸跨站脚本攻击跨站脚本攻击提示词泄漏提示词泄漏数据泄漏数据泄漏毒性生成毒性生成公平性与偏见公平性与偏见越狱攻击越狱攻击模型后门模型后门过度代理过度代理不安全插件不安全插件数据存储安全数据存储安全语料个人隐私安全语料个人隐私安全全全TISEAA006-2024大模型安全测评要求语料内容安全语料内容安全算法缺陷语料污染投毒语料污染投毒模型信息泄漏模型信息泄漏推理框架安全推理框架安全机器学习管理工具安全机器学习管理工具安全分布式计算框架安全分布式计算框架安全模型开发库安全模型开发库安全深度学习框架安全深度学习框架安全开发环境传统安全开发环境传统安全智能体开发框架安全智能体开发框架安全开源依赖组件安全开源依赖组件安全镜像安全镜像安全模型开发：开发环境相对薄弱，在开发阶段引入的安全风险，后续治理需更高的安全成本。模型训练：破坏模型训练/数据丢失/引入偏见/幻觉，企业成本损失。模型部署：暴露的基础设施遭受破坏、数据泄漏、合规风险。模型应用：危害用户网络安全、企业资源损失。大模型安全防护体系业务应用模型训练推理部署模型架构泄露模型参数泄露训练数据泄露训练代码泄露模型输入安全安全合规风险提示注入风险数据投毒风险可用性风险DDoS攻击造成服务中断、业务应用模型训练推理部署模型架构泄露模型参数泄露训练数据泄露训练代码泄露模型输入安全安全合规风险提示注入风险数据投毒风险可用性风险DDoS攻击造成服务中断、性能下降应用攻击风险API越权访问风险API命令注入攻击敏感数据泄露模型输出安全涉黄、涉恐、涉暴等违法违规内容泄露个人隐私大模型滥用风险安全风险基础设施安全风险基础服务组件/AI组件风险后门植入风险账号盗用风险未授权访问风险内部横向移动风险漏洞入侵风险钓鱼攻击风险弱密码风险API安全防护攻击防护安全检测内容安全过滤安全防护核心技术API安全防护攻击防护安全检测内容安全过滤安全防护核心技术安全隔离专区敏感数据防外传/防删除数据独立隔离存储主机操作审计&监控主机安全防护云原生微隔离代码安全扫描账号风控安全Web漏洞扫描数据库访问控制数据加密防篡改内外部安全众测蓝军攻防演练大模型威胁情报模型引擎机器学习密码学技术图计算分析敏感数据识别主机/容器安全攻防对抗数据工程师数据工程师数据处理数据清洗数据筛选数据转换数据标注数据访问API调用安全网关：输入输出敏感数据发现数据动态脱敏身份认证与权限控制最终用户生产数据存储mySQLTDSQLCOSVDB控制机制：动态脱敏静态脱敏数据加密敏感数据分类分级风险评估与监测数据防泄漏数据安全审计控制机制：动态脱敏静态脱敏数据加密敏感数据分类分级风险评估与监测数据防泄漏数据安全审计数据采集控制机制：数据溯源KMSTSM开发测试参数调试数据访问模型发布模型打包发布管理模型精调参数调整模型评估客户侧行业数据推理数据存储模型训练分布式训练模型评估模型开发数据访问控制机制：分类分级风险评估风险监测运营管理静态脱敏动态脱敏开发测试库开发工程师存储层数据溯源数据防泄漏算法工程师开发工程师算法工程师数据输入数据输出大模型应用机密计算平台数据溯源数据防泄漏分类分级风险评估用户行为监测机密计算模型加密联邦学习秘钥管理数据输入进行精调静态脱敏数据库安全审计数据库安全审计数据库防火墙数据库防火墙数据库安全审计模型推理实施工程师开发工程师数据访问数据导出特权与数据访问测试工程师传输RCE：应对AI时代的新型风险风险1：滥用AI读取内容风险表现：过度的页面内容读取、API访问场景表现：读取账户密码、短信验证码、敏感聊天记录、定位日程等风险特征AI生成虚拟屏幕，虚拟截屏无关联的局部访问量激增重复且高频的API访问调用不常被调用的内部API访问冗余页面/API/扩展参数等检测手段能力模块验证码AI安全风险AI辅助模拟点击风险2：滥用AI执行操作风险表现：绕过身份认证、执行自动化操作场景表现：自动执行转账支付、自动删除重要数据、下载恶意应用等风险特征特定的易于被操控的设备机型获取超出正常操作所需的系统权限使用Hook或注入方式攻击快速执行操作，操作时间异常重复且高频的模拟操作，INJECT_EVENTS等检测手段能力模块大模型运行环境保障LLM-WAF为专为大语言模型设计的智能安全防护网关，提供多模型、多场景、高并发环境下的全链路防护能力LLM-WAF大模型安全防护平台用户提问模型返回企业用户平台APPWeb小程序Deepseek混元大模型Qwen2.5阶跃星辰大模型服务源站风险不当内容正常返回风险正常返回数据泄露支持实时检测并拦截针对大模型的算力滥用、LLM-WAF大模型安全防护平台用户提问模型返回企业用户平台APPWeb小程序Deepseek混元大模型Qwen2.5阶跃星辰大模型服务源站风险不当内容正常返回风险正常返回数据泄露大模型业务安全防护大模型生成内容大模型业务安全防护大模型生成内容安全过滤算力消耗提示词攻击数据泄露攻击API越权安全策略内容策略自定义敏感库算力消耗提示词攻击数据泄露攻击API越权安全策略内容策略自定义敏感库安全注入攻击安全WAF+大模型安全引擎多模型接入多模型接入数据分级分类引擎：数据分级分类引擎：身份证、手机号、社保卡、护照号、银行卡等混元内容安全大模型：社会、政治、色情、违法、其他不当内容AIAgent安全防护宿主宿主层防护AIAgentAIAgent安全中心Agent默认集成，无需部署OpenClaw资产识别OpenClaw运行管控和隔离主机行为层会话审计和行为审计密钥沙盒AIAgent安全中心AIAgent安全中心实时动态监测LLM推理防护toolsCall检测和高危操作防护破坏性文件拦截网络层防护AIAIAgent安全网关NDR流量安全检测OpenClaw用户Channels和访问认证Agent权限管理提示词注入攻击检测/Web攻击检测OpenClaw提示词内容合规检测与拦截ra网络层流量审计和溯源AIAgent安全中心互联网服务SkillsHub外部第三方大模型接口云内网服务•云服务API接口•云上部署OA•云端知识库•云上web系统、邮箱等云端服务•数据库MCP•大数据MCPMCPserver生产VPCSSMKMS测网络流量审计风险识别和分析AIAgent安全网关Agent认证权限管理出向防火墙策略VPC间访问控制策略<网络层防护>LighthouseCVMTKEAIAgent安全网关Channel认证（oauth）云上部署的OpenClawTools模型API接入管理Token限速MCP管理安全审计Prompt攻击防护提示词合规检测web攻击检测Agent接入管理Built-intoolsSkillsMCPClientMemory外部流量VPC边墙AgentCoreKGatewayChannelsLLM推理防护（提示词安全）敏感数据外发检测和防护Skills风险扫描和隔离<Runtime层防护>网络和主机行为管控ToolsCall检测和防护<宿主层防护><网络层防护>密钥沙盒凭据管理资产安全扫描行为审计会话审计用户IM界面生产VPCSDKKK影