【方案】腾讯-AI Infra安全体系构建与边界思考

AI

Infra安全体系构建与边界思考主讲人：

腾讯云安全解决方案架构师张

华AI技术变革带来新的新生隐患大模型本体安全•数据泄露的风险(私有数据集、模型文件、个人隐私)；•供应链安全风险：木马后门、组件漏洞；•越狱风险；•prompt指令数据泄漏；业务流角度计算机内部转化为数字信息大模型应用安全•敏感信息泄露风险：越狱攻击输出受控内容；•应用开发安全风险：编码规范、风险开源组件；•应用服务风险：api攻击，web服务攻击、

ddos攻击；•业务安全风险：批量注册、恶意引导、

内容爬取；预处理

特征提取预处理

特征提取基础设施层安全•基础设施自身的安全性：操作漏洞风险、计算资源漏洞风险权限设置不当风险；•基础设施的运维安全性：误操作、违规操作；大模型运行环境安全•开发框架风险：框架漏洞(包含组件漏洞)；•开放数据集及训练工具风险；•污染的开放数据集风险；训练模型应用模型训练数据集数据采集决策执行人工智能与大模型的风险组成结构NPU/GPU硬固件大模型的安全风险结构:模型本体+运行环境+应用场景生成模型AI平台软件栈

传感器/数据源计算环境训练数据集端侧计算环境和数据完整性决策信息外部模型数据安全和隐私保护模型和算法安全数据安全软件安全风险硬件安全风险供应链风险技术栈角度部署推理训练训

练

推

理外部/后续行为具体应用外部物理信息获取算法模型模型处理攻击面攻击方法攻击影响业务风险衍生风险软硬件运行环境应用和业务风控软件生态和开发安全AI模型和算法安全人工智能技术安全风险分析框架模型安全风险恶意提⽰词注入、

越狱攻击及模型输出幻觉基础设施风险底层算力劫持、

容器逃逸及API接口漏洞供应链风险开源组件漏洞引入及第三方预训练模型后门随着2026年金融行业全面迈入大模型应用阶段,传统的IT基础设施正在向AI

Infra演进,面对急剧扩大的攻击面，

金融机构亟需从战略高度重构安全体系。

伦理监督审查制定企业级AI使用规范，明确数据分类分级标准，从顶层设计规避合规与伦理风险，确保大模型应用可控。

最小权限原则摒弃默认信任，对所有AI工作负载实施持续身份验证与

微隔离，遵循最小权限原则，防止横向移动攻击。

大模型安全防护在模型输入输出端建立双向过滤机制，实时拦截恶意提⽰词注入，并对敏感输出进行脱敏与阻断。>50%提⽰词注入与越狱攻击在已知外部AI安全威胁中占据主导地位15%内部员工违规操作违规向公共大模型上传企业敏感数据合规与伦理风险违反数据出境规定及生成式AI监管合规要求数据安全风险训练数据投毒、

隐私数据泄露及非授权访问纵深防御核心建议五大核心安全风险关键威胁指标12345模型安全样本对抗微小扰动导致模型产生严重

误判提⽰词注入通过恶意Promp操纵模型输t出行为越狱攻击绕过安全护栏生成违规或有害内容模型幻觉生成看似合理但完全虚假的内容基础设施安全GPU集群权限算力资源被非法占用或横向

渗透Api接口鉴权模型接口缺乏鉴权导致未授权访问容器逃逸大模型训练环境隔离失效威胁宿主机供应链安全开源组件投毒引入包含后门的第三方组件库插件恶意代码Agent调用的外部恶意Skills预训练模型风险直接使用来源不明的开源基础模型合规监管风险可解释性缺失黑盒决策无法满足金融监管审计要求跨境数据违规传输调用海外大模型api导致敏感数据出境算法歧视偏见数据安全模型记忆泄露模型输出包含训练集中的敏感数据数据污染恶意篡改训练数据导致模型逻辑偏差违规上传员工或系统将核心业务数据传至公有云大模型基于MECE原则（相互独立

，

完全穷尽）

，

大模型及AI应用的风险构成“adangerous

preview

ofagenticAI,demonstrating

high

utility

butexposingenterprises

to‘insecure

bydefault’risks

like

plaintextcredentialstorage.”As

reported

byThe

Registerand

other

mediaoutletsOpenClaw展现了极高的实用性，

但向企业暴露了严重的"默认不安全

"风险，

包括明文凭证存储与失控执行。核心定位Local-First

自托管、

多渠道交互、

强执行能力的Al

Agent

引擎社区热度：Github

Star

270K+AI

Agent大面积应用引入的安全风险AIAgent（OpenClaw）爆发式演进Memory用户IM界面云上部署的OpenClawtoolsGatewayAgent

CoreChannelsBuilt-in

toolsMCPClientSkillsPromptrequest风险2：Channels缺乏认证，谁都可以访问OpenClawAgent外部服务云端OpenClaw的整体架构及安全风险外部第三方大模型接口•云服务API接口•云上部署OA•云端知识库•云上web系统

、

邮箱等AI

Agent大面积应用引入的安全风险云端服务•

数据库MCP•大数据MCPMCPserver风险4：开源社区Skills投毒风险Skills

Hub风险3：OpenClaw内部权限过大，

高危操作执行缺乏有效监控和控制风险5：OpenClaw调用外部模型担心数据泄漏风险6：内部关键凭据泄漏导致数据安全问题风险1：提示词攻击LighthouseCVM

TKEAI

Infra安全体系的构建推动“安全左移

”在AI开发初期嵌入隐私与合规设计（Privacy

by

Design），从源头上保障AI系统的安全性。例如，在AI模型的开发过程中，可以采用隐私保护技术，如差分隐私和同态加密，确保数据的隐私和安全。建立AI安全运营团队建立AI安全运营团队（MLSecOps）统一管理模型训练与部署风险，制定

AI攻防演练标准，模拟红蓝对抗场景。例如，AI安全运营团队可以通过定期进行攻防演练，发现和修复系统中的安全漏洞，提高系统的安全性。研发AI安全专用模型研发针对对抗样本的检测模型，推动“安全左移”，在AI开发初期嵌入隐

私与合规设计（Privacy

by

Design）。例如，通过研发专门的AI安全模型，可以有效检测和防御对抗样本攻击，

保护系统的安全性。AI安全体系构建：

技术层制定AI攻防演练标准制定AI攻防演练标准，模拟红蓝对抗场景，通过实战演练提高防御方的应对能力。例如，通过模拟红蓝对抗场景，防御方可以更好地了解攻击者的攻击手段和策略，从而制定更有效的防御措施。推动行业共享威胁情报推动行业共享威胁情报，建立AI攻击特征库，及时发现和应对新的攻击手段。例如，通过共享威胁情报，各企业可以及时了解最新的攻击手段和趋势，提前做好防范措施。建立AI安全运营团队（MLSecOps）统一管理模型训练与部署风险，制定

AI攻防演练标准，模拟红蓝对抗场景。例如，AI安全运营团队可以通过定期进行攻防演练，发现和修复系统中的安全漏洞，提高系统的安全性。建立AI安全运营团队AI安全体系构建：

治理层依照AI安全法规和标准要求（如中国《生成式人工智能服务管理暂行办法》，

欧盟《人工智能法案》）

，建立适当的AI风险控制框架和审计标准。例如，

企业需要遵守相关法规和标准，

建立健全的AI风险控制框架和审计标准，

确保AI系统的合法合规运行。建立适当的AI风险控制框架和审计标准，定期进行风险评估和审计，

确保AI系统的安全性。例如，

企业可以通过定期的风险评估和审计，

发现和修复系统中的安全漏洞，

提高系统的安全性。推动行业共享威胁情报，

建立AI攻击特征库，

及时发现和应对新的攻击手段。例如，

通过共享威胁情报，

各企业可以及时了解最新的攻击手段和趋势，

提前做好防范措施。依照AI安全法规和标准要求推动行业共享威胁情报建立AI风险控制框架和审计标准AI安全体系构建：

合规层倡导“负责任AI”开发准则倡导“负责任AI”开发准则，平衡创新与安全，确保AI技术的健康发展。例如，开发者在开发AI模型时，

需要遵循“负责任AI”开发准则，确

保模型的公平性、透明性和安全性。限制AI技术的恶意应用限制AI技术的恶意应用（如禁止开源模型生成深度伪造内容）

，倡导“负责任AI”开发准则，平衡创新与安全。例如，通过限制AI技术的恶意应用，可以防止其被用于生成虚假内容或实施犯罪行为。建立AI伦理监督审查机制建立AI伦理审查委员会，定期评估模型行为，确保其符合伦理道德准则。例如，AI伦理审查委员会可以通过定期评估模型的行为，发现和纠正模型中的伦理问题，确保其符合伦理道德准则。AI安全体系构建：

伦理层AI

Infra安全体系的应用实践LLM03:训练数据中毒LLM04:拒绝服务模型LLM05:供应链漏洞LLM08:过度代理LLM09:过度依赖LLM10:模型盗窃腾讯AI

ATT＆CK攻击矩阵NVIDIA

AI红队评估框架模型应用模型部署模型训练模型开发大模型训练数据模型开发：开发环境相对薄弱，在开发阶段引入的安全风险，后续治理需更高的安全成本。模型训练：破坏模型训练/数据丢失/引入偏见/幻觉，企业成本损失。模型部署：暴露的基础设施遭受破坏、

数据泄漏、

合规风险。模型应用：危害用户网络安全、

企业资源损失。生成式大模型安全评估框架模型应用模型部署模型训练模型开发语料内容安全算法缺陷合规安全TISEAA006-2024大模型安全测评要求传统安全CWETOP40OWASPLLM风险Top

10LLM01:提示词注入

LLM06:敏感信息披露LLM02:不安全的输出处理LLM07:不安全的插件设计模型应用基础设施大模型风险评估模型信息泄漏语料个人隐私安全数据存储安全语料污染投毒模型生命周期开源依赖组件安全开发环境传统安全深度学习框架安全机器学习管理工具安全镜像安全智能体开发框架安全推理框架安全分布式计算框架安全模型开发库安全数据泄漏提示词泄漏模型后门幻觉越狱攻击跨站脚本攻击毒性生成用户信息泄漏过度代理容器逃逸服务器端请求伪造命令执行漏洞沙箱隔离API滥用拒绝服务客户端漏洞不安全插件公平性与偏见b输入输出

模型引擎

机器学习

密码学技术

图计算分析

敏感数据识别

主机/容器安全

攻防对抗大模型安全防护体系基础设施安全风险基础服务组件/AI组件风险后门植入风险账号盗用风险未授权访问风险内部横向移动风险漏洞入侵风险钓鱼攻击风险弱密码风险主机安全防护云原生微隔离代码安全扫描账号风控安全Web漏洞扫描数据库访问控制数据加密防篡改内外部安全众测蓝军攻防演练大模型威胁情报模型输出安全涉黄、涉恐、

涉暴等违法违规内容泄露个人隐私大模型滥用风险安全隔离专区敏感数据防外传/防删除数据独立隔离存储主机操作审计&监控应用攻击风险API越权访问风险API命令注入攻击敏感数据泄露围绕大模型的生命周期，根据不同阶段的风险制定对应安全防护措施安全防护模型输入安全安全合规风险提示注入风险数据投毒风险可用性风险DDoS攻击造成服务中断、

性能下降安全风险Prompt安全检测内容安全过滤训练数据泄露训练代码泄露模型架构泄露模型参数泄露DDoS攻击防护API安全防护核心技术业务阶段推理部署模型训练业务应用数据工程师数据处理数据清洗数据筛选数据转换数据标注数据访问API调用安全网关：输入输出敏感数据发现数据动态脱敏身份认证与权限控制最终用户生产数据存储mySQL

TDSQL

COS

VDB大模型的数据安全与隐私保护控制机制：动态脱敏静态脱敏数据加密敏感数据分类分级风险评估与监测数据防泄漏数据安全审计控制机制：动态脱敏静态脱敏数据加密敏感数据分类

分级风险评估与监测数据防泄漏数据安全审计数据采集控制机制：数据溯源KMSTSM开发测试参数调试数据访问模型发布模型打包发布管理模型精调参数调整模型评估客户侧行业数据

推理数据存储模型训练分布式训练模型评估模型开发数据访问控制机制：分类分级风险评估风险监测运营管理静态脱敏动态脱敏开发测试库

开发工程师存储层数据溯源数据防泄漏算法工程师开发工程师

算法工程师数据输入数据输出大模型应用机密计算平台数据溯源数据防泄漏分类分级风险评估用户行为监测机密计算模型加密联邦学习秘钥管理数据输入进行精调静态脱敏数据库安全审计数据库安全审计数据库防火墙数据库防火墙数据库安全审计模型推理实施工程师

开发工程师同步仿真数据数据访问数据导出特权与数据访问测试工程师传输…………检测手段能力模块识别公开识别自己的AI代理设备安全、验证码检测阅览轨迹、

鼠标轨迹、点击顺序验证码根据单次访问时间、访问频率、重复比例等进行综合判断RCE策略引擎识别自动化工具例如Selenium、

Puppeteer和Playwright等设备安全检测手段能力模块识别高危机型、是否安装高危应用设备安全检测出申请和使用非必要权限的应用，例如摄像头、屏幕共享设备安全检测设备系统多开、注入、

HOOK等高危风险设备安全对比历史行为数据监测异常事件流RCE策略引擎

特定的易于被操控的设备机型

获取超出正常操作所需的系统权限

使用Hook或注入方式攻击

快速执行操作，

操作时间异常

重复且高频的模拟操作，

INJECT_EVENTS等

AI生成虚拟屏幕，

虚拟截屏

无关联的局部访问量激增

重复且高频的API访问

调用不常被调用的内部API

访问冗余页面/API/扩展参数等风险表现：

过度的页面内容读取、

API访问场景表现：

读取账户密码、

短信验证码、

敏感聊天记录、

定位日程等风险特征RCE：

应对AI时代的新型风险风险特征风险2：滥用AI执行操作风险1：滥用AI读取内容风险表现：

绕过身份认证、

执行自动化操作场景表现：

自动执行转账支付、

自动删除重要数据、

下载恶意应用等

AI系统级手机助手

Deekfake

AI辅助模拟点击AI安全风险提示词攻击大模型运行环境保障LLM-WAF为专为大语言模型设计的智能安全防护网关，提供多模型、多场景、高并发环境下的全链路防护能力支持实时检测并拦截针对大模型的算力滥用、提示词攻击及数据泄露风险，助力企业构建可信、稳定、可持续的大模型服务生态。用户提问内容模型返回内容大模型服务源站Deepseek混元大模型Qwen2.5阶跃星辰数据分级分类引擎：

身份证、

手机号、

社保卡、

护照号、

银行卡等混元内容安全大模型：

社会、

政治、

色情、

违法、

其他不当内容WAF

+大模型安全引擎企业用户平台APPWeb小程序大模型业务安全防护

大模型生成内容安全过滤LLM-WAF大模型安全防护平台安全策略多模型接入内容策略自定义敏感库不当内容数据泄露提示词泄露消耗拦截不当内容提示词攻击数据泄露注入攻击算力消耗内容安全BOT攻击API越权正常返回正常返回风险风险请求请求AI

Agent安全防护Runtime

层防护AIAgent

安全中心实时动态监测o

LLM推理防护

tools

Call检测和高危操作防护o

破坏性文件拦截

OpenClaw

用户Channels和访问认证

Agent权限管理

提示词注入攻击检测/Web

攻击检测

OpenClaw提示词内容合规检测与拦截ra网络层流量审计和溯源

OpenClaw

资产识别

Skills

风险扫描

OpenClaw运行管控和隔离

主机行为层会话审计和行为审计

密钥沙盒AIAgent

安全中心Agent

默认集成，无需部署AI

Agent安全网关NDR

流量安全检测网络层防护宿主层防护构建宿主层、

Runtime层及网络层的纵深防御体系AIAgent

安全中心互联网服务Skills

Hub外部第三方大模型接口云内网服务•

云服务API接口•

云上部署OA•

云端知识库•云上web系统

、

邮

箱等云端服务•

数据库MCP•

大数据MCPMCP

server生产VPCSSM

KMSNDR流量检测网络流量审计风险识别和分析AIAgent

安全网关Agent认证权限管理云防火墙出向防火墙策略VPC间访问控制策略云端OpenClaw整体安全防护体系架构<网络层防护>Lighthouse

CVM

TKEAIAgent

安全网关Channel认证

（oauth）云上部署的OpenClawTools模型API接入管理Token限速MCP管理安全审计Prompt攻击防护提示词合规检测web攻击检测Agent接入管理Built-intoolsSkillsMCP

ClientMemory内部流量外部流量VPC边界防火墙Agent

CoreSDKGatewayChannelsLLM推理防护（提示词安全）敏感数据外发检测和防护Skills风险扫描和隔离<Runtime层防护>网络和主机行为管控Tools

Call检测和防护<宿主层