版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
从间接注入到数据流劫持
——
AI
Agent
数据流攻与防SYS.ADMIN/
/ONLINEhaya&
12end> Ai安全专家 / AiSecurity
Experthaya,原腾讯安全研究员,主要研究方向为:安全对抗技术、Ai
Infra
及AiNative安全研究,著有内网安全攻防:
红队之路12end
(Mark),安全专家,擅长安全攻防与内部建设,Ai安全漏洞挖掘。CORE_
MODULES.
EXEAI/
ML攻防对抗甲方建设01001000
01000001
01000011
01001011
01000101
01010010
00100000
01010000
01010010
01001111
01000110
01001001
01001100
01000101
00100000
01001001
01001110
01001001
01010100
01001001
01000001
01001100
01001001
01011010
01000101
0100000101110
00101110
00101110
00100000
01010011
01011001
01010011
01010100
01000101
01001101
00100000
01001111
01001110
01001100
01001001
01001110
01000101
00100000
01001000
01000001
01000011
01001011
01000101
01010010
00100000
010100漏洞挖掘现在的
AI,还是聊天框吗?从问答工具,到企业业务链路过去:问答助手Prompt
/Response现在:Agent
业务链路Data
Flow用户模型回答安全问题看起来很直观:输入什么,回答什么变成
›AgentGatewayRAGMemoryTool/
APIMCP身份
/
权限业务上下文业务系统交易
/
工单/
代码Trace/Log/Report/Memory
Write数据被看见内容被执行结果被记住问题不再只是模型说了什么,而是数据流到了哪里。Hack
Copilot:从网页投毒到会话泄露间接注入:当不可信内容进入
Agent
的决策链攻击者控制点常见载体01/
Seed投放载荷02/
Trigger会话触发03/
Hijack劫持能力04/
Impact影响落地攻击阶段拆解Hack
OpenHands:攻击案例Hack
OpenHands:从
Issue
投毒到
Token
泄露Hack
OpenHands:从
Issue
投毒到
Token
泄露Hack
OpenHands:从
Issue
投毒到
Token
泄露企业
Agent
应用的典型链路数据来源U用户
/
员工任务目标与用户意图RRAG
/
向量库文档、制度、检索片段M记忆
/
画像历史上下文与用户画像TMCP
/
工具中心工具说明、参数、能力边界B业务工具
/
API订单、支付、风控、日志C上下文构建器L模型上下文输出面A最终回答面向用户、客户、工单或报告的内容。X工具调用调用
API、读写文件、发起网络请求。S轨迹/记忆日志、审计、报告、长期记忆或未来
RAG
来源。结构判断企业
Agent
不是聊天框,而是上下文编译链路。安全问题发生在数据被拉取、裁剪、组合、传入模型并继续流向工具或记忆的过程中。边界判断真正的边界,是数据进入模型视野之前。不是所有数据都该进入上下文,也不是所有进入上下文的内容都该影响行动。数据进入上下文后,角色会变模型上下文01
·
可见被看见02
·
可执行被执行03
·
可沉淀被记住上下文改变了数据边界01上下文边界能不能看?02执行边界能不能被执行?03记忆边界能不能记?AI
场景里的边界,不只是在系统入口。从这里反推五类控制点。五类可被打穿的数据流边界数据来源用户、终端、业务系统、RAG、Memory、工具结果,都会成为上下文候选材料。用户输入 终端文件 业务对象知识片段上下文编译数据在这里被裁剪、摘要、排序、拼装,并开始改变可见范围和用途。字段来源权限目的模型上下文输出与沉淀最终回答、工具调用、日志、Trace、报告、Memory
都可能成为新的数据流出口。Response Tool
Call TraceMemory模型入口出口Gateway
负责模型调用、响应、日志和Trace
中的中心化敏感治理。B终端第一跳端侧代理在数据离开可信执行环境前,先做本地替换、阻断和最小化。工具结果准入Tool
/
API
闸口决定原始后端结果能否成为模型可见结果。业务上下文编译SDK
/Middleware
定义业务对象哪些字段能进上下文,结果能否写回。E知识与记忆入口RAG
/
Memory
治理来源、ACL、可信度、生命周期和污染下架。A Gateway端侧防御C Tool/
ApiD SDK
/
中间件RAG/
Memory五类边界,各有主战场先抓
A
/
B
/
C:离数据流转最近,也最容易先落地AGateway:中心化敏感治理站在所有模型调用入口和出口上,做
PII、secret、结构化敏感数据识别、替换、阻断和日志脱敏。B端侧代理:第一跳控制在数据离开可信环境之前,把高敏原文压在本地,只发送摘要、引用
ID或最小字段。CTool
/
API:工具结果准入在
API
返回值进入模型前,把
RawResponse
转成受控的模型可见结果,并隔离其中的指令意图。D
/
E
不是后置装饰,它们提供语义和生命周期D业务上下文编译E知识与记忆治理A
Gateway:管模型入口出口AI
应用侧模型流量控制面Gateway
看清楚每一次调用识别哪个应用、用户、租户、会话在调用;请求里有没有手机号、邮箱、token、私钥、cookie、内部错误栈。替换与阻断高危明文阻断,敏感字段替换成
token
或占位符,并按应用、租户、用户和模型供应商配置策略。响应与日志检查模型响应是否带出敏感内容,同时对
prompt、response、Trace、审计日志做脱敏。模型服务侧A
Gateway
实践:数据脱敏与可控还原B
端侧防御:管数据离开可信执行环境前可信执行环境里的高敏材料代码与
.env业务助手数据云上主机
/
容器本地不可信输入端侧代理本地识别本地替换本地还原高敏文件阻断出站前最小化远端模型与云端沉淀C
Tool
/
API:管工具结果进入模型前原始工具结果工具结果准入工具结果是证据,不是命令它可以帮助模型判断事实,但不能覆盖系统规则、改变用户目标,也不能自己驱动
Agent
去读文件、执行命令或发请求。API
能返回
≠
模型能看模型能看
≠
最终用户能看最终用户能看
≠
Trace
/
Memory
能留下进入模型前要解决两类风险D
/
E:业务上下文与长期记忆治理D:业务上下文编译业务对象AI
上下文包字段裁剪上下文编译写回控制E:知识与记忆生命周期入库召回复用下架实践
AgentGuard:面向
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 特殊教育学校工作管理制度
- 教师绩效考核实施方案
- 《H5设计与运营》电子教案
- 礼貌礼仪:培养良好社交习惯的小学主题班会课件
- 安全意识:保护自己从小开始小学主题班会课件
- 出版编辑图书内容与市场反馈绩效考评表
- 关于确认贵司提出的关于付款条件延长的确认函6篇范本
- 环保从小做起:校园清洁行动小学主题班会课件
- 催促未归还办公设备催办函(7篇范文)
- 关于离职员工薪资结算的确认函8篇范本
- 中医脉诊客观化检测设备研发进展与循证医学验证
- 2026福建三明永安市永翔发展集团有限公司公开招聘工作人员4人考试模拟试题及答案详解
- GB/T 47652-2026温室气体产品碳足迹量化方法与要求光伏发电
- 2026年注册安全工程师完整复习题库(附答案)
- 医院议事决策制度
- 中国包皮环切术临床诊疗指南(2025版)
- (期末复习)计算题 专项练习-2025-2026学年物理人教版 八年级下册
- 水肿诊疗指南(2026年版)基层规范化鉴别
- (正式版)DBJ33∕T 1356-2025 无障碍设施施工质量验收标准
- 北师大版五年级下册数学口算题题库1200道带答案可打印
- C236隐蔽型无追索权国内保理合同
评论
0/150
提交评论