从间接注入到数据流劫持:AI Agent 数据流攻与防_第1页
从间接注入到数据流劫持:AI Agent 数据流攻与防_第2页
从间接注入到数据流劫持:AI Agent 数据流攻与防_第3页
从间接注入到数据流劫持:AI Agent 数据流攻与防_第4页
从间接注入到数据流劫持:AI Agent 数据流攻与防_第5页
已阅读5页,还剩24页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

从间接注入到数据流劫持——AIAgent数据流攻与防现在:Agent业务链路

Data

Flow

数据被看见内容被执行结果被记住过去:问答助手安全问题看起来很直观:输入什么,回答什么Trace/Log/

Report/Memory

Write现在的AI

,还是聊天框吗?从问答工具,到企业业务链路Agent

Gateway身份/权限业务上下文业务系统交易/工单/代码RAGMemoryTool/APIMCP问题不再只是模型说了什么,而是数据流到了哪里。模型回答用户Prompt/Response

›变成HackCopilot:从网页投毒到会话泄露copilot是微软推出的助手强集成在Edge

office等产品里可以根据用户当前页面文档或对话上下文来回答问题和执行辅助操作这是我们挖掘的=个价值3万美元赏金的微软copilot间接注x漏洞羽网页里的不可见指令诱导copilot生成外带链接用户=点击那当前对话和页面中的敏感上下文就会泄露到攻击者服务器HackCopilot:从网页投毒到会话泄露受害者访问攻击者控制的网页在页面内点开copilot发送消息copilot

自动将该网页内容拼入系统提示词页面中藏有不可见标签包裹间接注x指令让copilot后续回答时把用户上下文分段塞进markdown

链接的URL用户点击链接上下文经URL外带至攻击者站点间接注入:当不可信内容进入Agent的决策链攻击者控制点常见载体外部通信能力

DataFlowHijack私有数据访问不可信内容

私有数据访问

外部通信能力防御重点羽阻断三者同时成立

做数据流控制罚限制Age能读什么可能调用代么⃞输出能否触发外部请求正具返回值搜索结果客户记录邓会话信息内部文档代码仓库

凭证

Token

密钥

数据库CRM发请求、

发邮件写

PR、

追染国片生成可点击链接APIi

call

web

hook数据流劫持链路simon

willis

on

将这三个条件称为Al

Agent

的"lethal

trifecta":私有数据、

不可信内容、

外部通信01/Seed投放载荷将恶意指令理入外部内容02/Trigger会话触发Aget

读取并带入上下文04/

Impact影响落地数据泄露文件篡改状态改变03/

Hijack劫持能力模型调用工具执行恶意操作Age攻击不是=句

用而是=条完整的攻击链检测Response

JLogJ

Memory

uExternal

Reguesseed

检测内容来源

作者身份

访问权限Trigger检测RAG/Reader

I

Tool

Result

审查Hack检测Tool

call

vIA

PIZ

Browser

v

shell

监控攻击阶段拆解HackOpenHands:攻击案例open

Hands软件开发智能体采台羽具备集成邓云端或自托管部署以及代码库自动化功能。OSSInsight在

年对

coding

aget

万Git

Hub

events

open

Hands按GitHubstars排在

次于open

codeGemini

icLl和claude

code包含

关键字的issue数量达到

12k外部通信能力DataFlowHijack私有数据访问环境变量https://www.openhands.devhttps://ossinsight.io/blog/coding-agent-wars-2026沙箱网络权限HackOpenHands:攻击案例HackOpenHands:从

Issue投毒到Token泄露1seed

恶意用户在ISSUE中通过注释隐藏指令HackOpenHands:从

Issue投毒到Token泄露

仓库ownerHackOpenHands:从

Issue投毒到Token泄露3&4Hi

ac

k烈mp

act

执行攻击者命令源搜集env数据来源输出面企业Agent应用的典型链路企业Age的关键不是

接了多少系统

用而是这些系统里的数据最终会被编译成模型上下文结构判断企业Agent不是聊天框,而是上下文编译链路。安全问题发生在数据被拉取、裁剪、组合、传入模型并继续流向工具或记忆的过程中。边界判断

真正的边界

,是数据进入模型视野之前。不是所有数据都该进入上下文,也不是所有进入上下文的内容都该影响行动。最终回答面向用户、客户、工单或报告的内容。轨迹/记忆日志、审计、报告、长期记忆或未来工具调用调用API、

读写文件、

发起网络请求。上下文构建器把多源数据裁剪可降权G摘要⃞排序那并编译成模型真正能看到的上下文:用户/员工任务目标与用户意图RAG/向量库文档、制度、检索片段记忆/画像历史上下文与用户画像MCP/工具中心工具说明、参数、能力边界业务工具/API订单、支付、风控、日志模型上下文这里不是普通数据缓存用而是Aget的临L策略上下文来源元数据字段最小化C可信边界摘要会被并置推理。RAG

来源。AXMSUTRB数据进入上下文后,角色会变传统系统里的=行记录那进入上下文后深可能变成事实依据行动指令或长期记忆。真正的问题:这段数据进入上下文后会变成事实指令还是长期记忆?计算

规则引擎可风控模型可日志采台按固定逻

辑消费数据。查询

订单支付那风控亚单等数据原本由各自业务系统按权限查询:留痕

查询结果处理记录运行日志进入传统

审计与合规链路。展示

字段被页面报表或客服后台展示罚消费

边界相对清楚。01

·

可见被看见02

·可执行被执行03

·可沉淀被记住模型上下文01进入上下文前上下文边界数据从业务系统亚具结果RAG

型上下文之前那需要判断是否裁剪G替换摘要可降权或阻断02推理执行中执行边界不可信内容导旦进上下文涌就不能默认拥有行动权羽它是否能影响规划器工具调用文件读取和网络请求必须被单独控制03任务结束后记忆边界任务结束后刚临时上下文可能被写太Trace

eporMe

moy或向量库孤=旦被沉淀那未来就可能再次被召回和传播。上下文改变了数据边界Agent场景里的边界用不只是谁能查数据库深还包括数据能不能进x上下文能不能影响行动能不能被系统长期记住。AI场景里的边界,不只是在系统入口。真正关键的是那数据进上下文前推理执行取任务结束后的每二次状态变化。从这里反推五类控制点。Gateway端侧代理SDK/Middle

ware

RAG/Memoy分别守住不同数据生命周期能不能被执行?能不能记?能不能看?五类可被打穿的数据流边界这些边界不是按产品名划分而是按数据进X上下文触发执行进入记忆的路径划分数据来源用户、终端、业务系统、

RAG、Memory、工具结果,都会成为上下文候选材料。上下文编译数据在这里被裁剪、摘要、排序、拼装

,并开始改变可见范围和用途。输出与沉淀最终回答、

工具调用、

日志、Trace、报告、

Memory都可能成为新的数据

流出口。E

RAG/

Memory知识与记忆入口RAG/

Memory治理来源、ACL、可信度、生命周期和污染下架。

端侧防御终端第一跳端侧代理在数据离开可信执行环境前,先做本地替换、阻断和最小化。

SDK/中间件业务上下文编译SDK/

Middleware定义业务对象哪些字段能进上下文,结果能否写回。

Tool/Api工具结果准入Tool/API闸口决定原始后端结果能否成为模型可见结果。

Gateway模型入口出口Gateway负责模型调用、响应、日志和Trace

中的中心化敏感治理。模型上下文=旦进入模型视野用内容可能成为事实依据行动建议用或下二轮任务的记忆材料。能不能记?决定Trace

Meoy和复用能不能被执行?决定不可信内容是否能影响行动能不能看决定数据暴露与模型可见范围ToolCallResponse用户输入终端文件业务对象知识片段TraceMemory权限来源字段目的D/

E不是后置装饰

它们提供语义和生命周期判断顺序不是哪里能扫敏感词这段数据正在穿过哪=个边界先抓A/

B/C:离数据流转最近,也最容易先落地五类边界,各有主战场E不是五个重复脱敏点深它们分别守住中C入口耶终端第二跳T工具结果业务语义和长期生命周期。D

业务上下文编译写回业务对象。E

知识与记忆治理告诉系统内容来自哪里谁能召回是否可信能保留多久污染后如何下架与重建索引在数据离开可信环境之前,把高敏原文压在本地,只发送摘要、引用ID或最小字段。

站在所有模型调用入口和出口上,做

PII、

secret、结构化敏感数据识别、替换、阻断和日志脱敏。在API返回值进入模型前,把Raw

Response转成受控的模型可见结果,并隔离其中的指令意图。A

Gateway:

中心化敏感治理C

Tool/API:工具结果准入B

端侧代理:第一跳控制

模型流量控制面

Gateway看清楚每一次调用模型服务侧型供应商只看到经过治理的请求和响应。AI应用侧业务助手

copilot-服Agent发起模型请求:AGateway:管模型入口出口Gateway的优势是集中⃞可观测好落地羽它先把模型流量里的敏感明文和日志暴露压住。响应与日志检查模型响应是否带出敏感内容,同时对prompt、response、Trace、审计日

志做脱敏。替换与阻断高危明文阻断,敏感字段替换成token或占位符,并按应用、租户、用户和模型供

应商配置策略。识别哪个应用、用户、租户、会话在调用;请求里有没有手

机号、邮箱、token、私钥、

cookie、内部错误栈。边界很清楚:Gateway不二定理解业务对象啊也不适合单独判断工具结果语义RAGichunk生命周期和写回风险。A

Gateway实践:数据脱敏与可控还原Gateway实践的核心强是在Li

teLL

M这类模型网关上加二层数据围栏环模型调用前把敏感明文识别可脱敏井化强返回时还原可信执行环境里的高敏材料本地不可信输入网页:PDF

OCR耶源码注释可能夹带远端模型与云端沉淀远端应该只看到完成任务所需的最小V信息用而不是把终端变成无限制的数据出口:端侧代理关键问题深这些内容是否应该离开当前环境?强是否必须整段离开 Trace

会不会长期记住它?B端侧防御:管数据离开可信执行环境前业务助手数据客户对话订单合同⃞审批材料和工单记录代码与.env源码那客户配置耶生产凭据那私钥和部署参数 Trace

是否禁止保存明文?能不能只发摘要用而不是整段原文?能不能只发引用

用由本地负责还原?端侧不是中C检测的重复罚而是在第导跳决定敏感原文是否能离开本地耶容器耶主机或TEE

云上主机/容器EC2ECS

Sidecar

TEE

或隐私计算节点。本地替换本地还原高敏文件阻断本地识别出站前最小化原始工具结果进入模型前要解决两类风

险API能返回

≠模型能看模型能看

≠最终用户能看最终用户能看

≠Trace/

Memory能留下工具结果准入工具结果是证据,不是命令它可以帮助模型判断事实,但不能覆盖系统规则、改变用户目标,也不能自己驱动Agent去读文件、执行命令或发请求。CTool/API:管工具结果进入模型前Aget

的高价值数据往往不是用户输入而是工具从后端系统查出来的

执行边界自然语言默认是资料那不能自动拥有工具调用沉淀控制完整工具结果能否进入TraceMeoy和报订单

支付

数据库内部错误栈

跨租户数据数据暴露哪些字段能进上下文可哪些只能摘要邓引用或留在原系统:结果污染返回值可能夹带间接注入被模型误当成下⃞步行动建议。CRM客户手机号可邮箱可历史跟进⃞销售备注。外部内容网页邮件

MCPE:知识与记忆生命周期 RAG或Memoy用就会变成未来可召回的上下文必须在入库前定义规则D:业务上下文编译业务对象进入模型之前;SDKH

Middle

waredata

scopeD/

E:业务上下文与长期记忆治理

负责拦截和执行;D/E负责告诉系统这段数据是什么⃞属于谁可能不能长期复用。D/E不⃞定先做成完整平台羽但它们必须给提供语义强这是谁的数据耶当前能不能用耶来自可信系统还是外部输入可能不能被长期记住。复用chunk是资料理不是指令珊污染内容不能影响

行动。入库来源ownerACL敏感级别可信度随

chunk

下架支持污染下架耶索引重建可记忆过期和审

计追踪:召回权限过滤用而不是只按相似度。AI上下文包只包含当前任务必要字段那用途说明那来源和写回策略。业务对象材料上下文编译把业务数据转成带目的和来源的可见结果。写回控制模型结果

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论