腾讯从间接注入到数据流劫持:AI Agent 数据流攻与防_第1页
腾讯从间接注入到数据流劫持:AI Agent 数据流攻与防_第2页
腾讯从间接注入到数据流劫持:AI Agent 数据流攻与防_第3页
腾讯从间接注入到数据流劫持:AI Agent 数据流攻与防_第4页
腾讯从间接注入到数据流劫持:AI Agent 数据流攻与防_第5页
已阅读5页,还剩26页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

从间接注入到数据流劫持

——

AI

Agent

数据流攻与防SYS.ADMIN/

/ONLINEhaya&

12end> Ai安全专家 / AiSecurity

Experthaya,原腾讯安全研究员,主要研究方向为:安全对抗技术、Ai

Infra

及AiNative安全研究,著有内网安全攻防:

红队之路12end

(Mark),安全专家,擅长安全攻防与内部建设,Ai安全漏洞挖掘。CORE_

MODULES.

EXEAI/

ML攻防对抗甲方建设01001000

01000001

01000011

01001011

01000101

01010010

00100000

01010000

01010010

01001111

01000110

01001001

01001100

01000101

00100000

01001001

01001110

01001001

01010100

01001001

01000001

01001100

01001001

01011010

01000101

0100000101110

00101110

00101110

00100000

01010011

01011001

01010011

01010100

01000101

01001101

00100000

01001111

01001110

01001100

01001001

01001110

01000101

00100000

01001000

01000001

01000011

01001011

01000101

01010010

00100000

010100漏洞挖掘现在的

AI,还是聊天框吗?从问答工具,到企业业务链路过去:问答助手Prompt

/Response现在:Agent

业务链路Data

Flow用户模型回答安全问题看起来很直观:输入什么,回答什么变成

›AgentGatewayRAGMemoryTool/

APIMCP身份

/

权限业务上下文业务系统交易

/

工单/

代码Trace/Log/Report/Memory

Write数据被看见内容被执行结果被记住问题不再只是模型说了什么,而是数据流到了哪里。Hack

Copilot:从网页投毒到会话泄露间接注入:当不可信内容进入

Agent

的决策链攻击者控制点常见载体01/

Seed投放载荷02/

Trigger会话触发03/

Hijack劫持能力04/

Impact影响落地攻击阶段拆解Hack

OpenHands:攻击案例Hack

OpenHands:从

Issue

投毒到

Token

泄露Hack

OpenHands:从

Issue

投毒到

Token

泄露Hack

OpenHands:从

Issue

投毒到

Token

泄露企业

Agent

应用的典型链路数据来源U用户

/

员工任务目标与用户意图RRAG

/

向量库文档、制度、检索片段M记忆

/

画像历史上下文与用户画像TMCP

/

工具中心工具说明、参数、能力边界B业务工具

/

API订单、支付、风控、日志C上下文构建器L模型上下文输出面A最终回答面向用户、客户、工单或报告的内容。X工具调用调用

API、读写文件、发起网络请求。S轨迹/记忆日志、审计、报告、长期记忆或未来

RAG

来源。结构判断企业

Agent

不是聊天框,而是上下文编译链路。安全问题发生在数据被拉取、裁剪、组合、传入模型并继续流向工具或记忆的过程中。边界判断真正的边界,是数据进入模型视野之前。不是所有数据都该进入上下文,也不是所有进入上下文的内容都该影响行动。数据进入上下文后,角色会变模型上下文01

·

可见被看见02

·

可执行被执行03

·

可沉淀被记住上下文改变了数据边界01上下文边界能不能看?02执行边界能不能被执行?03记忆边界能不能记?AI

场景里的边界,不只是在系统入口。从这里反推五类控制点。五类可被打穿的数据流边界数据来源用户、终端、业务系统、RAG、Memory、工具结果,都会成为上下文候选材料。用户输入 终端文件 业务对象知识片段上下文编译数据在这里被裁剪、摘要、排序、拼装,并开始改变可见范围和用途。字段来源权限目的模型上下文输出与沉淀最终回答、工具调用、日志、Trace、报告、Memory

都可能成为新的数据流出口。Response Tool

Call TraceMemory模型入口出口Gateway

负责模型调用、响应、日志和Trace

中的中心化敏感治理。B终端第一跳端侧代理在数据离开可信执行环境前,先做本地替换、阻断和最小化。工具结果准入Tool

/

API

闸口决定原始后端结果能否成为模型可见结果。业务上下文编译SDK

/Middleware

定义业务对象哪些字段能进上下文,结果能否写回。E知识与记忆入口RAG

/

Memory

治理来源、ACL、可信度、生命周期和污染下架。A Gateway端侧防御C Tool/

ApiD SDK

/

中间件RAG/

Memory五类边界,各有主战场先抓

A

/

B

/

C:离数据流转最近,也最容易先落地AGateway:中心化敏感治理站在所有模型调用入口和出口上,做

PII、secret、结构化敏感数据识别、替换、阻断和日志脱敏。B端侧代理:第一跳控制在数据离开可信环境之前,把高敏原文压在本地,只发送摘要、引用

ID或最小字段。CTool

/

API:工具结果准入在

API

返回值进入模型前,把

RawResponse

转成受控的模型可见结果,并隔离其中的指令意图。D

/

E

不是后置装饰,它们提供语义和生命周期D业务上下文编译E知识与记忆治理A

Gateway:管模型入口出口AI

应用侧模型流量控制面Gateway

看清楚每一次调用识别哪个应用、用户、租户、会话在调用;请求里有没有手机号、邮箱、token、私钥、cookie、内部错误栈。替换与阻断高危明文阻断,敏感字段替换成

token

或占位符,并按应用、租户、用户和模型供应商配置策略。响应与日志检查模型响应是否带出敏感内容,同时对

prompt、response、Trace、审计日志做脱敏。模型服务侧A

Gateway

实践:数据脱敏与可控还原B

端侧防御:管数据离开可信执行环境前可信执行环境里的高敏材料代码与

.env业务助手数据云上主机

/

容器本地不可信输入端侧代理本地识别本地替换本地还原高敏文件阻断出站前最小化远端模型与云端沉淀C

Tool

/

API:管工具结果进入模型前原始工具结果工具结果准入工具结果是证据,不是命令它可以帮助模型判断事实,但不能覆盖系统规则、改变用户目标,也不能自己驱动

Agent

去读文件、执行命令或发请求。API

能返回

模型能看模型能看

最终用户能看最终用户能看

Trace

/

Memory

能留下进入模型前要解决两类风险D

/

E:业务上下文与长期记忆治理D:业务上下文编译业务对象AI

上下文包字段裁剪上下文编译写回控制E:知识与记忆生命周期入库召回复用下架实践

AgentGuard:面向

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论