大模型平台与应用安全防护

大模型平台与应用安全防护—大模型安全攻防背景二大模型安全威胁分析三平台与应用安全防御目录—大模型安全攻防Re景二大模型安全威胁分析三平台与应用安全防御分享内容大模型发展大型语言模型（LLM)深度学习模型，属于NLP领域包含数干亿（或更多）参数目的是理解和生成自然语言大模型应用大模型平台大模型开源ChatGPT因应用漏洞泄漏1.2%用户聊天数据，当天下线修复，OpenAICEO致歉LLama-65B模型开源意外泄漏内部信息，

Huggingface

CEO声明禁止继续传播大模型企业等因为推理组件RAY漏洞被攻击者“劫持”平台算力，损失超10亿美元大模型风险—大模型安全攻防背景二大模型安全威胁分析三平台与应用安全防御分享内容Hugging

Face组件漏洞（官方评级：严重）黑客通过窃取代码、模型和训练数据攻击大模型平台：供应链组件漏洞攻击大模型应用：恶意Prompt攻击攻击客户端黑客通过ChatGpt恶意Prompt钓鱼，窃取隐私攻击服务端通过恶意Prompt攻击大模型应用服务器新技术演进攻击技术随着功能发展而更新检索增强（RAG）思维链（COT）智能体架构（Agent

Server）终端助手（Computer

Use）MCP安全技术演进：利用智能体（Agent）风险利用Agent

Server缺陷利用OpenAI

Gpts沙箱的权限配置缺陷，窃取智能体预设Prompt工程和知识库Agent技术引入规划：预设Prompt工程（COT），拆解任务记忆：知识库，short-term

如多轮对话、long

term

如用户习惯工具：插件/接口，文档解析、代码执行技术演进：利用思维链（COT）风险利用COT缺陷在ChatGPT对话中污染COT，嵌入恶意行为COT技术引入牺牲时间提升准确：分步骤细分复杂问题为一系列更小、更简单的任务利用检索让攻击者也“意外”场景采纳搜索增强推荐“钓鱼网站”中的脚本网络钱包失窃RAG技术引入幻觉：模型受训练数据限制，提供虚假的信息新闻：模型受训练时间限制，提供过时的信息技术演进：利用搜索增强（RAG）风险利用Computer

Use给客户种马作恶不再“绕圈”终端控制技术引入移动端：如智能点餐PC端：如智能办公技术演进：智能助手（Computer

Use）风险技术演进：MCP安全风险工具投毒攻击示例投毒工具描述：人不会留意，但大模型会读取—大模型安全攻防背景二大模型安全威胁分析三平台与应用安全防御分享内容应用：恶意Prompt防护大模型对话场景传统waf不适用误杀：正常对话往往包含攻击代码漏杀：恶意对话往往不包含攻击代码意图识别后使用安全子模型防护规则库安全子模型应用：恶意Prompt对抗方案基于大语言模型基于传统机器学习引擎基于正则引擎说明基于大模型知识底座，利用SFT、Prompt工程、知识库等进行恶意攻击场景识别。利用机器学习算法对大量的正常和恶意流量进行分析，对恶意流量分类基于专家经验针对各种攻击类型提炼的特征正则，对流量进行正则特征匹配检测。优点维护成本低有安全知识基础场景泛化能力极强无需规则维护一定程度泛化开发成本低更新成本低缺点幻觉消除成本高分析结论不稳定数据量和质量要求高不同攻击类型单独训练规则数量大维护难检测效果维护效率泛化能力安全对抗查杀分离：捕获尝试绕过防护的高水平对手运营提效：垂类大模型能力刻画攻击链路辅助研判服务端安全安全沙箱技术RCE：代码执行器、Agent

WorkFlow（LangChain）SSRF：文件解析、日历/地图（Tools）ChatGPT利用代码器

•

GPT4随之上线代码沙箱进行数学运算将有风险的插件在沙箱中安全运行服务端安全沙箱应用安全架构：K8s+容器+沙箱安全配置：网络隔离、用户隔离产品沙箱类型网络隔离敏感信息清理多用户隔离逃逸难度O*gVisor内核级D*pyodide进程级C*Bubblewrap进程级W*FC/FC

VS

SandBox

探讨优：解决了沙箱管理问题（ms级启动）劣：用户隔离（云SDK+云密钥，难以每一个用户分配独立的空间）服务端安全安全沙箱应用关注点安全配置网络隔离，简单插件直接禁网，复杂插件通过SideCar/Proxy白名单网络访问权限控制，非Root运行安全调度使用后还原（用户文件、环境变量）用户不同时占用同一个沙箱安全运维沙箱自身安全漏洞修复dify

sandbox安全沙箱逃逸