AI大模型安全架构构建与落地实践解决方案

AI大模型安全架构落地解决方案AI赋能安全的机遇与挑战面向未来的安全架构洞察AI安全平台合作落地路径AI赋能安全的机遇与挑战威胁检测响应DR暴露风险识别

I拦截威胁

P减少暴露P身份威胁检测响应DR数据风险识别

I保护数据

P控制访问

P

威胁对抗可信访问安全检测响应和识别能力的GenAI的加持下，效率和效果会在得到成倍的提升，企业能在更短时间内处理更多数据，应对更多风险。同时GenAI也在深远影响安全运营范式，基于多元化安全智能体将逐步改变传统安全运营架构，安全专家与工具协同方式也将大幅重构。各类安全组件也将更多的面向AI智能体开放，标准化的工具调度方式将大幅缩短安全策略的响应速度，加速安全问题的闭环。广泛多层级的安全控制组件将在简化复杂度的目标下持续整合，同时部分实时性较高的模型将原生于安全组件中，强化控制的精准性。GenAI将加速推动安全IPDR的循环迭代——《2024年北美安全峰会技术趋势》‌（Gartner,2024）计算资源

传统安全应用支撑安全运维、安全运营等业务的传统安全应用，用于统一运维管理安全组件，开展识别、监测与响应等工作。传统面向人类的工具场景化大模型/智能体面向细分领域和环节，具备感知安全环境，数据存储和一定的行为能力，有一定的自主性。相比传统安全应用和工具，大幅提升安全效果，具备智能化交互体验。智算资源

智能体自主开展工作，人类监督智算资源

智能体决策与协同通过多模型/智能体协同，能够调用复杂工具，多轮交互，自主闭环完整的安全工作流。极大提升安全工作效率，释放安全人员精力。协同组合方式可面向业务流灵活编排定义。以大模型为大脑的工具GenAI赋能传统安全应用，向多模型/智能体协同演进趋势1:安全运营向AI范式转变，多元化安全智能体推进运营架构的模式转变威胁检测响应智能体（模型、工具与数据编排）工具集响应控制工具RAG企业安全规范与知识库安全模型B威胁检测模型RAG威胁情报查询数据标准化/大模型Prompt工具调用趋势2:安全组件加速整合，形成越来越多标准化接口融入至安全智能体工作流传统分散碎片化的安全控制组件整合度与接口标准化更高的安全组件传统安全运营架构（平台间相互协同）SOAR平台安全编排与自动化响应TI平台威胁情报查询资产安全平台资产风险监测响应态势感知/SIEM平台安全告警关联聚合安全时间研判分析安全数据采集/数据标准化响应策略下发威胁检测响应智能体（模型、工具与数据编排）安全模型ATH威胁狩猎模型RAG企业安全规范与知识库工具集响应控制工具安全模型C安全事件研判模型安全模型B威胁检测模型RAG威胁情报查询数据标准化/大模型Prompt工具调用漏洞管理组件终端防护组件网络控制组件主机安全组件应用防护组件ASM安全监测组件UES终端安全组件SSE安全服务边缘组件CNAPP云安全组件资产管理组件终端管理组件网络防护组件容器安全组件云配置安全组件依赖专家与规则自动化GenAI推动安全飞轮效应转变过去未来GenAI将加速网络和数据安全的“飞轮效应”大模型传统的安全应用AI赋能的安全应用XDR安全运营平台安全运营模型自定义安全智能体业务行为异常监测企业员工安全助手HW值守报告助手……标准化安全AI原生应用AI原生上线安全监测AI原生安全巡检AI原生邮件外发检测……标准化安全AI原生应用AI原生扩展检测响应AI原生身份监测响应AI原生数据风险监测……多智能体协同调度趋势3：单体安全应用与安全AI原生应用还会存长期共存，但会被安全AI原生应用不断挤压和替换。安全AI原生应用大模型构建/运营/监督智能体使用AI赋能的工具使用传统工具智能体智能体协同趋势4:安全人员职能转变：从AI辅助安全人员→到安全人员构建运营和监督AI智能体工作。用户界面更多暴露智能体的管理界面，包括按需构建客制化的智能体，管理智能体运营，监督安能体的工作，同时在个别情况下还会继续支撑人的临时接管。使用经过大模型赋能的安全工具应用，用户界面主要是工具，模型能力多数情况隐藏在工作之后。围绕安全工具的使用开展日常安全运营活动。个别情况接管“GenAI原生”的安全技术架构展望-1NDR流量检测工具流量检测模型DSP数据安全平台数据风险模型安全准入产品安全管控产品安全审计产品传统的安全应用AI赋能的安全应用传统安全应用SOC态势感知平台NDR检测响应平台…平台计算与数据底座安全大模型安全研判模型Web监测模型…大模型智算底座传统安全应用SIEM安全管理平台NDR威胁感知平台…平台计算与数据底座统一安全数据底座自定义安全智能体业务行为异常监测企业员工安全助手……标准化安全AI原生应用AI原生上线安全监测AI原生安全巡检AI原生邮件外发检测……标准化安全AI原生应用AI原生扩展检测响应AI原生身份监测响应AI原生数据风险监测……计算与智算融合底座安全智能体开发底座多智能体协同调度模型承载数据共享广泛分布的安全控制组件安全组件安全组件安全组件小参数量模型嵌入安全组件小参数量模型嵌入安全组件小参数量模型嵌入安全组件大模型调度提供从Agent构建到AIworkflow编排、RAG检索、模型微调、模型管理等能力，轻松构建和安全AI原生应用。趋势6:越来越多安全组件通过嵌入小参数量模型实现原生化，但复杂智算需调度AI平台完成计算。智能体工具调度数据归集数据归集趋势5:计算与智算资源趋于融合发展，统一安全数据支撑多元化安全AI原生应用安全AI原生应用平台“GenAI原生”的安全技术架构展望-2业场景SOC高级服务SaaS服务管理协同运营平台层控制层人员流程智能体高级服务SaaS服务管理协同运营人员流程AI安全平台SOC安全运营智能体防钓鱼智能体数据安全智能体底座层检测类数据身份类数据权限类数据资产类数据数据层Future安全体系规则层日志层网络日志终端日志安全告警安全事件检测类规则白名单规则告警筛选规则终端类杀毒桌管网络类FWIPS检测类NDREDR资产类IMSDP控制层终端类杀毒桌管网络类FWIPS检测类NDREDR资产类IMSDPNOW安全体系……………………运营层控制层…………GenAI原生的安全技术架构AI安全平台整体架构底座层安全数据底座安全数据治理安全模型底座模型高效推理框架智能体构建框架算力和网络基础设施网络硬件基础设施防火墙、DDoS、WAF、路由交换、应用负载等算力基础设施模型层流量检测大模型安全运营大模型钓鱼检测大模型数据安全大模型零信任大模型以攻促防大模型生产网安全大模型应用层业务安全大模型……研判值守AI应用终端安全AI应用威胁检测AI应用数据安全AI应用零信任AI应用…员工安全助手智能体工单审核智能体攻防有效性验证智能体…安全运营管理平台身份组件日志组件检测组件......资产组件AI安全平台多模态交互值守研判已有安全体系业务大模型和AI应用AI和应用体系对接融合接入采集对接融合业务语料场景安全语料业务基座模型开源基座模型…对接挂载安全基座模型原生融合构建智能体应用微调/RAG推理承载模型训练框架智能体构建框架安全数据接入模型效果标注和调优安全模型/智能体共创多模态交互安全部门看到漏洞/入侵，需要和业务部门排查沟通，跟进工单，耗费大量精力占用（安全人员三分之一的精力）钓鱼邮件演练效果很好，但难以覆盖到公司每个人，如中招人员比较多，涉及的沟通确认和安全意识培训的工作量巨大。过去UEBA在安全领域的落地效果一直差，关键在于出现异常后，必须和出现异常的终端用户沟通确认，工作量巨大场景智能体实践：面向集团的安全助手运营GPTR1-分类和规划告警确认任务安全智能助手portal安全智能助手portalR1-判断是否完成了确认运营GPT待确认告警依次推送待确认问题依次推送待确认问题确认、反馈，可进一步沟通提问确认、反馈安全人员按需介入确认、反馈业务场景落地价值极大释放安全人员精力，代替安全人员与普通员工、IT人员进行日常沟通确认，是真正把安全智能化往前推一大步的核心环节。直接提升事件处置、告警研判、安全意识替身、ueba检测等安全工作的闭环效果，帮助安全人员把工作做得更好。凸显安全团队价值，让普通员工高频感知到安全团队的工作，普通员工也可进行管理制度、安全常识问答。业务场景落地价值8点半启动巡检任务自动巡检报告事件分析，自动导入查询语法告警分析总结汇报封堵提报总结汇报每天早上9点到达客户现场巡检：告警/流量/剧本积压/漏扫接入/时延是否正常事件分析告警分析封堵提报日报到岗即查看巡检报告，大幅节约琐碎的巡检时间语法自动通过智能体查询，异常告警输出报告封堵自动提报场景智能体实践：HW值守安全机器人RAG本地数据检索用户提示词（含有注入攻击）诱导生成违规有害内容回复包含权限外敏感数据……诱导模型执行/调用恶意代码诱导耗尽算力资源企业内部部署开源大模型，支撑各类型业务应用业务应用和大模型缺乏对提示词注入攻击检测识别能力，被恶意用户利用造成业务模型生成违规有害内容，生成内容包含用户权限外的敏感信息，甚至诱导模型执行恶意代码等高危操作用户提示词+系统提示词（含有注入攻击）场景智能体实践：大模型推理安全智能体业务场景输入提示词注入工具插件大模型越狱工具插件DeepSeek-R1输出问题重写数据泄露知识检索《敏感数据字段定义》《集团合同文档案例》问题重写合规检查知识检索《xx集团大模型使用安全规范》《生成式人工智能安全基本要求》文本处理大模型推理安全智能体对外访问url：/v1/agent/chatAPI接口示例：……AI安全平台中构建agent，对外发布服务访问url和API用户AI应用中构造hook点集成API，将送给业务大模型的提示词，送入agent检测检测正常，将提示词送入业务大模型；检测异常，拦截并提示业务大模型生成内容也可进行检测和拦截用户可针对提示词注入、大模型越狱、数据泄露、合规检查等，自定义敏感字段DeepSeek-R1对检测节点结果进行综合判断，生成研判结论，可通过提示词控制R1给出的结论内容、格式用户提示词（含有注入攻击）用户提示词+系统提示词，送入agent检测检测结论返回应用，放通或拦截场景智能体实践：大模型推理安全智能体落地价值落地价值面向不同场景、时间（日常值守、HW、两高一弱等）需编写大量不同的安全报告。用户希望针对每一类场景，构建一个报告生成智能体，既完成众多环节的排查，又能组合各次生成的内容，润色生成需要的报告。R1-70B用户输入：输出3月第一周的安全值守报告系统提示词：XXXXXXXXXXXXXXXXXX辅助运营gpt辅助运营gpt辅助运营gpt…文本拼接处理R1-70B系统提示词：XXXXXXXXXXXXXXXXXX输出运营值守报告撰写智能体“两高一弱”检查和报告撰写智能体高危漏洞排查和报告撰写智能体合规检查和报告撰写智能体场景智能体实践：安全报告生成智能体落地价值1、提供客户可以自定义编排的环境，面向不同场景，快速构建出生成不同内容和格式的报告。2、直接降低写报告重复工作。AI安全平台建设落地形态与内容AI安全平台平台/模块交付形态安全应用集群安全模型层安全运营大模型模型订阅Web威胁检测大模型模型订阅钓鱼威胁检测大模型模型订阅数据访问风险大模型模型订阅客制化安全模型...模型订阅AI训练服务RAG、安全智能体构建、微调服务服务底座层安全大模型底座软件授权算力基础设施层GPU资源池硬件安全大模型集群安全应用层XDR软件授权流量检测软件授权数据安全平台DSP软件授权零信任ZTP软件授权客制化安全应用...软件授权底座层安全数据湖底座软件授权算力基础设施层CPU资源池硬件软硬一体化交付|纯软件交付GPU裸金属服务器+

安全模型底座软件CPU裸金属服务器+

安全数据底座软件通过标准通道（如Kafka）发送所需数据1）告警信息告警名称、告警描述、攻击状态、告警等级、告警分类、检测引擎、……3）网侧安全日志源目IP、源目端口、协议、请求头、请求体、请求方法、响应头、响应体、URL/URI、病毒名称、文件路径、文件MD5、……4）端侧安全日志进程信息、网络活动、文件系统活动、注册表信息、内存活动、命令行执行、外部连接、病毒名称、文件路径、文件MD5、……AI安全平台建设落地内容示例1：安全运营专家模型SOC平台大模型数据底座（接入/治理/分发）威胁运营专家模型向量数据库治理后的网端云安全数据工具调用基于RAG引入外部知识，如误报标注、政策管理制度等告警研判事件研判处置决策运营报表对话响应反馈指导模型持续学习业务特征，降低误报漏报上传政策要求、管理制度、资产信息等客制化知识网侧安全数据端侧安全数据资产相关数据威胁情报数据……编解码工具代码解释器威胁情报命令执行器……API/SOAR注：若SOC平台未接收网侧或端侧原始日志，大模型系统也可以与网侧探针和端侧代理直接对接，采集所需数据可商用商用验证中研究中高混淆、高对抗威胁检测误报削减与海量告警融合全量告警自动研判解读N+E+X告警关联与高价值安全事件生成全量安全事件自动研判解读安全事件自动响应处置自然语言对话辅助威胁运营误报标注、检测规则等自适应学习客制化知识引入自定义威胁运营报表内容生成（5W1H）AI安全平台建设落地内容示例2：Web威胁检测专家模型SOC平台通过标准通道（如Kafka）发送所需数据1）Web安全告警告警名称、威胁类型、攻击状态、流量方向、规则编号、……2）Web安全日志源目IP、源目端口、协议、请求头、请求体、请求方法、响应头、响应体、URL/URI、……大模型数据底座（接入/治理/分发）Web威胁检测专家模型向量数据库治理后的Web流量流量探针A流量探针B流量探针C流量探针D代码解释器命令执行器编解码工具……工具调用基于RAG引入外部知识，如误报标注、客制化检测规则威胁告警研判信息反馈指导模型持续学习业务特征，降低误报漏报注：若SOC平台未接收Web流量原始日志，大模型系统也可以与流量探针直接对接，采集所需数据WebShell上传检测与研判系统命令注入攻击检测与研判SQL/Java/PHP等注入攻击检测与研判Java反序列化攻击检测与研判XSS攻击检测与研判系统信息泄露检测与研判系统目录遍历检测与研判多层编码混淆绕过攻击检测与研判弱口令与逻辑漏洞检测与研判WebShell加密流量攻击检测与研判可商用商用验证中研究中AI安全平台建设落地内容示例3：钓鱼威胁检测专家模型SOC平台通过标准通道（如Kafka）发送所需数据1）标准eml格式数据发件人列表、收件人列表、邮件主题、附件资源、内容类型、邮件体、……2）终端IOA数据进程信息、网络活动、文件系统活动、注册表信息、内存活动、命令行执行、外部连接、异常文件操作行为、……大模型数据底座（接入/治理/分发）钓鱼威胁检测专家模型向量数据库标准的eml格式数据邮件网关邮件服务器用户终端代理压缩工具搜索引擎威胁情报……工具调用基于RAG引入外部知识，如误报标注、客制化检测规则威胁告警研判信息反馈指导模型持续学习业务特征，降低误报漏报注：若SOC平台未接收邮件数据，大模型系统也可以与邮件网关或终端代理直接对接，采集所需数据邮件内容语义理解，识别钓鱼意图基于二维码的钓鱼攻击检测与研判基于加密附件的钓鱼攻击检测与研判基于网站白利用的钓鱼攻击检测与研判基于图片的钓鱼攻击检测与研判钓鱼攻击URL链接检测与研判钓鱼事件详细解读与报告生成钓鱼攻击自动处置闭环（拦截、提醒）更多邮件系统兼容（Coremail、Exchange）可商用商用验证中研究中AI安全平台建设落地内容示例4：数据访问风险专家模型SOC平台通过标准通道（如Kafka）发送所需数据1）网络流量数据（请求方法、响应体、数据载荷等）2）端侧行为数据（文件访问、进程执行、网络链接等）3）业务访问数据（SDP审计日志）4）数据库操作审计日志（数审日志）5）数据库安全组件日志（动静态脱敏、防火墙、运维管控等日志）实时数据访问业务类型梳理与研判实时数据访问中的敏感信息识别实时数据访问使用意图研判实时数据访问行为风险检测实时数据访问异常行为定性与调查还原数据运营报表内容生成……大模型数据底座（接入/治理/分发）数据访问风险专家模型向量数据库治理后的资产数据搜索引擎HRMAPI威胁情报……工具调用基于RAG引入外部知识，如误报标注、客制化检测规则数据梳理敏感访问风险告警事件研判反馈指导模型持续学习环境特征，调优资产探测规则流量探针终端/主机代理SDP数据库审计数据库安全组件注：若SOC平台未接收网侧、端侧以及数据安全组件的原始日志，大模型系统也可以与网侧探针、端侧代理、数据安全组件直接对接，采集所需数据可商用商用验证中研究中AI安全平台建设落地内容示例5：持续的AI红队实时评估未来的答案：事前风险治理＞事中事后投资饱和、效果同质化基于AI安全平台落地安全大模型创新的几种方式①

使用直接采购和使用现有安全大模型示例：直接采购和使用安全运营大模型、钓鱼威胁检测大模型、数据安全大模型使用现有模型服务②

嵌入通过API集成安全大模型到现有平台示例：将钓鱼威胁检测大模型推理结果以API方式集成至现有安全运营平台调用现有模型服务<>③

扩展通过RAG来扩展安全大模型专业领域知识示例：将用户资产信息导入安全运营大模型，基于RAG让大模型有效利用用户资产信息进行准确的研判和输出智能体自定义与开发④

定制通过微调来扩展安全大模型专业领域知识示例：基于用户工控物联网有限的有监督数据集和安全基础大模型，微调出用户工控物联网安全威胁检测大模型大模型微调⑤

新建从零开始构建自定义安全垂域大模型示例：全流程实施数据工程、预训练、微调、训推优化、智能体开发工作，探索构建全新安全垂域大模型全流程大模型训练可控性和灵活性GenAI能力要求、资源要求、总成本安全知识库挂载-用户旅程

1创建知识库2知识库分片处理3挂载知识库到模型4发布模型应用安全知识库挂载-方案示意（辅助运营场景化对话增强）上传客制化文档（管理制度、建设规范等）1安全大模型对上传的文档内容进行理解2安全大模型将上传的文档与自身知识进行融合，生成综合性答复3安全知识库挂载-方案示意（资产安全管理增强）资产安全治理：将用户侧资产管理相关文档作为外挂知识库导入到安全大模型中，指导模型根据文档中的资产定义或安全规则对网络流量进行研判，识别各类标准或非标资产信息，并给出详细推理逻辑，提高资产识别能力和管理效率。资产信息采集（主动+被动）人员手工配置CMDB资产数据库对接终端/主机代理采集漏扫设备采集被动流量探测……资产安全管理系统资产信息研判与解读未知与影子资产识别资产漏洞与脆弱性风险分析资产访问行为梳理与风险识别资产报表内容辅助生成向量数据库知识库文档编写向量化向量化资产相关对话内容资产管理人员知识库维护人员资产指纹漏洞信息举证详情分析研判调查取证结论生成RAG规划信息采集策略自主调用采集工具采集治理相关信息安全基础大模型安全智能体开发-用户旅程

R1-Distill-Qwen-32BR1-Distill-Qwen-32BR1-Distill-Qwen-32B在Workflow中，用户可以选择安全基础大模型、DeepSeek-R1-Distill-XX、Qwen、ChatGLM、LLaMA等其他通用基础大模型在AI安全平台，用户通过对安全或基础大模型、知识库检索、工具插件等原子组件进行灵活编排，构建满足业务场景的安全智能体应用安全智能体开发-方案示意（渗透测试样本生成智能体）

渗透测试样本构建智能体Workflow参考AI安全平台也提供DeepSeek、Qwen、GLM、LLaMA等开源基础模型供用户灵活选择安全大模型微调-用户旅程安全效果评估用户安全大模型安全语料生产安全基础大模型AI安全平台威胁运营Web检测钓鱼检测…+模型微调模型评测用户安全应用AI算力资源（用户或提供）安全AI专家Benchmark测试工程模型微调效果评估确保用户训练的模型满足预期目标种子语料

语料生产

语料治理

测试集

测试工程

语料类别：通用安全语料、攻防对抗语料、代码漏洞语料、威胁情报语料、……标签属性：无标签、有标签数据格式：原始格式、向量格式场景化安全Benchmark测试集安全效果评估测试功能能力模型安全合规遵从性指导AI安全平台支持用户基于自身业务思考，微调出针对特定场景的安全垂域模型安全大模型微调-用户旅程1选择微调基础模型2用户上传场景化微调语料3选择训练资源执行微调4运行微调模型(对话模式)辅助运营GPTXXXXweb检测GPTXXXX邮件检测GPTXXXXR1-Distill-Qwen-32BDeepSeekR1大预言模型安全GPT类型安全GPT类型安全GPT类型DeepSeek类型智能运营GPTXXXX安全GPT类型辅助运营GPTXXXX集团信息化战略规划-数据集集团信息网历史告警研判-数据集内网安全事件研判案例-数据集生产网业务日志和告警-数据集R1-Distill-Qwen-32B生产网安全研判生产网安全告警研判和解读智能运营GPTv2xxxxxx生产网安全研判未来已来，AI全面重塑安全产业安全分析报告安全智能客服网络安全智能监控智能渗透自动化溯源反制自动化处置对话沟通能力智能问答文法改错润色真人感对话报告生成语义理解网络安全技术和产业将被大模型重塑，构成一个以大模型底座驱动的安全应用和服务生态大模型底座平台安全协同与决策指挥Payload抽取关联分析日志解析高级威胁分析能力生成防护规则修复建议封禁IP知识挖掘响应处置能力开放且多元化安全智能体安全运营智能体服务接口Agent设计提示工程数据安全智能体防钓鱼智能体参数调优AI安全平台合作落地路径AI安全平台建设落地：