大模型安全架构落地解决方案

AI赋能安全的机遇与挑战目录面向未来的安全架构洞察AI安全平台合作落地路径人工智能领域的智能和推理水平不断提升，Transformer为后续大模型提供了基础架构，ChatGPT通过预训练和微调实现了自然语言处理的突破，而DeepSeek则通过技术创新和开源策略推动了普惠AI的发展。DeepSeekR1ChatGPTTransformerTransformer特点：特点：推理模型，慢思考，开源，低成本/免费习（RL）和混合专家模型（MoE）等技术，显著降低了训练成本并提升了推理性能。模型通过强化学习实现了跨任务的泛化能力，其推理特点：知识模型，快思考，闭源，付费2018-2024年，OpenAI发布模型参数规模的指数级增长，ChatGPT是继数据库和搜索引擎之后的全新2017年，Vaswani等人提出的Transformer模型完全摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN仅通过注意力机制实现端到端的序列建模。AI2.0时代，在基模型+人工反馈强化学习加持下，人工智能应用开发进入“规模化”阶段,体大模型能力大模型能力从大模型“从大模型“涌现”能力的基本特性出发：①超强的语言/语义理解能力；②海量知识嵌入和检索能力；③文本生成和推理能力；④任务规划与工具使用。找到“安全场景”与“文本语义”、“工具智能”的契合点，重塑各领域安全应用。威胁检测大模型安全运营大模型威胁检测大模型安全运营大模型……模型能力产品化…………“安全+AI”其实也并不容易，绝大部分厂商在实战中未让用户“安全+AI”其实也并不容易，绝大部分厂商在实战中未让用户看到真正大幅提升的效果。面向未来，GenAI必将深刻改变网络安全工作75%的受访企业表示“降本增效”是企业应用AIGC的首要目的75%降低成本，提升效率36%提升市场反应速度34%产品差异化创新需求数据来源：红杉中国2023年CIO调研专家为主，AI为辅阶段二ChatBot在人类的监督下AGI具备决策及协同能力阶段四AI为主，专家为辅阶段三从点到线，闭环安全业务流•AI承担日常运营值守、业务上线检查、钓鱼邮件演•厂商开箱即用+面向工作流赋能单点技术•赋能细分领域、环节（如安全运营的告警研判、钓鱼检测环节，数据安全的•做出“击穿式”效果，具全面覆盖，构建网络安全的AGI•95%以上安全工作，AI自•智能体/模型高度协同，AI阶段一问答机器人线但在AI+安全的落地中，仍将面临诸多挑战AI赋能安全看起来很美好AI赋能安全看起来很美好，但应该如何在实际环境中有效建设和落地？挑挑战生长生长•灵活适配未来不断涌现的更强•大模型如•灵活适配未来不断涌现的更强•大模型如何能懂业务、懂场组织开放•大模型加入后，现有的人员分同时用户的安全投资也要逐步左移用户过往大量的投资在安全事后，但效果仍然不好，未来投资要逐步左移拦截威胁拦截威胁减少暴露保护数据控制访问•各类安全组件也将更多的面向AI智能体开放，标准化的工具调度方式将大幅缩短安全策略的响应速度，加速安全问题的闭环。•广泛多层级的安全控制组件将在简化复杂度的目标下持续整合，同时部分实时性较高的模型将原生于安全组件中，强化控制的精准性。威胁检测响应暴露风险识别身份威胁检测响应数据风险识别•安全检测响应和识别能力的GenAI的加持下，效率和效果会在得到成倍的提升，企业能在更短时间内处理更多数据，应对更多风险。•同时GenAI也在深远影响安全运营范式，基于多元化安全智能体将逐步改变传统安全运营架构，安全专家与工具协同方式也将大幅重构。——《2024年北美安全峰会技术趋势》（Gartner,2024）传统安全应用传统安全应用智算资源智算资源面向细分领域和环节,具备感知安全环境,数据存储和一定的行为能力,有一定的自主性。相比传统安全应用和工具,大幅提升安全效果,具备智能化交互体验。智能体决策与协同智能体决策与协同GenAI将加速网络和数据安全的“飞轮效应”TI平台SOAR平台响应策略下发安全模型B安全模型C数据标准化/大模型Pompt数据标准化/大Prompt传统分散碎片化的安全控制组件整合度与接口标准化更高的安全组件RAGRAG工具集工具集工具调用工具调用终端防护组件终端管理组件主机安全组件容器安全组件应用防护组件云配置安全组件漏洞管理组件资产管理组件网络控制组件网络防护组件态势感知/SIEM平台资产安全平台RAG企业安全规范与知识库UES终端安全组件ASM安全监测组件SSE安全服务边缘组件安全数据采集/数据标准化CNAPP云安全组件安全模型A••用户界面更多暴露智能体的管理界面，包括按需构建客制化的智能体，管理智能体运营，监督安能体的工作，同时在个别情况下还会继续支撑人的临时接管。•使用经过大模型赋能的安全工具应用，用户界面主要是工具，模型能力多数情况隐藏在工作之后。•围绕安全工具的使用开展日常安全运营活动。构建/运营/监督大模型调度智能体工具调度提供从Agent构建到AIworkflow编排、RAG检索、模型微调、模型管理等•…•…•…能力，轻松构建和安全AI原生应用。GenAI原生的安全技术架构FutureFuture安全体系平台层平台层SOC规则层检测类规则告警筛选规则白名单规则控制层数据层控制层智能体底座层杀毒桌管SDPNDRAI安全平台……人员流程………………NOW安全体系AI安全平台整体架构原生融合原生融合构建智能体应用业务语料场景安全语料业务基座模型开源基座模型………AI安全平台AI和应用体系安全数据接入应用层…网络硬件基础设施钓鱼检测大模型资产组件身份组件检测组件日志组件底座层模型层数据安全大模型流量检测大模型安全运营大模型算力基础设施零信任大模型…运营GPTR1-分类和规划告警确认任务R1-判断是否完成了确认安全智能助手portal安全智能助手portal析析务告•……•业务应用和大模型缺乏对提示词注入tt对外访问url：htps://v1/agent/cha知识检索《xx集团大模型使用安全规范》《生成式人工智能安全基本要求》知识检索《敏感数据字段定义》《集团合同文档案例》•AI安全平台中构建agent，对外发布服务•用户AI应用中构造hook点集成API，将送•检测正常，将提示词送入业务大模型；检•业务大模型生成内容也可进行检测和拦截•用户可针对提示词注入、大模型越狱、数•DeepSeek-R1对检测节点结果进行综合判断，生成研判结论，可通过提示词控制运营值守报告撰写智能体第一周的运营值守报告撰写智能体第一周的安全值守…•面向不同场景、时间（日常值守、HW、两•用户希望针对每一类场景，构建一个报告生同场景，快速构建出生成不同内容和格式的软硬一体化交付|纯软件交付软硬一体化交付|纯软件交付AI安全平台建设落地内容示例1：安全运营威胁情报编解码工具威胁情报编解码工具代码解释器命令执行器API/SOAR向量数据库……注：若SOC平台未接收网侧或端侧原始日志，大模型系统也可以与网侧探针和端侧代理直接对接，采集所需数据通过标准通道（如Kafka）发送所需数据1）告警信息•告警名称、告警描述、攻击状态、告警等级、告警分类、检测引擎、3）网侧安全日志•源目IP、源目端口、协议、请求头、请求体、请求方法、响应头、响应体、URL/URI、病毒名称、文件路径、文件MD5、4）端侧安全日志•进程信息、网络活动、文件系统活动、注册表信息、内存活动、命令行执行、外部连接、病毒名称、文件路径、文件MD5、告警研判事件研判处置决策运营报表网侧安全数据对话响应•反馈指导模型持续学习业务特征，降低误报漏报•上传政策要求、管理制度、资产信息等客制化知识AI安全平台建设落地内容示例2：Web威胁检测专通过标准通道（如Kafka）发送所需数据1）Web安全告警•告警名称、威胁类型、攻击状态、流量方向、规则编号、2）Web安全日志•源目IP、源目端口、协议、请求头、请求体、请求方法、响应头、响应体、URL/URI、注：若SOC平台未接收Web流量原始日志，大模型系统也可以与流量探针直接对接，采集所需数据编解码工具代码解释器命令执行器……向量数据库反馈指导模型持续学习业务特征，降低误报漏报威胁告警研判信息AI安全平台建设落地内容示例3：钓鱼威胁检测注：若SOC平台未接收邮件数据，大模型系统也可以与邮件网关或终端代理直接对接，采集所需数据通过标准通道（如Kafka）发送所需数据1）标准eml格式数据•发件人列表、收件人列表、邮件主题、附件资源、内容类型、邮件体、2）终端IOA数据•进程信息、网络活动、文件系统活动、注册表信息、内存活动、命令行执行、外部连接、异常文件操作行为、威胁告警研判信息威胁情报压缩工具搜索引擎……向量数据库反馈指导模型持续学习业务特征，降低误报漏报AI安全平台建设落地内容示例4：数据访问风险…………注：若SOC平台未接收网侧、端侧以及数据安全组件的原始日志，大模型系统也可以与网侧探针、端侧代理、数据安全组件直接对接，采集所需数据通过标准通道（如Kafka）发送所需数据1）网络流量数据（请求方法、响应体、数据载荷等）2）端侧行为数据（文件访问、进程执行、网络链接等）3）业务访问数据（SDP审计日志）4）数据库操作审计日志（数审日志）5）数据库安全组件日志（动静态脱敏、防火墙、运维管控等日志）数据梳理敏感访问风险告警事件研判威胁情报搜索引擎HRMAPI……向量数据库反馈指导模型持续学习环境特征，调优资产探测规则AI安全平台建设落地内容示例5：持续的AI红队未来的答案：事前风险治理＞事中事后投资饱和、效果同质化⑤新建⑤新建从零开始构建自定义安全垂域大模型④定制通过微调来扩展安全大模型专业领域知识③扩展通过RAG来扩展安全大模型专业领域知识②嵌入通过API集成安全大模型到现有平台模型推理结果以API方式①使用直接采购和使用现有安全大模型可控性和灵活性GenAI能力要求、资源要求、总成本安全知识库挂载-方案示意（辅助运营场景化对话增强） 3安全大模型将上传的文档与自身知识进行融合 2安全大模型对上传的文档内容进行理解安全知识库挂载-方案示意（资产安全管理增强）资产信息研判与解读未知与影子资产识别资产漏洞与脆弱性风险分析资产访问行为梳理与风险识别资产报表内容辅助生成资产信息采集（主动+被动）•人员手工配置•CMDB资产数据库对接•终端/主机代理采集•漏扫设备采集•被动流量探测•……向量数据库知识库文档知识库维护人员资产管理人员R1-Distill-Qwen-32B R1-Distill-Qwen-32B R1-Distill-Qwen-32B安全智能体开发-方案示意（渗透测试样本生成智能体）AIAI安全平台支持用户基于自身业务思考，微调出针对特定场景的安全垂域模型测试集测试工程种子语料语料治理语料生产语料、模型微调威胁运营Web检测钓鱼检测…安全AI专家用户安全应用智能运营GPT辅未来已来，AI全面重塑安全产业网络安全技术和产业将被大模型重塑，构成一个以大模型底座驱动的安全应用和服务生态报告生成语义理解报告生成语义理解第三阶段：AI重塑安全架构第二阶段：第三阶段：AI重塑安全架构第二阶段：AI融合安全业务第一阶段：AI赋能安全场景1.模型效果调优优化•通过持续的数据飞轮运营（比如模型升1.模型效果调优优化•通过持续的数据飞轮运营（比如模型升级、客制化规范导入、误报告警标注等不断完善和调整模型固有知识和2.安全AI-PaaS客制化创新•用户根据场景定义Workflow，基于AI安全平台开发框架，构建客制化的安全智