AI安全运营方案_第1页
AI安全运营方案_第2页
AI安全运营方案_第3页
AI安全运营方案_第4页
AI安全运营方案_第5页
已阅读5页,还剩54页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第1页共2页AI安全运营方案方案定位:本方案是组织AI安全运营的整体方案——运营团队面向AI底座、大模型、智能体三层对象,体系化开展"日常安全运营+专项安全运营+安全应急响应+度量与持续改进",使AI系统可见、可控、可审计、可追责。1.总则1.1编制背景AI技术同时扮演被攻击对象与攻击能力放大器两个角色,传统安全运营框架无法直接覆盖:维度传统安全运营AI安全运营新增对象防护对象网络/主机/应用模型输入输出、智能体行为链、训练数据、算力底座风险形态漏洞利用、恶意代码提示注入、记忆污染、过度授权、模型投毒、级联失效数据风险数据库泄露模型记忆提取、RAG跨租户泄漏、智能体自主外传攻击速度人工/脚本AI驱动(秒级漏洞利用、自动化渗透、AI生成社工)治理挑战系统级合规模型级问责、AI自主决策边界、影子AI近期威胁态势:韩国五大商业银行遭疑似AI驱动攻击。343家组织的AI编码智能体未经授权将1.3万张敏感截图推送至公开GitHub——本质是缺乏外部写入确认机制。AI编码智能体被投毒劫持;LiteLLM1.107.0供应链投毒、4.9万次下载。AI辅助漏洞开发首次实战确认;LLMjacking暴露大模型自主攻击路径。AI换脸视频通话诈骗430万元;Warlock团伙2小时禁用40+主机安全软件。监管同步收紧:生成式AI备案累计1112款+应用登记731款,湖南等地已约谈大模型运营单位。运营必要性:上述威胁与监管要求使AI安全运营成为一项持续性、专业化的能力建设,而多数组织缺乏专职AI安全运营人员与成熟方法论——须设立专职运营团队持续开展覆盖"防己"与"防他"的运营工作。本方案为整体安全运营方案:界定运营团队面向AI底座、大模型、智能体三层对象应做什么(第3–6章)、做到什么度量(第7章)、何时启动与如何推进(第9–10章);对外委托服务时可直接作为SOW/SLA底稿。1.2运营目标运营总目标:AI系统可见、可控、可审计、可追责——资产全量入台账,行为全链路留痕,风险分级动态管理,事件闭环处置。三项可量化运营目标:目标度量指标基线值1资产可见AI资产台账覆盖率/影子AI纳管率100%/≥90%2风险可控L1基线达标率/高危漏洞SLA内处置率100%/≥90%3事件可管重大事件止血及时率/整改闭环率≥90%/≥90%1.3运营范围对象范围:组织自建、采购、接入的AI底座(基础设施与平台)、大模型(模型与服务)、智能体(Agent应用),覆盖公有云、私有云、本地服务器、终端设备四类部署环境。职能范围:运营团队开展日常安全运营(第4章)、专项安全运营(第5章)、安全应急响应(第6章);向前衔接建设部署方、向后约束访问使用方。角色范围:按《人工智能应用安全指引总则》划分四类角色——数据提供方、建设部署方、运行管理方、访问使用方。1.4运营对象模型:AI底座—大模型—智能体层组成要素主要风险(依据)运营要点AI底座层算力设施(GPU/NPU集群)、模型服务平台(推理服务、模型仓库、AI网关)、向量数据库/RAG基础设施、数据管道、智能体开发平台、运行环境(服务器、容器、网络、端口)内生风险"算力设施与运行环境(算力/组件/供应链断供)";部署四环境差异化;RAG与生产敏感数据隔离台账、巡检阈值、暴露面管控、补丁、隔离与访问控制大模型层基座/微调/嵌入模型(版本、来源、权重)、推理服务、提示词工程资产、生成内容内生风险:模型(幻觉/安全机制不可靠/注入/行为偏离,含拒停服务、欺骗评测、突破隔离)、算法(可解释性/偏见/鲁棒性)、训练数据7类;OWASPLLMTop102026十项版本锁定、输入输出防护、内容标识、服务边界防护、评测复测智能体层智能体实例(编码/运维/客服/数字员工)、工具/技能/API/插件/MCP服务、短期/长期记忆、任务规划与执行链、多智能体协同链路智能体风险(身份权限滥用/推理规划/调用执行/记忆存储);提示注入/目标偏离/权限滥用/记忆污染/级联失效;OWASPASI2026十项(含失控智能体、MCP扇出)最小权限、门控审批、沙箱隔离、全程审计、记忆防污染、Skill供应链管控、一键接管1.5三层对象×运营工作全景矩阵本矩阵是"三层对象×运营工作"的全景映射——按AI底座、大模型、智能体分别列明应开展的运营工作,工作项逐项SOP见第3–6章:运营工作项AI底座层大模型层智能体层资产台账与定级(§3)台账三:算力集群/模型服务平台/向量库/AI网关/数据管道/运行环境;暴露面登记台账一:模型版本/来源/许可证/推理服务;版本锁定台账二:实例/权限范围/工具-Skill-MCP清单/AgentID安全巡检(§4.1)每日:算力/推理服务/AI网关/Token消耗/向量库/暴露面/隔离环境每周:版本一致性/输入输出防护/内容标识/隐蔽外泄通道/质量指标每周:权限漂移/门控/危险配置/执行约束/记忆上下文/工具一致性/审计日志监测与告警(§4.2)AI-ALERT-07(异常节奏)、09(底座组件供应链)AI-ALERT-01(注入)、05(失控执行)、06(异常消耗)AI-ALERT-02(越权)、03(外传前兆)、04(记忆污染)、08(影子AI)漏洞与补丁(§4.3)GPU服务器/容器/向量库/网关CVE;SBOM比对模型服务/推理框架CVE;版本锁定回归智能体框架/Skill/MCP已知漏洞基线基线与变更(§4.4)网络策略/端口/沙箱参数变更审批模型版本变更双签;提示词/护栏变更签认权限变更双签;Skill/MCP新增审批;L1–L3分级基线日志审计(§4.5)服务与推理日志(脱敏)prompt/completion日志脱敏或加密全行为链"谁/哪个agent/何时/做了什么/写入了什么";≥180天供应链运营(§4.6)组件SBOM季度刷新、依赖锁定模型权重来源、训练数据敏感扫描与来源合规Skill/MCP白名单+强制扫描+L3代码审计;投毒通报48h响应数据与内容安全(§4.7)RAG/训练数据与生产敏感数据隔离输入检测/输出风控/AIGC标识(GB45438)月抽验DLP覆盖智能体通道/凭据沙箱/多租户隔离风险评估与测评(§5.1/5.3)部署环境与暴露面评估T/ISEAA005/006评测、越狱测试、年度+风险变化触发GB/Z242-2026能力基线、设计十二域核查红队与演练(§5.2/§6.6)暴露面/隔离绕过攻击自动化越狱、直接/间接注入越权/记忆投毒/MCP扇出/失控智能体场景(ATLAS战术)合规与培训(§5.4/5.5)176号令/等保AI相关项备案/应用登记、内容标识合规智能体指南跟踪、行业AI标准动态应急响应(第6章)P7服务中断、P8外部AI攻击(封堵/切换/限流)P5内容安全(紧急关停/下架)P1失控(一键中断)、P2注入、P3外泄、P6越权1.6三层对象运营总览1.6.1AI底座层运营对象:算力设施(GPU/NPU集群)、模型服务平台(推理服务、模型仓库、AI网关)、向量数据库/RAG基础设施、数据管道、智能体开发平台、运行环境(服务器、容器、网络、端口)。主要风险:内生风险"算力设施与运行环境(算力/组件/供应链断供)";部署四环境差异化。运营工作:底座台账与24h更新(§3.1);每日自动化巡检(§4.1.1);组件漏洞与补丁SLA(§4.3);暴露面变更审批(§4.4);SBOM供应链运营(§4.6);RAG/训练数据与生产敏感数据隔离核验(§4.7)。关键控制:底座服务与智能体实例公网不可达、本地端口仅绑回环、沙箱/容器隔离生效。1.6.2大模型层运营对象:基座/微调/嵌入模型(版本、来源、权重)、推理服务、提示词工程资产、生成内容。主要风险:内生风险——模型(幻觉/安全机制不可靠/注入/行为偏离,含拒停服务、欺骗评测、突破隔离)、算法(可解释性/偏见/鲁棒性)、训练数据7类;OWASPLLMTop102026十项(提示注入/敏感信息泄露/过度授权/供应链/数据与模型投毒/无限制消耗/错误信息/隐藏上下文暴露/向量与嵌入弱点/不当输出处理)。运营工作:模型台账与版本锁定(§3.1);输入防护(注入检测)与输出防护(过滤/不当输出处理)巡检与月调优(§4.1.2/§4.7);AIGC标识GB45438月抽验(§4.7);质量与安全指标看板——幻觉率/有害拦截率/越权次数/拒答率(§4.1.2);Token消耗与API滥用监测(AI-ALERT-06);隐蔽外泄通道(导出接口/调试日志/错误上报)封堵(§4.1.2);评测与复评,每年一次+风险变化触发。关键控制:模型版本变更双签、灰度发布与版本回退、紧急关停"三件套"(§6.5)。1.6.3智能体层运营对象:智能体实例(编码/运维/客服/数字员工)、工具/Skill/API/插件/MCP服务、短期/长期记忆、任务规划与执行链、多智能体协同链路。主要风险:智能体风险(身份权限滥用/推理规划/调用执行/记忆存储);提示注入/目标偏离/权限滥用/记忆污染/级联失效;OWASPASI2026(含失控智能体、MCP扇出、意外代码执行)。运营工作:智能体台账(权限范围/Skill-MCP清单/AgentID,§3.1);权限月度复核与漂移处置(§4.1.3);门控(HITL)抽验(§4.1.3);Skill/MCP供应链审批与扫描(§4.6);记忆与上下文污染监测(AI-ALERT-04,§4.2);执行约束核对——最大步数/调用次数/资源限额/超时;全行为链审计与月度抽验(§4.5);一键接管实测(§6.5)。关键控制:最小权限、沙箱隔离、高影响/不可逆操作人工审批、级联失效隔离。1.7全生命周期安全运营门禁AI安全运营须覆盖七阶段全生命周期,每阶段设置运营门禁,由运营团队与建设部署方共同履行;智能体8环节风险与7类防范来源:生命周期阶段安全运营门禁(关键运营动作)主责本方案对应前期规划风险识别与分类、安全分级五级、能力成熟度评估、一键接管/版本回退/紧急关停规划建设部署方+运营团队§3.2、§6.5设计开发设计十二域安全核查、训练数据来源/标注质控/清洗过滤防投毒建设部署方(运营团队提供基线)§3.4验证确认上线前安全评估、红队、特殊群体(未成年人等)测试分析应急岗+AIOwner§3.4、§5.1/§5.3部署安全护栏防提示注入、部署四环境差异化落实、灰度发布与7天监测底座岗+模型岗§3.4、§4.4运行和监控八项日常运营工作(巡检/监测告警/漏洞/变更/审计/供应链/数据内容/防他)运营团队各岗第4章持续验证评估年度复评+风险变化触发、分级季度复评分析应急岗§3.2、§5.1退役下线模型文件/训练数据/权重文件/超参数配置/训练脚本/推理服务配置安全处置(确保无法恢复)、台账注销、权限回收模型岗+数据Owner§3.1、§4.4门禁要求:未通过"验证确认"门禁不得部署;退役阶段安全处置为七阶段的明确要求,须留存处置记录备查。1.8运营原则1.合规为纲:以《人工智能安全治理框架3.0》为纲,衔接备案、176号令、AIGC标识等监管要求。2.风险导向、分级管控:按"应用场景×智能化水平×应用规模"三要素定级五级,风险越高、措施等级越高(附件1、"动态平衡"治理观)。3.技管结合:技术防护(护栏/沙箱/审计)与管理流程(审批/台账/问责)同步建设。4.人类最终控制:高风险操作必须人工审批(HITL),智能体行为不脱离人类监督。5.全链路可追溯:决策与操作留痕不可篡改,事故可回溯到团队/人/模型版本/配置变更。6.整改闭环、平战结合:发现问题→整改→复测→归档;日常运营与攻防演练一体。2.运营体系与职责2.1组织架构采用MSS模式"1+N"组织,复杂场景可叠加"三岗协同"(运营岗/建设岗/分析汇报岗):A[AI安全运营委员会<br/>决策·重大风险裁决·季度汇报]-->B[运营经理<br/>统筹·SLA管理·报告质量·对外接口]B-->C[AI底座运营岗<br/>巡检·补丁·基线·暴露面·隔离]B-->D[模型·智能体运营岗<br/>台账·权限复核·供应链·护栏策略]B-->E[分析与应急岗<br/>研判·事件·情报·红队组织]F[AIOwner/建设方]-.设计落实·灰度回退·SBOM.->DG[使用方/业务部门]-.使用规范·异常上报.->E2.2角色职责角色职责要点关键输出AI安全运营委员会审定运营制度与KPI;裁决重大风险处置(紧急关停/模型下线/对外通报);接收季度汇报制度签发、裁决记录、季度纪要运营经理运营计划排期;台账与报告质量;监管/审计接口;组织演练;SLA管理周/月/季/年报告、演练计划AI底座运营岗底座资产与每日巡检;推理服务/向量库/AI网关的基线与补丁;暴露面与网络策略;沙箱隔离验证巡检报告、漏洞台账(底座侧)、变更记录模型/智能体运营岗模型版本与台账;上线评审跟进;提示词与护栏策略运营;智能体权限月度复核;Skill/MCP供应链审批与扫描;记忆与上下文巡检台账(模型/智能体侧)、Skill审批单、基线核查报告分析与应急岗告警研判与事件处置;威胁情报跟踪(AI事件/AI组件CVE);红队与演练组织;事件报告与复盘处置记录、情报简报、演练/事件报告AI/模型/智能体Owner(建设方)落实设计十二域安全要求;配合评审、灰度、回退;提供SBOM与AI组件清单评审材料、SBOM、回退记录访问使用方(业务部门)遵守使用规范(数据使用、禁止事项);上报异常行为;参加意识培训异常上报记录、培训签到2.3运营人力配置建议(建议值,待确认)体例参照SOC运营"1/2-3/2人"分级配置模式:规模档AI资产规模(参考)配置建议说明小型智能体<10个、单模型平台1人主责+兼职底座+模型岗合并;分析应急岗由既有SOC人员兼任中型智能体10–50个、多平台1+N(3–5人)三岗分立;重大级系统告警工作时间30分钟响应大型/关基智能体>50个,或含重大级及以上系统5人以上+外部专家池可7×24轮值;红队/测评引入外部力量2.4RACI责任矩阵R=执行A=负责C=咨询I=知会:运营工作运营经理底座岗模型/智能体岗分析应急岗AIOwner安全Owner资产台账与分级ARRCCC日常巡检IRRCIA告警研判与处置ACCRIC漏洞与补丁AR(底座/模型服务)R(智能体框架/Skill)CCC配置基线与变更ARRCCC上线安全评审ACRRRC风险评估/红队ACCRRC应急响应ARRRCC合规与报告ACCRCC培训与意识ACCRIC2.5岗位作业检查单各岗位"每日/每周/每月"动作清单见。3.资产台账与风险分级(运营基础)原则:资产先行——不知道在用哪些AI,就不知道查什么、防什么。3.1五类资产台账(字段规格)台账一:模型资产台账字段必填填写说明/示例模型ID/名称是M-001基座大模型(商用/开源名)版本是锁定版本号(防供应链替换)类型是基座/微调/嵌入来源是自研/开源/商用API(供应商名称)许可证是商用协议编号/开源许可类型部署环境是公有云/私有云/本地服务器/终端推理服务地址是内网域名/AI网关路径风险等级是低/一般/较大/重大/特别重大(§3.2)责任人是模型Owner(姓名/岗位)台账更新日期是变更24h内更新(与资产运营24h更新要求一致)台账二:智能体资产台账字段必填填写说明/示例智能体ID/名称是A-001编码智能体功能描述是一句话说明(≤50字)接入系统清单是代码库/工单/IM/数据库等权限范围是API/文件/网络三类权限逐项列明(最小权限基线)工具/Skill/MCP清单是逐项列明+安装日期+扫描状态版本是框架版本+配置版本AgentID是统一身份标识部署位置是服务器/容器/云实例标识风险等级是§3.2定级结果责任人是智能体Owner上线日期/更新日期是灰度转正式日期;变更24h内更新台账三:底座资产台账字段必填填写说明/示例资产ID是I-001GPU集群A类型是算力/模型服务平台/向量库/AI网关/数据管道/运行环境主机/集群标识是IP段/集群名/资源池服务与端口是服务名:端口(含MCPServerSSE、Gateway等本地端口)暴露面是公网/内网/回环(公网可达须专项说明)依赖组件及版本是与SBOM联动SBOM编号是SBOM-2026-xxx(季度刷新)责任人是底座Owner台账四:数据资产台账字段必填填写说明/示例数据集ID是D-001客服语料库类型是训练/微调/RAG检索库/日志来源是自采/采购/用户产生敏感级别是按数据分类分级结果填写隔离方式是与生产敏感数据物理/逻辑隔离说明保留期限/删除机制是到期自动删除流程驻留位置是境内/跨境(跨境须标注评估状态)责任人是数据Owner台账五:第三方AI服务台账字段必填填写说明/示例服务ID是T-001某SaaS大模型API供应商是名称+安全联系人类型是SaaSAPI/托管模型/AI功能模块/外部Skill市场DPA状态是已签/待签合同审计权是已写入/未写入(年度复核项)数据驻留/出境是驻留地+出境评估状态年度复核日期是到期前30天提醒台账运营要求:变更24h内更新;月度与实盘核对;季度全量盘点;台账覆盖率纳入KPI(§7.2)。3.2风险定级操作方法定级三要素:应用场景×智能化水平×应用规模。打分表(操作化建议值,待确认):要素1分2分3分应用场景内部辅助(无对外、无数据写入)内部业务(读写内部数据)对外服务/重大决策/涉敏感数据智能化水平单轮问答(无自主执行)多步任务(有限自主+人工门控)全自主(多工具/长链路/多智能体协同)应用规模个人/单点部门级(≤100用户)全组织/高并发(>100用户)总分映射:3分=低;4–5分=一般;6–7分=较大;8分=重大;9分=特别重大(建议值)。分级结果应用:级别防护集复评频率事件报告路径门控要求特别重大/重大L3全量(附录A)季度直报运营委员会不可逆操作必须HITL较大L2+L1半年报运营经理高影响操作HITL一般L1+L2部分半年→年度周报体现关键操作HITL低L1年度月报体现常规监测定级流程:flowchartTDA[新AI系统/模型/智能体<br/>或存量年度复评]-->B[三要素打分<br/>场景×智能化×规模]B-->C{总分3–9}C-->|3|D[低]C-->|4-5|E[一般]C-->|6-7|F[较大]C-->|8|G[重大]C-->|9|H[特别重大]D&E&F&G&H-->I[确定防护集L1/L2/L3<br/>+复评频率+门控要求]I-->J[写入台账·报运营经理备案]K[风险变化触发<br/>高危漏洞/安全事件/场景变化]-.即时重评.->B操作步骤:1.建设方在上线申请/年度复评窗口提交《AI系统风险定级表》(表单B2);2.模型/智能体运营岗2个工作日内完成三要素打分初判;3.与运营经理复核(重大及以上须运营委员会确认级别);4.定级结果写入台账,确定防护集与复评频率;5.风险变化(新高危漏洞/发生事件/业务场景变化)即时触发重评。检查要点:定级表是否有建设方签认;重大级系统是否误判为较低级别(对照:对外+全自主+大规模三者同时具备必须重大及以上);复评到期前30天是否有提醒。3.3影子AI管理要求:定期排查未经审批的"影子AI"(私自安装智能体工具、私自接入内部系统/数据)。操作步骤(每月一次):1.终端侧:进程/自启项/已安装应用扫描,比对AI应用白名单;2.网络侧:出站AI域名白名单比对,非白名单AI流量触发AI-ALERT-08告警(§4.2);3.Skill/应用市场安装记录比对(智能体平台导出安装日志);4.命中后48h内风险评估(用途/接入数据敏感度/权限范围)→纳管(补台账+定级)或下线(建议时限值);5.结果入月报;同一责任主体重复违规纳入问责(建议值)。检查要点:白名单是否随台账同步更新;排查覆盖全部终端还是抽样;纳管闭环率。3.4新AI系统/模型/智能体上线准入评审要求:新系统上线前必须通过安全评审(门禁),评审输入含风险场景、影响范围、缓解措施。流程图:A[建设方提交上线申请<br/>含SBOM/AI组件清单/权限清单]-->B{形式审查<br/>材料齐全?}B--否-->AB--是-->C[风险定级§3.2]C-->D[五项核查<br/>①定级与防护集匹配②能力基线GB/Z242-2026<br/>③设计十二域核查④灰度回退方案⑤三件套验证]D-->E{评审结论}E--通过-->F[批准上线·登记台账]E--有条件通过-->G[整改项闭环后复验]E--不通过-->H[退回·书面说明理由]G-->DF-->I[灰度期重点监测7天<br/>异常即回退]操作步骤:步骤责任时限(建议值)输出1提交上线申请(含SBOM、权限清单、三件套验证记录)AIOwner—申请包2形式审查(材料齐全性)模型/智能体岗2工作日审查意见3风险定级(§3.2)模型/智能体岗+运营经理2工作日定级表B24五项核查(能力基线对照GB/Z242-20265功能14子能力;设计十二域逐项)分析应急岗+底座岗3工作日评审表B35结论签批(重大及以上须运营委员会)安全Owner2工作日审批记录6台账登记+灰度发布监测模型/智能体岗7天灰度灰度监测记录检查要点:无SBOM/AI组件清单不进入评审;重大及以上级系统:不可逆操作无HITL门控=一票否决(建议值);灰度回退方案未经演练不批准发布;评审材料归档至版本档案,作为年度审计与监管检查证据。4.日常安全运营(运营核心)本章为运营团队常态化开展的八项日常安全运营工作,每项按"运营内容→频率与责任→流程图→执行步骤→检查要点"展开。所有阈值/时限未注明出处的均为建议值,开局期90天内按实际告警量与业务影响校准。运营工作项总览工作项频率主责岗核心产出小节4.1安全巡检日/周/月底座岗+模型岗巡检报告§4.14.2监测与告警研判7×24/工作日分析岗告警处置记录§4.24.3漏洞与补丁管理日订阅/周比对底座岗+模型岗漏洞跟踪台账§4.34.4配置基线与变更管理每次变更/月核查双岗变更记录表§4.44.5日志审计与追溯持续/月抽验分析岗抽验记录§4.54.6供应链运营每次新增/周比对模型岗SBOM/审批单§4.64.7数据与内容安全运营周/月/季模型岗抽验记录§4.74.8AI驱动威胁监测(防他)7×24分析岗SOC联动工单§4.84.9节奏总表+岗位作业检查单按表运营经理周/月报§4.94.1安全巡检目的:检查AI系统稳定性、可用性、安全性,排查运行隐患。频率与责任:底座层每日(自动化巡检+人工确认);大模型层、智能体层每周;全量配置核查每月(并入§4.4基线核查)。流程:A[巡检触发<br/>每日自动/每周人工]-->B[按三层巡检项逐项核查]B-->C{发现异常?}C--否-->D[巡检报告·结论正常]C--是-->E{影响判定}E--隐患级-->F[建工单·24h处置]E--事件级-->G[转应急响应§6]F-->H[处置复验]H-->DD-->I[巡检报告归档·入周报]操作步骤:1.每日09:00前:底座岗确认自动化巡检任务执行完成,核对异常清单(监控平台导出);2.对异常项逐条判定:隐患(建工单,24h内处置)或事件(转§6应急流程);3.每周一:模型岗完成大模型层巡检(§4.1.2表);4.每周一:模型岗完成智能体层巡检(§4.1.3表);5.每月最后一个工作日:全量配置基线核查(§4.4.3);6.巡检报告当日归档,异常项与工单状态入周报。§4.1.1AI底座层巡检项(每日,自动化)巡检项检查方法预警/告警阈值(建议值)异常处理算力/主机CPU、内存、磁盘监控平台采集CPU>80%;内存>85%;磁盘>80%工单→24h处置推理服务健康存活探针+接口错误率错误率>1%预警;>5%告警联系建设方;备用服务切换评估AI网关策略策略下发状态核对策略失效率>0立即重发+告警Token消耗日消耗vs7日基线偏离3倍联动AI-ALERT-06研判向量数据库存活+存储增长+鉴权状态存储日增>20%核查异常写入源暴露面公网扫描+端口清单比对公网可达/非白名单端口开放立即封堵,按事件处理隔离环境沙箱/容器策略抽验(1实例/日)隔离失效按事件处理§4.1.2大模型层巡检项(每周)巡检项检查方法异常处理依据版本一致性在线模型版本vs台账比对不一致即冻结变更+溯源R000044A3.1输入防护注入检测策略加载状态+3条样例注入测试失效即修复并回测R000044A2.1/A2.2输出防护输出过滤策略+3条高危样例测试漏放即加严策略R000044A2.3生成内容标识抽检5条对外生成内容标识缺失即修复(GB45438)C000034隐蔽外泄通道模型导出接口/调试日志/错误上报通道清单核对发现开放即封堵R000044A2.4/A4.3质量与安全指标幻觉率/有害拦截率/越权次数/拒答率看板趋势恶化3周即专项分析R000044A2.5§4.1.3智能体层巡检项(每周)巡检项检查方法异常处理依据权限漂移权限矩阵vs台账比对+凭据到期检查漂移即回收+溯源变更R000044A1.2门控核查高危操作审批门抽验(3条记录)绕过即按事件outputs/智能体安全检查清单_初稿§2.5危险配置项配置扫描("dangerously"前缀类)发现即关闭+告警outputs/智能体安全检查清单_初稿§2.9执行约束步数/次数/限额/超时/限流配置核对缺失即补齐C000035自主执行域记忆与上下文记忆写入授权+状态完整性校验结果异常即隔离(联动AI-ALERT-04)outputs/智能体安全检查清单_初稿§6工具/Skill一致性已安装Skillvs白名单+版本vs漏洞基线不一致即下线待扫outputs/智能体安全检查清单_初稿§7审计日志连续性检查(无中断窗口)中断超1h按事件outputs/智能体安全检查清单_初稿§9.1检查要点:自动化巡检任务本身是否存活;异常项是否100%有工单去向;巡检报告是否入周报并跟踪上周异常闭环。4.2安全监测与告警研判要求:按照安全运营数据标准(八类数据:流量、告警、事件、情报、基线、规则、策略、漏洞),实现"事前有规则、事中有研判、事后有回灌"。§4.2.1监测数据接入规格数据源接入内容接入要求AI网关/模型服务请求日志(prompt元数据、响应元数据、Token消耗、拒绝记录)日志脱敏后接入(含prompt日志须脱敏或加密);统一时间戳智能体审计日志谁/哪个agent/何时/做了什么/写入了什么(工具调用链、外部写入记录)不可篡改存储;接入SIEM网络层智能体进程出站流量、DLP命中、DNS日志全量采集终端层智能体进程行为、批量快速操作(EDR告警)全量采集威胁情报AI安全事件通报、AI组件CVE、CNCERT/工信部NVDB专项风险提示每日订阅入库§4.2.2预置告警规则规格参照"定义+特征+研判"预置规则模式。触发条件为示例规格,开局期按误报率调优:编号场景数据源触发条件(示例)默认级别研判指引联动动作AI-ALERT-01提示注入AI网关输入命中注入特征库;或输出出现系统提示/隐藏上下文外泄特征;或会话任务偏离基线重要是否产生工具调用?是否越权?是否外部写入?阻断会话、入口隔离、特征库更新AI-ALERT-02智能体越权智能体审计日志工具调用超出权限矩阵;跨租户/跨项目数据访问命中行级策略重大越权范围、是否成功、影响数据范围权限冻结、实例隔离、定损AI-ALERT-03数据外传前兆EDR/DLP/网络敏感目录批量遍历;凭据批量读取;异常数据归集;非白名单出站重大数据量、目的地、是否完成外传出站封堵、进程终止、凭据轮换AI-ALERT-04记忆/上下文污染智能体平台完整性校验记忆写入来源异常;会话状态哈希变更;配置篡改重大污染时间窗、影响实例数记忆隔离、快照回滚、写入授权收紧AI-ALERT-05失控执行智能体平台限额超最大步数/工具调用次数/资源限额;熔断触发;高频循环重要资源消耗、业务影响、是否拒停中断、限额复核、根因分析AI-ALERT-06异常消耗AI网关计费/限流单用户/单任务Token超配额3倍;费用突增重要正常批量or滥用/攻击(无限制消耗风险项)限流、配额调整、封禁AI-ALERT-07AI驱动攻击(异常节奏)SOC/SIEM/EDR短时间批量操作;高频扫描;快速横向移动;大规模凭据喷洒重大攻击源、是否命中在野利用、AI特征(速度/规模)封禁、隔离、IOC共享、KEV比对AI-ALERT-08影子AI活动终端/网络未登记AI进程/端口;非白名单AI域名出站重要用途、接入数据敏感度评估纳管或下线AI-ALERT-09供应链异常SBOM/扫描/情报组件指纹漂移;依赖版本未审批变更;投毒通报命中在用版本重大在用版本比对结果、暴露面组件下线、全量比对、凭据轮换§4.2.3研判流程(五步SOP+研判四问)A[告警触发]-->B[接收·登记<br/>告警三态:待核实]B-->C{研判四问<br/>真实威胁?影响范围?<br/>是否已扩散?证据充分?}C--误报-->D[关闭·记录误报原因<br/>入降噪清单]C--真报-隐患级-->E[定级:一般/重要<br/>建工单处置]C--真报-事件级-->F[定级:重大/特别重大<br/>转应急§6]E-->G[处置·验证]G-->H[归档·规则回灌]F-->H1.接收:值班(分析岗)确认告警,状态置"待核实";重大及以上级别告警30分钟内电话通知运营经理(建议值);2.研判:执行四问(是否真实威胁/影响范围/是否已扩散/证据是否充分);3.定级:按§6.1事件四级或隐患两级(一般/重要);4.处置:隐患建工单(24–72h处置,建议值);事件转§6应急流程;5.回灌:处置结论(含误报原因)72h内回灌规则库与案例库。§4.2.4降噪与规则运营告警三态管理:待核实/已关闭/已转事件,全量留痕;每周规则效果回看:按"误报治理八问"(源目IP段/敏感标签/量阈值/去重参数/周期/时段/流量覆盖/场景)迭代;目标:告警量随规则积累逐步收敛;新规则上线执行六步法:场景定义→特征提取→规则编写→灰度验证(观察7天)→上线→效果回看。检查要点:重大告警是否30分钟内人工介入;误报是否100%有原因标签(无标签的误报不入降噪统计);新增情报是否48h内完成规则化评估(建议值)。4.3漏洞与补丁管理要求:AI相关组件(模型服务、向量数据库、AI网关、智能体框架及依赖)全部纳入补丁管理范围;"及时升级是成本最低、效果最直接的安全措施"。流程:A[每日订阅情报<br/>CNCERT/NVDB/厂商/KEV]-->B[每周比对<br/>SBOM与在用版本]B-->C{命中在用组件?}C--否-->D[记录·观察]C--是-->E[漏洞定级<br/>在野/CVSS/暴露面/业务影响]E-->F[修复决策<br/>升级/缓解/接受风险]F-->G[测试环境验证]G-->H[灰度发布]H-->I[全量+安全复验]I-->J[台账更新·归档]F--无法立即修复-->K[临时缓解措施<br/>+风险登记D册+限期]K-->G操作步骤:1.每日10:00前:分析岗汇总情报订阅(CNCERT、工信部NVDB、厂商安全公告、CISAKEV),AI相关条目入漏洞跟踪台账(B7);2.每周五:底座岗+模型岗对照SBOM与在用版本全量比对(含MCPServer已知漏洞基线,如Adversa25个MCP漏洞);3.命中即定级:在野利用/CVSS≥9.0为高优先级(参照OpenClaw2026-03-11报告236条、严重高危99条的口径管理);4.修复路径:测试环境验证→灰度→全量→安全复验;5.无法立即修复的:落实临时缓解+写入风险登记册(附录D)+明确限期与复核人;6.修复后72h内复验(复现验证或等效检测),台账状态关闭。响应SLA(建议值,待确认):优先级判定条件缓解时限修复时限P1紧急在野利用或KEV收录或CVSS≥9.0+暴露面可达24h72hP2高CVSS7.0–8.9+暴露面可达72h7天P3中CVSS4.0–6.9或无暴露面7天下个变更窗口P4低CVSS<4.0或仅理论风险30天版本迭代检查要点:SBOM覆盖率100%(有组件无SBOM=台账缺陷);P1是否全部按时限缓解;"接受风险"项是否有运营经理签认与限期。4.4配置基线与变更管理要求:按三层分级防护集执行基线(L1/L2/L3完整条目见附录A);一切配置/版本/权限变化走变更管理。变更类型与审批级别:变更类型示例风险审批级别模型版本变更基座模型换代、权重更新高安全Owner+AIOwner双签智能体权限变更权限扩大、新增系统接入高安全Owner+AIOwner双签工具/Skill/MCP新增新Skill安装、MCP服务接入高安全Owner+AIOwner双签(走§4.6供应链流程)提示词/护栏策略变更系统提示重构、过滤策略调整中运营经理签认基线放松/例外豁免某L1/L2条目高运营委员会批准+限期+复核(建议值)底座配置变更网络策略、端口、沙箱参数中运营经理签认新增公网暴露服务对外发布高运营委员会批准(建议值)变更五步流程:A[变更申请B4<br/>类型+影响分析+回退方案]-->B[审批<br/>按变更类型定级]B--驳回-->AB--批准-->C[变更窗口实施<br/>模型/智能体发布走灰度]C-->D{验证}D--功能+安全复验通过-->E[变更记录B4归档<br/>台账同步更新]D--失败-->F[执行回退方案<br/>30分钟内决定建议值]F-->G[回退验证·复盘]G-->A1.申请:变更方填写《AI安全变更申请表》(B4):变更内容、影响范围、风险、回退方案;2.审批:按上表审批级别执行;高危变更审批材料须包含安全复验计划;3.实施:变更窗口内执行;模型/智能体发布执行灰度发布与版本管理;权限类变更同步更新台账与权限矩阵;4.验证:功能验证+安全复验(注入/越权抽测3条样例);5.记录:B4归档(内容、审批人、时间、验证结果、回退记录);台账24h内同步。权限类变更特别要求:工具调用保持用户上下文执行(链式调用不超出原用户授权范围);高影响/不可逆操作(删除、发送、支付、删库、停服务、配置修改)必须保留人工审批门控。月度基线核查(每月最后一个工作日):1.按附录A清单对在用系统逐项核查(重大级系统100%项,其他按分级适用集);2.不合规项:7天内整改(建议值),整改情况入月报;3.例外清单核对:例外是否过期、复核是否到期。检查要点:是否存在"未走变更的配置漂移"(月度基线核查与台账差异即漂移);高危变更回退方案是否实际演练过(首次变更必须演练,建议值)。4.5日志审计与追溯要求:要求项内容依据审计范围输入、输出、工具调用、外部交互、权限变更全覆盖;智能体操作记录"谁/哪个agent/何时/做了什么/写入了什么"完整性不可篡改、无中断;记忆/配置/会话状态定期完整性校验保留期限≥180天;涉敏感个信场景参照≥3年从严(体例参照座舱数据处理安全要求"操作日志留存≥6个月、涉敏感≥3年")脱敏与加密含prompt/completion日志脱敏或加密存储追溯能力事故可回溯到团队/人/模型版本/配置变更月度抽验操作步骤(每月5个工作日内):1.抽样:按10%比例抽取智能体实例(重大级系统必抽,建议值);2.取数:取抽样实例近3天审计日志;3.比对:日志行为链vs智能体平台任务记录vs变更/权限记录,三方一致;4.完整性:检查日志时间连续(无中断窗口)、校验和/防篡改机制状态;5.脱敏检查:抽5条含prompt日志核验脱敏生效;6.结论入月报;发现中断/缺失按事件处理。检查要点:日志保留策略在存储层实际生效(非仅配置声明);外部交互(Webhook/IM/API)日志与内部日志时间戳可对齐。4.6供应链运营(模型组件/Skill/MCP/数据)要求:智能体实现期须形成SBOM与AI相关组件清单;Skill/MCP生态"没有强制的代码审计、代码签名或权限声明要求",须自建管控;其中许可标注不符的占比高(70.4%),语义级风险为特征匹配盲区。Skill/MCP准入流程:A[使用方/建设方提交安装申请B12]-->B{来源白名单核对<br/>官方渠道/官方精选社区}B--否-->AB--是-->C[强制安全扫描<br/>恶意指令/投毒/已知漏洞/恶意依赖]C-->D{扫描结果}D--命中-->E[拒绝·通报使用方<br/>特征入情报库]D--通过-->F{L3系统?}F--是-->G[代码审计+权限声明审查<br/>语义级风险评估]F--否-->H[审批:安全Owner]G-->HH-->I[安装+台账登记<br/>权限最小化配置]I-->J[持续监控<br/>版本漂移告警AI-ALERT-09]操作步骤:1.申请:使用方/建设方填写《Skill/MCP安装审批单》:用途、来源、权限需求;2.白名单核对:来源渠道是否官方/官方精选;3.安全扫描:ClawScan类体检+TAV类深度扫描;4.代码审计(L3):权限声明审查、依赖传递核查、构建产物审计;5.审批与安装:安全Owner签认;安装时按最小权限配置;6.持续监控:SBOM指纹漂移、依赖版本变化触发AI-ALERT-09;每周对照MCP已知漏洞基线自查。模型组件与数据供应链:工作项要求节奏模型组件来源登记开源许可、商用协议、版本锁定每次新增依赖管控锁文件、版本固定、第三方依赖链受控每次发布训练/微调数据敏感信息扫描、脱敏;来源合规每次数据更新第三方服务DPA数据驻留/删除/审计条款;合同审计权年度行使年度SBOM维护每次发布更新;季度全量刷新持续投毒通报48h响应流程:1.0–4h:情报确认+SBOM全量比对在用版本(分析岗);2.4–24h:受影响组件隔离/下线+相关智能体停用评估(底座岗+模型岗);3.24–48h:同源组件排查+凭据轮换+供应商通报+风险登记(模型岗);4.闭环:干净版本回归测试后恢复,事件复盘。检查要点:是否存在"先装后批"(安装记录vs审批单100%对应);SBOM是否覆盖MCPServer/工具实现;投毒通报响应是否在48h内完成全量比对。4.7数据与内容安全运营工作项要求节奏依据输入检测敏感信息进入模型的拦截/脱敏策略周检查;终端环境用户数据原则上不出传每周输出风控不当输出处理、敏感内容过滤;误报率月调优(目标误报率<10%,建议值)每周检查/每月调优生成内容标识按GB45438-2025标识;月抽检20条对外生成内容(建议值)每月数据外发管控DLP覆盖智能体消息通道、剪贴板、文件上传、密钥文件;外传前兆检测+一键终止进程链与出站封堵策略周核对数据保留与删除对话/上传文件/查询记录保留策略与删除机制执行核验每季度多租户隔离会话/数据/存储/日志/上下文分区抽验,跨租户不可达每季度凭据管理密钥沙箱/secretbox(智能体进程拿不到明文密钥);到期前30天提醒轮换;事件后强制轮换每季度月度标识抽验操作步骤:1.从对外发布渠道随机抽取20条AI生成内容(含文本/图片/音视频各形态,建议值);2.核验显式/隐式标识是否符合GB45438要求;3.不合规项7天内修复+标识策略核查;结果入月报。检查要点:RAG检索库与生产敏感数据隔离持续有效(季度抽验3条跨库查询);密钥沙箱覆盖率100%(L2及以上系统)。4.8AI驱动威胁监测("防他"侧)要求:运营团队监测面须同时覆盖"AI打进来"(三维度模型B维度)。与既有SOC共用通道、共享IOC、规则互灌、联合演练。监测项要求依据异常节奏检测SOC/SIEM对短时间批量操作、高频扫描、快速横向移动设检测规则(AI-ALERT-07)AI社工/深伪智能钓鱼邮件检测;财务大额操作多人复核+回拨确认机制运营;关键岗位"验证暗号/第二通道"(泉州430万换脸案例教训)自动化利用防护KEV/在野漏洞响应提速(AI辅助数秒级利用,DIVD案例;WAF/反自动化措施覆盖AI辅助漏洞利用)出口DLP检测AI工具产生的异常数据外传端点批量操作EDR对批量禁用安全软件、批量建账户检测阻断检查要点:与SOC的规则互灌是否月度执行(AI侧新规则→SOC;SOC侧IOC→AI侧);深伪相关控制(回拨/第二通道)是否在关键岗位100%落实。4.9日常运营节奏总表与岗位作业检查单§4.9.1节奏总表频率工作项覆盖层交付物每日底座自动化巡检;告警研判与处置;威胁情报订阅比对全层告警处置记录、日报每周模型层/智能体层巡检;漏洞CVE比对;供应链版本基线核对;告警规则效果回看;DLP/输入拦截策略核对全层周报、问题清单每月全量配置基线核查;资产台账核对;日志审计抽验(10%);影子AI排查;KPI统计;标识抽验全层月报、台账更新、KPI报告每季度存量系统安全复评(按分级);Skill季度抽审;多租户隔离抽验;凭据轮换核验;监管动态与合规差距更新;意识培训全层复评报告、培训记录每半年红队对抗演练;应急演练(含智能体失控专项);第三方服务合同审计权行使;三件套全粒度验证全层演练报告、整改闭环记录每年年度安全风险评估/审计;AIGC标识合规年度核验;DPA年度复核;运营制度与本方案修订全层年度审计报告、方案修订版§4.9.2岗位作业检查单(打印为岗位看板)每日(分析岗):[]09:00前确认告警清零或全部进入处置流程;重大告警30分钟响应达标[]情报订阅(AI事件/CVE/NVDB通报)汇总入台账[]前日事件/工单跟踪,无超期项[]日报提交(模板见§7.3)每日(底座岗):[]自动化巡检任务执行确认;异常项工单化[]暴露面核查(公网扫描结果vs白名单)[]补丁窗口内升级任务执行每周(模型/智能体岗):[]大模型层/智能体层巡检表完成(§4.1.2/4.1.3)[]台账变更24h更新核对[]SBOM/版本基线比对(含MCP漏洞基线)[]Skill安装记录vs审批单核对每月(全员):[]台账与实盘核对(覆盖率100%)[]基线核查+例外清单复核[]日志抽验(分析岗主责)[]影子AI排查(终端+网络)[]KPI统计+月报每季/半年/每年:按§4.9.1节奏表,由运营经理在季度计划中排期并跟踪。5.专项安全运营5.1定期安全风险评估触发时点:触发说明依据新系统上线前必评(并入§3.4准入评审深化)存量年度复评每年一次全量;分级复评按§3.2重大变更后模型换代、智能体能力扩展、底座架构调整监管新要求新法规/标准发布后差距评估(建议值)评估方法:三维度(防己/防他/治理底座)×四步(资产清点→风险评估→技术检测→治理落实)。技术检测六类:权限审查、输出审计、红队对抗、漏洞扫描、数据流验证、暴露面检测。评估报告模板(八章):1.执行摘要(范围、总体结论、Top-5风险、整改建议)2.评估范围与方法(系统清单、维度、方法)3.评估结果明细(按A/B/C维度逐项:通过/部分通过/未通过/不适用)4.风险分析(未通过项影响分析、可能性、等级)5.整改计划(措施、责任人、截止日期)6.复测计划(整改后复测安排)7.持续运营建议8.附录(证据、工具输出、访谈记录)5.2红队与攻防演练演练计划模板(每半年):要素内容要求目标验证防护有效性,发现未知弱点(非惩罚性)范围选定系统清单(重大级系统必选)+攻击路径边界授权书面授权范围(系统、时段、禁用手段、数据红线)退出条件达成场景目标或发现P1级问题即暂停该场景(建议值)时间线筹备1周→执行1–2周→报告1周报告攻击路径复盘+发现清单+修复建议+复测计划场景矩阵:场景对象深度提示注入(直接/间接)全部智能体含外部数据源(网页/文档/数据库记录)间接注入自动化越狱大模型服务自动化越狱攻击评测智能体越权/权限滥用工具链完整智能体功能过度/权限过度/自治过度三分类验证记忆与上下文投毒含长期记忆智能体写入污染+持久性信任链篡改工具滥用/MCP扇出MCP接入智能体单请求放大调用、意外代码执行(RCE)智能体间通信劫持多智能体链路通信认证绕过、级联失效注入失控智能体全自主智能体伪造任务完成与证据检测AI社工(钓鱼/换脸/换声)人员(财务/高管)与培训联动(§5.5)供应链投毒Skill/MCP/依赖仿冒包、依赖投毒、语义诱导对抗路径设计参照MITREATLASv2026.06战术矩阵(AI攻击准备→凭据访问14战术);可结合"智能体恶意操作行为检测"等AI赋能安全测试场景。闭环要求:发现→修复→复测→归档,不闭环等于没查。5.3安全测试与评测安全测评按三层体系开展:模型算法层+应用通用层+具体场景层;选型/采购评测:对照GB/Z242-2026能力基线(感知/认知/执行/记忆/学习5功能14子能力)开展"开发设计、验证选型、能力评估";对照《工业和信息化领域人工智能安全评测框架(2026版)》智能体安全评测维度;大模型评测:对照T/ISEAA005/006-2024防护与评估要求;结果应用:评测报告纳入版本档案;选型场景"不通过不采购",存量场景"不通过限期整改"(建议值)。5.4合规管理合规项运营要求依据生成式AI备案跟踪备案/应用登记义务(监管口径:截至2026-08-31累计备案1112款+应用登记731款、端侧首批3款);自有对外服务模型核验备案状态监督检查配合按176号令完成安全保护、日志留存、配合检查义务自查AIGC内容标识GB45438-2025标识义务执行核验(§4.7月抽验+年度核验)行业监管金融/关基等行业AI风险要求跟踪评估并落实标准跟踪WG9在研1项强制性国标+16项推标+8项指导性技术文件动态;征求意见稿反馈(如智能体指南)数据合规AI处理个信的告知同意/合规审计/影响评估/权利受理;训练数据合规与重要数据保护国际动态欧盟AI办公室前沿模型越狱调查、美国AICharter动态等跟踪评估季度合规日历(建议值):季度合规动作Q1年度合规差距分析;制度年审(含本方案修订)Q2备案状态核验;行业新规执行核查;全员合规培训Q3标准动态汇总(WG9/OWASP/MITRE);征求意见稿反馈评估Q4年度安全评估启动;AIGC标识年度核验;DPA年度复核5.5培训与意识课程对象时长频率考核方式AI安全总览与使用规范全员1h年度+新员工入职在线测验(80分合格)AI社工与深伪识别全员+关键岗位2h每季度(案例更新即加训)案例演练回拨确认与第二通道财务/高管/IT管理员1h每半年实操考核智能体开发安全(设计十二域)建设方团队4h每半年项目评审引用AI对抗与运营(红队/研判/新技术)安全运营团队8h每季度演练考核6.安全应急响应6.1AI安全事件分类与分级分类:事件类别典型场景1智能体失控事件拒停服务、突破隔离、伪造任务完成与证据、级联失效扩散2注入与劫持事件直接/间接提示注入成功、系统提示覆写、LLMjacking类劫持3数据泄露事件智能体外传敏感数据(343组织GitHub类)、RAG跨租户泄漏、模型记忆提取4模型/供应链投毒事件模型组件或Skill/MCP投毒(LiteLLM类)、恶意AGENTS.md劫持5内容安全事件违法有害内容生成输出、深伪内容外流、AIGC标识缺失致误导6权限滥用事件智能体越权访问/操作(OpenAI通报100余家机构类)7服务中断事件模型服务/推理集群故障、无限制消耗打满资源、算力断供8外部攻击事件AI驱动渗透、自动化漏洞利用、AI社工得逞四级分级与升级规则:级别判定条件(示例,建议值)升级规则特别重大大规模数据外泄(涉重要数据/大量个信);失控智能体造成外部实质影响;监管通报立即报应急指挥+管理层重大敏感数据外传确认;重大级系统失控/越权成功;供应链投毒命中生产10分钟报应急指挥重要注入得逞未越权;数据外传前兆被拦截;一般级系统失控被熔断当日报运营经理一般单点异常、已自动恢复、无数据影响周会通报24h内未遏制自动升一级;48h未闭环再升一级。6.2应急组织应急指挥组(运营委员会授权,重大及以上启动)├──监测研判组:告警确认、影响面分析、定级建议(分析岗)├──技术处置组:止血、隔离、回退、取证(底座岗+模型岗)├──业务协调组:业务影响沟通、用户告知、恢复决策(AIOwner)└──对外联络组:监管报告、供应商通报、法务接口(运营经理)应急联络表按"岗位/姓名/电话/备份"维护。6.3响应流程与分级时限A[发现:告警/用户报告/情报]-->B[报告·定级<br/>重大及以上10分钟报应急指挥]B-->C[止血·第一优先级<br/>一键中断/接管/关停/隔离/凭据轮换]C-->D[遏制<br/>出站阻断·工具禁用·权限冻结]D-->E[调查<br/>审计日志还原行为链<br/>取证先于修复]E-->F[恢复<br/>版本回退/模型切换/记忆恢复<br/>灰度恢复+监控]F-->G[复盘<br/>根因·定责·整改·复测<br/>必要时对外/监管报告]分级响应时限(建议值,待确认):级别响应(启动处置)遏制(止血)上报特别重大15分钟30分钟立即报应急指挥+管理层;按法规时限报监管重大30分钟2小时10分钟报应急指挥重要2小时8小时当日报运营经理一般8小时72小时周会通报6.4八场景应急PlaybookP1智能体失控触发:拒停服务/突破隔离/伪造任务完成/级联扩散/超限额未熔断定级:影响面扩大或涉敏感数据→重大及以上5分钟第一响应:①一键中断失控实例执行;②出站封堵;③权限冻结;④通报应急指挥处置步骤:动作责任时限1中断执行+进程链终止技术处置组5分钟2提取最后指令链与触发输入(取证)技术处置组2h3级联影响排查(同链路上游/下游智能体)技术处置组4h4记忆污染排查(时间窗内写入比对)技术处置组8h5根因分析(触发输入/工具缺陷/限额配置)监测研判组24h恢复:回滚到稳定版本/快照;记忆与配置完整性校验通过后灰度恢复;报告要点:触发输入、指令链、模型版本、关联变更、限额配置缺口。P2注入与劫持触发:注入特征命中且产生越权行为;系统提示/隐藏上下文外泄;LLMjacking类劫持定级:越权成功或涉敏感数据→重大;否则重要5分钟第一响应:①阻断受影响会话;②注入入口(渠道/数据源)隔离;③涉事凭据评估处置步骤:入口定位(消息渠道/网页/文档/数据库记录——任一渠道均为潜在入口)→影响会话清点→外部写入核查→净化策略修复→数据源标记隔离恢复:净化策略+特征库更新后恢复;入口数据源完成处置后解除隔离报告要点:注入载荷、入口渠道、影响会话数、是否外部写入。P3数据外泄触发:DLP确认外传;凭据批量读取+异常出站;343组织GitHub类模式定级:敏感数据外传确认→重大及以上5分钟第一响应:①出站封堵;②终止进程链;③API密钥与智能体凭据全量轮换处置步骤:定损(数据类别/量/接收方,DLP日志)→影响面评估(用户/租户)→报告义务判断(176号令/行业/个保)→通知受影响方(按法规时限)恢复:行级/列级权限收紧;DLP策略加严;补防验证报告要点:数据类别与量、接收方、外传时间窗、报告义务履行记录。P4供应链投毒触发:投毒通报命中在用版本;SBOM指纹漂移;异常行为溯源至组件定级:命中生产且可达→重大5分钟第一响应:①涉事组件下线;②相关智能体实例隔离处置步骤:SBOM全量比对(48h内,§4.6流程)→同源组件排查→暴露时间窗取证→供应商通报→凭据轮换恢复:干净版本回归测试后恢复;SBOM基线更新报告要点:组件/版本、暴露时间窗、受影响实例数、供应商响应。P5内容安全触发:有害内容输出确认;深伪内容外流;标识缺失引发误导定级:对外扩散→重大;内部拦截→重要5分钟第一响应:①关停相关生成能力(紧急关停);②已外流内容下架处置步骤:溯源输入链(提示/数据源/模型)→拦截策略修补→标识核查(GB45438)→舆情/业务影响评估恢复:灰度恢复+拦截率指标7天回看报告要点:内容类型、扩散范围、拦截策略缺口。P6权限滥用触发:越权告警确认;对标OpenAI类机构通报自查命中定级:越权成功且涉敏感数据→重大5分钟第一响应:①权限冻结;②实例隔离处置步骤:越权范围界定→数据影响评估→根因按过度授权三分类(功能过度/权限过度/自治过度)→最小权限重配恢复:门控加严(高影响操作HITL扩围);权限矩阵更新报告要点:越权操作清单、根因分类、门控缺口。P7服务中断/资源耗尽触发:推理服务不可用;Token消耗打满;算力故障定级:重大级业务中断→重大5分钟第一响应:①备用推理服务切换;②限流/熔断处置步骤:定位消耗源(单用户/单任务/攻击)→容量评估→数据完整性检查(中断期间任务状态)恢复:资源限额策略加固;配额告警阈值校准报告要点:中断时长、影响业务、消耗源定性。P8外部AI攻击触发:AI-ALERT-07异常节奏确认;在野利用命中;KEVAI相关条目定级:按既有网络安全事件分级(叠加AI特征)5分钟第一响应:①封禁攻击源;②暴露面收紧处置步骤:按既有网络安全应急流程(封禁/隔离/取证)→AI攻击特征研判(速度/规模/自动化水平)→IOC共享与规则更新恢复:检测规则迭代(反自动化/WAF);KEV限期修补跟踪报告要点:攻击路径、AI特征判定、176号令配合检查义务履行。6.5应急能力"三件套"(平时建设+验证)以下能力须在前期规划阶段建成并定期验证("一键接管/版本回退/紧急关停"三项规划):能力要求验证方式频率一键接管人类可随时接管/中止智能体自主任务抽1个实例实测接管每季度版本回退模型/提示词/智能体配置/Skill可回退上一稳定版变更回退演练或专项回退每半年紧急关停单智能体→单模型→全平台三级粒度关停全粒度关停演练每半年凭据快速轮换API密钥/智能体凭据一键全量轮换演练+事件后实战验证每半年6.6应急演练频率:每半年一次综合演练;智能体失控、数据外泄两场景每半年至少各一次专项演练(建议值);方式:桌面推演/实战注入(红队受控注入真实智能体)/双盲(不预告不预演)/专项(按场景)/联合(建设方+SOC参与);评估四项:响应时限达标率、止血有效性、日志完整性、报告质量;演练输出:演练计划+记录+评估表(B9)+整改项(入风险登记册跟踪)。6.7事件报告模板依据GBZ20986-2023/GB/T24363-2009字段内容要求事件ID/名称/类别/级别P1–P8对应+四级定级时间线发现/响应/遏制/恢复/关闭6节点时刻影响范围系统/用户/数据(类别+量)/业务根因分析技术根因+管理根因(变更/配置/流程缺口)处置过程逐步动作+责任人+耗时整改项措施/责任人/期限/复测状态报告义务176号令/行业/个保报告履行记录附件证据日志、截图、IOC、工具输出审批运营经理+安全Owner签认7.度量与承诺(SLA/KPI/报告)运营承诺声明(建议值,待确认):1.响应承诺:按§6.3/§7.1分级时限执行,重大及以上事件30分钟内响应;2.达标承诺:月度KPI综合达成率≥85%(§7.2),连续2个月未达标时向管理层提交专项改进计划;3.报告承诺:日/周/月/季/年报告按§7.3频率准时交付,月报含KPI达成对比;4.保密承诺:运营过程中接触的资产信息、日志、数据严格保密,不外泄、不挪作他用,不向任何第三方披露(176号令配合义务除外);5.移交承诺:运营资产(台账、规则库、案例库、文档与知识库)全量归组织所有,运营团队人员调整时全量移交(移交范围以制度规定为准)。7.1SLA(响应与常规运营时限,建议值,待确认)事件响应SLA:见§6.3分级响应时限。常规运营SLA:运营项时限巡检异常工单处置24h(事件级除外)台账更新(变更触发)24h影子AI风险评估48h变更审批3工作日上线评审5工作日(材料齐全起算)Skill安装审批3工作日漏洞修复按§4.3SLA表基线例外复核季度到期前15天7.2KPI体系(四维15项)资产/防护/威胁/处置:维度指标计算公式采集来源目标(建议值)频率资产台账覆盖率已入台账资产数÷实盘资产数月度实盘核对100%月资产台账更新及时率变更24h内更新数÷变更总数台账时间戳≥95%月资产影子AI纳管率已纳管数÷已发现数月度排查记录≥90%月防护配置基线达标率通过项÷适用项(分L1/L2/L3)月度基线核查L1100%;L2≥90%;L3≥80%月防护补丁修复及时率SLA内修复数÷应修复数漏洞台账≥90%月防护审计日志完整率日志连续完整实例数÷实例总数月度抽验100%月防护AIGC标识合规率抽检合规数÷抽检数月度抽验100%月威胁告警研判及时率时限内研判数÷告警总数(重大30分钟)告警记录≥95%月威胁告警降噪率(上期无效告警−本期)÷上期告警统计季度环比下降季威胁高危漏洞暴露时长Σ(缓解时刻−发现时刻)÷n漏洞台账P1≤48h;P2≤7天月处置事件MTTRΣ(恢复时刻−发现时刻)÷n(分级统计)事件报告重大≤4h月处置止血及时率时限内遏制数÷事件数事件报告≥90%月处置整改闭环率按期闭环数÷整改项总数风险登记册≥90%月处置演练达标率达标项÷评估四项总数演练评估表≥80%半年综合KPI综合达成各项达成加权(权重由运营委员会定,建议值)月度汇总≥85%月7.3报告体系报告频率模板字段(大纲)受众日报每日告警处置摘要(新增/关闭/转事件);当日事件;紧急漏洞通报;巡检异常运营团队周报每周五本周概览;告警趋势与降噪进展;漏洞闭环(新增/修复/超期);变更回顾;Top3风险;下周计划运营经理、AIOwner月报每月5工作日四维KPI达成表(vs目标);台账变化(新增/下线/分级调整);基线核查结果;日志抽验结论;影子AI排查;供应链事件;合规动态;重大事件回顾;改进项运营委员会、安全Owner季报每季末复评结论;红队/演练结果;KPI趋势与改进计划;标准动态(WG9/OWASP/MITRE);合规差距更新管理层年度报告每年1月年度风险评估结论;合规差距;KPI全年趋势;体系成熟度自评;下年度运营计划(可对外)管理层/监管8.运营工具能力与交付物8.1运营工具能力清单用途所需能力参考形态(库内可见产品)统一监测AI运营平台/SOC接入AI网关、智能体审计、网络/终端数据态势感知/XDR平台AI扩展模型服务边界防护LLM-WAF/AI安全网关(输入净化、输出审查、限流熔断)大模型安全网关智能体运行时管控声明式钩子/策略执行/可观测(运行时控制)OWASPagent-control-standard方向;企业级AgenticAI基础设施智能体体检/扫描漏洞扫描+配置体检+恶意Skill扫描ClawScan类"一句话安全体检"、TAV深度扫描密钥保护密钥沙箱/secretbox(智能体进程拿不到明文密钥)腾讯云"密钥沙箱"办公网防护智能体进程级访问控制、出站白名单、端口封堵iOA类办公网防护红队与评测越狱/注入攻击工具、自动化评测、AI红队工具链AI赋能安全测试8场景取证与溯源审计日志分析、行为链还原、SBOM比对基于既有SIEM/取证工具链扩展选型考虑:优先与既有SOC/SIEM数据互通(避免孤岛);智能体管控能力优先覆盖L3场景(多租户/生产);扫描工具须支持Skill语义级风险评估(特征匹配盲区)。8.2运营交付物清单交付物频率对应章节AI资产台账(五册)月度更新§3.1风险定级表/评审表/变更记录/审批单每次§3/§4巡检报告(日/周/月)按§4.9§4.1告警研判处置记录每告警§4.2漏洞跟踪台账每周§4.3风险评估报告/红队报告/演练报告按§5/§6§5.1/5.2/6.6AI安全事件报告每事件§6.7运营日/周/月/季/年报告按§7.3§7.3风险登记册持续附录D9.开局实施计划与运营阶段划分开局实施是运营建设的第一阶段:各周交付物按运营度量(§7.2)验收,开局完成后转入常态运营期。9.1运营阶段划分A[筑基开局0-3月<br/>台账+基线+告警+应急三件套]-->B[常态运营3-12月<br/>报告运转+降噪+季度复评+首演红队]B-->C[优化提升12月+<br/>KPI深化+能力外溢+AI主动防御探索]阶段核心任务里程碑筑基开局(0–3月)资产清点与台账(含影子AI排查);首次风险评估;L1基线全量+L2/L3按分级配置;告警规则首批上线(30+

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论