版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大模型网络安全管理制度版本记录版本日期说明第一章总则第一条目的为规范组织内大模型(LLM)的安全管理,防范模型层特有的安全风险(提示注入/敏感信息泄露/过度授权/模型投毒/无限制消耗/隐藏上下文暴露/向量与嵌入弱点/不当输出处理),保障模型全生命周期安全可控,依据《人工智能安全治理框架3.0》、TC260《人工智能应用安全指引总则》制定本制度。第二条适用范围本制度适用于组织内以下大模型本身的安全管理:=1\*GB3①第三方API模型:调用外部大模型服务(如商用LLMAPI)=2\*GB3②自建模型:组织自研或部署的开源/商用大模型=3\*GB3③微调模型:基于基座模型进行LoRA/全量微调/RLHF等衍生的模型不含:基于大模型构建的智能体系统、纯生成式AI应用的业务逻辑安全。第三条定义术语定义大模型(LLM)基于Transformer等架构、参数量达到一定规模(通常≥1B)、具备通用语言理解与生成能力的模型模型权重模型训练后的参数文件(.bin/.safetensors/.gguf等),是模型的核心资产推理服务将模型加载至计算环境、对外提供推理API的服务实例微调(Fine-tuning)基于预训练模型、使用特定数据集进一步训练以适配特定任务/领域的过程越狱(Jailbreak)通过构造特殊输入绕过模型安全对齐、使模型产生违规输出的攻击方式模型投毒(ModelPoisoning)在训练数据或模型参数中植入恶意内容,使模型在特定条件下产生预设恶意行为无限制消耗(UnrestrictedConsumption)攻击者利用模型API进行大规模推理请求,消耗组织算力/资金资源模型分级(L1/L2/L3)按数据敏感度×暴露面×业务关键度三维度划分的风险等级第四条基本原则1.风险导向:按模型用途/数据敏感度/暴露面分级管控2.纵深防御:选型→部署→访问→数据→测试→监控→应急多层防护3.人类可控:模型输出不直接执行高影响操作,保留人工接管/关停能力4.全链路可追溯:模型来源/版本/训练数据/推理日志全程可审计5.持续优化:模型安全非一次性工程,随威胁演化持续迭代第五条三源量化基线标注本制度中所有量化值采用三源分类标注:①法规/标准/权威基线:来自国标/行标等权威来源②参照:来已确认概念/制度/检查清单③运营者自定默认基线:组织自定,可裁剪从严第六条模型分级标准等级判定条件(满足任一)典型场景管控强度L1仅处理公开数据/内部非敏感场景/无公网暴露内部知识库问答、代码补全辅助基础管控L2处理内部敏感数据/有公网API暴露/多租户企业客服、内部数据分析、多用户平台加强管控L3处理核心/机密数据/生产关键业务/高自主/涉个人信息金融风控、医疗诊断、核心业务自动化最高管控第二章模型选型与准入管理第七条选型评估组织引入任何大模型(含第三方API)前,必须完成安全评估。管理要求:1.第三方API模型:评估服务商安全资质/数据协议/合规性/SLA/退出机制2.自建/开源模型:评估模型架构安全/已知漏洞/社区维护状态/许可合规3.微调模型:评估微调数据合规/基座模型继承风险/微调后安全退化4.所有模型须对照OWASPGenAILLMTop102026十项风险进行安全基线评估5.能力基线对标GB/Z242-2026《人工智能智能体技术要求》(5功能14子能力)落地执行规范岗位职责卡角色职责岗位映射权限需求提出人提出模型需求(能力/场景/数据敏感度)业务方架构师/产品经理发起安全评估人执行OWASPLLMTop10十项评估+GB/Z242对标安全工程师(AI安全方向)评估/否决数据合规审查人训练数据来源/投毒/隐私审查数据管理员+法务审查/否决资质审查人服务商/社区安全资质/许可审查安全工程师+采购审查定级决策人风险定级(L1/L2/L3)归口部门负责人定级审批人准入审批(L1/L2归口;L3委员会)归口部门/安全委员会审批/否决台账登记人模型入台账资产管理员登记关键操作SOP(SOP-M01:模型选型评估)步骤动作责任人时限/触发交付物交付物格式1需求分析:填写《模型选型需求表》(能力/场景/数据敏感度/暴露面/成本)需求提出人选型启动时需求表表单2候选模型初筛(≥2个候选,对照需求)架构师需求后2工作日内候选清单文档3OWASPLLMTop10十项逐项安全评估(使用附录G评估表)安全评估人初筛后5工作日内安全评估报告报告(含十项评分)4训练数据合规审查(7类风险逐项:内容不当/来源不清/标注不完善/数据投毒/处理不规范/输出个人不实信息/合成数据缺陷)数据合规审查人随步骤3数据合规审查记录检查表5服务商/社区安全资质审查(安全公告/漏洞响应/数据协议/SLA/退出机制)资质审查人随步骤3资质审查记录检查表6GB/Z242能力基线对标(5功能14子能力逐项打分)安全评估人+架构师随步骤3能力对标记录评分表7风险定级(L1/L2/L3,按第六条标准)定级决策人评估后3工作日内定级结论单页8审批(L1/L2→归口;L3→安全委员会)审批人定级后3工作日内审批记录审批单9入模型台账(填写附录C全部字段)台账登记人审批后1工作日内台账记录台账条目10通知使用方+归档台账登记人登记后1工作日内通知+归档确认邮件/系统量化要求汇总项目要求度量方法OWASPLLMTop10覆盖十项逐项评估,无遗漏评估表十行全填GB/Z242能力对标5功能14子能力逐项打分评分表14项全填训练数据审查7类风险逐项(来源:C000033)检查表7行全填候选模型数≥2个(避免单一依赖)候选清单计数选型评估完成时限需求后10工作日内时间戳差值L3模型审批安全委员会审批(≥3人)审批单签名字数评估报告有效期12个月(过期须复评)台账日期字段交付物与留痕交付物格式保存期存储位置责任人模型选型需求表PDF/系统3年模型安全档案库/选型/需求提出人安全评估报告(OWASP十项)PDF3年模型安全档案库/选型/安全评估人数据合规审查记录PDF/检查表3年模型安全档案库/选型/数据合规审查人能力对标记录(GB/Z242)PDF/评分表3年模型安全档案库/选型/安全评估人定级结论+审批记录PDF/审批单5年模型安全档案库/选型/归口部门模型台账条目系统/表格模型存续期+3年模型台账系统台账登记人检查与验收标准检查项达标标准检查人频次OWASP十项评估完整性十行全填,无"不适用"无说明归口部门每次选型训练数据7类审查7行全填,风险项有处置措施安全负责人每次选型定级有据三维度(数据/暴露/关键度)均有说明归口部门每次定级审批权限匹配L1/L2归口;L3委员会内审季度抽查台账覆盖率100%在用模型有台账资产管理员月度评估时效性超过12个月的评估已触发复评归口部门月度例外与升级路径例外场景处理方式升级路径时限紧急业务需求(未完整评估)先执行核心3项(LLM01注入/LLM02泄露/LLM06消耗),其余后补归口→委员会(L3必须)后补≤5工作日模型安全争议(评估人vs需求方)就高不就低(取更严格等级)归口→委员会3工作日内裁决唯一候选(无替代模型)标注"单一依赖风险"+制定退出预案归口→委员会评估时标注开源模型无明确维护方标注"社区风险"+增加监控频次(月度→周度)归口→安全委员会持续第三章模型部署与环境安全第八条部署安全大模型部署(推理服务上线)前,必须完成环境安全检查。管理要求:1.推理服务部署环境隔离(容器/独立网络/不混部业务系统)2.模型文件(权重/配置/超参数)加密存储,访问受控3.推理API端点安全加固(TLS/认证/限流/WAF)4.部署环境按公有云/私有云/本地服务器/终端设备差异化管控5.一键关停/版本回退能力6.部署配置版本化(IaC/配置管理工具),变更可追溯落地执行规范岗位职责卡角色职责岗位映射权限部署工程师执行部署操作(环境/配置/模型加载)运维工程师(AI平台方向)执行安全配置人安全加固配置(TLS/认证/限流/WAF/隔离)安全工程师配置/验证模型资产管理员模型文件加密/访问控制/完整性校验资产管理员配置/审计部署审批人部署前/后审批归口部门审批运维值班试运行监控/告警响应运维值班员监控/报告关键操作SOP(SOP-M02:模型部署)步骤动作责任人时限/触发交付物交付物格式1部署前安全检查:使用附录D检查表(13项)逐项确认安全配置人+部署工程师部署前1工作日部署检查记录检查表(13项全填)2环境隔离配置(容器/独立网络/资源配额/CPU+GPU限额)部署工程师部署时隔离配置记录配置截图/IaC文件3模型文件加密+访问控制配置(AES-256/最小授权/哈希基线)模型资产管理员部署时加密配置记录配置记录+哈希值4推理API安全加固(TLS1.2+/OAuth2/APIKey/限流/WAF规则)安全配置人部署时加固配置配置记录5关停/回退能力验证(模拟执行,记录耗时)部署工程师部署后≤1小时关停/回退验证记录测试记录(含耗时)6监控+告警接入(调用量/延迟/错误率/资源使用率)运维值班部署时监控配置Dashboard链接7试运行(L112h/L224h/L348h观察)运维值班部署后试运行报告报告(含异常记录)8正式上线审批部署审批人试运行通过后上线确认单审批单9更新台账(部署环境/端点/配置版本)模型资产管理员上线后1工作日内台账更新台账条目四环境差异化部署要求要求项公有云私有云本地服务器终端设备网络隔离VPC子网隔离独立VLAN独立网段端侧沙箱数据驻留须确认不出境内网本地本地加密TLS+存储加密TLS+存储加密存储加密存储加密多租户必须建议建议单用户终端用户数据原则上不宜传出可内网传输本地本地资源隔离实例级实例级进程级进程级量化要求汇总项目要求度量方法环境隔离100%模型独立部署(不混部业务系统)部署架构图核查模型文件加密100%(权重/配置/超参数)存储配置核查推理APITLS100%(TLS1.2及以上)端口扫描推理API认证100%(无匿名调用入口)API测试(无Key调用)限流/配额/超时100%API端点配置配置核查+压力测试关停/回退能力100%模型具备,关停≤5分钟模拟执行计时试运行时长L112h/L224h/L348h时间戳模型完整性校验部署后1次+每月1次哈希对比记录配置版本化100%(IaC/配置管理工具)配置库核查交付物与留痕交付物格式保存期存储位置责任人部署检查记录(13项)检查表3年模型安全档案库/部署/安全配置人隔离/加密/加固配置记录截图3年模型安全档案库/部署/部署工程师关停/回退验证记录电子版3年模型安全档案库/部署/部署工程师试运行报告电子版1年模型安全档案库/部署/运维值班上线确认单电子版/审批单5年模型安全档案库/部署/归口部门模型完整性哈希基线系统/文件模型存续期模型台账系统模型资产管理员检查与验收标准检查项达标标准检查人频次环境隔离独立容器/网络,无业务系统混部安全工程师每次部署+季度模型文件加密存储加密启用+访问日志可查安全工程师每次部署+月度推理API安全无匿名入口+TLS+限流有效安全工程师每次部署+月度关停能力实际执行≤5分钟(非理论值)运维值班每次部署+季度演练回退能力可回退至上一版本,耗时≤10分钟运维值班每次部署+季度演练四环境差异化按对应环境要求落实安全工程师每次部署配置版本化配置在版本库中,变更有记录运维月度例外与升级路径例外场景处理方式升级路径时限紧急部署(先运行后加固)仅开放内网+临时限流,≤24h完成全部加固运维→归口→安全24h模型文件存储故障备份恢复+事件响应+通知使用方运维→归口→安全委员会即时关停能力验证失败阻断上线,修复后重新验证部署→安全→归口阻断直至修复试运行发现异常回退+排查+修复+重新试运行运维→安全→归口视异常等级第四章模型访问控制与凭据管理第九条访问控制大模型推理API的访问必须受控。管理要求:1.API凭据(Key/Token)加密存储,禁止硬编码/明文2.API调用须身份认证+授权(防OWASPLLM03过度授权)3.按角色/用途分级授权(只读/生成/微调/管理)4.API限流/配额/异常调用检测(防OWASPLLM06无限制消耗)5.第三方API凭据与组织内网凭据隔离6.权限定期复审(防权限漂移/僵尸权限)落地执行规范岗位职责卡角色职责岗位映射权限凭据申请人提交凭据申请(用途/权限/配额/有效期)使用方开发/运营发起凭据审批人审批凭据申请归口部门审批/否决凭据管理员凭据分配/存储/轮换/吊销运维(密钥管理方向)执行权限配置人权限绑定/分级/复审安全工程师配置/复审异常监控人异常调用检测+告警SOC分析师监控/告警关键操作SOP(SOP-M03:API凭据全生命周期)步骤动作责任人时限/触发交付物交付物格式1凭据申请:填写《API凭据申请单》(用途/权限级别/配额/有效期/关联模型)凭据申请人使用前申请单表单2审批(归口部门;L3模型须安全工程师会签)凭据审批人收到后1工作日内审批记录审批单3凭据生成+加密存储(密钥管理系统,AES-256)凭据管理员审批通过后即时凭据分配记录系统记录4权限绑定(角色/用途/配额/端点/模型范围)权限配置人分配时权限配置记录配置记录5交付凭据(通过安全通道,禁邮件/IM明文)凭据管理员分配时交付确认系统记录6定期轮换(每90天)凭据管理员每90天轮换记录系统记录7触发轮换(泄露/事件/人员离职/权限变更)凭据管理员触发后≤1工作日轮换记录系统记录8异常调用监控+告警(频率突增/异常IP/非工作时间/大配额消耗)异常监控人持续监控日志+告警系统日志9权限复审(季度)权限配置人每90天复审记录检查表10凭据吊销(人员离职/权限变更/安全事件/到期)凭据管理员触发后即时吊销记录系统记录权限分级矩阵权限级别可执行操作典型角色审批要求只读查询模型状态/查看日志运维/审计归口生成调用推理API(标准调用)业务开发归口微调上传训练数据/执行微调算法工程师归口+安全管理模型配置/部署/退役/凭据管理平台管理员归口+安全+委员会(L3)量化要求汇总项目要求度量方法凭据加密存储100%(禁硬编码/明文/邮件)代码扫描+配置核查认证覆盖100%API调用(无匿名)API测试权限分级四级(只读/生成/微调/管理)权限配置核查限流/配额100%API端点配置配置+压力测试凭据定期轮换每90天轮换日志凭据触发轮换≤1工作日事件→轮换时间差异常调用告警实时(延迟≤5分钟)告警系统权限复审每90天复审记录第三方API凭据隔离100%(与内网凭据分库/分域)架构核查交付物与留痕交付物格式保存期存储位置责任人API凭据申请单PDF/系统2年模型安全档案库/访问/凭据申请人审批记录PDF/系统3年模型安全档案库/访问/凭据审批人凭据分配/轮换/吊销日志系统日志3年密钥管理系统凭据管理员权限配置记录系统/配置模型存续期权限管理系统权限配置人异常调用告警记录系统日志1年SOC平台异常监控人权限复审记录PDF/检查表2年模型安全档案库/访问/权限配置人检查与验收标准检查项达标标准检查人频次明文/硬编码凭据0个(代码扫描+配置核查)安全工程师月度匿名API调用0个(无Key调用被拒绝)安全工程师月度权限最小化无过度授权(权限≤实际所需)权限配置人季度限流/配额有效压力测试中限流/熔断生效安全工程师季度凭据按期轮换90天内100%已轮换凭据管理员月度僵尸凭据0个(无对应人员/用途的凭据)权限配置人季度异常告警有效模拟异常调用≤5分钟告警SOC季度例外与升级路径例外场景处理方式升级路径时限紧急调试(临时凭据)有效期≤24h,自动过期,操作录屏开发→安全24h自动回收凭据疑似泄露立即吊销+重新生成+排查调用日志+事件响应SOC→安全→归口→委员会(L3)即时吊销配额不足(业务增长)申请扩容+安全评估(是否异常)使用方→归口1工作日人员离职(凭据未交接)即时吊销+重新分配HR→运维→安全即时第五章模型数据安全与保护第十条训练数据安全大模型训练/微调数据的安全管理。管理要求:1.训练数据来源合规审查(7类风险:内容不当/来源不清/标注不完善/数据投毒/处理不规范/输出个人不实信息/合成数据缺陷)2.训练数据防投毒(清洗/过滤/来源验证/对抗样本检测)3.训练数据分类分级+加密存储4.微调数据不得包含未授权个人信息/敏感数据5.训练完成后数据处置(保留/删除/匿名化,确保安全无法恢复)6.数据访问审计(谁/何时/访问了什么数据/操作类型)第十一条推理数据安全大模型推理过程中的数据安全。管理要求:1.推理输入/输出数据不得包含未授权敏感信息2.推理数据不持久化(或加密持久化+访问受控)3.推理日志最小化(不记录完整prompt/response中的敏感内容)4.多租户推理隔离(不同租户数据不可交叉)5.防模型记忆泄露(防止模型"记住"并复现训练/推理中的敏感数据)第十二条模型权重保护模型权重文件(核心资产)的保护。管理要求:1.模型权重文件加密存储(AES-256或等效)2.权重文件访问受控(仅授权人员/系统可访问)3.权重文件备份加密+异地存储4.权重文件传输加密(TLS/专用通道)5.权重文件防篡改(哈希校验/数字签名)6.权重文件外发管控(禁止未经授权外发/共享/开源)落地执行规范岗位职责卡角色职责岗位映射权限数据管理员训练数据全生命周期管理(采集/清洗/分级/处置)数据工程师执行数据合规审查人数据来源/个人信息/敏感数据审查法务+数据保护官审查/否决防投毒检测人对抗样本/恶意标注/数据投毒检测安全工程师(AI安全)检测/报告权重资产管理员模型权重加密/访问/备份/完整性/外发管控资产管理员管理/审计推理数据监控人推理数据流监控/记忆泄露检测SOC+安全监控/报告关键操作SOP(SOP-M04:训练/微调数据管理)步骤动作责任人时限/触发交付物交付物格式1数据来源审查:7类风险逐项(使用附录H检查表)数据合规审查人训练前来源审查记录检查表(7项)2数据清洗/过滤/去重(去重率/质量评分)数据管理员训练前清洗报告报告(含质量指标)3防投毒检测(对抗样本检测/恶意标注识别/分布异常检测)防投毒检测人训练前防投毒检测报告报告(含异常样本清单)4数据分类分级(公开/内部/敏感/机密)+加密存储数据管理员训练前分级+加密记录系统记录5个人信息识别+脱敏/合规审查数据合规审查人训练前合规审查记录检查表6数据访问权限配置(最小授权+审计日志)数据管理员训练前权限配置系统记录7训练执行(记录数据版本/哈希/环境)开发/算法按计划训练日志系统日志8训练后数据处置(保留/删除/匿名化,确保无法恢复)数据管理员训练后5工作日内数据处置记录处置单9数据访问审计(训练期间访问记录审查)安全工程师训练后3工作日内审计报告报告关键操作SOP(SOP-M05:模型权重保护)步骤动作责任人时限/触发交付物交付物格式1权重文件登记(名称/版本/哈希/大小/来源)权重资产管理员获取时登记记录台账条目2加密存储配置(AES-256/密钥分离/访问控制)权重资产管理员获取时加密配置配置记录3完整性基线建立(SHA-256哈希/数字签名)权重资产管理员获取时哈希基线系统记录4备份(加密+异地+恢复验证)权重资产管理员获取后1工作日备份记录系统记录5访问控制(白名单/最小授权/审计日志)权重资产管理员持续访问策略配置+日志6月度完整性校验(哈希对比)权重资产管理员每月1日校验记录系统日志7外发管控(禁止未经授权外发/共享)权重资产管理员+安全持续外发审批记录审批单8传输安全(TLS/专用通道/校验)运维每次传输传输日志系统日志量化要求汇总项目要求度量方法来源审查7类风险逐项(来源:C000033)检查表7行全填防投毒检测100%训练数据批次检测覆盖率数据加密100%敏感及以上训练数据存储配置核查个人信息脱敏100%(微调数据)脱敏扫描训练后数据处置≤5工作日时间戳推理数据持久化默认不持久化(或加密+访问受控)配置核查推理日志最小化不记录完整敏感prompt/response日志样本核查多租户隔离100%隔离测试模型记忆泄露检测每季度1次检测记录权重加密100%(AES-256或等效)存储配置权重访问控制最小授权(白名单制)访问日志审计权重备份100%(加密+异地)备份记录权重传输加密100%(TLS/专用通道)传输配置权重完整性校验每月1次(哈希对比)校验记录权重外发0次未授权外发外发审批记录交付物与留痕交付物格式保存期存储位置责任人数据来源审查记录(7类)PDF/检查表3年模型安全档案库/数据/数据合规审查人防投毒检测报告PDF3年模型安全档案库/数据/防投毒检测人数据清洗报告PDF2年模型安全档案库/数据/数据管理员个人信息合规审查记录PDF5年模型安全档案库/数据/数据合规审查人训练日志(数据版本/哈希)系统3年训练平台开发/算法数据处置记录PDF/处置单3年模型安全档案库/数据/数据管理员权重哈希基线系统模型存续期模型台账系统权重资产管理员权重完整性校验记录系统日志2年监控平台权重资产管理员权重外发审批记录PDF/审批单5年模型安全档案库/数据/权重资产管理员推理数据访问审计日志系统180天(敏感12月)审计平台推理数据监控人检查与验收标准检查项达标标准检查人频次7类数据风险审查逐项审查,风险项有处置措施数据合规审查人每次训练防投毒检测100%批次覆盖,异常样本已隔离防投毒检测人每次训练敏感数据加密加密启用+密钥分离安全工程师月度个人信息脱敏脱敏扫描0残留数据合规审查人每次微调训练后数据处置≤5工作日完成,不可恢复数据管理员每次训练推理数据隔离多租户数据0交叉安全工程师季度模型记忆泄露季度检测0次泄露防投毒检测人季度权重完整性月度校验0异常权重资产管理员月度权重外发0次未授权外发安全工程师月度例外与升级路径例外场景处理方式升级路径时限训练数据含不可脱敏个人信息法务评估+用户同意+加密隔离+最短保留数据→法务→安全委员会训练前防投毒检测发现异常隔离异常样本+人工复核+必要时重新采集检测人→数据→安全即时隔离权重文件外发需求双人审批+加密+水印+接收方约束+日志申请→安全→委员会3工作日推理数据需持久化(业务需要)加密+访问受控+最短保留+定期清理业务→安全→归口1工作日第六章模型安全测试与评估第十三条安全测试大模型上线前/定期必须完成安全测试。管理要求:1.越狱测试:对照OWASPLLMTop102026十项风险构造测试用例2.提示注入测试:直接注入+间接注入3.敏感信息泄露测试:验证模型不会泄露训练数据/系统提示词/隐藏上下文4.无限制消耗测试:验证限流/配额/熔断有效5.模型投毒检测:验证训练/微调后模型未引入异常行为6.能力基线对标:GB/Z242-2026(5功能14子能力)7.红队测试:L3模型每半年1次/L2每年1次8.模型更新/微调后回归测试:验证安全能力未退化落地执行规范岗位职责卡角色职责岗位映射权限测试方案负责人制定测试方案(范围/用例/标准/工具)安全工程师(AI安全)方案/否决红队测试人执行越狱/注入/泄露/消耗测试红队/安全工程师执行/报告能力评估人GB/Z242能力基线对标安全+算法评估投毒检测人模型投毒/异常行为检测安全工程师检测/报告整改负责人测试发现问题的整改开发/算法整改测试审批人测试通过/不通过/有条件通过归口部门审批关键操作SOP(SOP-M06:模型安全测试)步骤动作责任人时限/触发交付物交付物格式1测试方案制定(覆盖OWASPLLMTop10十项+GB/Z242+红队范围)测试方案负责人测试前5工作日内测试方案文档(含用例清单)2测试用例设计(使用附录E框架,每风险≥3用例)红队测试人方案后3工作日内用例集用例表3越狱测试(直接/间接/多轮/多语言/多模态越狱手法)红队测试人用例后越狱测试报告报告(含成功率)4提示注入测试(直接注入/间接注入/工具调用注入)红队测试人随步骤3注入测试报告报告5敏感信息泄露测试(训练数据/系统提示词/隐藏上下文/用户数据)红队测试人随步骤4泄露测试报告报告6无限制消耗测试(并发压力/异常长文本/资源耗尽)红队测试人随步骤5消耗测试报告报告(含限流验证)7模型投毒检测(行为对比/后门检测/异常输出模式)投毒检测人随步骤6投毒检测报告报告8能力基线对标(GB/Z2425功能14子能力)能力评估人随步骤7能力对标记录评分表9综合评估+问题清单(严重/高危/中危/低危)测试方案负责人测试后3工作日内综合评估报告报告(含问题清单)10整改(高危≤5工作日/中危≤15工作日)整改负责人评估后整改记录整改单11回归测试(整改后验证)红队测试人整改后3工作日内回归测试报告报告12测试审批(通过/不通过/有条件通过)测试审批人回归后2工作日内审批记录审批单测试频次矩阵测试类型L1L2L3触发条件上线前全量测试1次1次1次首次上线定期红队测试每年1次每年1次每半年1次到期模型更新/微调后回归1次1次1次模型版本变更OWASP复测每两年每年每半年到期/OWASP版本更新触发测试按需按需按需新漏洞/新攻击/事件后量化要求汇总项目要求度量方法OWASPLLMTop10覆盖十项全覆盖,每项≥3用例用例集计数越狱手法覆盖≥4类(直接/间接/多轮/多语言)用例分类统计敏感信息泄露0次成功(训练数据/系统提示词/隐藏上下文)测试报告限流/配额/熔断压力测试中100%生效消耗测试报告模型投毒0次引入异常行为投毒检测报告GB/Z242对标5功能14子能力达标(或标注差距+缓解)评分表红队频次L3半年/L2年/L1两年测试日历整改闭环高危≤5工作日/中危≤15工作日时间戳回归测试整改后100%回归回归报告模型更新后测试100%更新前完成回归更新审批前置交付物与留痕交付物格式保存期存储位置责任人测试方案PDF3年模型安全档案库/测试/测试方案负责人测试用例集Excel/PDF3年模型安全档案库/测试/红队测试人越狱/注入/泄露/消耗测试报告PDF3年模型安全档案库/测试/红队测试人投毒检测报告PDF3年模型安全档案库/测试/投毒检测人能力对标记录(GB/Z242)PDF/评分表3年模型安全档案库/测试/能力评估人综合评估报告+问题清单PDF3年模型安全档案库/测试/测试方案负责人整改记录PDF/整改单2年模型安全档案库/测试/整改负责人回归测试报告PDF3年模型安全档案库/测试/红队测试人测试审批记录PDF/审批单5年模型安全档案库/测试/归口部门检查与验收标准检查项达标标准检查人频次OWASP十项覆盖十项全有测试用例+结果测试方案负责人每次测试越狱成功率L3:0成功;L2:≤5%;L1:≤10%红队测试人每次测试敏感信息泄露0次成功红队测试人每次测试限流/熔断有效压力测试中100%触发红队测试人每次测试模型投毒0次异常行为引入投毒检测人每次训练/微调后GB/Z242达标14子能力达标或差距有缓解能力评估人每次对标整改闭环率100%(高危/中危全部闭环)归口部门月度测试按期完成率100%(按计划完成)归口部门季度例外与升级路径例外场景处理方式升级路径时限紧急上线(未完整测试)先核心3项(LLM01/02/06)后补全归口→委员会(L3必须)后补≤5工作日越狱成功发现阻断上线+紧急修复+安全加固+复测安全→归口→委员会即时阻断模型更新后安全退化阻断更新+回退+分析+修复测试→安全→归口即时回退测试工具/环境不可用延期(≤2周)+临时缓解(加强监控)测试→运维→归口2周第七章模型运行监控与审计第十四条运行监控大模型推理服务运行期间必须持续监控。管理要求:1.输入监控:检测恶意prompt/注入/越狱尝试2.输出监控:检测违规输出/敏感信息泄露/不当内容3.资源监控:检测异常调用/无限制消耗/DoS4.行为监控:检测模型行为偏离/幻觉率异常/安全机制失效5.全链路审计日志:谁/何时/调了什么模型/输入输出摘要/结果6.生成合成内容标识(按GB45438《网络安全技术人工智能生成合成内容标识方法》要求)第十五条定期评估管理要求:1.模型安全定期评估:L3每半年/L2每年/L1每两年2.评估内容:OWASPLLMTop10复测/能力基线对标/新威胁对照/整改验证3.风险变化触发评估:新漏洞/新攻击/模型更新/业务变化4.评估结果更新台账+制定改进计划落地执行规范岗位职责卡角色职责岗位映射权限监控部署人监控规则/告警/日志配置运维+安全配置SOC分析师告警响应/事件初判/日常监控SOC值班监控/响应日志管理员审计日志配置/留存/防篡改/检索运维(安全方向)管理行为分析人模型行为偏离/幻觉率/安全机制失效分析安全工程师(AI)分析/报告评估负责人定期评估组织+报告归口部门组织/报告关键操作SOP(SOP-M07:运行监控部署)步骤动作责任人时限/触发交付物交付物格式1输入检测规则部署(注入模式/越狱模式/异常token/频率异常)监控部署人部署时输入检测配置规则集2输出审查规则部署(违规内容/敏感信息/不当输出/幻觉标记)监控部署人部署时输出审查配置规则集3资源监控配置(调用量/延迟/错误率/GPU使用率/队列深度)监控部署人部署时资源监控配置Dashboard4行为监控配置(输出分布/拒绝率/幻觉采样/安全机制触发率)行为分析人部署时行为监控配置Dashboard5审计日志配置(五要素:谁/何时/什么模型/输入摘要/输出摘要)日志管理员部署时日志配置配置记录6告警规则配置(分级:P1即时/P2≤15min/P3≤1h/P4日报)SOC分析师部署时告警规则规则集7防篡改机制(只追加/哈希链/定期校验)日志管理员部署时防篡改配置配置记录8验证(模拟攻击/异常/告警全链路测试)监控部署人+SOC部署后1工作日内验证报告报告审计日志五要素要素内容示例谁(Who)调用者身份(APIKey标识/用户ID)user_id:dev-001何时(When)精确时间戳(UTC+8)2026-10-13T14:30:00+08:00什么模型(What)模型名称+版本model:gpt-xv3.2输入摘要(Input)prompt摘要(脱敏,≤500字)"请帮我..."(敏感内容已脱敏)输出摘要(Output)response摘要(脱敏,≤500字)+审查结果"好的..."(通过审查)告警分级与响应级别触发条件响应时限通知范围示例P1(紧急)模型失控/核心数据泄露/服务被劫持即时(≤5分钟)应急指挥+归口+委员会越狱成功+数据外泄P2(高危)批量越狱尝试/敏感信息泄露/异常消耗≤15分钟SOC+安全+归口1小时内100+越狱尝试P3(中危)单次异常/限流触发/行为偏离≤1小时SOC单次注入成功P4(低危)轻微异常/告警噪音日报汇总SOC偶发超时量化要求汇总项目要求度量方法输入检测100%推理请求过检测日志对比输出审查100%推理输出过审查日志对比资源监控实时(延迟≤1分钟)Dashboard行为监控每日采样(≥100条/模型)采样配置审计日志留存≥180天(敏感≥12月)存储策略日志不可篡改防篡改校验通过(哈希链/只追加)月度校验P1告警响应≤5分钟告警→响应时间差P2告警响应≤15分钟告警→响应时间差定期评估L3半年/L2年/L1两年评估日历触发评估新漏洞/模型更新/业务变化后≤10工作日触发→评估时间差生成内容标识100%(按GB45438)输出标识核查交付物与留痕交付物格式保存期存储位置责任人监控/告警配置配置/系统模型存续期监控平台监控部署人审计日志系统(只追加)180天/12月日志平台日志管理员告警记录+响应记录系统1年SOC平台SOC分析师行为分析报告PDF2年模型安全档案库/监控/行为分析人定期评估报告PDF3年模型安全档案库/监控/评估负责人日志防篡改校验记录系统2年日志平台日志管理员检查与验收标准检查项达标标准检查人频次输入/输出检测覆盖100%(无绕过路径)安全工程师月度告警有效性模拟攻击≤5分钟(P1)/≤15分钟(P2)告警SOC季度审计日志完整五要素100%完整日志管理员月度日志不可篡改哈希链校验0异常日志管理员月度行为偏离检测异常行为≤1天发现行为分析人持续定期评估按期100%按计划完成归口部门到期前1月提醒生成内容标识100%输出带标识安全工程师月度例外与升级路径例外场景处理方式升级路径时限监控/告警系统故障临时人工巡检(每4h)+故障修复运维→SOC→归口即时日志存储不足扩展+清理过期(≥180天保留)日志管理员→运维24h告警风暴(大量误报)临时调整阈值+事后优化规则SOC→安全24h模型行为突然偏离P2响应+行为分析+必要时关停SOC→行为分析人→归口15分钟第八章模型漏洞管理与应急响应第十六条漏洞管理管理要求:1.模型/推理框架/依赖的已知漏洞跟踪(CVE/厂商预警)2.模型特有风险跟踪(新越狱手法/新注入方式/新投毒向量)3.漏洞响应SLA:紧急≤72h/高危≤7天/中危≤30天/低危下一维护窗口4.未修复期间临时缓解(降级/隔离/关停/封堵)5.漏洞台账全生命周期管理(发现→定级→修复→验证→销号)第十七条应急响应管理要求:1.模型安全事件分类:越狱成功/敏感数据泄露/模型被投毒/无限制消耗/模型文件泄露/推理服务被劫持2.事件分级:Ⅰ(模型被完全控制/核心数据泄露)/Ⅱ(敏感数据泄露/模型投毒生效)/Ⅲ(单一越权/未遂攻击)/Ⅳ(单点异常/告警)3.响应流程:发现→初判→止损(关停/封堵)→隔离→取证→定责→恢复→闭环4.一键关停能力:任何模型可≤5分钟关停5.事件报告:Ⅰ/Ⅱ级≤1小时上报;Ⅲ/Ⅳ级≤1工作日6.演练:每年≥1次(L3模型每半年≥1次)落地执行规范岗位职责卡角色职责岗位映射权限漏洞跟踪人CVE/预警/新威胁跟踪+台账维护安全工程师跟踪/报告漏洞修复人漏洞修复/补丁/配置加固运维+开发修复应急指挥事件分级/资源调度/决策归口部门负责人/安全委员会决策止损执行人关停/封堵/隔离/降级运维值班执行取证分析人日志/模型状态/数据流取证+根因分析安全工程师(AI安全)分析/报告恢复执行人回滚/修复/验证/上线运维执行整改闭环人根因整改+制度/流程改进归口部门闭环关键操作SOP(SOP-M08:模型漏洞响应)步骤动作责任人时限/触发交付物交付物格式1漏洞发现(CVE/厂商预警/扫描/红队/社区/用户报告)漏洞跟踪人/SOC实时漏洞报告报告2定级(紧急/高危/中危/低危,参照CVSS+业务影响)漏洞跟踪人发现后≤4小时定级记录定级单3影响分析(影响哪个模型/版本/环境/数据/用户)漏洞跟踪人+运维定级后≤1工作日影响分析分析文档4a可修复→按SLA修复(补丁/升级/配置)漏洞修复人按SLA修复记录修复单4b不可修复→临时缓解(降级/隔离/关停/封堵)止损执行人≤24小时缓解记录缓解单5验证(修复/缓解有效性验证)漏洞跟踪人修复后1工作日内验证记录测试记录6销号+台账更新漏洞跟踪人验证后1工作日内台账更新台账条目7通报(紧急/高危:通知所有使用方)归口部门定级后4小时内通报邮件/系统漏洞SLA矩阵等级判定标准修复SLA缓解SLA通报要求紧急在野利用/CVSS≥9.0/核心数据风险≤72小时≤4小时定级后4h通报使用方高危CVSS7.0-8.9/敏感数据风险≤7天≤24小时定级后1工作日通报中危CVSS4.0-6.9≤30天≤5工作日月度汇总通报低危CVSS<4.0下一维护窗口可选季度汇总关键操作SOP(SOP-M09:模型安全事件响应)步骤动作责任人时限/触发交付物交付物格式1发现报告(任何人员发现→SOC/归口)SOC/任何人实时(失控即时)事件报告(初)报告/电话2初判分级(Ⅰ/Ⅱ/Ⅲ/Ⅳ)应急指挥≤30分钟分级决定分级单3止损(关停/封堵/降级/限流)止损执行人≤30分钟止损记录操作记录4隔离(模型实例/数据/凭据/网络)止损执行人≤1小时隔离记录操作记录5取证(日志/模型状态/数据流/凭据/配置)取证分析人≤2小时取证记录取证报告6根因分析取证分析人+归口5工作日内根因报告报告7恢复(回滚/修复/验证/逐步上线)恢复执行人根因后3工作日内恢复记录操作记录8闭环整改(制度/流程/技术/人员改进)整改闭环人恢复后10工作日内整改报告报告9事件通报+归档归口部门闭环后3工作日内通报+归档通报/档案事件分级标准级别判定条件(满足任一)响应要求上报要求Ⅰ(特别重大)模型被完全控制/核心数据批量泄露/生产业务中断>1h应急指挥+委员会+止损即时≤1小时上报Ⅱ(重大)敏感数据泄露/模型投毒生效/大规模越狱应急指挥+止损≤30min≤1小时上报Ⅲ(较大)单一越权/未遂攻击/单用户数据影响SOC+安全+归口≤1工作日Ⅳ(一般)单点异常/告警/无实际影响SOC记录月度汇总量化要求汇总项目要求度量方法紧急漏洞修复≤72小时发现→修复时间差高危漏洞修复≤7天发现→修复时间差中危漏洞修复≤30天发现→修复时间差临时缓解紧急≤4h/高危≤24h发现→缓解时间差定期漏洞扫描每周1次(推理框架/依赖)扫描记录预警订阅厂商/CNCERT/OWASP/社区(持续)订阅清单失控事件报告即时发现→报告时间差其他事件报告≤1小时(Ⅰ/Ⅱ)/≤1工作日(Ⅲ/Ⅳ)发现→报告时间差止损≤30分钟分级→止损时间差关停能力≤5分钟模拟计时演练每年≥1次(L3每半年≥1次)演练记录根因报告≤5工作日事件→报告时间差闭环整改≤10工作日(恢复后)恢复→闭环时间差漏洞SLA达成率≥90%月度统计交付物与留痕交付物格式保存期存储位置责任人漏洞台账(全生命周期)系统/表格5年漏洞管理系统漏洞跟踪人漏洞报告+定级+影响分析PDF3年模型安全档案库/漏洞/漏洞跟踪人修复/缓解记录PDF/系统3年模型安全档案库/漏洞/漏洞修复人事件报告(全阶段)PDF5年模型安全档案库/应急/应急指挥根因分析报告PDF5年模型安全档案库/应急/取证分析人整改报告PDF3年模型安全档案库/应急/整改闭环人演练记录+报告PDF2年模型安全档案库/应急/应急指挥预警订阅+跟踪记录系统2年漏洞管理系统漏洞跟踪人检查与验收标准检查项达标标准检查人频次漏洞SLA达成率≥90%(紧急/高危)归口部门月度定期扫描执行每周1次,无遗漏漏洞跟踪人周度预警订阅有效≥3个渠道(厂商/CNCERT/OWASP)漏洞跟踪人季度关停能力实际执行≤5分钟运维值班季度演练事件按期报告100%(Ⅰ/Ⅱ≤1h/Ⅲ≤1工作日)归口部门每次事件根因整改闭环100%(无未闭环事件>30天)归口部门月度演练执行每年≥1次(L3每半年)应急指挥到期前1月提醒例外与升级路径例外场景处理方式升级路径时限紧急漏洞无补丁临时缓解(降级/隔离/关停)+持续跟踪安全→归口→委员会缓解≤4h事件定级争议就高不就低应急指挥→委员会1小时内裁决止损影响业务(关停模型)记录业务影响+事后补偿方案运维→归口→业务方即时第三方API模型漏洞(非本组织可控)通知供应商+临时缓解+制定切换方案安全→归口→委员会24h内通知第九章模型供应链安全第十八条供应链管控管理要求:1.第三方模型/API供应商安全评估+持续监控2.开源模型安全评估(社区维护/已知漏洞/恶意代码/许可)3.模型依赖组件清单(推理框架/向量库/嵌入模型/Tokenizer等)4.微调基座模型继承风险(基座漏洞/对齐退化/后门)5.模型更新/升级安全评估(防更新引入新风险)6.供应商退出机制(数据回收/模型替代/过渡期)落地执行规范岗位职责卡角色职责岗位映射权限供应链评估人供应商/来源安全评估安全工程师评估/否决模型扫描人模型/依赖安全扫描(漏洞/恶意代码/后门)安全工程师扫描/报告BOM管理员AI-BOM维护/月度更新开发+安全维护合规审查人许可/合规审查法务+安全审查持续监控人供应商/模型安全公告持续跟踪漏洞跟踪人跟踪/通报关键操作SOP(SOP-M10:模型供应链准入)步骤动作责任人时限/触发交付物交付物格式1供应商/来源安全评估(资质/安全公告/漏洞响应/数据协议/退出机制)供应链评估人准入前评估报告报告2模型安全扫描(漏洞/恶意代码/后门/异常行为)模型扫描人评估后3工作日内扫描报告报告3依赖组件清单+AI-BOM生成(推理框架/向量库/嵌入/Tokenizer等)BOM管理员随扫描AI-BOMBOM文件4许可/合规审查(开源许可/商用授权/数据协议)合规审查人随扫描合规记录检查表5基座继承风险评估(微调模型:基座漏洞/对齐退化/后门)供应链评估人随扫描(微调时)继承风险记录报告6审批(归口;L3/关键模型须委员会)归口/委员会评估后3工作日内审批记录审批单7入AI-BOM+持续监控配置BOM管理员审批后1工作日内BOM更新+监控配置系统记录8模型更新/升级安全评估(更新前必做)供应链评估人+模型扫描人每次更新前更新评估报告报告AI-BOM(AI物料清单)最小字段字段说明模型名称/版本唯一标识来源(第三方/开源/自建)基座模型(微调时)名称+版本推理框架+版本如vLLM0.4.2向量库+版本如Milvus2.3嵌入模型+版本Tokenizer+版本许可类型Apache2.0/MIT/商用/自定义已知漏洞CVE列表安全公告订阅渠道+频次退出机制数据回收/替代方案/过渡期量化要求汇总项目要求度量方法供应商评估100%第三方模型/API评估记录覆盖率安全扫描100%模型/依赖扫描记录AI-BOM维护月度更新+变更即时BOM版本日志许可合规100%(无违规使用)合规记录模型更新评估100%更新前完成更新审批前置持续监控安全公告7×24跟踪订阅+告警退出机制100%第三方模型有退出预案预案文档基座继承风险100%微调模型评估评估记录交付物与留痕交付物格式保存期存储位置责任人供应商安全评估报告PDF3年模型安全档案库/供应链/供应链评估人模型安全扫描报告PDF3年模型安全档案库/供应链/模型扫描人AI-BOM系统/文件模型存续期模型台账系统BOM管理员许可/合规审查记录PDF5年模型安全档案库/供应链/合规审查人模型更新评估报告PDF3年模型安全档案库/供应链/供应链评估人退出预案PDF模型存续期模型安全档案库/供应链/供应链评估人持续监控记录(安全公告)系统2年漏洞管理系统持续监控人检查与验收标准检查项达标标准检查人频次供应商评估覆盖100%第三方模型有评估归口部门月度AI-BOM完整性全部在用模型有BOMBOM管理员月度AI-BOM时效性月度更新(版本/漏洞/许可)BOM管理员月度许可合规0违规合规审查人季度更新评估100%更新前有评估供应链评估人每次更新退出机制100%第三方模型有预案供应链评估人年度安全公告响应紧急≤24h/高危≤7天持续监控人持续例外与升级路径例外场景处理方式升级路径时限供应商紧急停服触发退出预案+替代方案+数据回收供应链→归口→委员会即时启动预案开源模型发现恶意代码立即隔离+排查影响+事件响应安全→归口→委员会即时隔离许可合规争议法务评估+临时使用(≤30天)+替代方案合规→法务→委员会30天模型更新引入新风险阻断更新+回退+评估供应链→安全→归口即时回退第十章模型退役与销毁第十九条退役下线管理要求:1.模型退役触发:业务下线/安全漏洞不可修复/性能不达标/合规要求2.退役前安全评估(残留风险/数据残留/依赖影响)3.模型文件安全处置:权重/配置/超参数/训练脚本/推理服务配置确保安全无法恢复4.训练数据同步处置(保留/删除/匿名化)5.推理服务下线+API凭据吊销6.退役记录+审计留痕7.依赖组件清理(关联服务/配置/监控/告警)落地执行规范岗位职责卡角色职责岗位映射权限退役发起人提出退役申请(原因/影响/时间)业务方/归口发起退役审批人退役审批(含紧急退役)归口/委员会审批退役评估人退役前安全评估(残留风险/数据/依赖)安全工程师评估销毁执行人模型文件/数据/凭据安全销毁运维+安全执行验证人销毁后验证(确认无法恢复)安全工程师验证审计留痕人退役全流程审计记录归口部门记录关键操作SOP(SOP-M11:模型退役)步骤动作责任人时限/触发交付物交付物格式1退役申请(原因/影响范围/依赖方/时间计划)退役发起人触发时退役申请单表单2退役审批(含紧急退役快速通道)退役审批人收到后2工作日内审批记录审批单3退役前安全评估(残留风险/数据残留/依赖影响/用户通知)退役评估人审批后3工作日内评估报告报告4通知使用方+制定过渡方案(≥7天通知期,紧急除外)归口部门评估后1工作日内通知+过渡方案邮件/文档5推理服务下线+API凭据吊销+监控/告警移除销毁执行人过渡期结束下线记录操作记录6模型文件安全销毁(权重/配置/超参数/训练脚本,确保无法恢复)销毁执行人+验证人下线后3工作日内销毁记录销毁单(含哈希对比)7训练数据同步处置(保留/删除/匿名化)数据管理员销毁后5工作日内数据处置记录处置单8依赖组件清理(关联服务/配置/向量库/嵌入)销毁执行人随步骤6-7清理记录操作记录9销毁验证(确认无法恢复:哈希失效/存储不可读/备份清除)验证人销毁后1工作日内验证记录验证单10台账更新(状态→退役)+审计留痕审计留痕人全部完成后1工作日内审计记录台账+档案量化要求汇总项目要求度量方法模型文件销毁确保安全无法恢复(哈希失效+存储不可读)验证记录训练数据处置同步(≤5工作日)时间戳API凭据吊销100%(退役时全部吊销)凭据系统核查推理服务下线100%(含所有端点/副本)端口扫描依赖组件清理100%(关联服务/配置/向量库)清理检查表使用方通知≥7天(紧急除外)通知记录退役审计100%留痕(全流程可追溯)审计记录备份清除100%(含异地备份)备份系统核查交付物与留痕交付物格式保存期存储位置责任人退役申请单+审批PDF5年模型安全档案库/退役/退役发起人退役前安全评估报告PDF3年模型安全档案库/退役/退役评估人下线记录+凭据吊销记录系统3年运维系统销毁执行人模型文件销毁记录(含哈希对比)PDF/销毁单5年模型安全档案库/退役/销毁执行人数据处置记录PDF/处置单5年模型安全档案库/退役/数据管理员销毁验证记录PDF/验证单5年模型安全档案库/退役/验证人退役审计记录(全流程)PDF5年模型安全档案库/退役/审计留痕人检查与验收标准检查项达标标准检查人频次模型文件销毁哈希失效+存储不可读+备份清除验证人每次退役训练数据处置≤5工作日完成,不可恢复数据管理员每次退役推理服务下线端口扫描0可达安全工程师每次退役API凭据吊销0个有效凭据残留凭据管理员每次退役依赖组件清理检查表全填+验证通过安全工程师每次退役审计留痕完整全流程10步全有记录归口部门每次退役例外与升级路径例外场景处理方式升级路径时限紧急退役(安全漏洞不可修复)先关停(≤5分钟)后走完整流程(≤5工作日补全)安全→归口→委员会关停即时/补全5工作日模型文件销毁争议双人确认+录屏+第三方见证运维→安全→归口销毁前使用方未迁移(超过渡期)延长(≤30天)+强制下线归口→业务方→委员会30天数据处置困难(合规保留要求)法务评估+加密隔离+最短保留+定期复审数据→法务→安全委员会处置前第十一章监督考核与持续改进第二十条监督考核管理要求:1.模型安全KPI量化考核2.季度态势报告(模型安全KPI/事件/漏洞/改进)3.年度全面评估(模型安全制度有效性)4.违规分级问责KPI仪表盘:维度指标目标数据来源统计周期管理模型台账覆盖率100%台账系统月度管理选型评估完成率100%评估档案月度管理审批权限匹配率100%审批记录季度技术凭据加密/认证覆盖率100%配置核查月度技术安全测试按期完成率100%测试日历季度技术高危漏洞SLA达成率≥90%漏洞系统月度技术模型完整性校验通过率100%校验记录月度运营审计日志留存达标率100%日志系统月度运营监控告警响应时效达标率≥95%SOC平台月度运营AI-BOM更新及时率100%(月度)BOM系统月度事件事件按期报告率100%事件记录季度事件根因整改闭环率100%整改记录季度事件演练完成率100%演练记录年度第二十一条持续改进1.PDCA循环:定基线→落地→度量→改进2.新威胁跟踪:OWASPLLMTop10更新/新越狱手法/新漏洞/新投毒向量3.年度制度修订:每年≥1次全面修订+重大变化时临时修订4.培训:全员:年度≥1次(模型安全基础/报告义务/禁止行为)安全工程师:半年≥1次(OWASP更新/新攻击/工具)算法/开发:季度≥1次(安全编码/防注入/数据保护)新入职:入职后1周内完成5.内部审核:每年≥1次(制度执行有效性/流程合规性)6.外部对标:每年对照OWASP/国标/行标更新情况评估制度覆盖度第十二章附则第二十二条与智能体族/全AI族的关系本制度聚焦模型层(大模型本身的安全管理)《AI智能体网络安全管理制度族》聚焦智能体层(基于模型的自主执行系统)《AI安全管理制度族》聚焦全AI域(含模型+智能体+应用)交叉处从严适用并留痕第二十三条制度衔接等保/个保/数安/密评/关基:按对应制度执行备案制度:生成式AI服务备案商用密码:模型文件加密/传输加密按商用密码制度第二十四条解释权与修订本制度由模型安全归口部门负责解释,年度修订或重大变化时临时修订。第二十五条生效本制度自发布之日起执行。附录附录A:OWASPGenAILLMTop102026对照表#风险本制度对应条款防护要点落地检查项LLM01提示注入第六章/第七章输入检测/提示隔离/输出审查输入检测规则+越狱测试LLM02敏感信息泄露第五章/第七章数据加密/最小化/记忆泄露防护加密配置+季度记忆检测LLM03过度授权第四章最小权限/分级授权/仲裁权限复审+最小化核查LLM04供应链第九章供应商评估/扫描/AI-BOMBOM月度更新+扫描LLM05数据与模型投毒第五章/第六章防投毒/检测/回归测试训练前检测+微调后回归LLM06无限制消耗第三章/第四章/第七章限流/配额/熔断/监控限流配置+压力测试LLM07错误信息第六章能力基线/输出审查/人工复核GB/Z242对标+输出审查LLM08隐藏上下文暴露第六章/第七章系统提示词保护/检测泄露测试+输出审查LLM09向量与嵌入弱点第五章/第六章嵌入安全/向量库访问控制向量库ACL+嵌入注入测试LLM10不当输出处理第七章输出审查/内容标识/过滤输出审查规则+标识附录B:模型安全事件分类表事件类别典型场景对应OWASP响应优先级止损措施越狱成功模型产生违规输出LLM01Ⅱ/Ⅲ关停+输入加固敏感数据泄露训练数据/用户数据被提取LLM02Ⅰ/Ⅱ关停+凭据吊销+通知过度授权模型执行未授权操作LLM03Ⅱ/Ⅲ权限回收+审计供应链投毒模型/依赖被植入后门LLM04/05Ⅰ/Ⅱ隔离+回退+排查模型投毒训练/微调数据被篡改LLM05Ⅰ/Ⅱ回退模型+数据排查无限制消耗API被大规模滥用LLM06Ⅲ/Ⅳ限流+凭据吊销隐藏上下文泄露系统提示词/工具清单被提取LLM08Ⅲ加固+监控推理服务被劫持推理API被未授权调用LLM02/03Ⅱ关停+凭据吊销+隔离模型文件泄露权重文件被窃取LLM04Ⅰ/Ⅱ密钥轮换+法律追诉附录C:模型台账字段表字段必填说明模型名称/版本✓唯一标识类型(第三方API/自建/微调)✓基座模型(微调时)条件名称+版本训练数据来源/合规状态✓7类风险审查部署环境(公有云/私有云/本地/终端)✓四环境推理API端点/凭据标识✓风险等级(L1/L2/L3)✓三维度OWASPLLMTop10评估状态✓十项GB/Z242对标状态✓5功能14子能力责任人✓唯一状态(运行/退役/停用)✓下次评估日期✓L3半年/L2年/L1两年上次评估日期+结果✓模型完整性哈希✓SHA-256创建日期✓变更记录✓版本/配置/环境变更附录D:模型安全部署检查表检查项L1L2L3检查方法环境隔离(容器/独立网络)☐☐☐部署架构图模型文件加密(权重/配置/超参数)☐☐☐存储配置推理APITLS1.2+☐☐☐端口扫描推理API认证(无匿名)☐☐☐API测试限流/配额/超时☐☐☐配置+压力测试输入检测(注入/越狱)☐☐☐规则配置+测试输出审查(违规/泄露)☐☐☐规则配置+测试审计日志(五要素/不可篡改)☐☐☐日志样本一键关停能力(≤5分钟)☐☐☐模拟执行版本回退能力(≤10分钟)☐☐☐模拟执行多租户隔离—☐☐隔离测试资源监控+告警☐☐☐Dashboard模型完整性校验(哈希/签名)☐☐☐哈希对比配置版本化(IaC)☐☐☐配置库四
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中七年级科学“科学测量”知识小测复习课教学设计
- 七年级科学物态变化教学设计
- 八年级道德与法治下册《国家主席的职权》教案
- 八年级地理上册《农业》第一课时教学设计
- 高三数学《数列通项公式》一轮复习教学设计
- 小学五年级道德与法治《文明礼仪伴我行》主题班会教学设计
- 高中信息技术必修1 教学设计:数据感知、采集与编码的核心素养培育
- 九年级地理《我国的跨省际区域》中考复习教学设计
- 人工智能应用工程师实践操作模拟试卷及答案
- 部编版六年级英语下册第1单元综合测试卷及答案
- 蜂王浆的课件
- 基于多因素协同的喷涂机器人喷枪轨迹优化策略与应用研究
- 药品qa培训课件
- 项目合作佣金协议书范本
- 农村土地承包合同书
- 艺术品交易市场建设合同
- UL1977标准中文版-2019连接器UL中文版标准
- 公共图书馆情绪疗愈空间设计研究:动因、现状与实现机制
- 肺部疾病护理查房
- 心理咨询中的认知重构技巧
- 第9章 语义分割
评论
0/150
提交评论