T-CCSA 397-2024 中文版 生成式人工智能服务安全管理体系要求

T/CCSA397-2024中文版生成式人工智能服务安全管理体系要求第一章总则1.1编制目的与制定背景为规范各类市场主体生成式人工智能服务全流程安全管理工作，统一生成式人工智能服务安全管理体系建设的标准化实施依据与合规管控基准，适配国家生成式人工智能服务管理暂行办法及网络安全、数据安全、个人信息保护相关法律法规监管要求，有效防范化解生成式人工智能语料采集、模型训练、服务部署、内容生成、交互应用、迭代优化全生命周期各类安全风险，遏制不良信息生成传播、知识产权侵权、个人信息泄露、算法滥用、恶意诱导输出等突出安全隐患，保障生成式人工智能服务合规、安全、稳定、可持续运营，保护用户合法权益、社会公共利益及网络空间安全秩序，中国通信标准化协会正式发布T/CCSA397-2024《生成式人工智能服务安全管理体系要求》团体标准。本标准核心目的在于明确生成式人工智能服务提供者安全管理体系建设的基础框架、核心管控职责、全流程安全管理要求、合规运行规范及持续改进机制，引导各类AIGC运营企业建立系统化、常态化、闭环化、可审计可追溯的安全管理体系，杜绝零散化、碎片化、形式化安全管控模式，推动生成式人工智能产业安全合规与创新发展协同并进。1.2适用范围本T/CCSA397-2024团体标准规定了生成式人工智能服务安全管理体系的总体管理要求、组织人员安全管理、全生命周期安全管控、语料资源安全管理、基础模型与定制模型安全管理、生成内容安全管控、用户交互与权限安全管理、技术安全防护运维、应急处置与事件管理、安全评估与审核整改、体系持续改进等全维度强制性与推荐性管理要求。本标准适用于在境内提供面向公众及行业专属场景的文本、图像、音频、视频、代码等各类形态生成式人工智能服务的所有服务提供者，涵盖基础大模型研发运营企业、行业垂类生成式AI应用服务商、第三方AI运维托管服务机构、政企专属AI定制化部署单位等各类相关主体。同时，本标准可作为行业主管部门开展生成式人工智能服务安全合规核查、第三方机构开展安全体系评估认证、企业内部AI安全自查整改、供应链AI合作安全准入的核心合规依据，所有纳入备案管理的生成式人工智能服务运营主体，均需参照本标准完成安全管理体系搭建、运行、审核与迭代优化工作。1.3合规编制与实施依据本T/CCSA397-2024生成式人工智能服务安全管理体系要求，严格依据国家《生成式人工智能服务管理暂行办法》核心监管规定、《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规要求编制制定，同步对标全国网络安全标准化技术委员会人工智能安全相关标准规范、通信行业网络与数据安全管理统一规则及生成式AI安全风险分级防控管理要求。本标准结合当前生成式人工智能技术应用实际发展现状、行业高频安全风险隐患、企业安全管理实操痛点制定，兼顾技术可行性、管理实操性、合规强制性与产业适配性，所有体系管理条款均贴合AI服务备案审核、日常监管抽查、安全评估核验的硬性工作要求，服务提供者建设运行安全管理体系必须严格遵循本标准所有核心管控条款，不得随意豁免、简化或变相弱化安全管理职责与管控流程。1.4核心管理基本原则生成式人工智能服务安全管理体系建设与全程运行，必须严格遵循五大核心刚性管理原则。一是安全合规底线原则，所有AI服务运营活动、技术研发、数据处理、内容生成必须坚守国家法律法规及本标准合规底线，严禁突破安全红线开展各类经营及技术迭代工作；二是全生命周期闭环管控原则，安全管理覆盖语料采集加工、模型训练调优、服务上线部署、用户交互使用、模型迭代升级、服务下线停用全流程，无管控盲区、无管理断点；三是风险导向分级管控原则，基于生成式AI各类安全风险等级实施差异化管控策略，高风险环节强化技术防护与人工复核，低风险环节规范常规化管理，精准压降核心安全隐患；四是权责统一全员履职原则，明确企业管理层、安全管理部门、技术研发部门、运营服务部门、运维保障部门各级安全管理职责，落实一岗双责，安全责任层层压实到人；五是持续动态改进原则，结合技术迭代、合规新规更新、安全风险变化、事件处置复盘情况，动态优化安全管理体系管控措施，实现安全管理与AI技术发展同步升级、长效适配。第二章术语与定义2.1生成式人工智能服务提供者指依托基础大模型、垂类定制模型及配套算法算力资源，面向社会公众或特定行业用户提供文本创作、图像生成、音频合成、视频制作、代码开发、智能问答等各类生成式人工智能交互服务，依法履行备案手续、承担安全管理主体责任的法人单位及运营组织，是本安全管理体系建设、运行、整改、持续改进的唯一责任主体，对AI服务全流程安全合规负首要责任。2.2生成式人工智能语料资源指用于生成式人工智能模型预训练、微调优化、对齐训练、效果测试所使用的文本、图片、音频、视频、代码、行业业务数据等各类原始及加工处理数据集合，包含公开网络采集语料、行业专属业务语料、用户交互历史语料、第三方合作共享语料等所有类型训练及优化数据源，是生成式AI模型安全、内容合规、知识产权合法的基础核心资源。2.3生成式人工智能安全管理体系指生成式AI服务提供者为落实主体安全责任、防控各类AI安全风险、满足合规监管要求，建立的组织架构、管理制度、技术防护措施、人员管理规范、运维操作流程、应急处置机制、安全评估整改、持续改进优化等系统化管理总和，实现AI安全管理标准化、流程化、台账化、可追溯化运行，保障服务长期合规稳定运营。2.4AI安全风险事件指生成式人工智能服务运营过程中发生的不良信息大规模生成传播、个人信息及敏感数据泄露、知识产权侵权输出、算法恶意诱导、模型安全漏洞被利用、服务违规滥用、网络攻击入侵破坏等各类影响AI服务安全合规运行、损害用户及公共利益、违反监管规定的各类安全异常及事故情形，分为一般安全事件、较大安全事件、重大安全事件三个风险等级，实行分级分类应急处置管理。第三章安全管理体系总体架构与组织管理要求3.1安全管理体系整体架构搭建要求生成式人工智能服务提供者必须按照本标准要求，搭建覆盖组织管理、制度流程、技术防护、人员履职、运维管控、应急处置、评估整改、持续改进八大模块的一体化安全管理体系架构，体系架构需贴合企业AI业务运营规模、模型应用类型、用户服务范围及风险等级特点，不得照搬通用网络安全管理架构，必须针对生成式AI特有安全风险增设专项管控模块。整体架构需明确体系建设目标、核心管控边界、部门职责分工、资源保障配置、运行管控流程及迭代改进路径，确保安全管理体系与AI业务研发、运营、运维工作深度融合，杜绝安全管理与业务运行两张皮、形式化建设、落地执行不到位等问题。体系架构需形成书面文件固化明确，作为内部安全管理、外部合规核查、第三方评估审核的核心依据。3.2最高管理者安全管理职责要求服务提供者最高管理者为生成式人工智能服务安全第一责任人，全面统筹决策安全管理体系建设、资源投入、重大风险处置、合规整改优化等核心工作，必须定期召开AI安全管理专项工作会议，审议年度安全管理工作计划、安全风险评估结论、安全事件处置复盘、体系运行评审报告及重大安全改进决策。最高管理者需保障AI安全管理所需人力、算力、技术、资金等各类资源足额配置，批准发布所有核心安全管理制度及管控流程，对重大安全违规行为及安全事件追责问责，确保安全管理体系各项要求有效落地执行，切实履行法定安全主体责任，不得弱化管理层安全履职、下放核心决策责任、忽视重大安全风险管控。3.3专职安全管理部门及岗位设置要求服务提供者必须设立独立专职生成式人工智能安全管理牵头部门，不得由技术研发部门或运营部门兼任替代，专门负责安全管理体系日常运行、制度落地、风险排查、合规自查、资料归档、整改闭环、宣贯培训等统筹工作。需配置专职AI安全管理负责人、合规管控专员、技术安全运维专员、内容审核专员等专项岗位，明确各岗位安全工作职责、履职标准及考核要求，所有岗位人员需具备人工智能安全、网络数据安全、合规监管相关专业能力，定期参加AI安全专项培训。严禁岗位设置空缺、职责边界模糊、一人多岗兼职代管导致安全管理工作无人落实、风险隐患无人排查、违规问题无人整改等管理漏洞。3.4跨部门协同安全管理机制要求建立安全管理部门与模型研发部门、算法优化部门、算力运维部门、内容运营部门、法务合规部门、人事管理部门、对外合作部门常态化协同工作机制，明确各业务部门AI安全协同管理职责，形成研发安全前置管控、运营安全实时核查、运维安全全程监测、合规安全事后复盘的协同管理闭环。定期开展跨部门AI安全联席会议，同步业务变更、模型迭代、合作对接相关安全管理要求，协同排查跨部门安全风险隐患，联合处置各类AI安全事件，确保全链条安全管理无衔接漏洞、无协同盲区，所有跨部门安全工作落实情况全程留痕归档。第四章安全管理制度与文件管控管理要求4.1全系列安全管理制度编制发布要求服务提供者需依据本标准及国家监管规定，编制完整配套的生成式人工智能专项安全管理制度体系，涵盖语料安全管理、模型研发安全管理、生成内容审核管理、用户数据与个人信息保护管理、访问权限安全管理、算力运维安全管理、第三方合作供应链安全管理、安全事件应急管理、安全培训教育管理、安全评估整改管理等全维度专项制度。所有制度内容需贴合企业AI业务实际运营场景，条款细化可落地、可执行、可核查，杜绝制度内容笼统粗放、照搬通用模板、与实操脱节等问题。所有安全管理制度需经最高管理者审批签发后正式生效实施，明确制度生效日期、修订规则及废止要求，制度发布后全员宣贯培训到位，确保各部门各岗位严格遵照制度执行安全管理工作。4.2体系文件动态修订与版本管控要求建立生成式AI安全管理体系文件动态修订机制，当国家合规监管新规出台、AI业务运营模式调整、模型重大迭代升级、安全风险等级变动、安全事件复盘整改、第三方评估提出优化建议时，必须及时对应修订完善相关安全管理制度及流程文件，确保体系文件始终贴合最新合规要求及业务运营实际。所有体系文件实行唯一版本编号管控，历次修订留存修订记录、修订原因及前后内容差异对比，新旧版本分类归档管理，新版生效旧版自动废止，严禁不同版本文件混用、制度过期失效、修订无记录可追溯等管理问题。4.3安全管理台账与记录归档留存要求服务提供者需建立全流程AI安全管理台账记录机制，针对语料审核记录、模型安全检测记录、内容人工复核记录、权限变更审批记录、安全培训记录、风险排查记录、安全事件处置记录、应急演练记录、第三方评估整改记录等所有安全管理工作，全程留存真实、完整、有效的纸质及电子台账记录。所有台账记录需明确记录人、审核人、记录时间、工作内容及处置结论，不得事后补造、虚假填报、缺项漏填，台账资料按永久及定期分类归档留存，满足监管抽查、备案核查、第三方评估审核长期备查要求，确保安全管理全流程工作可审计、可追溯、可核验。第五章生成式AI全生命周期语料安全管理要求5.1语料采集来源合规性管控要求服务提供者开展生成式人工智能模型训练及微调语料采集工作，必须严格遵守知识产权保护、个人信息保护及网络内容管理相关法律规定，确保所有语料来源合法合规、授权完整有效，严禁采集使用非法获取、侵权盗用、违规公开传播的各类数据资源。采集包含个人信息及敏感个人信息的语料前，必须依法取得个人同意或单独同意，严格落实个人信息处理合法、正当、必要原则；采集涉及知识产权保护的文本、图文、代码等语料，必须获得著作权人合法授权或符合法定合理使用情形，建立语料知识产权权属核查机制，明确知识产权管理专项负责人，杜绝语料采集环节侵权违规风险。所有语料采集前需开展来源安全前置评估，不合格语料一律不得纳入模型训练使用。5.2语料内容安全过滤与风险筛查要求建立语料全量安全过滤与分级风险筛查机制，采用关键词屏蔽、安全分类模型识别、自动化批量检测、人工随机抽检相结合的多重防护方式，全面筛查剔除违法违规、不良导向、暴力色情、虚假谣言、恶意诱导、歧视偏见等各类违规不良信息语料。安全分类模型需完整覆盖标准规定的全部安全风险类型，自动化检测与人工抽检抽样比例、合格率严格按照规范标准执行，对筛查发现的不良语料及时清理隔离、登记备案，严禁违规不良语料流入模型训练环节。定期开展语料安全复检工作，动态更新不良信息关键词库及风险识别模型，持续提升语料安全筛查精准度，从源头遏制模型生成违规不良内容的基础风险。5.3语料存储使用及销毁全流程管控要求语料存储需落实分级分类加密管控要求，核心涉密语料、含个人敏感信息语料实行专属加密存储、访问权限严格管控，严禁未经授权人员随意访问、复制、导出及外传语料资源。语料使用严格限定用于模型训练、微调优化及安全测试专属用途，不得超出合规范围用于其他经营活动，语料调用、复制、传输全程登记留痕。对于过期失效、业务下线、不再使用的语料资源，按照数据安全销毁规范要求进行不可逆销毁处理，留存语料销毁审批记录及销毁操作佐证，杜绝语料泄露、违规复用、私自外流等安全隐患，实现语料采集、存储、使用、销毁全生命周期闭环安全管控。第六章基础模型与AI算法模型安全管理要求6.1模型选型备案与准入安全管理要求服务提供者自研或采购使用第三方基础生成式大模型，必须严格按照国家监管要求完成模型安全备案手续，未完成备案的模型不得上线对外提供服务。选用第三方模型需核查模型提供方资质、安全防护能力、备案合规证明及安全评估报告，建立模型准入安全审核机制，严禁选用存在重大安全漏洞、违规开发、未合规备案的模型资源。自研模型需开展研发全过程安全管控，规范模型研发流程、代码安全审计、算法合规审查工作，从模型研发源头防范算法后门、安全漏洞、恶意代码植入等模型底层安全风险，所有准入模型均需留存准入审核及备案合规佐证资料。6.2模型训练微调与迭代优化安全管控要求模型训练、参数微调、版本迭代优化全过程需落实安全管控措施，训练算力环境专属隔离防护，严格管控模型训练访问权限，防止模型参数泄露、模型权重盗用、算法逻辑篡改等安全问题。模型迭代升级前需开展专项安全风险检测，排查迭代优化过程新增安全漏洞、算法偏差、内容生成异常等问题，迭代完成后需经过安全测试合格方可上线更新。建立模型版本管理机制，明确模型各版本迭代记录、安全检测结论及上线审批流程，模型迭代更新全程留痕，严禁未经安全检测、未经审批的模型版本私自上线运营，确保模型迭代不新增安全风险、不弱化安全防护能力。6.3模型安全漏洞检测与隐患修复管理要求建立生成式AI模型常态化安全漏洞检测与隐患修复机制，定期开展模型算法安全测试、对抗样本攻击测试、内容生成安全测试、权限安全穿透测试等专项检测工作，及时发现模型安全漏洞、算法缺陷、生成偏差等各类安全隐患。对检测发现的模型安全问题，制定专项修复整改方案，限期完成漏洞修复、算法优化、参数调整等整改工作，整改完成后复检合格方可持续运营。建立模型安全漏洞台账管理，登记漏洞类型、风险等级、修复措施、整改完成情况，形成检测、修复、复检、复盘的闭环管理机制，持续加固模型底层安全防护能力。第七章生成内容安全审核与交互风控管理要求7.1用户输入提示词前置安全管控要求部署用户输入提示词前置安全风控拦截机制，对用户所有输入提问、指令、创作要求等内容进行实时自动化安全检测，及时拦截识别恶意诱导、违规提问、违法指令、对抗性Prompt越狱攻击等不良输入行为，拒绝执行各类违规违法生成请求。针对高风险输入内容实行自动拦截加人工复核双重管控，对疑似违规输入弹窗预警、登记留存，定期汇总分析用户违规输入行为规律，动态优化风控识别规则，从交互前端阻断违规生成触发路径，防止用户利用Prompt漏洞诱导模型生成不良违规内容。7.2AI生成内容全量审核发布管控要求实行生成式人工智能输出内容先审核、后展示、再发布的刚性管理机制，所有模型自动生成的文本、图像、音视频等各类内容，必须经过自动化安全审核加人工抽检复核双重校验，审核合规后方可对外展示给用户。自动化审核需覆盖不良信息、违法内容、侵权内容、虚假信息、歧视诱导等所有风险类型，人工抽检按照标准规范比例执行，对审核发现的违规生成内容立即拦截屏蔽、禁止输出，登记违规生成记录并同步优化模型风控策略。严禁未经审核的违规内容直接对外展示传播，严控生成内容安全传播风险，确保对外输出内容全部符合法律法规及公序良俗要求。7.3违规内容处置与复盘优化管理要求建立违规生成内容专项处置台账，对审核拦截、用户举报、监管核查发现的违规生成内容，立即采取删除屏蔽、内容下架、模型微调、风控优化等处置措施，同步追溯违规生成根本原因，针对性优化模型算法及审核风控规则。定期开展违规生成内容复盘分析工作，汇总违规内容类型、生成频次、触发原因，纳入模型迭代优化重点整改内容，持续降低违规内容生成概率。建立用户违规行为处置机制，对多次恶意诱导生成违规内容的用户采取限流、封禁、警示等管控措施，压实双向安全管控责任。第八章数据安全与个人信息保护管理要求8.1用户数据分类分级安全管控要求服务提供者需对AI服务运营过程中收集、存储、处理、传输的用户注册信息、交互记录、个人资料、业务数据等所有数据资源开展分类分级管理，明确一般数据、重要数据、核心数据及敏感个人信息划分标准，实行差异化安全防护管控措施。核心数据及敏感个人信息实行最高等级加密存储、严格访问权限管控、专项运维监测，严禁违规收集、超范围收集、强制收集用户个人信息，遵循数据收集最小必要原则，仅收集业务运营及安全合规必需的相关数据，不得私自收集无关个人信息及敏感数据。8.2个人信息合规处理与用户权益保障要求严格落实个人信息保护法相关要求，明确个人信息处理规则，如实向用户告知信息收集用途、存储期限、使用范围及保护措施，保障用户知情权、删除权、更正权、注销权等合法权益。建立用户个人信息查询、更正、删除、账号注销便捷办理渠道，及时响应用户个人信息权益诉求，全程留存诉求处置记录。严禁未经用户同意私自对外共享、转让、公开披露用户个人信息，第三方合作涉及个人信息交互的，必须签订数据安全保密协议，落实第三方数据安全管控责任，严防个人信息泄露、滥用、违规外传风险。8.3数据安全防护与泄露应急处置要求部署数据加密、访问控制、行为审计、泄露监测等常态化数据安全技术防护措施，实时监测数据访问、传输、导出操作行为，及时预警数据异常访问及泄露风险。建立数据安全泄露应急处置机制，一旦发生个人信息及重要数据泄露事件，立即启动应急响应，采取止损、溯源、防护、通知用户、上报监管等处置措施，复盘泄露原因优化防护机制，杜绝同类数据泄露事件重复发生，全程留存数据安全防护及泄露处置台账记录。第九章第三方合作与供应链安全管理要求9.1第三方合作准入安全审核要求服务提供者与模型研发、算力运维、内容审核、技术外包、渠道合作等第三方机构开展合作前，必须开展第三方安全准入专项审核，核查合作方安全资质、合规运营能力、安全管理水平、过往安全记录及风险防控能力，严禁与存在重大安全违规、安全事故频发、合规资质缺失的机构合作。建立第三方合作安全准入评估台账，留存审核评估记录，准入合格后方可签订合作协议开展业务对接，从合作源头管控供应链AI安全风险。9.2合作安全协议与安全责任划分要求所有第三方合作必须签订专项生成式人工智能安全合作协议，明确双方安全管理责任划分、数据保密要求、模型安全管控义务、内容合规责任、安全事件追责机制、违规违约处置条款等核心内容，压实第三方合作安全主体责任。严禁无安全协议开展合作、协议无安全责任条款、责任划分模糊等合作管理漏洞，协议签订后归档留存备查，合作过程中严格按照协议落实双方安全管控工作，定期核查第三方安全履职情况。9.3第三方常态化安全评估与退出管控要求建立第三方合作年度常态化安全复评机制，每年定期对所有合作机构安全履职情况、安全管控落实情况、风险隐患整改情况开展专项安全评估，对安全管理不达标、违规履职、存在重大风险的第三方机构限期整改，整改不合格的终止合作关系。建立第三方合作安全退出管控流程，合作终止后及时回收数据权限、销毁合作涉密资料、终止模型及数据对接访问，留存合作退出安全处置记录，确保供应链合作全周期安全可控。第十章安全事件应急处置与应急演练管理要求10.1专项应急处置预案编制要求服务提供者需编制生成式人工智能服务安全专项应急处置预案，针对不良信息大规模传播、模型安全漏洞攻击、数据个人信息泄露、服务异常中断、重大安全违规事件等各类安全风险场景，明确应急组织机构、应急响应等级、应急处置流程、止损防控措施、上报报备要求、事后复盘改进规则。应急预案需贴合AI服务运营实际，细化实操处置步骤，具备可落地可操作性，经最高管理者审批后生效实施，作为安全事件应急处置核心依据。10.2安全应急演练常态化开展要求定期组织开展生成式AI安全专项应急演练工作，围绕违规内容批量生成、数据泄露、模型攻击、服务宕机等高频风险场景开展实战化演练，检验应急预案可行性、应急人员处置能力、部门协同配合效率。每次应急演练需编制演练方案、留存演练过程记录、现场影像资料，演练结束后开展专项复盘总结，梳理演练暴露的应急处置短板，优化完善应急预案及处置流程，补强应急处置能力，杜绝应急管理流于形式。10.3安全事件分级处置与上报复盘要求发生各类AI安全风险事件后，严格按照事件等级启动对应应急响应，第一时间采取止损、隔离、屏蔽、修复等应急处置措施，快速控制风险扩散蔓延。重大及较大安全事件需按照监管规定及时向行业主管部门上报，不得瞒报、迟报、漏报、谎报事件情况。事件处置完成后深度复盘根本原因，制定长效整改及预防措施，优化安全管理体