GB-T 41389-2022 信息安全技术 人工智能安全治理框架

GB/T41389-2022信息安全技术人工智能安全治理框架国家标准编号：GB/T41389-2022标准中文名称：信息安全技术人工智能安全治理框架发布机构：国家市场监督管理总局、国家标准化管理委员会发布日期：2022年04月15日实施日期：2022年11月01日归口单位：全国网络安全标准化技术委员会（SAC/TC260）适用性质：国家推荐性国家标准替代及废止说明：本标准为首次发布，无替代旧版标准，自正式实施之日起，作为国内人工智能领域信息安全治理、AI安全体系建设、风险防控、合规管理、行业监管测评、企业AI安全内控建设的核心基础性国家标准，各类从事人工智能研发、训练、部署、应用、运维、服务及第三方合作相关单位均应参照本框架开展安全治理全流程工作。前言本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草编制。当前人工智能技术快速迭代发展，深度赋能各行各业数字化、智能化转型升级，在经济社会生产经营、公共服务、民生保障、产业发展等多领域广泛规模化应用。与此同时，人工智能算法缺陷、数据滥用、模型后门、对抗样本攻击、算法歧视、深度伪造、恶意应用、运维管控缺失等各类安全风险持续凸显，不仅威胁个人合法权益、企业经营安全，更关乎社会公共安全与国家网络空间安全稳定。为规范我国人工智能全生命周期安全治理工作，统一人工智能安全治理总体思路、核心治理原则、整体治理架构、风险分类管控逻辑及综合治理实施路径，指导各类组织健全人工智能安全治理体系，防范化解人工智能各类内生安全与应用安全风险，推动人工智能技术安全、可控、合规、良性可持续发展，特制定本推荐性国家标准。本文件属于信息安全领域人工智能安全基础性治理框架标准，侧重明确人工智能安全治理顶层设计、治理维度、风险划分、治理主体责任及长效治理运行机制，不规定具体技术检测细则、产品技术指标及专项安全测评方法，各类人工智能安全专项技术标准、行业实施细则可依据本框架顶层要求配套制定细化落地条款。本文件坚持安全与发展并重、创新与规范协同、防控与治理结合、分类与分级管控的核心思路，兼顾技术安全防护与管理治理约束，覆盖人工智能研发设计、数据训练、模型迭代、部署应用、运维运营、退役销毁全生命周期各环节，适用于各类组织开展人工智能安全顶层规划、制度建设、风险防控、内控管理及合规自查工作。1范围本文件规定了信息安全技术领域人工智能安全治理的总体架构、核心治理原则、安全风险分类、治理主体职责、全生命周期安全治理要求以及技术与管理协同治理实施框架。本文件适用于各类党政机关、企事业单位、科研机构、人工智能研发企业、AI应用运营单位、第三方技术服务机构等所有开展人工智能技术研发、数据采集训练、模型构建迭代、智能化系统部署应用、日常运维运营及相关合作对接活动的组织，用于指导各类组织建立健全人工智能安全治理体系、开展安全风险识别评估、落实安全管控措施、规范AI全生命周期安全管理工作。本文件同时可供网络安全监管部门、行业主管单位开展人工智能安全行业监管、合规督导、安全检查及政策制定工作参考使用。本文件不适用于军用特殊专用人工智能系统及国家涉密专项人工智能应用系统，此类特殊场景人工智能安全治理可结合国家涉密安全管理相关规定及专项军事安全标准另行制定专属治理规范。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件；凡是不注日期的引用文件，其最新有效版本（包含所有修改单）均适用于本文件。GB/T22239信息安全技术网络安全等级保护基本要求GB/T29245信息安全技术数据安全能力成熟度模型GB/T35273信息安全技术个人信息安全规范GB/T37973信息安全技术人工智能算法安全通用要求GB/T41479信息安全技术数据分类分级安全保护规范其他国家网络安全、数据安全、个人信息保护相关法律法规及配套国家标准规范。3术语和定义3.1人工智能：基于机器学习、深度学习、自然语言处理、计算机视觉等各类智能化算法技术，能够模拟人类感知、认知、决策、推理、交互等行为，具备自主学习、智能分析、自动处理、智能决策能力的算法模型、软件系统及智能化应用平台的统称。3.2人工智能安全：保障人工智能算法模型、训练数据、运行系统、应用服务全流程的保密性、完整性、可用性、可控性、可解释性、公平性和稳健性，防范各类安全风险、算法滥用及安全事件，确保人工智能研发应用全过程安全合规、风险可控、行为可溯的安全状态。3.3人工智能安全治理：各类治理主体通过制度建设、责任落实、技术防护、风险管控、监督检查、持续改进等一系列系统性管理与技术措施，规范人工智能全生命周期研发、应用与运维行为，防控各类安全风险，保障人工智能安全健康发展的系统性治理工作总称。3.4人工智能内生安全风险：源于人工智能算法设计缺陷、模型结构漏洞、训练数据污染、算法逻辑偏见、模型后门植入、算法不可解释性等人工智能自身技术架构及算法本质特性引发的原生安全风险。3.5人工智能应用安全风险：源于人工智能部署应用、运维管理、外部攻击、人为违规操作、恶意滥用、供应链隐患、外部环境干扰等人工智能外部使用及运营环节引发的衍生安全风险。3.6全生命周期安全治理：覆盖人工智能需求规划、算法研发、数据采集标注、模型训练优化、系统部署上线、运维运营迭代、服务对外提供、系统停用退役、数据销毁处置全过程的一体化闭环安全治理管控模式。3.7算法公平性：人工智能算法在决策输出、结果判定、智能服务过程中，不因地域、性别、身份、群体属性等无关因素产生歧视性、差异化不合理结果的安全属性。3.8算法可解释性：人工智能算法决策逻辑、输出结果、判定依据能够被清晰说明、溯源核查、逻辑追溯，便于治理主体及监管机构理解算法运行机理和决策成因的安全管理属性。4人工智能安全治理总体架构人工智能安全治理总体架构采用多层级、全维度、全周期协同治理模式，整体由治理核心原则、多元治理主体、两大风险治理类别、全生命周期治理环节、技术管理协同治理措施、监督评估与持续改进机制六大核心部分有机组成，各部分相互衔接、相互支撑、闭环联动，形成顶层引领、主体落实、风险分级、全程管控、技管结合、持续优化的一体化人工智能安全治理整体格局。治理总体架构顶层以人工智能安全治理核心原则为根本遵循，统筹指导所有治理工作开展；中层明确政府监管机构、行业主管部门、研发应用组织、第三方服务机构、社会公众多元治理主体权责边界，各司其职、协同共治；核心管控层面区分内生安全风险与应用安全风险两大类风险实施分类分级精准治理；执行落地层面贯穿人工智能全生命周期各关键环节，落实常态化安全治理管控；保障支撑层面同步配套技术防护措施与行政管理措施，实现技管融合协同防控；长效运行层面建立监督检查、评估考核、整改优化、持续改进闭环机制，保障人工智能安全治理体系长期有效运行、动态适配风险变化。所有开展人工智能研发应用的组织须依据本总体架构，结合自身AI业务规模、模型等级、数据敏感程度、应用影响范围，搭建适配本单位实际的人工智能安全内部治理架构，对标国标治理要求细化内部治理制度、岗位职责、管控流程及防护措施，确保顶层治理框架落地转化为内部实操管控工作。5人工智能安全治理核心原则5.1安全可控，发展协同原则。坚持人工智能安全与技术创新发展同步规划、同步建设、同步运行，既要鼓励人工智能技术创新应用赋能产业发展，也要坚守网络安全、数据安全、社会安全底线红线，所有人工智能研发应用活动必须做到安全风险可知、可控、可管、可溯，绝不以牺牲安全为代价盲目追求技术应用快速扩张，实现安全保障与创新发展动态平衡、协同推进。5.2以人为本，权益保障原则。始终以保障人民群众合法权益、维护社会公共利益为核心出发点，规范人工智能算法决策和智能应用行为，严防算法歧视、大数据杀熟、深度伪造、个人信息滥用等侵害个人权益的行为，保障个人信息权益、财产安全与人身安全，维护社会公平正义与公共秩序稳定。5.3依法治理，合规运行原则。严格遵循国家网络安全法、数据安全法、个人信息保护法及相关行业监管法律法规，依据国家标准规范开展人工智能安全治理工作，健全内部合规管理制度，压实治理主体合规责任，确保人工智能研发、训练、应用、运维全流程合法合规、依规运行。5.4分类分级，精准防控原则。根据人工智能模型能力强弱、数据敏感等级、应用影响范围、风险危害程度，对人工智能系统及相关安全风险实施分类分级差异化治理，针对高危AI系统、高敏感数据处理、高影响应用场景强化专项管控措施，精准聚焦核心风险隐患，提升安全治理针对性和实效性。5.5技管结合，综合治理原则。同步强化人工智能安全技术防护体系建设与行政管理治理制度落实，既要部署必要的安全技术防护手段抵御外部攻击、防范内生漏洞，也要健全内部管理制度、岗位职责、考核问责机制，以技术补短板、以管理固长效，技术与管理双向融合、综合治理。5.6公开透明，可溯可查原则。提升人工智能算法运行、决策输出、数据处理、安全管控工作透明度，关键算法决策、重要数据处理、安全事件处置全程留痕、全程可追溯、可核查、可复盘，主动接受监管监督和社会监督，杜绝算法黑箱、暗箱操作、隐秘违规等治理盲区。5.7持续改进，动态适配原则。人工智能安全风险随技术迭代、攻击手段升级、应用场景拓展持续动态变化，治理工作须建立常态化动态优化机制，定期评估治理成效、排查新型风险、优化管控措施，持续完善安全治理体系，适配人工智能技术与风险新形势。6人工智能安全多元治理主体及职责要求6.1政府监管及行业主管部门治理职责。负责统筹辖区及行业内人工智能安全整体监管工作，制定区域及行业人工智能安全监管政策与治理细则，组织开展人工智能安全专项检查、合规测评、风险排查及事件处置工作，监督指导各类研发应用组织落实安全治理主体责任，依法查处人工智能安全违法违规行为，统筹协调重大人工智能安全事件应急处置工作，推动行业人工智能安全治理标准化、规范化建设。6.2人工智能研发应用组织主体治理职责。各类开展人工智能算法研发、数据训练、系统部署、应用运营的企事业单位及机构，是人工智能安全治理第一责任主体，全面承担本单位人工智能全生命周期安全治理主体责任，负责建立内部AI安全治理管理制度、组织架构、岗位职责及管控流程，落实技术防护与管理管控措施，开展风险评估、安全自查、隐患整改、应急处置及人员培训工作，确保本单位人工智能研发应用安全合规、风险可控，主动配合监管部门安全检查及合规测评工作。6.3第三方安全服务及技术支撑机构治理职责。为人工智能研发应用组织提供安全测评、风险评估、安全加固、技术运维、应急支撑等第三方服务的机构，须严格遵守安全服务规范和职业道德，客观公正开展技术服务工作，如实出具安全测评及风险评估报告，不得隐瞒安全隐患及风险问题，协助主体单位健全安全治理体系，同步做好自身服务过程中的数据安全和信息保密工作。6.4社会公众及用户监督参与职责。社会公众及人工智能产品服务用户依法享有个人信息权益保障、算法公平使用、安全服务体验相关合法权益，有权对人工智能算法歧视、违规滥用、安全隐患等违法违规行为进行监督举报，主动配合治理主体及监管部门开展安全治理、风险排查及事件核查相关工作，共同营造人工智能安全良性发展环境。7人工智能安全风险分类分级治理要求7.1总体风险分类管控总则。人工智能安全风险整体划分为内生安全风险和应用安全风险两大类别，两类风险相互关联、相互影响，须同步管控、同步治理、一体防控。内生安全风险聚焦人工智能算法模型自身原生缺陷与内在隐患，应用安全风险聚焦人工智能外部应用运营及管理运维环节衍生隐患，治理工作须针对两类风险不同特点分别制定差异化防控措施，精准施策、靶向治理。7.2内生安全风险细分及治理要求。内生安全风险主要包含算法设计安全风险、训练数据安全风险、模型结构安全风险、算法决策安全风险、模型迭代安全风险五大细分类型。算法设计安全风险重点涵盖算法逻辑漏洞、架构设计缺陷、后门预留隐患、算法不可解释性等问题，治理需在算法研发初期同步植入安全设计要求，强化算法安全前置管控；训练数据安全风险重点涵盖数据污染、数据篡改、数据泄露、个人信息违规采集、数据标注恶意植入、数据质量低劣等问题，治理需严格落实数据分类分级、数据脱敏、数据合规采集及安全存储管控；模型结构安全风险重点涵盖模型对抗样本脆弱性、模型参数篡改、模型被盗取复刻、模型后门植入激活等问题，治理需强化模型加固、模型加密、模型访问权限管控；算法决策安全风险重点涵盖算法歧视、大数据杀熟、决策偏差、价值观不匹配等问题，治理需强化算法公平性审查、决策合规审核及结果溯源核查；模型迭代安全风险重点涵盖模型升级引入新漏洞、迭代变更无评估、版本管控混乱等问题，治理需严格落实模型变更安全评估和版本受控管理。7.3应用安全风险细分及治理要求。应用安全风险主要包含网络攻击防护风险、运维管理安全风险、恶意滥用应用风险、供应链安全风险、认知社会安全风险五大细分类型。网络攻击防护风险重点涵盖对抗攻击、注入攻击、模型劫持、接口攻击、越权访问等外部网络安全威胁，治理需强化网络边界防护、接口安全管控、攻击监测预警及安全加固；运维管理安全风险重点涵盖账号权限滥用、运维操作不规范、日志审计缺失、设备运维漏洞、人员违规操作等问题，治理需健全权限管控、运维审计、日常巡检及人员安全管理；恶意滥用应用风险重点涵盖深度伪造制作传播、AI用于违法犯罪辅助、智能服务恶意操控等问题，治理需强化应用用途管控、行为追溯、内容标识及违规处置；供应链安全风险重点涵盖AI研发外包、技术合作、组件采购、第三方服务引入带来的连锁安全隐患，治理需落实第三方准入审核、安全协议签订及退出安全清算；认知社会安全风险重点涵盖信息茧房加剧、虚假信息传播、社会认知误导、公共秩序影响等问题，治理需强化内容审核、信息溯源及舆情风险管控。7.4风险分级管控实施要求。各类研发应用组织须结合人工智能系统应用场景重要程度、数据敏感等级、风险危害后果大小，将AI安全风险划分为重大风险、高风险、中风险、低风险四个等级，实施分级管控处置。重大风险须立即停工整改、清零销项，专项专班管控；高风险须限期专项加固、重点监控、稳步压降；中风险纳入日常常态化管控、持续优化改进；低风险定期巡查管控、严防风险升级。所有风险须建立台账管理、动态更新、闭环整改，严禁高等级风险长期留存运行。8人工智能全生命周期安全治理核心环节要求8.1需求规划与立项环节安全治理。在人工智能项目立项及需求规划阶段，须同步开展安全需求分析和前置风险评估，明确AI安全治理目标、安全管控要求、数据使用规范、算法安全标准及防护资源保障，严禁未做安全评估、未明确安全需求的AI项目立项启动，从源头规避先天性安全治理短板。8.2算法研发与模型设计环节安全治理。算法研发设计阶段须落实安全开发规范，强化算法公平性、可解释性、稳健性内生安全设计，开展算法安全自测自查及漏洞排查，杜绝算法后门、逻辑缺陷及歧视性设计，做好研发过程代码安全管控、版本管理及研发人员安全权限管理。8.3数据采集标注与模型训练环节安全治理。严格落实数据安全及个人信息保护要求，规范训练数据采集、标注、存储、使用全流程管理，开展数据合规审核及数据质量检测，落实数据脱敏、加密存储及访问权限管控，严防数据泄露、篡改、污染及违规使用，模型训练过程全程日志记录、操作留痕。8.4系统部署上线与应用运行环节安全治理。AI系统正式上线前必须开展安全测评、风险评估及渗透测试，整改所有高危安全隐患后方可上线运行；部署运行阶段强化网络边界防护、接口安全管控、访问审计、异常行为监测，常态化开展漏洞扫描及安全加固，规范日常运维操作管理。8.5模型迭代升级与运维运营环节安全治理。模型迭代、版本更新、功能变更必须开展变更安全风险评估，落实变更审批、安全测试及复盘验证，严防迭代更新引入新增安全漏洞；常态化开展AI安全巡检、日志审计、风险自查及人员安全管理，及时处置安全异常及隐患问题。8.6系统停用退役与数据销毁环节安全治理。人工智能系统停用、下线、退役前须制定安全处置方案，注销所有账号权限、回收相关资产，对核心模型数据、训练资料、业务数据进行彻底销毁或脱敏处置，做好退役安全记录归档，严防退役后数据残留、模型泄露引发安全风险。9人工智能安全技术与管理协同治理措施9.1安全技术防护治理措施。各类组织须配套建设人工智能专属安全技术防护体系，重点部署算法安全检测技术、对抗攻击防护技术、数据加密脱敏技术、模型安全加固技术、访问权限管控技术、操作日志审计技术、异常行为监测预警技术、深度伪造识别溯源技术、数据备份恢复技术及供应链安全检测技术，通过技术手段筑牢人工智能内生安全和应用安全防护底线，实现风险技术可防、攻击技术可抗、隐患技术可查。9.2安全行政管理治理措施。