GB-T 41388-2022 信息安全技术 人工智能安全风险评估指南

GB/T41388-2022信息安全技术人工智能安全风险评估指南国家标准编号：GB/T41388-2022标准中文名称：信息安全技术人工智能安全风险评估指南发布机构：国家市场监督管理总局、国家标准化管理委员会发布日期：2022年04月15日实施日期：2022年11月01日归口单位：全国网络安全标准化技术委员会（SAC/TC260）适用性质：国家推荐性国家标准替代及废止说明：本标准为首次制定发布，无替代旧版标准，自正式实施之日起，作为国内人工智能领域安全风险识别、分析、评价、处置、复评全流程工作的唯一基础性评估国标指南，与GB/T41389-2022人工智能安全治理框架配套协同使用，各类AI研发、训练、部署、运营及第三方服务单位开展人工智能安全专项风险评估、常态化风险自查、合规风险整改、监管测评迎检工作，均须以本指南为统一方法论和实操依据。前言本文件严格按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》规定的编制规则起草制定。随着人工智能技术在各行业各领域深度规模化落地应用，算法模型缺陷、训练数据污染、对抗样本攻击、算法歧视、深度伪造、供应链安全隐患、运维管理失范等各类安全风险呈现复杂化、隐蔽化、连锁化发展态势，传统通用网络安全风险评估方法无法适配人工智能算法内生特性、模型迭代特点、数据训练专属场景及智能决策衍生风险，缺乏针对性的AI专项风险评估流程、风险识别维度、分级评价规则和处置指引。为统一全国人工智能安全风险评估工作的评估原则、评估流程、评估方法、风险判定标准及闭环处置要求，规范各类组织开展人工智能安全风险评估的全流程实操行为，保障评估工作科学规范、客观公正、贴合AI技术实际、评估结果可落地整改，精准识别化解人工智能内生安全风险与应用安全风险，衔接GB/T41389-2022人工智能安全治理框架治理要求，构建治理引领、评估支撑、整改闭环、持续优化的AI安全风险管理体系，特制定本国家推荐性标准。本文件属于人工智能安全领域专项风险评估实操指导性标准，侧重明确人工智能安全风险评估的整体工作流程、全维度风险识别要点、风险分析计算逻辑、风险等级评价规则、风险处置应对策略及周期性复评管理要求，不强制规定具体技术检测工具参数和硬性量化数值阈值，各类组织可结合自身AI系统应用规模、数据敏感等级、业务影响范围、行业监管要求，在本指南统一框架下细化适配个性化评估细则。本文件坚持风险导向、问题导向、合规导向、实操导向，覆盖人工智能全生命周期所有环节风险评估工作，适用于内部自主评估、第三方专项评估、监管督导评估等各类评估场景，为人工智能安全风险精准防控和长效治理提供标准化技术支撑。1范围本文件规定了信息安全技术领域人工智能安全风险评估的总体评估原则、评估基础要求、全流程评估工作阶段、风险识别内容、风险分析方法、风险等级评价规则、风险处置管控措施、评估报告编制规范及周期性风险复评管理全部要求。本文件适用于各类党政机关、企事业单位、科研院所、人工智能算法研发机构、AI应用运营单位、第三方安全测评服务机构，在人工智能需求立项、算法研发、数据训练、模型部署、运维迭代、系统退役全生命周期各阶段，开展人工智能内生安全风险和应用安全风险专项评估、常态化自查评估、变更专项评估、事件后复盘评估等各类风险评估工作。本文件同时可供网络安全监管部门、行业主管单位开展人工智能安全风险专项核查、合规督导、风险研判及行业安全政策制定工作作为核心参考依据。本文件不适用于军用涉密专用人工智能系统、国家核心涉密专项AI应用的风险评估工作，此类特殊涉密场景人工智能安全风险评估，可结合国家涉密安全管理专项规定及军事安全专属标准，在本指南基础上另行制定专项涉密评估实施规范。2规范性引用文件下列文件对于本文件的应用必不可少。凡是注日期的引用文件，仅对应注日期版本适用本文件；凡是不注日期的引用文件，其最新有效修订版本及所有修改单内容，均适用于本文件人工智能安全风险评估各项工作。GB/T22080信息安全管理体系要求GB/T29245信息安全技术数据安全能力成熟度模型GB/T35273信息安全技术个人信息安全规范GB/T37973信息安全技术人工智能算法安全通用要求GB/T41389信息安全技术人工智能安全治理框架GB/T41479信息安全技术数据分类分级安全保护规范国家网络安全法、数据安全法、个人信息保护法及人工智能行业相关配套监管政策文件。3术语和定义3.1人工智能安全风险评估：针对人工智能算法模型、训练数据集、智能化运行系统、应用服务场景及配套运维管理体系，系统性识别各类内生安全隐患和应用安全威胁，科学分析风险发生可能性及风险造成危害程度，综合判定风险等级，针对性制定风险规避、降低、转移、接受处置措施，并形成评估结论与整改优化建议的全流程闭环安全管理活动。3.2人工智能风险资产：支撑人工智能研发、训练、部署、运行、迭代全流程的各类核心资产统称，包含算法模型资产、训练及业务数据资产、算力基础设施资产、智能应用系统资产、运维管理账号权限资产、第三方供应链组件资产及相关管理制度资产等所有与AI安全直接相关的核心管控对象。3.3人工智能安全威胁：能够对人工智能风险资产造成破坏、泄露、篡改、滥用、失效等不良影响，可能引发安全事件的各类潜在人为因素、环境因素、技术因素及管理因素，涵盖外部网络攻击、内部违规操作、算法原生缺陷、数据恶意污染、供应链恶意植入、运维管控缺失等各类威胁来源。3.4人工智能安全脆弱性：人工智能自身存在的各类安全薄弱环节和缺陷漏洞，包含算法设计逻辑漏洞、模型结构后门隐患、数据防护短板、系统配置不当、权限管控宽松、管理制度缺失、运维操作不规范等能够被安全威胁利用，进而触发安全风险的各类内在薄弱点。3.5风险发生可能性：人工智能安全威胁利用资产脆弱性触发安全风险及安全事件的概率高低，结合历史安全事件发生情况、当前防护管控力度、威胁活跃程度、脆弱性整改情况综合研判确定。3.6风险影响程度：人工智能安全风险一旦实际发生，对个人权益、企业经营、业务连续性、社会公共利益、网络空间安全造成的损失规模、危害范围、负面影响深浅的综合量化判定标准。3.7周期性风险复评：人工智能系统长期运行过程中，因算法模型迭代、数据规模扩容、应用场景新增、外部威胁升级、管理制度变更、安全事件发生等原因，定期重新开展风险评估、动态更新风险台账、优化风险处置措施的常态化评估工作。4人工智能安全风险评估总体原则4.1依法合规，对标对标原则。人工智能安全风险评估工作须严格遵循国家网络安全、数据安全、个人信息保护相关法律法规及监管要求，全面对标GB/T41389人工智能安全治理框架及本指南评估规范，评估范围、评估内容、评估流程、风险判定、整改要求全部合规统一，杜绝随意评估、简化评估、形式化评估，确保评估工作合法合规、有据可依。4.2风险导向，全面覆盖原则。评估工作以人工智能安全风险防控为核心目标，全面覆盖内生安全风险与应用安全风险两大类别，覆盖AI全生命周期所有环节、所有风险资产、所有治理主体及所有应用场景，不留评估盲区、不漏风险隐患，既聚焦高危重大核心风险，也关注潜在衍生次要风险，实现风险评估全域无死角。4.3客观公正，科学实操原则。评估实施过程须秉持客观公正、实事求是的核心要求，依据实际AI运行现状、真实防护配置、实际管理履职情况开展评估研判，不夸大风险、不隐瞒隐患，评估方法科学适配人工智能算法专属特性，评估流程贴合企业实操管理场景，评估结论真实可信、整改建议落地可行。4.4分类分级，精准施策原则。针对不同AI系统重要程度、数据敏感等级、风险危害后果实行分类分级差异化评估，对重大高危AI应用、高敏感数据训练场景加大评估深度和核查频次，精准识别核心薄弱环节和关键风险点，分级制定匹配的风险处置整改措施，提升风险评估和防控精准度。4.5技管结合，闭环联动原则。风险评估同步兼顾技术防护脆弱性和行政管理管控漏洞，既核查技术设备、算法模型、数据防护等技术层面风险，也检查制度建设、责任落实、人员管理、运维管控等管理层面风险，评估、分析、评价、处置、整改、复评全流程闭环联动，实现评估发现问题、整改化解风险、复评巩固成效的长效闭环管理。4.6动态持续，迭代适配原则。人工智能技术迭代快、威胁变化快、风险更新快，风险评估不做一次性静态评估，结合模型迭代、场景变更、威胁升级、事件发生等情况动态调整评估频次和评估重点，周期性开展复评工作，持续适配AI安全风险新形势、新变化、新要求。5人工智能安全风险评估基础通用要求5.1评估人员能力要求。参与人工智能安全风险评估的内部评估人员及第三方评估人员，须具备人工智能基础技术认知、网络安全风险评估专业能力、数据安全管理知识及国标标准解读能力，熟悉AI算法模型运行机理、全生命周期管理流程及各类AI安全风险特征，评估前须开展专项培训，熟知本指南评估流程和判定规则，杜绝无专业资质、无专业能力人员开展评估工作。5.2评估范围界定要求。评估实施前须精准界定本次评估覆盖的AI系统范围、资产范围、业务范围、人员范围及周期范围，明确本次评估是否覆盖算法研发、数据训练、部署运维、迭代升级、停用退役全流程，明确评估针对的具体AI模型、数据类型、应用场景，避免评估范围模糊、评估内容偏离、评估边界不清导致评估结果失真。5.3评估资料准备要求。评估启动前须完整收集AI相关管理制度、资产台账、算法设计文档、数据处理记录、运维操作日志、安全检查记录、过往风险评估报告、安全事件处置资料、第三方服务协议等所有支撑评估工作的佐证资料，确保评估资料完整详实、真实有效，为风险识别和研判提供可靠依据。5.4评估保密管理要求。评估全过程须严格落实数据安全和保密管理规定，评估人员签订保密协议，评估过程接触的企业经营机密、AI算法核心源码、敏感训练数据、评估涉密结果不得私自外传、复制、泄露，评估报告及评估原始资料归档加密管理，严防评估工作引发次生数据泄露和安全泄密风险。6人工智能安全风险评估全生命周期阶段划分6.1评估策划与准备阶段。本阶段为风险评估启动前置核心工作，主要完成评估工作整体策划组织、评估目标明确、评估范围界定、评估团队组建、评估资料收集梳理、评估工作计划编制审批、评估工具及核查手段准备等前期筹备工作，明确各环节评估责任分工、工作时限、评估重点及工作要求，为后续现场评估实施筑牢基础，确保评估工作有序规范启动。6.2风险资产全面识别梳理阶段。本阶段核心开展人工智能全类别风险资产盘点识别工作，逐项梳理算法模型资产、训练与业务数据资产、算力及基础设施资产、智能应用系统资产、账号权限资产、第三方供应链组件资产等所有相关资产，明确每项资产用途、重要程度、敏感等级、归属责任部门及安全防护现状，建立完整AI风险资产清单，为后续风险识别和风险分析奠定资产基础。6.3安全威胁与脆弱性识别阶段。本阶段同步开展人工智能安全威胁识别和安全脆弱性识别双向工作，全面排查外部攻击威胁、内部人为威胁、技术原生威胁、管理缺失威胁等各类威胁来源，逐项核查算法、数据、系统、运维、人员、供应链各环节存在的脆弱性和安全短板，精准梳理所有潜在风险诱因和薄弱环节，形成AI安全威胁清单和脆弱性问题清单。6.4风险综合分析研判阶段。本阶段结合已识别的资产重要程度、威胁发生可能性、脆弱性严重程度，综合分析每一项潜在安全风险的发生概率高低、即时危害大小、长期影响深浅、连锁反应程度，区分内生安全风险和应用安全风险分类开展专项分析，精准研判每项风险的实际危害实况，不夸大、不缩小风险实际影响。6.5风险等级综合评价判定阶段。本阶段依据风险发生可能性和风险影响程度双重维度，按照本指南统一分级评价规则，对所有已分析风险进行等级评定，划分重大风险、高风险、中风险、低风险四个标准等级，形成AI安全风险等级汇总清单，明确核心重点管控高危风险和一般常规管控风险。6.6风险处置措施制定与落实阶段。本阶段针对不同等级风险匹配对应处置策略，按照风险规避、风险降低、风险转移、风险接受四项原则制定专项整改处置措施，明确整改责任部门、整改责任人、整改完成时限和整改验收标准，限期完成高危风险清零整改、中低风险稳步压降，所有风险处置全程留痕、闭环管理。6.7评估报告编制与归档阶段。本阶段汇总评估全流程工作内容、资产识别情况、威胁脆弱性排查结果、风险分析评价结论、风险处置整改计划，编制正式人工智能安全风险评估报告，完整记录评估全过程信息，评估报告审核审批后统一归档留存，作为管理评审、合规迎检、体系改进核心依据。6.8周期性风险复评与持续改进阶段。本阶段按照定期复评要求，结合AI模型迭代、场景变更、威胁升级、整改完成情况，常态化开展风险复评工作，动态更新风险清单、优化处置措施，持续完善AI安全风险管理工作，实现风险评估动态适配、持续优化。7人工智能风险资产识别与赋值要求7.1资产识别核心范围。人工智能风险资产识别须全覆盖所有支撑AI运行的核心关键资产，不得遗漏核心算法模型资产，包含各类机器学习、深度学习自研模型及开源引用模型；全覆盖训练数据、标注数据、业务交互数据、个人信息数据等所有数据资产；全覆盖算力服务器、存储设备、网络设备、安全防护设备等基础设施资产；全覆盖AI应用平台、业务智能系统、对外服务接口等应用系统资产；全覆盖运维管理账号、权限密钥、证书口令等账号权限资产；全覆盖第三方开源组件、外包研发服务、云算力服务等供应链配套资产。7.2资产重要性赋值规则。结合资产涉密敏感程度、业务核心依赖程度、风险损失影响大小，对每一项AI风险资产进行重要性综合赋值判定，分为极高重要资产、高重要资产、一般重要资产、低重要资产四个层级。涉及核心经营机密、海量个人敏感信息、关键业务核心AI模型的资产判定为极高重要资产；涉及重要业务运营、关键决策输出的AI资产判定为高重要资产；常规辅助智能办公、非核心业务AI资产判定为一般重要资产；普通测试演练、无敏感数据的AI试验资产判定为低重要资产。7.3资产清单动态管理要求。所有识别赋值后的AI风险资产须形成标准化资产台账清单，明确资产名称、资产类别、资产归属部门、责任管理人、资产重要性等级、安全防护现状、资产运维状态，资产发生新增、变更、报废、迭代时及时动态更新台账，确保资产清单与实际现状完全一致，资产底数清晰、责任到人、动态可控。8人工智能安全威胁识别实施细则8.1内生安全威胁识别。重点识别人工智能算法原生固有安全威胁，包含算法设计逻辑缺陷威胁、模型后门预留及恶意激活威胁、对抗样本定向攻击威胁、算法决策歧视性威胁、模型参数篡改与窃取威胁、训练数据污染及投毒威胁、数据标注恶意植入威胁、算法不可解释性引发决策失控威胁等各类AI技术自身原生威胁，逐项核查算法研发、模型训练、版本迭代过程中潜在内生威胁来源及触发条件。8.2应用安全威胁识别。重点识别人工智能外部应用运营环节衍生安全威胁，包含外部网络渗透攻击、接口非法调用、越权访问操控模型威胁、勒索病毒及恶意代码感染威胁、内部人员违规操作及数据私自拷贝泄露威胁、第三方供应链恶意植入后门威胁、深度伪造恶意制作传播威胁、舆情认知误导及社会公共秩序影响威胁、机房环境及气候变化引发算力中断威胁等外部应用及管理类衍生威胁。8.3威胁来源常态化排查。结合当前网络安全威胁情报、同类AI安全事件案例、行业攻击态势、自身AI运行历史异常记录，常态化排查新增未知威胁和变种威胁，不仅识别已有已知安全威胁，还要预判潜在新型衍生威胁，确保威胁识别全面覆盖已知风险和潜在未知风险，提前做好预警防范准备。9人工智能安全脆弱性识别核查规范9.1技术类脆弱性识别核查。聚焦AI技术层面薄弱环节逐项核查，重点核查算法代码开发安全漏洞、模型结构安全加固缺失、对抗攻击防护措施不足、数据加密脱敏配置缺失、访问权限管控宽松、安全补丁未及时更新、漏洞长期未修复、接口安全认证缺失、日志审计记录不全、备份恢复机制不完善、算力基础设施防护薄弱等技术类脆弱性问题，逐项记录脆弱性位置、严重程度及可被威胁利用的风险概率。9.2管理类脆弱性识别核查。聚焦AI安全管理层面短板弱项逐项核查，重点核查AI安全管理制度不健全、安全治理责任未压实、人员安全培训不到位、运维操作流程不规范、变更安全评估未落实、第三方管控机制缺失、应急处置预案不完善、安全自查工作未常态化开展、考核问责机制未落地、退役数据销毁不彻底等管理类脆弱性缺陷，明确管理漏洞引发安全风险的潜在危害。9.3脆弱性复核确认要求。所有识别发现的技术及管理脆弱性须现场复核确认，杜绝虚假排查、虚构脆弱性问题，对已整改修复的脆弱性不再纳入本次风险评估范围，对长期未整改、反复出现的顽固脆弱性重点标注，作为核心高风险管控重点，优先整改闭环。10人工智能安全风险分析方法与实施要求10.1风险发生可能性分析。结合安全威胁活跃频次、脆弱性严重程度、现有防护管控力度、过往同类安全事件发生记录、外部威胁情报预警情况，综合研判每项风险发生的高、中、低三级可能性等级，长期高频活跃、防护薄弱、历史频发的风险判定为高可能性；偶尔发生、防护一般的风险判定为中可能性；极少发生、防护完善的风险判定为低可能性。10.2风险影响程度分析。结合风险触发后对个人权益损害程度、企业经营中断影响、数据泄露损失规模、业务系统瘫痪时长、社会公共安全负面影响、合规处罚后果大小，综合判定每项风险的严重、较大、一般、轻微四级影响程度，造成重大损失、合规处罚、社会负面影响的判定为严重影响；造成局部业务中断、数据小范围泄露的判定为较大影响；造成一般管理扰动、无重大损失的判定为一般影响；仅存在轻微隐患、无实际损失的判定为轻微影响。10.3分类专项差异化分析。对人工智能内生安全风险和应用安全风险实行差异化专项分析，内生风险侧重算法缺陷、模型隐患、数据污染长期深层次影响分析，应用风险侧重外部攻击、运维违规、供应链传导即时性影响分析，两类风险分别研判、合并汇总、综合评估，确保风险分析精准贴合AI风险独有特点。11人工智能安全风险等级综合评价判定标准11.1重大风险等级判定。风险发生可能性高且风险影响程度严重，或虽发生可能性中等但影响程度极端严重，一旦触发将造成大规模数据泄露、核心AI系统全面瘫痪、重大合规处罚、严重社会负面影响及重大经济损失的风险，统一判定为重大风险，属于立即停工整改、即刻清零销项的最高等级管控风险。11.2高风险等级判定。风险发生可能性高且影响程度较大，或可能性中等且影响程度严重，一旦触发将造成局部业务中断、重要数据泄露、关键模型损坏、较大经济损失及不良经营影响的风险，统一判定为高风险，属于限期专项加固、重点监控、限期整改压降的重点管控风险。11.3中风险等级判定。风险发生可能性中等且影响程度一般，或可能性低但影响程度较大，触发后仅造成一般性管理问题、局部小范围扰动、无重大实质性损失的风险，统一判定为中风险，纳入日常常态化管控、持续优化改进的常规管控风险。11.4低风险等级判定。风险发生可能性低且影响程度轻微，触发后基本无实质性损失、不影响业务正常运行、不造成合规隐患的风险，统一判定为低风险，纳入定期巡查管控、严防升级即可的基础管控风险。12人工智能安全风险分级处置管控措施12.1重大风险处置措施。严格执行风险规避或立即整改降低处置策略，即刻暂停相关AI业务运行和模型迭代工作，成立专项整改工作小组，限期最短时间内完成隐患清零整改，整改完成后开展专项复核复测，复核合格后方可恢复AI系统运行，整改全程专人督办、全程留痕、验收销项，严禁重大风险带病运行、长期留存。12.2高风险处置措施。实行风险专项降低强化处置策略，制定专项加固整改方案，明确整改步骤、防护加固措施、责任人和完成时限，针对性强化技术防护和管理管控，定期跟踪整改进度，整改完成后开展安全测试和风险复测，确保高风险等级有效压降为中低风险，严防高风险升级演变为重大安全风险。12.3中风险处置措施。实行常态化风险管控优化处置策略，纳入日常安全运维管理和定期自查范围，持续优化防护措施、完善管理制度，稳步降低风险隐患，无需紧急停工整改，但须持续跟踪管控、定期评估优化，避免中风险升级恶化。12.4低风险处置措施。实行常规巡查预防处置策略，做好日常基础安全防护和定期巡查监测，无需专项整改加固，重点做好风险动态监测，严防外部环境变化和模型迭代导致低风险等级升级，保持风险长期稳定可控。12.5风险接受审批管理。确因业务发展特殊需要无法整改、需采取风险接受处置的高等级及重大风险，必须经过企业最高管理者及信息安全管理委员会专项审批备案，明确风险接受理由、缓释措施及监控机制，严禁未经审批私自接受高危风险。13人工智能安全风险评估报告编制规范13.1报告基础概况内容。评估报告开篇须明确评估项目基本信息、评估依据标准、评估范围边界、评估团队人员