人工智能安全 算法安全属性评价规范

Q/LB.□XXXXX-XXXX人工智能安全算法安全属性评价规范范围本文件规定了人工智能算法的安全属性、评价指标及其测算方法，并给出了指标计算与发布要求。本文件适用于算法提供方、第三方测评机构及行业监管组织对人工智能算法属性开展安全评价。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T25069—2022信息安全技术术语GB/T35273—2020信息安全技术个人信息安全规范GB/T37988—2019信息安全技术数据安全能力成熟度模型GB/T42888—2023信息安全技术机器学习算法安全评估规范术语和定义GB/T25069—2022界定的以及下列术语和定义适用于本文件。可靠性reliability在规定的条件下和规定的时间内，人工智能算法正确完成预期功能，且不引起系统失效或异常的能力。算法失效algorithmfailure算法丧失完成规定功能的能力的事件。准确率accuracy对于给定的数据集，正确分类的样本数占总样本数的比率。响应时间responsetime在给定的软硬件环境下，人工智能算法对给定的数据进行运算并获得结果所需要的时间。对抗样本adversarialexamples在数据集中通过故意添加细微的干扰所形成的输入样本，该类样本导致算法以高置信度给出错误地输出。置信度confidence总体参数值落在样本统计值某一区内的概率。人工智能算法ArtificialIntelligenceAlgorithm功能单元通过数据训练更新参数以改进其性能的算法。野值outliers采样数据集合中严重偏离大部分数据所呈现趋势的数据。概述人工智能算法具有依赖数据训练、输出结果不确定、决策过程不可解释等特点，其在设计、训练、部署及运行等阶段，存在结构复杂、行为不可控、易受干扰等内在脆弱性，面临算法失效、对抗攻击、后门植入、算法泄露、数据投毒、偏见学习等多类安全风险。为系统提升算法本体的安全能力，需从可解释性、鲁棒性、可信性、可控性、公平性、隐私性等属性维度开展量化评价。构建统一的安全属性指标体系和测评方法，有助于推动人工智能算法在不同场景下的可持续、安全、可信应用。人工智能算法安全风险人工智能算法在设计、训练和部署过程中，因其结构复杂性、行为不确定性以及对数据敏感性，存在多类典型的安全风险，主要包括：算法失效：算法的设计和实施有可能无法实现设计者的预设目标，导致决策偏离预期甚至出现伤害性结果；隐私泄漏：指算法在学习或输出过程中对敏感信息的记忆、重现或重构能力可能导致个人数据被恢复或推断。例如，人工智能算法在训练阶段可能记住训练样本中的隐私信息，并在推理中被攻击者提取。对抗攻击：人工智能算法实际应用中会受到对抗样本的威胁。对抗样本使得人工智能算法出现错误，导致识别或预测的结果与实际的结果不符；后门攻击：攻击者通过在神经网络算法中植入特定的神经元生成带有后门的算法，使得算法虽然对正常输入与原算法判断一致，但对特殊输入的判断会受攻击者控制；预测偏见：当算法使用过去的数据来预测时，那么计算结果便会受到所输入的数据和所设定的算法的影响。人工智能算法在程序设计中，由于算法的设计者或开发人员对事物的认知存在某种偏见，或者算法执行时使用带有偏见的数据集等原因，造成算法使用产生了带有歧视性的结果；数据投毒：是指攻击者在攻击过程中尝试污染训练数据，使分类器识别善意的输入和恶意输入的边界发生变化，或者在人工智能使用过程中通过用户反馈的方式，对算法进行攻击；依赖脆弱：算法对外部依赖组件（如开源算法结构、预训练参数）具有高度耦合性，当依赖组件被篡改或存在漏洞时，可能间接影响算法安全性。人工智能算法安全属性人工智能算法应具备以下安全属性：保密性：确保人工智能算法及其参数在训练与部署过程中不被未授权访问或泄露，防止算法反推、属性推理或训练数据还原等攻击。完整性：确保人工智能算法在训练、更新与部署环节中，其结构、参数、训练数据等未被未授权篡改、伪造或植入后门，确保行为逻辑的正确性和一致性。可用性：确保人工智能算法能够在合理资源和正常输入条件下持续提供服务，具备一定的容错能力与恢复能力，防止因攻击或故障导致服务中断。可控性：指算法行为在设计预期范围内可调、可控，防止被误用、滥用或出现失控输出。包括可验证性（可测试验证其有效性）和可预测性（行为结果在合理范围内可预估）。健壮性：指算法在面对非预期输入、对抗样本或运行环境异常等情况时仍能保持性能稳定、不易出错，提升在恶劣条件下的可靠性。可解释性与可追溯性：指算法决策过程和结果对用户或监管方是可理解和可追溯的，可支持对输出结果的因果关系或责任归属的分析。该属性是实现算法透明性的重要基础。公平性：指人工智能指算法在数据处理与决策输出中不应对特定群体产生系统性偏差，应通过多样化设计、数据去偏处理等手段减少歧视性或不平等结果。合规性：指算法应遵循最小必要、目的限定、知情同意等原则，减少对个体敏感数据的暴露或滥用。属性评估方法人工智能算法安全指标体系由“属性—指标”两层组成，其中属性包括保密性、完整性、可用性、可控性、健壮性、隐私性等，由各属性对应的评估指标组成评估指标体系，以下给出了评估指标描述和细分项列表。在实施评估过程中，应根据不同人工智能算法所处于的不同阶段所应满足的安全需求选取相应的指标，并确保应用目标和使用方式符合标准规范以及伦理要求。保密性指标保密性指标用于评估人工智能算法生命周期各阶段的保密性，包括但不限于：数据保密性评估：评估未被授权者利用梯度信息、人工智能算法的输出等信息，通过逆向工程等技术手段窃取人工智能相关数据的风险，包括训练数据保密、运行数据保密及抵御成员推理攻击的能力等，涉及数据传输、存储、计算、汇聚的保密性，个人信息保护及密钥安全等方面；算法保密性指标：评估算法的保密性，通过对被测系统持续访问，推测人工智能算法的参数或功能，判断所窃取或推断的训练数据与原数据的相似度；系统信息保密性指标：评估人工智能算法生命周期各阶段，软硬件依赖信息被窃取或非授权访问的情况。表A.1保密性评估方法序号指标类别测试子项测试子项检测目标测试方法测量值说明类型1数据保密性指标训练数据保密通过梯度信息、成员推理等方式，所窃取的训练数据与原数据的相似度以查询次数为x轴，以仿制训练数据和被仿制训练数据的相似度偏差比例为y轴绘制的曲线，使用1-相似度计算相似度越高，攻击成功率越高，则安全性越低必选2成员推理攻击成功率针对一组测试样本，推断其属于训练数据集的比例针对一组测试样本，推断其属于训练数据集的比例比例越低，则安全性越好必选3运行数据保密通过人工智能算法的输出信息，所窃取的训练数据与原数据的相似度以查询次数为x轴，以仿制训练数据和被仿制训练数据的相似度偏差比例为y轴绘制的曲线，使用1-相似度计算相似度越高，攻击成功率越高，则安全性越低必选4数据销毁应删除的数据是否未被销毁或仍能被恢复检测是否能够直接提取或通过恢复手段，获取应删除的数据如不能获取，则安全性较好；如能够获取，则安全性较低必选5算法保密性指标算法窃取成功率窃取的人工智能算法与原算法的相似度和性能以查询次数为x轴，以仿制算法识别效果和被仿制算法识别效果的偏差比例为y轴绘制的曲线曲线下面积越小，则安全性越好必选6算法销毁应删除的算法是否未被销毁或仍能被恢复检测是否能够直接提取或通过恢复手段，获取应删除的算法如不能获取，则安全性较好；如能够获取，则安全性较低必选7算法防逆向是否能够逆向出算法参数文件以及代码文件检测是否应用了算法加密、代码混淆等防止算法被逆向的技术手段技术手段运用越全面，则安全性越好必选8系统信息保密性指标系统信息保密系统所采用的算法、数据、依赖等信息可以被非授权主体访问的程度检测系统所采用的算法、数据、依赖等信息可以被非授权主体访问的次数所能够获取的信息越少，则安全性越好必选9其他指标相关其他指标相关其他指标满足保密性目标的程度依据指标而定依据测试指标而定可选完整性指标用于评估人工智能算法运行的完整性，包括但不限于：数据完整性指标：评估算法所涉及数据的准确性和一致性，从人工智能算法生命周期各阶段数据的完整、清晰、准确、可靠程度，包括数据一致性，数据均衡性，数据准确性等；依赖环境完整性指标：评估算法依赖的运行环境的完整性水平，包括运行环境信息的一致性等；算法完整性指标：评估承载算法的SDK或产品被未经授权的方式替换或破坏的影响程度，衡量部署的算法与原始算法是否一致。表A.2完整性要求和测试方法序号指标类别测试子项测试子项检测目标测试方法测量值说明类型1数据完整性指标数据均衡性包括数据类别均衡程度、无偏度使用统计手段检测数据类别分布、偏度数据类别均衡、无偏，则数据均衡性好必选2数据准确性数据所描述的实际对象真实值的程度使用抽样检测与全部检测结合的手段，检验数据是否能准确表示其所描述的实际对象检测样本中正确性比例越高，数据准确性越好必选3数据完整性指标训练数据一致性衡量篡改后的训练数据与原始训练数据的一致程度使用统计手段计算篡改后的训练数据与原始训练数据的比例一致程度越高，则安全性越好必选4测试数据一致性衡量篡改后的测试数据与原始测试数据的一致程度使用统计手段计算篡改后的测试数据与原始训练数据的比例一致程度越高，则安全性越好必选5数据重复度衡量测试数据与训练数据重复程度使用统计手段计算测试数据与训练数据重复的比例数据重复度越低，则测试数据重复度越好必选6数据任务相关性衡量测试数据的任务相关程度使用统计手段计算测试数据与训练数据分布的相关程度数据任务相关性越高，则安全性越好必选7训练数据规模衡量训练数据的丰富程度使用统计手段计算训练数据样本量训练数据规模越大，则安全性越好必选8测试数据规模衡量测试数据的丰富程度使用统计手段计算训练数据样本量测试数据规模越大，则测试更加准确必选9数据标注准确率检测数据标注的准确程度使用统计的方法检测正确标注的数据或全部数据之间的比例标注准确率越高，则安全性越好必选10算法完整性指标算法一致性衡量算法否一致检测部署的算法与原始算法是否一致如一致，则安全性较好必选11依赖环境完整性指标运行环境信息一致性衡量篡改后的运行依赖等系统信息与原始信息的一致性通过代码单元测试、模块组件测试、集成测试等方法，测试算法所依赖各类运行环境的一致程度一致程度越高，则安全性越好必选12其他指标相关其他指标相关其他指标满足完整性目标依据指标而定依据测试指标而定可选可用性指标用于评估人工智能算法的可用性，包括但不限于：可使用性指标：评估有效生命周期内算法可用程度、软硬件环境的依赖度及计算资源的可用的程度，包括算法准确性、可访问性、计算资源可用性、软硬件依赖等；可恢复性指标：评估算法和数据等从灾难状态恢复到可运行状态所需的时间和投入，包括恢复时间、可恢复能力等；故障率指标：评估规定时间与条件下，持续运行时发生故障的严重性和频繁程度，包括算法持续运行情况。表A.3可用性要求和测试方法序号指标类别测试子项测试子项检测目标测试方法测量值说明类型1可使用性指标精确率精确率(Accuracy)：又称精度，指人工智能算法预测正确的样本数占据样本总数的比例Accuracy其中，真阳性（TruePositive，TP）：样本的真实类别是正例，并且算法预测的结果也是正例；真阴性（TrueNegative，TN）：样本的真实类别是负例，并且算法将其预测成为负例；假阳性（FalsePositive，FP）：样本的真实类别是负例，但是算法将其预测成为正例；假阴性（FalseNegative，FN）：样本的真实类别是正例，但是算法将其预测成为负例精确率越高，人工智能算法性能越好必选2准确率准确率（Precision）：又称查准率，指人工智能算法预测为正例的样本数中真正为正例的样本数的占比，通常表示人工智能算法预测出的样本有多少是用户感兴趣的P其中，真阳性（TruePositive，TP）：样本的真实类别是正例，并且算法预测的结果也是正例；真阴性（TrueNegative，TN）：样本的真实类别是负例，并且算法将其预测成为负例；假阳性（FalsePositive，FP）：样本的真实类别是负例，但是算法将其预测成为正例；假阴性（FalseNegative，FN）：样本的真实类别是正例，但是算法将其预测成为负例准确率越高，人工智能算法性能越好必选3可使用性指标召回率召回率（Recall）：又称查全率，指人工智能算法预测为正例的样本数占据真正为正例的样本的比例，通常表示用户感兴趣的样本中有多少被人工智能算法预测出来Recall=其中，真阳性（TruePositive，TP）：样本的真实类别是正例，并且算法预测的结果也是正例；真阴性（TrueNegative，TN）：样本的真实类别是负例，并且算法将其预测成为负例；假阳性（FalsePositive，FP）：样本的真实类别是负例，但是算法将其预测成为正例；假阴性（FalseNegative，FN）：样本的真实类别是正例，但是算法将其预测成为负例召回率越高，人工智能算法性能越好必选4F-1值F-1值：指针对人工智能准确率和召回率的综合度量指标FF-1越高，人工智能算法综合性能越好必选5P-R曲线P-R曲线可直观地显示人工智能算法在样本总体上的查全率、查准率人工智能算法的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，以准确率为纵轴、召回率为横轴作图，得到的准确率-召回率曲线叫做P-R曲线若PR曲线越靠近右上方，则人工智能算法性能越好可选6ROC曲线ROC的全称是“受试者工作特征”(ReceiverOperatingCharacteristic)曲线，是度量人工智能算法性能随着分类器阈值的变化而变化的过程根据人工智能算法的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出真正率TPR、假正率FPR，以FPR为x轴，TPR为y轴作图，即可得到ROC曲线ROC曲线越靠近左上方，则人工智能算法性能越好可选7AUCAUC:ROC曲线下覆盖的面积，针对人工智能算法的综合衡量指标AUC其中，x1AUC值越高，人工智能算法性能越好可选8可恢复性指标恢复时间在安全事件发生后，从算法失能失效导致业务停顿之刻开始，到算法恢复至可以支持智能系统运行之刻为止，此两点之间的平均时间规定时间和条件下，模拟安全事件，统计算法的恢复时间平均值、最大值、众数和中位数恢复时间各项统计指标越低，安全性越高必选9可恢复能力在安全事件发生后，由算法失效至修复可用后的恢复有效程度规定时间和条件下，模拟安全事件，统计算法的恢复到完备功能的比例比例越高，安全性越高必选10故障率指标持续运行在规定的条件下，在规定时间内持续运行时发生故障的严重性、频繁程度和容错性规定时间和条件下，统计算法发生故障的严重性和频繁程度，依照容错测试样例，统计容错策略边界持续运行时间越多，安全性越好必选11其他指标相关其他指标相关其他指标满足可用性目标依据指标而定依据测试指标而定可选可控性指标用于评估人工智能算法生命周期各阶段的可控性，包括但不限于：可审计性指标：评估管理过程文档完备程度及关键环节的可追溯、可审计能力，包括文档完备程度等；可持续运行性指标：评估算法正常运行能力，包括正常服务时间等；容错性指标：评估算法的避免算法失效及容错的能力，包括失效密度、失效解决率等。表A.4可控性要求和测试方法序号指标类别测试子项测试子项检测目标测试方法测量值说明类型1可审计性指标文档完备具有完备的项目管理文档材料依据项目管理各阶段要求，文档资料齐备，评估其可审计、可追溯能力资料越完备，安全性越高必选2日志完备具有完备的算法相关日志记录依据算法各关键环节的日志记录内容，评估其可审计、可追溯能力日志越完备，安全性越高必选3可审计性指标正常服务时间在规定的条件下，在规定时间内算法的正常使用时间规定时间和条件下，统计算法正常服务的时间正常服务时间越长，安全性越高必选4正常服务时间占比评估人工智能算法正常提供服务时间段占总服务时间段的比例规定时间和条件下，基于测试数据集的输入数据，计算正常提供服务时间段占总服务时间段的比例服务时间占比越高，则安全性越好必选5容错性指标失效密度在一定的试验周期内，计算算法实效的情况提，提示信息不正确、算法未按预期要求进行动作等都属于失效计算一定的试验周期内的算法的失效次数失效数越小，安全性越好必选6失效解决率检测到的失效中已经解决的失效比率计算一定的试验周期内算法实效后，定位安全问题并解决的比例在失效数不为零时，比率越高安全性越好；失效数为零时，不计算该项结果必选7其他指标相关其他指标相关其他指标满足可控性目标依据指标而定依据测试指标而定可选健壮性指标用于评估人工智能算法生命周期各阶段的健壮性，包括但不限于：正确性指标：评估算法面对非正常数据输入时的正常运行能力，包括抵御干扰数据、有损数据等的情况；抗攻击能力指标：评估算法面对攻击时正常运行的能力，包括抵御数字世界攻击、物理世界攻击、黑白盒攻击、后门攻击等的能力。表A.5健壮性要求和测试方法序号指标类别测试子项测试子项检测目标测试方法测量值说明类型1正确性指标有损数据健壮性根据测试结果计算算法功能实现正确性利用压缩、损坏等有损数据进行测试，根据测试结果计算算法功能实现正确性算法功能实现正确性越高，则健壮性越好必选2干扰数据健壮性根据测试结果计算算法功能实现正确性利用加入噪声、变换等干扰数据进行测试，根据测试结果计算算法功能实现正确性算法功能实现正确性越高，则健壮性越好必选3抗攻击能力指标数字世界多种白盒攻击对抗样本攻击健壮性计算白盒多种对抗攻击场景下，算法识别的准确性以生成对抗样本的扰动大小为x轴，以对应算法的识别准确率为y轴而绘制的多条曲线。PAC曲线：针对x轴的每个值x(i)，PAC曲线的y值是多条曲线在当前x(i)值下的最小识别率，PAUC被定义为PAC曲线下与坐标轴围成的面积。PAUC越大，则健壮性越好必选4数字世界多种黑盒对抗样本攻击查询攻击健壮性计算黑盒多种对抗攻击场景下，算法识别的准确性以生成对抗样本的查询次数为x轴，以对应算法的识别准确率为y轴而绘制的多条曲线。PAC曲线：针对x轴的每个值x(i)，PAC曲线的y值是多条曲线在当前x(i)值下的最小识别率，PAUC被定义为PAC曲线下与坐标轴围成的面积。PAUC越大，则健壮性越好必选5数字世界多种黑盒对抗样本迁移攻击健壮性计算多种黑盒对抗样本迁移攻击场景下，算法识别的准确性以生成对抗样本的扰动大小为x轴，以对应算法的识别准确率为y轴而绘制的多条曲线。PAC曲线：针对x轴的每个值x(i)，PAC曲线的y值是多条曲线在当前x(i)值下的最小识别率，PAUC被定义为PAC曲线下与坐标轴围成的面积。PAUC越大，则健壮性越好必选6物理世界对抗样本攻击成功率计算物理对抗场景下，攻击成功的比例生成物理世界对抗样本，根据攻击结果计算攻击成功率攻击成功率越低，则安全性越好必选7抗攻击能力指标算法后门攻击成功率计算算法后门攻击下，攻击成功的比例尝试植入后门并在输入样本上叠加触发器，根据攻击结果计算攻击成功率攻击成功率越低，则安全性越好必选8访问控制是否采取限制手段来控制攻击者能够获取的信息检测是否采用了限制算法的反馈输出、限制算法的查询次数、限制账号和IP地址的使用频率等访问控制手段有无必选9其他指标相关其他指标相关其他指标满足健壮性目标依据指标而定依据测试指标而定可选合规性指标用于评估人工智能算法生命周期各阶段的隐私性，包括但不限于：管理性指标：评估算法生命周期各阶段的合规程度，包括算法备案等；技术性指标：评估人工智能生命周期各阶段数据隐私的防泄漏、安全防护水平，包括数据防泄漏、银行学、个人信息保护等。表A.6合规性要求和测试方法序号指标类别测试子项测试子项检测目标测试方法测量值说明类型1管理性指标算法备案算法训练等环节备案的完整度依照现有个人信息保护、数据安全政策法规、标准规范进行评估算法备案越完整，安全性越好必选2技术性指标最小必要算法是否遵循最小必要原则，满足算法目标下减少对个人信息的利用评估算法需求的个人信息类型中与算法目标无直接关联性的数目无直接关联数目越低，则安全性越好必选4知情同意评估算法在利用个人信息前是否获得了个人的知情同意检测算法发起知情同意的个人信息类别数占算法所有使用的个人信息类别数的比例比例数越高，则安全性越好必选5其他指标相关其他指标相关其他指标满足可用性目标依据指标而定依据测试指标而定可选指标测算方式人工智能算法安全评估指标的测算方式，包括以下三类：专家评估：对于可审计、合理性等指标的测算，可以通过组织行业内专家进行综合评估；数据集测算：对于可用性、健壮性中意外故障等指标，使用测试数据集进行测算；模拟攻击测算：对于保密性、健壮性中有意动机等指标，使用模拟安全攻击方式进行现场测算。指标测算和发布要求人工智能算法安全评估指标的计算依赖于安全攻击方法、安全测试数据集的选择和构建。为保障安全评估指标的透明性和公平性，对于人工智能算法安全评估指标的测算、发布应遵循以下要求：对通过衡量人工智能算法在安全攻击下的性能表现来计算的安全评估指标，应优先选择当前攻击性能较好的多种安全攻击方法进行综合评价，并在测算和发布时应明确并公开所使用的安全攻击方法以及关键参数设置；对通过衡量人工智能算法在测试数据集上的性能表现来计算的安全评估指标，应在测算和发布时，明确并公开所使用的测试数据集规模、测试数据种类、典型测试数据样例等关键信息。

录A附录A

（资料性）

算法生命周期各阶段安全风险设计开发阶段的安全风险性能层面的安全风险设计开发阶段人工智能算法性能层面的安全风险包括：算法的正确性无法满足任务需求地风险：算法的正确性是指算法能够生成行为符合预期的人工智能算法。由于不同的任务对于正确性的需求不同，当设计的人工智能算法无法保证符合任务需求的正确性时，该算法在实际应用时将引发安全问题；算法运行效率无法满足任务需求地风险：算法运行效率是指算法执行时花费的时间。当设计的算法需要花费较长时间，无法满足任务的效率需求时，如设计的算法时间复杂度是指数级，无法满足任务场景的秒级相应等需求，此类算法自身将成为一种安全风险；算法健壮性风险：由于人工智能算法的训练无法遍历所有目标领域的数据，使得训练得到的算法对外界环境干扰以及恶意攻击的健壮性较差。攻击者能够利用算法的这一脆弱点较容易的构造对抗样本使算法结果出错，从而导致严重安全隐患。数据层面的安全风险设计开发阶段人工智能算法数据层面的安全风险包括：数据集规模不足地风险：不同的人工智能任务需要的数据集规模不同，当数据集规模不够大，不足以支撑人工智能算法的有效学习时，会导致人工智能算法达不到和具体任务相对应的准确度要求，从而影响算法执行时的安全性；数据集均衡性差地风险：数据集均衡性用来描述数据集中包含不同类别的样本数量。当数据集均衡性差，某些类别样本数量少时，人工智能算法将难以有效学习多种类别的特点，将严重影响人工智能针对部分类别识别的准确性。此外，不均衡数据用于算法学习，将引发算法公平性风险；数据标注不准确地风险：对于有监督学习类别的算法，数据标注是数据集的重要组成部分，也是影响人工智能安全性的重要因素。然而，大多数数据集的标注是由人工众包形式完成，很难保证所有参与标注的人员都能正确标注，如果出现错标、漏标等情况，将会导致算法很难正确学习，引发错误分类或预测的问题；数据表示形式不规范地风险：在智能驾驶、智慧金融、智慧医疗等应用场景中，原始数据可能包含大量与任务无关的信息，数据表示形式不恰当或者不规范，将造成人工智能算法无法准确学习关键特征，影响算法的准确性，可能造成算法效率大幅度下降；数据集被污染地风险：设计开发阶段采集的数据集可能面临数据被恶意污染地风险，即数据投毒。由于恶意行为修改数据集中的数据，造成人工智能算法学习到错误的特征，引发算法出错；数据过度采集导致隐私数据泄露地风险：个人信息未加密或未脱敏使用时，攻击者很容易从算法中提取数据，造成数据集中个人信息的泄露。环境层面的安全风险人工智能算法的环境依赖其选择的框架及第三方库，而框架及第三方库自身存在漏洞会导致算法运行错误等风险：目前人工智能算法的设计和实现往往依赖开发框架的支持，这些框架本身往往使用大量的第三方库，在设计开发阶段使用的框架、第三方库等本身存在的安全漏洞和后门会导致基于开发的人工智能算法也存在相应的安全隐患。此外，操作系统、硬件架构和硬件配置可能引入风险，比如兼容性问题、处理精度问题、安全性问题、计算能力等。验证测试阶段的安全风险性能层面的安全风险验证测试阶段人工智能算法性能层面的安全风险包括：算法正确性低地风险：不同任务的正确性需求不同。当算法在测试数据集上的正确性无法达到需求，需要重新进行开发；算法运行效率低地风险：不同任务的效率要求不同。当算法在测试数据集上的效率无法达到需求，需要重新进行开发，优化算法；算法泄露隐私数据地风险：算法存在可能暴露数据集、通过简单测试办法可获取隐私数据等问题；算法公平性不足地风险：算法做出存在偏见和违反公平性原则的输出；算法和算法健壮性差地风险：当测试数据中包含较小的偏差或部分非正常分布的数据，算法的结果受到较大影响，输出发生很大的变化；算法泛化能力差地风险：当使用和实际场景、任务相关的数据集测试时，算法的泛化能力差，将很难输出正确的结果。数据层面的安全风险验证测试阶段人工智能算法数据层面的安全风险包括：测试数据和训练数据重复度高地风险：当用来测试的数据和训练数据集重复度高时，算法将在测试数据上表现优异，但是无法验证其在未知测试数据集上的性能；测试数据集规模不足地风险：测试数据如果规模较少，将无法对可能遇到的各种特殊数据进行有效验证，导致算法在特殊数据上判断出错；测试数据集均衡性差地风险：测试数据均衡性不足，部分类别的测试数据少时，将很难对算法在各类数据上的表现进行验证；测试数据集合实际任务相关性不足地风险：当未采集和实际应用场景、任务相关的数据进行测试时，将导致算法在实际运行过程中无法正确处理实际数据的问题。环境层面的安全风险人工智能算法依托特定的框架进行实现，在验证测试阶段，如果未对框架及第三方库自身的漏洞进行有效测试，将导致算法在运行过程中出现错误。部署运行阶段的安全风险性能层面的安全风险部署运行阶段人工智能算法性能层面的安全风险包括：算法运算效率低地风险：在验证测试阶段，人工智能算法的效率已被检测，但在实际部署运行中，真实环境对于效率的要求可能会随着时间发生改变，没有及时更新的算法可能无法满足真实环境的效率要求；算法后门风险：攻击者在如图人工智能算法中植入特定的后门，使得算法虽然对正常输入与原算法判断一致，但对特殊输入的判断会受攻击者控制，从而造成算法的输出出现特定的错误；算法隐私风险：攻击者可以通过公共访问接口对算法进行多次访问，根据输入与输出的映射关系，在没有得知算法参数的情况下，构建出与被攻击算法相似度很高的算法，逆向推测并还原算法的参数信息等；数据反演导致数据泄露地风险：利用算法接口调用返回的信息进行反演攻击还原训练数据或部分隐私数据的安全风险；注入攻击风险：攻击者利用人工智能算法设计上的安全漏洞，将恶意的命令注入算法中，当实际数据满足预先设定的触发条件时，会造成算法完成注入的攻击行为；拒绝服务攻击风险：攻击者利用算法缺陷或者程序漏洞，通过构造特殊数据、利用敏感数据攻击算法，造成人工智能服务崩溃或者系统内存溢出等拒绝服务；可解释性风险：人工智能算法常被应用于医疗、收入预测、个人信息评估等安全敏感领域，如果算法输出结果的逻辑缺乏可解释性，易造成人们对于算法有效性的质疑，甚至反对；算法健壮性风险：新的算法仍然无法覆盖数据的可变空间，无法对恶意输入的样本做出正确的判断。攻击者能够利用算法的这一特点构造对抗样本、恶意样本来攻击算法，导致算法出错。数据层面的安全风险部署运行阶段人工智能算法数据层面的安全风险包括：干扰数据风险：实际环境中存在一些极端的输入数据与其余输入数据的差异较大，此类野值数据可能造成算法的输出出现错误；自然噪声扰动风险：在实际环境中，正常的输入数据会受到环境因素的影响，输入可能携带着无法预知的自然噪声扰动，将导致已部署的人工智能算法出现偏差；特殊扰动攻击风险：通过某种特殊方式修改输入，使得人工智能算法输出错误信息。此类特殊扰动攻击包括对抗样本攻击等；训练数据被污染风险：部分在线学习或演进学习的人工智能算法，部署在环境以后会根据实际的数据进行在线训练，自适应地调整算法参数等，攻击者在该过程中通过数据投毒，使用污染的数据训练此类算法，将造成算法的输出逐渐出现错误；数据集分布迁移风险：算法通常假设训练数据和真实数据服从相同分布，但算法部署在实际应用中时，数据集分布可能会发生迁移，即真实数据集分布与训练数据集分布之间存在差异性，从而造成算法输出产生偏差；数据泄露风险：人工智能算法部署以后，攻击者可能通过反复调用、查询算法，根据算法返回的信息还原训练数据，从而造成数据泄露等风险。环境层面的安全风险部署运行阶段人工智能算法环境层面的安全风险包括：人工智能框架更新风险：大部分人工智能算法是基于特定的框架开发的，当框架、第三方库更新时，若不及时对部署在此框架上的算法进行相应的调整，算法将会存在配置问题等风险；软硬件平台的部署风险：真实部署的环境中，操作系统、硬件架构和硬件配置等可能造成风险，如兼容性问题，处理精度问题，安全性问题，计算能力问题；供应链风险：攻击者在人工智能算法供应链过程中，通过逆向破解人工智能算法、通过控制软件/硬件渠道注入恶意代码等，造成恶意代码的传播。维护升级阶段的安全风险在人工智能算法部署后，由于业务需要，会对算法进行更新升级。在这个过程中，当算法更新时，需要考虑在算法开发、验证测试、部署运行阶段相应地风险；当算法升级需要根据数据重新训练时，可能面临数据被污染等风险；当框架更新时，算法需要及时升级，当软硬件等运行环境改变时，也需要对应进行维护。该阶段，主要面临