CESA2023025人工智能可信赖规范第3部分机器学习框架团体标准

ICS35.240

CCSL70

团体标准

T/CESAXXXX—2020

人工智能可信赖规范第3部分：机器学

习框架

Artificialintelligence–Trustworthinessspecification-Part3:Machinelearning

framework

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申

请证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利

申请号和申请日期。

2020-XX-XX发布2020-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX-2024

目次

前言..............................................................................II

人工智能可信赖规范第3部分：机器学习框架...........................................1

1范围...............................................................................1

2规范性引用文件.....................................................................1

3术语和定义.........................................................................1

4缩略语.............................................................................2

5概述...............................................................................3

5.1机器学习框架...................................................................3

5.2可信赖架构.....................................................................3

5.3技术要求的适用原则.............................................................5

6可信赖技术要求.....................................................................5

6.1通用要求.......................................................................5

6.2核心特征要求...................................................................5

6.3关键技术要求...................................................................6

6.3.2鲁棒性.......................................................................7

6.3.3可泛化性.....................................................................8

6.3.4备份.........................................................................9

6.3.5可追溯性.....................................................................9

6.3.6实时性......................................................................10

6.3.7可控性......................................................................10

6.3.8韧性........................................................................11

6.3.9可复现性....................................................................11

6.3.10无偏性.....................................................................11

6.3.11信息安全...................................................................12

7测试方法..........................................................................13

7.1通则..........................................................................13

7.2通用要求......................................................................13

7.3核心特征要求..................................................................14

7.4关键技术要求..................................................................17

附录A..............................................................................29

附录B..............................................................................31

附录C..............................................................................34

附录D..............................................................................35

参考文献............................................................................36

I

T/CESAXXXX-2022

人工智能可信赖规范第3部分：机器学习框架

1范围

本文件规定了机器学习框架涉及的各类可信赖技术要素及其对应的技术要求和测试方法。

本文件适用于机器学习框架及其扩展包的可信赖技术特性的规划、设计、实现和测试，也为利益相

关方使用机器学习框架增强人工智能系统可信赖程度提供指引。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T35273-2020信息安全技术个人信息安全规范

T/CESABBBBB信息技术人工智能可信赖规范第1部分：通则

3术语和定义

GB/T42018-2022，41867-2022和T/CESABBBBB界定的以及下列术语和定义适用于本文件。

3.1

联邦机器学习federatedmachinelearning

联邦学习federatedlearning

一种框架或系统能在不泄露参与方所拥有原始数据和隐私数据的同时，使多个参与方建立和使用

机器学习模型且获得好的性能。

注1：该架构定义了一种本地云端结合的模型训练及应用模式。

注2：横向联邦学习的特征是参与者拥有数据特征类型相同，拥有不同的数据主体，不同的参与方扩展了样本量。

注3：纵向联邦学习特征是参与者拥有相同的数据主体，其数据特征不同，不同的参与方扩展了样本的特性类。

[来源：GB/T41867-2022：3.2.15，有修改]

3.2机器学习框架machinelearningframework

一种利用预先构建和优化好的组件集合定义模型，实现对机器学习算法封装、数据调用处理及计算

资源使用的软件库。

注1：深度学习框架是机器学习框架的一种。

注2：机器学习框架一般会提供一些用于机器学习模型的预定义构建块或计算单元，如：对输入Tensor计算一维卷积。

3.3

服务水平协议servicelevelagreement

服务提供者和服务使用者（用户）关于服务范围、内容和目标的协议。

1

T/CESAXXXX-2020

3.4

对抗样本adversarialsample

通过构造输入达到干扰机器学习系统的输出结果的具有攻击性的样本。

注：可以通过对输入数据添加细微的干扰形成对抗样本，干扰模型推理导致以高置信度给出一个错误的输出。

3.5

个人敏感信息personalsensitiveinformation

一旦泄露、非法提供或滥用可会危害人身和财产安全，可能导致个人名誉、身心健康受到损害或歧

视性待遇等的个人信息。

注1：敏感信息包括个人财产信息（存款、信贷、消费记录）、个人健康生理信息（体检信息、医疗记录）、个人身

份信息（身份证、社保卡、驾驶证）等。

注2：关于个人敏感信息的判定方法和类型参见GB/T35273-2020的附录B。

注3：个人信息控制者通过个人信息或其他信息加工处理后形成的信息，如一旦泄露、非法提供或滥用可能危害人身

和财产安全，极易导致个人名誉、身心健康受到损害或歧视性待遇等的，属于个人敏感信息。

[来源：GB/T35273-2020：3.2]

3.6

组件component

机器学习框架中具有独立结构的实体，与框架其他组件相互作用，从而在其最低级别对机器学习框

架的特性做出贡献。

[来源：ISO/IEC25010：2011，4.3.3，有修改]

3.7黑盒blackbox

1.已知系统或组件的输入、输出和基本功能要求，但系统及组件的内部机理及实现方式未知或不相

关；2.关于一种方法，已知输入、输出和一般功能，但其内容或实现未知或不相关。

[来源：ISO/IEC/IEEE24765：2017(en)，3.390]

3.8

白盒whitebox

1.系统或组件的内部机理及实现方式已知；2.将一种方法当做一个系统或组件，具备内部机理及实

现方式已知的能力。

[来源：ISO/IEC/IEEE24765：2017(en)，3.1744]

4缩略语

AI人工智能（ArtificialIntelligence）

ASLR地址空间配置随机化（AddressSpaceLayoutRandomization）

BVA边界值分析（BoundaryValueAnalysis）

CFI控制流完整性（ControlFlowIntegrity）

DEP数据执行保护（DataExecutionPrevention）

ECP等价类划分（EquivalenceClassPartitioning）

NBC神经元覆盖界限（NeuronBoundaryCoverage）

2

T/CESAXXXX-2022

5概述

5.1机器学习框架

图1机器学习系统架构示意图

注1：示意图为说明机器学习框架在机器学习系统中的位置，图中实线框起部分为本文件规定的范畴，虚线框起的部分

表明机器学习系统参考架构的其他部分，不属于本文件规定的范畴。

注2：在机器学习模型研制应用的过程中，有些活动需要依赖框架，有些活动可与框架解耦独立应用。

机器学习框架是用于机器学习模型及应用的开发、部署、及运行的软件工具包集合。机器学习框架

具有物理计算资源调度使能、模型训练反向传播梯度自动计算、优化算法包、模型开发过程可视化等功

能。基于机器学习模型及应用开发流程，从功能模块角度本文可将机器学习框架划分为如下三大组件：

a）机器学习算法库：提供用于机器学习模型训练、优化及应用所需的算法包，如：加噪模糊等数

据增强算法、梯度下降等加速模型收敛的优化算法等；

b）模型构建及训练组件：该组件实现封装用于机器学习模型训练、优化所需的开发流程模板和可

视化套件等工具，如：用于机器学习模型构建的预定义构建块、实现张量操作封装的计算单元、

模型推理流程模板等；

c）模型推理及部署组件：该组件提供机器学习模型推理及部署所需要的工具，如：模型评估指标、

模型转换工具等。

5.2可信赖架构

5.2.1可信赖技术架构

本文件使用T/CESABBBBB中第4章图1定义的可信赖技术框架和要素含义，可信赖框架包含通用要

求域、核心概念域及关键技术域，其中：

a）通用要求域包含利益相关方对机器学习框架的可信赖期望，通用要求域的期望可被核心概念

域的宏观要求详细表达，也可被关键技术域中的要素所决定；

b）核心概念域包含机器学习框架可信赖体系中的宏观概念要素，每个概念要素都对机器学习框

架提出一类要求。每类要求可被若干技术要素影响或决定；机器学习框架对核心概念域的要求

符合性，依赖其在相关技术要素上的实现水平及管理手段；

c）关键技术域包含人工智能可信赖技术体系中的基础技术要素，每一个要素具有相对独立的指

标体系，且能被技术测试。

5.2.2可信赖技术要素列表

3

T/CESAXXXX-2020

本文面向可信赖关键技术域，基于机器学习框架的功能模块划分，提出了框架可信赖技术要素列表

（见表1），其中可信赖技术要素的定义遵从通用要求并结合机器学习框架自身特点，其具体含义如下：

a)可解释性：通过相关组件以易于理解的方式，表达影响任务执行状态及模型推理结果重要因素

的能力；

b)鲁棒性：通过相关组件提升机器学习模型及应用在任何情况下都保持其性能效率的能力；

c)可泛化性：通过相关组件增强机器学习模型应用到新数据时，能做出准确预测的能力；

d)备份：为防止操作失误或系统故障导致模型丢失，在机器学习模型训练任务执行时，通过相关

组件，支持对部分或完整的模型实施持久化存储的能力；

e)可追溯性：提供多粒度信息采集和日志分析模块，支持追溯机器学习任务中特定实体，如模型

等的数据流动、状态及性能的变化；

f)实时性：提供状态实时观测组件，支持训练任务状态的实时反馈能力；

g)可控性：提供对应的控制组件，支持机器学习任务及模型可被人类或其他外部使能干预的能力；

h)韧性：在机器学习任务遭受到不稳定或意外情况时，具备相应的机制，支持恢复到可预测的状

态的能力，但可能会影响任务执行效率及模型性能；

i)可复现性：提供随机性固定的组件，支持在可接受的复现性条件下，执行同样的任务获得相同

输出的能力；

j)无偏性：实现并封装相关算法包，支持训练数据或模型对任何实体无差别响应性质的增强能力；

k)信息安全：具备相关机制，支持在机器学习任务中，保持数据及模型的保密性、完整性和可用

性的能力。

表1机器学习框架可信赖技术要素列表

机器学习框架功能模块

可信赖技术要素

机器学习算法库模型构建及训练组件模型推理及部署组件

可解释性○○○

鲁棒性○○○

可泛化性○○\

备份\○\

可追溯性\○○

实时性\○\

可控性\○○

韧性\○○

可复现性\○\

无偏性○\\

4

T/CESAXXXX-2022

机器学习框架功能模块

可信赖技术要素

机器学习算法库模型构建及训练组件模型推理及部署组件

信息安全\○○

注：“○”表示该功能模块涉及可信赖技术要素的相关要求，“\”表示不涉及。

5.3技术要求的适用原则

符合本文件的机器学习框架，并不需满足全部可信赖技术要求。不包含某些功能（如端-边协同训

练）的机器学习框架，则不必满足这些功能对应的可信赖特性（如联邦学习流程模板）。

6可信赖技术要求

6.1通用要求

6.1.1功能安全

保障机器学习任务的功能安全，符合如下要求：

a)应提供安全保障的组件，保障执行训练及推理时，信息流、数据及模型保持完整，不发生丢失；

b)应提供隐私计算支持，如联邦学习组件，满足6.3.11.1c)-f)的要求；

c)应提供模型保存、日志记录、故障恢复组件。

6.1.2伦理符合性

保障机器学习任务的伦理符合性，符合如下要求：

a)为机器学习系统推理结果、数据流动及状态迁移分析提供依据，应提供信息采集及可视化组件，

记录包括但不限于模型结构变化、数据流动及模型状态迁移信息并提供可视化展示；

b)为降低人工智能系统的歧视性风险，应提供数据分布统计分析组件及分析结果可视化展示；

c)为降低人工智能系统因决策不透明、无法被充分解释等问题导致算法决策风险，机器学习框架

应提供可解释性组件和面向机器学习模型的对抗攻击模拟组件。

6.2核心特征要求

6.2.1隐私保护

机器学习框架提供组件，提升机器学习系统的隐私保护效率，符合如下要求：

a)应支持联邦学习满足6.3.11.1的要求；

b)应提供模型加密组件满足6.3.11.2的要求；

c)宜提供模型隐私安全评估方案示例，支持模型的隐私安全保护效果评估。

6.2.2透明性

机器学习框架提供组件，提升机器学习系统的透明性，符合如下要求：

a)应支持机器学习模型训练过程标量信息的采集和记录，包括但不仅限于计算图、损失值、学习

率、参数权重；

5

T/CESAXXXX-2020

b)宜提供对比看板可视化展示a)中采集的信息随着模型训练过程的变化情况；

c)应支持以可视化的方式观测模型结构；

d)宜支持交互式组件，用于模拟数据分布、参数调整对模型推理结果及算法库的作用及影响。

6.2.3公平性

机器学习框架提供组件，保障机器学习系统的公平性，符合如下要求：

a)应提供数据分布分析组件，支持用于机器学习任务的数据集分布的分析及不必要的偏见纠正；

b)宜具备对数据集规模、均衡性探索性分析和预处理组件；

c)如支持数据标注，应提供标注情况分析组件，用于发现标注等环节是否存在缺乏公平、包含偏

见与歧视，并具备标注纠正能力。

6.2.4可靠性

机器学习框架提供组件，保障机器学习系统的可靠性，符合如下要求：

a)应提供接口支持监控机器学习任务运行时状态，包括但不仅限于模型网络结构和参数、损失函

数值、过程执行时间；

b)应提供机器学习系统失效的校验和恢复提示，包括：

1)数据处理失败分析；

2)编译失败分析；

3)运行期异常处理；

4)模型中间表达完整性校验；

c)应提供机器学习模型可靠性测试组件，支持面向模型的故障模拟，如比特位翻转；

d)宜提供机器学习模型容错性、鲁棒性的度量评估及增强范式；

e)应提供故障恢复组件，具备6.3.4中提到的备份能力，故障排除后能支持利用备份恢复训练。

6.2.5可问责性

机器学习框架提供组件，保障机器学习系统的可问责性，符合如下要求：

a）应能获取并保留机器学习任务处理过程的日志，满足6.3.5a)，b)，c)的要求，为监管方提供

责任界定依据；

b）宜能提供溯源组件，满足6.3.5f)的要求，以支撑应用机器学习框架过程中产生的监管规定未

涉及的责任界定问题，通过其他形式明确相关责任界定；

c）机器学习框架提供方应明确相关组织监管、处理机器学习框架的相关功能带来的各种潜在危

害，包括对包含随机处理操作的计算单元通过注释或说明文档进行说明等。

6.3关键技术要求

6.3.1可解释性

6.3.1.1模型构建及训练组件

提升机器学习系统可解释水平增强效率，模型构建与训练组件，符合如下要求：

a)应提供数据批处理工作流模板，支持集成第三方可视化组件（如：matplotlib），保障用户手

动实现数据分布统计及可视化解释；

b)应提供基础的模型构建块（如：卷积神经网络单元、softmax函数等）并提供模型结构参数设

置接口，支持用户自定义修改；

c)宜提供模型构建过程自动分析可视化组件，包含：

6

T/CESAXXXX-2022

1)数据分布可视化，支持训练样本特征分布的自动化分析并展示分析结果；

2)模型计算图可视化，提供包括模型结构及训练过程数据流向的可视化解释；

3)模型结构和性能关系分析，提供模型训练过程中模型结构变化的可视化解释；

4)采集6.2.2的数据后，自动可视化展示相关内容。

6.3.1.2模型推理及部署组件

增强机器学习推理过程及结果的可解释水平，模型推理及部署组件，符合如下要求：

a)应提供包括但不仅限于模型预构建层输出、内部计算特征、反向梯度模型信息获取单元，支持

用户手动实现推理结果可解释；

b)应提供解释的有效性评估，支持以下评估指标：

1)忠实度：随着解释方法筛选出的重要特征和模型置信度的变化分布相似性，相似越高则可

信度越高，如：NaiveFaithfulness、DeletionAUC、InsertionAUC等；

2)定位性：重要特征区域和GroundTruth的重合度，重合度越高则解释方法的定位性越好，

如：PointingGame、IoSR；

3)分类敏感性：影响不同类别输出样例的对象特征的差异，差异越大则解释方法敏感度越好；

4)抗扰动性：解释结果在输入进行轻微扰动后的变化程度，变化越小解释方法抗扰动性越好。

6.3.1.3机器学习算法库

机器学习算法库，符合如下要求：

a)应具备数据特征分析算法；

b)宜具备模拟数据生成算法，支持基于数据特征分布的模拟数据生成；

c)应具备可解释算法，包括：

1)面向梯度的白盒可解释算法，如：Gradient、GradCAM、GuidedBackprop、Deconvolution、

IntegrateGradient、SHAPGradient等；

2)面向样本扰动的黑盒可解释算法，如：Occlusion、RISE、RISEPlus、LIME、SHAPKernel

等；

3)面向关系图路径及权重的可解释算法，如：TB-Net等；

4)面向业务逻辑约束的可解释算法，如：反事实可解释算法等。

6.3.2鲁棒性

6.3.2.1模型构建及训练组件

提升机器学习模型鲁棒性增强效率，模型构建及训练组件，符合如下要求：

a)应提供支持用户手动实现面向模型鲁棒性增强的数据处理算法（如：施加自然扰动，生成对抗

样本等）的开发流程模板，包括提供对抗攻击模拟流程模板和对抗样本生成模板；

b)应支持对样本施加自然扰动并提供开发者调用接口，支持施加的扰动包括：

1)仿射变换类扰动，包括但不限于图像平移、缩放、旋转、透视变换、曲线变换；

2)模糊类扰动，包括但不限于高斯模糊、运动模糊、梯度模糊；

3)亮度扰动，包括但不限于对比度调整、图片亮度渐变调整；

4)遮掩扰动：如图像部分被遮掩住的情况；

c)宜支持施加的扰动包括：

1)风格迁移扰动：包括但不限于将图像改为素描、油画等风格。

2)环境干扰：包括但不限于雨、雪、雾、霜等天气环境对图像的影响。

7

T/CESAXXXX-2020

d)应提供数据处理接口向训练样本施加常见的噪声扰动，包括均匀噪声、高斯噪声、椒盐噪声、

自然噪声等；

e)应提供模型信息获取接口，支持获取包括：

1)计算单元的输入输出；

2)单步训练迭代的损失；

3)梯度；

f)应提供对抗训练开发流程模板，包括：

1)提供定义了生成对抗样本的使用接口的基类，其子类实现了具体的生成算法；

2)提供定义了对抗训练使用接口的基类，其子类实现了具体的对抗训练算法；

3)提供定义了使用对抗样本检测接口的基类，其子类实现了具体的检测算法。

6.3.2.2模型推理及部署组件

提升机器学习任务鲁棒性增强效率，模型推理及部署模块，符合如下要求：

a)应提供概念漂移检测组件，具备数据分布外自动检测能力；

b)应提供对抗攻击效果评估工作流模板，对抗效果评估和防御效果评估；

c)宜提供对抗攻击效果评价指标，包括但不限于对抗类的平均置信度、真类的平均置信度；

d)宜提供对抗攻击防御效果评估指标，包括但不限于以下类别：

1)通用防御，如：分类精度方差（CAV），分类置信度方差（CCV），分类校正率（CRR），

分类校正比（CSR），分类输出稳定性（COS）；

2)反黑盒攻击防御指标，如：攻击成功率方差（ASV），基于查询的检测器假正率（FPR），

查询计数方差（QCV），良性查询响应时间方差（QRV）等。

e)应支持对抗样本监测，定义了对抗样本检测的使用接口；

6.3.2.3机器学习算法库

机器学习算法库，符合如下要求：

a)应提供对抗样本生成算法包，包含但不限于：

1）白盒攻击算法，如：FGSM、RFGSM、FGM、LLC、BIM、MIM、PGD、C&W、DeepFool、JSMA等；

2）黑盒攻击算法，如：LBFGS、GeneticAttack、HopSkipJumpAttack、NES、PointWiseAttack、

PSOAttack、SaltAndPepperAttack等；

b)应提供多种对抗样本检测算法，如：重构误差评估算法（ErrorBasedDetector），概率发散评

估算法（DivergenceBasedDetector），基于区域特征的评估算法（Regionbaseddetector），

基于空间平滑的检测算法（SpatialSmoothing）等。

6.3.3可泛化性

6.3.3.1模型构建及训练组件

提升机器学习系统泛化性增强效率，模型构建及训练组件，符合如下要求：

a)应提供和类型无关的数据处理开发流程模板，支持用户自定义或集成三方数据增强组件，实现

图像数据、文本数据及音频数据的增强和处理；

b)应提供开发流程模板，支持用户自定义实现数据增强算法，如自定义分词器，应用至训练样本

以提升模型泛化性。

6.3.3.2机器学习算法库

8

T/CESAXXXX-2022

机器学习算法库，符合如下要求：

a)应提供图像数据增强算法，包括但不仅限于：

1）图像剪裁：中心区域剪裁、指定区域剪裁、随机区域剪裁；

2）根据均值和标准差对输入图像进行变化：归一化处理，填充额外通道；

3）图像变换：随机调整图像颜色、随机减少颜色通道；

b)应提供分词算法Jieba、SentencePiece、N-gram等，并提供封装接口支持用户调用；

c)应提供音频数据的增强算法，包含：

1）音频信号滤波算法，包括但不限于带通滤波器、带阻滤波器、全通滤波器及低通滤波器；

2）音频信号频域时域施加掩码；

3）音频信号的频域缩放。

6.3.4备份

提升机器学习系统的备份能力，模型训练与构建组件，符合如下要求：

a）应提供模型保存接口，支持在执行训练任务时，定期或按照用户自定义策略实施模型保存；

b）如支持分布式并行，应支持分布式环境下的模型保存和加载，包括：

1)保存分布式环境下的恢复训练必要的模型结构和权重；

2)解析模型切分信息，按照分布式环境，弹性加载分布式模型，恢复训练。

c）备份的模型文件宜支持与机器学习框架无关的模型表示格式。

6.3.5可追溯性

6.3.5.1模型构建及训练组件

提升机器学习系统可追溯能力，模型构建与训练组件，符合如下要求：

a)应提供日志组件，具备用户手动记录训练样本数据增强、模型训练及推理过程的能力；

b)应提供日志自动采集组件，具备模型训练及推理样本的可追溯能力；

c)应支持训练日志持久化存储；

d)应支持历史记录，如训练日志等的自动发现及解析；

e)应提供可视化套件，支持自动采集分析训练任务的如下状态：

1)迭代间隙耗时：迭代开始时等待训练数据的耗时；

2)计算耗时：模型迭代训练中前向传播及反向传播的计算耗时；

3)迭代拖尾耗时：参数更新开始到下一次前向计算开始时的耗时；

f)宜提供训练及优化流程自动溯源套件，以可视化的方式提供模型训练信息可追溯，包括如下信

息：

1)数据信息：数据处理、训练样本数量、测试样本数量等；

2)模型基础信息：网络结构、损失函数、模型大小、优化器等；

3)模型性能信息：准确率（accuracy）、损失（Loss）等；

4)迭代信息：epoch、batchsize；

注：epoch为迭代轮次，batchsize为批处理的尺寸。

5)模型版本信息：版本编号等；

6)计算设备信息：计算设备数量等；

g)应支持模型训练过程信息的记录和保持，包括以下内容：

1)图编译过程的中间文件；

2)预定义模型构建块计算中间文件；

9

T/CESAXXXX-2020

3)基本计算单元的输入输出数据；

h)应支持集群迭代时延信息记录，包括单卡计算耗时等，宜支持可视化展示；

i)应支持计算图监测点堆栈信息保存与导出。

6.3.5.2模型推理及部署组件

提升机器学习系统可追溯能力，模型推理与部署组件，符合如下要求：

a)应满足6.3.5.1a)-d)的要求；

b)应满足6.3.5.1h)和i)的要求。

6.3.6实时性

保障机器学习系统实时性，模型构建及训练组件，符合如下要求：

a)支持模型状态信息的实时监控，包括：损失函数、模型参数、动态调整参数；

b)支持训练过程中以epoch/step/自定义步长为间隔，显示模型的状态；

注：step为一次迭代，一般包括一次前向推理和反向传播。

c)支持实时查看计算图节点的中间计算结果。

6.3.7可控性

6.3.7.1模型构建及训练组件

保障机器学习系统可控性，模型构建及训练组件，符合如下要求：

a)应提供机器学习训练任务控制组件，符合如下要求：

1)提供回调机制；

2)支持step级的数据增强策略控制；

3)支持数据增强过程感知，用户可获取数据处理管道的相关信息，包括：当前epoch数、当

前epoch的step数、当前step数等；

4)宜提供跟随训练batch或epoch变化粒度，自动动态调整数据增强策略功能；

b)应支持捕获训练过程中的计算信息，包括但不限于以下信息：

1)正向传播计算时，传入预构建模型计算单元的数据；

2)神经网络模型网络节点的梯度；

3)反向传播计算时，关联的梯度；

c)应支持模型训练任务的控制，符合如下要求：

1)训练过程数据流向改变、网络结构改变；

2)训练过程的控制，包括训练暂停、断点恢复、训练中止；

3)支持用户自定义训练中止条件，包括但不限于：时间阈值、性能阈值；

4)支持用户在训练/推理的特定阶段，插入自定义的操作；

5)支持用户自定义反向传播计算函数，控制梯度计算过程；

6)在动态图模式下，控制框架计算单元在设备上运行模式（同步/异步）；

d)应提供机器学习训练任务调试组件，符合如下要求：

1)支持通过日志、告警或调试界面，在训练过程中设置监测点；

2)支持查看权重、损失曲线等参数及模型输出变化情况；

3)支持集合性能调测，采集包括但不仅限于：通信算子耗时、集群迭代轨迹、集群链路信息、

集群资源展示、通信与计算算子占比、多卡时间线展示；

4)支持在训练过程中同步可视化分析；

1

T/CESAXXXX-2022

5)支持基于训练过程中采集的数据离线分析。

6.3.7.2模型推理及部署组件

保障机器学习系统可控性，模型推理及部署组件，符合如下要求：

a)应提供面向机器学习模型的故障模拟组件，支持故障注入和模型容错性评估，包括如下要求：

1)提供模型故障模拟接口，模拟模型参数比特位翻转、反激活等故障；

2)提供容错性评估接口，支持自动评估故障模拟后的模型性能损失；

b)应具备面向深度神经网络模型的测试组件，提供神经元级别的测评指标，包括：

1)NeuronCoverage（NC）：神经元激活覆盖率（当神经元的输出大于阈值时，神经元被激

活）；

2)NeuronBoundaryCoverage(NBC)：神经元覆盖界限；

3)StrongNeuronActivationCoverage(SNAC)：超激活神经元覆盖率；

4)k-MultisectionNeuronCoverage(KMNC)：K分神经元覆盖率（神经元落在训练集输出范

围K等分间隔上的比例）。

6.3.8韧性

6.3.8.1模型构建及训练组件

保障机器学习系统韧性，模型构建及训练组件，符合如下要求：

a)使用混合精度时，应支持计算溢出检测，如混合精度计算时结果截断、反转等；

b)应支持溢出自动处理，无效输入数据的训练结果自动丢弃，同时训练精度满足最小SLA要求；

c)应支持断点续训，包括：

1)支持训练无法持续进行时，自动保存异常发生时的检查点文件；

2)支持部分故障的自动恢复，包括但不仅限于分布式机器学习系统的单加速器故障；

3)故障解除恢复训练任务满足最低SLA要求（见5.4a）；

4)面向无法自动恢复的故障，应能调用故障前自动保存的检查点文件恢复训练；

5)支持考虑断点续训失败场景，采取对应措施，防止在自动续训后可能的模型训练异常自动

覆盖了之前没有问题的检查点文件，导致整体训练失败。

6.3.8.2保障机器学习系统韧性，模型推理及部署组件应支持6.3.8.1a)-c)的要求。

6.3.9可复现性

保障机器学习任务的可复现性，模型构建及训练组件包含如下要求：

a)框架提供的随机种子应支持随机性固定操作；

b)应支持模型参数结构固定，包括超参固定和初始化权值固定。

6.3.10无偏性

6.3.10.1模型构建及训练组件

机器学习框架应具备迁移学习、强化学习支撑能力，支持开发运行针对模型非必要偏见控制的算法，

如偏见对抗学习算法等，模型构建及训练组件，符合如下要求：

a）应提供可用于迁移学习训练流程模板组件，包括：

1)具备预训练模型加载接口，支持面向backbone和head模型设置不同的加载方式；

2)支持冻结子模型，设置学习更新部分参数；

11

T/CESAXXXX-2020

b）应提供面向强化学习的开发组件，包括：

1)支持算法配置增强学习策略，隔离算法实现和部署细节；

2)提供存放智能体与环境交换的数据缓存工具；

3)支持对接多个的强化学习训练环境。

6.3.10.2机器学习算法库

机器学习算法库，符合如下要求：

a)具备偏见检测相关算法，包括：

1)面向数据集的偏见检测算法，如：样本属性、统计分布检测算法等；

2)面向模型性能变化的偏见检测算法，如：模型敏感度等性能精度检测等；

b)具备面向数据集的偏见控制算法，如：训练样本分层抽样、正则化、平衡算法等。

6.3.11信息安全

6.3.11.1模型构建及训练组件

保障机器学习系统信息安全，符合如下要求：

a)应提供差分隐私训练流程模板，包括：

1)提供差分隐私基类，用于执行模型训练流程；

2)支持设置差分隐私噪声；

3)提供差分隐私优化器；

4)提供差分隐私预算检测器，用于观测每次迭代中差分隐私预算变化；

b)应提供抑制隐私训练流程模板，通过去除模型中不重要的参数，降低通过模型逆向攻击获取原

始样本的风险，包括：

1)抑制隐私基类，用于执行模型训练过程；

2)抑制隐私监视器基类，用于执行模型参数置零操作；

c)应提供联邦学习组件；

d)联邦学习训练时，应支持数据安全及隐私保护，包括以下要求：

1)支持不小于2种局部差分隐私训练，包括局部差分隐私加噪、局部差分隐私SignDS；

2)支持基于多方安全计算（MPC）的安全聚合算法，在本地模型上云前加上秘密扰动。

e)宜支持纵向联邦，提供数据中间特征保护方案，如单比特量化、基于随机响应的差分隐私等，

使各参与方不直接分享中间特征完成机器学习任务；

f)宜提供纵向联邦学习流程模板，支持预训练大模型的跨域训练。

6.3.11.2模型推理及部署组件

保障模型推理、部署过程信息安全，符合如下要求：

a)应具备面向模型攻击模拟的模型安全测试组件：

1)提供攻击模拟工具，如：成员推理攻击等；

2)提供模型信息安全评测指标，如：隐私泄露程度等；

b)应提供模型加密解密组件：

1)支持部署前的加密，利用加密算法对参数文件或推理模型加密；

2)支持训练时加密，部署运行时自动解密；

c)应提供模型混淆组件，包括：

1)支持模型结构和权重的混淆；

1

T/CESAXXXX-2022

2)支持直接加载经混淆组件实施混淆模型的进行推理。

7测试方法

7.1通则

机器学习框架及其扩展包可信赖测试的实施：

a)框架功能应基于必要证据的检查，证据包含但不限于：

1)用户反馈或服务记录；

2)系统组成、说明书、技术文件、应用案例、自声明或其他任何具有证明效力的文件；

b)应按照5.3的要求及系统的功能，选择实施测试；

c)参考测试环境见附录B，测试系统架构见附录C。

7.2通用要求

7.2.1机器学习框架及其扩展包的可信赖通用要求测试，参照表2的对应关系，按照7.2.2规定的

操作实施，框架不具备测试集时，使用7.2.2提出的测试集。具备时，则使用机器学习框架提供的

测试集。

表2机器学习框架通用要求测试方法与技术要求的对应关系

测试类项技术要求测试方法

6.1.1a）7.2.2a），7.2.2b），7.2.2c)，7.2.2d)

功能安全6.1.1b）见表3中，6.3.11.1c)-f)对应的测试要求

6.1.1c）7.2.2a），7.2.2e）-k)

6.1.2a）7.2.2a），7.2.2l)-7.2.2o)

7.2.2a），7.2.2l)，7.2.2o)，7.2.2c)，

伦理符合性6.1.2b）

7.2.2p)

6.1.2c）7.2.2a），7.2.2q)-7.2.2t)

7.2.2按以下规定，实施机器学习框架技术要求测试：

a）确定部署的测试负载，见附录B.1，B.2或B.3，并按照负载配置测试环境；

b）机器学习框架配置安全保障组件，给出生效的组件列表；

c）按照框架组件说明生成并运行测试脚本，执行模型训练流程；

d）任务执行过程中，数据及模型应保持完整，未发生数据丢失、模型损坏的情况；

e）机器学习框架配置模型保存组件，给出生效的组件列表；

f）机器学习框架配置日志记录组件，给出生效的组件列表；

g）机器学习框架配置故障恢复组件，给出生效的组件列表；

h）应按组件说明完成模型保存和日志加载，不同阶段应随参数更新，保存不同的模型；

i）应按训练脚本设置记录下关键事件，包括但不仅限于模型结构更新、训练状态变化、模型保存；

j）按a)配置，运行机器学习任务，记录损失收敛曲线、预测准确率或其他业务指标；按机器学习

系统的适用性，根据测试系统，选择x)中规定的故障注入；

k）系统能够自动启动故障对应组件时，机器学习框架应能在SLA内，恢复到上次保存的检查点，

模型结构与保存检查点时一致；不能自动重新启动故障对应组件时，通过人工操作恢复系统后，

13

T/CESAXXXX-2020

应能通过框架提供的接口，手动加载模型恢复到上次故障发生前的检查点，损失收敛曲线、预

测准确率或其他业务指标应与故障发生前保持一致；

l）机器学习框架配置可视化组件，给出生效的组件列表;

m）机器学习框架配置信息采集，给出生效的组件列表；

n）应能采集到模型结构、数据流动和模型状态的日志记录；观测日志看到模型状态信息发生变化，

启动可视化组件并通过参数指定过程信息保存的文件目录，根据组件支持的访问方式（如IP和

端口号）访问可视化界面，观测到可视化图像随着记录信息同步发生变化；

o）机器学习框架配置数据分析，给出生效的组件列表；

p）在附录B.1给出的测试集上，应能看到和数据集分布一致的统计信息，并以可视化的方式展示；

q）机器学习框架配置可解释性组件，给出生效的组件列表；

r）机器学习框架配置对抗攻击模拟组件，给出生效的组件列表；

s）应能观察到对模型推理结果，输出解释内容，随着输入特征和模型结构的变化，应能观察到生

成的解释结果随之发生变化；

t）应能按照预期生成对抗样本，对抗模拟攻击前后，模型性能发生变化；

u）故障模拟，包括：

1)7.4.9g)规定的单节点故障；

2)7.4.9h)规定的分布式故障。

7.3核心特征要求

7.3.1机器学习框架及其扩展包的可信赖核心特征要求的测试，参照表3的对应关系，按照测试方法

对应章节规定的操作实施。框架不具备测试集时，使用测试方法中提出的测试集；否则按使用场景使

用机器学习框架提供的测试集。

表3机器框架核心特征要求与测试的对应关系

测试类项技术要求测试方法

6.2.1a）1）7.3.2a），7.3.2b），7.3.2c)，7.3.2d)

7.2.2e），7.2.2b），7.2.2f)，7.2.2g)，

6.2.1a）2)

7.2.2h)，7.2.2i)

隐私保护

7.3.2a)，7.3.2j)，7.3.2k)，7.3.2l)，7.2.2

6.2.1b）

m)，7.2.2n)，7.3.2o)

6.2.1c）7.3.2a)，7.3.2p)，7.3.2q)，7.3.2r)

7.3.3a），7.3.3b)，7.3.3c)，7.3.3d)，

6.1.2a）

7.3.3e)

7.3.3a），7.3.3b)，7.3.3c)，7.3.3f)，

透明性6.1.2b）

7.3.3d)，7.3.3e)，7.3.3g)，7.3.3h)

6.1.2c）7.2.2a），7.3.3i)，7.3.3j)，7.3.3k)

6.1.2d)7.2.2a），7.3.3l)，7.3.3m)，7.3.3n)

6.2.3a)7.3.4a)，7.3.4b)

公平性6.2.3b)7.3.4a)，7.3.4c)

6.2.3c)7.3.4d)

6.2.4a)7.3.5a)，7.3.5b)，7.3.5c)，7.3.5d)

可靠性

6.2.4b)7.3.5a)，7.3.5b)，7.3.5c)，7.3.5e)，7.3.5f)

1

T/CESAXXXX-2022

测试类项技术要求测试方法

6.2.4c)7.3.5a)，7.3.5b)，7.3.5c)，7.3.5g)

6.2.4d)7.3.5a)，7.3.5b)，7.3.5c)，7.3.5i)

6.2.4e)7.3.5a)，7.3.5b)，7.3.5c)，7.3.5j)

6.2.4f)7.3.5k)

7.5.5a)，7.5.5b)，7.5.5c)，7.5.5e)，7.5.5

6.2.5a)

f)，7.5.5g)

可问责性7.5.5a)，7.5.5e)，7.5.5h)，7.5.5i)，7.5.5

6.2.5b)

j)

6.2.5c)7.3.6a)，7.3.6b)

6.3.8.1a)7.4.9a)，7.4.9b)

6.3.8.1b)7.4.9a)，7.4.9c)

韧性

7.4.9d)，7.4.9e)，7.4.9f)，7.4.9i)，7.4.9