标准征求意见稿-深度学习网络模型压缩与量化算法评估规范

SZROBOT

深圳市机器人协会团体标准

T/SZROBOT0004—2023

深度学习网络模型压缩与量化算法

评估规范

Assessmentspecificationfordeeplearningmodelcompressionandquantization

algorithms

点击此处添加与国际标准一致性程度的标识

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上

征求意见稿

2023/1/13

XXXX-XX-XX发布XXXX-XX-XX实施

深圳市机器人协会发布

T/SZROBOT0004—2023

前言

请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别专利的责任。

本标准由深圳市机器人协会提出并归口。

本标准起草单位：中国科学院深圳先进技术研究院、深圳海峰创新科技有限公司、深圳中电港

技术股份有限公司、浙江娃哈哈智能机器人有限公司、上海旋荣科技股份有限公司。

本标准主要起草人：陈世峰、卢毅、孟凡宇、蔡得领、王伟、王林、梅焕。

II

T/SZROBOT0004—2023

深度学习网络模型压缩与量化算法评估规范

1范围

本标准提出了人工智能深度学习网络模型压缩与量化算法的评估指标体系、评估流程，以及需

求阶段评估、设计阶段评估、实现阶段评估和运行阶段评估等内容。

本标准适用于指导深度学习算法开发方、用户方以及第三方等相关组织对深度学习网络模型压

缩与量化算法的可靠性开展评估工作。

注：在有相关的专用产品标准的情况下，产品标准优先于本标准。

2算法简介

2.1多模型压缩算法

多模型压缩技术，是在多个模型中，通过共享模型中的部分权重，达到多个模型参数量总和的

减少，实现多模型整体压缩的目的。该方法除了可以减少模型的存储空间，在计算过程中，当计算

单元在多个模型进行切换时，只需要读取模型中为共享部分的权重，减少需要读入的参数量，达到

节省带宽的目的。

2.2量化算法

量化压缩技术，其方法是利用给定的原始高精度复杂模型，将原始模型中参数θ的位宽由

高比特位表示（如32位浮点型），变为低比特位宽表示。在这一过程中，可以把量化看做模型权

Mb

重从连续空间到离散空间的一种映射关系。目标是找到q，满足在量化后模型准确性没有

明显损失的情况下，将b尽可能降低。在量化过程’中，可能需要涉及到网络参数的重训练，内部的

q:θ→θ

参数也将会发生变化。根据是否需要重训练，量化算法可以分为训练感知量化和训练后量化。其中，

训练感知量化算法需要完整的原始训练数据集对量化后的深度学习模型进行重新训练；训练后量化

算法仅需要少量的训练数据对量化的深度学习模型进行校准。

2.3剪枝算法

剪枝算法就是将预训练神经网络模型的权重按照给定的准则进行重要性先后排序，根据用户指

定的压缩率或加速比例，将网络中重要性较低的权值操作删除，删除后的模型可以表现出同样的模

型表达能力。通过剪枝算法可以得到速度更快、规模更小的神经网络模型，以此达到模型压缩的目

的。

3术语和定义

3.1可靠性reliability

在规定的条件下和规定的时间内，深度学习网络模型压缩与量化算法正确完成预期功能，且不

引起系统失效或异常的能力。

1

T/SZROBOT0004—2023

3.2可靠性评估reliabilityassessment

确定现有深度学习网络模型压缩与量化算法的可靠性所达到的预期水平的过程。

3.3算法失效algorithmfailure

算法丧失完成规定功能的能力的事件。

3.4危险hazard

深度学习网络模型压缩与量化算法发生算法失效，从而导致机器学习系统出现的一个非预期或

有害的行为，或者提交给其他与机器学习系统相关联的系统发生错误。

3.5危险严重性hazardseverity

某种危险可能引起的事故后果的严重程度。

3.6查准率precision

对于给定的数据集，预测为正例的样本中真正例样本的比率。

3.7查全率recall

对于给定的数据集，预测为真正例的样本占所有实际为正例样本的比率。

3.8准确率accuracy

对于给定的数据集，正确分类的样本数占总样本数的比率。

3.9响应时间responsetime

在给定的软硬件环境下，深度学习网络模型压缩与量化算法对给定的数据进行运算并获得结果

所需要的时间。

3.10BitOps

在给定的特定模型下，运行模型所需的bit操作的数目。

4评估指标体系

4.1评估指标体系表

基于深度学习网络模型压缩与量化算法可靠性的内外部影响考虑，结合用户实际的应用场景，

本标准给出了一套深度学习网络模型压缩与量化算法的可靠性评估指标体系。本指标体系如图1所

示，共包含5个一级指标和16个二级指标。在实施评估过程中，应根据可靠性目标选取相应的评

估指标。

2

T/SZROBOT0004—2023

图1深度学习网络模型压缩与量化算法评估体系表

4.2算法功能实现的正确性

用于评估深度学习网络模型压缩与量化算法实现的功能是否满足要求，应包括但不限于下列内

容：

a)任务指标：用户可以根据实际的应用场景选择任务相关的基本指标，用于评估算法完成功

能的能力；

3

T/SZROBOT0004—2023

示例：分类任务中的查准率（见3.6）、查全率（见3.7）、准确率（见3.8）等；语音识别任务中的

词错误率、句错误率等；目标检测任务中的平均正确率等；算法在使用中错误偏差程度带来的影响等。

b)指标损失度:深度学习网络模型压缩与量化算法会对原始深度学习模型的任务指标造成损

失，用户可以根据实际的应用场景确定任务指标损失阈值；

c)响应时间（见3.9）。

4.3算法压缩实现的性能

用于评估深度学习网络模型压缩与量化算法的实际性能是否满足要求，应包括下列内容：

a)参数大小压缩比：指原始深度学习模型权重和激活参数所占用的字节数与经过压缩与量化

算法后所占用的字节数的比值；

b)计算复杂度加速比：指原始深度学习模型运行一次所需要的BitOps（见3.10）与经过压缩

与量化算法后所需要的BitOps的比值；

c)运行时内存压缩比：指原始深度学习模型运行时的内存占用量与经过压缩与量化算法后的

内存占用量的比值。

4.4量化训练数据集的影响

用于评估量化训练数据集带来的影响，应包括下列内容：

a)数据集均衡性：指数据集包含的各种类别的样本数量一致程度和数据集样本分布的偏差程

度；

b)数据集规模：通常用样本数量来衡量，大规模数据集通常具有更好的样本多样性；

c)数据集标注质量：指数据集标注信息是否完备并准确无误；

d)数据集污染情况：指数据集被人为添加的恶意数据的程度。

4.5软硬件平台依赖的影响

用于评估运行深度学习网络模型压缩与量化算法的软硬件平台对可靠性的影响，应包括下列内

容：

a)深度学习框架差异：指不同的深度学习框架在其所支持的编程语言、模型设计、接口设计、

分布式性能等方面的差异对深度学习网络模型压缩与量化算法可靠性的影响；

b)操作系统差异：指操作系统的用户可操作性、设备独立性、可移植性、系统安全性等方面

的差异对深度学习网络模型压缩与量化算法可靠性的影响；

c)运行时硬件架构差异：指不同的硬件架构及其计算能力、处理精度等方面的差异对深度学

习网络模型压缩与量化算法可靠性的影响。

4.6环境数据的影响

用于评估实际运行环境对算法的影响，应包括下列内容：

a)干扰数据：指由于环境的复杂性所产生的非预期的真实数据，可能影响算法的可靠性；

b)数据集分布迁移：算法通常假设训练数据样本和真实数据样本服从相同分布，但在算法实

际使用中，数据集分布可能发生迁移，即真实数据集分布与训练数据集分布之间存在差异

性；

c)野值数据：指一些极端的观察值。在一组数据中可能有少数数据与其余的数据差别比较大，

也称为异常观察值。

4

T/SZROBOT0004—2023

图2深度学习网络模型压缩与量化算法的可靠性评估流程

5评估流程

5.1概述

5

T/SZROBOT0004—2023

深度学习网络模型压缩与量化算法的可靠性评估流程如图2所示。包括确定可靠性目标、选

择评估指标、需求阶段的评估、设计阶段的评估、实现阶段的评估、运行阶段的评估及得出评估结

论这七个部分。

5.2确定可靠性目标

应运用以下步骤确定模型压缩与量化算法的可靠性目标：

a)场景分析

针对深度学习网络模型压缩与量化算法实现的功能，考虑发生算法失效从而导致软

件系统产生危险时，对其所处的运行环境与运行模式进行描述，既要考虑软件系统正确

使用的情况，也要考虑可能的不正确使用的情况。

b)危险分析

1)应通过多种途径开展有关深度学习网络模型压缩与量化算法失效的危险识别；如头脑

风暴、专家评审会、质量历史记录和软件失效模式和影响分析等技术识别深度学习网

络模型压缩与量化算法发生算法失效的危害；

2)应识别危险的后果；如对环境或人员是否有伤害、需要完成的任务是否有影响等；

3)危险事件应由运行场景和算法失效的相关组合确定；

4)应以能在深度学习网络模型压缩与量化算法所在的软件系统层面观察到的输出来定义

结果。

c)危险严重性等级评估

针对每一个算法失效，应基于确定的理由来预估潜在危险的严重性等级。危险严重性等

级（见表1）。

表1危险严重性等级

危险严重性等级描述

严重级算法失效导致系统任务的主要部分未完成，或对安全、财产、环境和业务等造成严重影响。

一般级算法失效导致系统完成任务有轻度影响，或对安全、财产、环境和业务等造成一般影响。

算法失效导致系统完成任务有障碍但能够完成，或对安全、财产、环境和业务等造成轻微影响

轻微级

或无影响。

危险严重性等级的评估可以基于对多个场景的综合性考虑，同时危险严重性等级的

确定应基于场景中有代表性的个体样本。

d)确定可靠性目标

根据算法失效的危险严重性等级，建立深度学习网络模型压缩与量化算法的可靠性

目标（见表2）。其中可靠性目标从高到低依次分为A、B、C三个级别。

表2深度学习网络模型压缩与量化算法的可靠性目标

可靠性目标可靠性目标说明危险严重性等级对应说明

6

T/SZROBOT0004—2023

A避免算法失效造成严重级危险严重级

B避免算法失效造成一般级危险一般级

C避免算法失效造成轻微级危险轻微级

5.3选择评估指标

不同可靠性目标的深度学习网络模型压缩与量化算法在各个阶段中选取的可靠性评估指标不

同，因此在面向算法的需求阶段、设计阶段、实现阶段和运行阶段的可靠性评估过程中应确定与之

对应的评估指标。具体选取规则见规范性附录A。

5.4评估准则

开展可靠性评估工作应遵守以下准则：

a)各阶段评估通过的准则应同时满足如下要求：

1)依据规范性附录A选取的某一级指标下的二级指标全部通过；

2)依据规范性附录A选取的某阶段的一级指标全部通过。

b)深度学习网络模型压缩与量化算法可靠性评估通过的准则应满足：面向算法需求阶段、

设计阶段、实现阶段及运行阶段四个阶段的可靠性评估均通过。

5.5各阶段评估

各阶段评估工作应满足：

a)面向深度学习网络模型压缩与量化算法的需求阶段、设计阶段、实现阶段、运行

阶段四个阶段实施评估活动；

b)通过当前阶段的评估是进入下一阶段评估的前提条件之一；

c)四个阶段的评估活动有完整的顺序关系；

d)各阶段评估活动的输入、关键活动及输出要求详见本标准第6至第9章；

e)各阶段可靠性评估结果均应以阶段评估报告的形式进行输出，其内容至少应包括

以下内容：

1)深度学习网络模型压缩与量化算法的可靠性目标；

2)开展可靠性评估的阶段名称；

3)针对算法在该阶段开展可靠性评估工作所选择的评估指标及针对评估指标的评估结

果；

4)该阶段的可靠性评估结果。

5.6评估结论

面向深度学习网络模型压缩与量化算法的需求阶段、设计阶段、实现阶段及运行阶段四个阶段

均通过评估，深度学习网络模型压缩与量化算法可靠性通过评估并达到目标要求；否则未通过评估。

6需求阶段的评估

6.1概述

7

T/SZROBOT0004—2023

深度学习网络模型压缩与量化算法需求阶段是通过调研和分析，理解用户和项目应用的功能、

性能等具体要求，最后确定算法应实现的功能性需求、非功能性需求和应满足的设计约束的阶段。

面向深度学习网络模型压缩与量化算法需求阶段的可靠性评估工作，指运用可靠性分析方法，

通过对算法功能实现的正确性，算法压缩实现的性能和软硬件平台依赖的影响等进行评估，以确定

算法的需求满足可靠性目标要求。

6.2前提条件

开展本阶段可靠性评估工作前至少应完成获取深度学习网络模型压缩与量化算法的可靠性目

标。

6.3输入

开展本阶段可靠性评估工作的输入至少应包括：

a)软件系统的需求说明书；

b)系统设计规范；

c)软硬件接口规范；

d)深度学习网络模型压缩与量化算法的需求；

e)深度学习网络模型压缩与量化算法的功能概念，包括其目标、功能、运行模式及

状态；

f)深度学习网络模型压缩与量化算法的运行条件与环境约束。

6.4关键活动

对应确定后的算法需求阶段的可靠性目标选取评估指标，并从以下关键活动中选取与评估指标

对应的关键活动，实施评估工作：

a)对算法功能实现的正确性进行评估：

1)分析需求阶段设定的任务指标要求是否影响可靠性目标；

2)分析需求阶段设定的指标损失度要求是否影响可靠性目标；

3)分析需求阶段设定的响应时间要求是否影响可靠性目标。

b)对软硬件平台依赖进行评估：

1)分析深度学习框架差异对算法带来的影响；

2)分析操作系统差异对算法带来的影响；

3)分析运行时硬件架构差异对算法带来的影响。

c)对算法压缩实现的性能进行评估：

1)分析模型参数大小压缩比要求对是否影响可靠性目标；

2)分析模型计算复杂度加速比是否影响可靠性目标；

3)分析模型运行时内存压缩比是否影响可靠性目标。

6.5输出

深度学习网络模型压缩与量化算法需求阶段的可靠性评估报告，评估报告要求见5.5e)。

7设计阶段的评估

8

T/SZROBOT0004—2023

7.1概述

深度学习网络模型压缩与量化算法的设计阶段是根据算法需求阶段得到的需求分析，设计出满

足设计约束并能够实现任务功能性需求、非功能性需求及相应的算法，并选取合适的训练数据集的

阶段。

面向深度学习网络模型压缩与量化算法设计阶段的可靠性评估工作，指运用分析或评审等方法，

对算法功能实现的正确性、算法压缩实现的性能和训练数据集的影响等进行评估，以确定算法的设

计满足可靠性目标要求。

7.2前提条件

开展本阶段可靠性评估工作前至少应完成：

a)深度学习网络模型压缩与量化算法需求阶段的可靠性评估工作；

b)深度学习网络模型压缩与量化算法的设计工作。

7.3输入

开展本阶段可靠性评估工作的输入至少应包括：

a)深度学习网络模型压缩与量化算法需求阶段的可靠性评估报告；

b)深度学习网络模型压缩与量化算法的可靠性评估目标；

c)深度学习网络模型压缩与量化算法的功能说明；

d)深度学习网络模型压缩与量化算法所在的软硬件系统的接口规范；

e)深度学习网络模型压缩与量化算法的训练数据集；

f)深度学习网络模型压缩与量化算法的设计说明。

7.4关键活动

对应确定后的算法可靠性目标选取评估指标，并从以下关键活动中选取与评估指标对应的关键

活动实施评估工作：

a)对算法功能实现的正确性进行评估：

1)分析设计完成后任务指标要求是否满足需求阶段设定的相应要求；

2)分析设计完成后指标损失度要求是否满足需求阶段设定的相应要求；

3)分析设计完成后响应时间要求是否满足需求阶段设定的相应要求。

b)对算法压缩实现的性能进行评估：

1)分析设计完成后模型参数大小压缩比要求是否满足需求阶段设计的要求；

2)分析设计完成后模型计算复杂度加速比是否满足需求阶段设计的要求；

3)分析设计完成后模型运行时内存压缩比是否满足需求阶段设计的要求。

c)对训练数据集进行分析：

1)分析训练数据集是否存在不均衡情况；

2)分析训练数据集规模是否满足训练需求；

3)分析训练数据集标注质量是否满足训练需求；

4)分析训练数据集是否受到污染。

9

T/SZROBOT0004—2023

7.5输出

深度学习网络模型压缩与量化算法设计阶段的可靠性评估报告，评估报告要求见5.5e)。

8实现阶段的评估

8.1概述

深度学习网络模型压缩与量化算法实现阶段是对算法设计阶段所设计的算法进行编程实现，包

括利用数据集对模型压缩与量化算法的开展训练、测试与验证等活动。

面向深度学习网络模型压缩与量化算法实现阶段的可靠性评估工作，指运用分析和测试等方法，

对算法功能实现的正确性、算法压缩实现的性能，训练数据集的影响及软硬件平台的影响等进行评

估，以确定算法的实现满足可靠性目标要求。

8.2前提条件

开展本阶段可靠性评估工作前至少应完成：

a)深度学习网络模型压缩与量化算法设计阶段的可靠性评估工作；

b)深度学习网络模型压缩与量化算法的实现工作。

8.3输入

开展本阶段可靠性评估工作的输入至少应包括：

a)深度学习网络模型压缩与量化算法需求阶段的可靠性评估报告；

b)深度学习网络模型压缩与量化算法设计阶段的可靠性评估报告；

c)深度学习网络模型压缩与量化算法的可靠性评估目标；

d)深度学习网络模型压缩与量化算法所在的软硬件系统的接口规范；

e)深度学习网络模型压缩与量化算法的训练数据集；

f)深度学习网络模型压缩与量化算法的设计说明；

g)深度学习网络模型压缩与量化算法的功能说明；

h)深度学习网络模型压缩与量化算法的源代码。

8.4关键活动

对应确定后的算法可靠性目标选取评估指标，并从以下关键活动中选取与评估指标对应的关键

活动实施评估工作：

a)对算法功能实现的正确性进行评估：

1)验证算法实现后的任务指标是否达到需求阶段设定的相应要求；

2)验证算法实现后的指标损失度是否达到需求阶段设定的相应要求；

3)验证算法实现后的响应时间是否达到需求阶段设定的相应要求。

b)算法压缩实现的性能的评估：

1)分析模型参数大小压缩比要求是否达到设定的需求；

2)分析模型计算复杂度加速比是否达到设定的需求；

3)分析模型运行内存压缩比是否达到设定的需求。

10

T/SZROBOT0004—2023

c)对训练数据集的影响进行分析：

1)分析数据均衡性对算法的影响；

2)分析数据集规模对算法的影响；

3)分析数据标注质量对算法的影响；

4)分析数据集污染情况对算法的影响。

d)对软硬件平台影响进行分析：

1)分析不同深度学习框架对算法的影响；

2)分析操作系统差异对算法的影响；

3)分析运行时硬件架构差异对算法的影响。

8.5输出

深度学习网络模型压缩与量化算法实现阶段的可靠性评估报告，评估报告要求见5.5e)。

9运行阶段的评估

9.1概述

深度学习网络模型压缩与量化算法运行阶段是在实际应用场景下运行包含模型压缩与量化算

法的软件系统的阶段。

面向深度学习网络模型压缩与量化算法运行阶段的可靠性评估工作，指针对实际运行环境使用

的数据进行分析，对算法功能实现的正确性、算法压缩实现的性能，软硬件平台的依赖影响和环境

数据的影响等进行评估，以确定算法的运行满足可靠性目标要求。

9.2前提条件

开展本阶段可靠性评估工作前至少应完成：

a)深度学习网络模型压缩与量化算法实现阶段的可靠性评估工作；

b)深度学习网络模型压缩与量化算法在目标运行环境中的部署工作。

9.3输入

开展本阶段可靠性评估工作的输入至少应包括：

a)深度学习网络模型压缩与量化算法的可靠性评估目标；

b)深度学习网络模型压缩与量化算法需求阶段的可靠性评估报告；

c)深度学习网络模型压缩与量化算法设计阶段的可靠性评估报告；

d)深度学习网络模型压缩与量化算法实现阶段的可靠性评估报告；

e)深度学习网络模型压缩与量化算法运行中使用的真实数据；

f)包含深度学习网络模型压缩与量化算法的软件系统。

9.4关键活动

对应确定后的算法可靠性目标选取评估指标，并从以下关键活动中选取与评估指标对应的关键

活动实施评估工作：

11

T/SZROBOT0004—2023

a)对算法功能实现的正确性进行评估：

1)验证算法运行时任务指标是否达到需求阶段设定的相应要求；

2)验证算法运行时指标损失度是否达到需求阶段设定的相应要求；

3)验证算法运行时响应时间是否达到需求阶段设定的相应要求。

b)算法压缩实现的性能对算法运行时的影响：

1)分析模型参数大小压缩比要求对算法带来的影响；

2)分析模型计算复杂度加速比对算法带来的影响；

3)分析模型运行内存压缩比对算法带来的影响。

c)软硬件平台依赖对算法运行的影响：

1)分析深度学习框架差异对算法带来的影响；

2)分析操作系统差异对算法带来的影响；

3)分析硬件架构差异对算法带来的影响。

d)分析环境数据对算法运行的影响：

1)分析环境干扰数据对算法运行的影响，可以参考以下几个方面：

•算法输入对象所处环境的复杂情况；

•算法输入对象自身环境的复杂情况；

•算法输入对象的传输过程的复杂情况；

•算法输入对象的数据产品的复杂情况。

2)分析数据集分布发生迁移对算法运行的影响；

3)分析野值数据对算法运行的影响。

9.5输出

深度学习网络模型压缩与量化算法运行阶段的可靠性报告，评估报告要求见5.5e)。

12

T/SZROBOT0004—2023

附录A

（规范性附录）

深度学习网络模型压缩与量化算法可靠性评估指标选取规则

表A.1给出了深度学习网络模型压缩与量化算法的可靠性评估指标的选取规则。针对不同级别的的深度学习网络模型压缩与量化算法可靠性目标开展相关评估活

动。

表A.1选取规则

评估指标

可

靠算法功能实现的正确性算法功能实现的性能量化数据集的影响软硬件平台依赖的影响环境数据的影响

阶

性

段参数计算运行数据数据深度数据

目指标数据数据操作硬件

标任务响应大小复杂时内集标集污学习干扰集分野值

损失集均集规系统架构

指标时间压缩度加存压注质染情框架数据布迁数据

度衡性模差异差异

比速比缩比量况差异移

A●●●●●●****●●●***

需求

B●●○●●○****●○○***

阶段

C●●○●○○****○○○***

A●●●●●●●●●●******

设计

B●●○●●○●●○○******

阶段

C●●○●○○●○○○******

注：“●”表示对于指定的深度学习网络模型压缩与量化算法可靠性目标，必须选择的二级指标；

“○”表示对于指定的深度学习网络模型压缩与量化算法可靠性目标，推荐选择的二级指标；

“*”表示不适用。

13

T/SZROBOT0004—2023

表A.1（续）

评估指标

可

靠算法功能实现的正确性算法功能实现的性能量化数据集的影响软硬件平台依赖的影响环境数据的影响

阶

性

段参数计算运行数据数据深度数据

目指标数据数据操作硬件

标任务响应大小复杂时内集标集污学习干扰集分野值

损失集均集规系统架构

指标时间压缩度加存压注质染情框架数据布迁数据

度衡性模差异差异

比速比缩比量况差异移

A●●●●●●**********

实现

B●●○●●○**********

阶段

C●●○●○○**********

A●●●●●●****●●●●●●

运行

B●●○●●○****●○○●●○

阶段

C●●○●○○****○○○●○○

注：“●”表示对于指定的深度学习网络模型压缩与量化算法可靠性目标，必须选择的二级指标；

“○”表示对于指定的深度学习网络模型压缩与量化算法可靠性目标，推荐选择的二级指标；

“*”表示不适用。

14

T/SZROBOT0004—2023

附录B

（资料性附录）

深度学习网络模型压缩与量化算法可靠性评估实施案例

表B.1给出人脸识别模型压缩与量化算法可靠性评估实施案例。

表B.1人脸识别模型压缩与量化算法可靠性评估实施案例

算法名称人脸识别模型压缩与量化

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。其通过摄像机或摄像头

采集含有人脸的图像或视频流，在图像中检测跟踪人脸，并在人脸数据库中进行人脸检索核实身份，

人脸识别闸机系统将传统闸机设备集成人脸识别能力，用户在闸机处提供人脸影像进行人脸抽取，

算法说明采集到的人脸进行云端人脸识别身份验证，闸机随识别验证结果做相应响应。该系统将应用于世博会的门

禁系统中。

任务指标高的模型通常参数量大，响应时间慢，运行时内存占用高，模型压缩与量化算法可以

在保证任务指标的情况下减少参数量，提高响应速度，减小运行时内存占用。

算法可靠性评估方☑开发方□用户方□第三方

确定深度学习网络模型压

第一阶段

缩与量化算法可靠性目标

部署端：

硬件设备：智能摄像头

操作系统：Linux

深度学习框架：paddlepaddle

算法运行条件

主机端：

硬件设备：GTX3090

操作系统：Ubuntu

深度学习模型量化框架：PaddleSlim

人脸识别算法：摄像头捕捉影像，对视频预处理，发送云端服务器

中部署的人脸识别算法。人脸识别首先判断视频帧中是否包含人脸，是

否存在遮挡。如果人脸正常，算法判断人的身份，如果算法判断的概率在

1.1场景分析

99%以上，将判断结果发送给闸机，否则提示工作人员协助。如果判断结果

为“准入”，打开人脸闸机。

模型压缩与量化算法：

1.取得现有的人脸识别深度学习模型，取得原始训练数据；

算法运行模式

2.在主机端加载人脸识别模型，对模型进行压缩与量化，得到压

缩后模型；

3.加载新模型，得到判断结果，评价结果的任务指标与性能；

如果指标与性能符合需求阶段设计的要求，使用新模型替换现有

的人脸识别模型，如果不符合需求阶段设计的要求，从设计阶段，实

现阶段分析问题重新进行模型压缩与量化操作，直到符合需求阶段设

计的要求，用新模型替换现有的人脸识别模型。

15

T/SZROBOT0004—2023

1.现有人脸识别算法可以运行，参数量较大，响应速度较慢。

2.可以取得现有人脸识别模型的原始训练数据。

正常运行场景

3.加载现有人脸识别算法，进行压缩与量化操作。

4.得到符合任务指标和性能指标的新模型。

1.量化环境软硬件和部署环境软硬件不同，使算法失效。

2.量化环境软硬件和部署环境软硬件不同，使算法任务指标和性能指

可预见的异常场景

标降低。

3.模型压缩与量化完成后任务指标和性能指标低于指标损失阈值。

算法失效序号算法失效说明识别方法

量化环境软硬件和部署环境软硬件不同导致失基于类似产品的历

1

效史情况

1.2危险分析量化环境软硬件和部署环境软硬件不同导致性基于类似产品的历

2

能降低史情况

模型压缩与量化完成后任务指标和性能指标低基于类似产品的历

3

于指标损失阈值史情况

算法失效序号后果危险严重性等级

导致重要参会人员无法正常进入会场，需要现场

1.3危险严重性等级1工作一般

评估人员帮助

2导致进场速度降低一般

3导致进场速度降低一般

危险严重性等级说明可靠性目标

基于本人脸识别的算法会被应用到国际会议的门禁系统中。模型压缩与量化

1.4确定可靠性目标

可以提高人脸识别算法的任务指标与性能。算法失效可能导致:1.重要参会B

人员无法按时正常进入会场。2.进场速度降低，使现场混乱。

第二阶段选择可靠性评估指标

阶段名称选择的二级指标

查准率、查全率、准确率、指标损失度、响应时间、参数大小压缩比、计算复杂度加

需求阶段

速比、运行时内存压缩比、深度学习框架差异、操作系统差异、硬件架构差异。

查准率、查全率、准确率、指标损失度、响应时间、参数大小压缩比、计算复杂度加速比、

设计阶段

运行时内存压缩比、数据集均衡性、数据集规模、数据集标注质量。

2.1指标选择说明

实现阶段查准率、查全率、准确率、指标损失度、响应时间。

查准率、查全率、准确率、指标损失度、响应时间、参数大小压缩比、计算复杂度加

运行阶段速比、运行时内存压缩比、深度学习框架差异、操作系统差异、硬件架构差异、干扰

数据，数据集分布迁移、野值数据。

a)各阶段评估通过的准则应同时满足如下要求：

1)依据规范性选取的某一级指标下的二级指标全部通过。

2.2评估准则说明2)依据规范性选取的某阶段的一级指标全部通过。

b)深度学习网络模型压缩与量化算法可靠性评估通过的准则应满足：面向算法需求阶段、设计阶

段、实现阶段及运行阶段四个阶段的可靠性评估均通过。

16

T/SZROBOT0004—2023

第三阶段面向算法需求阶段的可靠性评估

软件系统的需求说明书：人脸识别系统需求说明书-V1.0

软件系统设计规范：人脸识别系统设计规范-V1.0

3.1输入说明软硬件接口规范：人脸闸机系统软硬件接口规范-V1.0

深度学习算法的需求说明书：人脸检测识别算法需求说明书-V1.0

深度学习网络模型压缩与量化算法的需求说明书：人脸识别模型压缩与量化需求说明书-V1.0

一级指标算法功能实现的正确性

名称评估工作评估结果

查准率阈值预计为99.9%以上，经专家评审和技术

查准率负责人确认满足需求；类似软件系统中的要求为☑通过□未通过

99%以上，达到相应要求。

查全率阈值预计为99.9%以上，经专家评审和技术

查全率负责人确认满足需求；类似软件系统中的要求为☑通过□未通过

99%以上，达到相应要求。

准确率阈值预计为99.9%以上，经专家评审和技术

二级指标

准确率负责人确认满足需求；类似软件系统中的要求为☑通过□未通过

99%以上，达到相应要求。

指标损失度要求低于5%，经专家评审和技术负

指标损失责人确认满足需求；类似软件系统中的要求为☑通过□未通过

低于5%，达到相应要求。

响应时间阈值预计为20ms以内，经专家评审和技

响应时间术负责人确认满足需求；类似软件系统中的要求为☑通过□未通过

50ms以内，达到相应要求。

3.2