《电力行业人工智能算法模型评测规范》

ICS35.240

L70

团体标准

T/XXXXXXXX—2020

电力行业人工智能算法模型

评测规范（征求意见稿）

DefectdetectionmodelevaluationspecificationforElectricPowerIndustry

2021-xx-xx发布2021-xx-xx实施

XXXX发布

1

T/XXXXXXXX—2020

前言

本文件按照GB/T1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规

则》的规定起草。

本标准由中电联（SAC/TC28）提出并归口。

本标准起草单位：国网甘肃省电力公司电力科学研究院,国家电网有限公司大数据中心,

国电南瑞科技股份有限公司深圳分公司，中国电力科学研究院有限公司,中国华电集团有限

公司甘肃分公司。

本标准主要起草人：XXX。

II

T/CESAXXXX—2020

电力行业人工智能算法模型评测规范

1.范围

本标准提出了人工智能面向电力行业的人工智能算法模型的评测方法、评测指标，以及

模型完备性评测、确定模型分类和模型任务、选择评价指标、选择测试数据集、单项评价指

标量化评估等内容。

本标准适用于指导面向电力行业人工智能算法模型开发方、用户方以及第三方等相关组

织对人工智能算法模型的模型资源、模型应用、模型性能、模型效率性、模型鲁棒性、模型

兼容性开展评估工作。

2.术语和定义

下列术语和定义适用于本文件。

2.1.正样本positivesample

期望正确分类或判定得到的类别所对应的样本。

2.2.负样本negativesample

模型集中除正样本以外的样本。

2.3.评测指标evaluationmetrics

在评测元素上用于评测模型质量及效果的统计值。

2.4.模型任务modeltask

基于特定技术与理论实现的模型服务。

2.5.接口interface

两个功能单元共享的边界，它由各种特征（如功能、物理互连、信号交互等）来定义。

2.6.模型文件modelfile

利用数据训练得到的能够描述模型网络结构和网络权重参数的文件。

3

T/CESAXXXX—2020

2.7.模型部署modeldeployment

根据提供的算法模型源文件、模型配置文件等，结合相应的开发语言、深度学习框架、

模型配置说明、运行依赖说明，手动完成运行框架、依赖环境安装和配置文件调整，实现算

法模型的成功部署，完成相应推理服务。

2.8.模型封装modelencapsulation

隐藏模型的属性和实现细节，仅对外公开接口，控制在程序中属性的读取和修改的访问

级别。

2.9.重合率adversarialexamples

对于给定的数据集，输出分类的样本框与正确样本框重合区域占正确样本框区域的比

例。

3.评测方法

评测方法及说明如下：

A)查阅材料：查阅技术规格说明、外部评估报告、设计文档、开发文档、用户文档、

管理文档、产品检测报告等相关材料；

B)查看系统：查看模型部署后系统运行日志、配置文件、参数设置、产品版本、网络

配置等；

C)访谈人员：与被测系统或产品有关人员进行交流、讨论等活动，获取相关证据，了

解有关信息；

D)攻击测试：利用专业攻击方法，对模型进行攻击，分析攻击结果，获取证据以证明

系统的安全性是否得以有效实施；

E)模型测试：基于电力场景样本数据，通过模型对目标变量进行预测，将预测出的结

果和目标变量真实值进行比对并计算相应的算法评估指标；

F)查看模型：查看代码、样本数据、训练数据等。

4.评测指标

4.1.模型资源

4.1.1.模型元信息

模型元信息应包括模型名称、模型大小、模型版本、模型开发框架、模型运行参数等信

息，模型元信息应包含附录A.3要求的各属性。模型元信息的模型摘要中应说明模型的场景

类别和任务类别。

4

T/CESAXXXX—2020

4.1.2.模型封装

模型应采用模型文件、模型服务程序或模型镜像形式进行模型封装，具体要求如下：

A)模型文件应包含算法模型源文件和算法模型配置文件，应符合《Q/GDW

12118.1—2021人工智能平台架构及技术要求》中算法模型源文件和算法模型配置文件的要

求，应支持tar和zip压缩格式，大小不宜超过2GB；

B)模型服务程序通常通过web框架技术提供交互式服务，应支持压缩格式，大小不宜

超过5GB;

C)模型容器应包含但不限于操作系统、环境依赖、配置文件、模型推理服务文件、模

型网络结构文件、模型权重文件、服务启动文件等内容，应支持tar格式，大小不宜超过5GB。

4.1.3.技术规格说明文档

技术规格说明文档应包含适配环境、部署方式、使用方式、性能规格、更新方式、更新

日志、安全说明等技术规格信息。要求如下：

A)适配环境应明确模型适配的云、边、端软硬件环境，包含模型推理运行依赖的软件

环境（如操作系统、显卡驱动、CUDA库、容器引擎）与版本号、最低硬件配置、推荐硬件

配置、可支持的计算加速硬件列表等软硬件要求；

B)部署方式应明确模型部署步骤，便于使用者进行使用；

C)使用方式应明确模型使用方式，例如运行模型的命令、运行脚本或模型服务调用接

口的定义；

D)性能规格应明确模型在性能评价所达到的指标；

E)更新方式应明确模型版本更新所采用的更新步骤说明，指导模型维护人员进行模型

版本更新；

F)更新日志应明确模型不同版本之间的差异；

G)安全说明应明确当模型接受并且使用来自不可信数据源的输入时，有明确的处理措

施防止出现安全漏洞问题。

4.2.模型应用

4.2.1.模型接口

部署后的模型应符合《Q/GDW12118.1—2021人工智能平台架构及技术要求》中的规定

对外提供接口，接口应采用json格式与https协议。具体要求如下：

A)请求参数应包含请求程序的ID和使用的模型推理管线名称。模型所提供的服务按照

模型自身任务类型应包含如下请求参数：

1)图像识别模型所提供服务的请求参数应包含图像数据或图像输入输出路径；

2)视频识别模型所提供服务的的请求参数应包含视频数据、视频输入输出路径或

实时视频流地址。

B)响应参数应包含状态编码、结果产生时间。模型所提供的服务应按照模型自身任务

类型给出不同的响应结果。要求如下：

1)图像分类应输出类别、置信度等；

5

T/CESAXXXX—2020

2)目标检测应输出检测框的坐标、类别、置信度等；

3)图像分割应输出分割图等；

4)视频分类应输出类别、置信度等；

5)行为检测应输出行为起始和结束时间、类别、置信度等；

6)目标跟踪应输出目标在视频序列中的坐标信息。

4.2.2.模型部署

模型部署具体要求如下：

A)模型文件、模型服务程序、模型镜像的部署应分别采用模型文件部署、应用程序部

署、镜像部署的形式；

B)模型在人工智能平台运行环境部署时应使用模型库的模型部署功能，在边侧、端侧

的部署时宜使用模型库的多级协同功能；

C)模型在人工智能平台运行环境部署时，对计算资源的需求宜符合《Q/GDW

12118.1—2021人工智能平台架构及技术要求》中对平台硬件的要求；

D)模型文件应通过深度学习框架的服务部署库封装为模型服务后进行部署，服务部署

库包括但不限于TensorflowServing、TorchServe、PaddleServing；

E)模型文件部署前可选择根据设备的架构、配置及业务需求进行模型转换及压缩。

4.2.3.模型集成

.云模式下业务集成

模型以云模式的方式与各业务系统集成结构如图1所示，模型宜按需部署在人工智能平

台，业务系统直接向模型发送识别请求并获取识别结果。

图1模型与业务系统的云模式集成结构

6

T/CESAXXXX—2020

边端模式下业务集成

模型以边端模式的方式与本地业务应用集成结构如图2所示，模型宜按需部署在智能边

缘设备和其它智能终端，本地业务应用向边端设备下达指令，智能终端的识别结果反馈至本

地业务应用。

图2模型与业务的边端模式集成结构

4.3.模型性能

4.3.1.正确率

评价要素内容如下：

A)模型分类结果正确的样本数量占总样本数量的比例；

B)表征模型分类正确水平，正确率越高，模型分类结果越正确。

计算方法：正确率计算方法见附录A.1.1。

4.3.2.准确率

评价要素内容如下：

A)模型分类结果正确的正样本数量占分类结果中所有正样本数量的比例；

B)表征模型分类正样本查准水平，准确率越高，模型正样本分类越准确。

计算方法：准确率计算方法见附录A.1.2。

4.3.3.召回率

评价要素内容如下：

A)模型分类结果正确的正样本数量占测试集中所有正样本数量的比例；

B)表征模型分类正样本查全水平，召回率越高，模型分类正样本识别越完整。

计算方法：召回率计算方法见附录A.1.3。

7

T/CESAXXXX—2020

4.3.4.平均精度

评价要素内容如下：

A)以准确率为纵轴、召回率为横轴绘制的曲线下面积；

B)表征模型查准和查全的综合水平，平均精度越高，模型查准和查全的综合性能越好。

计算方法：平均精度计算方法见附录A.1.4。

4.3.5.平均正确率

评价要素内容如下：

A)评价模型执行多标签分类任务的性能；

B)模型分类结果中各分类正确的样本数量占该类样本总数量的比例均值；

C)表征模型分类的平均正确水平，平均正确率越高，模型分类越正确。

计算方法：平均正确率计算方法见附录A.1.5。

4.3.6.平均准确率

评价要素内容如下：

A)评价模型执行多标签分类任务的性能；

B)模型分类结果中各分类正确的正样本数量占分类结果中该类正样本数量的比例均

值；

C)表征模型分类的平均查准水平，平均准确率越高，模型正样本分类越准确。

计算方法：平均准确率计算方法见附录A.1.6。

4.3.7.平均召回率

评价要素内容如下：

A)评价模型执行多标签分类任务的性能；

B)模型分类结果中各类分类正确的正样本数量占测试集中该类正样本数量的比例均

值；

C)表征模型分类的平均查全水平，平均召回率越高，模型正样本识别越完整。

计算方法：平均召回率计算方法见附录A.1.7。

4.3.8.平均精度均值

评价要素内容如下：

A)评价模型执行多标签分类任务的性能；

B)模型分类结果中各类标签平均精度的平均值；

C)表征模型分类查准和查全的综合水平，平均精度均值越高，模型在查准和查全的综

合性能越好。

计算方法：平均精度计算方法见附录A.1.8。

8

T/CESAXXXX—2020

4.3.9.平均交并比

评价要素内容如下：

A)评价模型执行图像分割任务的性能；

B)图像分割结果中各预测区域和标准区域交并比的平均值；

C)表征图像分割的准确程度，平均交并比越高，模型对图像分割越准确。

计算方法：平均交并比计算方法见附录A.1.9。

4.3.10.视频帧准确率均值

评价要素内容如下：

A)评价模型执行行为检测任务的性能；

B)模型对视频以帧为单位进行行为标记；

C)模型各类标记结果正确的视频帧数占标记结果中该类视频帧总数的比例均值；

D)表征模型对视频帧行为检测的平均查准水平，视频帧准确率均值越高，模型对视频

帧检测越准确。

计算方法：视频帧准确率均值计算方法见附录A.1.10。

4.3.11.视频片段准确率均值

评价要素内容如下：

A)评价模型执行视频分类任务的性能；

B)模型对视频以片段为单位进行分类标记；

C)模型标各类标记结果正确的视频片段数占标记结果中该类视频总数的比例均值；

D)表征模型对视频片段分类的平均查准水平，视频片段准确率均值越高，模型对视频

片段检测越准确。

计算方法：视频片段准确率均值计算方法见附录A.1.11。

4.3.12.成功率曲线下面积

评价要素内容如下：

A)评价模型执行单目标跟踪任务的性能；

B)以模型准确率为纵轴，1减去准确率的值为横轴，绘制成功率曲线，计算曲线下面

积；

C)评价模型将正样本判断为正样本的可能性大于判断为负样本的可能性的概率；

D)表征模型对正样本分类正确的概率，成功率曲线下面积越大，模型对正样本分类正

确的概率越高。

计算方法：成功率曲线下面积计算方法见附录A.1.12。

4.3.13.平均重叠率

评价要素内容如下：

9

T/CESAXXXX—2020

A)评价模型执行单目标跟踪任务的性能；

B)模型对视频各帧预测区域和标准区域交并比的均值；

C)表征模型对目标跟踪的准确率，平均重叠率越高，模型对目标跟踪越准确。

计算方法：平均重叠率计算方法见附录A.1.13。

4.3.14.期望平均重叠率

评价要素内容如下：

A)评价模型执行单目标跟踪任务的性能；

B)模型从最小视频帧长至最大视频帧长检测结果中，各视频帧序列的平均重叠率均值；

C)表征模型对目标跟踪的准确率与稳定性，期望平均重叠率越高，模型对目标跟踪在

准确率与稳定性方面性能越好。

计算方法：期望平均重叠率计算方法见附录A.1.14。

4.3.15.平均像素误差

评价要素内容如下：

A)评价模型执行单目标跟踪任务的性能；

B)模型预测区域和标准区域中心位置的像素距离均值；

C)表征模型对目标跟踪的偏离程度，平均像素误差越低，模型对位置预测越准确。

计算方法：平均像素误差计算方法见附录A.1.15。

4.3.16.多目标跟踪准确度

评价要素内容如下：

A)评价模型执行多目标跟踪任务的性能；

B)模型多目标识别结果中错误识别次数、漏识别次数及目标切换次数之和与真实目标

总数的比例；

C)表征模型对多目标跟踪的准确程度，多目标跟踪准确度越高，模型对多目标跟踪越

准确。

计算方法：多目标跟踪准确度计算方法见附录A.1.16。

4.3.17.多目标跟踪精确度

评价要素内容如下：

A)评价模型执行多目标跟踪任务的性能；

B)模型多目标识别结果中各目标预测区域和标准区域的交并比之和与标准区域总数的

比例；

C)表征模型对多目标跟踪的精确程度，多目标跟踪精确度越高，模型对多目标的跟踪

越精确。

计算方法：多目标跟踪精确度计算方法见附录A.1.17。

10

T/CESAXXXX—2020

4.3.18.决定系数

评价要素内容如下：

A)评价模型执行数值回归任务的性能；

B)模型预测结果中标准值和平均预测值之差的平方和为回归平方和；

C)模型预测结果中标准值和预测值之差的平方和为总偏差平方和；

D)决定系数为1减去回归平方和与总偏差平方和的比值；

E)表征模型在数值回归任务中解释因变量变化的能力，决定系数越高，因变量变化通

过模型能被自变量解释的比例越高。

计算方法：决定系数的计算方法见附录A.1.18。

4.3.19.兰德系数

评价要素内容如下：

A)评价模型执行数值聚类任务的性能；

B)评价模型聚类结果中和标准集一致的数据对的数量与聚类结果数据对总数的比例；

C)表征模型在数值聚类任务中聚类结果的匹配水平，兰德系数越高，模型的聚类结果

越匹配。

计算方法：兰德系数的计算方法见附录A.1.19。

4.3.20.调整兰德系数

评价要素内容如下：

A)评价模型执行数值聚类任务的性能；

B)模型聚类结果中，兰德系数和期望兰德系数之差与最大期望兰德系数和期望兰德系

数之差的比例；

C)表征模型在标准集和聚类结果中分类随机分布的条件下聚类结果的匹配水平，调整

兰德系数越高，模型的聚类结果越匹配。

计算方法：调整兰德系数的计算方法见附录A.1.20。

4.4.模型效率性

4.4.1.磁盘占用膨胀率

评价要素内容如下：

A)评价模型判定后占用的磁盘存储量增加的比例；

B)表征模型判定过程附加的存储消耗量，磁盘占用膨胀率越小，模型存储空间占用越

少。

计算方法：磁盘占用膨胀率计算方法见附录A.2.1。

11

T/CESAXXXX—2020

4.4.2.内存使用率

评价要素内容如下：

A)评价模型开销的内存量占内存总量的比例；

B)表征模型的内存开销量，内存使用率越小，模型内存使用越少。

计算方法：内存使用率计算方法见附录A.2.2。

4.4.3.响应时间

评价要素内容如下：

A)在给定的软硬件环境下，模型对给定的数据进行运算并获得结果所需要的时间；

B)表征模型解决任务所消耗的时间，模型响应时间越小，模型响应越快。

计算方法：响应时间计算方法见附录A.2.3。

4.5.模型鲁棒性

评价要素内容如下：

A)评价模型在存在信号干扰或特征规律发生变化的测试数据集的性能指标，性能指标

选取规则见附录C；

B)表征模型对新样本的维持性能稳定的能力，鲁棒性指标越高，模型维持性能稳定的

能力越好。

计算方法：鲁棒性指标计算方法见附录A.3。

4.6.模型兼容性

评价要素内容如下：

A)评价模型文件源文件、模型配置文件符合《省侧人工智能平台软硬件适配规范》5.5

章节对应算法框架、源文件信息和模型文件格式要求；

B)评价模型协同应符合《人工智能平台多级协同规范》5.3.1节模型协同对应技术要求；

C)评价模型大小应符合《人工智能平台多级协同规范》7.5.2节模型格式和大小要求；

计算方法：兼容性指标计算方法见附录A.4

5.评估流程

5.1.概述

评估流程如图3所示，包括模型完备性评测、确定模型分类和模型、选择评价指标、选

择测试数据集、单项评测指标量化和整体评测效果这六个活动。

12

T/CESAXXXX—2020

图3人工智能算法模型评估流程

5.2.模型完备性评测

模型完备性主要包括模型资源、模型应用，评测要求如下：

A)根据4.1.1节内容，采用“查阅材料”、“查看模型”方法对模型元信息进行评测；

B)根据4.1.2节内容，采用“查阅材料”、“查看模型”方法对模型封装进行评测；

C)根据4.1.3节内容，采用“查阅材料”、“查看模型”方法对技术规格说明文档进行

评测；

D)根据4.2.1节内容，采用“查阅材料”、“模型测试”方法对模型接口进行评测，接

口输出格式见附录B.1；

E)根据4.2.2节内容，采用“查阅材料”、“查看系统”方法对模型部署进行评测；

F)根据4.2.3节内容，采用“查看系统”方法对模型集成进行评测；

5.3.确定模型分类和模型任务

确定模型分类和模型任务要求如下：

A)针对电力行业应用场景，采用“查看模型”、“查看系统”方法确定模型分类和任

务，模型分类、任务内容如下表：

序号模型分类模型任务

1输电应用

2变电应用图像分类、目标检测、图像分割、视频分类、行为检测、单目

3配电应用标跟踪、多目标跟踪

4安监违章应用

5用电应用

数值分类、数值回归、数值聚类

6营销应用

7调度应用数值分类、数值回归、数值聚类、目标检测

图像分类、图像分割、目标检测、视频分类、行为检测、单目

8其他

标跟踪、多目标跟踪、数值分类、数值回归、数值聚类

5.4.选择评价指标

选择评价指标要求如下：

A)根据模型任务类型确定相应的模型性能指标，见规范性附录C.1，模型效率性指标根

13

T/CESAXXXX—2020

据4.4章节，模型鲁棒性指标根据4.5章节，模型兼容性指标根据4.6章节。

5.5.选择测试数据集

测试数据集选择采用“查阅材料”、“查看系统”方法，要求如下：

A)测试数据集应与训练数据集具有互斥性；

B)测试数据集样本格式参照“中国电工技术学会团体标准T/CES129-2022《电力人工智

能平台样本规范》”；

C)测试数据集、鲁棒性测试数据集、训练数据集的比例宜为2：2：8；

D)鲁棒性测试数据集应包含但不限于模糊、含噪、复杂环境图片或视频样本;

E)测试数据集、鲁棒性数据集样本包含的各类别的样本数量宜相同。

5.6.单项评价指标量化

单项评价指标量化要求如下：

A)采用“模型测试”方法，根据本文件4.3章节，采用附录A.1.1-A.1.20量化模型性能，

其中公式中判断是否正确的依据是“输出框区域与标准框区域重合率IOU值大于规定阈

值（50%）且属性描述正确”；

B)采用“模型测试”方法，根据本文件4.4章节，采用附录A.2.1-A.2.3量化模型效率；

C)采用“模型测试”、“攻击测试”方法，根据本文件4.5章节，采用附录A.3量化模

型鲁棒性；

D)采用“查阅材料”方法，根据本文件4.6章节，采用附录A.4公式量化模型兼容性。

5.7.整体评测效果

根据上述步骤计算得到的单项评价指标值，对分析模型评价出具评价报告，详见资料性

附录D。

分析模型评价过程实施完毕后，将评价结果进行记录并存档，以便后续模型优化和推广

应用使用。评价结果记录详见附录D.1。

14

T/CESAXXXX—2020

附录A

（资料性附录）

电力人工智能模型评价指标计算方法

A.1性能指标

A.1.1正确率

正确率的计算方式见公式（A.1）：

（）（A.1）

AcTPcTN/cTPcTNcFPcFN

式中：

A——正确率；

——模型分类正确的正样本数量；

cTP

——模型分类成正类的负样本数量；

cFP

——模型分类正确的负样本数量；

cTN

——模型分类成负类的正样本数量。

cFN

A.1.2准确率

准确率的计算方式见公式（A.2）：

（A.2）

PcTP/cTPcFP

式中：

P——准确率；

——模型分类正确的正样本数量；

cTP

——模型分类成正类的负样本数量。

cFP

A.1.3召回率

召回率的计算方式见公式（A.3）：

（A.3）

RcTP/cTPcFN

式中：

R——召回率；

——模型分类正确的正样本数量；

cTP

——模型分类成负类的正样本数量。

cFN

A.1.4平均精度

平均精度的计算方式见公式（A.4）：

15

T/CESAXXXX—2020

1

（A.4）

VAPprdr

0

式中：

——平均精度；

VAP

pr——以准确率为纵轴、召回率为横轴绘制的曲线函数。

A.1.5平均正确率

平均正确率的计算方式见公式（A.5）：

M

V(1/M)（cc）/cccc（A.5）

MAi1TPiTNiTPiTNiFPiFNi

式中：

——平均正确率；

VMA

c——第i类分类结果中正确的正样本数量；

TPi

c——第i类分类结果中正确的负样本数量；

TNi

c——第i类分类结果中错误的正样本数量；

FPi

c——第i类分类结果中错误的负样本数量；

FNi

M——类别总数。

A.1.6平均准确率

平均准确率的计算方式见公式（A.6）：

M

V(1/M)c/cc（A.6）

MPi1TPiTPiFPi

式中：

——平均准确率；

VMP

c——第i类分类结果中正确的正样本数量；

TPi

c——第i类分类结果中错误的正样本数量；

FPi

M——类别总数。

A.1.7平均召回率

平均召回率的计算方式见公式（A.7）：

M

V(1/M)c/cc（A.7）

MRi1TPiTPiFNi

式中：

——平均召回率；

VMR

c——第i类分类结果中正确的正样本数量；

TPi

c——第i类分类结果中错误的负样本数量；

FNi

M——类别总数。

A.1.8平均精度均值

平均精度均值的计算方式见公式（A.8）：

16

T/CESAXXXX—2020

M

V(1/M)V（A.8）

MAPi1APi

式中：

——平均精度均值；

VMAP

V——第i类的平均精度；

APi

M——类别总数。

A.1.9平均交并比

平均交并比的计算方式见公式（A.9）：

1Mc

ii（A.9）

VMIOUMM

M1I0ccc

j0ijj0jiii

式中：

——平均交并比；

VMIOU

M——类别总数；

——属于第类，且被预测为第类的样本数量。

cijij

A.1.10视频帧准确率均值

视频帧精度均值的计算方式见公式（A.10）：

M

V(1/M)F/F（A.10）

framemAPi1detialli

式中：

——视频帧精度均值；

VframemAP

F——正确标签的第i类视频帧数量；

deti

——检测结果中第i类视频帧数；

Fall

M——类别总数。

A.1.11视频片段准确率均值

视频片段精度均值的计算方式见公式（A.11）：

M

V(1/M)I/I（A.11）

videomAPi1realialli

式中：

——视频片段精度均值；

VvideomAP

I——正确标签的第i类视频片段数；

reali

I——检测结果中第i类视频片段数。

alli

A.1.12成功率曲线下面积

成功率曲线下面积的计算方式见公式（A.12）：

M(M1)

rank

insipositiveclassinsi

V2（A.12）

AUCMN

式中：

17

T/CESAXXXX—2020

——成功率曲线下面积；

VAUC

rank——第i条视频的输出置信度排序序号；

insi

M——正样本数量；

N——负样本数量；

——正样本序号的序号。

insipositiveclass

A.1.13平均重叠率

平均重叠率的计算方式见公式（A.13）：

1QpreQtruth

ii（A.13）

VAOR

|S|QQ

ciScpreitruthi

式中：

——平均重叠率；

VAOR

——一段视频的帧数；

Sc

Q——预测区域；

prei

Q——标准区域。

truthi

A.1.14期望平均重叠率

期望平均重叠率的计算方式见公式（A.14）：

1

VV（A.14）

EAOAORS

NhighNlowNs{Nlow:Nhigh}

式中：

——期望平均重叠率；

VEAO

——视频帧序列最大帧长度；

Nhigh

——视频帧序列最小帧长度；

Nlow

——表示第S帧序列的帧长度；

Ns

V——表示第S帧序列的评价重叠率。

AORS

A.1.15平均像素误差

平均像素误差的计算方式见公式（A.15）：

1Sc

Vd（A.15）

APEpixeli

Sci1

式中：

——期望平均重叠率；

VAPE

——一段视频的帧数；

Sc

d——预测目标中心位置与真实位置的像素距离。

pixeli

A.1.16多目标跟踪准确度

18

T/CESAXXXX—2020

多目标跟踪准确度的计算方式见公式（A.16）：

Mccc

FNiFPiIDSWi（A.16）

VMOTA1

i1c

GTi

式中：

——多目标跟踪准确度；

VMOTA

M——目标总数；

c——第i个目标失败的次数；

FNi

c——第i个视频错误识别目标的次数；

FPi

c——第i个目标标识切换总数；

IDSWi

c——第i个视频实际目标出现总次数。

GTi

A.1.17多目标跟踪精确度

多目标跟踪精确度的计算方式见公式（A.17）：

dt,i

Vt,i（A.17）

MOTPc

tt

式中：

——多目标跟踪精确度；

VMOTP

——第帧中的标准区域数；

ctt

——第帧中第个预测区域与标准区域之间的重叠率。

dt,iti

A.1.18决定系数

决定系数的计算方式见公式（A.18）：

N

(vv)2

i1truthipredicti（A.18）

V21N

r(vv)2

i1truthipredict

式中：

——平均绝对误差值；

Vr2

N——样本总数；

v——模型输出的第i个样本的预测值；

predicti

v——第i个样本的标准值；

truthi

——所有预测值的平均值。

vpredict

A.1.19兰德系数

兰德系数的计算方式见公式（A.19）：

(A.19)

VRI(csscdd)/(csscsdcdscdd)

式中：

——兰德系数；

VRI

——在聚类结果中属于同一类别，且在标准情况下也为同一类别的数据对的数

css

量；

19

T/CESAXXXX—2020

——在聚类结果中属于不同类别，且在标准情况下也为不同类别的数据对的

cdd

数量；

——在聚类结果中属于同一类别，但标准情况下为不同类别的数据对的数量；

csd

——在聚类结果中属于不同类别，但在标准情况下为同一类别的数据对的数

cds

量。

A.1.20调整兰德系数

调整兰德系数的计算方式见公式（A.20）：

（A.20）

VARI(VRIE(VRI))/(fmax(VRI)E(VRI))

式中：

——调整兰德系数；

VARI

——兰德系数；

VRI

——兰德系数均值；

E(VRI)

——兰德系数最大值。

fmax(VRI)

A.2效率性指标

A.2.1磁盘占用膨胀率

磁盘占用膨胀率的计算方式见公式（A.46）：

（A.46）

Vocc_diskD2D1/D2

式中：

——磁盘占用膨胀率；

Vocc_disk

——磁盘空间初始占用量；

D1

——模型判定后磁盘空间占用量。

D2

[Q/GDW11941-2018，定义B.6.2]

A.2.2内存使用率

内存使用率的计算方式见公式（A.47）：

（A.47）

Vocc_memMuse/Mtotal

式中：

——内存使用率；

Vocc_mem

——模型内存空间使用量；

Muse

——内存空间总量。

Mtotal

[Q/GDW11941-2018，定义B.6.3]

A.2.3响应时间

响应时间的计算方式见公式（A.48）：

（A.48）

TRTTeTs

式中：

20

T/CESAXXXX—2020

——响应时间；

TRT

——批量样本输入的开始时间；

Ts

——获得最后一个样本模型处理结果的结束时间。

Te

A.3鲁棒性指标

鲁棒性指标的计算方式见公式（A.49）：

n

（A.49）

Vrobust(1/n)i1(ErobustiEi)/Ei

式中：

——鲁棒性指标值；

Vrobust

n——模型所需评价的性能性指标个数；

——模型在存在信号干扰或特征负率变化的测试数据集上的第i个性能性

Erobusti

指标；

——模型在存在一般测试数据集上的第i个性能性指标。

Ei

A.4兼容性指标

兼容性指标的计算方式见公式（A.50）：

（A.50）

VcompatibilityFCS

式中：

——兼容性指标值；

Vcompatibility

F——模型文件源文件、模型配置符合要求，符合取值1，不符合取值0；

C——模型协同符合要求，符合取值1，不符合取值0；

S——模型大小符合要求，符合取值1，不符合取值0。

21

T/CESAXXXX—2020

附录B

（资料性附录）

B.1模型服务接口示例

本模型提供目标检测推理服务，采用RESTful接口风格。请求参数为图片数据、请求程

序ID、模型推理管线名称，响应参数为服务状态编码、推理结果信息（目标类别和目标框位

置）。

请求方式：POST

请求示例如下：

{

"analyseId":"请求ID",

"pipelineName":"推理管线",

"imageData":"图片数据，base64编码"

}

模型结果返回如下：

{

"resultCode":"200",//状态编码

"data":{

"objectList":[

{

"score":0.99{//置信度

"bndbox":{//坐标

"ymin":"158.31",

"xmin":"1374.15",

"ymax":"329.69",

"xmax":"1522.13"

},

"category":"安全帽"//类别

}

],

},

"analyseTime":"2020-01-0112:00:00"//结果产生时间

}

22

T/CESAXXXX—2020

附录C

（资料性附录）

电力行业人工智能算法模型评测指标

表C.1电力行业模型性能指标

评价指标

视

视成多多

频期

平频功平目目

平平平平片望平

平均帧率均标标决

序正准召均均均均段平均调整

模型任务均精准曲像跟跟定

号确确回正准召交准均重兰德

精度确线素踪踪系

率率率确确回并确重叠系数

度均率下误准精数

率率率比率叠率

值均面差确确

均率

值积度度

值

1图像单分类

2图像多分类

3单目标检测

4多目标检测

5图像分割

6单类视频分类