AI算法测试方案

AI算法测试方案

Al算法测试方案

目录

1测试目的.......................................................1

1.1产品先进性.......................................................1

1.2算法能力.........................................................1

2测试环境.......................................................2

2.1系统拓扑.........................................................2

2.2网络环境.........................................................2

2.3硬件环境.........................................................2

3测试算法清单...................................................3

4测试方式.......................................................5

4.1在线视频分析.....................................................5

4.1.1在线视频测试步骤..........................................6

4.2离线视频分析.....................................................6

4.2.1离线视频则试步骤....................6

5测试结果.......................................................7

6评分标准.......................................................7

7算法指标说明：.................................................8

8规范性引用文件.................................................8

9术语和定义.....................................................9

9.1准确率...........................................................9

9.2召回率...........................................................9

9.3误检率...........................................................9

9.4漏检率..........................................................10

9.5分辨率resolution..........................................................................................................10

9.6频率frequency.............................................................................................................10

Al算法测试方案

1测试目的

从产品先进性、算法能力等方面对服务商产品进行评估，测试各厂商的算法

在茂石化场景下分析识别的准确性、连续工作稳定性。

1.1产品先进性

1）产品功能与业务需求契合程度：是否具备良好的交互及可视化展示能力,

软件产品使用方便、功能完整、界面清晰，用户交互体验较好。

2）技术路线符合度：是否支持私有化部署，采用符合茂石化技术路线技术,

能高效高质量进行产品应用及算法分析，能提供现场实施与技术支持

1.2算法能力

1）产品成熟度：是否已具有成熟算法产品且能够满足用户功能需求。

2）算法智能化应用能力：视觉算法分析的准确率、误检率、检出率、漏检

率等。

3）算法扩展：是否支持通过合理策略配置等方式对视觉数据进行智能分析;

是否支持第三方算法接入，是否支持推送算法事件给第三方等。

Al算法测试方案

2测试环境

2.1系统拓扑

AI开放平台

茂石化现有视猱平台AI分析管理模块AI分析盥努器管理客户端

告警零件

国标级联取流

移动布控球移动布控球

2.2网络环境

为了保证测试的公平公正，要求各厂商自己搭建局域网,过程中不得接入外

网，和外界物理隔离。

2.3硬件环境

此次测试机器由各厂商自行提供，测试前需向组织测试方报备机器数量及具

体参数配置。

Al算法测试方案

3测试算法清单

本次测试算法清单如下

序号算法名称算法描述算法分析类型

1、功能描述：通过视频图像分析技术，基于视频

画面，提取视频中的火焰和烟雾的动态特征，

1明火识别支持对室内、室外场景下出现火焰和烟雾的情视频

况进行检测报警。

2、应用场景：室内、室外、低空；

1、功能描述：通过视频图像分析技术，基于视频

画面，提取视频中的烟雾动态特征，支持对室

2烟雾识别视频

外监测场景下出现烟雾的情况进行检测报警。

2、应用场景：室外、低空；

1、功能描述：通过绘制警戒线后，越界侦测功能

翻越围栏可侦测视频中是否有目标跨越设置的警戒线，

3视频

检测根据判断结果联动报警。

2、应用场景：室外；

1、功能描述：可侦测视频中是否有目标入侵设置

的禁区，该功能可供用户建立警戒区，当有目

区域入侵

4标物体出现在该区域时，设备可产生报警信号视频

检测

并联动报警。

2、应用场景：室内、室外；

1、功能描述：检测室内趴桌子状态，适用于在岗

人员睡岗

5睡觉识别，识别到睡岗情况产生报警。视频

检测

2、应用场景：室内；

Al算法测试方案

1、功能描述：通过视频图像分析技术，基于视频

人员离岗画面，检测指定的侦测区域内人员岗位值守情

6视频

检测况，识别到人员离岗情况产生报警。

2、应用场景：室内；

1、功能描述：对区域内图像进行识别、分析、统

人员聚集计区域内人数，对人员聚集情况进行检测预

7图片

检测警。

2、应用场景：室外；

1、功能描述：通过视频分析技术，检测画面中的

人员是否出现接打电话行为，识别到打电话的

打电话检

8行为进行告警，辅助管理人员对监管区域中人视频

测

员的监管。

2、应用场景：室内；

1、功能描述：通过视频图像分析，对在公共场所

下抽烟的人员进行检测，识别到人员抽烟进行

9抽烟检测视频

报警。

2、应用场景：室内、室外、低空；

1、功能描述：通过视频图像分析技术，检测出画

面中戴安全帽的对象和木戴安全帽的对象，可

未戴安全

10识别红色、橙色、蓝色、白色、黄色安全帽，图片

帽检测

识别到未戴安全帽行为进行报警；

2、应用场景：室内、室外、低空；

1、功能描述：通过视频图像分析技术，检测出画

面中穿反光衣/工作服的对象和未穿反光衣/

着装不规工作服的对象，因工作服每个用户存在差异，

11图片

范检测需要提供素材训练进行算法优化，识别到未穿

反光衣/工作服的行为进行报警。

2、应用场景：室内、室外

Al算法测试方案

1、功能描述：通过视频图像分析技术，基于视频

人员跌倒画面，检测指定的侦测区域内人员的突然倒地

12视频

检测行为并进行报警。

2、应用场景：室内；

骑车不规

13暂无，需现场交流需求后评估

范检测

安监人员

14暂无，需现场交流需求后评估

检测

气瓶倾倒

15暂无，需现场交流需求后评估

检测

氧气乙快

16瓶距离检暂无，需现场交流需求后评估

测

动火作业1、功能描述：通过视频图像分析技术，基于视频

17算法画面，检测动火的火星、火花特征。视频

2、应用场景：室外、低空；

登高作业

18暂无，需现场交流需求后评估

算法

4测试方式

4.1在线视频分析

对于常见事件，如安全帽、反光衣等，可接入实时视频分析；对于小概率事

件，可现场进行人为模拟.

各厂家接入相同的点位，对视频中清晰可辨的目标进行算法分析。

Al算法测试方案

4.1.1在线视频测试步骤

测试步骤描述描述

用方进行场景分类，哪些点位容易出现相关事件，可用于算法

测试准备

分析。

厂商接入点位做分析，视频中出现真实事件/人为模拟事件后，

测试步骤

对比各个厂商检出、检准情况。

各算法厂商分析期间应由甲方人员监督，不得人工干预算法输

出的事件，不得对算法输出的结果做更改。

档案统计各算法厂商在测试时间结束后，应立即停止操作，在各自平台

中展示算法输出事件，组织测试方统计厂商检出数、漏检数、检准

数、误检数，计算得出检出率、漏检率、准确率误检率等数据。

4.2离线视频分析

对于常见事件，可对已发生事件的录像中进行视频截图，如收集一段20分

钟录像，里面有戴安全帽、未戴安全帽的真实事件；时于小概率事件，可人为模

拟。

将离线视频提供给各厂家，对视频中清晰可辨的目标进行算法分析。

4.2.1离线视频测试步骤

测试步骤描述描述

甲方提前准备各算法的测试图片/视频，作为测试集。在测试

测试准备

当天提供给参测厂商。

甲方提供对应算法场景的视频，厂商通过离线视频分析的方式

测试步骤进行测试，并输出检测结果。同时人工对视频中真实事件进行标定，

得出真值数量，与厂家输出结果进行比对。

Al算法测试方案

各算法厂商分析期间应由甲方人员监督，不得人工干预算法输

出的事件，不得对算法输出的结果做更改。

数据统计各算法厂商在测试时间结束后，应立即停止操作，在各自平台

中展示算法输出事件，组织测试方统计厂商检出数、漏检数、检准

数、误检数,计算得出检出率、漏检率、准确率误检率等数据。

5测试结果

检出检出

准确率召回率漏检率

序号算法真值数检出数正确错误

(%)(%)(%)

数数

1

2

3

4

5

测试完成之后填写。

6评分标准

组织测试方统计参测厂商算法识别情况,每个算法每个目标识别正确得2分,

识别错误每个目标扣1分，漏报每个目标扣0.5分，每个算法最低得分为0分。

Al算法测试方案

7算法指标说明：

本次测试的几类算法在实际应用中较为关注算法准确率和召回率，具体指标

公式如下：

准确率=【实际检测出且正确识别的图片数量/实际检测出的图片数量）】

X100%

误检率=【（实际检测出的图片数量-正确识别的图片数量）/识别图片总数

量）】X100%

召回率二【（实际检测出且正确识别的图片数量/录像目标图片总数量）】X

100%