《车辆影像分析测试与评分技术标准》

ICS03.220.20

CCSR80

45

广西壮族自治区地方标准

DB45/TXXXX—XXXX

车辆影像分析测试与评分技术标准

Technicalcodeofpracticeforvehicleimageanalysistestingandscoring

（征求意见稿）

XXXX-XX-XX发布XXXX-XX-XX实施

广西壮族自治区市场监督管理局发布

DB45/TXXXX—XXXX

车辆影像分析测试与评分技术标准

1范围

本文件界定了车辆影像分析测试与评分技术所涉及的术语和定义，规定了车辆影像分析测试流程、

测试场景、测试方法及评分方法等方面的要求。

本文件适用于广西壮族自治区行政区域内的公路车辆影像分析系统、平台或算法的测试工作。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T29100—2012道路交通信息服务交通事件分类与编码

GA802道路交通管理机动车类型

3术语、定义

下列术语和定义适用于本文件。

视频图像分析系统videoandimageanalysissystem

对视频和图像进行分析及处理，识别视频和图像的内容，提升视频和图像质量，快速发现和定位关

注信息的系统。

[来源：GA/T1399.1—2017，3.1.1]

车辆检测vehicledetection

对视频图像中的车辆及其位置和大小进行辨识。

[来源：GA/T1399.1—2017，3.1.16]

车辆基本特征识别basiccharacteristicofvehiclerecognition

对视频图像中机动车辆的车牌号码、颜色、车类等进行辨识。

[来源：GA/T1399.1—2017，3.1.17，有修改]

正检truepositive

视频或图像中出现应该被正确检测或分类的目标或事件，且视频图像分析系统输出正确的检测结

果。

[来源：GB/T30147—2013，3.1.19]

误检falsepositive

视频或图像中未出现相应的目标或事件，但视频图像分析系统输出了检测结果。

1

DB45/TXXXX—XXXX

[来源：GB/T30147—2013，3.1.20]

漏检falsenegative

视频或图像中出现应该被检测的目标或事件，但视频图像分析系统未输出检测结果。

[来源：GB/T30147—2013，3.1.21]

基准目标referenceobject

视频图像中标注好的目标。

[来源：GB/T30147—2013，3.1.24]

推理inference

通过模型计算输出值的过程。

4测试流程

测试目的

测试完成后对公路车辆影像分析系统、平台或算法给出一个客观定量的评价。

测试原则

4.2.1实用性

应能产生积极效果。

4.2.2公平性

应通过指定规则和指标来进行公平的比较。

4.2.3公正性

在测试过程中，始终以客观的科学的测试结果数据为依据。

4.2.4可复测性

在不同的测试环境对同一测试对象进行测试时，测试结果具有一致性。

测试对象

包括具备车辆影像分析功能的各种算法或软硬件系统。

各阶段测试流程

4.4.1车辆影像分析测试流程图

如图1所示。

2

DB45/TXXXX—XXXX

图1车辆影像分析测试流程图

4.4.2测试申请

测试开始时，由测试需求方向测试机构提交测试申请，并选取测试场景。车辆影像分析的测试场景

共有5种：车辆检测（见5.1）、车辆基本特征识别（见5.2）、车辆数量分析（见5.3）、车辆行为分析

（见5.4）、车辆行驶环境分析（见5.5）。实际测试过程中支持但不限于以下车辆视频图像分析内容功

能中的一种或几种。

4.4.3申请审核

测试机构对测试需求方提交的测试申请进行审核。

3

DB45/TXXXX—XXXX

4.4.4编写测试大纲

测试机构根据测试需求方所选取的测试场景及具体要求，编写测试方案。

4.4.5测试准备

4.4.5.1提供测试对象

由测试需求方向测试机构提供测试对象，并给出测试对象的功能和性能测试目标值。

4.4.5.2数据源准备

4.4.5.2.1测试机构应按照测试场景准备好相适配的测试数据集。测试数据源分为图像和视频两种类

型，其具体格式要求如下：

a)图像格式：

1)包括但不限于CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、

1080P（1920×1080）等分辨率；

2)包括但不限于JPEG、JPEG2000、BMP、PNG等格式。

b)视频格式：

1)包括但不限于CIF（352×288）、4CIF（704×576）、D1（720×576）、720P（1280×720）、

1080P（1920×1080）等分辨率的视频；

2)包括但不限于PS、MP4、AVI、FLV等视频封装格式；

3)包括但不限于SVAC、H.264、H.265、MPEG-4等视频编码格式。

4.4.5.2.2测试机构应标注出数据源的基准目标。数据源对应的测试场景标注需求如表1所示。

表1数据源采集及标注要求

序号测试场景数据类型标注内容（基准目标）数据采集要求

1车辆检测图像/视频车辆位置框1.采集的视频图像应满足4.4.5.2.1所示数据

格式要求

车辆位置框、车辆颜色类

2车辆基本特征识别图像/视频2.采集的视频图像应能识别出目标检测标的物

别、车辆车型类别

3.采集的视频图像应包含不同光照及气象条件

车辆位置框、车辆数量值

3车辆数量分析图像/视频下的拍照条件，如白天、黑夜、雨雪雾天气条

（单位时间内）

件下的视频图像采集

车辆位置框、车辆行为类4.视频应包含车辆的整个运动流程

4车辆行为分析视频

别5.车辆行驶环境应包含周边道路的视频图像信

息

6.数据集规模应不少于5000张

5车辆行驶环境分析图像/视频环境类别

7.数据集应100％做好标注

4.4.5.3测试环境准备

4.4.5.3.1测试机构提供测试软硬件环境，其具体要求如下：

4

DB45/TXXXX—XXXX

a)一台流媒体服务器，用于提供车辆影像数据集，具备高并发实时流式分发的能力，能随机分发

图像或视频；

b)一台测试服务器，用于对测试对象进行测试，具备功能和性能测试工具；

c)一台影像分析服务器，用于汇总计算测试服务器输出的结果，具备评分指标计算能力。

4.4.5.3.2测试环境如图2所示。测试环境的相关配置要求见附录表B.1。

图2测试环境示意图

4.4.6进行测试

完成前期各项准备工作后，测试机构进行测试工作，记录过程日志。测试工作包括功能测试和性能

测试，功能测试方法见6.2，性能测试方法见6.3。

4.4.7输出测试报告

测试工作完成后，测试机构对测试结果进行评分。功能测试的评分方法见7.2，性能测试的评分方

法见7.3。完成评分工作后，测试机构输出测试报告，功能测试报告的模板见附录表B.2，性能测试报告

的模板见附录表B.3。

5测试场景

车辆检测

对视频图像中的车辆位置用检测框标出，且能对视频中车辆位置进行跟踪。

车辆基本特征识别

对视频图像中的车辆进行识别，包含车牌号码、车辆颜色、车类，分类见附录表A.4。

车辆数量分析

对视频图像中的道路车流量、车类分布统计。

车辆行为分析

5

DB45/TXXXX—XXXX

对视频中车辆行为的分析，包含车辆交通事件中的停车、逆行、变线、倒车、超速、抛洒物、碰撞、

隧道火灾、隧道水灾，分类见附录表A.1。

车辆行驶环境分析

对视频图像中的车辆行驶环境识别，包含道路路面情况及天气情况，分类见附录表A.2和附录表A.3。

6测试方法

测试内容

各测试场景测试内容见表2。

表2场景测试内容

性能测试功能测试要求

序号测试场景功能测试内容

内容图像视频

1车辆检测目标检测能用检测框标出能用检测框标出并跟踪位置

车牌号码识别能识别能识别

2车辆基本特征识别车辆颜色识别能识别能识别

车类识别能识别，类型见附录A.4能识别，类型见附录A.4

负载测试

压力测试车流量统计能统计能统计

3车辆数量分析并发测试

车类分布统计能统计，类型见附录A.4能统计，类型见附录A.4

4车辆行为分析道路交通事件识别无能识别，类型见附录A.1

道路天气情况分类能识别，类型见附录A.2能识别，类型见附录A.2

5车辆行驶环境分析

路面状态分类能识别，类型见附录A.3能识别，类型见附录A.3

功能测试方法

6.2.1运行条件

根据4.4.5准备相应测试条件。

6.2.2测试步骤

测试步骤如下：

a)任务启动；

b)流媒体服务器实时输入数据流至测试服务器；

c)测试对象在测试服务器内执行：

1)数据集预处理；

2)推理；

3)后处理。

6

DB45/TXXXX—XXXX

d)测试服务器输出结果至分析服务器，分析服务器输出评分指标。

6.2.3预期返回结果

根据测试场景返回功能测试报告，报告模板见附录表B.2。

6.2.4评分标准

输出测试场景的评分指标，以及与指标目标值的差异，指标见表3。

性能测试方法

6.3.1运行条件

根据4.4.5准备相应测试条件。

6.3.2测试步骤

6.3.2.1负载测试：

a)任务启动；

b)执行分析过程，过程计时；

1)流媒体服务器将实时数据流输入测试服务器；

2)测试对象在测试服务器中执行：

（1）数据处理计时开始；

（2）数据预处理；

（3）推理；

（4）后处理；

（5）数据处理计时结束。

c)分析服务器输出评分指标。

6.3.2.2压力测试：分别测试CPU占用率在50％、60％、70％、80％，观测测试对象是否正常运行。

6.3.2.3并发测试：在CPU占用率不超过70％的条件下，并发执行10000个测试数据样本测试的运

行效率。

6.3.3预期返回结果

返回功能测试报告，报告模板见附录表B.3。

6.3.4评分标准

输出评分指标，以及与指标目标值的差异，指标见表4。

7评分方法

评分指标

7.1.1精确率

7

DB45/TXXXX—XXXX

见式（1）。

푇푃

푃=×100%·····································································(1)

푇푃+퐹푃

式中：

P——视频图像分析算法精确率；

TP——正检数；

FP——误检数。

7.1.2召回率

见式（2）。

푇푃

푅=×100%····································································(2)

푇푃+퐹푁

式中：

R——视频图像分析算法召回率；

TP——正检数；

FN——漏检数。

7.1.3交并比

见式（3）。

|퐴∩퐵|

퐼표푈=··········································································(3)

|퐴∪퐵|

式中：

IoU——视频图像分析算法交并比；

A——检测框的面积；

B——标注框的面积。

7.1.4平均精度（AP）

在不同的召回率下，对应的精确率的平均值。平均精度的值也等于精确率和召回率组成的二维曲线

下的面积大小。

7.1.5平均精度均值（mAP）

数据集中各个类别对应的平均精度的平均值。

7.1.6平均绝对误差

见公式（4）。

1

푀퐴퐸=∑푚|푦−푦̂|·································································(4)

푚푖=1푖푖

式中：

MAE——视频图像分析算法平均绝对误差；

m——观测次数；

8

DB45/TXXXX—XXXX

푦푖——第푖次实际数量值；

푦̂푖——第푖次计算值。

7.1.7每秒帧率FPS

单位时间内处理的图像数量或视频帧数。

7.1.8功耗

从数据输入到预测识别结束过程的设备功耗。

功能测试评分方法

执行6.2.2所示测试步骤后，输出过程日志以及测试报告，报告根据测试场景判定测试是否达到相

应评分标准，并输出与功能测试目标值的差异。评分方法见表3。

表3功能测试评分方法

测试项评分方法测试场景评分指标评分标准

IoU≥0.5

车辆检测mAP和IoU

mAP≥0.6

单类识别精确率≥0.5

车辆基本特征识别精确率、召回率、mAP单类识别召回率≥0.5

mAP≥0.6

执行6.2.2所车辆数量分析MAEMAE≤5

功能测试

示测试步骤

单类识别精确率≥0.5

车辆行为分析精确率、召回率、mAP单类识别召回率≥0.5

mAP≥0.6

单类识别精确率≥0.5

车辆行驶环境分析精确率、召回率、mAP单类识别召回率≥0.5

mAP≥0.6

性能测试评分方法

7.3.1性能测试不区分测试场景，执行6.3.2所示测试步骤，实际测试内容包含负载测试、压力测试

及并发测试，输出过程日志以及测试报告，判定测试是否达到相应评分标准，并输出与性能测试目标值

的差异。

7.3.2评分方法见表4，提供4块TeslaP40作为测试服务器的性能评分标准。

9

DB45/TXXXX—XXXX

表4性能测试评分方法

评分标准

测试项评分方法测试内容评分指标

(以4块TeslaP40为例)

满足功能评分标准

CPU占用率

CPU占用率≤40％

内存占用率

负载测试内存占用率≤60％

FPS

FPS≥25

功耗

功耗满足生产要求

执行6.3.2所示测

性能测试

试步骤CPU占用率在50％，

满足功能评分标准

压力测试60％，70％，80％情况

FPS≥25

下，是否正常运行

满足功能评分标准

并发测试FPS

FPS≥25

10

DB45/TXXXX—XXXX

A

A

附录A

（规范性）

车辆影像分类附表

见表A.1～表A.5。

表A.1交通事件分类

车辆行为事件ID分类图片或视频

1车辆停车视频

2车辆逆行视频

3车辆变线视频

4车辆倒车视频

5车辆拥堵视频

6车辆超速视频

7车辆低速视频

8车辆抛洒物视频

9车辆间碰撞视频

10车辆与固定物碰撞视频

11车辆火灾视频

12隧道火灾视频

13隧道水灾视频

注：来源：GB/T29100—2012，8.2，有修改。

11

DB45/TXXXX—XXXX

表A.2道路天气情况分类

道路环境ID分类图片或视频

1晴图片

2阴图片

3雨图片

4雪图片

5雾图片

6冰雹图片

注：来源：GB/T29100—2012，8.3，有修改。

表A.3路面状态分类

路面状态ID分类图片或视频

1冰雪图片

2坑槽图片

3塌陷图片

4路障图片

5其他图片

注：来源：GB/T29100—2012，8.4，有修改。

表A.4车辆分类测试项

车类序号分类备注

1箱式货车无

2罐式货车无

3仓栅式货车无

4自卸货车无

5起重举升车无

12

DB45/TXXXX—XXXX

表A.4车辆分类测试项（续）

车类序号分类备注

6半挂车无

7轿车无

8越野汽车无

9小型客车车身长度≤6m

10中型客车6m＜车身长度≤9m

11大型客车车身长度＞9m

注：来源：GA/T802—2019，有修改。

13

DB45/TXXXX—XXXX

B

B

附录B

（规范性）

测试模板附表

见表B.1～表B.3。

表B.1测试环境

序号用途硬件环境软件环境

CPU：4核心2.6GHz及以上

操作系统：支持但不限于CentOS7

1流媒体服务器内存：16G以上

流媒体服务：支持但不限于Helix12

硬盘：1T以上

CPU：4核心2.6GHz及以上操作系统：支持但不限于CentOS7

2测试服务器内存：16G以上运行时库：支持但不限于Java1.8

硬盘：500G以上数据库：支持但不限于MySQL5.7

CPU：4核心2.6GHz及以上

GPU：如4块TeslaP40操作系统：支持但不限于CentOS7

3影像分析服务器

内存：16G以上运行时库：支持但不限于python3.9

硬盘：500G以上

带宽：100Mbps以上

4网络要求

5推理框架框架：支持但不限于TensorFlow2.0

表B.2功能测试报告

测试需求方测试机构

测试对象版本Vx.x.x

场景名称功能名称类型功能测试

测试用例ID测试用例名称

测试内容

输入

14

DB45/TXXXX—XXXX

表B.2功能测试报告（续）

测试步骤