人工智能 音视频及图像分析算法接口

ICS35.240

L77

中华人民共和国国家标准

GB/TXXXXX—XXXX

人工智能音视频及图像分析算法接口

Artificialintelligence-Audio,videoandimageanalysisalgorithminterface

点击此处添加与国际标准一致性程度的标识

文稿版次选择

XXXX-XX-XX发布XXXX-XX-XX实施

GB/TXXXXX—XXXX

前  言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》给出的规

则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本文件由提出并归口。

本文件起草单位：

本文件主要起草人：

II

GB/TXXXXX—XXXX

人工智能音视频及图像分析算法接口

1范围

本文件规定了音视频与图像分析算法接口，涵盖了解析算法和比对算法在算法包和算法服务形式下

的接口规范，包括接口的应用环境、数据格式定义和接口交互过程等。

本文件适用于音视频与图像的分析算法的接入与应用，也可用于指导智能应用系统与算法包、算法

服务的系统集成与开发。

2术语和定义

下列术语和定义适用于本文件。

2.1

算法包algorithmpackage

实现对音视频、图像数据进行解析以及比对等功能的一系列算法库的集合。

2.2

算法服务algorithmservice

基于音视频及图像分析算法，提供对媒体数据解析和特征比对功能的网络服务。

2.3

算法引擎algorithmengine

算法包及其基础运行环境（取流、解码、API调用、结果处理等过程）的完整框架。

2.4

特征feature

从音视频及图像样本中提取出的、用于代表该样本的特定的物理量。

2.5

特征相似度featuresimilarity

表示两个特征之间的相似性，数值越大表示相似性越高。

3缩略语

下列缩略语适用于本文件。

API:应用程序编程接口(ApplicationProgrammingInterface)

1

GB/TXXXXX—XXXX

CPU:中央处理器（CentralProcessingUnit）

GPU:图形处理器（GraphicsProcessingUnit）

HTTP:超文本传输协议（HyperTextTransferProtocol）

HTTPS:安全的超文本传输协议（HyperTextTransferProtocoloverSecureSocketLayer）

JSON:JavaScript对象标记语言（JavaScriptObjectNotation）

NPU:嵌入式神经网络处理器（Neural-networkProcessingUnit）

PCM:脉冲编码调制（PulseCodeModulation)

REST:表述性状态转移（RepresentationalStateTransfer）

URI:全局资源标识符（UniversalResourceIdentifier）

4应用环境和接口分类

4.1应用环境

音视频及图像分析算法接口涉及的内容包括算法包接口和算法服务接口。根据功能不同，算法包分

为解析算法包和比对算法包，算法服务分为解析算法服务和比对算法服务。算法包和算法服务的应用环

境见图1。

图1音视频及图像分析接口应用环境示意图

应用环境的功能如下：

a)智能应用系统提供面向用户与业务的功能集合；

b)解析分析提供对图像、音视频等媒体数据的检测、分类、特征提取等功能，实现方式为算法引

擎和算法服务。解析算法引擎包含解析算法包以及基础环境（包括取流、解码、API调用、结

果处理等功能）；

2

GB/TXXXXX—XXXX

c)比对分析提供特征比对、检索等功能，实现方式为算法引擎和算法服务。比对算法引擎包含比

对算法包以及基础环境（包括API调用、结果处理等功能）；

d)智能应用系统可根据实际情况通过算法引擎或者算法服务的形式调用解析分析算法，分析结果

统一保存到存储服务；比对分析算法从存储服务中获取特征数据集合，实现智能应用系统指定

的比对逻辑。

4.2接口分类

按照分析算法功能和实现方式进行分类，具体如下：

a)解析算法包接口，用于解析算法引擎的应用逻辑对算法功能的调用；

b)比对算法包接口，用于比对算法引擎的应用逻辑对算法功能的调用；

c)解析算法服务接口，用于智能应用系统与解析分析之间的服务调用；

d)比对算法服务接口，用于智能应用系统与比对分析之间的服务调用。

5算法包接口

5.1接口概述

5.1.1解析算法包接口

解析算法包接口环境见图2。

图2解析算法包接口环境示意图

智能应用系统向算法引擎推送任务配置信息，算法引擎的基础环境模块根据任务配置获取音视频、

图像等媒体数据，与配置信息一起通过算法包接口推送到算法包分析，分析结果由基础环境模块输出到

存储服务。

5.1.2比对算法包接口

比对算法包接口环境见图3。算法引擎通过该接口向算法包提供其必要的运行环境支持和数据交互

支持。比对算法包提供对1:1、M:N等基础比对逻辑，以及检索比对、比对加速等高阶比对功能的接口

支持。

3

GB/TXXXXX—XXXX

图3比对算法包应用环境示意图

智能应用系统向算法引擎推送比对规则与配置信息，算法引擎的基础环境模块根据配置从存储服务

中获取特征数据集合，与比对规则一起通过算法包接口推送到算法包。比对完成后，再通过基础环境将

比对结果输出给智能应用系统。

5.2接口要求

算法包接口应满足以下要求：

a)接口函数应开放给用户开发；

b)函数可采用动态链接库形式发布，并于动态链接库中导出；对于不同的平台，应分别编译成不

同的动态链接库发布；

c)单个算法句柄仅支持单线程串行调用；

d)算法包接口可用多种语言进行实现，数据类型和函数参数实现应符合相应的编程规范和准则。

C语言示例见附录A与附录B；

e)算法包接口描述见5.4、5.5。

5.3数据类型

5.3.1媒体数据类型

用于传递媒体数据类型信息，采用枚举形式。

媒体数据类型枚举成员说明见表1。

表1媒体数据类型枚举成员说明表

数据类型枚举成员列表

音视频流

媒体数据类型

图像

5.3.2分析帧类型

4

GB/TXXXXX—XXXX

用于传递帧数据类型信息，采用枚举形式。

分析帧类型枚举成员说明见表2。

表2分析帧类型枚举成员说明表

数据类型枚举成员列表

视频帧/图像

分析帧类型

音频帧

5.3.3音视频格式类型

用于描述音视频格式类型信息，支持以下格式：

a)音视频流编码格式应符合GB/T28181-2016的相关要求；

b)宜支持H.265视频编码格式；

c)应支持灰度、YV12、I420、NV12、NV21、BGR、BGRA等无编码视频格式及PCM无编码音频格式。

5.3.4图像格式类型

用于描述图像格式类型信息，支持以下格式：

a)应支持JPEG、JPEG2000、BMP、PNG等编码格式的图像；

b)应支持灰度、YV12、I420、NV12、NV21、BGR、BGRA等无编码格式的图像。

5.3.5算法授权格式

用于描述算法授权格式，采用结构化形式。

算法授权格式结构主要成员说明见表3。

表3算法授权格式结构主要成员说明表

数据类型结构主要成员列表必选/可选取值说明

支持不授权、本地授权、中心授权等多种

授权类型必选

授权方式

授权类型为“不授权”时，此项可不填；

算法授权格式本地授权时，该项可取值为本地License

授权路径条件必选路径或者USBPort号；

中心授权时，该项可取值为授权服务远端

地址

5.3.6系统资源描述格式

用于描述系统资源信息，采用结构化形式。

系统资源描述格式结构主要成员说明见表4。

5

GB/TXXXXX—XXXX

表4系统资源描述格式结构主要成员说明表

数据类型结构主要成员列表必选/可选取值说明

对未开启超线程的CPU，取值为CPU实际核

心数；对开启超线程的CPU，取值为模拟

CPU核数必选

核心数；对多路CPU，取值为所有CPU的核

心数之和

CPU主频必选单位：兆赫兹（MHz）

系统资源描述格式

可用内存必选单位：兆字节（MB）

若存在算法关联资源（如模型文件），应

算法关联资源信息可选

描述其信息（如存放地址）

若存在协处理器（如GPU、NPU等），应描

协处理器信息可选

述相关信息

5.3.7视频和图像输入格式

用于传递视频和图像输入信息，采用结构化形式。

视频和图像输入格式结构主要成员说明见表5。

表5视频和图像输入格式结构主要成员说明表

数据类型结构主要成员列表必选/可选取值说明

格式类型必选见5.3.3和5.3.4

一帧完整的无编码视频/图像数据、或一

输入数据必选张完整的静态图像数据、或一段流式视频

数据

宽度条件必选输入无编码视频/图像数据时必填

视频和图像输入格式高度条件必选输入无编码视频/图像数据时必填

输入无编码视频数据时选填，图像分析时

帧率可选

该参数不生效

时间信息可选包含年、月、日、时、分、秒、毫秒

自定义数据描述信息，在数据回调中透传

数据描述信息可选

出来

5.3.8音频输入格式

用于传递音频输入信息，采用结构化形式。

音频输入格式结构主要成员说明见表6。

6

GB/TXXXXX—XXXX

表6音频输入格式结构主要成员说明表

数据类型结构主要成员列表必选/可选取值说明

格式类型必选见5.3.3

输入数据必选一帧完整的音频数据

采样率必选每秒钟采样多少次，单位：赫兹(Hz)

位深度必选每个采样点的bit数

字节序必选大端存储、小端存储

音频输入格式

声道数必选音频声道数

数据类型必选有符号整数、无符号整数、浮点数

时间信息可选包含年、月、日、时、分、秒、毫秒

自定义数据描述信息，在数据回调中透传

数据描述信息可选

出来

5.3.9回调函数类型

用于传递回调函数类型信息，采用枚举形式。

回调函数类型的枚举成员说明见表7。

表7回调函数类型枚举成员说明表

数据类型枚举成员列表

日志回调

回调函数类型

数据回调

5.3.10特征数据格式

用于传递特征信息，采用结构化形式。

特征数据格式结构成员说明见表8。

表8特征数据格式结构成员说明表

数据类型结构成员列表取值说明

特征数据格式特征数据二进制特征数据

5.3.11检索结果数据格式

用于传递检索比对结果，采用结构化形式。

检索结果数据格式结构成员说明见表9。

表9检索结果数据格式结构成员说明表

数据类型结构成员列表取值说明

特征标识

检索结果数据格式

特征相似度取值范围[0,1]

5.4解析算法包接口函数

5.4.1解析算法包接口函数列表

7

GB/TXXXXX—XXXX

解析算法包接口函数列表见表10。

表10解析算法包接口函数列表

接口函数章条号

算法初始化函数

算法授权函数

算法句柄创建函数

算法句柄销毁函数

同步分析函数

异步分析数据输入函数

设置回调函数

数据回调函数

日志回调函数

参数配置函数0

获取参数配置函数1

算法版本号获取函数2

算法资源释放函数3

5.4.2解析算法包接口函数

算法初始化函数

用于初始化算法的函数，调用参数见表11。

在算法操作前，首先调用初始化函数。

表11算法初始化函数参数列表

参数输入/输出类型参数说明

系统资源信息输入参数见5.3.6

函数返回值：调用成功，返回0；调用失败，返回非0。

算法授权函数

用于设置算法授权信息的函数，调用参数见表12。

表12算法授权函数参数列表

参数输入/输出类型参数说明

算法授权信息输入参数见5.3.5

函数返回值：调用成功，返回0；调用失败，返回非0。

算法句柄创建函数

用于创建算法句柄的函数，调用参数见表13。

一个算法包可创建多个句柄。创建时，算法包根据初始化时传入的系统资源信息，判断是否有足够

的剩余资源。

8

GB/TXXXXX—XXXX

表13算法句柄创建函数参数列表

参数输入/输出类型参数说明

算法句柄输出参数用于标识一个算法上下文的对象

媒体数据类型输入参数见5.3.1

创建句柄携带参数输入参数自定义类型参数，无参数时可为空

函数返回值：调用成功，返回0；调用失败，返回非0。

算法句柄销毁函数

用于销毁算法分析句柄的函数，调用参数见表14。

表14算法分析句柄销毁函数参数列表

参数输入/输出类型参数说明

算法分析句柄输入参数用于标识一个算法上下文的对象

函数返回值：调用成功，返回0；调用失败，返回非0。

同步分析函数

用于同步方式下算法分析的函数，调用参数见表15。

同步分析的分析结果由该函数中的输出参数传出。

表15同步分析函数参数列表

参数输入/输出类型参数说明

算法分析句柄输入参数用于标识一个算法上下文的对象

分析帧信息输入参数图像或音频信息，见5.3.7、5.3.8

规则信息输入参数自定义类型算法分析规则

分析结果输出参数自定义类型算法分析结果

函数返回值：调用成功，返回0；调用失败，返回非0。

异步分析数据输入函数

用于异步方式下输入待分析数据的函数，调用参数见表16。

异步分析的分析结果由数据回调函数传出。

表16异步分析数据输入函数参数列表

参数输入/输出类型参数说明

算法分析句柄输入参数用于标识一个算法上下文的对象

分析帧信息输入参数图像或音频信息，见5.3.7、5.3.8

规则信息输入参数自定义类型算法分析规则，无参数时可为空。

函数返回值：调用成功，返回0；调用失败，返回非0。

设置回调函数

9

GB/TXXXXX—XXXX

用于设置回调的函数，调用参数见表17。

表17设置回调函数参数列表

参数输入/输出类型参数说明

用于标识一个算法上下文的对象，设置日志回调

算法分析句柄输入参数

时可为空

回调类型输入参数见5.3.9

回调函数输入参数回调函数对象

回调函数透传信息输入参数透传到回调函数中的自定义信息

函数返回值：调用成功，返回0；调用失败，返回非0。

数据回调函数

用于获取分析结果数据的函数，调用参数见表18。

表18数据回调函数参数列表

参数输入/输出类型参数说明

描述信息输入参数与音视频和图像输入格式对应的数据描述信息

分析帧类型输入参数见5.3.2

算法分析结果输入参数自定义类型算法分析结果

透传信息输入参数与设置回调函数对应的透传信息

函数返回值：无。

日志回调函数

用于获取算法运行日志的函数，调用参数见表19。

表19日志回调函数参数列表

参数输入/输出类型参数说明

重要性等级输入参数表示当前状态的重要性，数值越大重要性越高

日志信息输入参数状态详细描述信息，字符串形式

透传信息输入参数与设置回调函数对应的透传信息

函数返回值：无。

0参数配置函数

用于配置参数的函数，调用参数见表20。

表20参数配置函数参数列表

参数输入/输出类型参数说明

算法分析句柄输入参数用于标识一个算法上下文的对象

参数信息输入参数自定义的参数信息

10

GB/TXXXXX—XXXX

函数返回值：调用成功，返回0；调用失败，返回非0。

1获取参数配置函数

用于获取配置参数的函数，调用参数见表21。

表21获取参数配置函数参数列表

参数输入/输出类型参数说明

算法分析句柄输入参数用于标识一个算法上下文的自定义类型

参数信息输出参数自定义参数信息

函数返回值：调用成功，返回0；调用失败，返回非0。

2算法版本号获取函数

用于获取算法版本号的函数，调用参数见表22。

表22算法版本号获取函数参数列表

参数输入/输出类型参数说明

版本信息输出参数自定义算法版本信息内容

函数返回值：调用成功，返回0；调用失败，返回非0。

3算法资源释放函数

用于释放算法相关资源的函数。

函数返回值：调用成功，返回0；调用失败，返回非0。

5.4.3算法包输出结果

算法包输出应符合所在系统的数据格式规范。

5.5比对算法包接口函数

5.5.1比对算法包接口函数列表

比对算法包接口函数列表见表23。

11

GB/TXXXXX—XXXX

表23比对算法包接口函数列表

说明章条号

算法初始化函数

算法授权函数

算法句柄创建函数

算法句柄销毁函数

设置回调函数

日志回调函数

特征数据校验函数

1:1比对函数

M:N比对函数

添加特征数据函数0

删除特征数据函数1

查询特征数量函数2

检索比对函数3

算法版本号获取函数4

算法资源释放函数5

5.5.2比对接口函数

算法初始化函数

用于初始化比对算法的函数，调用参数见表24。

在算法操作前，首先调用初始化函数。

表24算法初始化函数参数列表

参数输入/输出类型参数说明

系统资源信息输入参数见5.3.6

函数返回值：调用成功，返回0；调用失败，返回非0。

算法授权函数

用于设置算法授权信息的函数，调用参数见表25。

表25算法授权函数参数列表

参数输入/输出类型参数说明

算法授权信息输入参数算法授权信息，见5.3.5

函数返回值：调用成功，返回0；调用失败，返回非0。

算法句柄创建函数

用于创建算法分析句柄的函数，调用参数见表26。

一个算法包可创建多个句柄。创建时，算法包根据初始化时传入的系统资源信息，判断是否有足够

12

GB/TXXXXX—XXXX

的剩余资源。

表26算法句柄创建函数参数列表

参数输入/输出类型参数说明

算法句柄输出参数用于标识一个算法上下文的对象

创建句柄携带参数输入参数自定义类型参数

函数返回值：调用成功，返回0；调用失败，返回非0。

算法句柄销毁函数

用于销毁算法分析句柄的函数，调用参数见表27。

表27算法句柄销毁函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的自定义类型

函数返回值：调用成功，返回0；调用失败，返回非0。

设置回调函数

用于设置回调的函数，调用参数见表28。

比对算法包仅支持设置日志回调函数。

表28设置回调函数参数列表

参数输入/输出类型参数说明

用于标识一个算法上下文的对象，设置日志回调

算法分析句柄输入参数

时可为空

回调类型输入参数见5.3.9

回调函数输入参数回调函数对象

回调函数透传信息输入参数透传到回调函数中的自定义信息

函数返回值：调用成功，返回0；调用失败，返回非0。

日志回调函数

用于获取算法运行日志的函数，调用参数见表29。

表29日志回调函数参数列表

参数输入/输出类型参数说明

重要性等级输入参数表示当前状态的重要性，数值越大重要性越高

日志信息输入参数状态详细描述信息，字符串形式

透传信息输入参数与设置回调函数对应的透传信息

函数返回值：无。

特征数据校验函数

13

GB/TXXXXX—XXXX

用于校验特征数据的合法性，便于上层进行异常规避，调用参数见表30。

表30特征数据校验函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的对象

特征集合输入参数待校验特性集合，单个特征数据类型见5.3.10

函数返回值：校验成功，返回0；校验失败，返回非0。

1:1比对函数

用于对输入的两个特征进行相似度计算的函数，调用参数见表31。

表311:1比对函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的对象

第一个特征输入参数见5.3.10

第二个特征输入参数见5.3.10

特征相似度输出参数两个特征的比对相似度，值域范围[0,1]

函数返回值：调用成功，返回0；调用失败，返回非0。

M:N比对函数

用于输入的M个特征与基础N个特征进行相似度计算的函数，调用参数见表32。

表32M:N比对函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的对象

待比对特征集合输入参数单个特征数据类型见5.3.10

基础特征集合输入参数单个特征数据类型见5.3.10

返回值是一个矩阵，第i行j列的值对应待比对特

特征相似度结果集合输出参数征的第i个元素和基础特征的第j个元素的特征

相似度，每个相似度结果的值域范围[0,1]

函数返回值：调用成功，返回0；调用失败，返回非0。

0添加特征数据函数

用于添加特征数据的函数，调用参数见表33。

表33添加特征数据函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的自定义类型

支持一次调用添加多个特征，单个特征数据类型

待添加的特征集合输入参数

见5.3.10

14

GB/TXXXXX—XXXX

输出每个特征的标识，与添加集合中特征位置一

特征标识集合输出参数

一对应，调用前需要分配好内存，不能传空指针

函数返回值：调用成功，返回0；调用失败，返回非0。

1删除特征数据函数

用于删除特征数据的函数，调用参数见表34。

表34删除特征数据函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的自定义类型

待删除的特征标识集合输入参数支持一次调用删除多个特征

函数返回值：调用成功，返回0；调用失败，返回非0。

2查询特征数量函数

用于查询指定句柄中特征数量的函数，调用参数见表35。

表35查询特征数量函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的对象

特征数量输出参数整型值，已加载的特征数量

函数返回值：调用成功，返回0；调用失败，返回非0。

3检索比对函数

用于对输入的待检索特征集合进行比对和相似度排序计算的函数，调用参数见表36。

表36检索比对函数参数列表

参数输入/输出类型参数说明

算法句柄输入参数用于标识一个算法上下文的自定义类型

待比对特征集合输入参数单个特征数据类型见5.3.10

检索过滤条件内容输入参数自定义类型检索条件

整形值，检索返回的结果数量上限，结果按相似

结果返回数量上限输入参数

度值从高至低排序

返回值是一个二维矩阵，矩阵第i行与待比对特

征集合中第i个特征对应，表示该特征的检索结

检索结果内容输出参数

果列表，结果按照相似度从高到低排列

单个检索结果数据类型见5.3.11

检索结果数量输出参数待检索特征实际输出的检索结果数量

函数返回值：调用成功，返回0；调用失败，返回非0。

4算法版本号获取函数

15

GB/TXXXXX—XXXX

用于获取算法版本号的函数，调用参数见表37。

表37算法版本号获取函数参数列表

参数输入/输出类型参数说明

版本信息内容输出参数自定义算法版本信息内容

函数返回值：调用成功，返回0；调用失败，返回非0。

5算法资源释放函数

用于释放算法相关资源的函数。

函数返回值：调用成功，返回0；调用失败，返回非0。

6算法服务接口

6.1接口概述

算法服务接口环境见图4。智能应用系统通过该接口实现对算法服务的调用维护。