后端视频智能功能实现方案

1、视频智能分析实现方案1、 实现的功能在智能分析系统中，智能分析模块（嘉崎智能分析模块）从视频监控平台获取视频码流后对其进行智能分析，并将分析结果（告警信息及视频截图）上报给视频监控平台，视频监控平台将分析结果展现给客户端，整个结构如图所示。智能分析模块需要完成如下功能：1、实现视频分析算法，包括穿越警戒区域、进入区域检测、离开区域检测、徘徊检测、聚集检测、交通拥挤检测、非法停车检测、车辆逆行检测、单向人流量检测、双向人流量检测、物品丢失检测、物品遗留检测；2、从视频监控平台获取压缩的视频码流，解码并进行分析。（码流格式为720P 3M码流）；3、输出视频流，其中包含规则信息和实时分析信息，平台

2、将包含规则信息和实时分析信息的视频流转发到客户端，同时，需要提供码流的解码库，便于客户端解码展现；4、接收智能分析规则，包括区域、阀值等参数设置；5、将分析结果和截图上报到视频监控平台；平台需要完成的功能：1、 将前端编码设备的码流转发给智能分析模块；2、 从智能分析模块请求视频流，并将流转发给客户端；3、 接收智能分析模块的分析结果和截图；4、 从客户端接收规则设置，将请求下发到智能分析模块；5、 平台可提供SDK，便于智能分析设备获取视频，解码得到YUV数据；客户端需要完成的功能：1、客户端提供界面，便于用户设置智能分析规则；2、展现实时视频，包含规则信息和实时分析信息；3、展现分析结果和

3、截图；4、其它功能，如报表等。2、 平台协议介绍目前，前端设备与平台之间、平台与客户端之间信令协议为SIP+XML协议，媒体协议为RTP/RTCP协议，视频建立的流程如下图所示；SIP+XML消息示例如下（平台从前端编码器获取视频编码参数）：请求：MESSAGE sip:42010000032570122961:5060 SIP/2.0Via: SIP/2.0/UDP 1:5060;rport;branch=z9hG4bK921473260From: ;tag=849763891To: Call-ID: 2064933922cms10310353115060

4、cms10310353115060CSeq: 393273 MESSAGEContact: User-Agent: SIP .NET 1.0 evaluation versionMax-Forwards: 70Content-Type: application/global_eye_v10+xmlContent-Length: 407响应：SIP/2.0 200 OKVia: SIP/2.0/UDP 1:5060;rport;branch=z9hG4bK921473260From: ;tag=849763891To: Call-ID: 2064933922cms1031035

5、3115060cms10310353115060CSeq: 393273 MESSAGEUser-Agent: SIP .NET 1.0 evaluation versionAllow: INVITE, ACK, OPTIONS, CANCEL, BYE, SUBSCRIBE, NOTIFY, MESSAGE, INFO, REFER, UPDATEContent-Type: application/global_eye_v10+xmlContent-Length: 6283、 实现方案智能分析模块与平台整合有两种方式：1、智能分析模块实现SIP协议、RTP/RTCP协议，与平台之间通过协议方

6、式交互；2、智能分析模块提供SDK，平台开发代理模块，完成嘉崎SDK与SIP协议的转换。本项目计划要在1月10日完成，考虑到时间进度，我们建议采用SDK方式接入。虹信和嘉崎都向对方提供相应SDK。3.1 基本流程3.1.1 从前端编码器获取视频智能分析模块调用SDK（平台为智能分析模块提供获取视频SDK），从平台获取视频流并解码得到YUV数据。3.1.2 平台开始分析任务1、客户端在界面上设置规则，通过SIP消息发给中心管理单元，然后透传给代理单元；2、代理单元将SIP消息转换为嘉崎SDK，调用SDK向智能分析模块下发规则；3、规则设置成功后，客户端请求开始分析任务；4、代理单元同样将开始分析

7、任务转换为嘉崎SDK后下发给智能分析模块；5、智能分析模块根据3.1.1的方法获取视频进行分析。3.1.3 告警结果上报1、智能分析模块对视频进行分析，将分析结果（告警信息）和图片通过SDK（嘉崎为虹信提供）回调函数告知代理单元；2、代理单元将告警信息转换后转发给中心管理单元；3、代理单元将图片信息转换后转发给图片管理单元；4、客户端从中心管理单元上查看相关告警信息。3.1.4 请求实时分析视频平台向智能分析模块请求视频，视频信息中包含规则信息和实时分析信息。1、客户端请求实时分析视频，代理单元调用SDK（嘉崎提供）下发请求给智能分析模块（接口中包含媒体分发单元的IP和端口）；2、智能分析模块

8、将视频打包成标准RTP数据包后发送给媒体分发单元，媒体分发单元将数据分发给客户端。3.2 虹信为嘉崎提供的接口3.2.1 SDK初始化SDK初始化 HxAgent_Initial函数原型int HxAgent_Initial()函数功能SDK初始化参数无返回值0：成功；其它值：失败；3.2.2 SDK销毁SDK销毁 HxAgent_Destory函数原型int HxAgent_Destory()函数功能SDK销毁参数无返回值0：成功；其它值：失败；3.2.3 设置媒体处理回调函数设置媒体处理回调函数HxAgent_Setmediacallback函数原型void HxAgent_Setmedi

9、acallback(HxAgent_mediacallback proc);函数功能设置媒体处理回调函数参数HxAgent_mediacallback：媒体回调函数说明：回调函数原型为：typedef int(*HxAgent_mediacallback)(long SinkID, char *pBuf, long nSize, FRAME_INFO* pMediadata, long reserved); /reserved为userdata其中，SinkID：为请求视频（HxAgent_StartVideo）时返回的值；pBuf：媒体数据；nSize：媒体数据长度；pMediadata：媒

10、体信息，如视频的宽、高、YUV格式（目前只支持YUV420），帧率等。在使用中应注意，媒体回调函数不能被阻塞，上层应用得到YUV数据后，应尽快拷贝到其它位置进行后续处理。返回值0：成功3.2.4用户登录登录函数HxAgent_Login函数原型int HxAgent_Login(char* username,char *password, char* serverip, UINT port, char* ResouceID);函数功能登录到视频监控平台参数username：登录的用户名password: 用户密码serverip:服务器的ip地址serverport：服务器端口号Resouce

11、ID:暂时不用返回值0：成功；其它值：失败；注：此处的函数返回值只表明函数调用成功，并不代表是否真正登录成功到平台，登录的结果要在事件回调函数中进行处理。3.2.5 用户登出用户登出HxAgent_LogOut函数原型int HxAgent_LogOut();函数功能用户登出参数无返回值0：成功；其它值：失败；3.2.6 请求视频请求视频HxAgent_StartVideo函数原型long HxAgent_StartVideo(char* puid, int channelno, int mediatype, int transType, long calluserdata,int playW

12、nd);函数功能请求指定的视频播放参数puid：设备id号；channelno：设备通道号；mediatype：视频：HXAGENT_VIDEO 音频：HXAGENT_AUDIOtransType：HXAGENT_TRANS_UDP、HXAGENT_TRANS_TCPplayWnd:视频播放窗口句柄返回值=0：成功 ,该返回值为请求视频的句柄，用于停止视频或媒体回调中进行关联；3.2.7 停止视频停止视频HxAgent_StopVideo函数原型int HxAgent_StopVideo(long SinkID);函数功能停止视频参数SinkID：调用HxAgent_StartVideo返回的

13、视频句柄返回值0：成功；其它值：失败；注：媒体数据回调处理函数int(*HxAgent_mediacallback)(long SinkID, char *pBuf, long nSize, FRAME_INFO* pMediadata, long reserved);含义解码一帧YUV数据的回调处理函数参数说明SinkID：为请求视频（HxAgent_StartVideo）时返回的值；pBuf：媒体数据；nSize：媒体数据长度；pMediadata：媒体信息，如视频的宽、高、YUV格式，帧率等。struct FRAME_INFOenum AUDIO16 = 1, RGB32 = 2, YV

14、12 = 3, UYVY = 4, YUV420 = 5 ; long nWidth; / 画面宽，单位为像素，如果是音频数据则为0long nHeight; / 画面高，单位为像素，如果是音频数据则为0long nStamp; / 时标信息long nType; /数据类型，见上表: RGB32 YUV420long nFrameRate;/ 编码时产生的图像帧率;在使用中应注意，媒体回调函数不能被阻塞，应用得到YUV数据后，应尽快拷贝到其它位置进行后续处理。3.3 嘉崎为虹信提供的接口以下暂以功能来划分接口3.3.1 SDK初始化3.3.2 SDK销毁3.3.3 登陆智能分析模块平台会检测智能分析模块是否在线。3.3.4 断开与智能分析模块连接3.3.5 下发分析规则平台下发规则给智能分析模块，对于不同的算法所包含的规则不同。3.3.6 开始视频分析任务接口中包含平台服务器IP、端口、用户名、密码、设备标识、通道号3.3.7 停止视频分析3.3.8 设置事件回调函数平台需要接收分析结果的告警消息和告警图片，而且告警消息和告警图片通过ID来标识。告警消息包含：事件类型、发生的时间点等信息；告警图片：JPG格式或其它？采用什么方式传输？3.3.9 请求实时分析视频平台需