视频摘要分析平台技术方案最新版.docx

.视频摘要分析平台技术方案中国.深圳深圳市华尊科技有限公司2013年9月目录1产品概述52核心功能53云计算特点63.1海量视频摘要分析处理能力63.2按需处理任务，快速响应摘要分析需求63.3自动化调度，确保摘要分析业务最佳响应73.4丰富的运维管理，实现高效管理维护74平台架构84.1平台技术架构84.2平台逻辑架构104.3平台部署架构114.3.1方案一：集中处理、分级调阅114.3.2方案二：集中管理、分布处理135平台功能模块155.1CMS 中心管理控制模块155.1.1基本信息管理165.1.2信息信令转发165.1.3任务派遣165.1.4媒体数据转发175.1.5负载均衡175.2VSS 视频摘要处理模块175.2.1服务状态上报185.2.2视频获取185.2.3视频适配和解码适配195.2.4视频转码195.2.5视频摘要处理195.2.6执行视频摘要任务195.2.7摘要数据转发205.2.8处理任务更新205.3NIU 视频数据管理模块205.3.1服务状态上报205.3.2原始录像存储215.3.3录像上传服务215.3.4摘要文件存储215.3.5文件管理服务215.3.6视频摘要合成215.3.7媒体数据转发225.3.8视频摘要播放225.3.9视频特征搜索225.3.10原始录像回溯225.4CU综合客户端235.4.1用户录像上传235.4.2视频摘要播放操作245.4.3视频特征过滤265.4.4视频内容搜索275.4.5基本信息验证285.5Web 网管软件模块285.5.1视频资源管理285.5.2摘要任务配置295.5.3用户权限管理305.5.4服务管理配置305.5.5系统日志管理305.5.6运行状态监测316平台规格参数316.1平台性能316.2兼容性326.3扩展能力331 产品概述华尊科技的视频摘要分析平台的应用目标是有效利用存储的视频文件资源，从海量的视频文件中迅速定位播放相关事件的视频，找出有价值的视频信息，缩短视频回放翻查时间，节省人力，使查看所有视频成为日常工作的一部分。 视频摘要分析平台基于云计算架构，能够对重点监控区域的海量实时视频及录像文件进行特征分析，使原来需要数小时查看的文件，在几分钟内可以快速浏览查看。用户通过摘要回放，可以快捷的预览视频覆盖时间内的可疑事件和事件发生时间。并可以根据摘要短片中的单个事件索引，直接链接播放可疑事件的原始视频，观看整个事件的真实情况。同时平台还提供对处理后的视频文件进行物件特征搜索功能，用户可以通过设置活动物件大小、移动方向以及颜色等信息，对大范围的视频进行搜索，找出与用户设置信息类似的物件，并通过查找结果，回溯到原始视频。2 核心功能 缩短录像查看时间：可以对长时间的录像进行处理，将有价值的内容信息抽取出来，合并成一个几分钟的短片进行快速查看，使用户可以通过短片，快速找到视频中的有价值的信息。有效的解决长时间查看录像的弊端，提高录像倒查工作效率。 事件特征检索：提供视频特征检索功能，可以对结构化处理后的视频文件，根据事件特征进行视频内容搜索。有效的过滤掉无用以及多余的视频信息。例如：可以自定义颜色、大小和移动方向等特征，对单个或多个摘要视频进行搜索，将所有符合搜索条件的视频内容提取出来进行统一的进行摘要查看、回放原始视频，进一步提高视频倒查的效率。 长期保存有价值视频录像：提供视频结构化处理功能，能够将录像的背景和物件进行处理和分析，将视频录像的背景，活动物体出现时间，物件的特征信息分别以数据库文件的方式进行记录存储，并可以通过点击短片中的事件，回溯原始视频，可以实现将有价值的视频进行截取，并录入相关说明信息，进行长期保存。3 云计算特点3.1 海量视频摘要分析处理能力视频摘要分析平台基于云计算架构，管理控制、处理能力、数据存储模块独立分离，各模块基于网络互联互通，处理能力实现集中服务。在新增大批量视频摘要处理任务或任务的计算能力不足（如高清视频处理），只需增加VSS视频摘要处理模块，相应的计算能力得到提升。短时间内实现大规模资源部署，实现海量视频摘要分析处理。3.2 按需处理任务，快速响应摘要分析需求 视频摘要分析平台支持计算资源动态流转，以最小的硬件资源代价，支撑视频摘要处理任务需要的不确定性。当一个计算节点、服务节点不能满足任务处理能力时，可动态调用其他计算资源参与视频摘要处理任务，实现业务负载增加时，计算资源弹性伸缩，快速响应视频摘要处理任务。3.3 自动化调度，确保摘要分析业务最佳响应视频摘要分析平台支持自动化任务调度和派遣，基于负载均衡策略，实时监测各VSS视频摘要处理模块的业务负载状况，自动均衡各处理模块的摘要任务数，实现多任务共享计算资源，减少视频摘要分析处理模块的数量，实现计算资源均衡，错峰填谷，合理利用，形成一个统一的计算私有云，确保各视频摘要分析处理任务的及时响应。3.4 丰富的运维管理，实现高效管理维护视频摘要分析平台提供独立的基于WEB的全景配置、任务调度、维护管理能力，实现各管理控制模块、摘要分析处理模块、视频数据管理模块实时网络监控、存储容量监控、计算资源监控、故障监控、性能监控、数据库监控等多种监控手段和能力。同时拥有完善的多角色权限管理、系统日志管理、多区域计算资源状态管理、精确计算各种IT资源（CPU、内存、存储、网络流量等），实现高效管理和维护。4 平台架构4.1 平台技术架构视频摘要分析平台，按用户系统架构划分，主要包括业务应用层、系统运行支撑层和技术数据层。如下图所示： 设备层：基础数据层为视频摘要分析平台提供视频原始数据资源，数据来源于三类：其一、前端监控摄像头实时直接接入本平台，或通过监控联网平台实时接入本平台；其二、前端存储设备（DVR/NVR）提供视频资源，接入本平台，或联网监控平台中的IP-SAN存储设备提供视频资源，接入本平台。其三、通过移动取证终端、移动存储介质等手段上传至本平台。 基础服务支撑层：系统支撑层主要为应用层的功能提供服务支撑，包括中心服务、视频特征分析服务、存储与合成服务等。中心服务：服务单元认证、处理任务委派、控制信令转发。文件存储：对处理后的视频和数据进行存储和管理。视频特征分析：对视频文件进行结构化处理，将视频中活动物件和背景分离，并提取物件特征信息。 业务应用层主要指呈现给用户的界面和功能模块，包括摘要点播、视频特征检索、文件查询管理和系统综合配置等功能摘要点播：摘要点播处理后的单个视频文件，快速浏览视频中活动物件，选择回溯到原始视频。视频特征检索：对多个视频文件进行物件特征搜索，获取相应的物件列表，回溯原始视频。文件查询管理：对系统相关的文件进行综合管理，提供查询功能。系统综合配置：通过客户端可以对平台的基础数据、关联设备、用户权限以及系统日志进行综合配置管理；4.2 平台逻辑架构平台从逻辑上来说，主要分为五大模块： CMS中央管理 VSS摘要处理 NIU录像存储与合成 CU客户端 Web后台其逻辑关系如下图所示：首先视频流来自两个方面，用户上传和平台获取，用户上传的录像文件通过CU客户端上传；VMS平台获取的视频直接连接到VSS摘要处理单元进行处理；VMS处理完成后将结果文件转发到NIU摘要合成单元进行合成以及存储；摘要视频通过NIU转发到CU客户端进行点播和检索；摘要任务通过Web进行配置；所有流程的信令转分发通过CMS进行调配。4.3 平台部署架构4.3.1 方案一：集中处理、分级调阅下面是视频摘要分析平台集中部署在监控中心的总体架构示意图：架构说明： 采用“集中处理、分级调阅”的架构，适用于分局或派出所等规模中小型应用场景。视频摘要分析平台的各个单元集中部署在公安分局监控中心，构成一个视频摘要处理云计算中心。因此，所有的视频摘要任务处理都集中在公安分局监控中心，派出所仅需要部署客户端实现视频上传、摘要处理、摘要点播、视频检索、原始视频回溯、下载等各种功能。采用“集中处理、分级调阅”的架构，能够实现视频图像集中处理，通过虚拟集群、负载均衡、各单元分布式计算等云计算技术实现计算资源动态流转、弹性伸缩，同时设备集中维护管理；在视频图像集中存储在公安分局的情况下，不用占用视频传输带宽。4.3.2 方案二：集中管理、分布处理系统部署采用集中管理、分级处理的架构，下面是视频摘要分析平台部署总体部署架构示意图：架构说明：采用“集中管理、分布处理”的架构，适用于市级公安机关等大中型应用场景。在市级监控中心仅需部署视频摘要分析平台的中心管理控制单元，视频摘要处理单元和视频数据管理单元等计算和存储资源可分别部署在各个派出所。同时建议在监控中心也部署一套视频摘要处理单元和视频数据管理单元作为中心的备用，或中心部分监控视频接入的视频摘要处理，或作为各派出所在自身计算资源不足的情况，动态调用市级监控中心的计算资源。各派出所接入的前端视频图像均由部署在本派出所的视频摘要处理单元和视频数据管理单元进行视频摘要处理。如果本派出所内的计算资源不足时，可自动调度市级、区县分局或相邻派出所计算资源参与处理。派出所同样需要部署客户端实现视频上传、摘要处理、摘要点播、视频检索、原始视频回溯、下载等各种功能。平台采用“集中管理、分布处理”的架构，通过中心管理控制单元实现对各区县分局、派出所计算节点资源实时监控，动态调用计算资源，按需处理各节点摘要处理任务，均衡各个处理单元的性能以实现按需分配及资源共享、应用的最大化。能够降低单点故障风险，某一派出所的网络故障不会影响其他派出所。5 平台功能模块5.1 CMS 中心管理控制模块CMS中心管理控制单元 中心管理控制模块的主要功能是实现对所有模块进行的统一管理控制，实现设备授权、用户管理、日志管理等功能。5.1.1 基本信息管理基本信息管理主要包括两个方便，服务器的配置管理和用户信息管理。5.1.1.1 服务器配置管理对系统内各个服务单元和各个功能模块进行基础参数配置及管理。验证其他服务单元身份信息，协调和管理相关服务单元。5.1.1.2 用户信息管理用户信息管理包括用户权限、用户查询、用户增加、修改和删除、用户锁定解锁功能、用户分组管理、用户访问日志记录等功能。5.1.2 信息信令转发信息信令转分发主要是针对数据同步，如各个服务单元的状态同步，基本信息的实时更新等内容，同时通过信令协调和管理各个服务单元。5.1.3 任务派遣任务派遣主要根据用户配置任务的类型，优先级将任务分派到相关的服务模块进行处理。任务内容主要包括摘要实时处理任务派遣，摘要录像视频处理任务派遣，根据优先级别自动分派任务，用户手动更改任务信息派遣等。5.1.4 媒体数据转发此处的媒体数据转发主要是用于级联使用，在非级联状态下，CMS不负责媒体数据的转发，转发的数据主要有两类：原始录像视频：用户上传的视频文件。摘要数据文件：主要转发由下级的服务单元处理生成的摘要数据文件。5.1.5 负载均衡 负载均衡的主要目的是根据平台的各个服务单元（中心管理单元、视频摘要单元、视频数据单元）上报的信息，如CPU运行状态、硬件资源耗用情况、任务属性等信息，通过分析，有效的分摊各个服务单元工作任务，平衡服务单元的资源使用状态，维持和保障服务单元和整个平台的稳定性。5.2 VSS 视频摘要处理模块VSS视频摘要处理单元 视频摘要处理模块的主要功能是实现对视频的统一接入，转码，处理流媒体转分发等功能。5.2.1 服务状态上报主要是将视频摘要处理单元的状态信息，如内存占用率，CPU使用率，硬盘使用情况等信息上传到中心管理控制单元。5.2.2 视频获取通过整合接入，实现对不同视频源的获取，主要有实时视频获取，录像视频获取，用户上传视频获取。5.2.2.1 实时视频获取实时视频的获取主要来自两个方面，视频监控平台和视频设备，都需要通过整合接入，将实时视频接入到视频摘要处理模块进行实时摘要处理。5.2.2.2 录像文件下载录像文件主要来自两个方面，视频监控平台和硬盘录像机，都需要通过整合接入，将录像文件下载到视频摘要处理模块进行摘要处理。5.2.2.3 用户文件上传用户主动上传的录像文件，能够直接在视频摘要处理模块内进行临时的保存并进行视频摘要处理。5.2.3 视频适配和解码适配提供视频适配功能主要是针对不同厂家的视频进行适配，适配完成后自动进行解码，并自动开始摘要处理任务。5.2.4 视频转码支持将非标准的视频格式转换为标准的H.264编码的AVI视频，如海康、大华、华三的私有视频格式。可以将不同厂家品牌和视频监控平台的录像文件转换为标准的AVI格式，MPEG4编码的视频文件，以供给视频特征处理以及查看播放。同时有效的提高整体的编解码、传输、处理的效率。5.2.5 视频摘要处理视频摘要处理能够针对实时视频、录像文件、用户上传的视频文件，在不修改原始文件的前提下，快速提取录像中的背景图像数据和运动物体的图像数据，并记录运动物体的特征信息，单个视频摘要处理单元支持并发处理8路视频。5.2.6 执行视频摘要任务根据来自CMS的摘要任务，按照任务的优先级别和当前的服务单元处理状态自动对任务进行排序并执行摘要处理任务。5.2.7 摘要数据转发摘要数据的类型包括以下两种：A、把摘要处理生成的文件，发送到指定的视频数据管理单元；B、把原始录像文件数据，发送到指定的视频数据管理单元。5.2.8 处理任务更新当接受到来自CMS的任务更新通知时，可以自动调整摘要处理任务的顺序、排序、处理状态；支持可以用户手动进行任务处理优先级的调整和排序。5.3 NIU 视频数据管理模块NIU视频数据管理单元视频数据管理单元的主要功能包括摘要视频合成、视频数据分发、文件管理服务功能。5.3.1 服务状态上报主要是将视频数据管理单元的状态信息，如内存占用率，CPU使用率，硬盘使用情况等信息上传到中心管理控制单元。5.3.2 原始录像存储针对用户上传的以及从VMS平台获取到原始视频数据进行存储，存储内容、空间大小和时间长短可以根据配置的存储策略自动进行适配，或用户手动调整和增减。5.3.3 录像上传服务针对用户在客户端查看摘要视频时，当发现有需要下载的原始视频内容是，需要进行下载，此时可根据用户选择的录像和时间段，将对应的录像文件上传到客户端供客户使用。5.3.4 摘要文件存储针对来自于VSS视频摘要处理单元的视频摘要结果文件数据进行存储，存储内容、空间大小和时间长短可以根据配置的存储策略自动进行适配，或用户手动调整和增减。5.3.5 文件管理服务针对存储在视频数据管理单元上的原始录像文件和摘要结果文件进行统一的管理和操作，包括配置存储策略、查看文件信息、删除无效文件等管理操作。5.3.6 视频摘要合成视频摘要合成功能能够将来自视频摘要处理单元的结果文件进行合成操作，生成为摘要视频，支持在客户端直接进行点播、查看、特征过滤等操作。5.3.7 媒体数据转发视频数据管理单元的转分发数据主要包括以下两类：A、原始录像回放时的视频分转发B、摘要视频数据的分转发5.3.8 视频摘要播放视频摘要点播根据来自客户端的控制命令点播指定的原始录像、摘要视频整体或指定的摘要事件，单个视频数据管理单元支持50路视频并发点播和播放。5.3.9 视频特征搜索根据用户设定的搜索条件反馈查询结果（包括运动物图片清单及图片数据）。其中，搜索条件包括：录像时间范围、设备地址、视频通道，录像文件名称，VSS视频摘要处理单元地址、NIU视频数据管理单元地址、物体运动方向、颜色、大小，合成密度、合成速度，用户感兴趣或不感兴趣的区域等等。5.3.10 原始录像回溯根据来自CU客户端的控制命令，对用户指定的运动物体图像查找与之对应的原始录像文件并进行播放。5.4 CU综合客户端5.4.1 用户录像上传文件上传模块，支持用户手动上传本地文件和建立DVR获取计划任务来自动获取文件，将需要进行特征分析处理的视频文件上传至相关服务单元。（1） 本地文件上传用户进行手动上传本地文件时，可以选择视频文件类别与转换格式，输入文件名称以及视频文件描述信息。点击上传文件按钮，会出现文件上传进度条。进度条完成后，会自动跳转到文件管理界面，看到该文件的处理状态。（2） 计划任务下载平台相关联的所有DVR/NVR以及IP-SAN设备，可以点击设置计划任务，来为该设备设置文件自动下载任务。设置计划任务的信息，需要选择DVR的一个通道、计划名称和获取时间段。通道和计划配对后，文件传输服务会自动传输相应的视频文件到相应的视频摘要处理单元。5.4.2 视频摘要播放操作5.4.2.1 视频摘要点播一旦生成视频摘要，可快速浏览视频摘要。在查看视频片段过程中，用户可整帧快进，统一所有移动物体的速度，以便快速浏览。视频剪辑也可作为一个原始视频流的索引。在任意时间，双击摘要视频中的对象便可回溯原始录像。5.4.2.2 事件标识将摘要视频中所有事件进行框选标识，便于用户更加直观的选择和查看事件。5.4.2.3 时间标记把每个事件都加上时间标记，使用户可以直观的看到每个事件首次出现在视频的时间。5.4.2.4 播放速度和密度控制能够实现加快和放慢播放的速度。能够实现调节播放显示的事件密度，可以调大和调小，便于更加有效的提取有效的事件。5.4.2.5 原始视频回溯在摘要视频播放时，选中某个事件对象，能够实现根据事件信息回溯原始视频，并进行原始视频播放和查看。5.4.3 视频特征过滤能够实现对单个摘要处理后的文件，进行单独或者统一的事件的特征搜索，输入事件的颜色、尺寸、运动方向等信息，返回搜索结果。（1） 颜色过滤根据自定义的颜色或者颜色区间进行过滤，排除或抽取相应的对象并进行摘要视频播放。（2） 尺寸过滤根据自定的大小框架，排除或抽取相应的对象并进行摘要视频播放。（3） 运动方向过滤选取上、下、左、右四个方向，排除或抽取相应的对象并进行摘要视频播放。（4） 混合检索多种检索条件混合搭配，排除或抽取相应的对象并进行摘要视频播放。5.4.4 视频内容搜索搜索目标可以选择所有已经摘要过的来自VMS/设备通道以及用户上传的录像文件。支持对视频内容进行语意检索，如输入：红色向左行的大型物件，则所有符合条件的物件将会被搜索出来，并通过列表和快照进行展示，供用户快速的定位和调阅。5.4.5 基本信息验证用户在登陆客户端时，能够对用户的基本信息进行验证，如果验证不通过则无法成功登陆客户端，登陆成功后，能够再次对各个服务单元的信息进行验证。5.5 Web 网管软件模块主用用于设备状态，摘要任务以及用户的管理，具体需要包括：5.5.1 视频资源管理管理和配置视频源，视频源可以来自VMS联网平台，可以直连设备获取，可以来自用户主动上传。5.5.2 摘要任务配置配置摘要处理任务，任务类型有三种1 对实时视频的摘要处理2 对录像视频的摘要处理3 对用户上传视频的摘要处理可以自由配置任务处理的优先级，可按需的进行人工的分配。5.5.3 用户权限管理系统支持基于角色的权限管理并且可以对角色权限进行微调，采用分级权限的用户授权，除了系统内部管理用户和访问用户，和业务系统相结合，采用分层的用户体系，设置多种用户类型，每个用户类型和用户分配不同的权限类别。5.5.4 服务管理配置实现对各服务节点的服务单元进行