视频结构化技术方案

2、技术服务方案2.1建设内容本次项目的重要建设内容：视频结构化，同时对接整合县局建设的监控视频前端等系统，通过后端建设平台实现视频分析、实战、案件研判、案件侦办等功能。2.2系统结构本次项目设计的平台系统，采用先进的架构体系，实现智能监控，社会资源，案件侦查、研判等功能，同时与警用地理信息系统，警综系统等资源对接，实现地图展现，视频联动、案件侦查等功能。系统建设在公安信息网和视频专网上，系统总体架构如图所示：2.3视频结构化简朴来讲，视频结构化技术是一种将视频内容（人、车、物、活动目的）特性属性自动提取技术，对视频内容按照语义关系，采用目的分割、时序分析、对象辨认、深度学习等解决手段，分析和辨认目的信息，组织成可供计算机和人理解的文本信息的技术。从数据解决的流程看，视频结构化描述技术可以将监控视频转化为人和机器可理解的信息(如下图)，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。在视频结构化描述的内容方面，公共安全关注的视频信息重要是：人员、车辆、行为。2.3.1人员结构化在视频中除了涉及人员的面部精拟定位、面部特性提取、面部特性比对，人员的性别、年龄等特性范围外，还可对人的衣着、运动方向，新增是否戴帽子、是否戴眼镜、是否背包、拎包、打伞、是否骑车等信息进行结构化描述。2.3.2车辆结构化随着智能交通高清电警、卡口、虚拟卡口、停车场的广泛建设和应用、借助智能辨认算法将电警、卡口、停车场出入口等场合的车辆相关结构化信息存入车辆主题库，涉及车牌、车型、车牌颜色、车辆品牌、车辆类型、车身颜色、车标及遮阳板、是否系安全带、打电话、车辆年检标、摆件挂件、司乘人员的人脸。基于这些车辆关键特性信息，形成上亿条过车记录数据，从而推动了后台大数据分析服务的发展应用和行业数据挖掘，形成隐匿车辆挖掘、套牌车辆筛选、初次入城、一车多牌、一牌多车、频繁过车、相似车辆串并、高危车辆积分模型、车辆行驶轨迹分析、时空碰撞等实战技战法的应用。在此基础上对车辆特性数据的大数据搜索，即可迅速找到所有符合条件的车辆信息，涉及行驶时间与方向、行驶速度、车标、车牌、年款等，还可结合以图搜图的检索方法，在实战平台上调取相关视频和图像文献，快速查询到有关嫌疑车辆信息，还原车辆行驶的轨迹历史信息，实现嫌疑车辆在整个城市的全程运营轨迹查询或结合视频监控信息，实现车辆全程化的可视化轨迹回放，以及对涉事车辆的精确布控和查询，也可以联合公安车辆管理信息库，实现车人关联。2.3.3行为结构化行为结构化即在人员结构化基础上进行检索查询，包含人体行为如越界、区域、徘徊、遗留、聚集等多种行为特性描述。它可以解决快速目的查找问题，如将嫌疑人的截图输入至侦查系统中，运用人形检索的功能，系统会根据目的嫌疑人的衣着、颜色分布、体态特性快速地在案发点附近的多路摄像头中进行全局搜索，查找出相似的目的，并将结果以快照的形式输出，结合GIS地图进行时空研判分析，刻画出嫌疑人的行动轨迹。通过视频结构化解决后，可以达成如下目的：一方面：是视频查找速度得到极大的提高。视频结构化之后，从百万级的目的库中（相应数百到一千小时的高清视频）查找某张截图上的行人嫌疑目的，数秒即可完毕；千万级目的的库中查找，几分钟即可完毕（假如实现云化，速度会更快）。在结构化基础上进行检索查询，可以解决快速目的查找问题；另一方面是存储容量极大的减少。通过结构化后的视频，存储人的结构化检索信息和目的数据不到视频数据量的2%；对于车辆，不到1%；对于行为降得更多。存储容量极大地减少，可以解决视频长期存储的问题。最后，视频结构化可以盘活视频数据，可作为数据挖掘基础。视频通过结构化解决后，存入相应的结构化数据仓库，对各类的数据仓库可以进行深度的数据挖掘，充足发挥大数据作用，提高视频数据的应用价值，提高视频数据的分析和预测功能。视频结构化面临的问题作为一项视频解决的核心技术，算法对环境比较敏感，受环境干扰大，光线、杂物、恶劣天气、晃动都会影响实际效果，实现高效精确的视频结构化描述技术成为此后一段时间各公司/算法研究机构努力的方向。随着计算机视觉前沿技术的日益成熟，深度学习、高性能计算、海量训练数据、多维信息结合、大数据挖掘分析、目的跟踪、现有算法的优化都将有力快速推动视频结构化分析技术、算法效果的逐步提高。2.4对接服务2.5.1外部接口服务根据需求，为实现公安对侦查数据进行共享整合，我司视频结构化平台支持与原有建设的视频侦查分析系统的数据对接能力，并提供相关技术方案描述数据对接实现方式，对接方案包含数据字典、功能分类、结构定义和交互流程等技术规定。对接方式系统与外部系统的对接方式以webservice方式进行。系统接口标准：本系统采用SOA体系架构，通过服务总线技术实现数据互换以及实现各业务子系统间、外部业务系统之间的信息共享和集成，因此SOA体系标准就是我们采用的接口核心标准。重要涉及：服务目录标准：服务目录API接口格式参考国家以及关于服务目录的元数据指导规范，对于W3CUDDIv2API结构规范，采用UDDIv2的API的模型，定义UDDI的查询和发布服务接口，定制基于Java和SOAP的访问接口。除了基于SOAP1.2的WebService接口方式，对于基于消息的接口采用JMS或者MQ的方式。互换标准：基于服务的互换，采用HTTP/HTTPS作为传输协议，而其消息体存放基于SOAP1.2协议的SOAP消息格式。SOAP的消息体涉及服务数据以及服务操作，服务数据和服务操作采用WSDL进行描述。Web服务标准：用WSDL描述业务服务，将WSDL发布到UDDI用以设计/创建服务，SOAP/HTTP服务遵循WS-IBasicProfile1.0，运用J2EESessionEJBs实现新的业务服务，根据需求提供SOAP/HTTPorJMSandRMI/IIOP接口。业务流程标准：使用没有扩展的标准的BPEL4WS，对于业务流程以SOAP服务形式进行访问，业务流程之间的调用通过SOAP。数据互换安全：与外部系统对接需考虑外部访问的安全性，通过IP白名单、SSL认证等方式保证集成互访的合法性与安全性。数据互换标准：制定适合双方系统统一的数据互换数据标准，支持对增量的数据自动进行数据同步，避免人工反复录入的工作。数据库设计1、设计依据说明数据被访问的频度和流量，最大数据存储量，数据增长量，存储时间等数据库设计依据。2、数据库选型对数据库选型进行确认。3、数据库种类及特点说明系统内应用的数据库种类、各自的特点、数量及如何实现互联，数据如何传递。4、数据库逻辑结构说明数据库概念模式向逻辑模式转换所采用的方法论及工具，完毕数据库概念模式向逻辑模式的转换。具体列出所使用的数据结构中每个数据项、记录和文献的标记、定义、长度及它们之间的互相关系。此节内容为数据库设计的重要部分。5、物理结构设计列出所使用的数据结构中每个数据项的存储规定、访问方法、存取单位和存取物理关系等。建立系统程序员视图，涉及：数据在内存中的安排，涉及对索引区、缓冲区的设计；所使用的外存设备及外存空间的组织，涉及索引区、数据块的组织与划分；访问数据的方式方法。6、数据库安全说明数据的共享方式，如何保证数据的安全性及保密性。7、数据字典编写具体的数据字典。对数据库设计中涉及到的各种项目，如数据项、记录、系、文卷模式、子模式等一般要建立起数据字典，以说明它们的标记符、同义名及有关信息。交互流程1、发现用户需要，建立明确需求在用户反馈里收集到许多用户提出的想法，他们希望我们能提供帮助解决问题的产品；我们也可以积极去观测一些生活中的信息，为灵感的迸发做储备。2、提出设计方案

通过调研，我们得到了大量数据信息，并建立了明确的需求，下一步就是开始提设计方案。3、制作原型

考虑到做交互是一个迭代过程，为设计的产品做一份交互更新日记，记录下交互更新时间、版本名称、更新类型、更新内容、参考需求文档与交互负责人。4、制作交互说明在交互原型上注释，在图上写说明。5、用户测试与评估

产品基本功能实现后，我们会做用户测试，设计是很主观的，并且会受各种因素影响，所以我们的产品难免会存在一些意料之外的问题，通过招募用户来使用我们的产品，我们能收集到一些使用场景中发现问题的反馈，并把这些整理成优化点，完善我们的产品。接口双方责任1、消息发送方遵循本接口规范中规定的验证规则，对接口数据提供相关的验证功能，保证数据的完整性、准确性；消息发起的平台支持超时重发机制，重发次数和重发间隔可配置。提供接口元数据信息，涉及接口数据结构、实体间依赖关系、计算关系、关联关系及接口数据传输过程中的各类管理规则等信息；提供对敏感数据的加密功能；及时解决接口数据提供过程中数据提供方一侧出现的问题；2、消息响应方遵循本接口规范中规定的验证规则，对接受的数据进行验证，保证数据的完整性、准确性。及时按照消息发送方提供的变更说明进行本系统的相关改造。及时响应并解决接口数据接受过程中出现的问题。3、异常解决对接口流程调用过程中发生的异常情况，如流程异常、数据异常、会话传输异常、重发异常等，进行相应的异常解决，涉及：对产生异常的记录生成异常记录文献。针对可以回收解决的异常记录，进行自动或者人工的回收解决。记录有关异常事件的日记，包含异常类别、发生时间、异常描述等信息。当接口调用异常时，根据预先配置的规则进行相关异常解决，并进行自动告警。2.5.2第三方平台对接整合车辆、人脸数据，通过与的脸系统、车辆系统以单点登录的方式实现一站式的登录体验。单点登录的定义是在多个应用系统中，用户只需要登录一次，就可以通过免登陆的方式访问所有互相信任的应用系统。（1）与基础监控平台对接重要以国标28181或厂商提供SDK的方式对接天网