视频结构化方案设计说明书

1、 1.1. 技术方案 1.1.1. 建设背景 随着经济的快速发展. 城市建设速度加快 .城市常驻人口持续增加.人员流 动频繁.引发了一系列的社会治安等城市综合管理问题 .给社会管理工作带来了严峻 的挑战.特别是随着反恐保安形势的日益严峻.党中央、国务院和相关部委已将视频应用 建设定位到维护国家安全和社会稳定的高度.持续深入推进我市视频应用建设势在必 行。 一是贯彻落实上级决策部署的必然要求。习近平等中央领导同志就加强公 共安全、社会立体化治安防控作出了一系列指示批示。国家发改委、中央综治办、公安 部、财政部等9部委办下发关于加强公共安全视频监控建设联网应用工作的若干意见 (发改高技 2015)

2、 996 号）.要求到 2020 年重点公共区域视频监控覆盖率达到 100%.新建改建高清摄像机比例达到100%. 重点行业、领域的重要部位视频监 控覆盖率达到 100% 。国家、省都将视频监控建设列入“十 三五 ” 规划.每年都将 之作为为民办实事的重要内容之一。我市应抢抓机遇 .迅速立项建设。 二是推进社会管理的现实需要。政府出资安装公共摄像头.视频摄像头 总量与城镇规模不断扩大、流动人口的日益增长、推进城乡一体化发展和日趋复杂的 维稳、治安、反恐形势等对视频摄像头的需求极不相称。必须加大中心城区建设密度.同 时向城市边界区域、社区街巷、居 民小区、乡村路口拓展延伸。 三是深化应用的技术保

3、障。当前 .科学技术和信息化已成为推动工作的重要手 段.要实现应用的最大化.需要对部分平台系统升级改造.启动新平台建设 .以便 充分运用数据挖掘、人像比对、车牌识别、智能预警等现代技术 .进一步提高视频 . 图像信息的综合应用水平.保障视频图像安全.实现视频图像加密管理。 1.1.2. 需求分析 存储轻量化 视频数据经过结构化处理.输出形式为图片甚至文本.所占用的空间约为 原始数据占用量的 1%到2%.极大的减轻了数据对存储空间和传输带宽的压力. 便于数据的使用。 通过边缘计算的方式.在前端监控上部署结构化智能盒子.实现在监控前 端就完成视频数据的结构分析. 避免了海量视频数据的回传给网络带宽

4、带来 的巨大压力。回传回来的经过结构化提取的图片后.再经过结构化识别应用服 务集群的识别和分析 .从而达到符合实战的目的。 于此同时 .对于一些特殊场所 需要将原始视频回传进行结构化分析的场景.我们同样提供完成的视频回传 网络 .从而保证业务需求和应用的全面性。 大数据架构 通过大数据架构来搭建后台硬件存储环境.通过引入分布式对象存储、分 布式列数据库设计、分布式计算引擎设计等技术.实现数据的有效存储、高效 . 检索等。 数据标准化 平台按照公安视频图像信息数据库制定的规范要求.依据 GAT 1399.GAT 1400 规范进行接口协议的封装. 支持标准化的结构化数据存储和检索.同时还 支持标

5、准第三方视频流的接入和标准结构化任务调度接口。 应用多样化 本次系统的设计 .不仅满足的视频侦查中所需要的结构化分析功能、文本 特征搜索功能、矢量特征搜图功能、统计查询功能。除此之外.我们还基于海 量结构化数据信息 .提出了一些新型实用符合实战的技战法。系统内嵌应用管 理程序 .能够提供数据检索、 以图搜图、目标类型分析等各类丰富功能.并支持 构建可满足公安、交通、教育、旅游、金融等行业需求的多场景的应用。 1.1.3. 建设原则 扩展性 系统采用灵活、开放的模块化设计 .赋予结构上极大的灵活性.为系统扩展、 升级及可预见的管理模式改变留有余地. 能够很好地随业务系统未来的扩充 和变化进行横向

6、或纵向的扩展提高资源的利用率。且系统支持与公安各业务 . 子系统对接 .实现信息共享。 开放性 系统依据相关的标准、规范进行设计.采用通用、规范和安全的数据通讯 协议和接口 .为卡口系统与其它系统的对接集成提供开放性的数据接口.确保 道路信息高度共享。 规范性 控制协议、传输协议、接口协议、视频编解码、文件格式等符合相应的 国家或行业标准 .避免规模实施后期调整风险的同时.亦能够为数据交换与信 息共享建立标准化沟通渠道。 先进性 在系统设计过程中 .充分借鉴、利用国内外的先进技术和成功经验.在系统 结构和设备选型上精益求精.将高清成像技术、智能视频检测分析技术、摄像 机内嵌车牌识别等代表行业发

7、展趋势的先进、成熟技术有机结合在一起.设 可靠性 考虑系统全天候实时性需求.设计时充分考虑系统的高可靠性. 选用高集 成设备 .采用自动检测、自动监控、自动报警、单点自愈、冗余配置、负载均 衡等技术来有效地保证系统的高可用性和可靠性。 易用性 系统从满足公安实战需要出发.系统采用简洁、友好的人机界面 .具有多媒 体化操作设计 .前端设备支持远程升级和远程故障排除功能.维护便捷 .降低系 统运维管理成本。同时可自动检测系统中设备的运行状态.并示出详细参数 . 以辅佐管理人员及时准确地判断和解决问题。 . 1.1.4. 视频结构化 视频结构化是一种视频内容信息提取的技术.它对视频内容按照语义关 系

8、.采用时空分割、 特征提取、对象识别等处理手段 .组织成可供计算机和人理解的文本信息的技术。从数据处理的流程看 .视频结构化描述技术能够将监控视频转化为人和机器可理解的信息 .并进一步转化为公安实战所用的情报 . 实 现视频数据向信息、情报的转化。 视频结构化技术紧紧抓住视频内容信息处理和网络化共享应用的主线. 行业力争经过若干年的技术攻关和系统建设.全面实现监控视频信息的情报 化、视频监控网络的智慧化.强化警务视频应用的普适性。即实现以机器自动 处理为主的视频信息处理和分析.并且通过技术手段转化为公安工作可用的 情报 ;实现监控网络之间、 终端之间、警种之间的信息共享和主动互操作.实现 主动

9、监控、自动联网分析等网络功能;全方位拓展视频在警务工作中的应用模 式.大幅度提高技术的易用性 .实现以业务民警为中心的随时随地的灵活、 简单、多样的视频按需服务应用。 除了公安行业 .视频结构化技术的应用场景也在智能交通展开来。目前电 警卡口在图侦上的应用需求和频率早就超越了交警 . 因为案件基本都要与车辆发生联系 .这能找出很多的线索。而卡口电警对于车辆的抓拍角度是相对固定的 .能够开发出相应的车辆特征识别技术 .电警卡口属于业务需求和技术实现的一个很好的匹配点。这就是视频结构化的应用储备 .国内有部分厂家已经开发出的摄像机能突破平面图像特征的局限 .得到更精准的三维系信息 .如人体数量 .

10、高度 .物体长度等。 在视频结构化描述的内容方面 .公共安全关注的视频信息主要是：人员、 . 车辆、行为。在视频中把人作为一个可描述的个体展现出来.其中包括人员的 面部精确定位、面部特征提取、面部特征比对.人员的性别、年龄范围、大致 身高、发饰、衣着、物品携带、步履形态等多种可结构化描述信息;对于车辆 的描述信息包括：车牌、车颜色、车型、品牌、子品牌、车贴、车饰物信息 等多种车辆描述信息;对于行为的描述信息包括：越界、区域、徘徊、遗留、 聚集等多种行为描述信息。 首先 .是视频查找速度得到极大的提升。视频结构化之后 .从百万级的目标 库中 (对应数百到一千小时的高清视频) 查找某张截图上的行人

11、嫌疑目标.数秒 即可完成 ;千万级目标的库中查找.几分钟即可完成(如果实现云化 .速度会更 快)。在结构化基础上进行检索查询.可以解决快速目标查找问题。 其次 .是存储容量极大的降低.经过结构化后的视频.存储人的结构化检索 信息和目标数据不到视频数据量的2%;对于车辆 .不到 1%;对于行为降得更多。 存储容量极大地降低 .可以解决视频长期存储的问题。 最后 .视频结构化可以盘活视频数据.可作为数据挖掘基础.视频经过结构 化处理后 .存入相应的结构化数据仓库.对各类的数据仓库可以进行深度的数 据挖掘 .充分发挥大数据作用.提升视频数据的应用价值.提高视频数据的分析 和预测功能。 3.1.4.1

12、 目标智能识别 支持对监控视频中的行人信息进行结构化分析。主要包括区分男、女性 别.区分儿童、 青年、中年、老年等年龄段 .区分黑、灰、棕、蓝、红、白、绿、黄、紫等上下衣颜色 .区分正面、侧面、背面等人脸角度 .区分胖、瘦、正常等 . 人员体态。 支持对监控视频中的车辆信息进行结构化分析。主要包括区分有、无车 牌号码并识别号牌号码功能.区分白、灰、黄、绿、蓝、红、棕、黑、银、橙 等车身颜色 .区分轿车、越野车、商务车、面包车、皮卡车、小型货车、大型 货车、小型客车、大型客车、非机动车、新能源车等车辆类型并识别车辆品 牌、型号、年款等；区分车辆年检标志、纸巾盒、挂坠、摆件、遮阳板等车 辆局部特征

13、。 支持对监控视频中的驾乘人员进行结构化分析.提取驾乘人员特征。主要 包括区分男、女性别 .区分儿童、青年、中年、老年等年龄段 .区分黑、灰、棕、 蓝、红、白、绿、黄、紫等上下衣颜色.区分是否背包、是否戴口罩、是否戴 帽.区分二轮车（摩托车、自行车）、三轮车等驾乘车辆类型。 3.1.4.2 智能算法分析 原始的视频实际上是一种非结构化的数据. 其中的目标只能直观的观看. 不能直接被计算机读取和识别。视频结构化就是将视频这种非结构化的数据 中的目标贴上相对应的标签.变为可通过某种条件进行搜索的结构化数据。视 频结构化的叫法有很多 .如视频目标属性解析、 车辆结构化、 行人结构化、骑 行结构化、人

14、脸结构化、视频矢量分析、 视频智能分析、 视频内容检索分析、 视频内容语义分析、视频机器学习应用等。视频智能处理经过了三个阶段.第 一阶段是单兵设备 .第二阶段是视频分布式处理.第三阶段就是视频结构化。 前 两阶段的特点是视频分析跟业务是耦合的.这在视频量小、业务相对简单时是 适合的 .但难以满足海量视频分析和日益复杂的业务需求。随着视频大数据时 . 代的到来 .需要一种解决方案 .将视频智能分析与业务解耦.一个专注于海量视 频的智能分析 .一个专注于大数据的分析处理和用户的业务需求。 视频结构化发展又分为两个阶段： 第一阶段是目标识别与轨迹提取： l 采用目标检测、特征提取、对象识别、深度学

15、习等分析手段提取视频图像中的目标对象及运动轨迹。 l对目标对象进行分类为人、车、物、行为、事件等不同类别。 将视频进行结构化分析 ,视频会分析如下结果： 把目标做人、车、物分类.生成快照索引信息： 提取活动目标的轨迹信息 有了如上两类结果之后我们就可以做视频的搜索应用了。 人、车、非机动车等分类搜索。 轨迹搜索： 2.1) 通过目标运动轨迹进行搜索：拌线、运动方向、运动区域等 . 2.2) 通过主颜色搜索目标 2.3 ）支持输入图片 .通过目标外观进行相似度搜索 优点： 1） 多种搜索方式：类型搜索、轨迹搜索、颜色搜索、以图搜图。 2） 颜色矫正：克服不同摄像头的偏色问题 第二阶段是二次结构化

16、： . l 进一步提取目标的高层特征包括目标颜色特征 .分类特征 .速度特征等 . 并把目标的轨迹信息以及高层特征形成高效的索引数据。 l 行人、人骑车、机动车结构化。 二次结构化可以说是有智的飞跃.在原有目标分类的基础上.可以做更多 的工作 .支持的属性更多 .视频搜过的召回率、准确率得到大大的提升.具体我 们看一下针对行人、人骑车、机动车的结构化。 行人结构化： 人骑车结构化： 汽车结构化： . .并对结构化之后 优点： 1）算法全面基于深度学习 .搜索性能显著提升。 2）可搜索的矢量特征值更多.从而提高召回率、准确率。 以图搜图：对选定视频点位、时间段内的视频进行结构化处理.并对结构 化

17、之后的人物目标进行以图搜图式特征检索.可根据行人目标图片. 从设备的 信息存储单元搜索相似的行人目标；支持二次级联搜图.搜图结果能够关联至 对应的案件或导出。 对选定视频点位、时间段内的视频进行结构化处理.并对结构化之后的车 辆目标进行以图搜图式特征检索. 可根据车辆目标图片.从设备的信息存储单 元搜索相似的车辆目标；支持二次级联搜图.搜图结果能够关联至对应的案件 或导出。 对选定视频点位、时间段内的视频进行结构化处理.并对结构化之后的骑 行目标进行以图搜图式特征检索. 可根据骑行目标图片.从设备的信息存储单 元搜索相似的骑行目标；支持二次级联搜图.搜图结果能够关联至对应的案件 或导出。 语义

18、搜图：对选定区域、时段内的视频进行结构化处理 . 的人物进行文本特征组合式检索.支持选定性别、年龄、姿态、背包、上衣、 下衣、方向、眼镜、手提包、打伞等特征值检索；搜图结果能够关联至对应 的案件或导出。 对选定区域、时间段内的视频进行结构化处理.并对结构化之后的车辆进 行文本特征组合式检索 .支持选定车牌号码、品牌、类型、车系、车身颜色等 特征值检索；搜图结果能够关联至对应的案件或导出。 对选定区域、时间段内的视频进行结构化处理.并对结构化之后的人物进 行文本特征组合式检索.支持选定性别、年龄、类别、类型、上衣、遮阳伞、 带头盔、头盔颜色、挂牌等特征值检索；搜图结果能够关联至对应的案件或 导出

19、。 3.1.4.3 产品整体性能 1、支持并行处理高清视频能力 可同时并行结构化分析高清视频任务数.至少支持 8路视频并发处理 .批量 提交高清视频 .可同时并行结构化分析的高清视频任务数的高清视频.指的是 视频分牌率为 1920 x1080p 的视频。 2、单个高清视频文件处理速度 单个高清视频文件从提交到分析完成所需要的时间（速度 =视频总时长 分析耗时） .分析速度快 .可达 12倍速 .在视频分辨率为 （ 1920 x1080 ）像素（关 注人、车、人骑车目标数达到2000 ）.帧率为 25fps 的条件下：单个任务：时 长1小时左右的分率为 1920 x1080 原视频、分类检索行人

20、、汽车、人骑车以及 目标特征属性识别 .耗时不超过 5分钟。 . 3、支持多个高清视频文件快速处理 多个高清视频文件从提交到分析完成所需要的时问（速度Nx 单个视频 总时长分析耗时） 。分析速度快 .可达 16 倍速。在视频分辨率为（1920 x1080 ） 像素（关注人、车、人骑车目标数达到2000 ）.帧率为 25fps 的条件下：多个 任务（如 32个视频任务）：即视频时长32 小时左右的分辨率为 1920 x1080 原 视频 .分类检索行人、汽车、人骑车以及目标特征属性识别.耗时不超过 2小时。 5、支持行人特征属性识别 支持行人多种特征属性识别.支持行人 14种属性识别 .支持行人

21、性别、年龄 段、上衣下衣颜色、上衣下衣款式、姿态、是否背包、戴眼镜、拎包、 打伞、戴帽子、戴口罩、发型等属性的识别。 6、支持骑行人特征属性识别 支持骑行人多种特征属性识别.支持骑行人 9种属性识别 .支持骑行人性别、 年龄段、上身颜色、是否戴头盔、头盔颜色、是否戴口罩、是否挂牌、骑行 车车款、骑行车类型等属性的识别。 7、支持车辆特征属性识别 支持车辆多种特征属性识别.支持车辆 14种属性识别 .支持车牌号码、车辆 品牌、车辆子品牌、车牌类型、车牌颜色.车身颜色、车型、是否系安全带、 是否有遮阳板、是否打手机、是否撞损车辆、是否危险品车、挂件、纸巾盒 等属性的识别。 8、支持以人形图在单个视

22、频中搜行人 输入某一人员目标视频截图.此人员在一个或多个原视频中出现.并衣着 相同 .在单个视频中搜索人员 .检出结果按相似度排序 .Top10 命中率 90。 . 9、支持以人形图在多个视频中搜行人 输入某一人员目标视频截图.此人员在一个或多个原视频中出现.并衣着 相同 . 在多个视频中搜索人员.检出结果按相似度排序.Top100 命中率 80。 10 、支持视频回溯 点击目标可以回溯其在原始视频中的移动轨迹.系统自动把视频中出现 的单个目标分类检索.点击单个目标快照.可以看到动态标注的该目标出现消 失的一小段片段。 11 、支持案件管理 包含案件基本信息、 图侦线索、目标轨迹 .支持案件的

23、增删改查 .将有价值 的图片或视频添加为线索. 系统根据线索的时空信息在离线Gis地图上自动生 成目标的移动轨迹 .并可生成 word 形式的案件报告。 12 、硬件参数 (1 ）显示 LCD 尺寸 15.6 英寸 .分辨率 1920 1080 ； (2 ） CPU：参照或相当于英特尔酷睿 i78750H ； (3 ） GPU: 参照或相当于 NVIDIA GeForce GTX1070 (Laptop)； (4 ）操作系统 : 参照或相当于 Ubuntu 16.04.3 桌面版； (5 ）内存： 32GDDR42400 ； (6 ）硬盘： 1T机械硬盘、 256 固态硬盘； (7 ）网卡：千

24、兆网口。 1.2. 售后服务承诺 针对本项目的售后服务 .我公司作出如下售后服务承诺。 . 1.2.1. 产品运输及保管 我方负责产品到施工地点的全部运输.包括装卸及现场搬运等；负责产品在 施工地点的保管 .直至项目验收合格；负责其派出的施工人员的人身意外保险。 1.2.2. 质量保证 1我公司郑重承诺：技术参数要求表中如无特别要求.则质保期为自验收合 格之日起一年 .技术参数要求表中有特别要求的则以技术参数要求表为准。质保 期内免费上门维修、免费更换零部件。 2属于国家规定“三包”范围的.其质量保证期不得低于“三包”规定。 3质量保证期承诺优于国家 “三包” 规定的 .或优于谈判文件规定的 .按成交 供应商实际承诺执行。 4合同产品或服务由制造商（指产品生产制造商或服务实际提供人）负责 标准售后服务的 .应当在响应文件中予以明确说明。 1.2.3. 售后服务技术支持 1、售后服务： （1）按国家有关产品“三包”规定执行“三包”； （2）免费送货上门、安装调试.质保期内免费保修； （3）接到故障通知后1 小时内响应 .8 小时内派认证工程师到达现场.12 小 时内解决问题 .12 小时内仍无法解决问题的.提供相同性能参数的备件替用.保证 网络正常运行； （4）定期回访以及维修； . （5）质保期内所有设备免费上门维修服务、免费更换零部件、免