基于公安实战的大数据解决方案-浙江大华

化繁为简融合智远-基于大数据的公安实战业务大华云实战方案云技术+大数据与公安信息化引言结构化数据非结构化数据>95%非结构化数据在公安行业的困境引言平安城市应用-痛点系统独立、数据孤立（资源独立、利用率低、数据未共享）智能化程度低

（未对视频图像做结构化分析）视频图像信息价值低（有用信息未能应用到公安各个系统）视频存储容量巨大

（未分级存储）缺乏视频图像实战

（只用于事后查证）系统健壮性问题

（运维管理薄弱、机制陈旧、缺乏应用级可靠性技术）视图大数据云平台架构分析引言视频联网监控系统…安全管理、运维管理、第三方接入上层行业应用系统Hadoop大数据平台数据整合采集接入视频、音频、图片、文本、日志、记录、普通文件等结构化数据、非结构化数据智能交通系统社会面汇聚系统人工采集上传云计算（计算虚拟化）IT基础服务层YARN分布式数据库分布式计算-准实时分析流计算-实时处理分布式全文检索智能视频分析集群云视频应用服务层车数据分析海量查询统计分析智能研判人数据分析人脸大库查询人脸实时比对人流统计数据挖掘关联聚类多维分析数据仓库视图智能分析行为智能分析视频浓缩结构化分析视图基础服务视图存储全文检索流媒体业务视频综合标准应用接口图侦应用智能交通情报研判社会化服务警务综合视图库大数据平台云存储（分布式存储）HDFS业务框架|深度应用、全警应用云存储数据统一存储云计算虚拟化分布式计算人脸识别、卡口数据分析、以图搜图、视频浓缩、视频摘要一切皆服务云平台支撑所有应用分析存储视频基础平台+图像信息库视频侦查大数据研判可视指挥运维管理…数据分析（刑侦）（情报）（治安）（指挥）（信通）目录视图摘要大数据服务2数据可视化-公安大数据图墙3海量视图云存储1车辆大数据应用系统4存储历程：超过十年的视频存储持续投入和专注云存储数据统一存储云计算虚拟化分布式计算公安数据融合、业务融合存储皆服务云存储支撑所有应用分析存储视频系统1视频系统…图片系统1平台整合“封闭数据孤岛”“开放融合系统”面向数据共享的融合设计云存储|云存储系统组成存储服务器硬件分布式文件系统云存储DH-CSS-XXXXEFSTMExtremeStorTM完全自主知识产权分布式文件系统是云存储系统的核心部件，将系统中所有节点的硬盘整合成一个统一的资源池，对外提供统一命名空间。同时对用户数据提供跨节点、跨机架、不同级别的数据冗余保护，可以兼顾高硬盘利用率和高可用的需求，避免了传统存储的烟囱式弊端。云存储|云存储系统硬件组成云存储硬件元数据服务器数据节点硬盘：监控应用推荐3T/4T企业盘云存储|云存储系统组网架构视频流、卡口图片混合云直存支持视频、图片、文档、可执行程序混合存储业务网和存储网络单独部署支持GB28181、ONVIF协议设备接入支持通过GB28181协议与第三方平台对接支持POSIX标准接口，支持API方式访问云存储|超强容错能力采用节点间容错，最大容忍M个错误，M越大，容错能力越强，空间利用率为N/(N+M)容错方式：4+1,8+2,12+3,16+4，最大容忍任意4台存储节点故障数据不丢失，业务不中断;支持容错方式自动降级，例如目前采用8+2方式，当节点数量＜10台时，自动降为4+1方式，只剩一台设备录像仍可进行异常节点的正常磁盘插入其他数据节点中，数据可继续利用在一个目录内，用户可根据数据重要性，可给不同的文件灵活配置不同的容错模式云存储|系统快速扩容多维扩展，按需分别扩展DN,MDS,客户端在线扩展，服务不中断线性扩展，容量性能同步增加，即建即用在线弹性扩展，即插即用，无任何数据迁移配置动态调整，存储空间可伸缩，立刻生效无需登录节点，便可通过统一运维一键式安装部署无需做RAID，扩容上线1分钟完成云存储|光速下载ErasureCoding从多台设备、多个硬盘同时读取，24小时录像3-5分钟下载完云存储|高性能负载均衡：全部设备平均分担负载(包括节点和硬盘)带宽聚合：全部设备一起提供数据流，性能跟设备数量成正比云存储|数据高速恢复数据自愈全系统所有硬盘参与万兆网络环境下，1小时可恢复12TB数据（4+1方式6台设备）（RAID方案0.1TB/小时）数据恢复以文件为单位，无需全硬盘恢复，有多少数据恢复多少云存储|坏盘集中更换，免及时维护采用热备空间而非热备盘方式，热备空间可配置云存储|智能运维快速部署与扩容一体化产品，配置好网络地址即可组成系统工作一键在线扩容系统实时监控实时展示系统容量，流量，负载等工作状态自动故障检测与报警智能数据恢复实时展示数据健康状态可优先恢复指定文件云存储|云计算扩展应用支持将录像以文件的方式提供给上层云计算，无需经过平台中转，支持录像文件并行分析，云计算的服务器数量越多，分析速度越快，呈线性增长云计算云存储录像文件管理平台典型案例｜平安萧山-案事件信息库云存储萧山公安急迫希望通过高端技术来提升公安的实战应用能力，和大华建立联合实验室；提出围绕视频图像，进行针对实战应用的视图库建设，集成基于云存储的高性能视频浓缩摘要、案件检索管理，实现对高价值视图文件的可靠二次存储和大数据应用；高价值视图二次存储典型案例｜黑龙江公安省厅萧山公安急迫希望通过高端技术来提升公安的实战应用能力，和大华建立联合实验室；提出围绕视频图像，进行针对实战应用的视图库建设，集成基于云存储的高性能视频浓缩摘要、案件检索管理，实现对高价值视图文件的可靠二次存储和大数据应用；高价值视图二次存储省厅测试满分胜出黑龙江省厅组织的视频云存储的入围测试，邀请大华、海康、宇视、科达等主流安防厂商参与、客户尤其重视存储的可靠性，要求存储具备设备级容错能力，要求具备视频流直存能力-最终大华以满分的分数完胜其他厂商，顺利入围省厅采购短名单；南平市公安局山西省联通公司……青州市公安局湖南湘乡公安局浙江省移动公司徐州公安菏泽市公安局典型案例｜云存储行业客户云南昆明市公安局说明：80%以上为公安行业应用、大量项目建设中目录视图摘要大数据服务2数据可视化-公安大数据图墙3海量视图云存储1车辆大数据应用系统4杀手级应用-视图云摘要核心智能应用虽然目前各地已经建立了许多视侦系统，但是发生案件以后仍然是：出动十几个勤务人员加班加点人肉侦查痛点-效率低强度大容易漏视侦系统目前不足引言平台工具视侦系统价值通过对182个不同公安客户及8个不同主流视侦平台的调研，了解到目前视侦系统重“平台”维度，却没有提供视频分析的“杀手级工具”目前不足：平台太肥、

工具太弱视侦核心是找线索引言视侦找线索观看海量视频归类图像元素识别图像元素用户关心-效率与体验视频摘要效果引言1小时33分原始视频36秒方案核心功能-提升视频摘要性能视频上传视频转码视频摘要生成浓缩录像生成视频摘要端到端流程分析结果展示传统浓缩瓶颈:下载慢转码慢计算慢重复做不实用+++=目前8大主流厂家摘要产品浓缩1小时1080P视频时间=15分钟（注：端到端）单机摘要系统与云摘要系统单机摘要云摘要系统快…………….慢…………….火车停了！！！！！性能线性扩展！！！！云摘要解决之道通过：1.）云存储消除视频下载速度瓶颈；2.）通过hadoop并发架构构建云转码+云摘要，消除计算瓶颈；3.）革新摘要机制，通过保存摘要中间文件，消除浓缩视频重复运算环节；传统单机版摘要系统云摘要系统结构“两个极速、一个极致”-让海量视频数据会说话1小时录像1分钟完成摘要处理（注：最小规模系统+1080P视频+摘要&浓缩都生成+端到端时间）发现未暴露的事件减少存储和人工成本能够检查全部视频系统性能规格摘要性能指标测试数据云摘要集群系统通过扩展云计算一体机（4个节点标配版本），性能可以线型扩展，以上曲线图性能为视频存储在大华云存储环境下测试得到，非云存储环境，浓缩性能还取决于录像的下载速度；系统功能—云摘要系统功能—云浓缩云摘要极致体验国内最佳摘要效果算法，物体轮廓清晰、效果直逼briefcam云摘要极致体验过滤快速移动物体云摘要体验优势过滤快速“小型”物体云摘要体验优势过滤“红色”物体云摘要基础设施典型云架构基础设施系统采用典型云架构，可进一步快速加载人脸、车牌等智能分析算法，构建车牌识别云、人脸分析云等业务系统，并对计算服务器资源进行动态调度；轻松升级为：1.DSE检索云2.车型智能分析云3.人脸智能分析云4.安全带检测云…视侦云一体机的扩展性云摘要节点产品介绍云摘要一体机型号大华云计算一体机

DH-CCS7064X-A外形规格2U高密度服务器尺寸高88mm，宽438mm，深679mm处理器英特尔志强双路处理器E5-2620v26核*8芯片组英特尔C600服务器专用芯片组内存标配：16GBDDR3ECC内存*88个内存插槽*8硬盘标配：300G

热插拔SAS硬盘(1万转)2.5'*8最大可扩展24块SATA/SAS/SSD2.5'硬盘网络集成2个高性能千兆以太网控制器标准接口后置：（2个USB接口，1个标准VGA接口，1个串口，2个RJ45网络接口，1个独立管理RJ45接口）*4内置：（1个USB接口）*4可用性高效能、热插拔冗余电源；热插拔硬盘；热插拔冗余风扇1台大华云计算一体机（标配版，含4块刀片节点，8个标配CPU节点）高密度刀片-绿色节能环保视频图侦平台系统介绍领先的业务架构和智能技术构造新型视侦应用中心

贴合公安视频侦查业务，深入公安办案一线参与实际破案，与多地公安进行深度合作开发，拥有大量实际案例；

大华自主研发的智能分析算法，获得多项专利，在多个案件中发挥实战作用，并可提供深度定制；

方案以最先进的云平台架构为保障，在大华云存储、云智能分析架构基础上构建云应用和服务；侦查手段多样、采集存储快速、线索管理好用、案件窜并方便、可与不同公安系统对接；人脸识别算法车牌识别算法视频摘要算法行为分析算法面向视频分析和作战应用的新型视侦平台视侦工具应用云计算架构智能化工具四库海量检索业务实战+视图库应用视图线索窜并图像增强算法图像还原算法非线性编辑视频侦查平台挂图技战法视频侦查|整体应用之道建库应用服务实战结构化视频图像信息库社会面监控资源案事件信息卡口电警联网监控资源智能化提炼战法视频浓缩视频增强车牌识别人脸识别立体化作战模式便携式侦查装备视频图像综合应用平台实战平台架构①视频监控平台智能实战图侦平台警综平台①②社会面资源/出警视频…(离线资源)③③②PGIS接处警系统云存储&云智能应用亮点|灵活的视侦工具集面临困难：案件在各个阶段会用到各种侦查手段，当需要进行视频侦查时，通常找不到有效工具。方案特点：应用工具化，为不同类型案件侦办（复杂案件、涉车案件）提供侦查手段。让纷繁复杂的办案过程变得简单高效。应用亮点|主动预串并，主动预警面临困难：串并案一直是公安最常用的技战法，但信息化手段偏弱。方案特点：个人主办的案件可以根据需要在案件线索库中进行布控设置，后续只要有类似案件或线索出现，系统将实现主动预警，切实提升案件串并成效应用亮点|四库海量检索应用面临困难：案件、线索管理查询不方便，线索关联难方案特点：线索分库存储（案件库、警情库、疑情库、串并案库），以线索为纽带，提供100亿数据秒级查询服务。应用亮点|首页热点排行应用亮点|统计分析视频侦查|视侦助手视频侦查|视侦助手视侦系统|规模应用吉林省厅视频监控处深圳公安徐州市局萧山公安下沙公安临安公安宁波市局菏泽市局青州公安莱西公安盘锦市局北海市局奉化公安金华市局四平市局余姚公安攀枝花市局湘西公安南平市局…目录视图摘要大数据服务2数据可视化-公安大数据图墙3海量视图云存储1车辆大数据应用系统4业务背景：

针对视频监控领域，公安信息化项目已建设多年，面对繁多的平台建设，多样化的前端产品，复杂的业务应用，无法从整体上对运营情况进行量化分析。对于整个系统的建设情况、运维情况、使用情况也无法量化考核。

通过对海量数据的深度加工，多维度的数据挖掘，丰富的数据展现形式，从而及时掌握整个系统运营的各项数据，为今后系统的建设、规划提供决策分析。业务数据可视化系统大华打造宁波市公安局“公安大数据作战指挥图墙”业务数据可视化系统视频在线率用户活跃度登录、点播次数视频达标率视频完好率视频历史在线率点播排名设备保修情况疑难点位信息点位建设情况及建设密度点位分布情况前端摄像机情况大数据可视化系统-建设&&运营情况（宁波市局）大数据可视化系统-实战成效情况（宁波市局）视频侦查破案率资源来源统计人员部门KPI四色预警分析新增案件统计新增资源排名案发时间统计案件分类统计大数据可视化系统-最新进展（宁波市局）重大事件、节假日-公安指挥作战大数据实时图墙海量视频接入每日车辆分析工作流可视化业务流可视化智慧昌乐其它行业警务大数据挖据可视化应急指挥违章车辆实时统计智能分析案事件可视化管理视频轮询人脸识别人群密度可视化信息流突发事件定位视频检索专业大屏产品敏捷拼接控制可视化大型预案能源行业舆情管理交通管理其它行业数据碰撞分析车流密度可视化大数据可视化展示效果14×14大数据指挥图墙Ipad/手机切换预案目录视图摘要大数据服务2数据可视化-公安大数据图墙3海量视图云存储1车辆大数据应用系统4假牌套牌，逃避监控租赁车辆，隐蔽详实外省牌照，异地流窜海量的过车数据如何在茫茫车海中定位嫌疑车辆？奉化市为例：全市常住人口50万，本市车辆15万，每天过车数据150万条，每天活动车辆20万辆，每天首次出现车辆约3万辆。车辆如何预警防控、有效打击？引言肇事逃逸、隐姓埋名奉化2015年日过车将达到400万次！车辆如何预警防控、有效打击？引言重点人员和重点车辆=“车之二轮、鸟之二翼”警务数据目前公安8大库等系统中积累大量的车辆、人员、社会关系等信息；积累了大量的高危人员、高危车辆的信息。过车数据每个城市的卡口电警系统都在产生大量百万级的过车记录和过车图片；这些车辆信息不仅代表车辆的活动情况，还含有车辆的特征信息；嫌疑指数车人行打通业务数据与过车数据车辆大数据研判系统-原理车辆大数据研判系统-原理海量研判数据高危预警高危车辆分析模型实时预警；过车记录车辆图片车主信息车辆信息打防控高危交通事件车脸比对海量图片二次分析，获取车脸特征；

数据挖掘基于数据的丰富技战法实战应用；多业务应用统计分析、多维布控….记录和图片-大数据分析卡口记录抓拍图片车辆大数据情报研判-系统介绍以县/市为包围圈，可针对圈内所有活动车辆进行数据研判核心功能.高危车辆预警研判功能1车牌出没时间？3

高危地区车辆？4车主前科人员？2车辆出没地点？5关系人前科？涉毒？6

…车标：东风过车记录高危车辆积分研判预警原理一条过车记录中蕴含的信息‘人-车-关系人’数据研判网络高危车辆积分研判预警原理实时高危车辆预警功能预警积分自动生成

精确导控革新打防模式实时高危车辆预警功能预警积分自动生成

精确导控革新打防模式红橙蓝三色预警界面，实时产生报警，围绕电子地图为中心，快速定位报警位置实时高危车辆详细信息浏览车主详细信息车主犯罪&&前科信息预警积分自动生成

精确导控革新打防模式人口库在逃库违法库盗抢车辆库车辆驾驶员库….车辆大数据研判系统公安信息网视频专网卡口电警数据库PTSIPSAN卡口系统数据抓取数据抓取短信网关联动报警短信手机短信报警客户端弹出报警报警联动上墙挂图轨迹分析预测卡点及时拦截排查精细化打击和排查高危车辆优化警力部署实时高危车辆预警功能系统实时研判，并可联动短信、LED屏、客户端弹出窗口方式进行定制报警核心功能.“车脸”特征识别功能真车只有一辆！破解了传统单纯依赖车牌或车标识别追踪目标车辆的难题车型（车脸/车尾）识别技术

系统采用国际领先的智能算法，把前端设备采集的卡口图片中蕴含的车辆品牌信息-如（奥迪）、型号（Q5）、年款（如2011年款）、类别（如SUV）颜色等信息深度挖掘和提取，并可实时的进行查询检索，即使目标车辆使用假牌、套牌，或中途更换、篡改、遮挡、拆卸车牌，也能在短时间内准确找到目标车辆；品牌：奥迪型号：Q5年款：2011颜色：黑色类别：SUV车牌：沪N-A8082异常特征：品牌：陕汽型号：奥龙重卡年款：2010颜色：红色类别：大货车车牌：沪DC5757异常特征：品牌：福特型号：经典全顺年款：颜色：白色类别：MPV车牌：沪DD4818异常特征：遮挡面部品牌：福田型号：奥铃TX年款：2010颜色：蓝色类别：大货车车牌：沪B83535异常特征：遮挡面部车辆局部特征分析与检索技术车型（车脸）识别技术年检标志挂坠纸巾盒车贴……

可对特定车辆的局部特征进行提取分析和建模，在车辆号牌信息缺失（套牌、遮挡号牌或无牌）情况下，准确快速地实现特定车辆追踪与锁定，获取车辆真实行踪；车脸搜车、真牌还原车型（车脸）识别技术

车辆大数据研判系统的“车脸分析”智能应用从根本上克服了传统车辆检索只能按照号牌进行单一查询的功能缺陷，实现了按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合查询和模糊查询强大功能。多维搜车原型毕露车型图片车牌类别特征核心功能.丰富的大数据车辆技战法积分大数据+车脸分析由案到车、由车到人、由车到案丰富技战法应用基于积分模型研判数据的综合技战法深度分析车辆时间异常，空间异常，车牌异常，车主异常，轨迹异常发生案件选定周边和时间点数据挖掘/过滤首次入城车辆前科人员车辆……异常行为车辆高危地区车辆快速确定线索/目标丰富技战法应用疑似套牌预警通过自动识别的车型信息实时自动与该号牌在车管所登记的车型信息比对，识别套牌车牌；系统自动识别车型套牌嫌疑品牌：本田型号：雅阁年款：2005颜色：黑色类别：小轿车车牌：沪EL0006异常特征：无车管所登记信息比对品牌：本田型号：思迪年款：2008颜色：黑色类别：小轿车车牌：沪EL0006比对丰富技战法应用落脚点分析不受一车多牌，遮挡号牌或者无牌等情况干扰，可根据车型特征快速全面分析涉案车辆的落脚点；落脚点分析丰富技战法应用自定义碰撞分析将多起案件时空信息进行管理分析和碰撞比对，快速筛选出与多个现场具有相同特征的车辆盗窃花木案件1嫌疑车盗窃花木案件3盗窃花木案件2山东垦利盗抢花木案件车型年款局部标志……

奉化市是第一个成功应用了车辆大数据研判判系统的县级市；

目前奉化市前端卡口有公安卡口和交警卡口两部分，车辆大数据研判系统目前整合了公安的卡口数据和部分交警卡口数据，目前平均每天处理过车数据150w左右。实战应用-奉化案例介绍奉化车辆预警研判应用案例奉化应用成效宁波科技创新大赛第一发现假牌车80辆发现盗抢车108辆抓获逃犯、偷盗犯30余人平台去年10月份启动以来：奉化系列入室盗窃案实战应用案例现场勘探、调取视频、怀疑有做案车辆进入车辆积分研判系统搜索符合特征的重点车辆实地走访、确定落脚点、抓获嫌疑人卡口车辆轨迹+