智能交通大数据平台解决方案

智能交通大数据平台解决方案随着日益增长的交通“大数据”，给交通管提出的新要求，交通信息化建设必然步入云什么是交通大数据什么是云分析交通大数据系统及云应用平台系统架构交通大数据系统数据流程设计交通大数据平台功能交通大数据云分析系统功能什么是交通大数据交通概念很大，所涉及的范围很广，如城市道路交通指数、地铁运行数据、一卡通乘客道路事故数据、高架匝道运行数据、以及衍生的相关拥堵、事故、违法信息等都属于交我们通常所提的城市公安交通管理大数据是指在城市智能交通建设和运营的过程中，从视频监控、卡口电警、路况信息、管控信段将这些相互关联的数据整合到一起(比如战应用服务，为市民出行服务。什么是云分析拍摄的车辆图像信息的结构化智能分析功部、遮挡号牌)、唯一性局部特征(如年检标志、车内饰物)等关键信息。可对提交的图像中的车辆车牌颜色及车牌号进行二次识别，通过大数据进行，时间、过去几年，智能交通系统建设取得了长足的进步与发展，针对道路交通违法、交通安全采用的标准，上下级不能很好的实现级联，与公安系统融合度不高，无法进行集中管理，资源共享，发挥统一的实战作用。不同时期，不同阶段建设的信息化系统，技现阶段，交通违法行为导致的交通安全、道的修正以满足交通管理工作的需要。其中，云分析系统的出现，问题将迎刃而解。云分析系统创新型引入GPU+CPU的设计理念，单台设备每天最高处理性能达到2000万张牌、车型、车脸等交警实战所需的结构化信息，并能够自动甄别不系安全带、打电话等设计系统中采用的设计方法和技术路线在实战灵活，便于升级以及与其它系统的互联互列技术，如：图像预处理、信息筛查、电子模、车牌识别、车标识别、运动目标检测和术，创新性的实现了“车脸识别”、“不系安全带检测”等功能，创造性的使用云分析供超高性价比的解决方案。系统设计时，对需要实现的功能进行合理的配置，且配置具有良好的兼容性和扩展性;统自主开发新功能，满足业务需求。络协议，便于和各系统间的互联、互通、互控，遵循规范的通用接口标准，使系统对硬件环境、通信环境、软件环境、操作系统之间的相互制约和影响减至最小。统在体系设计及工程实施中应根据用户使员能快速地学习和掌握系统操作。系统涵盖了目前交通管理业务应用所涉及的一系列技术，如：图像接入、通用解码、转码、图片索引、车型建模、图像预处理、基于云分析的二次识别方案配合大数据的高效查询、检索、研判方案，构筑了智能交通综合管控平台的数据底层支持优秀架构，为交警实战业务应用提供了极佳的用户体1.1系统架构挥中心带班领导、支/总/大队的主管领导、交通秩序管理人员、大队分控中心人员、路面执勤民警等。系统维护的职责则由运维工常组织与管控、应急指挥与协作、信息研判交通数据挖掘研判等业务需求。础数据管理(路网信息、设备设施信息)、息)、电子地图管理、系统配置管理。务等信令及数据的服务或中间件。备，为各类交通信息的原始数据来源，如GPS车辆轨迹信息、视频信息、通行车辆信息、交通流信息、施工占道信息、交通管制视频大数据技术平台视频大数据技术平台负责存储和提取处理视频、图片等非结构化数据，通过视频结构析挖掘。同时，视频大数据技术平台可提供视频摘要、视频浓缩、视频质量诊断等智能分析服务，使上层应用提高视频处理的效通用大数据技术平台通用大数据技术平台提供基于Hadoop和Spark的分布式存储、分布式计算等能力，负责整合并管理海量的结构化、半结构化、非结构化数据，具备高度的可扩展性，可将数千台的廉价服务器组建成一套庞大的云存储系统、一台超级计算机。基于Spark架构的内存运算，速度比传统的Hadoop快行业大数据能力平台分析，同时能够进行深度的关联分析，挖掘以接口的方式为上层应用提供服务。大数据运维平台负责对整个大数据平台进行部署、配置、管理、监控，通过自动化安装的方式，方便用业务的发展，当平台需要升级或扩容时，可方便的通过该工具进行调整。1.1.1视频大数据技术平台视频云存储系统解决百PB级视频基础数据视频数据的低成本、高可靠存储，支持视频频云分析视频云分析平台则是通过整合用户现有的数据中心分析设备，对过车视频、过车图片决从海里视频图像数据中解析出来的视频特征提取模块特征提取模块负责对实时或历史视频图像中的结构化信息进行提取，包括人、车、物行为分析模块行为分析模块负责对实时或历史视频图像化数据，可存储于大数据系统中，并作为DataEngine进一步分析的数据基础。音频分析模块以图搜图模块负责对大数据系统中的图片表。以图搜图模块支持对人脸图片的搜索，隐私保护模块负责对实时或历史视频图像中的人体影像进行模糊处理，保护个人隐视频摘要模块视频摘要模块负责对实时或历史视频进行摘要处理，提取出视频中有用的信息，合并到同一个背景中，以此缩短视频播放时间。视频摘要可有效缩短用户观看视频的时间，视频浓缩模块视频浓缩模块负责对实时或历史视频进行浓缩处理，视频中有事件出现时进行慢放，无事件时进行快放，以此缩短视频播放时视频质量诊断模块视频质量诊断模块负责对实时视频流进行进行分析，实时发现摄像机是否在线、画面视频图像增强复原模块视频图像增强复原模块负责对实时或历史视频图像进行增强复原，对效果较差的视频、图像进行智能修复并增强处理。1.1.2通用大数据技术平台通用大数据技术平台是大数据的存储和计动态扩容的特点，用于汇集视频、图像、报数据的综合利用提供支撑。上，系统采用可扩展的体系结构，利用多台性、可用性和存取效率，还易于扩展。分布式资源管理YARN：分布式资源管理框架，负责计算、存储资源的管理，用以提高负责将一个需要非常巨大的计算能力才能些计算结果综合起来得到最终的结果。式数据库HBase：一个分布式的、按列存储的、多维表结构的实时分布式数据库，并发低延时的在线数据服务系统。云计算中，能够达到稳定、可靠、快速实时Map/Reduce计算引擎，处理大数据像“光到100x倍。分布式协作Zookeeper：分布式协作系统，集群节点间的事物协调服务，保证HDFS、1、分布式文件系统HDFS，具有高容错性、高可靠性、高可扩展性、高吞吐率等特点，可以设计部署在低廉的硬件上，为海量数据提供了不怕故障的存储，适合那些有着超大数据集的应用程序。大表数据(表的规模可以达到数百亿行以及、分布式计算MapReduce是一种处理海量数据的并行编源于该模型中的两项核心操作：Map和Reduce。Map将一个任务分解成为多个任来，得出最终的分析结果。4、分布式协作系统ZooKeeper是一个针对大型分布式系统的可靠协调系统，主要提供两个功能：帮助系统布式协作服务和维护配置信息。1.1.3行业大数据平台行业大数据平台负责与通用大数据平台进数据)进行分析计算，提供快速检索、分析、统计、挖掘等功能，并提供用户最终的操作界面。面向交通行业的大数据业务展示平台，即为智能交通综合管控平台。1.1.4大数据管理平台大数据管理平台负责对整个大数据平台进行部署和管理，结构示意图如下图所示，包括集群部署、集群管理、任务管理、服务管理、状态监控、用户管理、告警、日志等模1.2数据流程设计前端新建及已建能够按照标准协议接入的设备通过智能交通综合管控平台交通接入服务器接入转发至云分析平台进行车辆建模和二次识别。已经部署云存储模块的系信息进行车辆建模和二次识别。再转发至云分析平台进行车辆建模和二次云分析通过智能交通综合管控平台提供的别，完成建模和二次识别后，将识别结果信息如车牌、车型、车辆品牌等信息提供给大到HDFS分布式文件存储系统中;基于HDFS文件系统之间的多进程协调服务。数据写入、检索、统计和研判应用，大数据管控平台通过调用大数据平台接口进行处理应用。1.2.1云分析数据处理流程云分析可以采用的工作模式主要包括主动中心管理服务下派任务到指定的计算节点，作模式则相反，由计算节点主动向中心管理服务发起申请，申请获得批准后获得执行任务，然后开始任务执行，任务执行过程中与被动工作模式相比主动工作模式而言能够突出计算节点的优势，管理单元越小，管理的难度也就越小。如果按照主动工作模式，度等功能，负载、责任过大，容易造成单点失败。即便采用集群方式或者单点灾备模式，依然没有真正解决负载过重、任务调度样可以有效地避免计算节点出现计算资源平台，实时获取执行任务信息，然后通过中心服务管理动态调度任务的方式达到高优说，它申请获得任务没有优先级之分，一旦申请成功，立即转入工作状态。同时，由于1.2.2大数据数据处理流程大数据技术平台是大数据的存储和计算中心，具有分布式、统一存储、统一访问、动据的综合利用提供支撑。1.3交通大数据平台功能1.3.1快速检索针对过车记录表及违法记录表有针对车牌车牌结合过车时间(开始时间+截止时间)、根据选择卡口、车道、方向、车辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车在海量过车记录数据中对车牌做精确查询并且要求在秒级内返回查询结果。过车记录模糊查询车牌结合过车时间(开始时间+截止时间)、根据选择卡口、车道、方向、车辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车在海量过车记录数据中对车牌的前缀、中3、违法记录精确查询车牌结合过车时间、车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、处理状态等其它筛选条件在海量违法过车记录数据中做精确查询并且要求在秒级内返回查询4、违法记录模糊查询车牌结合过车时间、车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、处理状态等其它筛选条件在海量违法过车记录数据中对车牌的前缀、中间、后缀做模糊查询并且要求在秒级内返回查询结果。类型、颜色深浅、车牌类型、车牌号码、车速、车长、号牌段、车身颜色、车牌颜色等限制条件)，同时经过多个卡口(至少两个以上才能确定一条轨迹)的过车信息。针对过车记录表及违法记录表有如下统计过车记录表车流量统计以卡口(或车辆类型、车辆归属)为维度结合统计时间、方向、车辆归属地、车辆类型、车牌类型等特定筛选条件对过车记录做统计，生成相应日(或周、月、年)报表：即根据设定的维度，还有根据报表类型分割的时间粒度，统计各个时间区间内的车流量。过车记录表车流量对比同一个卡口不同时间段(跨度在1天内)的车流量对比以及不同卡口同一时间段(跨度在比。通过车流量对比能够对改善城市交通调度违法记录表车辆违法统计选定一组卡口，在选定的开始时间和结束时过车记录表特定时间段车流量统计同车流量对比，时间颗粒度变成一天，并且可以选定一天中具体的若干个时间段。过车记录车辆行车轨迹统计从路径A->B->C,和路径C->B->A是俩条不同的轨迹)的车流量次数(还包括其他的过滤条次计算)。1.3.2研判分析记录表频度研判分析出在特定卡口上(一个或多个)，在特定过车次数大于等于(或小于等于或等于)(频度设置)一定数量(频度阈值)，根据设定的频对指定区域(卡口)做过车频度分析，过滤出频繁出入的车辆(过车次数满足指定阈值)进2、过车记录表特定时段车辆研判3、过车记录表短时过车研判或多个)中的过车时间与参考卡口中的过车(passInterval)的所有过程信息：找出同一车出经过参考卡口与指定卡口的时间差小于套牌或超速等其它违章行为的嫌疑车辆。4、过车记录表车辆初次入城研判特定时间范围结合特定筛选条件(车辆归属地、车辆类型、车牌类型等特定筛选条件)，找出经过“入城”路口的车辆，并找出这些车辆之前30是否有“入城”记录，如果没有将做重点关注以预防其犯罪。5、过车记录表区域碰撞研判特定的N(2<=N<=5)个区域(1~5个卡口组成一个区域),结合各区域指定的时间范围，找出同一辆车在指定条件下经过其中的两个区反复作案的嫌疑车辆带来极大的便利。6、过车记录表行车轨迹研判特定时间范围结合特定筛选条件(车辆归属地、车辆类型、车牌类型等特定筛选条件)找出制定车牌在此时间范围内的过车记录。7、过车记录表跟车研判特定时间段内过车时间相差一定间隔的所定车牌或路口名称)查出参考车辆及其过车信息，然后指定一条过车记录，查询出与该记录相隔一定时间段(早或者晚)的所有过车侦等业务应用时，确定特定嫌疑车辆后，通过数据挖掘的方式分析其通过多个监测点关联的车辆，从而获取破案线索。8、违法记录表违法多发时段研判统计出各个时段违法记录数形成一张对比直方图以协助城市交通改造。违法记录表违法多发地研判违法记录数形成一张对比直方图以协助城9、驾驶人员行为源头管控员(不违法，但是有违法的嫌疑)，进行专项短信，进行源头管控;筛选超速10%~20%车从而判断驾驶人员的动态评分规则;10、特种车辆轨迹时空域分析渣土车、校车等安全等级较高的车辆，通过车路线的时候，即发送报警信息给相关人11、车辆遮阳板与案件关联的时空域分析大数据平台根据卡口的过车数据对每辆过据一些统计结果来判断驾驶人员的驾驶行为分析。12、同行车辆多模型分析跟车相关的团伙作案时的车辆进行进一步间内同行经过N个卡口数量的车辆信息;筛选某个固定时间内有关多车关联性的分析，举例而言就是通过跟车关联性研判发现车13、多业务维度积分研判分析基于大数据平台的多业务维度车辆积分研市先进的车辆信息技战法以及结合自身对实际嫌疑车辆研判时所提出的一种新的研判分析方法。其根据对车辆的出没时间属性、出没卡口地点属性、驾驶人员违反行为进行综合考虑，引入一套关于车辆积分研判k流计算的方式保证车辆积分能够实时处理关人员。14、基于车辆相关数据的车辆套牌的相关性根据同一时间内出现在不同地点来判断是因此有一定的误报率;此外该种套牌分析方法在定位一些非当前库内所包含的车辆信息时往往缺乏有效的分析手段;而大数据平台则是利用本期和前三期中一些已经对车辆进行二次结构化处理后的数据(例如车型、车标、子品牌、年款等)进行套牌车分析库，判断套牌车辆的可能性;另外大数据平台将在时空领域上结合GIS应用，根据车辆不正15、车辆时空出没规律分析大数据平台的另一个重要的作用是多元多维度的统计分析方法，针对某一辆车辆信没频次、出没时间段、经常活动的区域、经常经过的监控点位信息以及违法信息统计辆与相关案件关联性的分析。1.3.3基于大数据平台的以图搜图功能以图搜图是当前智能交通综合管控平台针查询目标车辆，根据特征信息的相似度进行云存储和图片服务器两种方案：案用于大型规模的智能交通平台，一般为日均过车数据在几百万以上的项目围内的以图搜图应用，搜索的效率会比较而图片服务器方案则适用于中小型规模的智能交通平台，由智能分析服务器完成过车析和检索则全部依靠智能分析服务器完成，因此整个系统的瓶颈在于智能分析服务器的性能。相比较这两种方案的以图搜图的实现方式，基于大数据平台的以图搜图实现方式则进一步将图片资源的二次结构化和大数据平图的功能从精准检索更进一步扩展到极速1.4云分析系统功能系统能够识别车牌文字、字母、数字车身颜色二次识别黑色、红色、紫色、蓝色、黄色、绿色、青色、棕色、粉红色。还可以识别车身颜色的4、车牌颜色二次识别车牌颜色包括蓝、黄、绿、白、黑。系统可识别的车辆标志包括：奔驰、宝马、大众、别克、丰田、本田、依维柯、金杯、雪弗兰、标致、东风、五菱、尼桑、起亚、皇冠、东南、比亚迪等两百多种车标。6、车辆子品牌二次识别系统可识别的细分车型包括：奥迪A6L、奥细分车型，其涉及范围包括当前已停售，或上市热销的各种细分车型。系统能够对打开遮阳板进行检测，为公安交通管理和刑侦案件侦破提供科技新手段。8、黄标车二次识别整治、城市环保提供决策支撑。9、未系安