交通管控大数据分析研判系统

交通管控大数据分析研判系统设计方案目 录1 系统概述 .51.1 系统背景 .51.2 系统意义 .51.3 研发原则 .61.4 系统内容 .72 需求分析 .82.1 业务需求 .82.1.1 面向交通管理的大数据业务需求 .82.1.2 面向交通安全的大数据业务需求 .82.2 功能需求 .82.2.1 基于大数据的在线统计和离线分析需求 .82.2.2 基于大数据的车辆特征分析需求 .82.2.3 基于大数据的违法事故分析需求 .92.2.4 基于大数据的勤务快速处置需求 .92.2.5 基于大数据平台的车辆特征二次识别需求 .92.2.6 基于大数据平台的技战法需求 .92.3 性能需求 .102.3.1 高并发实时数据采集需求 .102.3.2 海量数据存储需求 .102.3.3 分布式流处理需求 .102.3.4 车辆二次识别需求 .103 架构设计 .103.1 总体应用架构 .103.2 软件框架结构 .113.3 网络部署架构 .123.4 数据流结构 .123.5 关键技术路线 .133.5.1 Hadoop 技术 .133.5.2 Spark 技术 .143.5.3 车辆特征二次识别技术 .154 功能设计 .154.1 功能结构图 .154.2 功能模块 .154.2.1 首页 .164.2.2 实时预警 .184.2.3 信息查询 .194.2.4 统计分析 .244.2.5 技战法 .274.2.6 车辆布控 .294.2.7 系统设置 .304.2.8 运维管理 .315 数据库设计 .315.1 数据库 ER 模型 .315.2 数据库表 .316 接口设计 .316.1 接口分布图（接口关联图） .316.2 接口详细说明 .317 系统特色 .327.1 优化交通大数据集中存储能力 .327.2 提升交通大数据分析研判能力 .327.3 提升交通案件侦破能力 .327.4 提升交通监管能力 .321 系统概述1.1 系统背景随着经济迅猛发展，机动车辆不断增加，道路交通拥堵、交通肇事现象也越来越严重。交通管理部门部署了大量交通监控设备对道路交通情况进行监控，这些设备 24 小时不间断捕获过车数据和图像数据，产生了海量的历史记录。在此情况下，如何利用先进的技术手段，对交通监控设备采集的海量的、格式多样的数据进行深度分析应用，对海量数据进行查找、关联、比对等处理，实时发现其中潜在的问题并预警,成为当前迫切需要解决的问题。主要体现在以下两个方面：一是交通管理部门的现有系统还处于结构化数据处理模式架构体系中，要实现对城市道路交通的整体运行状况、车辆出行规律等方面以日、月甚至年为时间粒度进行数据分析还存在不足。二是交通管理部门的现有系统在对这些具有逻辑关联的海量多源异构数据处理过程中，数据存储结构、处理种类、处理效率等方面仍存在不足，不能满足持续扩大的交通管理数据规模以及对数据深度快速挖掘和应用需求。 交通管控大数据平台构建了一个支持横向扩展，具有分布、并行、高效特点的大数据处理平台的体系架构。综合运用云计算、云存储、并行数据挖掘、图像识别等技术，开展数据的存储、挖掘、联动、分析。通过将电子监控设备的数据、图像等异构的数据资源接入大数据处理平台，通过分布式存储和并行数据挖掘，提供在线实时分析模式和离线统计分析模式两种应用模式，对交通管理的各类大数据全方位地进行实时和离线分析处理。可以将隐藏于海量数据中的信息挖掘出来，可全面掌握道路通行情况，为策略制定、分析研判、行动部署提供依据，大大提升综合管理的集约化程度。1.2 系统意义（1）信息查询和预警分析借助在线实时分析、离线统计分析和数据共享等手段，通过接口与集成指挥平台等各个业务系统关联，高效开展交通管理工作。例如通过分析一段时间内的过车信息进行查询分析对比，确定该时期造成交通拥堵的主要原因和发展趋势，对交通拥堵的发生进行一定的预测和判断，并采取相应的管控措施控制诱发交通拥堵的原因，科学预防交通拥堵。（2）多维度布控打击违法犯罪通过车辆特征二次识别比对，可对特定车辆的局部特征进行提取分析和建模，在车辆号牌信息缺失（套牌、遮挡号牌或无牌）情况下，按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合布控报警，准确快速地实现特定车辆追踪与锁定，获取车辆真实行踪，将有价值的图片数据提供给公安刑侦部门，为侦破交通肇事逃逸案、利用机动车作为犯罪工具的刑事案、以及抢劫出租车等恶性案件提供线索和证据，为刑侦部门确定线索侦查破案提供支持。（3）大粒度的数据分析为决策提供支持通过交通流大数据采集存储、流量查询分析，车辆特征研判、车辆轨迹分析等深度应用，系统不仅仅可以实现对车辆和人员的分析研判，通过大量数据的积累和变化规律进行深度的信息挖掘，帮助决策者和管理者提供有价值的线索信息，同时结合车驾管数据库，开展交通信息综合分析研判。1.3 研发原则项目建设总体上坚持“结构上的整体性、技术上的先进性、使用上的稳定性、经济上的合理性、实施上的安全性、操作上的友好性、升级上的可拓展性”原则，建设综合信息的统一管理、展示、控制平台，制定安全可靠的集成规范，完成各业务系统的智能协调联动功能，实现资源集成、数据集成、业务集成、控制集成和展现集成。1、实用性原则项目采用技术和解决方案应该具有很强的实用性，系统建设应始终贯彻面向应用、注重实效的方针，坚持实用、经济的原则。2、先进性原则采用先进、成熟的方法和技术，各种先进方法和手段应该充分考虑阜阳市社会可行性、法律可行性、管理可行性、技术可行性。既注意概念、技术和方法的先进性，又要注意成熟性。使项目能反映当今的先进水平，并具有一定的发展潜力。3、资源共享信息资源共享是本项目的主要项目目标之一，需要注意本项目与业主方已建智能交通信息化成果之间的信息互联与资源共享。4、可持续性系统设计采用合理的、有弹性的架构，并预留有一定的接口，保证系统能进行不断的完美和扩展。5、开放性和标准性注意遵循相关的技术标准和行业标准，并采用合理的系统架构，不采用垄断技术，保证系统的开放性和标准性。6、可靠性和稳定性从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维护能力等方面着手，确保系统运行的可靠性和稳定性，达到设计的最大平均无故障时间。7、安全性和保密性在考虑信息资源的充分共享的同时，注意对信息的保护和隔离，采用系统安全机制、数据存取的权限控制等方案解决系统安全性问题。8、扩展性和易维护性采用先进的软件工程理论、良好的系统设计，以及分层和代理的方法等方法，保证实现的系统层次清晰、模块合理，接口协议开放，保证系统的扩展性和易维护性。1.4 系统内容交通管控大数据平台由 5 类服务器组成，包括：数据接入服务器、数据库服务器、流处理服务器、二次识别服务器、应用服务器。（1）数据接入服务器：统一接入卡口、电警过车数据和过车图片，并按大数据架构统一转换管理。（2）数据库服务器：管理节点作为主服务器，管理 Hadoop 文件系统的命名空间和客户端对文件系统的访问操作。可进行节点安装、配置、服务配置等，对 Hadoop 服务器进行实时状态检测。数据节点管理存储的数据，支持 PB 级数据和图片存储和数据索引管理。（3）流处理服务器：基于 Spark 的大数据云计算技术，支持高速查询和低延时的统计能力，实现亿以上的过车记录大数据量秒级检索能力。（4）二次识别服务器：于大数据下深度学习的图像识别技术，支持车辆号牌、品牌型号、车身颜色、车辆型号等信息关联比对。（5）应用服务器：部署交通管控大数据平台系统软件和数据发布软件。2 需求分析2.1 业务需求2.1.1 面向交通管理的大数据业务需求随着城市交通拥堵问题顽固化、复杂化和多样化，交通管理工作面临着从事后分析向事前研判预警拓展、从历史统计向在线分析挖掘拓展、从简单应用向综合服务评价拓展的内在需求发展方向。并对管辖范围内的车辆出行规律等方面以日、月年为时间粒度进行实时和历史统计分析，并对现有信息开展任意范围内的快速检索和实时统计分析，并将结果可视化显示。2.1.2 面向交通安全的大数据业务需求管理路面违法、假/套牌、肇事车辆、黑车等重点布控车辆、维护交通安全和事故处理是交管部门的另一项行政管理职能。基于大数据系统，通过大量历史数据对涉案车开展比对，形成对涉案车辆行为的分析及涉案车辆的匹配分析，为精确打击违法行为提供证据，按照车辆特征进行布控，有效提升现有违法查处的精准打击和查缉布控能力。2.2 功能需求2.2.1 基于大数据的在线统计和离线分析需求以总量统计、信息查询等业务数据检索的后台软件模块为支持，通过大数据系统备份或抽取历史数据资源，重构数据结构，并为每一种应用添加算法模块，实现对大批量信息检索及统计分析的实时处理。2.2.2 基于大数据的车辆特征分析需求 以基于海量卡口数据获取车辆出行 OD，挖掘车辆通勤出行行为，分析车辆通勤行为特征与交通拥堵相关性分析，研究拥堵路段车流集散、车辆属地属性发展变化规律。准确统计道路交通、卡点进出车辆流动情况，为合理调配警力、提高车辆管理水平提供科学依据。2.2.3 基于大数据的违法事故分析需求基于大数据系统进行违法和事故数据的关联分析，从不同视角研究违法和事故成因，定期将交通违法、事故的相关驾驶人特征与车辆特征进行分析，按类掌握违法、事故中高发、易发的驾驶人与车辆，为重点管理的群体提供数据支撑。通过大数据平台对交通违法、事故数据及属性开展关联分析，定期将违法、事故与驾驶人特征，包括培训考试过程、工作单位、家庭背景等因素，与车辆特征，包括品牌、车型、营运性质、号牌属地、车身颜色、车辆保养等因素，与道路特征，包括道路类型、线性、天气、时间、环境、设施等相关联的，集中分析掌握违法、事故中高发、易发的驾驶人、车辆和道路，为管控提供最为真实的资料和依据。2.2.4 基于大数据的勤务快速处置需求在岗执勤民警通常负责的是一个区域的交通管理工作，很难掌握管辖区域内所有路口路段的实时交通状况。基于对过车流量特性的大数据分析，可为交管人员分析管辖区域内交通流量情况，为在岗执勤民警提供更加准确的拥堵点，有助于交管人员日常勤务安排和以及上下游及时联动和快速反应。2.2.5 基于大数据平台的车辆特征二次识别需求过车图片里面包含了很多信息，这些信息是卡口设备本身无法有效识别出来的信息，例如车辆品牌、车辆型号等。基于大数据系统的车辆特征二次识别技术从根本上克服了传统车辆检索只能按照号牌进行单一查询的功能缺陷，实现了按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合查询和模糊查询强大功能。在不改变现有卡口设备的情况下，就能够挖掘出更多的车辆特征，便于实现更多应用，有效利用了现有卡口设备，降低不必要的卡口重建投入。2.2.6 基于大数据平台的技战法需求 通过过车图片、行驶行为特征分析和人员、车辆档案关联分