城市智慧交通建设关键技术

智慧交通产品处理方案关键技术【面向城市交通】

目录1. 关键技术 31.1. 交通大数据处理及应用技术 31.1.1. 海量数据分布式存放技术 41.1.2. 高可靠性分布式计算技术 51.1.3. 内存数据库技术 61.1.4. Web服务器集群和负载均衡技术 71.1.5. 数据分级存放 71.2. 图像智能分析应用技术 81.3. 支持多个载体应用技术 91.4. 系统通用集成框架技术 101.5. 面向多源数据交通管理GIS应用平台 101.6. 多源交通数据融合技术 121.7. 多源视频集成应用技术 131.8. 支持多层次多元化协同指挥调度模式 131.9. 基于可视化方案预案推演技术 15关键技术交通大数据处理及应用技术社会经济快速发展促使城市机动车辆数量大幅增加，城镇化加速打破了城市道路系统均衡状态。当前各种交通信息采集技术（如微波、视频、环形感应线圈等）已被广泛地利用于城市、高速等交通路段或卡口，而且这些交通信息采集系统天天都会产生海量实时交通数据。实时交通数据以数据流形式统计着随时间改变空间（位置、区域等）信息，具备大量、连续、不停改变和要求即时响应特点。经典包含：1）交通设备上报各类实时数据：包含卡口通行车辆数据、交通流量数据、GPS警车及单警数据等；2）通信息服务者产生互动数据：包含微信、微博、短信等路径交互各类交通信息数据；3）系统运行各类信息，包含状态数据、运行日志数据、操作日志数据。这些数据特点也发生了较大改变：1）规模性数据规模从TB级别向PB，甚至ZB级别跃进；2）多样性除了传统关系型数据，如视频、音频和图片等非关系型数据量也越来越大；3）高速性大数据处理对时效性要求非常高，如布控车辆比对需秒级响应；4）价值性需从这些海量数据中提取有效信息，为交通管理者提供辅助决议支持。在社会经济高速发展今天，在数据为王互联网时代，交通领域正面临着异常严峻挑战。传统交通管理信息系统难以满足当前复杂交通需求，怎样经过大数据构建合理高效城市交通管理体系已经成为交通管理者当前迫切需要处理关键问题。我企业依靠Hadoop分布式存放系统，经过多年实战应用积累，构架了一套基于交通有效地实时采集、处理和分析系统架构与实现方法，现在已在城市治安防控中发挥着日益重大作用。海量数据分布式存放技术针对海量图片和非结构化数据存放需求，分布式存放系统采取Hadoop存放处理方案，实现图片和文本历史数据统一存放和高效管理。1、Hadoop存放系统特色实现了一个分布式文件系统（HadoopDistributedFileSystem，HDFS），容错性高，具备高速缓存集群能力，可进行分布式数据存放。高速缓存：具备百万级数据处理能力，毫秒级响应速度。关系数据库处理：具备千万级数据处理能力和秒级响应速度。分布式数据存放：具备海量数据存放能力，功效简单，响应速度秒级到分钟级。高容错性：自动保留多个副本，自动将失败任务重新分配，确保系统可靠性。高扩展性：Hadoop是在可用计算机集簇间分配数据并完成计算任务，这些集簇能够方便地扩展到数以千计节点中。2、技术架构图STYLEREF1\s2SEQ图\*ARABIC\s17架构示意图前端数据转发：前端设备采集基础数据，突破结构化文本信息，经过数据总线，并发写入到后端分布式存放系统中。Hadoop存放平台：接收前端数据转发图片和文本，与业务平台对接，进行数据交换，同时将文件分块复制到多个存放模块中。高可靠性分布式计算技术基于对系统多用户、高并发、大数据、高性能特点和要求，系统采取大量分布式计算技术。分布式计算为了能极高效地发挥计算机性能，采取低成本软硬件资源，把庞大工程分割成适合小部件软硬件需要完成模块，分配给不一样计算机进行处理，并把这些分别单独运算计算结果整合起来起来，得到最终结果。Spark是基于内存迭代计算框架，适适用于需要数次操作特定数据集应用场所。需要重复操作次数越多，所需读取数据量越大，受益越大，数据量小不过计算密集度较大场所，受益就相对较小。它提供了具备有用差异一个新集群计算框架。首先，Spark是为集群计算中特定类型工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）工作负载。为了优化这些类型工作负载，Spark引进了内存集群计算概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟。Spark是基于mapreduce算法实现分布式计算，不一样于MapReduce是Job中间输出和结果能够保留在内存中，从而不再需要读写HDFS，所以Spark能愈加好地适适用于数据挖掘与机器学习等需要迭代mapreduce算法。Spark分布式计算一些特点以下：效率更高：Spark中间数据放到内存中，对于迭代运算效率更高。通用型好：Spark提供了比MapReduce更多数据集操作类型，这些多个多样数据集操作类型，给开发上层应用用户提供了方便。各个处理节点之间通信模型不再像是唯一DataShuffle一个模式。用户能够命名，物化，控制中间结果存放、分区等。能够说编程模型更灵活。容错性高：在分布式数据集计算时经过监测群集中每个节点来实现容错性。每个节点定时汇报和返回完成工作与状态更新。假如某个节点静默时间长度超出了预期值，主节点就会发出通知，并把工作重新分配给其余节点。高可用性：Spark经过提供丰富Scala,Java，PythonAPI及交互式Shell来提升可用性。内存数据库技术传统数据库是磁盘数据库（DiskResidentDatabase，DRDB），即数据主拷贝（PrimaryDB）在磁盘上，数据库管理系统为了向应用系统提供存取服务，将用户需要访问数据装入主存中，即对数据管理是“基于磁盘缓存技术”。而磁盘相对于主存来说是极其低速存放介质，且磁盘存取速度还和欲存取数据物理位置和当前磁头状态关于。另外，管理缓存（cache）或缓冲（buffer），不论是在操作系统（OS）层，还是数据库管理系统层，都需要付出较大代价（时间和空间，尤以时间代价为甚）。所以，即使将磁盘数据全部缓存到主存，其管理代价仍较大，存取速度依然无法满足多数实时性应用系统要求。为了实现实时数据库系统，我们采取了基于内存数据库。与传统关系数据库根本区分在于，在内存数据库中，数据库全部或活动事务存取数据放于内存中，这么事务对盘访问完全取消了。因为整个数据库放于内存，数据库则不再作为大量存放文件对待而作为内存中可寻址大量数据，不一样于DRDB中缓存或缓冲区方式，它完全打破了传统磁盘数据库系统设计宗旨，带来了其本身新设计问题。如：传统磁盘数据库系统数据组织、访问方法、查询处理算法设计都针对降低磁盘访问次数与有效利用盘存放空间，甚至牺牲CPU时间来降低I/O次数（如查询处理有大量中间数据），而内存数据库设计则主要考虑怎样有效地利用CPU时间和内存空间。对传统磁盘数据库系统相当有效数据组织、访问方法、查询处理算法，对于内存数据库系统可能并不有效，相反，一些认为对传统磁盘数据库系统无用方法，反而成为可行。显然此方式可完全消除事务与盘打交道，且可防止与影响性能缓冲区管理程序发生联络，故采取此方式使数据库系统性能极大提升。内存数据库系统带来优越性能不但仅在于对内存读写比对磁盘读写快上，更主要是，从根本上抛弃了磁盘数据管理许多传统方式，基于全部数据都在内存中管理进行了新体系结构设计，而且在数据缓存、快速算法、并行操作方面也进行了对应改进，从而使数据处理速度通常比传统数据库数据处理速度快很多，通常都在10倍以上，理想情况甚至能够达成1000倍。Web服务器集群和负载均衡技术网络快速增加使多媒体网络服务器，尤其是Web服务器，面正确访问者数量快速增加，网络服务器需要具备提供大量并发访问服务能力。对于提供大负载Web服务服务器来讲，CPU、I/O处理能力很快会成为瓶颈。简单提升硬件性能并不能真正处理这个问题，因为单台服务器性能总是有限，尤其是网络请求具备突发性，当一些重大事件发生时，网络访问就会急剧上升，从而造成网络瓶颈，必须采取多台服务器提供网络服务，并将网络请求分配给这些服务器分担，才能提供处理大量并发服务能力，所以服务器负载均衡技术就成为建立一个高负载Web站点关键性技术。为了提升系统稳定性、可靠性，我们采取了Nginx集群和负载均衡技术。Nginx是一款轻量级Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like协议下发行。由俄罗斯程序设计师IgorSysoev开发，最初供俄国大型入口网站及搜寻引擎Rambler（俄文：Рамблер）使用。其特点是占有内存少，并发能力强，实际上Nginx并发能力确实在同类型网页服务器中表现很好。现在中国大陆使用Nginx网站用户有：新浪、网易、腾讯。数据分级存放依照交通数据应用特征，我们采取了数据分级存放机制。交通领域原始数据是庞大繁杂，如实时流量、实时状态、实时轨迹信息等。我们经过数据清洗、分析处理、合并结转等预处理方式，形成了相对集中准确结果数据，如5分钟/15分钟/1小时流量数据、1分钟GPS轨迹信息、当日警情信息等。这么，在多数相对频繁及惯用应用场景中，系统无须去访问分散庞大原始数据，而只需直接访问结果数据，极大地提升了系统效率和用户体验。依照实际业务应用场景，我们在交通信息资源平台中对数据存放进行了对应规划，如公用基础数据（设备设施、用户权限、路网配置等）、公用字典信息（号牌种类、车身颜色、违法行为等）、通用专题信息（包含流量信息、通行车辆信息、警车轨迹信息、警员信息等），确保了数据一致性和访问效率。另外，依照数据价值和关键等级，我们也进行了对应分级，一些关键信息（如违法信息、警力资源信息、关键操作日志、基础配置信息等），为确保系统安全，它们存放机制和备份机制也是不一样。图像智能分析应用技术图像智能分析处理技术利用智能神经网络技术，对视频图像进行分层处理，分离出对系统有用人或物体。神经网络是基于模拟人脑智能特点和结构一个信息处理系统，它经过对人脑基本单元建模和经典激励函数设计，来探索模拟人脑神经系统功效模型，并研制一个具备并行分布处理与存放、高度自适应和自学功效、能分析较为复杂非线性系统软件模拟技术。图像智能分析处理技术就是自动分析和抽取视频源中关键信息。假如把摄像机看作人眼睛，而智能视频系统或设备则能够看作人大脑。图像智能分析技术借助计算机强大数据处理功效，对视频画面中海量数据进行高速分析，过滤掉冗余信息，为监控者提供有用关键信息。高效基于图像二次识别技术，实现过车数据二次识别车牌号码、车辆品牌、型号和车身颜色；同时可实现以图搜图功效，经过截取车辆特征实现对车辆查找。图STYLEREF1\s2SEQ图\*ARABIC\s18图像智能分析应用支持多个载体应用技术公安交通管理工作因为其特殊性，需要随时随地获取实时信息，现有公安交通指挥系统普遍采取是有线网络，需要现场操作，工作人员一旦离开网络终端，便无法取得相关实时信息，造成信息和决议延误；而无线通信技术不停发展和普及，尤其是无线网状网、3G等技术应用，使无线移动通信技术与公安交通管理相结合成为可能。在智能交通高速发展今天，对城市交通态势监控需要更灵活更实时，对突发事件处置需要更高效更加快速，传统指挥中心工作模式已无法很好满足。为实现扁平化指挥精细化管理目标，指挥中心作战区域不再仅局限于指挥中心大厅，而更多地前移到分中心、路面民警，从而形成立体化多级指挥作战体系，以应对日趋复杂城市交通管理。如交通实时情况，不但需要在指挥中心或者业务领导PC机上能看到，民警也需要在路面执勤时在移动终端（手机、PAD、PDA）上看到，而交通出行者更需要在路面诱导屏上看到；如警情处置，不但需要能在PC机上执行，也需要能在指挥中心或作战指挥室大屏上协同决议处置，更需要路面民警经过移动终端和中心进行对应指令交互。高效关键业务平台产品形态覆盖PC、PAD、手机以及超分大屏，各产品形态之间实现了业务无缝连接、多屏互动。高效智能交通管控平台（移动版）能够为公安交通管理部门提供平时信息查询、交通情况监测需要，满足突发事件、特勤任务等发生时与指挥中心信息交互、实时查询信息需要，实现现场与交通指挥中心互通互联、资源共享，从而满足政府领导到现场指挥工作需要，使指挥工作实战化。图STYLEREF1\s2SEQ图\*ARABIC\s19支持多个载体业务应用系统通用集成框架技术在多年城市公安交通集成指挥平台建设过程中，高效不停研究实战需求，总结归纳，提炼整理，已经形成了一套成熟专业、灵活可靠相对完整系统集成框架。该集成框架是基于相关国家标准部标（包含GA/T1049系列、GA/T16系列、GA/T445、GA/T1043、GA/T1047等）以及高效制订企业标准，经过抽象化和去差异化，屏蔽掉子系统内部不一样部件间繁杂设备驱动程序或底层通信协议，屏蔽掉不一样开发商之间在不一样操作系统、不一样开发工具方面技术差异，做到了业务应用层和设备感知层完全隔离，应用层不会因为子系统或是前端设备改变而影响功效或稳定性。同时该框架也为第三方平台或设备提供了与操作系统无关、与开发工具无关通用开发接口及相关测试验证工具。第三方平台或设备如符合该接口标准，即可实现快速无缝对接；若接入方无法做到完全符合接口，我们也可在取得相关开发文档和技术支持基础上，按照适配驱动开发思想，以相对独立插件形式完成与标准集成框架对接。现在该框架已实现适配接入国内绝大多数主流厂家交通设备，包含信号、视频、电警、卡口、接处警、GPS、大屏等。高效系统集成框架以其良好兼容性、通用性、开放性、可扩展性，为城市智能交通可连续建设和发展提供了主要基础技术支撑。面向多源数据交通管理GIS应用平台高效交通地理信息平台（DTGIS）是针对交管平台专门打造地理信息应用平台，以公安网为基础，以警用电子地图为关键，以地理信息技术为支撑，对空间地理数据进行可视化展现及空间数据分析，为其它业务平台提供基础支撑。1）图片缓存技术将地图设定为多个百分比尺，对于每个百分比尺提前将地图分成若干小图片，存在服务器上，客户端访问时直接获取需要小图片拼接成地图，而不是由服务器动态创建出一幅图片来送到客户端，极大程度提升了反问速度。 2）紧凑型存放图片紧凑型存放最主要两种文件是bundle和bundlx文件，其中bundle文件用以存放切片数据，bundlx是bundle文件中切片数据索引文件。一个bundle文件中最多能够存放128×128（16384）个切片，不过创建切片缓存并不是一张张切片单独生成，而是以4096像素（无抗锯齿）或2048像素（有抗锯齿）为边长渲染，假如我们选择切片边长为256像素并开启了抗锯齿，那么每次ArcSOC进程创建是一张以8×8（64）个切片拼接成大图，然后切割后存入bundle文件中。3）图形设备接口（GDI）图形设备接口（GraphicsDeviceInterface或GraphicalDeviceInterface，缩写GDI），是微软企业视窗操作系统（MicrosoftWindows）三大关键部件（也称“子系统”）之一。GDI是微软视窗系统表征图形对象及将其传送给诸如显示器、打印机之类输出设备标准。栅格地图控件利用该技术将图片绘制到Activex控件中。4）空间数据库引擎(SpatialDatabaseEngine)使空间数据可在工业标准数据库管理系统中存放、管理和快速查询检索客户/服务器软件。它将空间数据加入到扩展关系数据库管理系统中，并提供对空间、非空间数据进行有效地管理、高效率操作与查询数据库接口。本系统借助成熟ArcSDE，SDX+，OracleSpatial引擎，实现空间数据管理、查询、分析等功效。5）基于SOA地理信息服务技术SOA是为了让地理上分布在不一样区域计算机和设备一起工作，方便为用户提供各种各样服务。用户能够控制要获取信息内容、时间、方式，而无须像现在这么在无数个信息孤岛中浏览，去寻找自己所需要信息。SOA是独立、模块化应用，能够经过网络来描述、公布、定位以及调用，从而实现面向组件和跨平台、跨语言松耦合应用集成。在地理信息系统建设过程中，利用先进SOA技术，开发一些基础、通用性地理服务接口。业务应用系统能够不用再购置GIS软件，经过直接调用接口，将GIS功效嵌入到业务系统，实现MIS与GIS应用有机结合。6）基于浏览器空间数据采集技术为了方便用户不受地域和软件限制采集数据，平台提供在浏览器上实现空间数据及其属性一体化采集与编辑，经过复杂采集数据审核机制，可直接存入地理数据库。多源交通数据融合技术数据融合是一个多层次、多方面数据处理过程，其基本原理就是充分利用各个传感器资源，经过对这些传感器得到观察信息进行合理利用，把在空间或时间上冗余和互补多个传感器按照某种标准进行结合，以取得对被测对象一致性描述提升传感器有效性。多传感器信息融合本质性是其能够在不一样维度、不一样层次、不一样时间段上出现，具备更为复杂性质，和更为靠近人脑智能化计算。不一样起源采集数据和信息是数据融合加工对象，协调优化和综合处理是数据融合关键。在交通信息采集尤其是动态交通信息采集中进行融合是十分必要，主要由数据融合优点和交通信息特点共同决定。另外因为交通数据多源性、异构性、多层次性、不完整、不一致、具备时间与空间等特征，必须采取数据融合技术提升智能交通信息可靠性，利用多源信息互补提供交通信息可靠性，将不精准、不完整、不一致、不可靠、甚至相互矛盾交通信息转化成对目标或现象一直性解释和描述。多源交通信息融合是城市公安交通指挥系统一个关键技术，它经过对异构（不一样传感器）多源数据综合处理，以得到比任何从单个数据源更全方面、准确交通流情况信息。系统拥有丰富独创模型和算法集——数据采集去噪处理、基于高速缓存数据排队、GIS地理信息整合、GPS动态交通数据采集传输、GPS位置快速匹配、交通流异常分析、环形线圈交通流量/旅行时间交通流检测数据融合、多源动态交通流路段速度融合、基于网格交通数据立体结构、交通路网运行状态生成、短时交通状态预测、多源动态交通流信息挖掘模型等，可从数据级、特征级和决议级三个层次进行数据融合分析。另外，高效企业主动与高德、baidu合作，取长补短。在自主像素级融合技术基础之上，接入互联网企业判态结果，做状态级融合。多源视频集成应用技术在交通管理领域中，视频技术是应用最广泛一个基础应用系统，现有交通视频监控系统因为技术体系不一，采取标准各异，存在着相互之间难以兼容问题。对于城市范围视频监控系统建设来说，不可能只采取一个视频监控系统，必需兼容使用多个不一样视频监控系统。高效企业基于部标GA/T28181自主开发流媒体视频网关，构筑一个兼容性强、扩展性好集成视频监控应用系统。平台屏蔽不一样视频资源间差异，为用户调用各种视频资源提供统一接口，使得对用户而言视频资源与设备无关、与网络无关、与格式无关，对全部视频资源操作一致，界面统一，方