智能交通大数据分析云平台技术_邱卫云

1、技术 V TECHNOLOGY智能交通大数据分析云平台技术江苏省交通通信信息中心邱卫云技术 V TECHNOLOGY技术 V TECHNOLOGYIn video monitonng appliation. companies and IP storage Smart city produces 0.3 P8-6.7 P8video dm per day.行写金 I! Bnking&FMnce针対智能交通系疣应用，怎样有 效地采集上理和分析IBS ?Aiming at Intelligent Transportation system application. how to effec

2、tively collect, manage and analyze 如？ttfififiCxySurveillacxe T8 CommerculIKRducation 8W GovtmrrwntIndu$trial.ManufMtunn9.&Utilitie$ (i ffliTrampomtton )XttOthm我国智能交通技术的发展始于上世纪9Q年代.在“十TT和“十一五”期间得到了快速发展。在公路水路交通运输信息化的 “十二五”规划中，交通部逬一步明确未来智能交通运输的发展 目掠，提出耍注重新技术在行业应用中的研究.围绕感知识别、 网络传输、智能处理和数据挖掘等关键环节，开展交

3、通运输领域 的应用攻关。在信盘化重大工程和示范试点工程实施中，加强对 物联网、云计算、海虽存储、高速传输等新技术的一体化应用研 究，提升行业信息化技术水平。技术分析大数据(Big Data )是继云计算、物联网之肩IT产业又一次 颠燈性技术变革.貝有数据体晴巨大、数据类型繁多、价值密度 低与商业价值高、处理速度快等特点。在交通领域，海毘的数据主要包括各类交通运行监控、服务 和应用数据，如公路、航道、客运场站和港I】等视频监控数据， 城市和高速公路、干线公路的各类流量、气象检测数堀，城市公 交、出租车和客运乍辆卫星定位数据.以及公路和航道收费数据竺至 R 此怎:曲*friG*痢缺夂 商A床旳FT

4、4-视频监控应用中，全球變用户所使用的企业習怂城市甜天产生0.3PB-6.7PB 分配(2016)现频数据allocation of global users (2016)通过市场调硏分桁，目前国内外针对交通管理问题已产生一 些系统产品，但仍存在系统功能单、缺乏整合、技术落后等不 足。主要体现在应用系统建设分散、海星数据缺乏有效整合、交 通数据利用率低、数据价值无法得到充分发挥以及交通预警传 播受限、路况信息难于及时获取等方面。随看信息技术的发展， 交通部门迫切需要一种更加先逬智能的数据分析手段对交通行业 的海摄数据进行高效、实时的分析，为出行者提供实时准确的交 通信息服务，为交通育理部门快速

5、处理突发事故以及违祛交通行 为提供参考。应用优势一、提高交通运行效率大数据技术能促进提高交通运营效率、道路网通行能力和设 施效率，调控交通需求。交通改善涉及的工程惧较大，而大数屈 的大体积特性有助于解决这种困境。大数据的实时性，使交通运 行更加合理。当处于静态闲置的数据被处理和需要利用时，可被 智能化利用。大数据技术具伺较高预测能力，可降低误报和漏报 的輒率，随时针对交通的动态性给予实时监控。二、提高交通安全水平大数据技术的实时性和可预测性有助于提高交通安全系统 的数堀处理能力，如联合路边探溉器检杳车辆运行轨迹、大数 据技术快速整合各个传感器数据、构建安全模型后综合分析车 辆行驶的安全性，从而

6、可以有效降低交通事故的可能性。在应 急救援方面，大数据以其快速的反应时间和综合的决策模型， 为应急决策指挥提供辅助作用，提高应急救援能力.减少人员 伤亡和财产损失。三、提供环境监测方式大数旋技术在减轻道路交通堵塞、降低汽车运输对环境的影 响等方面有里要作用。通过建立区域交通排放监测及预测模型， 来共享交诵运行与环境数据，建立交通运行与环境数据共享试验 系统。大数据技术可有效分析交通对环境的影响，同时分析历史 数据。该技术还能提供降低交通延误和减少排放的交通信号智能 化控制的决策依据，建立低排放交通信号控制原型系统与车辆排 放环境影响仿真系统。平台架构智能交通大数据分析云平台由基础设施层、数据分

7、析层和终 端发布层组成。如图2所示。技术 V TECHNOLOGY技术 V TECHNOLOGY1 半般砒録换处pdemic Journal Electronic Publishing House. All rights reserved, 责任令列Uta （实习）事件英塑杵織性純发生町间UMtMIU尺寸交Ml运行好PL 坏的状态基础服务层是数据分析层和终端分布层的基础，其主要目的 是利用云计算技术.将不同系统的数据逬行整合，对异构数据进 行分析和存储，要具备安全性和稳定性。该层为数据分析层和终端分布层提供数据和性能保证.由于 集合了多个交通应用系统，数据更新频率非常快，包括插入、删 除、修改

8、、添加以及重排序等等，在动态更新的情况下保证系统 的安全性、稳定性以及数据的准确性至关重要。二、数据分析层数据分析层结合基础服务层为数据和交通管理提供实际需 求，利巫大数据和数据挖掘技术，产生有助干交通主体进行决策 和判断的信息，需具备数据的准确性、分析的时实性和功能的多 样性等三方面特性。数据的准确性要求数据挖掘模型要经过充分和严格地验证， 并定期对模型逬行准确性评估；分析的时实性要求平台能够给用 户提供最新的分析结论.根据最新结论做出有效决策，这要求大 数据技术支持快速的存储、处理和运算。功能的多样性要求平台 具有多维度的分析能力。在数据的时间段方面，平台需要分析天 级、周级、月级和年级数

9、据；在受众方面，平台需要满足交通政 府部门、管理部门和广大公众的不同需求；在数据模型方面，平 台要能够提供现状分析和趋势预測。三、终端发布层终端分布层是将数轄分析层产生的分析结果存储到云端，根 据不同的终瑞请求,提供和展示不同的分析结果，要具有易用性。 此层直接面向应用对象，提供的服务必须让用户容易理解和使用， 界面友好易丁操作，能够准确找到与需求对应的功能入口。技术实现平台具体的技术实现思路是，采用大数据技术处理和存储 交通数据，结合大数据与云计算技术，利用专家数学摸型对海呈 交通数据进行多维度的分析和挖拥，并通过云发布服务.将分析 结果传达至各类终端，提高人们对路桥状态、交通惜况的感知能

10、力，使交通参与者鸵快速、全面、准确的完成交通评估和决策. 实现交通智能化管飓。一、基础服务层的技术实现该层主要利用云计算来实现。云计算垦指基于互联网的超级 计算模式，即把存储于个人计算机、移动电话和其他设备上的大 凰信总和处理器资源集中在一起，协同工作。它是一种新的共 享基础架构的方法，可以将巨大的系统池连接在一起，以提供各 种服务。本文采用OpenStack建立云计算平台.将各类交通IT基础设 施转化为设备宙源服务；采用Hbase,实现数据的快速存取。（-）交通数据?原整合利用云计算技术实现对分散系统和异构数据的整合，将存在 于不同系统的交通基础设施信息、交通对象信息和交通工具信息 逬行育效

11、组织.再利用大数据处理技术，解决整合后海虽数据的 存储和读取。如图3所示。«®/货.（二）云平台基础设施服务云平台基础设施服务采用OpenStack建立云计算平台将交 通各类IT基础设施转化为设备资源服务。如图4、冬5所示。二. 数据分析层的技术实现采用数据挖堀技术，根据交通管理中路网检测监控、公众出 行服务、数据综合分析等需求，结合专家数学模型，对采集的路 桥状态、交通路况的海駁数据逬行实旺处理和有效分析，随时随 地掌握交通的通行状态、中断率、拥挤度，实现跻桥安全评估、 拥堵预警、交通诱导等一系列智能交通行为。责任令列Uta （实习）责任令列Uta （实习）http：/W

12、VW驚化績帑?驚107技术 V TECHNOLOGYfefe用户削户hip用户要增加一些自己的键值对，这样就不会局限于传统交通系统数据 库的固定结沟，可以减少一些时间和空间的开销。它的优势在于 能支持数据库高并发读写，能对海虽交通数据进行高效率存储和 访问，能使数据库具有絞髙为可扩展性和可用性。这些特性都非 常有利于我们对交通数据的处理。技术 V TECHNOLOGY技术 V TECHNOLOGY»?能交通大数辦分析公腋务接入技术 V TECHNOLOGY技术 V TECHNOLOGY韧理较戻I虫芳被克分利用采用HBdse技术使交通数据可存储在多个数据中心，用户 所见的是虚拟的单一数

13、据中心，每个数锯中心互为备份。这样 使得平台具有对海帯交通关系型数据和非关系型数据（如交通 监控视频、音频、各类应用文档等）的高吞吐能力，实现数据 的快速存取"技术 V TECHNOLOGY0 勺口OatifodrftitMXcdcOttaKodcDsta>ode0G9智能交通云平台一B蹴技术示无田中的乱码进（一）Hadoop术Hadoop是一个能够对大虽数据进行分布弍处理的软件框 架。在可靠性方面，它维护多个工作数据副本，能够辆保针对失 败的节点重新分布处理；在速度方面，它以并行的方武工作，通 过并行处理，加快处理速度，能够处理PB级数据。Hadoop的这 些优点使平台对交通

14、数据的处理更准确、更快速"T| 主节点1LM Z <1 <P : .ww”.，. fyf| V " IAA（二）智能交通中NoSQ血应用NoSQL即非关系型数据库。交通数据中包含海量的图片、视 频、音频等数据，传统的关系型数据库已不能对其逬行有效的存 储和管理。NoSQ商关系数据库中的表都是存绪格式化的数据， 其结构所不同的是，非关系型数据库是以键值对存储，它的结构 不固定，每一个元俎可以有不一样的字段，每个元组可以根据需以江苏交通卫星定位数据为例。江苏全省有5万多辆交通营 运车辆安装了卫星定位设备，能实时传送卫星定位数据至交通运 输监管部门，每日产生的卫星定位

15、数据5000万条，一个月的卫 星定位数据总屋达15（乙。如此大的数据，若用传统的关系型数据 库，查询需耗时数分钟。本顶目使用HBdse,将传统数据库中的数 据导出至csv文件，再将其分割为txt小文件.并对 行处理。处理好的文件put到HDFS分区中，而后在HBase中创建Traffic.通过MapReduce,把HDFS下的文件写入到Teffic中。技术 V TECHNOLOGY技术 V TECHNOLOGY© 1994-2014 China Academic Journal Electronic Publishing House. All rights reserved. htt

16、p：，/ldMt技术 V TECHNOLOGY技术 V TECHNOLOGY为了快速査询，在入库的同时，建立相应的索引表Trafficindex, 最终的査询速度仅需几秒钟。卫星定位数据存储到HBase中的关 键代码如图9所示：U ill Itru« .14 Mt UW MBM.lMfWHl MVit 1 4 <I 4aUfl(l«>|.Mbauu«lLF»ytw.II MC<M4»Oni “】 HC】NBK*CMat.Wif(llfTI,Ttti可以按年一半年一学度 一月一日"的层级一宜下站到毎 一天加粗部分：下站

17、到半年一 2009年下半年3个城市、3种车辆 交通事故的总上这个例子里只有3个以市. 如果50个城fff可以上到全国z4ttM pot MV MOytas.(Bytes.eci/tMrcolonl*)r yu«ueytMie*>0(s«pt4Ctriag<>>l>coat«st.vrAU<kwyt r««altl f图9卫星定位飲輻存ftJlHZ中的关代码(四)数据分析技术数据分析能从海慑数据中挖掘隐麼的信息和规律。通过对现 有交通数据的分析，不仅能够全面了解交通现状，还能对未来的 交通状况进行预测。正硝的数

18、据分析方法可以降低交通事故误报 和漏报的概率，从而辅助交通决策，提高交通运营效率。0不關廉统显示和分析絶力藉业曲韻m/ 序加入B>2 箴交通下帖和上®敘H挖H示侧田三.终端分布展的技术实现采用云计算服务将路桥状态、交通情况等海量数据分析后所 得的交通状态逬行多终端、多类型的发布服务。支持PC、Pad. 智能手机(iOS/Android )等各类终端；发布信息包括交通现 状、交通预警、辅助决策的数据图表等多种类型；信息受众包括 行业育理人员和广大公民，使猖行业肓理人员能够快速评估、处 理各类交通突发状况，公众实时感知路桥安全状况和交通实时状 态，从而提升交通管理水平和服务满意度。

19、在智能手机和Pg进行云服务实时发布：通过云平台发布服 务，能让社会公众随时共享交通运行与环境数据，从而制定合理 的出行计划，保迁公众出行安全、减轻道路交通堵塞、降低汽车 运输对环境的影响。交通大数据的多维度数据挖掘以及下钻和上卷是数据分析 技术的重要组成部分，对交通数据的数据挖幅，如图11、图12 所示：H时PT产AWJtA三个nat的交叉理一个度政角个的amaMi« ft,八ymai(z平台特点一.有效整合交通海量数据资源云廿算技术可实现对分散系统和异构数据的整合，将存在于 不同系统的基础设施信息、交通对象信息和交通工具信息逬行有 效组织。利用大数据处理技术.解决整合后海数据的存取时效 性问紙2013.10 I 中31 交ilffl*化 is1994-20)4 China Academic Journal Electronic Publishing House. Alleserved. http：/A¥WWc1UH!i8iJ"'TL技术 V TECHNOLOGY大I i .二、提高交通数据利用率，发挥数据价值基于云计算开发并行的数据挖掘与服务，有助于交通部门从 数据中发掘有用涪息，描述和预测交通情况，发挥数据的漕在价 值。采用的大数据技术，能够优化数据处理和分析流程，提离数 据分析能力。三. 多维度实时传输.个性