（管理科学与工程专业论文）基于gis和数据挖掘的智能交通管理系统的设计与实现.pdf

浙江工业大学硕i = 学位论文 皋于g i s 和数据挖掘的智能交通管理系统的设计与实现 基于g ls 和数据挖掘的智能交通管理系统的设计与实现 摘要 数据挖掘是一种深层次的数据分析方法，是对数掘的精加工。它把对数据的 应用从低层次的联机查询操作提升到决策支持、分析预测等更高层次的应用上。 基于g i s 的智能交通系统是为现代化交通指挥中心而设计开发的，它是集控 制、管理、决策于一体的实时、准确、有效的综合交通管理系统。 随着时间的推移，智能交通系统积累了大量原始数据，这些海量数据中蕴藏 着很多有价值的信息。将数据挖掘技术应用于智能交通管理系统中，提取出隐藏 在数据之中深层次的、关于数据整体特征描述和数据发展趋势的预测信息和知 识，对于交警部门实时监测路面状况和交通流量，及时采取相关措施，有效疏导 交通阻塞，减少交通违法、交通事故的发生都具有重大的意义。 本文对数据挖掘技术在基于g i s 的智能交通管理系统中的应用进行了初步 的探索。重点研究了f p g r o w t h 算法，用v i s u a lc + + 加以实现，并将该算法应用 于1 0 4 国道湖州段的交通违法业务系统，挖掘出了一些有效的规则。实践表明， 所挖掘的模式是有效的，挖掘结果对交通管理部门具有一定的决策支持作用。 同时从系统的总体建设目标、运行的网络环境、功能设计以及该系统和其他 系统的数据信息共享要求等方面介绍了我们开发的基于g i s 的智能交通管理系 统，对数据挖掘在该系统中的应用进行了分析，并对研究结果进行了总结和展望。 关键词：数据挖掘智能交通系统g i s f p g r o w t h 算法 基于g i s 的智能交通管理系统 浙江丁业大学硕士学位论文 基于g i s 和数据挖掘的智能交通管理系统的设计与实现 t h ed es i g na n d a p p l i c a t i o no f i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m b a s e do ng i sa n dd a t am i n i n g a b s t r a c t d a t am i n i n gi sa i le f f e c t i v ed a t aa n a l y s i sm e t h o d i tr a i s e st h ea p p l i c a t i o no fd a t a f r o ml o w 。l e v e lo n l i n eq u e r yt ot h em u c hh i g h e r - l e v e la p p l i c a t i o no fd e c i s i o ns u p p o r t ， a n a l y s i sa n dp r e d i c t i o n g i s - b a s e di n t e l l i g e n tt r a n s p o r t a t i o ns y s t e mi s d e s i g n e da n dd e v e l o p e df o rt h e m o d e mt r a f f i cc o m m a n dc e n t e r i t i sar e a l t i m e ，a c c u r a t ea n de f f e c t i v et r a f j f i c m a n a g e m e n ts y s t e mt h a ti n t e g r a t e sc o n t r o l ，m a n a g e m e n ta n d d e c i s i o n m a k i n g w i t ht h ep r o c e s so ft i m e ，t h ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e ma c c u m u l a t e da m a s so fd a t a ，w h i ，c hc o n t a i n sal o to fv a l u a b l ei n f o r m a t i o n a p p l y i n gt h ed a t am i n i n g t e c h n o l o g yt o t h ei n t e l l i g e n tt r a n s p o r t a t i o n s y s t e mt om i n et h ed e e p 。l e v e la n d p r e d i c t i v ei n f o r m a t i o nt h a tb e n e a t ht h em a s s i v ed a t ai sv e r ys i g n i f i c a n tf o rt r a f f i c m a n a g e m e n td e p a r t m e n tt ow a t c ha n dc o n t r 0 1t h er o a dc o n d i t i o na n dt r a f ：f i cv o l u m e t a k e t i m e l y a n dr e l e v a n tm e a s u r e st oc l e a rt h et r a f f i cj a mt h u st o r e d u c et l l e o c c u r r e n c eo ft r a f f i ct r a n s g r e s sa n dt r a f f i ca c c i d e n t 1h i sp a p e rm a i n l ys t u d i e so nt h ea p p l i c a t i o no fd a t am i n i n gt e c h n o l o g yo nt h e g i s - b a s e di n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，a n dd e v e l o p st h ef p g r o w t ha l g o r i t h m w i t ht h es o f t w a r eo fv i s u a lc + + i ti sp r a c t i c a l l yd e m o n s t r a t e dt h a tt h em o d e lw eu s e d h e r ei se f f e c t i v ea n dt h er e s u l tc o u l dh e l pt r a f f i cm a n a g e m e n td e p a r t m e n tt om a k e d e c i s i o n t h i sp a p e ra l s oi n t r o d u c e st h et o t a la i m ，n e t w o r ke n v i r o n m e n t ，f u n c t i o n sa n d t i l e d a t as h a r er e q u i r e m e n tb e t w e e nt h ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e mw ed e v e l o p e d a n do t h e rs y s t e m ，a n da n a l y z e st h ea p p l i c a t i o no fd a t am i n i n gi nt h es y s t e m ，f i n a l l y s u m m a r i z e st h er e s u l ta n dt h ef u r t h e rr e s e a r c hb a s e do nj t k e yw o r d s ：d a t a m i n i n g ；i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ；g i s ；f p g r o w t h a l g o r i t h m ；g i s _ b a s e di n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 1 绪论 1 1 智能交通系统 1 1 1 智能交通系统的概念 智能交通系统( i n t e l l i g e n tt r a n s p o r ts y s t e m ，简称i t s ) 是上个世纪9 0 年代兴起的新一代交通运输系统，是目前国际上公认的全面有效地解决交通领域 问题，特别是交通拥挤、交通事故等问题的最佳途径。它利用先进的信息处理技 术、导航定位技术、无线通信技术、自动控制技术、图像分析技术和计算机网络 等技术为加强道路、车辆、驾驶员和管理人员的联系，建立起的一种在大范围内， 全方位发挥作用的、实时、准确、有效的综合交通管理系统。 智能交通系统的智能化主要体现在以下三个方面： ( 1 ) 车辆依靠自身的智能在道路上安全自由地行驶，不至于在陌生地方迷失 方向； ( 2 ) 道路依靠自身的智能将交通流调整到最佳的状态，缩短行车时间，减小 阻塞： ( 3 ) 交通控制管理中心依靠系统的智能对道路和车辆的状态进行实时地监 控，及时处理事故，保障道路畅通。 1 i 2 智能交通系统的组成 目前世界各国对智能交通系统的划分并不完全一致，但通常认为，智能交通 系统由以下几部分组成： ( 1 ) 先进的交通管理系统( a t m s ) 。a t m s 用于监测控制和管理公路交通，在道 路、车辆和驾驶员之间提供通信联系。它依靠先进的交通监测技术和计算处理技 术，获得有关交通状况的信息，并进行处理，及时地向道路使用者发出诱导信号， 从而达到有效管理交通的目的。 1 覃明贵，崔中发，崔岩等i c e n t r o v i e w ：城市交通监控与管理系统 j 计算机应用与软件，2 0 0 6 ，2 3 ( 2 ) ：2 8 浙江1 二业大学硕上学位论文摹于g i s 和数据挖掘的智能交通管理系统的设计与实现 ( 2 ) 先进的出行者信息系统( a t i s ) 。a t i s 采取先进的信息技术、数据通讯 技术、电子传感技术、控制技术及计算机技术，将采集到的各种道路交通及服务 信息经交通管理中心处理后传输到交通系统的各个用户( 驾驶员、公共交通利用 者、步行者) ，使得出行者实时选择出行方式和出行路线。 ( 3 ) 商用车辆运营系统( c v o ) 。“商用车辆”指公共服务车辆，例如：警车、 救护车、消防车、商用运输车等等。该系统主要是对车辆进行跟踪和车队管理， 以提高车辆运营效率和增加安全性。 ( 4 ) 先进的车辆控制系统( a v c s ) 。该系统包括事故舰避系统和监测调控系统 等。它主要是利用激光技术、电子技术、微波技术、图像处理技术等先进技术为 驾驶员提供信息，有效地防止撞车，以保证车辆高速安全地行驶，从而提高道路 流通量。 ( 5 ) 先进的公共交通系统( a p t s ) 。a p t s 采用各种智能技术促进公共交通的发 展，它包括公共车辆定位系统、客运量自动检测系统、行驶信息服务系统、自动 调度系统和电子车票系统等。 ( 6 ) 发达的乡村交通系统( a r t s ) 。该系统主要包括乡村道路环境状况信息、 不利道路报警、车辆故障报警及车辆事故受害者求援呼救系统等2 。 1 1 3 智能交通系统的功能 智能交通系统强调运输设备的系统性、信息交流的交互性、以及服务的广泛 性。它实质上就是利用高新技术对传统的运输系统进行改造而形成的一种信息 化、智能化、社会化的新型运输系统，目的是让交通基础设施发挥出最大的效能， 使社会能够高效地使用交通设施和能源，从而获得巨大的社会经济效益。它具有 以下三方面的功能： ( 1 ) 提高整个交通系统的管理水平。智能交通系统可以为交通管理部门和人 员提供及时准确的交通信息，从而使交通管理控制系统有效地适应各种交通状 况，运用多种控制系统，在相对宏观的高度进行合理的疏导或调配，从而在最大 2 王正友面向a t i s 的信息融合 d 博士后论文，浙江大学，2 0 0 4 ：卜2 2 浙江工业大学硕二l ：学位论文幕于g i s 和数据挖掘的智能交通管理系统的设计与实现 程度上发挥交通管理系统在交通监视、交通控制、出入控制、救援管理等方面的 准确性和调控性。 ( 2 ) 提高整个交通网络的通行能力。智能交通系统可以为管理者和出行者随 时随地地提供各种交通信息，帮助使用者选择合理的行车路线，避开交通拥挤， 减少交通事故，从而增强了整个交通网络的通行能力，提高整个交通系统的机动 性、便利性、安全性和舒适性，使得整个交通系统的运输效率和经济效益随之增 加。 ( 3 ) 降低交通系统对环境的负面影响。由于交通流量增长而引起的空气、噪 声污染己经越来越被人们所重视，智能交通系统通过在道路使用者与交通管理部 门之间、各交通管理部门相互之间，以及道路使用者相互之间及时地交换信息， 增强道路使用者的道路选择能力，使得路网交通保持顺畅，既节约了燃料，又降 低了对环境的负面影响。 1 1 4 智能交通系统的研究现状 1 1 4 1 国外研究现状 智能交通系统在美国、欧洲、日本等地区己经受到政府、产业机构、研究领 域等各方面的广泛重视。 美国交通部在1 9 9 5 年3 月首次f 式出版了“国家智能交通系统项目规划”， 明确规定了智能交通系统的7 大领域和2 9 个用户服务功能，并确定了至u 2 0 0 5 年的 年度开发计划。美国现在已经成为一个智能交通系统大国，智能交通在美国的应 用已达8 0 以上，相关的产品居全球前列。智能交通系统的相关技术已经产生了 显著的效益，如电子收费、付费系统，大大提高了道路的使用效率。在环境方面， 运输效率的提高意味着减少车辆废气排放。例如，在美国广泛使用的交互式导航 系统能使车辆废气排放量减少5 1 6 。目前，美国在智能交通系统应用发展较快 的几个方面分别是：车辆安全系统( 占5 1 ) 、电子收费( 占3 7 ) 、公路及车辆管 理系统( 占2 8 ) 、实时自动定位系统( 占2 0 ) 、商业车辆管理系统( 占1 4 ) 3 。 日本目前己建成的智能交通系统已经实现了交通信息的收集和信号的控制 3 中网资讯中心智能交通系统有效解决美国交通拥堵阅题f e b o l 】 h t t p ：w w w c n w n e w s c o m h t m l i n f o _ n e w s j t y s 2 0 0 6 3 3 1 1 1 4 2 8 1 2 9 2 4 h t m l ，2 0 0 6 - 3 - 3 1 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 功能，他们的下一个目标是实现真正的智能化。所谓智能化，它包括以下几个方 面：交通信息收集的智能化，即自动收集与分析交通拥堵信息，主要路口间的行 车时间，车辆目前所处位置和目的地信息( 可预测交通流的变化情况) ；实现信号 控制的智能化，即实现自适应的自动信号配时与控制，实现自动识别公共客车和 紧急车辆，实现优先通行的信号控制；通过推荐行驶路线来帮助驾驶员选择路线， 从而充分地利用现存的道路网络，有效地缓解交通拥挤等问题。 欧洲在1 9 9 8 年的时候由l o 多个国家总共投资了5 0 多亿美元，联合执行了一项 旨在完善道路设施、提高服务质量的d r i v e 计划，该计划现在已经进行到第三阶 段的研究开发工作上。目前正在进行t e l e m a t i c 的全面应用开发工作，计划在全 欧洲范围内建立专门的交通( 以道路交通为主) 无线数据通信网。智能交通系统的 主要功能如交通管理、导航和电子收费等都围绕t e l e m a t i c 和全欧无线数据通信 网来实现。目前，欧洲f 在开发先进的旅行信息系统( a t i s ) 、车辆控制系统 ( a v c s ) 、商业车辆运行系统( a c v o ) 、电子收费系统等1 。 1 1 4 2 国内研究现状 我国自7 0 年代起，作了大量的交通控制系统等基础性示范研究，近十年来 在交通指挥、监视、信息应用领域进行了开发应用，并取得了一定成绩，为智能 交通系统的开发应用打下了一定的基础，其中包括： ( 1 ) 开发了实时的自适应交通信号控制系统； ( 2 ) 建立了城市交通指挥控制中心，目前已拥有8 0 多个具备信号控制或监 视通讯功能的指挥中心； ( 3 ) 建设了全国交通管理信息系统，已开发了车辆管理、驾驶员管理，交通 事故统计与分析、交通违章管理等应用系统，基本实现了全国交通管理信息网络， 实现了相关信息的共享； ( 4 ) 开发了部分交通管理信息服务的平台，部分城市的交通堵塞、交通违章 等信息已进入了互联网； ( 5 ) 建立了卫星定位的警力快速反应示范工程，并且已在部分城市推广应 用： 4 杨_ 1 1 7 = 波刘小l 儿中外智能交通系统发展模式比较 j o l 综合运输，2 0 0 5 8 - 2 7 4 浙江- t 业大学硕二i 二学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 ( 6 ) 开发了交通事故快速勘察和紧急救援系统： ( 7 ) 开发与应用了闯红灯监测系统，对行进中车辆的号牌、图像、车速自动 监视识别系统5 。 1 2 基于g is 的智能交通系统 1 2 1 地理信息系统的概念 地理信息系统( g e o g r a p h i c a li n f o r m a t i o ns y s t e m ，简称g i s ) 是六十年代中期开 始发展起来的一门新兴技术。它是测绘学、地理学、空间科学、生态环境学、信 息学、计算机科学、管理学、人工智能、专家系统与网络通讯技术等领域的边缘 交叉科学，是以这些学科为基础技术平台，用各种现代化的方法来采集、存储、 管理、分析、显示和应用与整个地球表面( 包括大气层) 空间和地理分布有关的数 据信息的信息系统。它把地理位置和相关属性有机地结合起来，根据用户的需要 将空间信息及其属性信息准确真实、图文并茂地输出给用户，它满足城市建设、 企业管理、居民生活对空间信息的要求，并且用户可以借助其独有的空间分析功 能和可视化表达功能，进行各种辅助决策。 地理信息系统具有以下三个方面的特征： ( 1 ) 具有空间性和动态性，能够采集、管理、分析和输出多种地学空间信息； ( 2 ) 具有区域空间分析、多要素综合分析和动态预测能力，能够产生高层次、 高质量的地理信息； ( 3 ) 由计算机系统支持进行空间数据处理，并由计算机程序模拟常规或专门 的地学分析方法和模型，作用于空间数据，产生有用信息，快速、准确地提供科 学的决策依据。 1 2 2 基于g i s 的智能交通系统的概念 基于g i s 的智能交通系统是为现代化交通指挥中心而设计开发的软件平台， 5 张殿平智能交通与交通管理现代化 a 科学技术部，第二届北京国际智能交通系统( i t s ) 技术研讨暨技 术与产品展览会论义集 c 北京：科学技术部，2 0 0 2 ：2 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 它是一个开放式的复杂的系统，集控制、管理、决策于一体，它主要包括电子地 图系统和数据库系统，其中电子地图系统是指与用户交互的部分。该系统能够实 现地图的漫游、缩放功能，能够实现多媒体、多比例尺的图文双向查询，具有很 强的数据修改功能，可以实现最佳路径选择和某些预案的推演，辅助指挥人员做 出决策。 1 2 3 基于g i s 的智能交通系统的主要功能 基于g i s 的智能交通系统是交通管理的基础信息数据库，它由静态的道路网、 道路宽度、等级、路名、地形地貌、重要场所等信息和动态的交通组织方案、等 时图、交通拥堵、交通事故多时段、路段、警力配置等信息共同组成。它可以利 用多媒体技术把一张地图分层展开，并按需要配上相应的数据、图形、图像、信 息，使我们能够最大限度地了解到相关内容。它的特点是规模庞大、结构复杂、 功能综合和因素众多。其主要功能如下： ( 1 ) 数据输入编辑功能 实现输入、修改、编辑城市交通地图及其相关的属性数据。 ( 2 ) 图形库管理功能 实现对地图图库、图中的点、线、面的增加、删除等功能。 ( 3 ) 系统显示与查询功能 分层显示电子地图；按不同颜色或标记显示电子地图上的不同目标，并可显 示不同目标的属性数据；地图的任意漫游、放大、缩小；显示实时的交通图像信 息，实现交通诱导。 ( 4 ) 系统分析与决策功能 最佳路径分析是指可根据用户的请求，系统依据当前的交通拥挤情况，给出 最佳路径分析结果；指挥调度是指对特种任务和突发事件能提供一套决策方案供 指挥人员参考。 1 3 本论文选题背景及意义 智能交通系统建设的迅速发展，在维护交通秩序，减少工作人员的劳动强度 和提高工作效率方面取得了可喜的成果。各种先进的信息技术在智能交通系统中 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 得到了广泛的应用。电子警察系统将交通违法车辆的违法行为过程用图像和数据 记录下来，为交警部门处理交通违法行为提供了便利，同时在一定程度上也减少 了交通违法行为的发生。交通违章处罚系统、交通违法网上查询系统的在很大程 度上减轻了交警部门的工作量，提高了工作效率。 但是，随着国民经济的持续快速发展和道路、车辆的数量迅速增长，交通 违法行为屡禁不止，这引起了上至国家领导人，下至社会公众的普遍关心，已经 成为普遍关注的社会问题。在我国，交通违法行为在有些城市，有些路段和时段， 已经成为城市堵车的主要原因，有时也是很多交通事故的直接原因。例如超速、 未按规定让行、违法装载等交通违法行为依然是引发交通事故，特别是特大事故 的重要原因。据中华人民共和国公安部关于今年以来全国高速公路交通事故情 况的通报上的资料显示：今年以来，高速公路交通事故中，因机动车驾驶人交 通违法行为导致的事故起数为8 4 9 7 起。其中，疲劳驾驶、超速行驶、违法占道 行驶、违法变更车道、违法超车是导致交通事故的主要原因，共导致交通事故 2 4 6 9 起，造成1 1 5 9 人死亡。其中，1 7 9 的营运货车事故因疲劳驾驶导致，造 成1 9 2 的人员死亡；1 5 的营运客车事故因超速行驶导致，造成1 7 5 的人员死 亡5 。 1 0 4 国道的全程智能化、网络化监控系统自2 0 0 4 年7 月1 日正式投入使用 以来，为有效地遏制事故发生起到了较好的作用。具体体现在以下几个方面： ( 1 ) 为各级公安交通管理部门领导的科学决策提供了高效、准时、实时、完 整的信息参考和依据。系统中各监控点自动抓拍和识别车辆，将违章超速车辆的 信息和图片、非违章车辆的基本信息、流量信息实时统计自动上传到各支队监控 中心，为各级领导提供了较全面、实时的道路信息和决策依据。 ( 2 ) 提高了交通违法处理的工作效率。系统实现了异地交通违法信息2 4 小 时实时交换，这大大提高了非现场处理在交通违法处理中的比例。据有关资料显 示，2 0 0 4 年7 、8 两个月共查获交通违法5 8 、6 4 万起，已发处罚通知书1 5 、5 6 万份，已处罚交通违法6 2 7 万起，同时非现场系统提供的交通违法车辆信息和 抓拍图像，提供了强有力的执法依据，减少了路面民警与交通违法者正面冲突， 6 浙江高速公路交通信息网公安部关于今年以来全国高速公路交通事故情况的通报 e b o l 】 h t t p ：v n 唧z j g s j j o r g j g z x - l i s t a s p ? i i ) = 1 0 6 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 特别是有效地遏制了驾驶员多起或连续违法超速的恶性违法行为，提高了交通违 法处理工作效率。 ( 3 ) 提高了系统信息综合利用的效率。系统实现了全程“实时监视、联网布 控、自动报警、快速响应、科学高效、信息共享”的综合管理效能，满足了公安 交通、治安、刑侦等部门对交通违章、肇事逃逸、盗抢机动车等嫌疑车辆的监控 与打击工作的迫切需要，系统自建设起共协助破获其他刑事案件1 1 起，发挥了 该系统信息共享、综合利用的效能。 随着时间的推移，1 0 4 国道监控系统积累了大量的原始数据，这些海量数据 中蕴藏着许多有价值的信息。但是目前对这些信息的处理还基本停留在增、删、 改、查询、统计等传统功能上，缺乏智能化的分析功能。可以说其事务性功能已 经基本完善，但分析功能还相当欠缺。挖掘和提取出隐藏在数据之中、深层次的、 关于数据整体特征描述和数据发展趋势的预测信息，对于交警部门实时监测路面 状况和交通流量，做好相应的预防工作，有效疏导交通阻塞，减少交通违法事故 具有重大的意义。 本文所开发的基于g i s 的智能交通管理系统整合了机动车登记系统，驾驶人 管理系统，交通违法信息系统等部分功能，实现了对各个辖区以及辖区内机动车 驾驶人、重点单位等的综合管理。其数据内容包括机动车登记系统和驾驶人管 理基本信息、督办( 告知) 信息、业务工作台帐信息，安全监管信息、交通管理 设施基础信息、预案管理信息、交通违法信息等。运用数据挖掘技术找出隐藏在 信息之中的深层次的知识，对于提高整个交警部门工作效率都是很有意义的。 1 4 本论文的研究工作和组织结构 1 4 1 本论文的研究工作 本文结合“基于g i s 的智能交通管理系统”的研究和开发，以1 0 4 国道湖州 段的交通违法记录为例，采用关联规则中的f p - g r o w t h 算法进行数据挖掘分析， 得到有效的关联规则，并将该算法应用于我们所开发的系统中。具体的技术路线 如图1 1 所示。 浙江工业大学硕十学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 图1 1 全文技术路线实现图 ( 1 ) 数据采集：从交通违法系统数据库中取得违章信息表，从支队车管所 数据库中取得机动车信息表和驾驶人信息表。根据这些字段建立挖掘用的数据 表。 ( 2 ) 数据预处理：数据表的数据可能是离散的，也可能是连续的，对于一些 连续的属性进行离散化。某些无法从现有系统中得到的信息通过人工方式收集或 从其他系统中集成。 ( 3 ) 算法实现：用r e + + 6 0 实现f p g r o w t h 算法。 ( 4 ) 数据挖掘：以1 0 4 国道监控系统湖州段的交通违法记录为例进行数据 挖掘。 ( 5 ) 模式应用：对数掘挖掘技术在基于g i s 的智能交通管理系统中的应用 进行分析。 1 4 2 全文组织结构 本文共分五章，各章的主要内容如下： 9 浙江工业大学硕十学位论文 基于g i s 和数据挖掘的智能交通管理系统的设计与实现 本章是对地理信息系统、智能交通系统以及基于g i s 的智能交通系统的概述， 并提出了本文的研究工作。 第二章是对数据挖掘技术的概述，着重介绍了数据挖掘技术的基本概念，应 用以及常见的数据挖掘算法，并且介绍了国内外关于数据挖掘技术在智能交通信 息系统中的应用的研究现状。 第三章介绍了关联规则中的基本概念以及关联规则的两个算法a p r i o r i 算法和f p - g r o w t h ( f r e q u e n tp a t t e r ng r o w t h ，频繁模式增长) 算法。 第四章是全文的重点基于g i s 的智能交通管理系统的开发，介绍了该系 统的分析与实现，包括系统的总体结构、功能设计，给出f p g r o w t h 算法的编程 实现以及在i 0 4 国道监控系统违法信息分析中的应用实例，并对数据挖掘在基于 g i s 的智能交通管理系统的应用进行了分析。 第五章对全文进行总结，提出了未来工作的方向。 最后是参考文献、以及作者在攻读硕士期间的论文以及参加的研究工作。 l o 浙江t 业大学硕士学位论文 慕于g i s 和数据挖掘的智能交通管理系统的设计与实现 数据挖掘技术概述 2 1 数据挖掘的产生及其意义 在过去的3 0 年中，计算机在硬件方面取得了稳定的、令人吃惊的进步，这导 致了功能强的大型计算机、数据收集设备和存储介质的大量供应。这些技术大大 推动了数据库和信息产业的发展，使得大量数据库和信息存储应用于事务管理、 信息检索和数据分析。然而，目前对数据库中数据的开发应用主要是检索查询， 效率很低；此外，相当数量的数据具有很强的时效性，数据的价值会随着时间的 推移而迅速降低。由于缺乏强有力的数据分析工具，理解这些数据已经远远超出 了人的能力，结果使得收集在大型数据库中的数据变成了“数据坟墓”难得 再访问的数据文件。在这种情况下，重要的决定常常不是基于数据库中信息丰富 的数据，而是基于决策者的主观判断，因为决策者缺乏从海量数据中提取有价值 信息的工具。随着人们的认识和管理水平的提高，人们对客观世界的描述愈来愈 全面，从大量数据资源中挖掘出对各种决策有指导意义的一般知识的需要变得非 行迫切。数据挖掘技术i f 是为满足上述要求而产生的，它的迅速发展得益于目前 全世界所捌有的巨大数据资源，以及对将这些数据资源转换为信息和知识资源的 巨大需求。 2 数据挖掘定义及其过程 2 2 1 数据挖掘的概念 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据 中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过 程。 在实际中，数据挖掘的两个基本目标往往是预测和描述。预测涉及到使用数 据集中的一些变量或域，来预测其他我们所关心的变量的未知或未来的值；而描 述关注的则是找出可由人类解释的数据模式。因此数据挖掘活动可以分成两类， 一类是描述性数据挖掘，是指生成己知数据集所描述的系统模型；一类是预测性 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 数据挖掘，是指在可用数据集的基础上生成新的、非同寻常的信息。 2 2 2 数据挖掘的过程 数据挖掘是一个多步骤的过程，可以分为问题定义、数据准备、数据数据、 模式评估等基本阶段。图2 1 是数据挖掘的处理模型。图中我们把各个步骤按顺 序排列，但数据挖掘过程并不是线性的，要取得好的结果就要不断地重复这些步 骤。 图2 1 数据挖掘的过程 ( 1 ) 问题定义 在开始数据挖掘之前，最重要的就是了解现有数据和挖掘问题，确定研究目 标和需求，明确所要完成的数据库挖掘任务的性质。 ( 2 ) 数据准备 1 ) 数据的选择 在定义挖掘问题之后，需要搜索所有与业务对象有关的内部矛n 夕l - 部数据信 息，并从中选择出可用于挖掘的数据。在进行数据选择时，还需要分析清楚哪些 数据是数据挖掘中比较重要的数据源。 2 ) 数据的预处理 对选择的数据进行再加工，检查数据的完整性和一致性，对其中的噪声数据 进行平滑，对丢失的数据可以利用统计方法进行填补，对一些不适合于操作的数 据进行必要的处理。 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 3 ) 数据的转换 针对挖掘算法将数据转换成一个分析模型。模型的建立必须从数据分析开 始，首先为模型选择变量，接着从原始数据中构建新的预示值，然后从数据中选 取一个子集或样本来建立模型，最后将变量进行转换，使之和选定用来建立模型 的算法一致。 ( 3 ) 数据挖掘 运用选定的方法对经过转换的数据进行挖掘，从数据中提取出用户所需要的 知识。 ( 4 ) 模型解释 上面得到的模型，有可能没有实际意义，或没有实用价值，也可能没有准确 反映数据的真实意义，甚至在某些情况下与事实相反，因此需要对其进行评估， 确定哪些是有效的、有用的模式。这时需要返回到前续阶段，如重新选择数据、 采用新的数据变换方法、设定新的参数值，甚至换一种算法等。 ( 5 ) 知识评价 将发现的知识以用户能了解的方式呈现给用户。这期间包含了对知识作一致 性检查，解决与以前得到的知识相互冲突、矛盾的地方。 2 3 数据挖掘的特点 数据挖掘技术具有以下特点7 ： ( 1 ) 处理的数据规模十分庞大，达到g b ，t b 数据级，甚至更大。 ( 2 ) 查询一般是由决策制定者提出的即时随机查询，往往不能形成精确的查 询要求，需要靠数据挖掘技术寻找其可能感兴趣的东西。 ( 3 ) 在一些应用中( 如商业投资中) 中，由于数据变化迅速，因此要求数据挖 掘技术能快速做出反应以提供决策支持。 ( 4 ) 数据挖掘中，规则的发现基于统计规律。因此，所发现的规则不必适用 于所有的数据，而是当达到某一临界值时，就可以认为此规则有效。因此，利用 数据挖掘技术可能会发现大量的规则。 7 杨欣斌数据挖掘综述 j 科技咨询，2 0 0 5 ( 2 3 ) ：2 3 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 ( 5 ) 数据挖掘所发现的规则是动态的，它只反映了当前状态下的数据库具有 的规则，随着数据库的不断更新规则也应随之更新。 2 4 常用的数据挖掘技术 目前常用的数据挖掘的方法有分类、聚类、关联规则、粗糙集理论等。 2 3 1 分类 分类在数据挖掘中是一项非常重要的任务。分类的目的是通过统计方法( 包 括贝叶斯法和非参数法) 、机器学习方法( 包括决策树法和规则归纳法) 、神 经网络方法( 主要是b p 算法) 等构造一个分类模型，然后把把数据库中的某一项 映射到给定类别中的某一个，它的目的是找出一组能够描述数据集合典型特征的 模型( 或函数) ，以便能够分类识别未知数据的归属或类别，即将未知事例映射到 某种离散类别中去。 2 3 2 聚类 聚类是把一组个体按照相似性归成若干类别，即“物以类聚”，它的目的是 使得属于同一类别的个体之间的距离尽可能的小，而不同类别的个体间的距离尽 可能的大。聚类方法包括统计方法、机器学习方法、神经网络方法和面向数据库 的方法。统计方法中的聚类称为聚类分析，它主要研究基于几何距离的聚类，如 欧式距离、明考斯基距离等。这种聚类方法是一种基于全局比较的聚类，它需要 考察所有的个体才能决定类的划分。因此它要求所有的数据必须预先给定，而不 能动态增加新的数据对象。机器学习中聚类称为无监督或无教师归纳，此时聚类 的例子没有类别标记，需要由聚类学习算法来自动确定。神经网络中的聚类方法 主要是指组织特征映射方法。 2 3 3 关联规则挖掘 关联规则挖掘是从给定的数据集中发现频繁出现的项集模式知识，即从大量 的数据中挖掘出有价值、描述数据项之间相互联系的有关知识。关联规则的主要 浙江工业大学硕士学位论文基予g i s 和数据挖掘的智能交通管理系统的设计与实现 研究方向有：1 ) 多循环方式的挖掘算法，对事物数据库进行多次扫描，第k ( k 1 ) 次扫描利用第k - 1 次扫描的结果。2 ) 增量式更新算法，在给定最小支持度和最小 信任度下，事物数据库发生变化时生成关联规则，或者在最小支持度和最小信任 度变化时生成关联规则。3 ) 并行发现算法，它具有速度较快、容易实现、要求各 计算机间同步次数较少等优点，但它有通信量大和候选大项集大等缺点。4 ) 基于 约束的关联规则挖掘，其主要目的是发现更有趣、更实用和更特别的关联规则。 5 ) 挖掘多值属性关联规则，它将多值属性的值划分为多个区间，每个区间算作一 个属性，将类别属性的每一个类别当作一个属性。关联规则广泛应用于决策支持 系统。比较有影响的算法有a p r i o r i 算法、f p - 一g r o w t h 算法等8 。 2 3 4 粗糙集理论 粗糙集理论是一个强大的数据分析方法。它相比其他数据挖掘方法具有以下 优点： 首先，粗糙集理论不需要先验知识。模糊集和概率统计方法是处理不确定信 息的常用方法，但它们需要一些数据的附加信息或先验知识，如模糊隶属函数和 概率分布等，这些信息有时并不容易得到。粗糙集方法仅利用数据本身提供的信 息，无须任何先验知识。 其次，粗糙集理论能表达和处理不完备信息，以不可分辨关系为基础，侧重 分类；能在保留关键信息的前提下对数据进行约简，并求得知识的最小表达；能 识别并评估数据之间的依赖关系，揭示出概念简单的模式；能从经验数据中获取 易于证实的规则知识，比模糊集或神经网络方法在获得决策规则和推理过程方面 更易于证实和推理。 但粗糙集理论的缺点是容错能力与泛化能力相对较弱，且只能处理量化数据 等问题。粗糙集理论为处理不完备信息提供了有效的工具，也为信息科学中的知 识获取提供了新的研究方法。 3 b i l l l a rg 当前流行的数据挖掘的基本方法及其特点 e b o l 。 h t t p ：u s e r s i r l a b 0 1 c 管, b i l l 一1 a n g b l o g l o a r c h i v e s 0 0 0 9 6 1 h t m l 浙江1 二业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 2 5 数据挖掘的应用 数据挖掘的应用是极其广泛的，只要有数据的地方，基本上都有数据挖掘的 用武之地。针对特定领域的应用，包括生物医药学、d n a 分析，金融、零售业 和电信业等，人们开发了许多专用的数据挖掘工具。这些数据挖掘工具将数据分 析技术与特定领域知识结合在一起，提供满足特定任务的数据挖掘解决方案。 ( 1 ) 金融业 数掘挖掘在金融领域应用相当广泛，包括金融市场分析和预测、账户分类、 银行担保和信用评估等。这些金融业务都需要收集和处理大量数据，很难通过人 工或使用一两个小型软件进行分析预测。而数据挖掘可以通过对已有数据进行分 析，找到数据对象的特征和对象之间的关系，观察到金融市场的变化趋势。然后 利用学习到的模式进行合理的分析预测，进而可以发现某个客户、消费群体或组 织的金融和商业兴趣等。 ( 2 ) 市场业 数据挖掘技术在企业市场营销中得到了比较普遍的应用。它以市场营销学的 市场细分原理为基础，假定“消费者过去的行为是其今后消费倾向的最好说明“。 通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个 体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下 一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定 向营销，这与传统的不区分消费者对象特征的大规模营销手段相比，大大节省了 营销成本，提高了营销效果，从而为企业带来更多的利润。 ( 3 ) 证券业 证券行业是数据挖掘技术应用的一个重要领域。 目前，国内证券行业的外部经营环境发生了较大变化，证券市场由卖方市场 变为买方市场，市场开始细分，券商对其传统的业务如经纪业务、投行业务和自 营业务都在进行不同程度的调整，以期建立自己的核心竞争力，树立竞争优势。 如何形成差别化优势是各券商应考虑的重点，而形成差别化优势主要依赖于券商 提供的咨询服务与附加服务。数据挖掘在此过程中将发挥重要作用，其技术应用 的方向主要有客户分析、客户管理、财务指标分析、交易数据分析、风险分析和 投资组合分析等。 1 6 浙江 二业大学硕十学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 ( 4 ) 制造业 制造业利用数据挖掘技术进行零部件故障诊断、资源优化、生产过程分析等。 通过对生产数据进行分析，可发现容易产生质量问题的工序以及相关的故障因素 等。例如，a c k n o s o f l 公司开发的c a s s i o p e e 系统已用于诊断和预测在波音飞机制 造过程中可能出现的问题9 。 ( 5 ) 工程和科学研究 随着先进的科学数据收集工具的使用，如观测卫星、遥感器、d n a 分子技术 等，工程和科学研究积累了大量的数据，传统的数据分析工具对此已经无能为力。 数据挖掘技术以其强大的智能性和自动性，在工程和科学研究中得到广泛应用。 例如，在天文学应中，美国加州理工学院喷气推进实验室实验室利用决策树方法 对上百万天体进行分类，帮助天文学家发现了1 6 个新的类星体。 2 6 数据挖掘技术在智能交通信息系统中的研究现状 将数据挖掘技术应用于智能交通信息系统中，提取出隐藏在数据之中深层次 的、关于数据整体特征描述和数掘发展趋势的预测信息和知识，对于提高交警部 门的工作效率具有重大的意义。国内外在这方面都有一定的研究。 2 6 1 国外研究现状 国外对数据挖掘技术在交通领域中的应用进行了大量地研究，尤其是在对交 通事故的因素分析上，文献 1 - 6 ，1 0 ，1 l ，1 4 对该方面的研究进行了介绍。 文献 1 利用分类方法研究了与机动车因换道而产生交通事故的相关因素。 文献 2 利用基于决策树的分类方法分析导致学生发生交通事故而受伤的因 素，通过分析相关因素以进一步提出相应的预防措施。 文献 3 提出了利用数据挖掘技术进行交通事件因素分析。 文献 4 利用分类和关联规则算法研究了起交通事故的各种交通道路因素。 文献 5 研究了基于神经网络模型和决策树模型分析的导致老年驾驶人交通 事故的因素，研究表明驾驶员( 性别、年龄、健康状况、酒后驾车) 、车辆、环 9 吉根林，孙志挥数据挖掘技术 j 中国图象图形学报，2 0 0 1 ，6 ( 8 ) ：7 2 0 1 7 浙江工业大学硕士学位论文基于g i s 和数据挖掘的智能交通管理系统的设计与实现 境和道路都是引发交通事故的因素。 文献 6 利用神经网络的方法分析受伤程度和事故相关因素之间的非线性关 系。研究发现，安全带、酒精和药物、年龄、性别都将影响因交通事故而导致受 伤的程度。而天气和时间与此关系不大。 文献 1 0 利用频繁项集研究引起道路交通事故的因素，该研究表明在交通事 故黑点区域，道路交叉口的左转标记，与行人相撞，方向盘