（管理科学与工程专业论文）基于非参数回归的短时交通流量预测方法研究.pdf

摘要摘要短时交通流量预测是智能交通系统( i t s ) 的关键技术之一，其预测性能的好坏、是否满足实时性要求都直接关系到交通控制与诱导系统的有效实现。本文从分析短时交通流特性入手，从归纳一演绎、非线性时变系统两个角度认识非参数回归方法，从原理上阐明应用非参数回归方法进行短时流量预测的适用性。讨论了应用非参数回归方法的关键步骤和影响因素。非参数回归方法作为一种新型的智能方法，仍然存在诸多缺点限制了它的实际应用。这些缺点集中在：样本数据库结构不合理、搜索策略效率不高、系统开环等。本文从研究这些缺陷入手，对该方法本身进行多方面的改进，使其提高预测准确度和满足实时性要求。主要的改进包括：( 1 ) 将原始流量数据和搜索数据分别存放，建立基于一维和多维数据搜索的数据库结构和搜索策略。平衡二叉树和r 树的逻辑结构和静态链表的物理结构的应用大幅度地缩减了数据搜索所需时间，提高了预测的实时性。( 2 ) 将闭环反馈回路加入到预测系统中最关键的步骤模式匹配中，通过预测误差来修正模式匹配结果，从而使模式匹配过程更加合理，提高了预测的准确度。( 3 ) 分析影响非参数回归预测鲁棒性的因素，重点在于系统需要重建时，针对大量原始数据的收集和实时预测这一对矛盾，提出应用系数库和分批预测的思想加以解决。由于原始流量数据不具备非参数回归方法所需的中心点和中心点附近的k个近邻点，同时考虑到原始流量数据具有维数高、冗余量大的特点，因此有必要对原始数据进行数据预处理操作。在本文中，采用主成分分析达到降维和消除变量之间相关性的目的。采用聚类分析剔除冗余数据，并且得到数据中心点和近邻点。应用交通仿真软件对典型路网结构进行仿真，得到在各种仿真条件下的流量数据。对于创建数据库所需的数据，也就是仿真过的路网结构的流量模式，采用较大跨度的参数设置，得到各种流量模式的边缘状态；而对于检验过程所需的数据，采用较小跨度的参数设置，这样更有利于研究模式的演变状态。重点对于数据库的两种数据结构在预测准确度和预测所需时间上进行比较。结果表明，一维搜索结果优于多维结构。关键词：短时流量预测非参数回归数据搜索策略模式匹配主成分分析a b s t r a c ta b s t r a c ts h o r t t e r mt r a f f i cv o l u m ef o r e c a s t i n gi so n eo fk e yt e c h n o l o g i e so ft h ei n t e l l i g e n tt r a n s p o r ts y s t e m s ( i t s ) p e r f e c tp e r f o r m a n c eo ff o r e c a s t i n ga n dm e e t i n gr e a l - t i m er e q u i r e m e n tc o n c e mt h ee f f e c t i v er e a l i z a t i o n so ft r a f f i cc o n t r o la n dt r a n s p o r t a t i o ni n d u c t i o ns y s t e m b a s e do nt h ea n a l y s i so ft h ep r o p e r t i e so ft r a f f i cf l o w s ，t h i sd i s s e r t a t i o nb e g i n st or e c o g n i z en o n - p a r a m e t r i cr e g r e s s i o nf n p r ) f r o mt w od i f f e r e n ta n g l e s ：d e d u c t i v e i n d u c t i v em e t h o da n dt h e o r i e sa b o u tn o n - l i n e a rt i m e - v a r i a n ts y s t e m n p ri ss u i t a b l ef o rs h o r t - t e r mt r a f f i cv o l u m ef o r e c a s t i n gt h e o r e t i c a l l y t h em a i ns t e p sa n di n f l u e n c i n gf a c t o r sa r ed i s c u s s e di na p p l y i n gn p r n p ra san e wi n t e l l i g e n tm e t h o dh a sm a n ys h o r t c o m i n g sr e s t r i c t i n gi t sa p p l i c a t i o n sw h i c hf o c u so n ：i l l s u i t e dd a t a b a s es t r u c t u r e ，l o ws e a r c h i n ge f f i c i e n c y ，o p e nl o o ps t r u c t u r ee t c t h i sd i s s e r t a t i o ni m p r o v e st h em e t h o dt oa d v a n c ef o r e c a s t i n ga c c u r a c ya n dm e e tr e a l - t i m er e q u i r e m e n t t h em a i ni m p r o v e m e n t si n c l u d e ：( 1 ) t h eo r i g i n a lv o l u m e sa n ds e a r c h i n gd a t aa r es e p a r a t e dt ob es t o r e di nt w od a t a b a s e s t h ed a t a b a s e sa r eb a s e do nu n i d i m e n s i o n a la n dm u l t i - d i m e n s i o n a ls t r u c t u r e sa n ds e a r c h i n gs t r a t e g i e s t h ea p p l i c a t i o n so fb a l a n c e db i n a r yt r e ea n drt r e ea sl o g i s t i cs t r u c t u r e s ，s t a t i cc h a i na sp h y s i c a ls t r u c t u r er e d u c et h es e a r c h i n gt i m ea n dm e e tt h er e a l - t i m er e q u i r e m e n t ( 2 ) ac l o s e df e e d b a c kl o o pi sa d d e du p o nt h em o s ti m p o r t a n ts t e p p a a e r nm a t c h i n g t h em a t c h i n gr e s u l t sa r ea m e n d e db yf o r e c a s t i n ge r r o r st oi m p r o v ef o r e c a s t i n ga c c u r a c y ( 3 ) a n a l y s i st h ef a c t o r so fn p ra f f e c t i n gr o b u s t n e s sa n df o c u so nt h ec o n t r a d i c t i o nb e t w e e nt h ec o l l e c t i o no fo r i g i n a ld a t aa n dr e a l t i m ef o r e c a s t i n gw h e nr e b u i l d i n gt h es y s t e m t h ec o e f f i c i e n td a t a b a s ea n dt h ei d e ao fb a t c hf o r e c a s t i n ga r ep u tf o r w a r dt os o l v et h ep r o b l e m n p rn e e d st h ed a t ac e n t e r sa n dkn e a r e s tn e i g h b o r sr o u n de v e r yc e n t e r b u tt h eo r i g i n a ld a t ad o e sn o tp o s s e s st h e s e f u r t h e r m o r e ，i th a sf e a t u r e so fh i g h d i m e n s i o n sa n dl a r g es u p e r f l u o u sd a t a s ot h ep r e t r e a t m e n to p e r a t i o n st oo r i g i n a ld a t aa r en e c e s s a r y i nt h i sd i s s e r t a t i o np r i n c i p a lc o m p o n e n ta n a l y s i si sa d o p t e dt ob r i n gd o w ni n p u tv a r i a b l ed i m e n s i o n sa n de l i m i n a t et h er e l a t i v i t i e sa m o n gt h e m s u p e r f l u o u sd a t ai sr e j e c t e db yc l u s t e ra n a l y s i s t tjy p l c a lr o a dn e t w o r ki ss i m u l a t e db yt r a f f i cs i m u l a t i o ns o r w a r ea n dt h ev o l u m e sd a t ai sg o r e nb ya l lk i n do fs i m u l m i o nc o n d i t i o n s t ot h ed a t af o rc r e a t i n gd a t a b a s e r e p r e s e n t e db yv o l u m em o d e sw i t hw h i c ht h en e t w o r kh a sb e e ns i m u l a t e d t h es l m u j a t i o np a r a m e t e r sa r es e tb yl a r g es p a n st og e tt h em a r g i n a ls t a t e so fv o l u m e s t ot d a t af o rt e s t i n g ，t h es i m u l a t i o np a r a m e t e r sa r es e tb ys m a l ls p a n st os t u d yt h em o d ee v o l u t i o n s t h ee x p e r i m e n t sa r ef o c u s e do i lt h ec o m p 撕s o n so ft h et w od a t as t r u c t u r e sa tt h er e s p e c t so ff o r e c a s t i n ga c c u r a c ya n dt i m ec o n s u m p t i o n t h ec o m p a r l s o nr e s u l t ss h o wt h a tt h eu n i d i m e n s i o n a ls t r u c t u r ei ss u d e r i o rt om u l t i d i m e n s i o n a lo n ek e yw o r d s ：s h 。r t - t e r mt r a f f i cv o l u m ef o r e c a s t i n g ，n o n - p 蹦珊e t r i cr e g r e s s i o n ( n p r ) ，d a t as e a r c h i n gs t r a t e g y ，p a t t e r nm a t c h i n g ，p r i n c i p a lc o m p o n e n ta n a l y s i sh i独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得墨鲞盘堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：狄玩利签字日期：友沙了年月日学位论文版权使用授权书本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。特授权墨鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。( 保密的学位论文在解密后适用本授权说明)学位论文作者签名：苏玩卅签字日期：文汐譬年j 月日导师签名：签字日期：颂饲灿年月日第一章概述1 - 1 问题的提出第一章概述近年来，随着社会经济的迅速发展，汽车保有量，特别是私家车的大力发展，造成交通流量不断上升，城市交通需求和供给的矛盾越来越大，城市交通拥挤现象在大城市非常严重。交通需求的迅速增长给交通基础设施带来了巨大的压力，但是交通设施建设相对滞后；而且由于城市空间的限制，也不可能无限制地满足交通对土地的需求，单靠修建更多道路这种传统方法已经难以有效地解决交通拥堵问题了；再有，拥堵的背后是一种相当复杂的格局一方面不断建造新路来疏导交通，另一方面，新的通道刺激更多市民购车，或改由新道路上下班，于是新道路不久就堵得更厉害。交通拥堵问题是由多方面原因形成的，其中包括城市路网结构先天不足，就北京市而言，中心区缺乏南北干道、环路间缺乏快速联络线等，也包括公交线路及站点设置存在问题、停车设施严重短缺等。但是另一方面，利用现代科技手段，实施交通的智能化管理，让有限的交通资源利用趋于最大化，这在当前交通现状而言是符合实际的，并且是非常紧迫的任务。智能交通系统( i n t e l l i g e n tt r a n s p o r ts y s t e m s ，简称i t s ) 利用最先进的信息通讯技术实现交通的高度信息化，通过充分合理利用道路资源实现车辆和行人在道路上的最佳流动，来缓解道路的超负荷使用，达到大幅度提高运输效率、安全性、舒适性并促进环境保护的目的【l j l 2 j 。利用i t s ，为出行者提供切实的道路信息，使出行者能够避开交通拥挤地段，分散拥挤地段的交通量，有效地解决交通问题。作为交通管理系统重要组成部分的交通控制与诱导系统在i t s 中占有“中枢神经 的地位。良好的交通控制体系，实时准确的导航和线路引导可以让驾驶员合理地选择行驶路线，最大限度地节约行驶时间、均衡各条道路的车流量，预防交通堵塞。要真正实现对交通流系统实时的、动态的、高效的诱导、管理与控制，必须基于对交通流实时状态和短期预测状态的把握。交通流状态预测的不准确，交通控制与诱导的效果必然不会好。因此，准确、可靠的交通流短时预测技术是交通控制与诱导中的关键技术之一。第一章概述1 2 本文研究的意义短时交通流量预测理论为智能交通系统的实现提供基础理论支持和数据支持，一方面，交通控制管理中心通过采集到的交通流信息掌握道路网络的实时交通状况，通过短时交通流量预测获得下一时刻道路网的交通状况，然后为出行者发布交通信息，对道路网的交通状况实施管理和监控，科学合理地引导出行者的行走路线，使交通流能够尽量合理地分配在路网上，在拥堵未发生之前，采取措施来避免拥堵的发生，而不是当拥堵发生后，再被动地去解决和处理。通常情况下，拥堵路段不仅涉及到拥堵路段本身，而且还将涉及到相邻路段，更严重的情况下，有可能使整个路网瘫痪；另一方面，出行者可以利用交通控制管理中心发布的交通信息，了解道路网的交通状况，对出行前和出行中的路径，出发时间，交通工具做出正确的选择，避免交通堵塞。同时交通管理部门也可以向出行者提供丰富的实时交通信息和最优路径引导信息。它可以减少交通阻塞以及车辆在道路上的逗留时间，并最终实现交通流量在网络中各路段上的最优分配。在制定诱导策略时主要基于两方面的工作：一是交通状况( 如行程时间、交通流量、平均速度等) 的预测；一是最小代价( 行程时间、行程距离) 等行车线路的优化，其中对交通状况的预测是问题的关键，是制定诱导策略的基础，只有得到了准确可靠的短时交通流量预测信息才能进行行车路线的优化和选择。由此可见，实时、准确的短时交通流量预测无论对于出行者个体，还是交通管理都是必不可少的。1 3 短时交通流量预测概述和特性分析1 3 1 短时交通流量预测概述交通流量预测是交通规划和交通控制的基础性工作。交通控制与交通规划对于交通预测的要求是不同的。对于交通规划，规划周期是以年为单位，对应的交通流量预测时间就长，可以依据以小时、日、周、月、年为单位的统计数据来进行预测规划年份的交通量，要求是宏观的粗略的预测。而对于交通控制与诱导而言，由于诱导周期一般不超过5 m i n ，而控制周期一般在2 5 m i n 之内，所以需要预测的时间短，要求5 m i n 乃至更短时间的微观交通流量，这时不能根据以小时、日、周、月、年为单位的统计数据来进行预测，只能根据当时当地检测到的交通流量数据实时地预测下一个控制( 诱导) 周期的交通流状态。一般地，把短于2第一章概述1 5 r a i n 的交通流量预测称为交通流量短时预测，而最好是有针对性地进行短于5 r a i n 的交通流量预测。如果从控制角度看交通流量预测，图l l 表示了交通流状态、预测状态与控制变量之间的关系l l 】o顶后) ，缸u ( k - 1k - 1 ) ，x ( k 一2 ) 状态估计器x ( k + 1 1 ，u ( k 一2 ) 一u ( k ) 控制器图1 1交通流与控制关系示意图图中，括号中的符号k 表示离散时间，k + l ，k ，k 1 ，k 2 ，组成了一个时刻排列，当时时刻是k ，前一次采样时刻是k 1 ，前两次采样时刻是k 2 ，依次类推，未来下一个采样时刻是k + 1 ；x ( k ) ，x ( k 1 ) ，x ( k 2 ) 分别表示各个采样时刻得到的系统状态变量值，在交通流量预测中，状态变量一般选择交通流量、密度、速度、占有率、饱和度等。“( k ) ，u ( k 1 ) ，材( k + 1 ) 是各个时刻的控制变量的值，在交通控制问题中交通信号的配时参数以及交通诱导中的诱导信号就是控制变量。x ( k + 1 ) 表示对下一个时刻系统状态变量的估计值。作为一个实际的交通控制系统，当前时刻k 能够得到的信息只能是图中表示的输入状态估计器的输入变量的时间序列石( 后) ，x ( k 1 ) ，x ( k 一2 ) 和控制变量u ( 后一1 ) ，u ( k 2 ) ，下一个时刻系统状态变量的估计值x ( k + 1 ) 是需要预测的。因此，无论如何必须有一个状态估计器来不断地完成对未来时刻状态的预测，状态估计器就是实现交通流量短时预测模型算法的模块。1 3 2 短时交通流量预测特性分析交通流系统是一个有人参与的、动态的、开放的复杂巨系统，具有高度的非线性、时变性和不确定性【3 】。如果把影响交通流的全部因素集合定义为w = 嵋，w 2 ，oo o $ w 。 ，f 是对这些影响因素综合考虑的交通流因变量( 流量、密度或占有率等) 。( 1 ) 非线性考察一个结构相对简单的路网结构图l 一2 ，其中包括十字交叉路口、与被测路段相关联的多条道路、交通吸纳点。第一章概述b图1 2 路网结构示例b 为被预测流量路段，a 1 a 6 为与b 路段相关的路段p 为交通吸纳点对于图l 一2 所示的短时流量预测，b 路段流量的预测问题可以描述为：圪( j | + 1 ) = 厂( 圪，v o l ，v 0 2 ，v a 3 ，v 0 4 ，圪5 ，v 0 6 ，最，k )( 1 1 )圪( 七+ 1 ) 是b 路段当前时刻k 的下一时刻的预测流量，二圪。圪。是各个相关路段的流量，这些流量同样是离散时间k 的函数，只是吸纳点p 的参数。由此可见，影响被测路段流量的因素众多，用简化的线性模型不可能很好地描述其特征，而且车辆在道路上行驶，受到司机主观判断的影响，车辆在道路上行驶的规律也不尽相同。反映到总体各个路段的流量状态上，也就是y 不仅是时间的函数，它本身也是非线性函数。因此，想要找出厂函数的映射关系表达式几乎是不可能的。( 2 ) 系统时变性【l 】根据系统的动态特性不同，系统可以分为时变系统和时不变系统，对非线性时变系统，它的状态空间描述形式是：x ( 尼) = f i x ( k ) ，“( 后) ，k 】( 1 - - 2 )j ，( 尼) = 办 x ( 尼) ，“( 后) ，k 】( 1 3 )式( 1 - - 2 ) 是状态方程，式( 1 3 ) 是输出方程。其中厂和h 不仅是状态x 、输入u 的向量值函数，同时也是时间k 的非线性函数，也就是说，厂和五随着时间变化，不是固定不变的，状态的变化率是状态x 、输入“以及时间k 的函数，而且该函数还是时变的。交通流系统是非线性时变系统。系统输出y 不仅与各种影响因素和状态变量之间是非线性关系，同时也是时间t 的非线性函数，而且状态变量也在随着时间的推移自身也在变化。采用何种方法来解决短时流量预测中的非线性时变问题是预测的核心问题。4第一章概述线性时不变系统的理论的某些概念可以推广到非线性时变系统上去，例如能控性、能观性、稳定性、鲁棒性、状态空间表达形式等。但是线性时不变系统的定理、推论、方法则几乎均不能推广到非线性时变系统上去，例如传递函数、频率特性不能用于时变系统。( 3 ) 不确定性不确定性包括非本质不确定性和本质不确定性。非本质不确定性是指通常概率统计意义下的随机性( r a n d o m n e s s ) 。随机性属于不确定性。交通流模型中考虑了随机扰动( 如w e i t s 模型、排队论模型等) ，随机变量都服从一定的统计规律，有确定的随机分布，可以用概率的特征参数( 如均值、方差) 来描述。本质不确定性是没有统计规律的不确定性，这种不确定性不服从确定的随机分布，不能用概率的特征参数来描述，不能简单地用概率论的方法来处理它。短时交通流( 5 m i n 以内，最好是2 m i n 以内) 的交通流状态。在所研究路段上的车辆排列状态、车辆的离散状态、车辆的组成、司机的行为等等都是这种本质不确定性的。在非饱和交通的路段上、在非高峰时段，尤其是这样。它是由当时该路段的所有出行者的出行目的、出行习惯、随时可能改变的想法和行为等因素决定的。下一个研究时间区间( 下一个2 m i n ) 的交通流状态又取决于下一个时段的另外一批出行者的行为，通常他们之间没有约定的联系，除非是有组织的活动。对于这样的问题，不能用假定它服从某种随机分布来处理它，也就是不能用基于概率论的办法来估计下一个时段的交通流状态，因为它是本质不确定的。从根本上说，在特定路段上的人们的出行意志不会受研究者假定的统计规律所左右，究竟每个出行者当时有什么想法、将采取什么行为( 超车、停靠、跟驰、加速、减速) 旁人是无法知道更无法预测的。与一般的随机性不同，没有统计规律，不确定性更强，处理更难。对于具有随机性的交通流的状态，虽然不能准确地预测，但是可以根据大量的样本得出统计规律，依靠人的知识、依靠专家的主观偏好，可以大致推算出交通流未来状态发生的概率；而对于本质不确定性的交通流却不同，由于无法获得或者即便能够获得也无法利用具有本质不确定性的交通流的大量样本，从而也就找不到统计规律，根本无法用统计方法预测未来状态。1 4 各种预测方法的研究现状及存在的主要问题随着预测技术的不断发展和应用，新的预测方法也在不断地涌现。大致来说，预测方法分为定性和定量两个大类，定性预测方法有相关类比法和德尔菲法，定量预测方法大致有因果分析预测、趋势分析预测和智能模型预测三种。每个类里第一章概述面分成许多小类，如图1 3 所示。图1 3预测方法分类目前应用于短时流量预测方面的主要有：历史平均法( h i s t o r i c a la v e r a g em e t h o d ) 、线性回归模型( l i n e a rr e g r e s s i o nm o d e l s ) 、时间序列法( t i m es e r i e sm o d e l ) 、卡尔曼滤波法( k a l m a nf i l t e r i n gm o d e l ) 、非参数回归模型( n o n p a r a m e t r i cr e g r e s s i v em o d e l ) 、人工神经网络模型( a n n s ，即a r t i f i c i a ln e u r a ln e t w o r k s ) 等。现在的发展趋势是将这些方法恰当地组合起来应用，即组合预测方法。表l l是各种预测方法的优缺点及主要的应用。表l l各种预测方法的优缺点及主要的应用预测方法优点缺点应用19 81 年s t e p h a n e d e s 将其应用于城市交通因历史平均模型研究较早，算法精度较差控制系统( u t c s u r b a nt r a f f i cc o n t r o l果简单s y s t e m ) 中分19 8 7 年j e f f r e y 将其应用于动态路径诱导析系统( a u t o g u i d e ) 中预适用性差，未能反映2 0 0 1 年j o h nr i c e 将变系数的线性回归测线性回归模型较历史平均法成交通流的不确定性模型用于城市快速路上的行程时间的预测方熟，算法简单和非线性，无法克服【4 1法随机干扰2 0 0 3 年z h a n g 建立线性模型用于短期行程时间的预测【5 1自回归a r 模计算简便，易于不能很好地克服随1 9 9 8 年车辆线路引导系统的行程时间预趋型、滑动平均实时数据更新数机干扰对交通流的测f 6 】1 7 】势m a 模型、自据，便于大规模影响，尤其随着预测2 0 0 3 年状态空间模型与a r 结合进行城回归- 滑动平应用时间间隔的缩短，流市快速路的短时交通状态预测1 8 】分均混合量的规律性越发不a r m a 模型明显，不确定性越来析越强预b o x c o x 法改良的有变犁参加大了参数估计的数的回归分析模测型，考虑到了一计算量些非线性因素，方预测效果有所改法善6第一章概述针对流量为更一预测时间间隔大于应用于城市交通控制系统( u t c s ) 中自回归求和滑般的非平稳随机等于3 0 m i n 时只比历2 0 0 4 年基于a r i m a 模型的短时交通流动平均序列史平均法略好一点：实时自适应预测模型1 9 j依赖大量的不间断a r i m a 模型的时间序列，不适宜大规模场合下的应用卡尔曼增益矩阵线性模型，在预测1 9 8 4 年基于卡尔曼滤波的交通流量预测卡尔曼滤波1 1 0 l可在计算中自动非线性、不确定性的k a l m a n 模型改变，调节信息交通流时，性能变1 9 9 9 年基于卡尔曼滤波的交通流实时预的修正作用，以差；每次计算都要调测1 1 1 】保持滤波估计的整权值，计算量过大1 9 9 9 年基于卡尔曼滤波的实时行程时间最佳性，具有在预测f 1 2 】线预测的功能识别复杂非线性可转移性差；隐层节1 9 9 4 年2 0 0 4 年基于神经网络的交通流人工神经网络系统：不需要经点数的确立没有统预测1 1 3 l 叫2 6 l智模型验公式；独特的一的方法，只能凭经并行结构、自适验试凑；存在局部极能应自组织、联想小，收敛速度慢，难记忆、较强的容以实现在线调节模错性和鲁棒性以模式识别为基需要大量的流量数1 9 9 9 年神经网络和非参数回归方法的比型非参数回归模础的非参数建据来建立样本数据较2 7 1预型模；算法简单清库；邻域规模的确定1 9 9 6 年多时间间隔流量预测【2 8 】晰；预测精度高，没有统一的方法2 0 0 0 年精确度和执行时间分析l测误差小：较强的2 0 0 1 年基于k 近邻非参数回归的交通流方时间强壮性，应预测i l付非线性和不确2 0 0 2 年参数回归和非参数回归的比较【3 l 】法定性变化的能力2 0 0 3 年多变量非参数回归l 弛1强2 0 0 3 年非参数回归的流量预测与事件检测综合算法i ”l用遗传算法训练神经网络与遗当神经网络非常庞1 9 9 8 年遗传算法优化神经网络的高速路神经网络的权值传算法相结合等参数和网络结大时，用神经网络训的短时交通流预测3 q构参数，克服了隐层节点数靠试练是不可行的2 0 0 2 年基于神经遗传算法的短时交通流凑的弊端：避免预测【3 5 】了易陷入局部极小点的缺点组弥补了神经网络增加了隶属度函数l9 9 8 年基于模糊推理和神经网络的实时神经网络与模黑箱型的学习模参数，系统调节参数路段行程时间估计1 3 6 】合式增多2 0 0 0 年基于模糊神经网络的实时路段行糊逻辑相结合方程时问估计【3 7 12 0 0 2 年基于模糊神经网络的城市交通流法预测1 3 s l充分利用了小波2 0 0 2 年基于小波分解与重构的交通流短基于小波理论时预测法【3 9 j变换的“数学显的组合微镜”的特点将2 0 0 3 年基于小波分析的交通流量预测方非线性系统的时法【4 0 l间序列分解为多个分量对各信号分量分别进行预测用单一的预测模型进行预测时，由于模型本身存在这样或那样的缺陷，所以利用两种或两种以上的方法进行预测可以取长补短，更好地发挥各自的优势，预7第一章概述测效果比单一方法要好。这在短时流量预测中成为一种趋势。特别是智能方法和智能方法、智能方法和数理统计方法相结合的应用最多，预测效果也最明显。这也是把组合方法并列于其它方法的原因。通过以上对各种短时交通流量预测模型的比较和分析，基于线性模型的预测方法、单纯的时间序列法或者数理统计法等，例如历史平均法、线性回归法、a r 、m a 等，由于这些模型是用线性关系代替复杂的非线性关系，往往不能很好地克服随机干扰对交通流的影响，尤其是随着预测时间间隔的缩短，流量的规律性越发不明显，本质不确定性越来越强，因此这些方法正在逐步被淘汰。鉴于交通流本身的非线性和复杂性，基于知识的无模型智能预测算法被应用到短时交通流预测领域中，由于神经网络模型及其基于神经网络的组合模型具有很强的学习能力、较强的鲁棒性和容错能力、并行结构和非线性映射的优点，比较适合于短时交通流量预测领域，因此目前在短时交通流量预测领域应用很广。但是，神经网络模型也有很多缺陷，这些缺陷有的是可以通过组合其它方法而得到解决，有的是无法克服的，例如单纯神经网络模型易陷入局部极小点，可以采用动量批梯度下降法等加以解决；网络结构过分依赖经验，可以用遗传算法或者其它全局优化算法解决；网络的“黑箱”式学习模式，得不到容易被人接受的输入输出关系，可以与模糊推理系统结合，得到“i f t h e n ”规则。但是有的致命缺陷却是无法克服的，例如当网络结构非常庞大时，网络的训练时间会过长，尤其是短时流量的训练数据可能达到几千甚至几万个，网络的隐层节点数非常多，训练任务是根本无法完成的。例如应用m a t l a b 软件的模糊神经推理系统a n f i s ，随着输入变量个数p和隶属函数个数m 的增加，节点个数、参数个数和模糊规则数会成倍增加，其关系如表1 2 所示。当p 值和m 值均大于4 时，系统需要辨识的参数数以百计，运行耗时在5 m i n 以上。况且对于城市路网而言，系统的输入变量p 值要远远大于4 ，因此从计算耗时方面，神经网络及组合模型还存在一定缺陷。第一章概述表l 一2 不同的p 值和m 值在a n f i s 中需要辨识的参数个数参数节点参数模糊规p , m 笤个数个数则数4 ，23 45 684 ，37 81 4 42 74 。41 5 83 0 46 44 ，52 8 65 6 01 2 54 ，64 7 49 3 62 1 65 ，25 51 1 21 65 ，31 9 34 5 38 15 ，45 5 11 3 4 42 5 65 ，51 2 9 73 2 0 56 2 51 5 基于非参数回归的短时流量预测过程非参数回归方法是一种无模型的智能方法，与一般解析方法不同，它从理论上看，是一种模式识别的方法，不是在系统输入和输出之间找到一个精确的函数对应关系厂，而是利用模式匹配算法，找到一组与输入数据相对应的数据，而对应关系不需要精确的函数表达式，而是一个近似的关系厂，甚至这个近似的关系都不是必须的。在每次模式匹配算法中，随着输入数据的模式变化，厂也会有所变化，因此非参数回归方法达到了动态预测的目的。利用非参数回归方法进行预测与一般解析方法的输入和输出关系如图l 一4 和1 5 所示。图1 - - 4 一般解析方法的输入和输出关系图1 5非参数回归方法的输入和输出关系非参数回归方法的主要优点有：它不需要先验知识和大量的参数识别，对原9第一章概述始数据没有做平滑处理，只需要足够的历史数据，应对突发事件的能力强，预测准确性和误差分布较好，并且算法原理清晰，强壮性好，适合应用于具有非线性和不确定性的系统预测。将非参数回归方法应用到短时流量预测中，预测过程如图1 6 所示。图l 一6 非参数回归方法在短时流量预测中的应用城市短时交通流数据采集系统能够实时地将采集到的流量数据送入数据预处理系统。这些数据中包括静态数据和动态数据。静态数据指的是以往的大量的历史数据( 已经存储在样本数据库中的历史数据) ，经过数据预处理系统后主要用于建立样本数据库。这是一个非常耗时的过程，并且没有实时性要求，因此可以脱机进行；动态数据指的是动态采集的当前时刻的实时流量数据，经过数据预处理后，动态地加入到样本数据库中，进行流量模式的更新。非参数回归方法从样本数据库中取得数据进行匹配和预测，同时对样本数据库在结构和存储数据上进行修改。1 6 非参数回归方法应用研究综述目前将这种方法应用到流量预测方面研究最多的有美国的弗吉尼亚大学的b r i a nl s m i t h 博士f 2 7 】1 2 9 1 ，【3 l 】、g r a ya d a v i s 4 、c l a r ks 【3 2 1 、宫晓燕【3 3 】等人。1 9 9 5年s m i t h 将之应用于单点短时交通流预测，但因其搜索速度太慢和试凑的参数调整方法而没有得到真正实用。随后学者们又提出了很多的改进办法，宫晓燕【3 列提出利用密集度生成样本数据库和基于散列表的历史数据优化结构，预测精度和速度有一定的提高，但是当数据库容量非常大时，依然不能达到实时预测的要求。从非参数回归预测的过程和原理中可以看出，数据的质量对非参数回归模型的影响非常大，并且当数据量很大时，需要很长的计算时间，这就限制了它的实时应用；而且，缺少一个系统的方法是限制非参数回归模型广泛应用的另一个问题【4 2 1 。总结起来，非参数回归方法预测短时交通流尚未进入实际应用阶段，主要存在的问题有：1 0第一章概述( 1 ) 样本数据库的生成和更新问题。样本数据库是在大量历史数据基础上提炼出来的具有代表性的数据，既要保证库中包含了各种情况下的交通流数据，又要尽可能少的重复数据，也就是说，如何创建样本数据库，保证流量数据的规模具有典型性且不失一般性?( 2 ) 搜索速度问题。由于样本数据库是历史特征数据的大集合，因此其数据量很大，在线预测不仅要求预测准确性好，而且实时性要求高。目前样本数据库多采用线性结构，搜索方法速度太慢，不能满足实时要求，提高搜索速度势在必行。如何确定样本数据库结构，保证搜索数据库的时间耗费最小，满足实时性的要求?( 3 ) 非参数回归本身存在一定缺陷，开环的结构使预测准确性受到制约，由于没有反馈回路，预测结果不能动态地改变预测方法或数据库的结构，如何选择系统参数，如何增加动态反馈机制以使预测准确性更高?1 7 本文主要研究思路及方法本文研究的主要目的是对非参数回归方法及其改进算法进行深入探讨，并且针对短时交通流特点，如何将非参数回归方法应用到短时流量预测上进行了研究。为此，本文首先对短时交通流量预测现状进行分析，总结各种方法的优缺点，针对短时流量预测的特性，分析应用非参数回归方法进行预测的可行性、优势以及目前存在的问题。归纳起来，本文提出非参数回归方法应用存在的两方面问题，一是预测速度问题，另一方面是预测准确度问题。短时交通流量预测需要实时进行，速度问题是非参数回归方法应用的瓶颈问题，提高预测速度不只局限于硬件条件的改善，更重要的是应用软方法可以使预测速度加倍提高。大容量的数据库是预测的基础，提高预测问题就是在大量的数据库中如何搜索得到想要的数据的问题。简单的数据结构和一维线性搜索策略导致数据库极低的搜索速度，无法满足实时性要求。但是要提高搜索速度，势必要采用复杂的数据结构和非线性的搜索策略，这样不仅增加了算法的复杂性，而且在数据库的创建、维护等方面也增加了成本，这似乎是一对无法调和的矛盾。但是考虑到实时的流量预测对于智能交通系统的重要性，付出一定的代价是值得的。为此，本文提出建立非线性的样本数据库结构，并且在有效提高搜索速度方面，提出两种有代表性的解决方案：一维和多维在线搜索。阐述这些方法所用数据的逻辑和物理结构，以及各种基本操作。其中用到平衡二叉树、r 树、静态链第一章概述表等数据结构。虽然采用了复杂的数据结构和算法，增加了计算复杂度和维护成本，但是达到了实时预测的目的，为交通控制和诱导打下了基础，这些付出还是值得的。对于预测准确度方面，这是所有预测研究遇到的共性问题。针对非参数回归方法是开环系统，没有形成反馈回路的问题，本文提出针对模式匹配过程进行反馈调节。对于短时流量预测中，被测路段流量与上游路段历史流量的关系最为密切的规律，提出对相关路段的历史流量进行主成分分析，达到降低自变量维数和消除各变量之间相关性的目的。主成分分析操作之后应用数据聚类算法，使之剔除冗余数据，达到精简数据，缩小数据库规模的目的。本文研究的主要思路和方法如图l 一7 所示：一般k 近邻非参数回归方法对一般非参数回归方法的改进1二非线性的数据结构i快速的数据搜索策略薯磊亍lr 树lr 袭羹据li 多袭羹据对树的基本操作：创建、插入、删除对一般k 近邻非参数回归的改进措施从提高预测准确度方面考虑应用到短时交通流预铡l数据预处理二二二工二二二i数据准备二二二 二二三主成分分析_ j主数据聚类图l 一7本文研究思路1 2第一章概述1 8 研究框架基于以上研究思路，本文对非参数回归方法的原理以及在短时交通流量预测中的应用作了仔细研究，对非参数回归方法存在的缺陷做了大幅度的改进，使之满足实时性的要求，并且提高预测的准确度。本文的结构安排如下：第一章指出短时交通流量预测的作用和重要性。对目前流行的短时流量预测方法的研究现状及存在的主要问题进行了简要介绍和评述，对流量特性作了分析。提出应用改进后的非参数回归方法进行短时流量预测的研究思路和方法。第二章对非参数回归方法本身从原理上加以详细阐述。包括非参数回归方法的原理、适用条件，一般算法及在短时流量预测中的应用框图。提出历史数据的选择、样本数据库的生成、数据相似性定义、k 近邻搜索和预测算法是应用非参数回归方法进行短时流量预测的几个关键步骤。对影响非参数回归方法应用的几个重要因素进行了分析。提出数据库的规模和状态模式存在“自重复性”是应用非参数回归方法的两个基本条件，应用到短时流量预测中，就是要求历史流量模式能够“重演”，并且样本数据库中要存储各种历史流量模式。数据库的完备性和典型性是预测准确性的重要保证。针对短时流量预测，在保证预测准确度的同时，通过一系列数据预处理达到降维和精简的目的。第三章对非参数回归方法的改进。对非参数回归方法从原理上及在短时流量预测应用方面进行了改进。对于非参数回归方法的基础数据库进行较大改进。数据库是影响数据检索速度和预测准确度的关键，因此对数据库的改进也从这两方面着手。针对一维和多维数据结构，提出不同的数据匹配算法、数据库逻辑和物理结构。对于一维的数据库结构，平衡二叉树的引入将检索时间减少到最小。相应地，样本数据库也就需要增加一个专门用于索引的搜索库，结合原始流量数据库和中心库，这三个相互关联的子库构成了样本数据库总体结构。给出搜索库的各种操作：创建、搜索、插入和删除，以及平衡二叉树的逻辑结构和相对应的物理结构。对于多维数据匹配，r 树空间搜索是非常合适的。同一维数据搜索一样，提出多维数据匹配的操作算法、k 近邻点的查找和样本数据库中各个子库结构。对r 树索引进行了性能分析。反馈调节回路是提高非参数回归方法准确度的改进方面。将闭环回路加入到模式匹配模块中，通过预测误差来修正模式匹配结果，从而使模式匹配过程更加第一章概述趋向合理。第四章讨论非参数回归方法在短时交通流预测中的数据预处理问题。原始流量数据是通过微观交通系统仿真得到，对仿真系统进行介绍，以及构造不同状态下的仿真交通流。对缺失数据和错误数据如何识别与修复进行研究。短时流量数据不能直接应用到非参数回归方法中，必须要经过数据预测处理，得到非参数回归方法所需的中心点和近邻点。为了降维和减小数据之间的关联性，本文采用主成分分析和聚类分析得到。第五章分析非参数回归方法的鲁棒性。鲁棒性是非参数回归方法应用系统的一个非常重要问题。本文提出在非参数回归预测中鲁棒性的概念，影响鲁棒性的因素，以及如何控制预测系统的鲁棒性。第六章是非参数回归预测短时交通流量仿真试验分析。通过在仿真软件中设定不同的仿真条件来得到原始流量数据。主成分分析和聚类分析预处理后得到非参数回归方法所需的数据结构