（交通运输规划与管理专业论文）基于实时观测数据的城市快速路交通预测算法的研究.pdf

摘要 摘要 短期交通预测是交通控制、车辆导航等领域需要解决的重要问题之一。研究 交通预测的理论和方法，从而实现比较准确地预测未来1 5 分钟或更长一段时间 内道路上的交通状况，对于缓解城市交通堵塞、避免社会资源的浪费有着重要的 意义和应用价值。 城市快速路作为城市路网中的主要经脉，承担了城市中大部分的长距离交 通，快速路的交通状况在相当程度上影响着城市的出行质量。在智能交通系统的 大背景下，如何利用丰富的交通检测数据，对未来的交通流状态，特别是在城市 中处于重要地位的快速路的交通状态进行预测，对于提高交通运输效率，特别是 物流企业的效率具有重要的理论意义和实用价值。 时间序列预测方法是在预测领域最为成熟的方法，在连续不间断的数据情况 下，时间序列方法有比较高的精度。本文基于路段上的实时的观测交通流数据， 利用时间序列法，结合信号处理技术和数据聚类分析理论，对城市快速路段上未 来2 4 小时单点的交通流速度预测算法进行了研究。具体包括以下工作： 对快速路段上的交通数据进行了预处理。具体包括应用交通流闽值法、交通 流机理法对交通数据进行了奇异点的剔除，应用数值差分法对丢失数据进行了估 计：应用了小波分析理论对数据序列进行了滤噪处理，在尽可能保证原始数据的 特征的情况下，有效地过滤掉噪声数据的干扰。 利用数据聚类理论和方法对各天的路段上的交通流速度进行了聚类分析，验 证了速度数据的周相似的性质，总结出了速度数据的分类表。 利用了时间序列建模的相关理论和方法对交通速度数据进行了预测建模，根 据聚类分析法，分析了对历史样本的选择的方法，最后通过对结果的误差进行了 分析，证明了该种选样方法的有效性。 关键词小波分析；聚类分析；时间序列预测 a b s t r a c t t h es h o r t t i m et r a f f i cf o r e c a s t i n gi sas i g n i f i c a n tp r o b l e mi nt h ef i e l do ft r a f f i c c o n t r o l l i n g ，v e h i c l eg u i d a n c ea n d s oo n i ti si m p o r t a n tf o ru st os t u d yt h em e t h o da n d t h e o r yo nf o r e c a s t i n gt h et r a f f i cc o n d i t i o ni nt h ef u t u r e 15m i n u t e so rm o r e w e l l t r a f f i cp r e d i c t i o ni sv a l u a b l ef o ra l l e v i a t i n gt r a f f i cj a mi nt h ec i t ya n da v o i d i n gt h e s o c i a lr e s o u r c ew a s t i n g t h e f r e e w a yi ni st h ea r t e r yi nt h eu r b a n r o a dn e t w o r k , w h i c ht a k eo nm o s to f t h e l o n g d i s t a n c et r a n s p o r t a t i o n t oal a r g ee x t a n tt h et r a f f i cc o n d i t i o ni nt h ef r e e w a y i n f l u e n c e st h e q u a l i t y o ft h e t r i p i nt h e c i t y o n t h eb a c kg r o u n do ft h ei t s ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) h o w t om a k ef u l lu s eo ft h et r a f f i cd a t ac o l l e c t e d f r o mt h er t m st of o r e c a s tt h et r a f f i cc o n d i t i o ni nt h eu r b a nr o a de s p e c i a l l yt h eu r b a n f r e e w a y ，i sm e a n i n g f u la n dv a l u a b l et oi m p r o v et h ee f f i c i e n c yo ft r a n s p o r t a t i o n , i n p a r t i c u l a rf o r t h e l o g i s t i e sc o m p a n i e s t h et i m e s e r i e sm e t h o di sab e s tw a yi nt h ef i e l do fp r e d i c t i o n u n d e rt h e c o n d i t i o no fc o n t i n u o u sd a t at h et i m e s e r i e sm e t h o dc a l la t t a i nh i g h e rp r e c i s i o n b a s e d o nt h ec o n t i n u o u st r a f f i cd a t ac o l l e c t e di nt h ee x p r e s s w a yo f b e i j i n gc i t y ，t h i st h e s i s s t u d i e st h et r a f f i c p r e d i c t i o n m e t h o di nt h ef u t u r e2 4h o u r sw i t ht h et i m e s e r i e s m e t h o d ，c o n t e m p o r a r ys i g n a lf i l t e r i n gt h e o r ya n dd a t ac l u s t e r i n gt h e o r y c o n c r e t e l y t h i ss t u d y i n gi n c l u d e ss u c hw o r k sa sf o l l o w i n g ： a p p l y i n gt h em e t h o do ft r a f f i c t h r e s h o l da n dt h ep r i n c i p l eo ft r a f f i cf l o wt o e l i m i n a t et h ew i l dp o i n ti nt h et r a f f i c d a t aa n de s t i m a t i n gt h em i s s i n gd a t aw i t h n u m e r a la n a l y s i s u s i n g t h ew a v e l e tt r a n s f o r mt od e n o i s et h ed a t as e r i e s e m p l o y i n g d a t ac l u s t e r i n gt h e o r yt oa n a l y z et h et r a f f i cf l o wv e l o c i t yd a t ai ne v e r y d a y ，a n ds u m m a r i z i n g t h e r e g u l a r i t ya b o u t t h et r a f f i cs p e e di nd i f f e r e n td a y s a p p l y i n gt h et i m e s e r i e sm o d e l a r i m at h i st h e s i sf o r e c a s t st h e t r a f f i cs p e e di n t h ef u t u r e2 4h o u r s ，a n da n a l y z e st h ee r r o ro f t h e r e s u l t b a s e do nt h et h e o r yo fc l u s t e r i n g ，t h i st h e s i sp u t sf o r w a r dt h em e t h o dh o wt o c h o o s et h ep r o p e rh i s t o r yd a t at om o d e l ，a n da n a l y z e st h es u p e r i o r i t yo f t h i sm e t h o d - i i o v e rt h et r a d i t i o n a lm e t h o dc h o o s i n ga l lh i s t o r yd a t a k e y w o r d s w a v e l e ta n a l y s i s ；d a t ac l u s t e r i n ga n a l y s i s ；t i m e - s e r i e sp r e d i c t i o n - 独创性声明 本人卢明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 签名：趔退日期：汐钲牛 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：三堡嵫导师签名：至! 丝i 2 日期：垒垒：五：乡 第l 章绪论 1 1 研究背景 第1 章绪论 随着城市化速度的加快，机动车日益普及，人们在享受机动车所带来的巨大 便利的同时，也面临着交通拥挤和交通事故的困惑，这也成为全球共同关注的难 题之一。自从上世纪8 0 年代以来，发达国家开始投入大量的人力和物力进行道 路交通运输系统的管理与控制技术的开发。于是，运用各种高新技术系统解决道 路交通问题的思想就应用而生了，这就是智能交通系统。交通控制与诱导系统是 i t s 研究的热门核心课题，而实现交通诱导的关键技术是实时准确的预报交通参 数，即如何利用历史交通数据，预测未来时段道路上的交通状况。其结果可以直 接送到先进的交通信息系统( a d v a n c e dt r a n s p o r t a t i o ni n f o r m a t i o ns y s t e m ) q b 和先 进的交通管理系统中( a d v a n c e dt r a n s p o r t a t i o nm a n a g e m e n ts y s t e m ) 中，给出行 者提供实时有效的信息，帮助他们更好的进行路径选择，实现路径诱导，以缩减 行程时间，减少交通堵塞。 商用车队的运营调度是物流组织和管理中的一个重要的研究课题，它要解决 的问题是如何安排商用车辆的行驶路线，使其既满足各种任务的需求，而又使运 行总成本最小。如果i t s 系统中的a t i s 和a t m s 能够给商用车队提供比较准确 的路网上交通状况的预测，那么，车辆调度员就可以为车辆安排比较合理的路径， 使司机避开交通拥堵的路段，从而达到提高车辆的运营效率的目的。 近几年来随着物流在社会中的地位越来越重要，很多专业如系统工程、交通 工程、计算机、数理等的学者、研究人员都在的对商用车队运营调度进行着研究。 但是他们在建模过程中大多假设服务点之间的行驶时间默认为是已知的，并且是 固定的。但是在实际配送过程中，由于道路交通状况的影响，两点间的行驶时间 是随时间不断变化的，并且实际调度中两点间行驶时间对市内配送调度结果影响 很大。 2 0 0 1 年在美国的加州所作的调查问卷表明：有3 0 的货运公司经理说交通拥 北京工业大学硕士学位论文 挤经常或者频繁影响车辆任务的时间安排，大多数( 5 6 ) 的经理说有时候交通 拥堵会使时间安排失效，只有1 5 的说没有多大影响。参见图卜1 ： 霜 _ - i 2 1 一 。； 1 5 豳 i i l 一 _圈 i j l c 一 一一 i | | | |i| | | | | | | i i 2 0 * i li 1 5 豳 豳8 i _圈l墨 第1 章绪论 ( s t r u c t u r a le q u a t i o n m o d e l i n g ，s e m ) 对交通拥挤和应用车辆调度软件之间的关 系进行相关分析，分析结果表明：交通拥挤的不断加剧将会导致车辆运营调度软 件需求的提高。同时也表明，智能交通信息系统中实时交通信息应用到车辆调度 软件中可以大大提高软件的实用性1 1 。 在我国尤其是在北京这样的大城市中，物流公司的客户如大型超市等都分布 在城市内部，而不是像发达国家那样分布在城郊高速公路旁边。城市内部的交通 状况比高速公路更为严重、脆弱，行驶速度变化也比较大，图1 3 为北京某一段 快速路上车流速度2 4 小时的变化图。这样，配送车辆在城市内部行驶的时候， 在很大程度上将受着比发达国家更为严重的交通拥堵的影响，这也直接影响着调 度安排的精确性，配送的准时性。 0 皇 1 荸 魁 删 7 0 6 0 5 0 4 0 3 0 2 0 l o 0 弋厂 厂 一 v 、， v 01 0 02 0 03 0 04 0 05 0 06 0 07 0 08 0 0 时间( 2 r a i n ) 图i - 3 快速路上车速分布图 f i g u r e1 - 3t h es p e e d - t i m ec l l r v ci naf r e e w a ys e g m e n t 对于我国的物流企业而言，如果在安排配送计划之前调度员能够准确的获得 路网上交通状况的预测情况的话，那么，他就可以通过调度软件安排出比较合理 的商用车队的配送路线，这样车队就可以避开将要发生拥挤的路段，从而减少由 于交通延误而带来的附加成本。 北京工业大学硕士学位论文 1 2 研究对象的界定 本论文所研究的交通预测算法有别于通常意义上的为实时车辆导航而进行 的未来短期( 几或几十分钟) 的交通预测，也有与以年或月为单位的交通规划的 战略预测有本质上的区别。本文所研究的预测算法是专门为物流企业的常规调度 而设定的，以未来2 4 小时为预测期。本文的研究的服务对象如图1 4 所示。 图1 - 4 本论文研究的服务对象 f i g u r e1 - 4t h eo b j e c tt h i ss t u d ys e r v e r sf o r 快速路段上的交通流形式与有交叉口的主干路和次干路及支路上的交通流 形式存在着本质上的差别：快速路上的交通流不受交叉口的影响，可以一般而言 可以认为是连续交通流，交通流分布均匀，可以用一个断面上的交通状况代替 段路上的交通状况。而有交叉口影响的路段的交通流是间断流，交通流分布不均 匀，因而对交通流状况的描述方法比较复杂。作为初步研究，本文的研究对象仅 限于快速路段。 1 3 研究所用的实验数据 本研究的数据采集地点布置在北京市的二、三环。数据采集方式如图1 5 所 示，采用r t m s ( 远程微波交通传感器) 采集数据。r t m s 可以同时输出一定统 第1 章绪论 ， 计周期内的平均车速，流量和车辆占用率。r t m s 的统计周期是2 分钟。采样时 间为2 0 0 0 年2 月到3 月连续两个月。 图1 - 5 数据采集方式 f i g u r e1 - 5t h em e a n so f c o l l e c t i n gd a t a 数据采集点的位置如图1 - 6 所示： 图1 - 6 数据采集点示意图 f i g u r e1 - 6t h es i t eo f c o l l e c t i n gd a t a 1 4 论文的研究思路和方法 本论文的思路是首先对数据序列进行预处理，包括剔除异值、补充丢失值和 过滤噪声数据；然后用处理过的数据进行分析，总结出数据序列的规律；最后利 北京工业大学硕士学位论文 用预测算法进行预测。 数 据 数 预 预 据 测 处 分 建 理 析 模 图1 7 本论文的研究思路 f i g u r e1 - 7t h es t u d y i n gt h o u g h to f t h i st h e s i s 本文将采用数字信号滤波的手段进行数据序列的滤波处理，采用数据聚类分 析的方法对数据序列进行数据分类；采用时间序列的方法进行预测建模。 1 5 论文研究的意义 城市快速路为城市路网的大动脉，承担着城市中大部分的长距离交通，快速 路的交通状况在相当程度上影响着城市的出行质量。据统计，在北京，三环以里 集中了北京市出行量的5 0 ，二环以内只不过占市区总面积的1 2 ，却集中了 市区总出行量的2 5 。调查显示，1 9 9 4 年，北京二三环之问部分路段的汽车时 速为每小时4 5 公里，1 9 9 5 年下降每小时3 3 公里，1 9 9 6 年降至每小时2 0 公里。 而到了2 0 0 3 年，北京市区部分主要干道高峰期的车速已降至每小时1 2 公里，有 的道路机动车时速只有不到7 公里。北京市的城市快速路的交通状况日益严重， 严重影响着人们的出行质量，也造成了社会资源的极大浪费。 通过合理的预测环路上的交通状况，并将其输入到i t s 系统中的先进的交通 信息系统( a d v a n c e dt r a n s p o r t a t i o ni n f o r m a t i o ns y s t e m ) 中和先进的交通管理系统 中( a d v a n c e d t r a n s p o r t a t i o nm a n a g e m e n ts y s t e m ) 中，那么出行者就可以有效避 开交通状况不佳的快速路段，从而可以节约出行时间。 合理预测快速路上的交通状况，对于物流企业更为重要。因为物流企业的市 内业务大部分配送距离较长，城市快速路是必由之路。获得快速路段上的交通状 况的预报后，调度员可以尽量使配送车辆避开快速路上拥挤的路段和时段，从而 6 第1 章绪论 制定出比较合理的配送方案，最终物流企业可以实现资源优化配置，节约运营费 用。同时，商用车队也是城市交通中的一个大的组成部分，如果商用车队能够避 开拥堵路段，这从客观上也有利于缓解快速路上严重的交通拥挤问题。 1 6 课题的来源及研究内容 本课题来源于北京市科学技术委员会的项目“北京市商用车队运营管理关 键技术及示范工程”，该项目主要是为北京市中小型物流企业提供一套切实可行 的商用车队调度的解决方案。本研究课题为该项目的子课题，“北京市路网的动 态交通预测”，为项目提供关于路网上的交通状况的预测，使得商用车队的调度 能充分利用路网上的交通信息。 1 7 论文内容和结构 本文的第2 章首先对国内外交通预测算法的研究现状进行了概括性的总结， 并进行了分析评价，提出了作者的见解，并且选定了预测指标。 在第2 章的分析研究的基础上，论文的第3 章进行了数据的预处理。第4 章 对数据进行了分析，总结出环路上的交通流速度的规律。本文的第5 章应用了时 间序列法进行速度的预测。最后总结了论文的成果，并提出了论文的不足之处和 今后的研究工作。 北京工业大学硕士学位论文 第2 章国内外研究现状 2 1 国外关于交通预测的研究 国外学者对短期交通预测的研究开始较早，并且取得一定的应用效果。概括 起来他们对短期交通预测的建模方法主要包括历史均值法犯1 、时间序列法 3 】、 k a l m a n 滤波法 4 】、非参数回归法 5 、神经元网络法【6 1 等。 s t e p h a n e d e s 于1 9 8 1 年将历史平均模型应用于城市交通控制系统( u t c s u r b a n t r a f f i cc o n t r o ls y s t e m ) 6 0 。另外在欧洲，此模型被广泛应用到各种出行者信息系统 和动态路径诱导系统中，如：1 9 8 7 年j e f f r e y 提出的a u t o g u i d e 系统；1 9 9 3 年k a y s i 提出的l i s b 系统。 历史平均法算法简单，参数可用最小二乘法( l s ) 估计，可以在一定程度内 解决不同时间、不同时段内的交通流变化问题，但是静态的预测不足取，因为它 不能反映动态交通流基本的不确定性与非线性特性。 1 9 7 6 年，b o x 和j e n k i n s 又创立了a r i m a - 自回归整数移动平均模型，这是 一种应用的最为广泛的时间序列模型。a h m e d 和c o o k 于1 9 7 9 年首次在交通流 预测领域提出了时间序列模型”。该模型不像其它时间序列方法那样需要固定的 初始化模拟。它将某一时刻的交通流量看成是更为一般的非平稳随机序列，一般 带有3 个或六个模型参数。a r i m a 模型在1 9 8 4 年就被o k u t a n i 和s t e p h a n e d e s 应用到u t c s 中 8 1 ；1 9 9 3 年又被k i m 和h o b e i k a 应用到高速公路道路交通流量 预测中。 在大量不问断的数据基础上，此模型拥有较高的预测精度，但是需要复杂的 参数估计；另外，a r l m a 模型特别适用于稳定的交通流，交通状况变化急剧时， 由于计算量过大，该模型在预测延迟方面暴露出明显的不足。 卡尔曼滤波( k f ) 是k a l m a n 于1 9 6 0 年提出的，是采用由状态方程和观测方程组 成的线性随机系统的状态空间模型来描述滤波器，并利用状态方程的递推性，按 线性无偏最小均方误差估计准则，采用一套递推算法对滤波器的状态变量作最佳 8 第2 章国内外研究现状 估计，从而求得滤掉噪声的有用信号的最佳估计。i w a o o k u t a n i 9 1 利用卡尔曼 滤波理论建立了交通流量预测模型，其预测结果优于u t c s 2 的预测方法的预测 结果。v y t h o t k a s p c i 疑出了基于卡尔曼滤波理论的交通流量预测模型，计 算结果也较为令人满意。 卡尔曼滤波法具有预测因子选择灵活、精度较高的优点，是最好的预测方法 之一。该模型的预测精度随时间的间隔变化不大，这说明了方法的鲁棒性很好。 但是，由于模型的基础是线性估计模型，所以当预测间隔小于5 m i n 时，交通流 量变化的随机性和非线性性再强一些时，模型的性能会变坏。此外在每次计算时 都要调整权值，需要做大量的矩阵运算和向量运算，导致算法较为复杂。 非参数回归是近几年兴起的一种适合不确定的非线性的动态系统的非参数 建模方法。它不需要先验知识，只需要足够的历史数据，寻找历史数据中与当前 点相似的“近邻点”，并用那些“近邻点”预测下一时刻的值。因此非参数回归 作为一种无参数、可移植、高预测精度的算法，它的误差比较小，且误差分布情 况良好。尤其通过对搜索算法和参数调整规则的改进，使其可以真正达到实时交 通流预测的需求。并且这种方法便于操作实施，能够应用于复杂的环境，可在不 同的路段上进行方便的预测。 1 9 9 1 年，d a v i s 和n i h a l l 1 1 】将其应用于交通流预测中，1 9 9 5 年s m i t h 1 2 1 又将 之用于单点短时交通流预测，但是因为其搜索“近邻点”的速度太慢和试凑的参 数调整方法而没有得到真正实用。 人工神经元网络诞生于2 0 世纪4 0 年代。1 9 9 2 年，c h i n 将之用于长期交通 流预测；1 9 9 3 年和1 9 9 4 年d o u g h e r t y 和c l a r k 分别将之用于短时交通预测【i ”。 可以说，神经网络是所谓的智能化的一个主要方面，它在交通流预测中的应用， 在一定程度上摆脱了建立精确数学模型的困扰，为研究工作开辟了新的思路。神 经元网络模型是在交通预测方面很有潜力的一种模型。但是神经元网络模型适用 于大量的原始数据进行网络学习，当原始数据不足时，用神经元网络预测结果较 若。 北京工业大学硕士学位论文 2 2 国内关于交通预测的研究 相对于国外的研究，国内学者对短时交通预测的研究还处于理论探索阶段， 离实用还有一定的距离。下面分别予以介绍。 关于短期交通的可预测性方面，天津大学的马寿峰等人【1 4 】作了比较深入的研 究。他们从分形理论出发，通过判断交通流系统是否存在分形的自相似性，来确 定交通流的可预测性，并据此得出采样间隔在5 分钟到1 5 分钟之间的短期交通 流是可预测的结论，并且验证了方法的有效性。同时作者也指出，分形是短期交 通流可预测性的充分条件，不存在分形并不能直接否定可预测性的存在。马寿峰 等人的研究为短期交通的可预测性提供了理论上的依据。 吉林工业大学交通学院的杨兆升，朱中”1 建立了基于卡尔曼滤波的交通流量 预测模型，并且假设研究路段未来时段的交通流量是上游和下游路段上的前几个 时段流量的线性函数，并利用两周中同周次的两天交通流量的差值和比值两种方 法进行交通流量预测。通过对实测的数据进行预i 匾 【的结果分析，证明了基于卡尔 曼滤波理论的交通流量预测模型具有较高的预测精度，特别是对原始数据进行比 例变换的预测方法更为理想。研究中采用的卡尔曼滤波预测的速度较慢，计算过 程相当复杂。 天津大学的贺国光1 6 1 等人，讨论了小波分析在交通流短时预测中应用的可行 性，提出了一种基于多分辨率小波分解与重构的短时交通流预测方法。他们使用 小波分解的方法将信号先分解为若干个层次，然后用时间序列a r m a 模型分别 对各个层次分别进行预测，最后使用小波重构的方法将预测信号进行重构得到合 并的预测值。他们的方法提高了预测精度。他们的方法比较新颖。 吉林工业大学的王殿海1 7 培人，通过实际观测数据分析，根据最小二乘逼近 原理、应用指数平滑预测方法建立了基准曲线模型和差值修正模型，从而构造了 实时动态交通流预测模型。他建立的模型实际上是历史平均模型。 上海交通大学的王宏杰【1 8 】等人针对城市交通智能运输系统，提出了基于改进 的b p 神经元网络理论模型的路面交通流动态时序的预测算法。在b p 算法的自 适应学习率，在动量法优化网络收敛性等方面，进行了深入的研究，并改进了基 第2 章国内外研究现状 本b p 算法中的收敛速度慢和易于陷入局部最小点等问题。 2 3 本章小节 本章主要论述了国内外的学者在短期交通预测方面所作的研究工作，通过分 析他们的研究，我们可以发现他们的研究有如下的不足： 首先，国内外在这方面的研究更倾向于对交通量进行预测，a r i z o n a 大学的 魏华林博士 1 卅在一篇文章中指出基于交通量预测的不足，他谈到“交通量对交通 情况的预测是不适合的，因为同样的流量水平可能对应于不同的交通状况”。他 建议采用具有代表性的车道占用率来进行预测。 其次，国内外的研究大部分集中在算法研究上，而没有对交通情况作进一步 的分析。尤其他们的研究在对交通进行分析时大都假设，交通情况有周相似性， 但是在这方面，他们也没有进步进行深入探讨。 笔者认为，对于路段上的交通状况的描述而言，速度，交通量，车道占用率， 旅行时间等指标均可以。根据交通三参数之间的关系，我们可以知道交通量和速 度，交通量和占用率之间的关系是非线性关系，道路畅通的情况下和道路拥挤的 情况下可能对应这相同的流量水平，所以仅仅以交通量来描述道路的交通状况是 不合适的。相比而言用速度、占用率和行程时间来描述路段上的交通状况要合适 的多。但是，目前对行程时间数据的获取代价昂贵；用占用率来描述道路的交通 状况是可行的，但是不够直接。相比之下，笔者认为速度是描述道路交通状况的 合适指标。对交通预测算法而言，笔者认为将速度作为预测量比较合适。另外对 算法进行研究的同时，也一定要对交通状况的性质作深入地分析，只有这样才能 得到比较合理的预测值。 北京工业大学硕士学位论文 第3 章交通数据的预处理 通常，由于交通传感器硬件故障、噪声干扰和通讯故障往往引发异常数据和 丢失数据的发生，且错误数据往往占总数据量的2 0 ；丢失数据的1 5 2 0 】，所 以必须对错误数据和丢失数据进行处理，为下一步的交通预测建模打下良好的数 据基础。另外采集的交通数据的随机波动很大，这会极大地影响数据的分析。为 了更为有效的分析交通数据的规律、建立更为精确的模型，有必要对数据进行数 据预处理。本章的数据预处理包括数据筛选( d a t as c r e e n i n g ) 和数据滤波( d a t a f i l t e r i n g ) 两个部分，下面我们就这两个部分分别展开讨论。 3 1 数据筛选 数据预处理的第一部分是数据筛选，其目的是对来自交通传感器的原始数据 进行处理，识别并剔除异常数据，估计丢失数据，为交通预测模型提供可靠的输 入数据。 3 1 1 对于丢失数据的处理 数据丢失现象在所得的数据中很常见，但是由于技术的原因，我们不能找出 丢失数据发生在的时刻。为了更好地保证数据的精度，本研究对丢失数据采取了 如下的处理，具体为以下两个步骤。 ( 1 ) 如果一数据采集点一天的数据量大于7 0 0 而小于7 2 0 个则保留该组样 本。否则剔除该天的全部数据。 ( 2 ) 对于保留下来的样本，采用趋势外推法补齐后面的丢失数据。 3 1 2 异常数据的判断与处理 本文所采用错误数据的剔除算法分为两个步骤，首先采用闽值法去除比较明 显的错误；然后采用机理法去除较为隐含的错误数据。 第3 章交通数据的预处理 判断规则如下： ( 1 ) 如果单车道流量大于2 0 0 0 辆，j 、时，则流量数据为异常数据 ( 2 ) 如果这道占用率大于1 时，则占用率数据为异常数据 ( 3 ) 如果速度数据为0 ，则速度数据为异常数据； ( 4 ) 如果平均占有率为0 ，而流量不为0 ，则数据为异常数据 ( 5 ) 如果流量为0 ，而平均占有率不为0 ，则数据为异常数据 ( 6 ) 平均车长判断法：如果采用交通机理公式由流量、速度、占有率得出 平均车长，如果所得车长在x l n q 5 ，1 2 之外，则数据为异常数据。 识别出异常数据就将其剔除，用与异常数据* m 奄1 i 的数据作数值差值，来以替 代异常数据。 3 2 数据滤波处理 实际得到的数据是真实数据和各种各样的干扰噪声叠加在一起的结果。下图 是某一数据采集点的全天速度数据。 9 0 8 0 7 0 j 6 0 曼5 0 嚣 制3 0 2 0 1 0 o j i山i ，1 j。1m 懒黼。，础删 l ”| 洲删l l i 闸 。r 1 涮。i | i hw i划。吼 1 i ” 岬 o”o2 0 0 商躲u r ) 5 ” 6 0 07 ”8 ” 图3 - 1 某路段上交通流速度曲线图 f i g u r e3 - 1t h er e l a t i o n s h i pc h a r t b e t w e e nt h ef l o wa n dt h ev e l o c i t yi nar o a ds e g m e n t 由上图可以看到速度随时间变化十分剧烈，使我们不易了解速度的变化趋 势，也很难对它进一步分析。 如果将一段时间内的速度数据视为随时间变化的随机信号，其中含有许多噪 1 3 - 北京工业大学硕士学位论文 声( 随机误差) ，根据信号与系统理论，信号的高频分量对应变化剧烈的地方， 低频分量反映了信号的趋势。因此有人提出采用滤波处理，以减少噪声带来的误 差 2 2 】。 小波变换是近几年来兴起的一种崭新的时频域信号分析理论，具有许多其它 分析手段不具备优良特新，如正交性、方向选择性、可变的时频域分辨率等。这 些特性使得小波理论成为信号分析的一种强有力的新工具 2 3 】，本节我们重点讨论 小波变换在本研究中的应用。 3 2 1 小波分析的理论基础 小波分析主要是研究函数的表示，即将函数分解为“基本函数”之和，而基 本函数是由一个小波函数经过平移和伸缩得到的，这个小波函数具有很好的局部 性和光滑性，使得人们通过分解系数刻划函数时可以分析函数的局部性质和整体 性质。在小波分析出现之前，人们用f o u r i e r 基，h a a r 基分解函数。f o u r i e r 基具 有很好的光滑性，但是局部性很差；而h a a r 基的局部性很好，但是光滑性很差。 小波基却兼有它们的优点【2 4 1 。在现代信号处理中，非平稳信号的处理和研究越发 引人注目。f o u r i e r 分析因为是一种全局变换而无法表述信号的时频局部性质， 而这种局部性质往往是人们研究非平稳信号的关键所在【2 5 】【2 6 1 。据此，小波变换 应运而生。小波分析属于时频分析的一种，能够同时在时频域中对信号进行分析， 所以它能有效区分信号的突变部分和噪声，从而实现信号的降噪。运用小波分析 进行信号的降噪处理是小波分析的一个重要应用方面【2 7 1 。 3 2 1 1 小波变换的原理 设函数少( f ) l 2 ( r ) ( l 2 ( r ) 表示平方可积的实数空间，即能量有限的信号空 间) ，其傅立叶变换为：驴( 国) ，当矿( 曲满足允许条件( a d m i s s i b l e c o n d i t i o n ) ： c ，= f 咩如如 b 。 时，称( r ) 为一个基本小波或母小波( m o t h e r w a v e l e t ) 。将母函数妒( f ) 经伸 缩和平移后，就可以得到一个小波序列。 第3 章交通数据的预处理 对于连续的情况，小波序列为： 数。 y “：下1y ( 三二鱼) 口，b 一r ；0y 。6 = 下y 【) 口，月；口 4 4 式中n 为伸缩因子： b 为平移因子。 对于离散的情况，小波序列为： 妒，女( f ) = 口i 。7 2 y ( 口i 。f 一以七) ( 3 2 ) ( 3 3 ) 式( 3 - 3 ) 中，口o l ，b o o ，k z 。常取d o = 2 ，b o = 1 ，称为二进制小波函 对于任意函数f ( t ) l z ( r ) 的连续小波变换为： 哆6 ) - = ”s 。f ( 咖洋渺 其逆变换为： 巾，2 专 扣唧洋，如如 对于离散化小波变换可以表示为： 。= ( f ) ( t ) d t 其小波逆变换公式为 ，( f ) = c 。矿 ( f ) 其中，c 是与信号无关的常数。 3 2 1 2 多分辨分析 ( 3 4 ) ( 3 5 ) ( 3 6 ) ( 3 7 ) 1 9 8 8 年s m a l l a t 在构造正交小波基时提出了多分辨分析( m u l t i r e s o l u t i o n a n a l y s i s ) 的概念，从空间的概念上形象地说明了小波的多分辨率的特性，将此 前的所有正交小波基的构造法统一起来，给出了正交小波的构造方法以及正交小 北京工业大学硕士学位论文 波变换的快速算法，即m a l l a t 算法【2 8 】。 空间l 2 ( r ) 中的多分辨分析是指l 2 ( r ) 中满足如下条件的一个空间序列 彤) 皿： ( 1 ) 单调性：巧c + i ，对于任意j z ； ( 2 ) 逼近性：n 矿，= o ，u y ，= l 2 ( r ) ； i z 。i e z 。 ( 3 ) 伸缩性：( f ) 一f ( 2 t ) + l 伸缩性体现了尺度的变化、逼近正 交小波函数的变化和空间的变化具有一致性： ( 4 ) 平移的不变性：对任意七z 有办( 2 - j 2 f ) j 办( 2 - 7 1 2 t - k ) ； ( 5 ) r i e s z 基存在性：存在( f ) v 0 ，使得 ( 2 - j 1 2 t - k ) l k z ) 构成的r i e s z 基； 关于多分辨分析的理解，这里以一个三层的分解进行说明，小波分解树为： 图3 - 2 三层多分辨分析树的结构图 f i g u r e3 - 2t h e m u l t i r e s o l u t i o na n a l y s i st r e ei nt h l e el e v e l s 图中s 表示信号，a 表示信号小波分解的低频部分，d 表示信号小波分解的 高频部分。从图中可以明显的看出，多分辨分析只是对低频部分进行进一步分解， 而高频部分则不予以考虑。分解的关系为：s = a 3 + d 3 + d 2 + d ，。多分辨分析 只是对低频空间进行进一步的分解，使频率的分辨率变得越来越高。 3 2 1 3 小波滤噪原理 】6 第3 章交通数据的预处理 有用的信号通常表现为低频信号或是一些比较平稳的信号，而噪声信号则通 常表现为高频的白噪声信号。所以降噪过程主要进行以下处理：首先对原始信号 进行小波分解，则噪声部分通常包含在高频系数中；然后对小波分解的高频系数 以门限阈值等形式进行量化处理；最后再对信号重构即可达到降噪的目的。 设一个含噪声的一维信号的模型可以表示成如下形式： s ( i ) = 厂( f ) + g ( f ) ，i = o ，l ，2 n l ( 3 - 8 ) 这里：厂( f ) 一真实信号； e ( f ) 一方差是0 2 的高斯白噪声服从n ( o ，盯2 ) ； s ( o 一含噪声的信号； 一般来说，一维信号的降噪过程可分为以下三个步骤【2 9 ： ( 1 ) 一维信号的小波分解。选择一个小波并确定小波分解的层次n ，然后 对信号s ( i ) 进行n 层小波分解。 ( 2 ) 小波分解高频系数的阂值量化处理。选择适当的阈值对从1 到n 的每 一层高频系数进行量化处理。 ( 3 ) 一维小波的重构。根据小波分解的第n 层的低频系数和经过量化处理 后的从1 到n 层的高频系数，进行一维小波的重构( 小波逆变换) 。 在第一步中进行小波变换时，所选的分解层次应较大，从而使信号的小波变 换的极值点占优势，但是也不能过大，过大将会丧失信号的某些奇异特性，一般 选最大分解层次为n = 4 5 3 0 】。 在这三个步骤中，最关键的就是如何选取阈值和如何进行阈值的量化处理。 从某种程度上说，它直接关系到信号的质量。从小波降噪处理的方法上说，一般 有以下两种处理方法。 ( 1 ) 强制降噪处理。该方法把小波分解结构中的高频系数全部变为0 ，然后 再对信号进行重构处理，该方法比较简单，且重构后的信号也比较平滑，但容易 丢失信号的有用成分。 ( 2 ) 给定软闽值降噪处理。该方法利用实际降噪处理过程中的经验公式给 北京工业大学硕士学位论文 竺! ! ! ! ! 苎! 竺! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 竺竺! ! ! ! ! ! 竺! ! 竺! ! ! ! 出阈值，往往比强制阈值更具有可信度。 选择小波滤噪的软阈值方法有很多。使用的最为广泛的是由d o n h o 和 j o h n s t o n e ( 1 9 9 5 ) 年提出的。该方法中阈值由式3 - 9 定义： t 2 盯，2 1 n ( n j ) ( 3 9 ) 式中，乃一在水平分解水平j 下，系数d 褂的标准方差；， 一，一在分解水平j 下的系数d ，。的个数； 另外小波函数的选择一直就是研究的难点问题，一般而言只能针对具体问题 提出具体原则。例如对跳变较多的信号，h o a r 基比较合用；对由分段多项式结 构组成的信号，d a u b e c h i e s 小波比较适用；如果信号含正弦分量或高频振荡，则 局部三角函数基比较合适，这是一些常用原则 3 2 j 。 3 2 2 小波滤噪在本研究中的应用 本文选择2 0 0 0 年2 月9 号在检测器阜成门桥处的数据进行研究，数据序列 如图3 - 3 所示： 1 li 1 i 瓢酗赢羽 一。幽j ” ，”p 一删州w 1 o1 0 02 0 0 3 0 0 间 2 0 0 分钟) 5 0 0 6 0 07 0 08 0 0 图3 - 3 速度原始数据 f i g u r e3 - 3t h eo r i g i n a lv e l o c i t yd a t a 下面，利用小波滤噪对上述数据进行滤噪处理。小波滤嗓选用的小波基为 d a u b e c h i e s 4 小波基。 0 0 o 0 0 o o 挖 珀 一i苫魁敞 。 第3 章交通数据的预处理 t d + l