（交通运输规划与管理专业论文）交通流数据清洗的关键理论及方法研究.pdf

山东理t 大学硕i j 学位论丈摘耍 摘要 实时、准确的交通流数据是对交通流进行精益化管理、有效实现智能运输系统 ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m s ，简称i t s ) ，尤其是其先进的交通管理子系统 ( a d v a n c e dt r a f f i cm a n a g e m e n ts y s t e m s ，简称a t m s ) 和先进的出行者信息子系统 ( a d v a n c e dt r a v e l e ri n f o r m a t i o ns y s t e m s ，简称a t i s ) 的重要保证。交通流状态辨识、 控制及优化是交通流理论的重要研究内容。从实际道路交通系统中采集到的动态数据 不可避免地存在丢失、错误、冗余等质量问题。高质量的交通管理与控制依赖于高质 量的数据。因此，数据清洗是其后续工作中状态辨识和数据融合得以实施的基础，也 是i t s 成功实现的关键。 本文在总结国内外相关研究现状的基础上，结合当前交通流数据清洗的需求，重 点研究了单数据源数据清洗的关键理论和方法，即：基于粗集理论和最d , - - 乘支持向 量机的丢失数据补齐模型、基于孤立点和边界检测的错误数据判别模型、基于灰色关 联理论的错误数据修正模型、以及冗余数据识别和约简模型；利用英国南安普敦大学 t r g 以及淄博市城市综合交通规划提供的实测数据分别对所建立的模型及算法进行 验证，结果表明本文所建立的上述模型均具有很好的性能。 关键词：交通流，数据清洗，丢失，错误，冗余 山东理t 大学硕十学位论文a b s t r a c t 置曼i 曼曼蔓! 曼曼曼曼曼! 尝! 曼! 曼皇曼曼曼! 曼曼曼皇量量! 鼍! ! 曼曼曼曼皇! 鼍曼皇曼曼! 曼曼曼曼曼罡皇! 曼皇曼曼! ! 曼! 曼曼曼曼皇曼曼曼曼曼量鼍曼量! 曼曼! 曼! 詈 a b s t r a c t t r u ea n da c c u r a t et r a f f i cf l o wd a t ai sa ni m p o r t a n tg u a r a n t e ef o rl e a nm a n a g e m e n ta n d t h ei n t e l l i g e n tt r a n s p o r t a t i o n s y s t e m s ，e s p e c i a l l yf o ra d v a n c e dt r a f f i cm a n a g e m e n t s y s t e m sa n da d v a n c e dt r a v e l e ri n f o r m a t i o ns y s t e m s t r a f f i cf l o wc o n d i t i o nr e c o g n i t i o n ， c o n t r o la n do p t i m i z a t i o na l et h ei m p o r t a n tr e s e a r c hd i r e c t i o no ft r a f f i cf l o wt h e o r y s o m e q u a l i t yp r o b l e m si n c l u d i n gm i s s i n gd a t a , i n c o r r e c td a t a , r e d u n d a n td a t a , e t c w e r ee x i s t e d i n e v i t a b l yi nt h ed y n a m i cd a t a ，w h i c hw e r ed e t e c t e df r o mr e a lr o a ds y s t e m s e f f e c t i v e t r a f f i cm a n a g e m e n ta n dc o n t r o ld e p e n do nh i 曲q u a l i t yd a t a t h e r e f o r e ，d a t ac l e a n i n gi s e s s e n t i a lf o rt h ef o l l o w e dw o r ks u c ha st r a f f i cf l o wc o n d i t i o nr e c o g n i t i o na n dd a t af u s i o n ， a n da l s ot h ek e yt ot h es u c c e s so fi t s b a s e do i lr e v i e wo fr e l a t e dl i t e r a t u r e sa n dt h ed e m a n do nt r a f f i cf l o wd a t ac l e a n i n g ， t h ek e yt h e o r ya n dm e t h o d sf o rs i n g l e s o u r c ed a t ac l e a n i n g ，s u c ha sm e t h o df o rf i l l i n gt h e m i s s i n gd a t ab a s e do nr o u g hs e tt h e o r yo rl s - s v m ，m e t h o dt od i s t i n g u i s hi n c o r r e c td a t a b a s e do ne d g ed e t e c t i o na n do u t l i e rd e t e c t i o n ，m e t h o dt om o d i f yi n c o r r e c td a t ab a s e do n g m ( 1 ，1 ) a n dm e t h o d st or e c o g n i z ea n dr e d u c er e d u n d a n td a t a ，a r es t u d i e di nt h i sp a p e r t h e s em o d e l so ra l g o r i t h m sa l ev a l i d a t e dw i t ht h ef i e l dd a t af r o mt h et r go fu n i v e r s i t yo f s o u t h a m p t o no fu ka n dt h ed a t ac o l l e c t i o nf r o mz i b oc o m p r e h e n s i v et r a n s p o r tp l a n n i n g t h er e s u l t si n d i c a t et h a tm o d e l so ra l g o r i t h m si nt h ep a p e rh a v eb e t t e rp e r f o r m a n c e k e y w o r d s ：t r a f f i cf l o w , d a t ac l e a n i n g ，m i s s i n g ，i n c o r r e c t n e s s ，r e d u n d a n c e i l 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得山东理工大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：关鼍时间：如叩年占月日 关于论文使用授权的说明 本人完全了解山东理工大学有关保留、使用学位论文的规定，即：学校有权保留送 交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同媒体上发 表、传播学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保存、汇 编学位论文。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名： 导师签名： 实考 时间：叩年占月日 时间：刁年石月日 山东理t 人学硕l j 学位论文第一章绪论 第一章绪论 数据是为反映客观世界而记录下来的可以鉴别的数字或符号，如数字、文字、图 形、图像、声音等。在交通流领域，数据既包括实时采集数据( 如交通状况信息、路 况堵塞评估或现场摄像画面等) ，也包括线下静态数据( 如定义网络的定位图表等) 。 为确保智能运输系统应用的顺利实现( 如交通信息管理和服务、交通控制系统等) ， 数据提供商和数据用户之间进行了大量的数据交换，交换数据的质量非常重要【l 刁j 。 因此，本文研究道路交通流数据的质量问题，提出用来提高交通流数据质量和精度的 模型，使得这部分数据在i t s 应用领域发挥更大的效能。 1 1 研究背景 道路交通是影响社会经济发展的重要因素之一。近年来，社会经济的持续快速发 展带动了我国城市化、汽车化的迅猛发展，进而使交通需求急剧增加。随着信息技术 的发展，交通信息采集、传输和发布设备的性价比日趋合理，为交通监控系统的推广 应用奠定了重要的物质基础。目前直至未来很长一段时期，交通管理部门所面对的问 题不再单一的是如何获得实时交通数据，而更多的是如何从大量的动态交通数据中榨 取出更加直观的交通运行状态信息、快速判别出是否存在交通拥挤的问题降d 引，即交 通状态的辨识问题。交通状态辨识的前提是拥有充足准确的交通流信息和先进合理的 信息处理技术。 数据是信息的基础，质量是对数据进行有效分析、挖掘的基本条件。在交通管理 与控制中，道路交通流数据是最为普遍、丰富的数据源，诸多的交通应用都离不开检 测得到的交通流数据。交通数据在交通规划领域，可用于o d 矩阵的生成、规划方案 的制定等；在交通管理领域，可用于交通事件的实时控制、紧急事件救援方案的制定、 交通模型的参数标定等；在交通控制领域，可用于信号配时等；在交通诱导领域，可 用于可变情报板上信息的生成和发布、动态实时路径诱导等；在其它领域，还可用于 交通尾气排放分析等l l 引。 正是由于道路交通流数据有着如此广泛的用途且与各类交通应用密切相关，道路 交通流数据质量的优劣必将对交通流状态辨识及后续应用产生影响。当路上采集到的 道路交通流数据源源不断的传输到交通管理中心后，中心会对数据加以相应的处理和 应用，如集成、抽样、压缩、存储、发布等。但是，由于传输设备故障、路面交通状 况异常、环境因素的变化和交通流采集设备的间歇性工作故障( 由其连续性工作特点 所引发) 等原因，采集得到的道路交通流数据中不可避免地存在着若干类质量问题。 山东理t 大学硕f ：学位论文第一蒂绪论 若直接将有质量问题的数据应用到交通流状态辨识及后续应用，必将给辨识或应用结 果带来不稳定和不安全隐患，因此，为获得高效精益化交通流数据，数据清洗显得尤 为重要。 1 2 研究的必要性及数据清洗 1 2 1 必要性 i t s 是最具时代特点的信息技术和通信技术革命的产物，其服务可视为一个信息 链，该信息链包括信息采集( 从运输系统中) 、通信、数据处理、信息发布及信息使 用( i t s 用户决策和控制的支持) l l 引，如图1 一l 所示。从图中可看出，为了i t s 应用 的实现，各分立系统间要依次进行大量的数据交换。在这里，已知的发送者和接收者 之间的数据传输是在闭环状态下完成的，数据传输的各方都需要对传输的数据质量和 传输数据时的相关条款进行了解。因此，在多数情况下，数据的处理是在逐条交换的 基础上和各方遵守数据交换通信协议并理解数据质量参数和限制的定义情况下完成 的【7 1 0 图1 1i t s 信息链 但是，在现实状态中，交通和旅游信息常常通过用户界面传到公开网络中，使用 者也是外部用户，他们也许不清楚数据的来源和数据应用的目的，这时，稳定的数据 质量变得非常重要1 7 1 。 从影响数据质量问题的性质来看，可以分为正常数据质量问题和异常数据质量问 题两类。正常数据质量问题主要包括噪声数据，它是在采集过程中由大量的、微小的、 不可控制的随机性因素或短时交通波动等偶然性因素引起的，不可避免的数据质量问 题。异常数据质量问题主要包括数据无效、冗余和重复、错误、时间点漂移、丢失等， 它是在数据采集过程中由少量的、但较显著的可以控制的系统性因素引起的，虽然这 2 山东理- t 人学硕 ：学位论文第一章绪论 些质量问题是由突发性因素引起，但在实际应用中一般易于识别和消除。面对这些有 质量问题的信息数据，如果不加以修正和平滑，而直接用到下一步的数据挖掘中，势 必会引起后续更多的质量问题。 根据数据来源的不同，道路交通流数据质量问题可分为单数据源( 检测器) 数据 质量问题和多数据源( 检测器) 数据质量问题。单数据源数据质量问题是同一检测器 采集得来的数据存在质量问题，可能包括错误、时间点不规则和丢失等；多数据源数 据质量问题是指在相同时空特征下、不同检测器采集得到的数据质量问题，如多检测 器检测，造成同一检测对象的信息冗余问题i l 引。鉴于时间和本人精力所限，本文以 下研究均是基于单数据源问题数据展开的。 为获得更好的数据质量，综合上述对影响数据质量问题的性质和数据来源的研 究，下面给出了交通领域数据清洗f l6 j 的定义。 由于环境因素异常、设备故障、通信故障等原因，同一检测器获得的数据存在无 效、冗余、错误、丢失、噪声、时间点漂移等现象，通常称这些数据为“脏数据。 为了避免这些脏数据直接进入交通状态的估计、预测与评价，成为制约后续模型应用 的“瓶颈”，影响交通状态的估计、预测与评价的效果，需要对这些数据进行消除噪 声、修正错误信息、约简冗余数据、推导计算缺失数据等“清理”工作，从而提高智 能运输系统应用中的数据质量，这个过程称之为数据清洗，即从海量原始数据中使用 一系列的逻辑检测出“脏数据”并修复或丢弃之。 1 2 2 交通流数据清洗的主要内容 承前所述，检测设备自身故障和外界因素异常通常会导致采集数据过程中产生质 量问题，这些因素可能包括不适合的检测器类型、设备的安装、校正和维护不当、设 备老化、通讯故障以及环境条件异常等。另外，数据质量问题的产生还与具体的设备 特性、数据采集和传输的操作过程密切相关1 1 4 ，l 刀。因此，对于单个检测器采集得到的 交通流数据而言，数据质量问题无可避免。对于单个数据源来讲，数据中包含的质量 问题可能包括数据无效、错误、冗余、丢失和不规则时间点等。 ( 1 ) 数据无刘博j 。交通检测器获得的数据中存在突变点或不符合交通流三要素 相互关系，可根据阈值理论和交通流理论判定数据的有效性，由于数据无效性的概念 比较模糊，比较不易判别，也可将无效数据归类到错误数据中。 ( 2 ) 错误数据1 1 9 1 。当交通检测器或传输线路出现故障时，采集到的数据通常是 错误的，这些数据不在期望的范围内或不满足已有的原理和规则，比如车流量较少时， 却有较高的车道占有率，显然是错误数据。 ( 3 ) 冗余数据1 2 0 , 2 1 j 。就单检测器而言，冗余数据主要是指检测器检测到的数据 构成集合中的相似重复数据。从狭义的角度来看，检测器检测到的数据构成数据集， 3 山东理t 大学硕 ：学何论丈第一帚绪论 如果其中两条记录在某些交通参数上的值相等或足够相似，则认为这两条记录互为近 似重复，即存在冗余数据。对多检测器而言，为了获得城市交通系统运作的完整数据， 城市路网的相应路段需要布设检测器，但由于同一路段或相邻路段检测器布设密度过 大，直接影响了所采集的交通数据的有效性和准确性，造成部分车辆信息重叠，具有 冗余性。 ( 4 ) 数据丢失【2 2 】。由于检测器扫描频率不固定、传输设备或存储设备等出现故 障、人员操作失误、车辆过度密集造成检测器无法正确检测车辆等原因使采集到的动 态交通数据无法严格的按照指定的时间间隔上传，出现了数据丢失现象。 ( 5 ) 时间点漂移【1 4 , 1 9 】。交通检测器工作的不稳定性，设置的采集间隔经常会发 生漂移，比如设置交通检测器输出数据的时间间隔为3 0 0 s ，而实际的问隔小于3 0 0 s ， 如为2 9 9 s ，2 9 8 s 等，造成获得的数据并非标准时问点应该获得的数据，同时由于网 络传输的原因，没有规律可循，经过长时间的积累，实际时间点体系与标准时间点体 系无法匹配，带来较大的误差。 1 3 国内外相关研究综述 本节从单数据源问题数据出发，分析总结了针对单数据源数据质量问题的国内外 相关研究现状。 1 3 1 数据清洗研究综述 数据清洗的定义最初在数据仓库领域中提出，一般是应用在几个数据库合并时或 多个数据源进行集成时。 同一个实体的记录，在合并后的数据库中就可能出现重复的记录，数据仓库中的 数据清洗过程就是要把这些重复的记录识别出来并消除它们，也就是所说的合并清 除( m e r g e p u r g e ) 问题。g a l h a r d a sh 和f l o r e s c ud t 2 3 j 认为，数据清洗是指消除数据 中的错误和不一致现象，并解决对象识别问题的过程，同时还提出了一个辅助数据清 洗过程的框架结构；h e r n a n d e zm a 和s t o l f ojs 1 2 4 j 把合并清除问题定义为数据清洗 问题，并提出了基本的排序邻居方法( b a s i cs o r t e d n e i g h b o r h o o d ) ，他们认为数据清洗 并不仅仅是简单地用好的数据去更新记录，彻底的数据清洗需要对数据进行分解和重 新组合；k i m b a l lr 1 2 5 j 描述了一个对客户地址进行清洗的过程的实例，把数据清洗过 程分为6 个步骤：元素化、标准化、校验、匹配、是否为一家人和文档化( 写入源数 据存储中心) ；g u y o ni 、m a r i en 和v a p n i kv 1 2 6 1 在字符分类问题中应用机器学习的技 术来进行数据清洗；s i m o u d i se 、l i v e z e yb 和k e r b e rr 1 2 7 j 将数据清洗定义为一种使 用计算机化的方法来检查数据库，检测丢失的和不正确的数据并纠正错误的过程； 4 山东理t 火学硕l ：学位论文第一章绪论 l e v i t i na 和r e d m a nt 1 2 8 j 提出了应用于数据获取和数据使用周期质量的数据生命周 期模型( 包括数据的评价、分析、调整和丢弃) ，从数据质量的角度，把数据清洗过 程和数据生命周期集成在一起，即将数据清洗过程定义为一个评价数据正确性并改善 其质量的过程；j o n a t h a ni 和m a l e t i ca n d r i a nm a r c u s l 2 9 j 提出了数据清洗的步骤，包括 定义及确定错误的类型，搜寻并识别错误的实例，和纠正所发现的错误3 个步骤，主 要讨论了前两个步骤，并指出最后一个步骤通用性较差，只能在特定领域实现高度自 动化。 2 0 0 0 年，宋擒豹和沈钧毅【3 0 1 将数据清洗引入中国的数据挖掘领域；郭志懋3 1 】对 数据清洗进行了系统的研究，并提出了一个可扩展的数据清洗系统；随后数据清洗被 引入各个领域。 1 3 2 交通流数据清洗研究综述 交通检测器获得的数据经常存在无效、冗余、错误、丢失、噪声、时间点漂移等 现象，鉴于错误、丢失、冗余等现象的发生更为频繁，本节及后续研究均以上述三种 问题数据为主要研究对象。 1 错误数据判别方法 对交通流错误数据的检测大体可分为两个层次：一类是微观层次，是针对微处理 器扫描和处理检测器脉冲的过程进行错误鉴别；一类是宏观层次，本文侧重于该层次 的研究，其中，阈值方法、基于交通流机理的方法、阈值理论和交通流理论相结合的 方法应用较为广泛，聚类分析方法、神经网络方法及重复性和连续性算法的应用较少。 错误数据的检测方法如图1 2 所示。 错误数据的检测方法 微观层次ii宏观层次 阈 值 方 法 基于 交通 流机 理的 方法 阂值理 论和交 通流理 论相结 合的方 法 聚 类 分 析 神 经 网 络 重复 性和 连续 性算 法 图1 2 错误数据检测方法 复 合 规 则 【l j 东理t 大学硕l j 学位论丈第一荦绪论 ( 1 ) 阈值方法 阈值方法根据交通流参数在一定时间间隔内的取值必然在一个合理的数值区间 范围内的原理，认为若超出了这个区间，则此条记录包含错误。可见，阈值的确定极 为重要，因此，对于该方法的研究主要集中在阈值的确定问题上。除了对流量、速度、 占有率的取值进行阈值控制外，还对平均有效车辆长度进行阈值控制。 不少研究者以阈值为基础，对阈值提出了更进一步的控制策略和方法： t u m e r l 3 z j 在分析了问题数据的属性之后，提出了更加缜密的阈值检验思路，包括 序列数据检验、空间走廊数据检验和历史数据检验，认为应该开发更加完善的错误 数据判别方法；j a c o b s o n l 3 3 1 等利用h a l l 和p e r s a u d 3 4 l 得到的g 因子，结合速度的最值 开发了“华盛顿算法”，但该算法确定的流量占有率最大可接受斜线容易被自由流样 本超出，对阈值敏感，需要对每个检测器进行校正，基准值不易获取；c h e n 等【3 5 】开 发了逐天统计算法，但该算法只能判断检测器在整个时间段内( 如每天) 存在故障与 否，对单个错误数据无法检测；姜桂艳和江龙晖【3 6 , 3 7 1 认为阈值的大小与道路通行能力、 检测时间间隔及路段限制速度有关，并给出了各参数阈值的计算公式。 ( 2 ) 基于交通流机理的方法 这类方法以交通流理论为依据，通过交通流三个参数之间的关系判断数据是否符 合交通流理论中的既有规律。 c o i f m a n 3 8 , 3 9 1 提出了针对单线圈速度数值的改进预测方法，但该算法涉及到有效 车长的范围确定及道路交通流状态的划分问题，具有明显的局限性；随后，l o m a x 和1 、丽e r l 4 0 1 、j a i n 和c o i f m a n t 3 9 1 提出了若干判断规则，但这些规则均是基于单个交通 参数设定的；江龙晖和姜桂艳【37 j 提出在对单个变量进行检验的基础上，对同一时段 两个以上交通参数之间的一致性进行检验；宫晓燕【4 l 】提出了基于时间和空间检验的 错误数据剔除方法。 ( 3 ) 阈值理论和交通流理论相结合的方法 这类方法从交通流理论的角度出发，得出阈值形式的判别规则，实现对错误数据 的识别和判断。 p 破【4 2 l 等将由设备错误产生的错误数据视为与整体交通趋势不一致的群体，作为 反常数据处理；裴玉龙1 4 3 】和t u r o c h y t 4 4 ，4 5 1 提出了在占有率为零，而流量和速度非零条 件下的最大交通量阈值法；j a i n 和c o i f m a n l 3 9 1 设计了五类比例阈值规则，超过阈值则 认为检测器故障。 ( 4 ) 其它方法 s u n 和z h o u l 4 6 1 、x i a 和c h e n 4 7 1 分别采用k m 聚类方法对交通流数据进行分析； 宫晓燕f 4 l j 采用聚类分析方法将一天的流量、速度、占有率曲线分成若干具有相同交 通特性的时间段，然后在这些小时间段中根据交通特点寻找隐含的错误数据，但该方 法需要结合相应的事件探测信息确定错误点；i s h a k i 铝】采用模糊聚类方法识别错误数 6 山东理丁大学硕卜学位论文第一荦绪论 据，该算法虽然不依赖于数学模型，且无须估算有效车长，但该算法仅具有去噪功能。 p a r k 4 2 】等提出了基于马氏距离的错误数据检测程序；陈德旺等f 4 9 j 根据交通流具有 明显的重复性理论提出了连续性和重复性算法以识别错误数据，但该方法仅从交通流 理论本身出发，不能解决设备错误造成的错误数据。 另外，于雷、耿彦斌【1 4 j 等开发了复合规则以识别错误数据，包括设定特殊状况 条件下的阈值规则、基于交通流参数的阈值规则、基于交通流模型规律的判别规则、 基于聚类分析曲线回归的异常数据判别规则、基于数据总体趋势的更精密的判别规 则，该复合规则取得了较好的识别结果，但方法较复杂不适合于在线识别。 2 错误数据修正方法 对错误数据的修正方法如图1 3 所示。 图l 一3 错误数据修正方法 j a i n 和c o i f m a n f 3 9 】根据提出的五类阈值规则采用邻近车道值、错误数据的前几个 时段值、自由流条件下取为阈值等方法修正错误数据；姜桂艳和江龙掣3 6 j 扩大了采 用已有数据修正错误数据的数据源，采用历史趋势数据、前后两个邻接时段数据的平 均值修正错误数据。 c h e n t 3 5 j 等利用邻近检测器构造了用于错误数据修正的线性模型，该模型具有很 强的鲁棒性，但与多元回归模型相比，并非最优；裴玉龙【4 3 】通过计算实时速度数据 与对应时段的线性相关系数，然后采用线性回归方法实现对速度数据的修正。 p a r k 【4 2 1 等利用l o e s s 插值估算错误值，p e e t a 和a n a s t a s s o p o u l o s l 5 叫采用基于傅立 叶变换的数据修正启发式算法实现对错误数据的修正，该算法虽然无需大量的训练或 标定，执行效率高，适应性强，适用于实时运营，但该算法在低流量情况下有效性低。 3 丢失数据补齐方法 关于数据补齐，美国州政府公路交通官员联合会【5 1 1 ( a a s h t o ) 提交的指南中 定义了两条重要的原则：一是基础数据完整性原则，采集到的原始数据保存时不应做 7 山东理t 大学硕1 ：学位论文第一幸绪论 修改或调整，以保证足够的未经修改过的基础数据用于数据补齐，且补齐数据与原数 据应分别存储；二是补齐流程的真实性原则，通过文档记载补齐的整个操作流程，有 助于增强补齐工作的透明度以便于取舍。国内对丢失数据的研究相对匮乏且较国外落 后，对丢失数据的修正方法如图1 4 所示。 图1 4 丢失数据补齐方法 2 0 世纪9 0 年代美国、加拿大和欧洲 5 2 - 5 4 1 等国家多采用历史数据构建补齐模型； 姜桂艳【3 6 , 3 7 j 等采用前一天的历史数据、前后邻接时段的数据、前几个时段数据以及相 邻路段数据实现丢失数据的补齐；宫晓燕1 4 l j 提出了针对单个数据点丢失的补齐算法， 根据自相关分析理论确定出与丢失数据点紧密相关的数据点，采用加权平均法实现数 据补齐。 g o l d 和t u r n e d j 等认为应该首先尽可能全面的了解丢失的产生过程，然后根据 丢失的性质采取相应的方法补齐，他们采用的补齐方法有f a c t o ru p 插值、线性插值、 基于期望最大化估计的多项式回归及核回归等，采用的算法能够实现5 m i n 以内的丢 失数据的补齐，但不能解决更大间隔的数据丢失问题；8 u n l 5 6 , 5 7 1 等人利用非参数回归 中的局部线性回归模型进行丢失数据的补齐，接下来，作者将小波变换与局部线性回 归结合起来，研究结果表明作者采取的这两种预测方法均能提高预测精度。 z h o n g 等1 5 8 - 6 1 1 采用逐渐将输入数据进行细分来提高预测精度的思路，提出了改进 的线性权重回归模型和基于遗传算法的神经网络模型，结果表明，基于遗传算法的神 经网络模型较历史数据替代法、线性差值法、历史数据加权平均法和自回归移动平均 法的补齐精度要高，误差较低；b r u c er 【6 2 l 认为可以通过统计可靠度、发生概率及其 它类似信息推导丢失数据；p e e t as 和a n a s t a s s o p o u l o si 【5 0 l 认为常用的预测方法可以 同时用于错误和丢失数据的修正，传统的预测方法不适用于实时预测的应用需求，作 者开发了基于傅立叶变换的数据修正启发式算法。 m a r t i n 和w u 【6 3 1 根据丢失数据的产生间隔不同，开发了不同的补齐方法，主要包 8 山东理t 人学硕l j 学位论文第一一币绪论 括因子法、时间序列法、邻近检测器( 时间、空问) 数据预测方法等。 4 冗余数据约简方法 交通流冗余数据可分为单检测器冗余和多检测器冗余，国内外对单检测器冗余数 据的研究较为鲜见，多检测器冗余的研究主要集中于检测器的合理布设及多源融合技 术。 国外车检器的平均布设间距在0 4 0 8 k m 之间1 1 4 1 ，随着智能运输系统对道路实时 交通信息需求的日益迫切，我国较多学者认为为获得全面的交通信息需布设高密度、 全方位的交通检测器，然而检测器的密集布设极易导致信息冗余，科学合理地规划道 路网络中交通检测器的布设位置，可以提高交通数据采集的有效性和准确性，节约系 统重复投资和减少数据冗余。c h e nk s ，w i l l i a mh k l a m 晔j 在综合考虑系统成本 与行程时间检测精度的基础上，运用双层规划模型求解路网检测点密度，该文献考虑 的影响因素较为全面，但在考虑信息质量与检测点密度的关系上并没有进行专项研 究，仅以实测经验曲线为依据；伍建国、王峰1 2 l j 根据流量相似性关系，确定道路交 通数据采集系统检测点优化布设方案。根据相似性理论，去除流量相关的检测点达到 减少检测点数量的目的，在交通流稳定和周期性明显的条件下这是一种很好的策略， 但面对随机动态的交通现象，系统的可靠性将难以保证；桑丽、秦玲和黄建军1 6 5 】在 对路网结构和布设需求进行深入细致分析的基础上，提出了固定检测器在道路网络中 布设的基本策略，并探讨了固定型采集技术和移动型采集技术结合应用的基本策略。 数据融合是有层次性的，在i t s 领域，普遍划分为三个层次：数据层、特征层、 决策层。数据清洗是交通流状态辨识的基础，而处于最底层的数据层融合是高层数据 融合的基础，因此，数据层融合对冗余数据的约简具有重要意义。用于数据层融合的 方法主要有卡尔曼滤波 6 6 1 、神经网络法 6 7 1 等。但在处理海量数据时，传统卡尔曼滤 波对数值病态情形很敏感，且滤波数值计算不稳定；而神经网络在应用中易表现过学 习和欠学习、维数灾难及陷入局部极小值而非全局最优值等问题。 1 4 本文主要研究内容 本文在对当前国内外交通流数据清洗理论的研究和开发现状进行总结的基础上， 分析各类交通流数据采集技术产生质量问题的类型和原因，对单数据源的数据清洗理 论和方法进行了研究。 第一章简述了论文的研究背景、必要性、数据清洗的主要组成部分以及国内外相 关研究现状，确定了本文的具体研究内容。 第二章建立了丢失数据补齐模型。其中，基于粗集理论建立了利用相关数据补齐 单数据源丢失数据的模型；基于最d - - 乘支持向量机( l e a s ts q u a r e ss u p p o r tv e c t o r 9 山东理t 人学硕f j 学位论文第一章绪论 m a c h i n e s ，简称l s s v m ) 理论建立了利用历史数据补齐单数据源丢失数据的模型。 第三章建立了错误数据的判别和修正模型。其中，基于孤立点理论、边界检测理 论、阈值理论和交通流理论建立了针对错误数据的复合判别模型；在此基础上，基于 灰色系统理论建立了错误数据修正模型。 第四章建立了冗余数据的识别和约简模型。其中，基于等级分组法建立了冗余数 据的识别模型，并采用平均法进行约简。 第五章进行全文总结，指出论文的主要结论和创新之处，同时给出下一步需要继 续研究的工作。 本文的研究内容和相关的研究方法如图1 5 所示。 臣互口 1 s 本章小结 图l 一5 论文的主要研究内容和方法 本章分析了论文的研究背景、必要性及数据存在质量问题的原因，并以此为基础 提出了交通流数据清洗的定义和交通流数据清洗的内容；着眼于丢失数据、错误数据 和冗余数据，回顾了相关的研究历史和发展现状。在此基础上，给出本论文的研究内 容及相应的研究方法，以后的章节将对这些内容进行深入研究。 1 0 东理t 大学硕 j 学位论文第二章交通流丢丈数据补齐算法研究 第二章交通流丢失数据补齐算法研究 由于检测设备、传输设备等的连续运行，使得通过检测器采集得到的原始数据中 经常存在数据丢失的现象【3 6 , 4 9 。由此带来的问题主要有：数据中的交通流信息不能被 完全提取、后续的交通流数据分析与深层次的数据挖掘复杂以及容易产生偏倚。如果 使用补齐值代替丢失值进行数据分析，则丢失值的准确性会直接影响分析结果。因此， 为了保证数据分析和处理的正确性及有效性，确保提供有效的数据，对丢失值进行正 确的处理是数据清洗过程的核心内容之一，对实现先进的交通管理子系统和先进的出 行者信息子系统有着非常重要的现实意义。 2 1 丢失数据的分析 熟悉数据丢失的原因和特性，将有助于数据补齐工作的开展，也将为后期的数据 管理及融合算法提供参考。数据丢失的原因与丢失数据的特点如表2 1 所示。 表2 一l交通流数据丢失的原因及特点分析 检测数据丢失的原因丢失数据的特点 检测 器出 现故 障 检测器扫描频率不稳定，无法正常检测车辆 某个时间段的部分数据丢失 车辆过度密集造成检测器无法工作某个时间段的部分数据丢失 检测器连续工作，出现间歇性工作故障 某个时问段的部分数据丢失 传输设备出现故障 存储设备出现故障 人员操作失误 一个或几个时间段的部分数据丢失或某 个时段内出现多组数据 一定时间段的所有数据都发生丢失 一定时间段的所有数据都发生丢失 对数据丢失的总体情况的识别可以采用如下方法：将一定时间内得到的数据定义 为某一时段的数据，然后对数据的时段进行扫描和判断，如果某一时段内没有得到数 据，或一个时段内得到多于一组的数据，则认为该时段的数据丢失，需要进行补齐处 柙1 1 3 , 3 6 j 土 。 对数据补齐，在实践过程中需要遵循以下两条原则1 5 l j ：一是基础数据完整性原 则，采集到的原始数据保存时不应作修改或调整，以保证足够的未经修改过的基础数 山东理t 人学硕l j 学位论文 第二章交通流丕失数据补齐舅法研z 据用于数据补齐，且补齐数据与基础数据应分别存储；二是补齐流程的真实性原则， 做好针对整个补齐操作流程的文档记载工作，将有助于增强补齐工作的透明度以便于 取舍。目前，在国内多采用以下6 种方法实现对丢失数据的补齐，不同的方法有着不 同的优缺点和适用性，表2 2 说明了详细情况。 表2 2丢失数据的补齐方式及缺点 交通流丢失数据补齐方式缺点 采用前一天的历史趋势数据进行补齐若发生交通异常状况，大大降低了估计精度 采用历史趋势数据与( t - 1 ) 时段实测数据的加 权估计值进行补齐 采用相邻时段数据的平均值进行补齐 由相邻路段数据得到的估计值 线性差值法 将存在丢失数据的记录删掉 地区和时段的不同，权值应该是有所不同的，同时， 人为设定权值缺乏科学依据 当相邻周期数据仍存在丢失时，无法采用此方法 在检测器相隔较远时存在一定的时滞性 在理论分析中简单方便，但在实际计算中尤其是有 大量丢失数据存在时计算复杂 当丢失数据数量较人时，无法准确描述交通流运行 特征，对交通模型的运行效果不利，不是严格意义 上的丢失数据的补齐 从表2 2 可看出，可能是受在线应用要求简便、可行以及数学模型发展的限制， 上述方法均是采用同一属性已有的完整数据补齐丢失数据，并存在地区、时段不同， 权值无法确定，导致估计精度降低等问题。本章引入粗集理论和支持向量机，可不同 程度的解决上述缺陷。 2 2 基于粗集理论的交通流丢失数据补齐算法研究 2 2 1 粗集理论 粗集( r o u g hs e t ) 理论是由波兰学者p a w l a k 在1 9 8 2 年提出的一种研究不完整、不 确定性知识和数据的表达、学习、归纳的理论方法1 6 8 j 。它能有效地分析和处理不精 确、不一致或不完整的各种不完备信息系统，能使具有丢失值的对象与信息系统的其 它相似对象的属性值尽可能保持一致，即，可以利用相似对象属性值的不可分辨关系 对丢失数据进行补齐【6 8 。 设由交通检测器获得的基本交通流信息组成的系统称为基本交通流信息系统，存 1 2 山东理丁人学硕 ：学传论文第_ 二带交通流丢失数据朴齐舅法珂f 究 在丢失数据的交通流信息系统称为不完备的基本交通流信息系统。 对丢失数据的补齐要求尽可能反映含丢失数据的不完备信息系统所反映的基本 特征以及隐含的内在规律。而基于粗集理论的不完备数据分析方法( 简称r o u s t i d a 算法) 的基本思想正是，丢失数据值的补齐应使完整化后的信息系统所产生的分类规 则具有尽可能高的支持度，产生的规则应尽量集中【6 8 1 。换句话说，是使具有丢失值 的对象与信息系统的其他相似对象的属性值尽可能保持一致，亦即，使属性之问的差 异尽可能保持最小。为了介绍r o u s t i d a 算法，引入扩充可辨识矩阵、遗失属性集、 无差别对象集、遗失对象集的定义。 定义l 令s = ( u ，a ，v ，厂) ，s 为信息系统；u = x 1 ，x 2 ， 是论域，x 代表 每一个时间段获得的样本值，疗为记录条数；a = 鲰k = 1 ，m ) 是属性集，代 表单个属性值，共m 个属性；v 是属性口a 的值域；厂是u x a v 的映射，它指 定u 中每一个样本x 的属性值。m ，表示经过扩充的可辨识矩阵中第i 行，列的元素， a k ( 鼍) 是样本而在属性上的取值，即表示样本在第j 个时间段获得的第k 个属性值， k = l ，2 ，m ，i = 1 ，2 ，。则经过扩充的可辨识矩阵m 定义为： = q 么门嚷( ) ( _ ) 以唧( t ) 木以咏( _ ) 木 ( 2 - 1 ) 其中：f ，歹= l ，以：“宰”表示丢失值，“a ”表示合取。粗集理论以扩充可辨识矩 阵作为数据补齐算法的基础，这样属性之间的差异概念得到了扩展，使之能适合于不 完备信息系统的要求。 定义2 信息系统s = ( u ，a ，y ，f ) ，a = 口七| = l ，m 是属性集，设而u ， 则对象而的遗失r - - - d | 生集删母、对象巧的无差别对象集鸠和信息系统s 的遗失对象 集m o s 分别定义为： m a s , = 鲰k ( 葺) 一，j j = 1 ，朋 ( 2 - 2 ) n s i = ，似( f ，) = f 2 j ，i ，= 1 ，疗) ( 2 - 3 ) m o s = i l l s , o ，f _ 1 ，”) ( 2 - 4 ) 式中m 为属性总个数；疗为扩充后的可辨识矩阵的总维数，等同于样本记录条数；f ， 为扩充后的可辨识矩阵的横坐标和纵坐标：g 为窄集符号。 山东理t 人学硕l j 学位论文 第一二章交通流王失数据补齐算法研究 由于不完备信息系统中存在多个丢失值及其不同的分布，因此，对信息系统丢失 数据的补齐要经过多次对扩充可辨识矩阵的计算和完整化分析。 设初始信息系统，相应的扩充可辨识矩阵膨o ，对象o 的遗失属性集删墨o ， 其无差别对象集n s i o ；第，次完整化分析后的信息系统s 7 ，相应的扩充可辨识矩阵 m 7 ，对象的遗失属性集m a s r ，其无差别对象集鸠7 。其中相应的完整化的合理 性可由以下定理予以保证： 定理设m h l = ( 弼+ 1 )，= o ，i ，2 ，则哞+ 1 计算如下： 、 。 ，r t x r t 。 1 ) 果m a s ru 删蟛= a ，则m ；= m ； 2 夕否则，设七删彰u 朋蟛，有 膨d 嘭咻若( ( ( + 1 ) 奎) 以( 鲰( 巧+ 1 ) 州坩1 ) 吼( 引) ) ； 【蟛，否。 证明： ( 1 ) 如果刎u 刎譬= gr 显然对象再和对象勺均没有丢失值，因此，信息 系统s 7 中对象遗失值的补齐，不影响m 7 ( f ，歹) ，故有m h l ( f ，) = m 7 ( ) ； ( 2 ) 如果m _ a s u m x s ；9 ，则有可能由于s 7 中对象或对象_ 丢失值的补齐， 原来为无区别的属性变为有区别的属性，从而改变m 7 ( f ，) 。根据定义1 ，在s h l 中 只需考虑由丢失值的属性后刎gu m x s ；，得证。 2 2 2r o u s t i d a 算法流程 对丢失数据的补齐采用r o u s t i d a 算法，具体步骤按流程图2 1 ，图2 2 所示。 图2 1 介绍了r o u s t i d a 算法的主要流程，图2 2 详细介绍了产生s ”1 的过程。 1 4 山东理t 大学硕 ：学位论文第二审交通流丢失数据补齐算法研究 曼曼! 皇曼曼曼皇曼曼! 曼! ! ! ! ! ! ! ! ! ! ! ! ! ! 曼曼! ! ! ! ! ! ! ! ! ! ! 曼曼! ! ! ! ! 曼! 鼍! 皇! 曼! 曼! 曼! ! ! 曼! ! 曼! 孽i 皇! ! ! ! ! ! ! 曼! ! ! ! 曼曼鼍曼曼 图2 1r o u s t i d a 算法的主要流程 图2 2s 川的产生过程 1 5 山东理i + 大学硕卜学位论文第_ 章交通流丢失数掘补齐算法研究 2 2 3 模型应用与结果分析 1 数据来源 数据由英国南安普敦大学提供。数据采样问隔为5 m i n ，采样地点如图2 3 所示。 每个采样点的值表示上一个5 m i n 内通过检测器的流量、车道占有率或速度。本节采 用n o 3 2 2 4 号检测器获得的2 0 0 0 年1 1 月2 3 同0 6 ：5 5 a m - 2 1 ：5 5 p m 的数据，采用 r o u s t i d a 算法对人造丢失数据进行了补齐。同时利用其他各检测器采样获得的数 据对算法进行了检验，限于篇幅，本文只列出了2 0 0 0 年1 1 月2 3 同n o 3 2 2 4 m 号检 测器获得的数据( 图2 4 、2