（交通信息工程及控制专业论文）视频交通事件自动检测技术研究.pdf

摘要 摘要 随着城市化的进展，汽车的普及，交通拥挤加剧，交通事故频发，公路交通的安全问题 变得日益突出。为了解决地面交通快速发展所引发的各种问题，交通事件自动检测技术成为 国内外的研究热点。 本文分析并研究了车速、车流量等交通参数的检测以及车辆逆行、车辆变线和车辆落物 等交通事件的检测，提出相应的具体检测方法并给出实验结果。学位论文的主要工作和成果 可以概括为以下四个方面： 背景初始化和自适应更新算法研究。首先研究了几种常见的背景初始化方法和加权平均 背景更新方法，在此基础上提出了一种基于r g b 彩色空间的彩色背景更新方法，实验证明 彩色背景更新方法能使后续的车辆检测更加准确。 车辆检测与跟踪算法研究。本文研究了几种常见的车辆检测方法，提出了一种基于 彩色空间的运动车辆阴影检测方法，提高了车辆检测准确率。最后分析和讨论了一种基于运 动矢量估计的车辆跟踪方法。 交通参数检测算法研究。在车辆检测和跟踪的基础上，研究了基于视频的车速和车流量 检测算法，采用不同算法对同一种交通参数实施检测，并通过对比实验，说明了各种算法的 优缺点。 交通事件检测算法研究。本文将虚拟线圈技术和车辆跟踪技术用于事件检测，研究了车 辆违章逆行、车辆压线、车辆变道以及车辆落物这四种比较常见的交通事件检测算法。在车 辆逆行检测算法研究中，通过实验，比较分析了不同算法的优缺点和适应性：在车辆变线检 测算法研究中，提出了基于车道线检测的车辆变道检测算法；在车辆落物检测算法研究中， 提出了基于背景更新和运动检测的算法，通过实验证明了算法的准确性。 关键词：智能交通系统，背景更新，虚拟线圈，车辆跟踪，交通参数，交通事件检测 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他入已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：玺扛望l 日期：皇墨：；：鲨 东南大学学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：伍靼显导师签名：匿笙蛤期：兰型岬 第一章绪论 1 1 研究背景 第一章绪论 近年来，由于中国经济的持续高速发展，道路交通迅速发展，从而引起的交通需求也越来越 高，使得车辆和道路的矛盾越来越大。随着交通需求的不断增加，城市道路面临着交通拥挤的问 题，高速公路也不例外。交通拥挤使道路系统运行的效益降低，也使道路上发生交通事件的可能 性大大增加。道路交通事故带来的交通系统的外部经济损失随着路网的建设和交通量的增加而增 加，这是必然产生的社会问题，其造成的损失已不容忽视。为了解决地面交通快速发展所引发的 各种问题，智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，i t s ) 的研究被提到了重要位 置。许多国家就发展智能交通系统做出了长远规划。部分已经研制成功的智能交通系统技术投入 使用后取得了良好的效果和收益，现在，智能交通系统已经成为交通行业研究的热点。 智能交通系统是将先进的信息技术、计算机技术、数据通讯技术、传感器技术、电子控制技 术、自动控制理论、运筹学、人工智能等有效地综合运用于交通运输、服务控制、车辆制造，加 强了车辆、道路、使用者之间的联系，从而形成的一种定时、准确、高效的综合运输系统。 在智能交通系统中，道路交通动态信息采集成为交通管理智能化的前提，建立道路交通动态 信息采集系统也就成为交通管理智能化的首要任务。交通动态信息采集系统的主要目标是获取车 辆交通信息，其中包括道路车流量、车辆类型、车速、道路占有率、交通违章信息、交通事故检 测等，主要侧重于对道路的宏观管理，该系统对道路交通的管理和道路规划设计有着十分重要的 意义。 交通事件检测系统【i 】是交通信息采集系统的子系统，它是智能交通系统的一个重要组成部分。 其中，交通事件检测系统的最关键部分就是交通事件判断算法，算法的好坏直接影响事件管理系 统的效率。目前，交通事件检测算法的关键技术主要有间接检测和直接检测两种。 交通事件间接检测算法有很多，它们的基本原理是根据地感线圈、超声波等传感器所反应的 交通参数的变化来判断是否发生交通事件。而交通事件直接检测算法主要是基于视觉传感器所获 得的数据，直接检测是否有事件发生。 到目前为止，比较经典的交通事件间接检测算法主要有以下几类阁： ( 1 ) 比较模式识别算法。比较算法通过识别正常状况下的特殊的交通模式来进行事件的判 定，例如加利福尼亚算法、m o n i c a 算法、多用途事件检测( a p i d ) 算法都属于这类事件检测算法。 ( 2 ) 统计算法。统计算法的典型代表有贝叶斯算法和标准正态偏差( s n d ) 算法。 ( 3 ) 时间序列和平滑算法。低通滤波算法和d u t c h 算法都属于时间序列和平滑算法。 ( 4 ) 交通模型和理论算法。这种算法使用复杂的交通流原理来描述和预测事件状态期间的 交通行为，并将实际的交通参数和模型预测值进行比较，如改进的m c m a s t e r 算法。 ( 5 ) 先进的事件检测算法。这类算法主要包括基于神经网络的事件检测算法和基于小波分 析的事件检测算法等。 虽然这些算法在实际应用中取得了一定的效果，但是它们都存在一些共同的不足，例如反应 时间长、误报率高、系统复杂和不能鉴别事件的性质等。 目前交通事件间接检测算法的数据大多数来源于地感线圈和超声波传感器。地感线圈埋在路 面下，当车辆通过时根据线圈磁场强度的变化能够获得车流量、车速、车长等参数，提取交通事 件的信息。但是地感线圈安装和维修时必须阻断交通，挖开路面，极为不便，得到的交通信息也 极为有限，而且只有在交通事件对交通流的影响范围扩展到线圈为之后才能检测到事件，具有相 当的时滞性；而基于超声波传感器所得数据的事件检测算法不但具有和基于地感线圈的事件检测 算法相同的缺点，并且超声波易受外界环境的影响，使结果产生较大误差。与之相比，基于视觉 传感器的交通事件直接检测系统能够获得更多的交通流信息，除车流量、车速、车道占用率、车 长、行车时距之外，还能识别车辆类型和车辆运行轨迹，可以监视远距离大范围场景，且因为它 可以直接获得交通场景的视觉信息，并不需要等到发现交通流发生变化时才能判断是否发生了交 通事件，所以它的平均检测时间远小于基于传统传感器的事件检测方法。这样就大大地缩短了检 测周期，提高了检测效率，能及时检测到交通事件从而减小二次事件的发生概率。视觉传感器的 东南大学硕士学位论文 另一个优点是费用较低，安装维护时不影响道路的使用，且经久耐用。 基于视频技术的交通事件自动检测系统是利用计算机视觉、模式识别等技术和方法进行交通 事件检测、车辆识别和跟踪以及道路利用监视。该系统不需要破坏路面，只需要在路面上方架设 部摄像机，将交通视频图像输入系统，运用图像处理技术提出需要的交通流信息，同时现场图 像视频信号也可为电视监控所共用。它采用的是一种基于图像处理的微观交通事件自动检测方 法，运用车辆跟踪技术，自动地检测行驶中的车辆为避开道路上的事件( 如事故或故障所致的停 驶车辆，低速行驶的车辆，车道上的跌落物等) 而产生的行驶轨迹，相应地计算出车辆的速度、 位置等运动参数。与其他方式相比，视频检测有着无法比拟的优越性。 正因为这种优越性，越来越多的人认识到视频技术在交通系统中的重要作用，尤其是在交通 安全的道路系统监控方面器作用最为突出。如果采用基于视频技术的交通事件自动检测系统对交 通事件进行快速准确的检测，就能够及时发现事件，然后采取措施及时有效地处理和消除交通事 件，并将事件信息报警给后来车辆的司机，就能够减少或避免交通拥堵，预防二次交通事故的发 生。 1 2 研究现状 1 2 1 国外研究现状 在理论研究方面，x i a o k u nl i ，f a t i hm p o r i k l i 建立了个混合高斯隐马尔可夫模型来提 取事件特征1 3 j ，从而对高速公路发生的交通事件进行检测。h t a n i g u c h i 等人研究了一个背部碰 撞检测系统用来检测发生在检测区域的碰撞事件1 4 j 。y o u n g - k e ej u n g 和g e r a r dm e d i o n i 介绍了 采用基于轨迹检测的方法来实现自动交通检测1 5 j 【6 】，其一般的步骤是：背景提取，背景差分，运动 轨迹提取，场景建模识别。m b r a n d 和y k e t t n a k e r 中提出了一种采用踟一姗( e n t r o p y m i n i m i z a t i o na n dh i d d e nm a r k o vm o d e l ) 的算澍7 | ，该算法通过减少共同分布的熵，用删的 内部状态能够把观察到的交通事件组织成有意义的状态，在视频图像中自动发现和分割交通事 件。对于大场景的事件检测，e r i cg r i m s o n 和l i l yl e e 提出了建立多个摄像头监控的解决办法 嘲【9 】，在他们的论文中，首先产生实时更新的背景，并且进行背景差分，然后在共同的坐标系中估 计出运动物体( 如车辆) 的3 一d 相关位置及运动方向，因此可以连续跟踪运动物体，而且运动 物体的运动状况也可以用模型分析出来。k a t s u s h ii k e u c h i 和m a s a os a k a u c h i 提出了一种被称 为时空马尔可夫随机场( m r f ) 的算法【l o 】，该算法可以在十字路口进行交通监控及事件检测。他 们分析了在压缩域内的特征( d c t 系数) ，建立了一个基于h m m 的事件识别系统。r c u c c h i a r a 提 出了在视频图像上基于规则推理的城市交通车辆检测算法【l l 】。这个算法的优点是它正式把低阶图 像处理模型( 常被用来在不同照度条件下提取可视数据) 与高阶模型区分开，而高阶模型可以为 交通监控提供一种基于知识的常规框架。d a n i e ld a il e y 提出了一个基于非校准摄像头的估计平 均速度的算法1 1 2 】。该算法证明了不需估计校准摄像头的参数就可以利用图像序列里有用的几何关 系、帧间的车辆运动轨迹估计及车辆长度分布估计出车辆速度。l o a n n i sp a v l i d i s 和v a s s i l i o s m o r e l l a s 等人提出了一个基于近红外与模糊神经网络分类的计算车辆占有率的算澍j 。如果不计 算占有率而是进行车辆计数，这个思想可以用到交通事件检测上来。a l b i o l 提出了一个基于形态 学的可以用于实时高密度人群计数的方法【1 4 】，与文献 1 3 提出的方法一样，这个方法可以用来检 测车辆密度。t a n gs h a m i n g 通过学习交通流的信号波提出了一个非参数回归( an o n - - p a r a m e t e r r e g r e s s i o nm e t h o d ( n p r ) ) 的方澍b j 。b e j a m i nm a u r i n 和o s a m am a s o u d 提出了一个新的跟踪 算澍1 6 l ，这个算法由层模型，块关系及卡尔曼滤波组成，它可以用于检测拥挤交通的情况。 w e i - l e i hh s u ，h o n g _ y u a nm a r kl a i o 用到了熵进行交通参数的提取j 。 1 2 2 国内研究现状 理论研究方面，西北工业大学自动化学院的胡太平和史忠科在介绍了一种以视频图像为检测 源的快速运动检测方法并给出了该方法在闯红灯监控系统中的应用实例阍。电子科技大学自动化 工程学院的张继平提出了一种自适应的背景相减法来分割运动物体，并采用差分图像投影和边缘 投影相结合的方法来定位车体，同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪【1 9 1 。 2 第一章绪论 华中科技大学控制科学与工程系的张绍满等人提出了一种在视频图像上的特定区域定义虚拟线 圈，然后通过估算虚拟线圈的运动矢量来检测通过虚拟线圈车辆的运动速度川。西安电子科技大 学机电工程学院的计文平等人提出了一种车流量检测方法。通过在视频图像中设置好虚拟线圈作 为检测区域，然后用光流法对检测区域进行图像处理，求出光流场，根据光流场信息来判断检测 区域内是否有车辆通过，通过对检测区域的不断判断来统计车流量信息。该方法能够用来测量占 有率、车速等交通参裂2 1 1 。 在交通事件自动检测系统产品开发方面，由于我们国内视频检测技术应用研究起步较晚，并 没有出现很完善和成熟的产品。但是由于近几年我国交通事业的飞速发展，交通管理及控制的应 用需求在不断增加，越来越多的研究机构和厂家开始关注该技术的研究。 总之，目前国内外大多数学者和专家都还只是关注基于视频的车辆检测和跟踪以及交通信息 参数检测等算法的研究，而对于各种典型交通事件的检测算法研究相对较少。少数学者所研究的 基于视频的交通事件检测也还不能完全在实际应用中取得很好的效果，其算法还有待改进和完 善。因此，本文将更着重于基于视频技术的交通事件检测的算法研究上。 1 3 研究内容及目标 1 3 1 本文研究目标 本论文研究的目标是利用计算机视觉技术与数字图像处理技术，研究背景初始化及其更新、 车辆检测与跟踪等一些交通事件检测系统的关键技术，并针对车速检测、车流量检测、车辆逆行 检测、车辆变线检测以及车辆落物检测等几种交通参数和事件研究其自动检测的算法，最终达到 能自动检测出这几类常见的典型交通事件的目标。 1 3 2 本文主要研究内容 本文在基于车辆视频检测和跟踪的基础上研究了几种交通参数的检测算法和几种比较 典型的交通事件自动检测算法，通过设计实验验证了算法的可行性和准确率。具体在以下几 方面展开研究： ( 1 ) 背景初始化和自适应更新算法研究。研究了常见的中值滤波法、多帧平均法等背 景初始化方法。在背景初始化的基础上研究了加权平均法灰度背景更新方法，并在它的基础 上提出了一种基于r g b 彩色空间的彩色背景更新方法，最后通过实验证明彩色背景更新方 法能使后续的车辆检测和跟踪更加准确。 ( 2 ) 车辆检测和跟踪算法研究。车辆检测是车辆跟踪和事件检测的前提和基础。对基 于虚拟线圈的事件检测方法来说，车辆检测直接为事件检测提供数据；而对基于车辆跟踪的 事件检测方法来说，车辆检测直接关系到车辆跟踪的成败，从而间接的为事件检测提供了数 据。本文研究了几种常见的车辆检测方法，并在背景帧差法的研究过程中提出了一种基于 彩色空间的运动车辆阴影检测方法，提高了车辆检测准确率。最后在车辆检测的基础 上研究了一种基于运动矢量估计的车辆跟踪方法。 ( 3 ) 交通参数检测算法研究。交通参数检测是视频交通监控的一个很重要的方面，而 通过一些交通参数的检测可以间接地判断出是否发生交通事件。本文在车辆检测和跟踪的基 础上，研究了基于视频的车速和车流量检测算法，通过这两个参数的检测，可以判断出是否 发生交通拥挤或者存在车辆超速行驶。通过不同算法对同一种交通参数实施检测，并进行对 比实验，说明了各种算法的优缺点，验证了算法的准确性。 ( 4 ) 交通事件检测算法研究。本文将虚拟线圈技术和车辆跟踪技术用于事件检测，研 究了车辆逆行、车辆压线、车辆变道以及车辆落物这四种比较常见的交通事件检测算法。在 车辆逆行检测算法研究中，通过对比实验，比较分析了不同算法的优缺点和适应性；在车辆 变线检测算法研究中，将车辆变线分解为车辆压线和车辆变道两种事件，提出了新的算法， 并通过实验对算法进行论证；在车辆落物检测算法研究中，结合本文前面章节所介绍的图像 处理技术，提出了新的算法，并进行了实验论证。 3 东南大学硕士学位论文 1 4 本文结构及内容安排 图1 - 1 本文结构框架图 本文的结构框架如图1 1 所示。整个学位论文分为六章，第一章首先介绍了本文的研究 背景，随后详细地分析和介绍了交通事件检测及相关技术的国内外研究现状，指出了存在的 不足之处，为后续章节的发展奠定了基础。最后，简单阐述了各章的主要内容。 第二章分析了已有的背景初始化和更新方法，并对这些方法进行比较。针对传统的基于 灰度图像的背景更新方法，提出了一种基于r g b 彩色空间的彩色背景更新方法。实验证明， 该方法在保留图像像素信息方面比基于灰度图像的背景更新方法更有效。 第三章首先介绍了几种基于视频的车辆检测方法，并且在车辆检测过程中提出了一种基 于y 1 彩色空间的运动车辆阴影检测算法，然后介绍了用于本文的车辆检测方法，最后介 绍了一种用于本文的车辆跟踪方法。 第四章利用图像处理技术和车辆跟踪技术对车速和车流量这两个交通参数的视频检测 进行了分析和研究，其中对每个交通参数分别采用了两种不同的算法来进行比较分析，最后 通过实验证明了算法的准确性。 第五章在前面几章的基础上，利用图像处理技术和车辆跟踪技术，采用了不同的算法对 几种典型交通事件进行检测。其中，本文提出了车辆的变道检测算法和落物检测算法。最后， 分别对每个算法进行了实验，验证了算法的准确性和有效性。 第六章总结全文，并分析有待改进之处，对未来的工作进行了展望。 4 第二章背景初始化及其更新 第二章背景初始化及其更新 建立准确的交通场景背景是交通事件检测技术中最基础和最关键的部分。本文的车辆跟 踪算法和部分交通事件检测算法都采用背景差分法来进行车辆检测，因此准确地获取背景是 车辆可靠跟踪和交通事件正确检测的前提，只有获取准确的背景，才能有效地检测运动的车 辆，提高交通事件检测的准确率。在实际交通场景中，视频监控区域的背景会随车辆的运动 和光照变化等因素发生变化，这就要求对背景不断进行更新来提高背景的精度。本章分别对 背景的初始化和更新两个部分进行讨论，并在加权平均法的基础上提出了一种基于r g b 彩 色空间的背景更新方法。 2 1 背景初始化方法研究 背景初始化是指通过交通视频序列图像获得监控区域的初始背景图像，它是背景更新的 前提。背景图像是指道路上没有车辆运行的图像，通常需要在有车辆运行的情况下能自动得 到背景图像。目前用于生成背景图像的方法主要有以下几种。 1 人工方法。背景可以采用简单的人工方法来获取，即从图像序列中提取一帧没有车 辆的图像来作为背景。这种方法虽然简单方便，但是在实际的交通场景中，交通流在不断变 化，大多数情况下在监控区域中一直都有车辆存在，并且环境也是随时间不断变化的，如光 照和路边树木和建筑物阴影的变化，所以很难获得一帧完全没有车辆或者稳定的图像来作为 背景。这种方法一般只能在交通量很小的情况下用于实验室研究，而并不能用于实时的视频 交通监控。 2 中值滤波法【2 2 1 。对图像序列进行中值滤波即把背景图像中每个像素的灰度值用图像 序列中对应像素点灰度的中值来表示。 b a c k g r o u n d ( f ，) = m e d ( ，i ( z ，) ) ( 2 1 ) u s k s “一i 式中：b a c k g r o u n d ( i ，) 表示初始背景中像素点的灰度值，t ( f ，) 表示图像序列中像 素点的灰度值。这种方法假设每一个像素点表示车辆的概率要小于它不表示车辆的概率，因 此可以很好的滤除噪声来获得背景图像。但是该方法为了提高所获得背景图像的准确性，需 要存储相当多帧图像，并且在滤波时要重新读取这些图像。这样就需要计算机具备更大的存 储空间，在读取数据时对计算机处理器的要求也非常高。 3 多帧图像平均法瞄1 。由于道路上车辆的多样性，有的车辆亮度值比路面高，有的车 辆亮度值比路面低，所以从统计学角度看，由车辆经过而引起的背景变化在长时间内可以忽 略。 多帧图像平均法是将运动的车辆看作噪声，用累加平均的方法消除噪声，利用车辆运行 一段时间的序列图像进行平均而得到道路背景图像。其表达式为 1 卫 b a c k g r o u n d ( f ，歹) = ：i i ( f ，_ ，) ( 2 2 ) v - l 式中：b a c k g r o u n d ( i ，) 表示背景图像，i k ( f ，) 表示第七帧序列图像，表示平均的 帧数。但是，在实际应用中，一段短时间内路面上某点( ，) 不可能既有亮度高的车辆，又 有亮度低的车辆经过，而是某些地方有亮度高的车辆，或者亮度低的车辆经过，而通过平均 法得到的背景就会出现亮暗分布不均匀的状体。该算法得到的背景图像受车流量的影响变化 较大，随着平均帧数的增加，噪声消除的效果会有所改善。 4 统计直方图法1 2 4 。考虑到路面上同一点被相同亮度车辆一直覆盖的可能性很小，从 而可以统计一段时间内各个像素点上不同亮度值出现的次数，其中出现次数最多的，即直方 图中最大值所对应的亮度值就是路面本身的亮度值。统计直方图公式可表示为 f 矽+ 1，。f f ，聊) ：n 尸f f ，n ) = 一7 7 露= 1 ，2 ( 2 3 ) 。 【p，i t ( f ，j ，聊) n 5 东南大学碰t 文 b 口c k g r o “h d ( t ，) = 1 7 1 1 l i x ( p ( i ，j ，月) ) ， 月= o ，1 ，2 2 55( 24 ) 式中p ( i ， n ) 表示像素点( i ，) 处亮度值为n 出现的次数( f ， m ) 表示某一帧图 像像素点( i ，) 处亮度值为卅。该方法井小髓统计帧数的增加而得到背景效果更好，在远离 摄像机端由于车辆相连，会误把前景当成背景统计出来。 5 连续帧差法 2 5 1 。连续帧差法通过当前帧图像与前一帧图像的差值来找运动区域，对 运动区域的背景保持不变，而非运动区域的背景则用当前帧进行更新经过一段时间的选代 便可以提取出背景。其步骤如下： 1 ) 把第一帧图像l 作为原始背景图像b o ； 2 ) 令选代参数k 1 ： 3 ) 求当前帧与前一帧差分的二值图像b 矿 日矿：j 1 ，i 一一1p t ( 25 ) 1 0 ，l ，一1 l t 雪g 其他 ( 3 3 ) 式中：五0 ，y ) 是第i 帧的输入图像；墨( 五j ，) 是到第i 帧时的背景图像；为背景提取 时取的阈值，根据像素点的直方图来选取。当背景建立好以后，通过( 3 3 ) 式中m a x ，) ，) 的 取值来判断是否进行阴影检测判断，若m a x ，) ，) = 1 则进行阴影判断函数的建立和阴影判 断，若m ( 工，y ) = o 则回到背景更新。结合背景差并通过阈值计算和比较得到m ( z ，y ) 的 值，然后建立阴影判断函数并计算其值，最后再结合边缘检测和阴影判断函数的取值检测和 消除阴影。具体算法流程如图3 4 所示。 图3 - 4 阴影检测算法流程图 下面对阴影判断函数f 的计算过程做进一步的说明。首先，根据像素的亮度、色度和 梯度密度性质定义三个对应的匹配函数，它们分别是亮度差值函数吒，色度差值函数尼， 1 7 ，l 0 r、 l i 、，y x ，l 膨 东自大学颐士学论文 梯度密度差值函数丘。展后将这三个独立的函数结合得到阴影判断函数f 。 1 ) 亮度差值函数f 当式( 31 5 ) 中的；( z ，y ) = 1 时，将第1 帧输入图像与第i 帧背景图像上同一坐标位 置( x ，y ) 上像素点的亮度值( y ) 相减得到该像录点的亮度差值厶( ，y ) 。再根据投射阴 影的第一个特征通过( x ，y ) 和卟设定的阈值以来得到亮度差值函数兄- 井判断该像素 点是否位于投射阴影区域。 2 ) 色度差值函数只 当式( 31 5 ) 中的m ，( x ，y ) = 1 时，将第i 帧输入图像与第i 帧背景图像上同一坐标位 置( x ，y ) 上像素点对应的色度分量( c b c r ) 分别对应相减再取绝对值后相加得到该像素 点的色度差值g ( x ，y ) 。再根据投射阴影的第二个特征通过g ( x ，y ) 和两个设定的阐值矗，- 露，来得到色度差值函数耳，并判断该像素点是否位于投射阴影区域a 3 ) 梯度密度差值函数丘 当式( 31 5 ) 中的m ( x ，y ) = 1 时，将第i 帧输入图像与第1 帧背景图像上同一坐标位 置( x y ) 上像素点对应的梯度密度相减得到该像素点的梯度密度差值q ( z ，y ) 。再根据投 射阴影的第三个特征通过q ( j ，y ) 和两个设定的阐值。一品：来得到梯度密度差值函数 f 。，并判断该像素点是否位于投射阴影区域。 4 ) 阴影判断函数， 因为f ，耳和一，的计算是相互独立的，所以我们可以通过结合这二个函数变量来得 到朋影判断函数f 。阴影判断函数f 的数学表运式为： f ( ，y ) = ( i ，y ) x ，( x ，y ) 凡，( x ，y ) g ( 34 ) 其中口为修正因子，其值域在0 l 之间，本文通过多次取不同的值调试并比较后取0 4 。 最后结合边缘检测判断象素点是否位于投射阴影区域。如果象豢点位于投射阴影区域则在前 景运动区域中舍去该像素点，反之则保留该像素点，实验结果如图35 所示。 第= 章车辆幢i 4 与跟踪 图3 - 5 阴影检测效果图 3 1 4 基于虚拟检测线的车辆检测 在本文中，采用了线型和矩形的虚拟线来进行车辆检测，分别用于车辆跟踪、车速检测 以及交通流量检测。 l 线型虚拟检测线车辆检测 在木文跟踪算法中，将实际拍摄到的一段固定背景车流录像作为验证算法的实验依据。将 所拍摄得到的录像分割成序列图像采样频率为3 0 帧s 所得序列图像的大小为4 8 0 x3 2 0 像素。 考虑到计算量，将每帧图片分割成6 0 4 0 个8 8 像素的块。 虚拟检测线设置为线型，并与车道方向垂赢，占用8 个像素的宽度。车辆检测的算法步骤如 下： ( 1 ) 通过计算序列国像的灰度均值或通过统计灰度频率，得到研究区域的背景图像。 ( 2 ) 确定标志线的宽度、位置。 ( 3 ) 计算当前帧和背景图像之间的著，检测标志线上的扼瘦变化。 ( 4 ) 计算差分图像标志线上块的平均碹。 ( 5 ) 计算差分图像标志线上的分割阐值， ( 6 ) 比较标志线上块的平均灰度和闲值，若连续的块灰度变化人于阈值给这些块标记上 初始的标号。本论文中，由于是对一段录象进行计算和分析用于验证车辆跟踪的算法，因此，标 号从1 开始累计。若标志线上有两处甚垒更多的连续的块的回度变化大于阈值分别给这几处连 续的块标上不同的连续标号，宵几处标号数字累计几次。 ( 7 ) 逐帧重复步骤( 3 ) ( 6 ) 检测标志线上的车辆，隔一段时间进行次背景更新操作。 东南大学碗学位论文 圈36 车辆跟踪虚拟线车辆梭测流程圈 2 矩形虚拟检测线车辆检测 在本文的一些检测算法中，虚拟线又可咀设置为矩形，俗称称虚拟线圈。虚拟线嘲设 置如图3 7 所示。 图3 7 虚拟线圈设置 在国3 7 ( a ) 中，虚拟线嘲区域较小虚拟线圈边长一般都设胃在8 到1 6 个像素之间。 当有车辆经过虚拟线圈时，通过运动估计和块匹配准则就获得了个虚拟线罔的运动矢量信 息，即虚拟线心运动的位移和方向。通过对虚拟线圈运动位移和角度偏移量的阈值计算，对 菜一个虚拟线圈如果它的运动矢最人于计算出的阈值，则说明该虚拟线豳在沿道路方向上 发生了移动即检测到有车辆经过。而在图3 7 ( b ) 中，虚拟线圈犀域一般都设置较大， 当有车辆经过虚拟线幽区域时，虚拟线幽区域内的像素灰度值将会发生变化再通过适当的 阐值进行判断。0 可检测到是否有车辆经过。 第三章车辆检测与跟踪 3 2 基于视频的车辆跟踪 3 2 1 车辆跟踪方法概述 基于视频的车辆跟踪就是通过判断两相邻帧中的车辆是否为同一辆车来实现。跟踪方法 大致有以下几种。 ( 1 ) 基于时域的运动估计法 基于时域的跟踪方法就是在时域上跟踪车辆检测模块检测出的一个个像素连通块，这 些块区域表示检测出的车辆。这种方法在车辆稀少时效果比较好，其车辆检测方法的核心思 想是通过时域的运动估计跟踪图像序列中的运动物体来提高分割的准确性，将车辆跟踪过程 和图像分割过程结合起来，进而减少计算复杂度，提高系统的实时处理能力。它综合考虑了 空域和时域信息。在匹配不同图像帧中表示同一车辆的运动块的过程中，可以得到被跟踪车 辆在第r l 帧序列图像中的形态演变，因而也就有可能预测其在第n + l 帧中的形状，从而能纠 正车辆图像的误分割情况，如运动块突然出现、小时以及形状突变等。这种方法和其他车辆 检测跟踪方法主要在的区别在于分割过程和跟踪过程是同步进行的，而不是在跟踪过程前就 有了明确的分割结果。 运动估计的方法有基于光流方程( 0 f e ，o p t i c a lf l o we q u a t i o n ) 的方法、基于块的分析方 法、像素递归法和贝叶斯法等u 川。 ( 2 ) 基于动态轮廓的方法 动态轮廓模型跟踪方法的主要思想是先勾勒出车辆的轮廓并且不断地在后续帧更新轮 廓进而达到跟踪的目的。然而基于区域的方法在有阴影存在和道路拥挤的情况下效果会变得 很差，因为阴影和车辆之间的遮挡都会将本来相邻的多个连通块变为一个，造成漏检和误检。 这种方法其实是基于区域方法的一个变形，与区域方法相比较，其优点在于计算量低，而缺 点是存在初始化困难的问题，并且它存在和区域法一样的问题，即在阴影和遮挡情况下效果 欠佳【3 2 1 。 ( 3 ) 模型法 基于模型的车辆检测方法与前述的车辆检测方法相比其优点在于能够获得对图像内容 的理解，而前述方法实质上都是对待检测图像中的一组像素进行检测和跟踪，属于非模型方 法。换句话说，非模型方法只是将处理得到的待检测图像中的运动块看作一组像素的集合， 其缺点在于有可能把误分割形成的像素集合也检测为一个车辆对象；而基于模型的方法将这 些像素看作是三维世界中的车辆在二维图像平面上的投影，经过与预先建立的模型在图像块 同一位置的投影相匹配，可以直接得到车辆的长、宽、高及车辆类型等信息，它事一个二维 到三维的匹配过程。建立适当的模型是这种方法能够获得对图像内容理解的前提条件，预先 建立的模型通常包括摄像机模型和车辆模型p 引。 虽然模型法能够获得对图像内容的理解，但建立摄像机模型时需要测量详细的摄像机与 交通场景之间的空间集合特征，这事这种方法在实际应用中存在着很大的局限性。同时模型 法稳健性也不够高，当摄像机由于外力原因产生微小角度变化时就可能造成检测失败，并且 对遮挡情况下的车辆也会发生误检。 3 2 2 基于运动矢量的车辆跟踪 本文采用了一种基于运动矢量的车辆跟踪方法，它也属于基于运动估计的跟踪方法。其 总体的思想就是：将每一帧2 4 0 x 3 2 0 的图像都分为3 0 x 4 0 个块，每个块的大小为8 8 个 象素。交通场景内每一个车辆都有一个序号，将所有属于车辆区域的块都标上该车辆的序号， 然后根据运动矢量不断地对标号进行更新，就可以达到对车辆进行跟踪的目的【3 7 】。车辆跟 踪可以分为两个过程：车辆标号的初始化和车辆标号的更新。 3 2 2 1 运动矢量的计算 块的运动矢量就是该块在第k 帧图像与第k + l 帧图像之间的位移，m ( x ，y ) 表示。假设 2 1 东南大学硕士学位论文 车辆的运动是块的二维平移。对于特定的块而言运动矢最的计算安际上是在一定范围内搜 索与之最接近的块。本文利用m a d ( 平均绝对差值函数) 蛀小准则1 3 1 判断块与块之间的相 近度。即 m a d ( x ，) 。玄l m ( n l ，心) 一_ ( 马+ t 2 + 圳 ( 35 ) ”( q ) e 日 式中：占表示需要进行矢量计算的块， m ( n i ，也) 表示图像m 中坐标为( ，n ：) 的像素 的灰度( 啊+ x ，也+ 力表示图像n 中坐标为( q + 月2 + y ) 的像素的灰度。 根据m a d 最小准则。运动矢量估算由下式得出： m y7 。= a r g 聊m a d ( x ，y ) ( 36 ) 式中：j7 ，y 分别表示横纵方向的位移。 在搜索过程中，搜索窗口的大小一般根据经验确定。试验证明，利用全搜索法( 即计算 搜索窗口内每个块的m a d 值) 可以取得很好的结果。但其运算量太大不能满足实时性的 要求。本文采用一种快速搜索算法即三步搜索法。三步搜索法的步长为s l = 4 、s 2 = 2 、 s 3 = 1 ，其搜索过程如图3 - 8 所示。 3 222 车辆标号的初始化 、 w 、， 、 图3 - 8 三步搜索过程 在车辆标号初始化之前旨先要进行背景的提取。背景提取采用第二章中提出的背景更新 方法获得，如图3 - 9 所示。 歹一 图3 - 9 背景图像 * 三章车辆检测与跟踪 在与车道垂直的方向设置了宽度为8 个象素的检测线( 如图3 1 0 ( a ) 中的白线) 。当检 测线上开始检测到块的灰度变化大干某一阈值时便认为有车辆到达，给这些块标上代表车 辆序号的标号。如在图3 一1 0 ( a ) 中左下方的车辆刚刚到达检测线，经过检测得到标号结 果如图3 1 0 ( d ) 所示，图3 1 0 ( d ) 中上方的灰块标号为1 ，下方的灰块标号为2 1 和2 分别表示两辆车的序号。当车辆继续前进时( 如图3 i o ( b ) ) ，有标号的区域已经发生了位 移，可以根据它们的运动矢量进行标号的移位，此时检测线上又被车辆另外区域所覆盖，再 对这些区域的块进行标号得到如图7 - e 所示的标号结果。不断重复上面的步骤，直到车辆 离开检测线( 如图3 1 0 ( c ) ) 便完成车辆标号的初始化，得到如图3 1 0 ( f ) 所示的标号结 果。 j 1 谰习 二一鼍 。：羔暴誊j a ) # 1 0 8 番i 3 32 3 车辆跟踪结果 ( b ) 1 0 9 帧 ! j ；誓= ：量 口 c ) 镕1 1 7 # ；羞导* ； l c ，* 1 0 9 哦怀 l t ，1 1 7m # 图3 1 0 车辆标号的初始化 在得到车辆的初始标号之后，便可以根据车辆在前后两帧之间的运动矢最不断地进行 标号的移位，由于采用三步搜索法算得的运动矢量存在一定的误差，所以在进行标号移位之 后，对所有的块还要进行标号的校正。车辆跟踪结果如图3 - 1 1 所示。 ，一虿。一 a ) 第1 0 8 帕( b ) 镕1 0 9 帧 ( c ) 第1 1 7 帕 湔。 衙 芦一 图3 - 1 1 车辆跟踪结果 东南大学硕士学位论文 3 3 本章小结 本章首先介绍了几种车辆检测的方法，然后提出了一种阴影检测的算法，并通过实验证 明了算法具有较好的鲁棒性。最后在车辆检测的基础上采用了一种基于运动矢量的车辆跟踪 方法，实现了对车辆的跟踪。 第四章交通参数检测 第四章交通参数检测 交通参数是交通事件检测的一个重要数据来源，也是交通事件检测系统不可或缺的重要 部分，通过对交通参数进行检测可以判断当前交通流的基本情况。本章研究、分析了车速和 车流量这两种交通参数的检测，对每种参数的检测分别研究了不同的算法，并通过实验实现 了每种算法。 4 1 车速检测 车速是指在单位时间内车辆行驶的距离，它是表示交通流运行状态最基本的特征参数。 在交通流理论中，车速又分为以下几种u 驯： 1 ) 地点车速：即某时刻车辆行驶的瞬时速度。 2 ) 时间平均速度：即时间段内设定区域车辆的平均速度。 3 ) 空间平均速度是指在某一时间内通过一路段的所有车辆的速度平均值。 目前常用的车辆测速方式主要有：雷达测速、激光测速、视频测速三类。车辆视频测速 与其他两种测速方式相比，具有以下优点”驯： 1 ) 不需要添加硬件，降低了成本，在安装时对角度要求较低，避免激光、雷达测 速存在受测量角度限制的问题： 2 ) 测速时车辆与车辆之间不存在必然的信号联系，能够同时跟踪多个车辆进行测 速，不存在车辆相互之间的干扰； 3 ) 软件实现测速易于维护和升级。 根据检测到的车速与已知的道路限速，可以判别车辆是否存在超速行驶或者超低速行驶 的异常状态，可用于交通事件检测系统中对超速和慢速的检测。目前，车辆视频测速主要有 基于虚拟线圈的速度计算、基于车辆跟踪的速度计算和基于光流场的速度计算三种方法。下 面分别对这三种测速方法进行介绍。 1 ) 基于虚拟线圈触发的车辆视频测速 虚拟线圈是预先在图像中固定位置设置好的一个区域，其工作原理类似于地感线圈，当 有车辆通过虚拟线圈区域时，线圈被触发，车辆离开此区域时，线圈复位。基于虚拟线圈的 车辆测速中有以下两种典型的虚拟线圈设置方式来计算车辆速度。 第一种方法是在垂直车道方向的一段距离的两端分别设置一条虚拟线，这样从车辆进入 线圈的时间与车辆离开线圈的时间，可以得到车辆经过线圈的时间，通过用户标定线圈的长 度，则可求得车辆的速度。 另一种方法是在一条车道内设置若干个矩形的虚拟线圈。记录下车辆触发第一个线圈和 最后一个线圈的时间，再由用户标定的线圈之间的距离，则可得到车辆速度。 2 ) 基于跟踪的车辆视频测速 基于跟踪的车辆视频测速就是根据被跟踪车辆外接矩形的中心点位置来计算车辆在图 像中的速度。一般而言，只对车辆沿道路方向的车辆速度进行估算。 在t l 时刻，车辆外接矩形的中心点位置为p 1 ，t 2 时刻，车辆外接矩形中心点位置为 p 2 ，再通过标定t 1 时刻与t 2 时刻之间车辆通过的距离即可求得车辆的行驶速度。 3 ) 基于光流场的速度计算 4 0 1 光流场是分析图像序列中运动目标的重要方法，它既可用于运动目标的检测，也可用于 运动目标的跟踪，特别是当运动物体重叠时，利用其光流场的分布，可以进行检测与跟踪。 光流场测速具体计算方法为：读取图像序列，求出相邻两帧图像的灰度在x ，y ，t 各个 方向上的偏导( 偏导的模板大小可以根据具体的速度取得略大即可) ，然后对光流场进行局 部平滑，再迭代循环，当相邻2 次迭代的速度值及角度值各自的差别都小于一个很小的正数 阈值时，结束迭代。这样就得到了所需运动目标的速度矢量，最后输出光流图。 每一个光流场可以获得一个目标的平均移动速度，为了去除由于噪声引起的异常值和平 滑性假设带出的速度较小值，首先计算整个光流场的平均速度v 和方差6 ，然后在速度介 于v 到v + 6 之间的范围内计算平均速度，作为目标运动的速度。 东南大学顶学位论文 4 1 1 基于虚拟线圈的车速计算 ，。磬i 訾蔷妻! i 嚣：鍪毒；端：翥i 酬i ；霎；i 器；嬲i 裔鬻相 4lll 第一种虚拟线圈布设方式的车速计算 线徽芋麓鬻艨高穗黑霹糯嬲揣；誊i 要；：星糍线检测线可以是一条单像素的线也可以是一个较窄的矩形线圈两条检测线的间隔距离应 满足在任时刻只有辆车存在其间，具体如图4 - 1 示， 黟黟漓 卜、j r 攀i 霪- ：77 攀，霪 田4 i 第种虚捌线蹦布设方式 罗懑黟澜 围4 - 2 车速计芹示感闰 b ) 车辆进 检女4 炷2 这种车迁计算方江比较简单一如图4 - 2 所币，山间车辆经过设谯目车坦前屙岍个性 删线叫的两帧图像。当车辆进入揄洲线1 时，橙测线ir 像录点竹越度将 婚变化说叫1 辆奸始进入榆洲缝诞域目时记录设帧n ( 】卧- n u m l 司理，当车辆进入检测线2 时 z 录该 呲的w 1 0n u m 2c 如果知道婀捡峨侧j 0 距离df 单位水) 矬桃频的帧率为r ( 单但 i 秒) ，4 车辆的速度( 单位：公里，j 、时) 可表示为： d 儿0 0 0 ( ( n u m 2 - n u m l ) ，鼬，3 6 0 0 第四章交通参数梭测 国43 算法流程图 该车速计算的算泣流程图如图4 - 3 所示。车速计算时需要对两检测线同时进行判断是否 为同一辆车经过，算法实际运行时存在定的误差，出现以下四种情况时系统不进行车辆速 度的计算： ”检测线l 检测正常，检测线2 误检： 2 ) 检测线1 检测正常，检测线2 漏检： 3 ) 检测线1 误检，检测线2 检怔常； 4 ) 检测线1 漏检，检测线2 检测正常， 检测线是否正常检测则通过对投条检测线设置的计数器来判断只有当两个计数器的数 值相等时才说明是同一辆车分别通过检测线l 和2 此时才能进行车速计算。 4 112 第二种虚拟线圈布设方式的车速计算 布i 癸；磊孝裂鬻，布设方式 ”在1 条车道内设置若干个矩形的虚拟线龇其具体 可；渭 图4 4 第二种虚拟线圈布设方式 东南大学硕士学位论文 这种方法较第一种方法相对复杂，它的基本原理就是在摄像机所采集的视频序列图像上 的特定区域设置虚拟线圈，然后通过估算虚拟线圈的运动矢量来对经过虚拟线圈的车辆进行 车速检测。该方法主要由虚拟线圈设置、运动矢量估算和运动矢量信号分析三个部分组成， 方法流程框图如图4 5 所示。 图4 5 基于虚拟线圈车速检测方法流程图 虚拟线圈是在图像序列中仿照地感线圈的功能定义的。在获得了图像序列的基础上，一 帧图像中的一定区域可以被定义并称作虚拟线圈，这一定义甚至可以扩展到整个图像序列， 或者在其他图像序列中重新定义一。 当有车辆经过虚拟线圈区域时，通过块匹配算法就可估算出虚拟线圈的运动矢量。获得 了一个虚拟线圈的运动矢量信息，即虚拟线圈运动的位移墨和方向4 ，可使用如下公式【2 0 】 判断虚拟线圈的状态g ： 丁1 ) p 2 ， i l i “s , 八( f ，, ，f ，。广l j 一够删i g m 2 ( m 为虚拟线圈的总 数) ，即有超过半数的虚拟线圈发生移动则说明图片中有车辆正在经过。 本文为了得到车辆通过虚拟线圈区域整个过程的信息，选择对最内侧车道进行虚拟线圈 设置，并对虚拟线圈的运动状态进行分析。为了确定车辆进入、离开虚拟线圈区域对应的时 刻，本文选择了虚拟线圈的平均运动矢量作为参照物。并且，为了比较准确地知道车辆速度，