（交通信息工程及控制专业论文）复杂环境下的车辆跟踪技术研究.pdf

摘要 摘要 视频检测是智能交通中基础和重要技术之一，车辆跟踪又是视频检测的重点和难点，本文围绕 着复杂环境f 运动车辆跟踪过程中遇到的光照变化、运动阴影以及午辆遮挡等问题进行了研究，主 要包括以下几个方面： ( 1 ) 动态背景更新研究。分析了常刚的背景初始化和背景更新方法的特点，针对传统背景更新 方法中对于光照变化的响应和车辆经过后路面灰度的恢复互相矛盾的问题，研究了一种基于运动掩 码的白适应背景更新方法。与传统方法相比，这种方法在背景更新过程中，使背景始终保持一种稳 定良好的状态，即使在车辆较多、交通环境较复杂的环境下，也能得到较好的背景。在该方法中， 还对光照变化进行了研究，加入光照修正参数，使算法对光照的响应速度显著提高。 ( 2 ) 运动车辆阴影消除算法研究。介绍了几种常见的运动阴影检测算法，并借助实验讨论了基 于r g b 色彩空间和h s v 色彩空间的阴影检测算法的局限性，在此基础上提出了一种基于边缘信息 的运动车辆阴影消除算法，该算法考虑了运动阴影与目标车辆的边缘、纹理等信息，能有效去除目 标大部分阴影，且不影响目标本身，使车辆检测更加准确。 ( 3 ) 遮挡情况下车辆跟踪算法研究。采h j 基于马尔可大随机场模型处理视频图像序列，提高了 遮挡情况下车辆跟踪的效果，并分别采川模拟退火算法和条件迭代模式算法对车辆标号进行优化， 分析了这两种优化算法的跟踪效果以及时间性能，实验证明条件迭代模式能得到与模拟退火算法相 似的优化结果，且在时间性能上更有优势。 关键词：背景更新，车辆跟踪，阴影检测，遮挡，马尔可夫随机场 东南人学坝l j 学位论文 a b s t r a c t t h ev i d e ov e h i c l ed e t e c t i o na n dt r a c k i n gi sa ni m p o r t a n tt e c h n i q u ei ni n t e l l i g e n tt r a n s p o r ts y s t e ma n d m o 啊n go b j e c tt r a c k i n gi nc o m p l e xe n v i r o n m e n t si so n eo ft h em a i nf i e l d so fi t ，t h er e s u l t sh a v ed i r e c t e f f e c t0 1 1u n d e r s t a n d i n go fh i g h l e v e lv i d e o s i nt h i sp a p e r , w ef o c u so u rr e s e a r c ho ns o m eh a r di s s u e si n d e t e c t i n gm o v i n go b j e c t s ，s u c ha si l l u m i n a t i o nc h a n g e ，m o v i n gc a s ts h a d o wa n dv e h i c l eo c c l u s i o n s f i r s to fa l l ，d y n a m i cb a c k g r o u n du p d a t i n go ft h ei m a g es e r i a l si sw o r k e do v e r a f t e rt h ed e s c r i r p t i o no f s e v e r a lf a m i l i a rb a c k g r o u n di n i t i a l i z a t i o n sa n du p d a t i n ga l g o r i t h m s ，an e wa d a p t i v eb a c k g r o u n du p d a t e p r o g r a mb a s e do nm o t i o nm a s ki sp r o p o s e d t h ee x p e r i m e n ts h o w st h a tt h eb a c k g r o u n dk e e p ss t a b l ea n d c l e a nd u r i n gt h ew h o l ep r o c e s se v e ni nt h ec o m p l e xt r a f f i ce n v i r o n m e n t w h a t sm o r e ，i l l u m i n a t i o nc h a n g e i sa l s os t u d i e d ap a r a m e t e ri sa d d e di n t ot h eb a c k g r o u n du p d a t i o n gp r o g r a mw h i c hm a k e ss u b s t a n t i a l i n c r e a s ei nr e s p o n d i n gt oi l l u m i n a t i o nc h a n g e t h e n ，s h a d o wd e t e c t i o na n de l i m i n a t i o nm e t h o di ss t u d i e d s e v e r a ln o r m a ls h a d o wd e t e c t i o n a l g o r i t h m si sd e s c r i b e d ，t h e r ea r es o m el i m i n a t i o n si nt r a d i t i o n a ls h a d o wd e t e c t i o na l g o r i t h m sb a s e do n r g bc o l o rs p a c eo rh s vc o l o rs p a c e o nt h i sb a s i s ，an e wm o 啊n gs h a d o we l i m i n a t i o na l g o r i t h mb a s e do n e d g ei n f o r m a t i o ni sp r o p o s e d t h en e wa l g o r i t h mi sb u i l tu p o ng r e y - s c a l e , a n dh a sf u l l yc o n s i d e r a t i o no f e d g e ，t e x t u r ea n dh u ei n f o r m a t i o no fm o v i n gv e h i c l e sa n dt h e i rs h a d o w s i na d d i t i o n ，i tc a ne l i m i n a t em o s t p a r to fs h a d o ww i t h o u ta f f e c t st h em o v i n gv e h i c l e ，s oi ti sm o r ee f f e c t i v ea n du s e f u li nr e a la p p l i c a t i o n s ， i nt h ee n d ，v e h i c l et r a c k i n ga l g o r i t h m0 1 1o c c l u s i o ni ss t u d i e d i no r d e rt or e s o l v et h ep r o b l e m a s s o c i a t e d 州t l lo c c l u s i o ne f f e c ta m o n gv e h i c l e s m a r k o vr a n d o mf i e l dm o d e li sa p p l i e dt ot h ev i d e o i m a g es e r i a l s am o d e la n di c mm o d e la r eu s e di no p t i m i z i n gt h ev e h i c l el a b e l sr e s p e c t i v e l yw h i c h i m p r o v et h ee f f e c to fv e h i c l et r a c k i n g k e y w o r d ：b a c k g r o u n du p d a t e ，v e h i c l et r a c k i n g ，s h a d o wd e t e c t i o n ，o c c l u s i o n ，m a r k o vr a n d o mf i e l d 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名： 监日期：等型 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：呈! 整导师签名： 日期： 第一章绪论 1 1 研究背景 第一章绪论 随着我国经济的增长利城市化水平的不断提高，汽乖数量急剧增长，交通拥挤、交通事故和环 境污染越米越影响到社会经济发展和社会生活。为了保证交通运输安全、有序及高效，如今的交通 需要更智能和高效的管理、监控手段。公路交通中运动午辆的有效检测和实时足艮踪，是车辆的行为 分析和识别的前提。在交通视频监控中利川检测和跟踪得剑信息，对目前路况的全面而准确的描述， 然后根据统计算出的各路段的数据，如车流量、车型、车速、车流密度、排队长度、占有率，还可 以检测事故突发等h i ，人们可以据此对交通运输进行整体规划，如调整交叉口信号灯开启时间等， 从而减轻交通堵塞、改善交通环境、提高道路的利用率、降低交通事故频发率。 目前车辆检测的方法【2 】有很多，如环形线圈检测、红外线视频检测、数字视频检测、磁力计检 测、微波检测、超声波检测和声学检测等，这些方法各有优缺点，目前，环形线圈检测器和超声波 检测器由于其良好的工作性能得剑最j 泛的应用。 近年来，随着计算机技术的发展，人们开始研究应用视频技术进行车辆检测。根据检测原理， 视频检测技术可以分为两种【3 】：虚拟线圈法和车辆跟踪法。虚拟线圈法，即川户在图像的一定的区 域定义虚拟线圈，通过计算虚拟线圈内灰度的变化来判断乍辆的存在与否，其原理类似于环形线圈 检测器。车辆跟踪法，是根据车辆的特征对车辆进行检测、识别利随时间变化不断地确定车辆的位 置。总体而言，基于这两种方法的视频检测器相对于传统的检测器都具有以下优点【5 6 】：检测区域 人，一台摄像机可以检测多个车道上的交通参数；检测参数多，除传统检测器能检测的参数外， 还可以检测排队长度和交通密度：可以检测交通违章、交通事故等交通事件；安装维护时不需 挖开路面，不需要中断交通；可以对交通视频进行录像，重现交通场景。 车辆跟踪是利川图像序列分析的方法对运动7 f 辆实时的检测和跟踪。车辆跟踪是视频交通信息 采集的基础，在车辆跟踪基础上，可以获得车辆的实时运动信息，通过对车辆运动信息的分析，可 以得到每辆车的行为特征。正是由于车辆跟踪可以得剑单辆车的运动和行为信息，它具有极其广泛 的应用前景，是智能交通领域备受关注的前沿方向。 在车辆跟踪过程中，复杂环境，包括复杂的交通环境和自然环境是影响跟踪精度的主要因素， 也是制约车辆跟踪走向实际应川的主要障碍，因此有必要研究复杂环境卜的乍辆检测和跟踪技术。 1 2 国内外研究现状 1 2 1 国外研究现状 在国外，车辆跟踪发展较早，已经进行了较为广泛的研究，现在已有多种方法。 k o l l e r 等人和b a k e r 等人研究了基于3 d 模型的跟踪算法【7 8 】。这种算法通过利刖3 d 车辆模型匹 配图像中的车辆来实现跟踪。它的优点是可以跟踪复杂驾驶行为下的车辆_ 乖i l 对遮挡现象具有鲁棒性， 其缺点是它需要对各种类型的车辆建立相廊的模型，并且计算鼙很大。 c o i f m a n 等人提出了基于特征点的车辆跟踪算法【9 】。他们以灰度沿多个方向变化的区域作为乍辆 的特征点。首先检测乍辆的多个特征点，利川k a l m a n 滤波器对这些特征点的位置不断地进行更新， 然后利h j 运动约束条件对这些特征点进行聚类，米实现车辆的跟踪。当存在车辆遮挡现象时，车辆 东南人学倾i ：学位论文 的1 f 遮挡区域可能存在特征点，通过这些特征点仍然可以对车辆进行跟踪，所以它对车辆遮挡现象 具有一定的鲁棒性。它的不足之处是在环境的复杂变化和复杂岁；驶行为f 特征点可能丢火，当下辆 彼此太接近时亦无法正确提取特征点。 1 9 8 7 年k a s 8 等人提出了一种s n a k e 主动轮廓模型1 0 】刚以跟踪目标。s n a k e 模型定义一个能鼍函 数，通过不断寻找此能量函数的最小值，使得s n a k e 由初始位置不断地向目标的真实轮廓逼近，以 实现跟踪。经典的s n a k e 模型对于初始轮廓很敏感，能量函数容易陷入局部最小值。此后，很多学 者( m e i l e t l l l 】、c o h e n 1 2 1 、w b n i l 3 1 等) 对它进行了改进，并把它应用于目标跟踪。s n a k e 模型具有计 算简单的特点，它的缺点在于，它对遮挡很敏感，尤其是当相互遮挡的车辆同时进入检测区域时， 这些车辆的初始轮廓将无法取得。 l i u 等人提取车辆上的特征直线，通过对相邻帧图像进行直线匹配，获取车辆的运动参数，进 行车辆的跟踪| l4 | 。这种算法同样具有计算简单的特点，但它对光照变化和车辆遮挡很敏感。 日本东京人学的k a m i j o 等人也做了很多深入的改进算法研究，土要的研究方向是如何根据运动 估计、基于马尔可大随机场( m a r k o vr a n d o mf i e l d ) 等技术进行运算，以解决运动目标的遮挡问题 1 1 5 1 。该算法首先计算运动背景的参考灰度，通过灰度阂值米检测下辆并进行初始化标：占，同时计数 器更新，然后通过运动矢量的计算，更新车辆区域和编号，最后通过马尔可夫随机场进行优化。这 种算法对遮挡的车辆取得了较好的效果，但运行速度较慢。 在去除运动目标阴影的研究方面，目前国内外学者们比较常用的算法有基丁阴影颜色信息的算 法和基丁运动物体几何信息的算法。基于运动物体儿何信息的算法对车辆的形状有较高的要求，且 计算复杂，运行速度较慢。 基下阴影颜色信息的算法很多且有代表性，如r o s i ne l 提出的将阴影区域看作半透明区域的思 划1 6 1 ，在基于阴影颜色信息的去阴影算法中比较有代表性。认为在阴影区域内，相对于背景图像的 光学增益是一定值，并且小于l 。而实际的视觉经验也可以得剑同样的结论：在一定的亮度条件下， 同一物体在阴影区内和不在阴影区内的色调是近似一致的，如果均匀成比例的减少某种彩色的全部 系数，则只有亮度在变化，而色调是不变的，这在一定科度上给山了阴影的颜色特征规律。 i m i k i c 等人通过对人量道路场景图像的观察和统计发现：与背景区域相比，阴影区域的蓝色成 分会增加，红色成分减少的规律【l7 1 。这些理论对基于颜色信息的去阴影算法的发展都有重要意义， 但都需要建立复杂的背景模型，由于受到光照强度、地面材质等因素的影响，有一定的局限性。 1 2 2 国内研究现状 国内关于车辆跟踪的研究起步较晚，但近年来许多高校和科研机构都进行了相当的研究，取得 了一定的进展。 谭铁牛等人建立了3 d 模犁对车辆进行跟踪【1 8 1 ，利川模糊白组织神经网络对车辆跟踪结果进行 分析理解，提山了事件预测和检测的算法。 f a nz h i m i n 等人和l i nc h i n g p o 等人建立了s n a k e 模型提取车辆的轮廓【1 9 2 0 】，利川k a l m a n 滤波 器对该轮廓进行预测更新，米对车辆进行跟踪。 x i el e i 等人利川背景差法对车辆进行检测1 2 ，并定义了下辆的特征向量，每个特征向量由多个 特征( 包括车辆的中心位置、平均灰度、形状等) 组成，每个特征依据其稳定性赋予相应的权值。 他们利用k a l m a n 滤波器对车辆的特征向量进行预测和更新，来进行车辆的跟踪。 蔡殉等人利川k a l m a n 滤波迭代加权算法进行背景的更新【2 列，提出一种非递门区域生艮算法进 行车辆的检测，并利j 目标区域运动预测规则进行下辆的跟踪。该算法没有对遮挡现蒙进行研究。 刘伟铭等人利h 背景差法进行车辆的检测，利用k a l m a n 滤波器进行下辆跟踪，并采川了模板 匹配的算法对车辆遮挡区域进行了分割【2 3 1 。该算法没有研究对光照和车辆变形具有白适应性的模板 更新算法，因此具有不稳定性。 2 第一章绪论 千宁等人对s n a k e 主动轮廓模型做出了改进，使控制点能够快速地收敛剑目标的真实轮廓，而 且控制点的数目可以自适应地改变1 2 4 。他利用s n a k e 模型跟踪的结果对高速公路上车辆逆行、停车、 超速等交通事件进行了检测。该改进的算法没有解决s n a k e 模型对车辆遮挡的敏感性。 电子科技大学的魏波做过基于统计模式算法的运动目标检测算法1 2 5 ，首先利州较简单的算法对 运动场进行了粗略的估计，然后根据马尔可犬随机场理论构造山运动场的间断点分布模型，利j h j 此 模型来检测运动场间的断点，以此来实现运动目标的检测。实验表明，这一算法在检测运动目标方 面比较有效，且运算负担较小，但未能实现跟踪。 综上所述，当前国内外学者们对车辆跟踪算法作了许多的研究，也取得了一定的进步：但仍然 面临一些问题，如大部分运动目标跟踪方法是在较好的环境卜对目标进行检测定位以及跟踪，但是 实际交通环境是复杂多变的，理想的条件和环境只能在实验室等特殊场合得剑，将这些方法应刚到 实际环境中去就会遇到很多的问题。冈此，从实h j 角度而言，有必要对复杂环境卜的车辆跟踪方法 进行研究。 1 3 本文的主要研究内容 1 3 1 研究目标 本文主要是对复杂环境下运动车辆跟踪过程中的关键技术如动态背景更新算法、运动车辆阴影 消除算法以及车辆遮挡跟踪算法进行研究，实现在复杂环境下的车辆检测与跟踪。 1 3 2 研究内容 ( 1 ) 动态背景更新的研究 分析已有的背景更新算法，对这些算法进行比较，针对已有算法中存在的问题，提出一种新的 基丁运动掩码的白适应背景更新算法，由运动掩码给出更新的时机和位置，并加入光照变化修正参 数，拟解决消除传统算法中对于光照变化的响应和车辆经过后路面灰度的恢复互相矛盾的问题，晟 后通过实验对算法效果进行验证。 ( 2 ) 运动车辆阴影消除方法的研究 分析运动阴影的产生和特征，比较常用的阴影消除算法如r g b 色彩空间和h s v 色彩空间消除 算法，在此基础上，提出一种基丁边缘信息的运动车辆阴影消除算法，充分利h j 目标车辆和阴影的 边缘、纹理等信息，在去除阴影的同时，保留目标车辆的有效信息，最后通过实验对算法有效性进 行验证。 ( 3 ) 遮挡情况下车辆跟踪问题的研究 采用马尔可夫随机场( m a r k o v r a n d o mf i e l d ) 理论对遮挡现象进行研究，提高了遮挡情况下车 辆跟踪的效果，另外重点对能量优化算法中的模拟退火算法及条件迭代模式算法进行了分析，并通 过实验对这两种方法的跟踪效果和时间性能进行了对比。 3 东南人学硕i ：学位论义 第二章基于运动矢量的车辆跟踪 视频乍辆的跟踪过程主要包括图像采集、车辆检测、运动矢量估计、标号移位和校正等环节。 本章根据车辆跟踪过程中的主要环节进行介绍和分析，并采用一种基于运动矢鼙的方法米进行车辆 跟踪。在此基础上分析了影响车辆跟踪精度的主要冈素，指出本文所要解决的主要问题。 2 1 视频车辆跟踪原理 2 1 1 视频车辆跟踪方法综述 基于视频的车辆跟踪就是通过判断相邻两帧中的车辆是否为同一辆车来实现。跟踪方法大致有 以。f j l 种。 ( 1 ) 基于动态轮廓的方法 动态轮廓模型跟踪方法【”】的主要思想是先勾勒出车辆的轮廓并且不断地在后续帧更新轮廓进而 达到跟踪的目的。这种方法其实是基于区域方法的一个变形，其优点在于计算量低，而缺点是存在 初始化i i i 难的问题，且在阴影和遮挡情况下效果欠佳。 ( 2 ) 模刑法 基于模型的车辆检测方法【2 8 】将处理得到的待检测图像中的运动块看作一组像素的集合，这些像 素看作是三维世界中的车辆在二维图像平面上的投影，经过与预先建立的模型在图像块同一位置的 投影相匹配，可以直接得到车辆的长、宽、高及乍辆类型等信息，它是一个二维剑三维的匹配过程。 其优点在丁能够获得对图像内容的理解：缺点在于有可能把误分割形成的像素集合也检测为一个车 辆对象，同时建立摄像机模型时需要测量详细的摄像机与交通场景之间的空间集合特征，这种方法 在实际应用中存在着很大的局限性，同时模型法稳健性也不够高，当摄像机由于外力原冈产生微小 角度变化时就可能造成检测失败，并且对遮挡情况_ 卜的车辆也会发生误检。 ( 3 ) 运动估计法 运动估计法【2 6 】的核心思想是通过运动矢量估计跟踪图像序列中的运动物体来提高分割的准确 性，将午辆跟踪过程和图像分割过程结合起来，进而减少计算复杂度，提高系统的实时处理能力。 它综合考虑了空域和时域信息。在匹配不同图像帧中表示同一车辆的运动块的过程中，可以得到被 跟踪车辆在第n 帧序列图像中的形态演变，因而也就有可能预测其在第n + 1 帧中的形状，从而能纠 正下辆图像的误分割情况，如运动块突然出现、消火以及形状突变等。这种方法和其他车辆检测跟 踪方法主要在的区别在于分割过程和跟踪过程是同步进行的，而不是在跟踪过程前就有了明确的分 割结果。 鉴于运动估计法的这些优点，本文中的车辆跟踪算法土要根据运动估计算法进行。 2 1 2 基于运动矢量的车辆跟踪 本文作者所在的课题组前；f 】研究了基于运动久量的车辆跟踪【2 9 ，3 0 3 ，该方法主要包括车辆检测、 运动矢量估计、标号移位和校正等环：悔，如图2 1 所示。首先由摄像头拍摄得到实时交通场景的视 频序列图像，对这些图像分别进行检测，根据一定的图像处理方法和准则判断是否有乍辆经过交通 场景，车辆检测是车辆跟踪的前提；在车辆检测的过程中，对背景进行实时更新，使检测更加有效； 4 第二章摧于运动矢量的下辆* h 踪 检测山车辆后，对车辆存在的区域进行初始标号，确定车辆的位置：然后对车辆的运动矢苗进行估 计，计算车辆在连续两帧图像之间的运动位置；最j 亓利心估计得到的运动矢量对车辆运动区域的标 号进行移位和校正，从而实现车辆的跟踪。下面分别对这几个环节进行介绍。 2 2 车辆检测 图2 1 基于运动矢量的车辆跟踪过程 车辆检测，主要是对交通场景视频图像中的车辆进行分割，将有可能是车辆的区域从复杂的交 通场景中提取出来，以便进行车辆的跟踪计算。 车辆检测是整个车辆跟踪过程的基础，车辆运动矢量估计、车辆标号移位和校正都是建立在准 确、可靠的车辆检测基础之上的。目前常用的乍辆检测方法主要有：光流法、检测线法、帧差法、 背景筹法、k 均值聚类法、边缘检测法等。 本文采用基丁检测线的背景差方法米检测运动午辆。检测线法就是在待检测图像上的合适位置 设置检测线，检测线的作用类似于埋于地下的感应线圈传感器，它的方向与车辆行驶方向垂直，如 图2 2 所示。 冬：兰： 当车辆通过检测线时，检测线上的灰度就会发生变化，通过计算检测线上的灰度变化，并选取 适当的闽值，就可以判断检测线上是否有车辆存在。本文中，检测线的宽度设为8 个像素，每个块 的大小设为8 x 8 像素，冈此每帧幽片上有3 0 x 4 0 个块。基丁：背景著的检测线法具体步骤如下： ( 1 ) 通过计算序列图像的灰度均值或通过统计灰度频率，得剑研究区域的背景幽像； ( 2 ) 设置检测线的宽度利位置； ( 3 ) 计算当前帧和背景图像之间的差，探测检测线上的灰度变化； ( 4 ) 计算差分图像检测线上块的平均灰皮； ( 5 ) 计算检测线上块的分割闽值； 5 东南人学硕l j 学位论义 ( 6 ) 将块的灰度平均值与闽值进行比较，若大于闽值，则证明检测线上该块区域有车辆存在， 给这些块标记上初始标号，标号从l 开始累计。若检测线上有两处其至更多的连续块的灰度变化大 于闽值，分别给这几处连续的块标上不同的连续标号，有儿处标号数字累计儿次。 ( 7 ) 逐帧重复步骤( 3 ) ( 6 ) ，隔一段时间进行一次背景更新操作，背景更新的方法将在本 文第三章详细讲述。 算法的流样图如图2 3 所示。 f 序列图像采集l j 霎需恒晒塑西! 燮蟹j i 设锷检测线位簧i ， 2 3 车辆标号初始化 生 辆 检 测 图2 3 车辆检测算法流程幽 对每一辆车而言，车辆标号的初始化包括三个过程，如图2 4 所示，图2 _ 4 a 中的白色线条表示 本文所设置的检测线位置，图2 - 4 b 表示为检测图像的灰度变化设置的3 0 x 4 0 的矩阵块。 ( 1 ) 到达检测线 在图2 4 c 中，图像下方的车辆刚剑达检测线时，检测线上某些块的灰度发生了变化，给该车赋 予一个表示它到达次序的序号l ，并将检测线上灰度变化超过闽值的块标上序号l ，得到如图2 - 4 d 所示的标号图，图中黑色区域中块的标号为l ，表示检测线上检测剑的下辆到达的部分。 ( 2 ) 通过检测线 在下一帧图2 - 4 e 中，图像下方的下辆继续前进，得到标号的块已经发生了位移，首先计算这些 块的运动矢量，并按运动矢量对标号进行移位：然后继续判断检测线上是否仍有车辆存在，得剑如 图2 _ 4 f 所示的标号图。 ( 3 ) 离开检测线 不断对每帧重复步骤( 2 ) ，直到检测线上已经没有车辆存在，如图2 - 4 9 所示，即印辆已经离开 检测线，这时便完成了对所检测车辆的初始标号，得到的图像下方车辆的初始标号如图2 - 4 h 中黑色 区域所示。 6 靴* * j 逗z m k h 的1 1 辆 镕 c ) 辆”m 协i 地 b ) 蛐4 0 标o 框 鞴 j + l+ + +卅 r +十+ t h + h o 一 _ _ h t 什 + 一州十+ u 卜+ - f+ 一h + 一斗一 f +_ h * 十t _ r - h 什 十 p +h i 斗0 1 + 1 剥# d ) 下辆到达恃删线标0 嘲 h 4 一+ h r 1 。h 4 _ _ h h 4 hh h 一4 一 一 删 1 14 t1 一l j ；麟i 王葺 。1 jr 一r 1 啊- 】，1 一 1 一 rj t i 耳。 譬 。 x 1 目2 - 5 镕自。，= 维曲的较 本文中，维运动竹甜问题土耍是指l l ! l i j 的对臆估订，如幽2 - 6 所示。即计锥在t4 - a t 时刻! _ l 时刻j 帕运动欠甜 d d 】。 第二章壮于运动矢量的下辆趴踪 时f 时蚓t + ，m 幽2 6 运动矢量尔意图 常见的二维运动模型非参数估计法有基丁光流方程的算法、基丁块匹配的算法、贝叶斯算法等。 其中，贝叶斯法采取吉布斯随机场的方法米估计位移场，主要不足之处是需要人量的计算，这在实 际运用中受到很人的制约，不适合在车辆跟踪中应用：光流方程法在实际应用中，受到噪声影响比 较严重3 2 1 ；基于块的分析方法主要有相位相关法和块匹配法等，块匹配法由于较小的硬件复杂度， 因此对于实际运用来说已经被认为是比较通用的算法。 2 4 1 基本原理 基于块的运动模犁是假设图像是由运动的块组成，主要考虑两种类型的块的运动：块的简单二 维平移和块的各种变形。在本文中，假设车辆的运动只是简单的块的二维平移。设第k 帧的一个中 心位于( 以i ，n 2 ) 的l n 2 大小的块平移剑第七+ 1 帧时，在第后+ 1 帧内选取一定的范同，对该范围 内所有的块都按照一定的匹配准则进行匹配计算，选择匹配函数最小的块作为目标块，目标块与特 定块的坐标著即为运动矢量。其基本原理如图2 7 所示。 2 4 2 影响因素 图2 7 块匹配法幕本原理 影响块匹配法计算精度和计算量的因素主要有以下四个：块的人小、块匹配准则、搜索方式和 搜索范围。 9 东南人学硕i j 学位论文 1 块的大小 在块匹配法中，大的搜索块对噪声不敏感，而小的搜索块能够很好地定位到车辆的轮廓边缘， 但对噪声比较敏感。另外，搜索块的人小还与车辆区域的人小有关，块过火不能对车辆区域进行准 确。同时，要考虑视频序列中噪声的影响、运动对像的纹理、背景的纹理等信息。对于具有比较平 滑的纹理的对像，如果选择的块比对象区域小，并且对象区域比较平滑，常常会出现孔洞的问题， 采用大的匹配块有利于消除这种空洞。综合考虑这些因素，本文将每一帧交通图像分为大小为8 - x8 像素的块，对块进行运动矢量的估计。 2 块匹配准则 块匹配可以根据各种准则搜索与目标块匹配程度最高的块，匹配准则包括最人相关函数、最小 均方差误差函数( m s e ) ，最小平均绝对差值函数( m a d ) ，最人匹配像素统计( m p c ) 等。 ( 1 ) m s e 准则 在最小m s e 准则中，定义m s e 为： m s e ( d l , d 2 ) 2 志“驰g i , n 2 , k ) 一s g - “以嵋n 1 ) 】2 其中占代表ix n 2。运动矢量的估算即为求p i ，d 2 ) 的m s e 最d 、值。即： p 。，o ：】r = a r g ( m 吨，i 。n ：) m s e ( d 。，d ：) ( 2 ) m a d 准则 m a d 最小准则的定义为： 删。( d l , d 2 ) 2 志“驰，尼) 一s g z 鸠加1 ) 】 根据m a d 最小准则，位移估算由下式给出： 队r = a r g m 以i n ，m a d ( d 删 ( 3 ) m p c 准则 另一个可选片j 的方法是最大匹配像素统计( m p c ) 准则，其定义为： f 1l 厂g ，以2 ，尼) 一i ( n l + d 。，以2 + d 2 ，k + l 】t t ( n l ，刀2 ；d l ，d 2 ) = 0e l s e ( 2 1 ) ( 2 2 ) 其中t 为估算阈值。在这个方法中，块b 中每一个像素依据公式( 2 5 ) 或被归入匹配像素，或 被归为非匹配像素。冈此，块匹配中像素的个数由下面两个公式给出： m p c ( d 。，d ：) = z t ( n 。，n 2 ；吐，d ：) ( 2 6 ) ( n j ，n 2 ) e 口 r i t ，d 2 = a r g 勰m p c ( d l 2 d ) 2 m 根据m p c 准则，运动估算即为估算p i ，d 2 ) 的值，这个值给出最多数量的匹配像素。 3 搜索范围 块匹配法的搜索范同即图2 7 中所示的搜索窗口，搜索窗口的形状为矩形，当块的运动矢量的 横纵方向分量人小相当时，搜索窗口可以设为止方形，反之，两者相著较大时，搜索窗e l 可以设为 长方形。 为了达到晟犬的匹配精度，必须选取合适的搜索窗口，理想的搜索窗口火小应该与块的运动欠 l o ) ) ) 3 4 5 2 2 2，l 第一二章皋于运动矢量的车辆* ! 踪 量的横纵方向分量大小一致。 4 搜索方式 寻找最佳匹配块需要在每一个像素( n ，以，) 所有可能的候选运动欠量上优化匹配准则，可对每一 个像素的所有( d ，d ，) 评测匹配准则来实现，这种方法叫做全搜索法，它是精确度最高的搜索方式， 这种搜索方法的搜索次数为( 2 ，l + 1 ) ( 2 刀+ 1 ) ，计算量较大，耗时长，效率很低。全搜索法的所搜 范围如图2 8 所示。 为了在尽量保证搜索精度的同时，减少搜索次数，人们提出了快速搜索方法，如三步法、交叉 搜索法等。三步法的搜索方式如图2 - 9 所示。 r ll _ 。 l 一l 2 一 l 一 r ： ；1 一： 图2 - 8 全搜索法的搜索范围图2 9 三步法的搜索方式 快速搜索法通常在第一次估值时限制搜索区域： 一m l d l m l 且一m 2 d 2 m 2 ( 2 8 ) 在图2 - 9 中，块的人小为8 8 ，搜索窗口m = m ，= 7 ，“0 ”标记搜索帧中的像素，位于当前 标记搜索帧中的像素，位于当前像素的后面。第一步，选择像素标记成“0 ”和标记成“l ”的九个 像素来测评准则函数，若在像素“0 ”找到最小m a d ，则得知“无运动”，若在其他的8 个像素点找 到最小m a d ，则用来标记。第二步，围绕在第一步中被选择作为最佳匹配的像素中心，选择8 个标记成“2 ”的像素来评测准则函数。需要说明的是，第二步搜索时，新中心到搜索像素的距离减 半，以获得较佳的分辨率。将找到的最佳匹配像素标记成“”。第三步，设定搜索中心到搜索像素 的距离为第二步的一半，继续选择8 个标记成“3 ”的像素来测评准则函数。最后，比较标记成“” 的最佳匹配像素与“0 ”像素的位置，即得剑运动估计。可见，三次搜索的步长分别为4 ，2 ，l ，当 目标块处丁其搜索范围时，最多只需2 5 次搜索就能找到目标块，而全搜索法则需要进行2 2 5 次搜索， 显而易见，三步法具有较小的计算量。 2 4 3 实验结果 在图2 1 0 中，图2 1 0 a 和图2 1 0 b 表示连续的两帧图像，图2 1 0 c 利图2 1 0 d 分别表示利川全搜 索法和三步法计算得到的运动欠量图，对比两图可以发现，利川全搜索法得剑的运动欠姑精度较高、 每个块的欠量比较整齐，但是所川时间较长；利川三步法得剑的运动欠鼙得剑的运动久量与全搜索 法得剑的运动久量比起来，效果略差，各块的欠量不十分整齐，但已经非常接近，而且所川时间较 短。在实际应用中，可以根据实验的需要进行选择。 乐瞄 牛蛳i ? 学位淹女 a ) 情一帧b ) 尚前幢 c ) 乍搜靠瞌缔判的运动* 量( d ) 兰步法撙判的蘑动矢苴 幽2 1 0 幸搜索往和三步往柑到的话功* 赶幽 2 5 车辆标号移位和校芷 存得到市辆的适动父撼z 后就可以根据运动尖城对乍辆的标号进行移位，由丁随肴市辆逞新 越离摄像机向前行鞋，豳像序州中对应的车辆域将台逐渐变小车辆眨埭中所包禽的块的数t l 也 会逐淅减少，田此在对女 辆标母移位z 耵，还戍封乖辆标甘进行校i i 乍辆标号移俺羽l 枝u ：统称为 布辆标号蜓新t 愆过乖断的时午辆标哮进行更新，就可以实现1 辆的罪踪 2 5 1 车辆标号移位 1 辆标呼移怔的方法为：对1 ：辆的j 薹动灭蚰进 j ：嫩计，肖逗动欠培的任意分 黄帕纯蚶值媒计选 剑8 的齄数倍像素时，枉该分域的方向上以块为单谯时标吁进行移佩。 如酣2 - 1 l 所示嘲2 = 1 l a 址第t 9 帧时检测剑帕：辆的蜮始酗像嘲2 1 l b 趄对肫的节辆标号嘲， 标号陋域崔袜1 ：辆m 域，巍色坩杠点示乍辆区域的范瑚。豳2 - 1 1 ( ：娃第2 0 帧原始凹像，由j ：乍辆在 第1 8 帧幽像和第1 9 幢幽像z 问的运动矢麓为( - 8 8 ) 往第1 9 帧和菇2 0 帧幽像z 问的遥动父域 为( 5 4 ) 运动父蜮累讣为( 1 3 - 1 2 ) ，在瓤向分馈上大小翘进8 十像素横向分m 上人小也超 过了8 个像素硼此对所有块往纵向办向t 向上平移个块的宽窿即8 个像素，在横向方向上向 左平移一个块的宽度， ! ，惝2 - 1 i d 的杯号幽。 一# 坫十4 自x 量的下辆“踪 c ) 乍辆n 第2 0 帧图像中的摊踪圈 2 5 2 车辆标号校正 b ) 车辆扯第1 9 帧j 自标q h 目2 1 l 车辆移位艟果意舶 b ) 乍辆在第2 0 械对应标q 幽 从午辆标号移位的方法可以看山车辆区域由若干块组成，而车辆遥动久琏的大小是以像素为 单位的，嗣此对返动矢量进行累计后以块为单位进行标号移位的方法存在一定的误差 随着车辆逐 渐远离摄像帆，交通图像内对应的车辆区域将会逐渐变小，乍辆区域中块的数目也会逐渐减少；且 由1 。 f 景更新也存在一定的计算误差，这些因素均会导致车辆检测后产生的标号与实际幽像中的运 动1 辆不完全对应，因此，在对车辆标号移位2 后，还需要对乍辆标号进行校止。 下辆标号控j f 的方法为：前先对包含午辆区域的虽小方框( 即刚2 - l i d 中的黑色方框) 内的幽 像进行背景筹搛作，其次计算包音背景差酗像的分割闽值，然后计算背景荐嗍像中母个块的平均灰 度，最j 亓比较块的灰度一，分割阕值的人小，如果块的平均灰度人丁等丁分割闽值，则认为该块属r 1 。辆区域，给该块标上代表乍辆序号的标号；反2 认为该块届1 背景区域，给该块标上代表背景 区域的标号。对剖2 - 1 l d 中的标号幽进行校正，得到幽2 - 1 2 d 中所示的新的标号阿。为了便丁比较， 斟2 1 2 列山了标号校1 | 三前后的乍辆跟踪结果凹和对麻的标号幽，幽2 - 1 2 a ( 与凹2 - 1 l c 相同) 为标号 修止之前的午辆跟踪结果_ 苎f ，幽2 - 1 2 b ( 与图2 - 1 l d 相l u l ) 为对戍的仅经过移位计算的下辆标号幽， 幽2 - 1 2 d 为标号修正之后的新的标号幽，嘲2 - 1 2 e 为 据图2 - 1 2 d 的标号图跟踪到的下辆区域，对比 幽2 - 1 2 a 和凹2 - 1 2 c 可咀看山，经过校止2 后的标号圈显然更准确的描述了午辆的位置。 $ 前人学做i 学位论文 ( c ) 标号控正后的跟蹿国 h ) 标j 垃l e 前帕杯峙嘲 目2 - 1 2 车辆拉* 散果d 意幽 2 6 影响车辆跟踪效果的主要因素 ( d ) 标 拄f 后帕标q 幽 车辆甩蹿过程主婪在户外进行，总的来讲，存在两类典玳的复杂环境印复抽的1 3 然环境和复 杂的交通环境。复加的n 然环境带米的目厦就是光照的变化l ；l 及1 ：辆运动阴影的形成；复抽的变通 环境士要推乍漉址较凡挺蔓扣堵，所产生的端果就是印辆问的相互遮捎。这些问题址影响乖辆跟 踪效粜的士罂刚索 1 光照变化 云层的飘动、树木髓风摇动以及光线的缓慢变化尊椰届1 ：光j ! 的变化这些变化会母致路面背 j 的缓慢变化甚至突变。d ：一般的j 墓动检测中，路面背最的改变对印辆检测的精度产生青錾响e 2 下辆町影 阱影往往伴随着遴动目标而出现，并且琏着逆动口标运动。一般的运动h 标j l 踪算法会将运动 阴影检测为遥动目林这不仅会严m 的干扰目标检测的辅度而儿会将不同的运动日标吐接枉起 进而对车辆罪踪产生干扰。 3 车辆问的相互遮挡 当运动的乍辆比较牲近时午辆之问往往互相重叠从而产生避捐，在堵车的情况f 这种情况 尤为突出而由r 架设棚帆光轴1 j 道路平面2 闻的角艘较小往往会使儿十运动日标被檎测成一个 造成罪踪的丢失遮捎问蜓严重帕影响着乍辆跟踪的聃鹰帛j 性能魁乍辆跟踪的难点之一 本文将n ：f 面的章m 1 1 时影响1 ；辆跟踪的主璎闻豢进行凡体的研究。真；j 章研究动态背景哑新 第二章基于运动矢量的下辆p ! 踪 方法，提高背景更新的效果以及对光照变化的响应；第四章研究运动车辆阴影的消除，降低运动阴 影对车辆跟踪的影响；第五章研究遮挡情况下的车辆跟踪，提高车辆间相互遮挡情况下车辆跟踪的 精度。 1 5 东南人学硕l ：学位论文 第三章动态背景更新研究 在车辆跟踪过程中，车辆背景的灰度随着光照的变化而发生变化，这就要求背景图像能随着光 照以及运动目标的变化而更新。本章对常川的背景初始化及更新方法进行分析和讨论，提出了一种 基于运动掩码的自适应背景更新算法，该算法由运动掩码给出更新的时机和位置，并加入光照变化 修正参数，与传统的加权平均法和逐步修正法相比，光照的响应速度更快，车辆经过后路面的恢复 也加快了，提高了背景更新的准确性。 3 1 背景初始化方法 背景的初始化是指通过交通视频序列图像获得监控区域的初始背景图像，是背景更新的前提。 目前用丁二生成背景图像的方法主要有以一i - ) l 种： 1 人工方法。背景可以采用简单的人工方法获取，即从图像序列中提取一帧没有车辆的图像来 作为背景。这种方法简单方便，但是在实际的交通场景中，交通流在不断发生变化，大部分情况下 监控区域中都一直有车辆存在，且环境也是随时间不断变化的，如光照强度的变化以及路边树木和 建筑物等静态物体的阴影变化，所以很难获得一帧完全没有车辆或者稳定的图像。这种方法一般只 能在交通量很小的情况下用于实验室研究，而不能用于实时的视频交通监控。 2 多帧平均法【3 3 1 。由于道路上车辆的多样性，有的车辆亮度值比路面高，有的车辆亮度值比路 面低，所以从统计学角度来看，由车辆经过而引起的背景变化在长时间内可以忽略。多帧图像平均 法认为公路上经过的车的灰度是随机的，通过利刚图像序列每个像素点在时间上取平均值来获得图 像的灰度值作为背景图像。其数学表达式为： b a c k g r o u n d o ( f ，胪专