（交通信息工程及控制专业论文）基于视频技术的车辆跟踪方法研究.pdf

摘要 基于视频技术的车辆监测技术由于其维护方便、易于实施的特点，近年来广受关注车辆跟踪 技术是实现视频车辆监测的关键技术之一，如何实现基于视频技术的车辆跟踪，以及车辆跟踪的算 法研究是国内外研究的重点和难点。 本文将车辆跟踪系统分为车辆检测和车辆跟踪两个主要的技术模块，并对各模块的主要技术方 法进行了介绍。在车辆检测模块，通过对几种常用的检测方法进行分析比较，确定采用基于背景差 分的检测线法进行车辆检测，重点研究了该算法中背景的提取和更新、阈值的选取方法等关键技术， 并编写计算机程序实现了这种算法，对实地采集的序列图像进行了验证在车辆跟踪模块，重点研 究了运动估计算法中基于光流方程的方法和三步块匹配算法，劳编写计算机程序对算法进行了验证 和比较，确定采用三步块匹配算法进行车辆运动估计。结合前面对车辆检测算法和运动估计算法的 研究，提出了一种基于运动估计的车辆跟踪方法，根据检测线上的背景差进行车辆检测，运用三步 块匹配算法，对进入场景的车辆进行运动估计，通过对块的标号和更新实现车辆的跟踪。最后编写 计算机程序，实现了车辆跟踪算法。并对实地采集的视频录像进行车辆跟踪算法的验证。实验结果 表明，该算法能够有效地实现车辆的跟踪。 关键词：视频，车辆跟踪。运动估计，运动矢量。块匹配 t h ev e h i c l et r a c k i n gm e t h o db a s e dv i d e ot e c h n o l o g y ，w h i c hi sp r a c t i c a l l ys t u d i e d l lr e c e n ty e a t s b o c a u s eo fi t se a s y - i m p l e m e n t a t i o na n de a s y - m a i n t e n a n c ec h a r a c t e r s t h ev e h i c l et r a c k i n ga l g o r i t h m ， w h i c hi sm o s ti m p o r t a n ta l g o r i t h mo fv e h i c l et r a c k i n gs y s t e m ，趣t h ek e yp o i n ta n dt h ed i 伍c u l t yi n d o m e s t i ca n df o r e i g na tp r e s e n l i td i v i d e st h ev e h i c l e st r a c k i n gs y s t e mi n t ot w ot e c h n i c a lm o d u l e si n t h i sd i s s e r t a t i o n ：t h ev e h i c l e s e x a m i n a t i o nm o d u l ea n dt h ev e h i c l e st r a c k i n gm o d u l e a n di n t r o d u c et h et o p i cm e t h o d si ne a c hm o d u l e i n t h ev e h i c l e se x a m i n a t i o nr o o d u l e ，i tc h o o s et h ee x a m i n e - l i n ea l g o r i t h mb a s e do nb a c k g r o u n d - d i f f e r e n c e m e t h o dt oe x a m i n et h ev e h i c l e sb yt h ea n a l y s i so fs o m et o p i cv e h i c l e se x a m i n a t i o nm e t l l o d s a n ds t u d yt h e b a c k g r o u n dp i c k i n g - u pa n du p d a t i n gm e t h o d sa n dt h et h r e s l m l d - c h o i c em e t h o dm a i l l y , a n dw r i t et h e c o m p u t e rp t o g r a m st or e a l i z et h ea | g o t i t h m , v a l i d a t e db yas e r i a lf 口a m e sw h i c hw g r eg a t h e r e dr e a l l y i nt h e v e h i c l et r a c k i n gm o d u l e ，i tm a i n l ys t u d yt h eo p t i c a lh o we q u a t i o n ( o f e ) a n dt h et h r e e s t e pb l o c k m a t c h i n ga l g o r i t h m , a n dc b t h el a t e rb ，w r i t i n gc o m p u t e rp r o g r a m t h e n ，i tu n i f i e st h ee x a m h e - l i n e a l g o r i t h mb a s e d0 nb a c k g r o u n d - d i f f e r e n c em e t h o da n dt h et h r c e - s t e pb l o c km a t c h i n ga l g o r i t h m , p r o p o s e d o n ev e h i c l et r a c k i n ga l g o r i t h mb a s e do nm o t i o ne s t i m a t i n gm e t h o d , a n du t i l j z e st h r e e - s t e pb l o c km a | c h i n g a l g o d t h m , t oc a t r yo nt h em o v e m e n te s t i m a t i o n , a n dt h e nr e a l i z e st h ea l g o r i t h ma n dc a r r i e so nt h ev e h i c l e t r a c k i n ga l g o r i t h mt oa c f x i o no f v i d w h i c h 虢mg a t h e r e dr e a l l y , t h er e s u l t ss h o wt h a tt h ea l g o r i t h mc a n r e a l i z et h ev c h i c et r a c k i n ge f f e c t i v e l y k e y w o r d s ：v i d e o 。v e h i c l et r a c k i n g ，m o t i o ne s t i m a t i o n ，m o t i o n v e c t o r b l o c km a t c h i n g 东南大学学位论文独创性声明 本入声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：j 鲤导师签名：显垂坠熔日 ( 期：塑! ：竺! = 厂 第一章绪论 1 。1 问题的提出 第一章绪论 随着我国经济的飞速发展，车辆运输已得到越来越普遍的应用，它为人们提供了很多便利。但另一方 面，由于车辆运输的普遍应用和不断增长，也造成许多交通事故、交通堵塞等严重问题。如何运用交通监 测的先进技术，保证道路交通的安全性和高效性，已经日益成为迫切需要解决的问题。 当前，人们普遍采用埋设于路面下的环形线圈传感器来对交通的情况进行监测，但它只能得到诸如交 通量、车速等有限的信息，而难以获得诸如车辆排队长度、左右转车辆统计等信息。而且这种线圈的安装 和维护有其自身的缺点，比如在桥梁、立交桥上不能埋设，维修需要开挖路面等等。随着视频识别技术的 不断发展，运用视频识别技术来进行车辆监测，不仅能弥补环形线圈感应器在安装和维护方面的不足。也 为实现诸如车辆跟踪等复杂的交通监测提供了可能。与其他的交通监测技术相比，计算机视频监测技术具 有安装调试方便，对路面和土木设施不会产生破坏，维护也很简单，不会对道路交通状况产生影响，具有 直观、可监视范围广、可获取更多种类的交通参数以及费用较低等优点，因而矿泛应用于交叉道口和公 路干线的交通监测系统中。 在视频监测领域中，车辆跟踪是实现自动车辆监测的关键技术之一，也是实现运行速度计算、车辆拥 堵判断、事件检测等车辆监测目的的前提。对车辆的运行轨迹进行准确跟踪之后，便可以通过程序准确计 算出交叉口的车流量、交叉口车辆的运动速度、进行事件检测。 因此，如何实现基于视频技术的车辆跟踪是目前智能运输领域研究的重点和难点。 1 2 视频车辆跟踪方法的国内外研究现状 基于视频技术的车辆跟踪方法研究，到目前为止国内外的研究已经取得了很大的发展，但也存在着许 多问题。 目前常用的车辆跟踪方法主要包含两个技术模块：车辆检测模块和车辆跟踪模块。首先通过车辆检测 模块，根据序列图像的灰度信息进行车辆的检测，判断是否有车辆进入交通场景，然后再通过车辆跟踪模 块，根据运动目标的特征如形状、运动矢量等信息，对进入场景的车辆进行跟踪。 车辆检测模块的技术方法主要有基于相邻帧差的算法和基于背景图像与当前帧差的算法。大多数基于 背景差的方法主要涉及到背景图像的估计和实时更新的问题，当场景申有目标由运动状态转入比较长的时 间的静止状态之后，由于背景的实时更新，很可能将该目标纳入背景图像当中，当这个目标再从静止状态 突然运动，那么采用当前帧与背景相减的方法就会出现错误的检测结果。而使用帧间差的方法来进行目标 检测，当场景中有目标处于低速运动或者两帧之间时间间隔较小的时候，往往会在目标检测时检测不到部 分属于目标的区域，甚至一个目标有可能断开成多个区域。 车辆跟踪模块的技术方法中，基于二维运动估算的运动场计算，是计算机视频处理领域中人们一直努 力研究的课题。运动矢量的估算目前已经有许多相对比较成熟的算法。如基于光流方程的光流估算法如 l - t ( 法和基于块匹配的非参数算法3 步块搜索法等等。光流法检测运动目标的基本原理是：给图像中的每 一个像素点( 或个块) 赋予一个速度矢量，这就形成了个图像运动场，在运动的个特定时刻，图像 上的点( 块) 与三维物体上的点( 块) 对应，这种对应关系可由投影关系得到，根据各个像素点( 块) 的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连 续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量不同， 从而检测出运动物体的位置。 东南大学硬士学位论文 i 2 1 国外的研究现状 1 9 7 8 年，美国j 盯( 加州帕萨迪纳市的喷气推进实验室) 首先提出了运用机器视觉来迸行车辆的 检测的方法，指出其是传统检测方法的一种可行的替代方案。几年后，美国明尼苏达大学的研究人 员研制了第一个可以投入实际使用的基于视频的车辆检测系统。该系统使用了当时最先进的微处理 器，在不同场景和环境下的测试结果良好。说明了利用视频传感器实时检测车辆的可行性。同期基 于视频的车辆检测的研究也在欧洲和日本广泛展开。 此后十年问基于视频的车辆检测技术取得了长足的进步。1 9 9 1 年，美国加州理工大学对在高速公路 上运用视频方法的检测技术进行了评估，在评估报告中对当时采用的不同的视频车辆检测技术详尽地进行 了分类。三年后，美国休斯飞机公司评测了当时存在的月种检测技术，包括视频检测技术，测评结果指出 基于视频图像处理的车辆检测系统已经具备了投入实际使用的潜力。1 9 9 4 年l 帕o r ( 明尼苏达运输部) 为 f h a ( 美国联邦公路局) 进行了更详尽严格的测评，结果表明视频检测器的检测准确性和可靠性可以达至怜 人满意的程度。同时随着视频车辆检测技术的发展，人们己不满足于仅仅检测出车辆，f 豫a 迸步利用 此技术来提取交通参数，如交通流量，十字路口的车辆转向信息等。 对于运用运动矢量来进行目标运动跟踪的算法，日本的研究目前投入较大。大阪大学的r y u z o o k a d a ， s h i n y aa m a m o t o 等人对运动光流计算算法进行运动目标的检测和跟踪作了深入的研究，并研制了相应的 应用系统。“。借助于多个数字信号处理器( d i g i t a ls i g n a lp r o c e s s o r ) ，实现了实时目标检测与跟踪， 处理速度可以达到1 5 帧s 。 日本东京大学的s h u n s u k ez a m i j o ，k a t s u s h ii k e u c h i ，勤s s a k a u ( 爵i 等人也散了很多深入的改 进算法研究。主要的研究方向是如何根据运动估计、基于马尔可夫o 缸r k o v ) 随机场等技术进行运算，以 解决运动目标的遮挡问题。该算法首先计算运动背景的参考灰度，通过灰度阈值来检测车辆并进行初始 化标志，同时计数器更新，然后通过运动矢量的计算，更新车辆区域和编号，最后通过马尔可夫m a r k o v ) 随机场进行优化。 1 2 2 国内的研究现状 目前国内的算法主要集中在差分法和基于统计模式的运动目标检测，基于运动矢量估计的算法尚在起 步阶段。 哈尔滨工业大学的张泽旭、李金宗，李宁宁等做过基于光流矢量和c a n n y 边缘检测算子来进行运动目 标的检测和分割算法理论研究。电子科技大学的魏波做过基于统计模式方法的运动目标检测算法， 首先利用较简单的算法对运动场进行了粗略的估计，然后根据马尔可夫( m a r k o v ) 随机场理论构造出运动 场的间断点分布模型利用此模型来检测运动场间的断点，以此来实现运动目标的检测。实验表明，这一 方法十分有效，且运算负担较小，并可通过d s p 实现实时检测“。但未能实现跟踪 也有人对帧差算法运用先进的技术进行了优化和改进，如模糊聚类算法、遗传算法聚类等。但是 都只停留在理论算法的研究基础e 。此外，对于基于运动矢量的车辆检测和跟踪，国内也有一定的研究。 1 3 本文的研究内容 本文主要研究基于视频技术的车辆跟踪算法，对车辆检测和车辆跟踪的方法进行系统的阐述和研究。 并且结合对车辆检测算法和车辆运动估计算法的研究，提出种基于运用运动估计的车辆跟踪算法，并编 写计算机程序，用实地采集的车辆视频录像进行检测和跟踪。 2 第一章绪论 本文的主要研究内容包括： 1 ) 车辆检测方法的研究 研究和比较目前常用的车辆检澳9 技术，选用基于检测线的方法。重点研究基于背景差法的检测线法， 背景帧的提取和更新，全局阈值计算的方法，以及车辆阈值分割方法。 2 ) 车辆垂动估汁算法的研究。 首先对不同的车辆跟踪方法进行比较和研究，重点对运动矢量计算方法进行研究。并着重研究利用光 流分析法和基于块的分析方法进行运动估算，通过研究l _ k 法和3 步块搜索法等典型的方法对图像序列进 行运动估算，计算运动矢量 3 ) 基于运动估计的车辆跟踪算法研究。 基于前面对车辆检测算法和车辆运动估计算法的研究，提出种基于运动估计的车辆跟踪方法，并通 过程序对实地采集的车辆视频录像进行处理，验证算法结果 本文期望通过车辆跟踪系统的算法研究，并编写计算机程序，验证车辆跟踪算法的可行性，实现有效 的车辆检测和跟踪。 3 一 第二章基于视频技术的车辆跟踪系统总体结构 2 1 车辆跟踪系统结构 车j 两植测与跟踪系统通常包括视频采集、车j 眄植测、朝两跟踪等模鲥，流程如图2 一i 所示。 图2 - l 车辆跟踪系统结构示意图 首先由摄像头拍摄得到实时交通场景的视频序列图像，然后将序列图像送到车辆检测模块，根据一定 的图像处理方法和准则判断是否有车辆经过交通场景。检测出车辆后，可在跟踪模块通过对车辆的运动进 行运算和估计，从而实现对车辆的跟踪。 2 2 车辆跟踪系统主要模块技术方法综述 2 2 1 车辆检测算法综述 车辆检测模块，主要是对交通场景视频图像中的车辆进行分割，将有可能是车辆的区域从复杂的交通 场景中提取出来，以便进行车辆的跟踪计算。 车辆检测是整个车辆跟踪过程的基础，后期的车辆运动估计、车辆跟踪的实现都建立在正确、可靠的 车辆检测基础上。常用的车辆检测的算法有基于帧差或背景差的检测线法、k 均值聚类法、边缘检测法等。 ( 1 ) 检测线法 检测线法就是在待检测图像上的合适位置设置检测线，检狠4 线的作用类似于埋于地下的感应线圈传感 器，它的方向与车辆行驶方向垂直，如图2 - 2 所示。将检测线位置上的背景图像作为参照，当车辆经过检 测线时，检测线位置上的图像就会由于车辆的覆盖而发生改变，当运动物体覆盖检测线的宽度大于某个阙 值时，就认为检测到辆车辆。 二：兰 经浏佥测线上的车辆使得序列图像检测线位置上的灰度值发生变化，通过对这种灰度的变化进行计 算分析，实现对运动车辆的检测。检测线上灰度变化的检测方法通常有以下几种：帧差法、背景差法等。 4 塑三童茎王堡塑垫查竺兰塑里壁墨竺璺竺堕塑 帧差法 帧差法是将两帧( 或多i 蚰连续图像逐像素相减，以去除静止或移动缓慢的物体及背景，它是消除两 帧连续图像中的静止物体以及提供运动物体( 车轺移运动轨迹最直接的方法。除了最简单的逐像素相减，帧 差图像还可以由两组属于相邻图像帧的像素( 如相邻的四个元素) 的均值相减得到。帧差法的优点是计算简 单且不易受环境光线变化的影响，但它不能检测静止车辆，且处理效果与图像采样频率以及被检测车辆的 车速有关。如果视频检测器采样频率过小，而车速较快。可能会造成误分割：反之如果采样频率过大且车 速较慢，又会造成过度覆盖。极端情况下运动物体可能完全重叠，类似于静止车辆，从而导致无法分割出 运动物体。 图2 - 3 帧差法结果示意图 图2 嵋中，图像a ，b 为序列图像中的两帧，图像c 为经过帧差计算并经过线性滤波后产生的图像。 由此可见，帧差法对序列图像运动目标检钡0 效果比较明显。图像c 中左侧的白色点为人行道上行人运动后 产生的结果。 背景差法 背景差法的基本思想是先形成交通场景的背景图像，然后将待检测图像与背景图像逐像素相减( 理想 情况下的羞值图像中非零像素点就表示了运动物体) ，进而就可运用阈值方法将运动物体从背景中分离出 来，即计算： 呦谁鬈d 谚o 堆f 式中f ( i ，j ) ，b ( ，d 分别表示当前帧和背景图像。t 为检测的阈值。 ( 2 1 ) 则车辆检测可表示为：当公式( 2 1 ) 6 p v ( i ，d = 1 表示对应像素为车辆区域，反之y ( f ，) = o 表示该 区域为背景区域。 精确可靠的背景图像是背景差法能否成功的关键。阈值t 的选取也至关重要，不恰当的阈值选取会造 成车辆的误检测，阈值过高会造成漏检，阈值过低又会把背景检测为车辆或将相邻车辆检测为同辆车。 因此，本小节将着重讨论背景的提取和阈值t 的选取。 首先讨论背景图像的提取。背景图像可由人工拍摄幅没有车辆的图像来得到，也可以i 匾j 立亭列图像 的平均来得到，或者统 卜序列图像象素点上出现频率最大的灰度值来得到。 由摄象机采集的视频序列图像，很容易受到外界的影响，建筑物阴影、浮云或光照的变化都会造成背 景环境明显的变化，因此，作为参照物的背景需要不断的进行更新。目前有多种背景更新方法，最常用的 方法是多帧平均( f r 跚ea v e r a r i n g ) 法：( s e l e c t i v eu p d a t l a g )“ 5 东南大学硕士学位论文 简单的多帧平均法是直接将前面若干输入图像的平均值作为当前背景，更新背景的方法如下： 以= 髓一4 + ( 1 k ) c ，- l o 置 l 且置= 必 ，+ 1 ) ( 2 2 ) 其中，口。为当前更新的背景，b 。是前帧背景，c 。为上幅场景图像，n 为个整数，k 是 指更新率。k 越趋向1 ，新背景就越接近于上幅背景。 多帧平均法的缺点在于对场景改变过于敏感性，而这种改变并不总是由车辆运动引起的，同时k 的正 确取值也是个难题。在本课题中，由于只是对车辆检测算法的验证，未能实现车辆的实时跟踪，因此，公 式( 2 2 ) 中的n 即为序列图像当前帧的编号，公式( 2 2 ) 的含义即为：在序列图像中在n 帧作为当前帧，下 帧即第n + 1 帧图像对应时刻的背景，是将第n + l 帧之前的所有图像的每个象素点取灰度平均值。 选择更新法的基本思想是只将没有检测到运动的区域即真正的背景进行更新。在背景更新前，先逐 像素判断相邻两幅图像的差值，如果小于个闽值，则说明在这个像素位置没有检测到车辆，可进行背景 更新操作。这种方法依赖于阈值的选取，如果阈值选择不合理，背景图像将很快变得不可用“。国内也有 学者在选择更新背景前进步加入了背景调整步骤，即首先计算当前帧和上帧图像间的平均灰度之差，若 差值大于设定阈值，则认为当前帧的平均灰度发生突变，就要在背景图像上逐像素加e 此差值“”。基于背 景差的车辆检测的准确性很大程度上依赖于背景图像的可靠性。总的来说，背景差法对环境光线的变化非 常敏感。背景图像需不断地被更新以迎合环境光线，阴影和天气的变化等，因而背景更新中的误差累计是 影响背景差法精度的重要因素。 图2 4 背景差法结果示意图 图2 4 中，图像a 为在没有车辆经过时段中拍摄得到的3 0 帧序列图像取灰度平均值后得到的背景图。 图像b 为序列图像中的有车辆经过的帧，图像c 为经过背景差计算并经过低通滤波后产生的图像。由图 2 - 3 c 和图2 - 4 c 可见，背景差法和帧差法对序列图像运动目标检测效果都比较明显。图像c 中上侧角的白 色点为人行道上行人运动后产生的结果。 综上所述，基于帧差、背景差的检测线法是种简单有效地检颡4 车辆的方法，比较适应车辆运动场景 比较简单的情况，如在高速公路、城市道路非交叉口路段这样的交通场景可以取得较好的检测结果。 下面讨论阈值的选取。 朗值分割的目的就是把运动车辆和背景分开。基于阈值的分割核心是区分前景和背景。它对每 一个像素点确定一个阈值，阈值的两边分别是前景和背景。这种方法对前景和背景有较强对比的情 况特别有效，对于本课题来说，车辆与路面的灰度差异一般比较大，所以比较适合使用本方法。 阙值分全局阈值和局部阈值两种，需要根据序列图像的背景复杂度进行选择。若车辆运动的背 景为简单的路面，则可计算全局阈值作为车辆检测的阈值，反之，若序列图像还包括除路面及车辆 以外的信息，如树木、房屋、行人等，则需要计算车辆序列图像的局部阈值作为车辆检测的阈值。 本文中的背景相对比较简单，所以采用全局阈值的计算方法。 全局阈值的选取包括很多方法，这些方法各有优缺点。其中，常用的方法有直方图法、最丈类 一6 第二章基于视频技术的车辆跟踪系统总体结构 问方差法、迭代法等方法。本文将在第三章中进行更详细的讨论。 ( 2 ) 边缘检测法 车辆目标最基本的特征之一是边缘。基于车辆边缘的边缘检测法通常效率较高，甚至可以检测出静止 车辆。当图像亮度发生变化时表现也较为稳健，因为边缘信息即使是在各种昏暗的光照环境下仍较为明显。 由于边缘是图像上变化比较剧烈的地方，在灰度变化突变处进行微分，将产生高值，因此在数学上可 用灰度的导数来表示变化。用于检测车辆边缘鲍方法有多种，如梯度算子、l a p l a c i a n 箅子、c a n n y 算子 等。 梯度算予是最常用的一次微分方法。比较典型的梯度算子有r o b e r t 梯度算子和s o b e l 梯度算子 r o b e r t 算子用对角方向相邻两个象索之差来检测边缘，而s o b e l 算子是做加权平均，然后再傲微分。 l a p l a c i a n 算子是不依赖于边缘方向的二阶微分算子。它是个标量而不是向量，具有旋转不变即各 向同性的性质。其表示形式为； v 2 ，似力= 挈+ 学 位。， 式中，f ( x ，y ) 表示连续图像函数。在数字图像情况中可以近似地表示为： v 2 ，( 工，y ) = ，( z + 1 ，y ) + f ( x - - ，y ) + ， ，y + 1 ) + ，以y 一1 ) 一4 ，( x ，_ ) ，) ( 2 4 ) 也可以用数字图像f ( x ，y ) 和下列模板的卷积来表示； 0l0 1 - 4 1 010 c a n n y 边缘检测是种比较新的边缘检测算子，具有很好的边缘睑_ 澳9 性能。c a n n y 边缘检测利用g a u s s 函数的阶微分滤波器进行滤波，能在噪声抑制和边缘检测之闻取得比较好的平衡。 将有车辆经过运动场景的图片，利用几种边缘检测算子进行车辆检测的结果，如图2 - 5 所示。 ，7 图2 - 5 边缘检测法结果示意图 东南大学硕士学位论文 图2 5 中，图像a 是序列图像中有车辆经过的帧，图像b 、c 、d 、e 分别是j 垂用r o b e l 算子、s o b e l 算子、l a p l a c i a n 算子、c a n n y 算子进行边缘检测的算法结果。由此可见，边缘检测法易受背景的干扰， 序列图像中的树木、阴影、房屋、行人，车道分割线、路边路面方向标志等信息都直接影响到边缘检测算 法的结果。 ( 3 ) k 均值聚类法 k 均值聚类法是按照一定的聚类准则将整个数据集分成个聚集的算法。在视频交通检测应用中，剩用 k 均值法就是将拍摄到的交通场景中自g 像素聚类为k 个表示不同物体的区域块。k o t t l e 提出了种k 均值 法的分害4 算法”，其聚类准则是利用了像素的三个特征：纵横坐标和灰度值，其中灰度值可以将属于不同 物体的像素分离，而坐标则决定了像素的归属区域。然而这种方法的缺点是分割区域的数目要作为初始参 数，显然在复杂的交通场景中，事先预测可以正确分割图像的区域数目是比较困难的，因为这取决于场景 中韵车辆数目为了解决这个问题，b a d e n 笛提出了一种多段5 t u l t is t a g e ) 分割方法，事先固定初始分割 区域数目( 6 l o 个) ，然后根据初始分割区域的密度和大小来决定是否对此区域继续划分“”。k 均值法产 生的最后分割区域数目不是固定的，产生的每一个区域块属于单物体，但一个物体却可能包含多个区域 这就需要后续的融合操作将多个区域合并为单个的r o i ( r e g i o no f i n t e r e s t i n g ，感兴趣区域) 。由于 不同物体间存在相对运动，面属于同物体的区域则不存在这种相对运动，先利用这特征来初步合并区 域再从时域分析区域块的运动矢量进步合并得到i l o i 。k 均值法是种有效的分割方法，但是它需要根 据先验知识而确定的初始值，同时在聚类过程中涉及到迭代运算，这使其在实时性要求极高的交通检测应 用中受到了一定的限制“”。 ( 4 ) 本文中选用的方法 比较e 述几种车辆检测法可知。边缘检测法具有易受背景信息、车道分割线、方向标志等干扰，如 果结合帧间差分结合起来，车辆在运动方向上的边缘在原理上不存在：聚类方法在复杂的交通场景中聚类 的目标数无法准确确定，而且计算量大，不适合实时处理；基于帧差、背景差的检测线法尽管不适应复杂 的交通场景如道路交叉口等处的车辆检测，但在车道的运动场景中，仍是一种比较简易可行的方法。因此， 本文选用检测线法来进行车辆检测。 检测线法中，用来检测车辆运动灰度变化舫法有背景差法和帧差法等。 帧差法运用车辆运动使图像的前后帧图像发生的变化来检测车辆的运动，但是车辆检测除了要检测 出运动车辆同时要检测出暂时不动的车辆，在这个方面，运动视觉无能为力。此外，由于车辆的体积较 大，很常见的，车辆在前后帧中有重叠部分，尤其是大货车，这使得帧间差分的结果主要为车辆头和尾， 车辆中间部分的差分值相对很小，这不利于拥挤情况下个车辆的分割 背景差法用当前帧图像与背景帧图像进行差分，运动车辆和暂时停止的车辆都可以检测。但是背景 会随着光照不同等而变化，有时变化是突然的，因此，背景的实时更新，是一个很重要的部分。图像分割 中的阈值的选择也是个难题。这些问题本文将在下一章中进行更详细的讨论。 综上所述，本文中选用了简单实用的基于背景差的检澳峨法作为进行车辆的检测的方法 2 2 2 车辆跟踪算法综述 车辆跟踪方法大致有以下几种。 ( 1 ) 基于动态轮廓的方法 动态轮廓模型跟踪方法的主要思想是先初始勾勒出车辆的轮廓并且不断地在后续帧更新轮廓进而达 到跟踪的目的。然而基于动态轮廓的方法在阴影和道路拥挤的情况下其效果会变得很差，因为阴影和车辆 之间的遮挡都会将本来相邻的多个连通块变为个，造成漏检和误检。这种方法优点在于计算量低，而缺 点是存在初始化困难的问题，并且在阴影和拥塞情况下效果欠佳。 - 8 一 墨三兰薹三堡墼塾苎塑圭翌垦壁至丝璺堡丝塑 ( 2 ) 模型法 基于模型的车辆检测方法，其优点在于能获得对图像内容的理解，而基于动态轮廓的方法实质上是对 待检测图像中的组像素进行检测和跟踪，属于非模型方法。换句话说，非模型方法只是将处理得到的待 检测图像中的运动块看作一组像素的集合，其缺点在于有可能把误分割形成的像素集合也检测为个车辆 对象：而基于模型的方法将这些像素看作是三维世界中的车辆在二维图像平面上的投影，经过与预先建立 的模型在图像块同一位置的投影相匹配，可以宜接得到车辆的长、宽、高及车辆类型等信息，它是个二 维到三维的匹配过程。建立适当的模型是这种方法能够获得对图像内容理解的前提条件，预先建立的模型 通常包括摄像机模型和车辆模型 摄像机模型描述了摄像机与交通场景之间的空间几何特征，包括摄像头与水平面倾斜的角度、光心的 空间位置、焦距等信息：车辆模型则描述了车辆的先验知识( 长宽高等信息) 。通常车辆模型的建立采取如 3 dc a d 或线框( w i r ef r a m e ) 模型的方法“。 基于模型的车辆检测方法首先求出r o i 的中心( x ，y ) 和运动方向a ，利用摄像机模型将中心点反投 影到真实三维世界坐标( ) 【，y 。z ) ，然后将o c ，y z ) 和。作为车辆模型在真实世界的位置参数，再利用摄像机 模型将车辆模型投影到图像平面上产生投影结果，将投影结果与原舳i 按一定准则进行匹配：最后依次将 所有的车辆模型投影到图像平面，找到匹配结果最好的模型，若匹配度大于一个阚值，基本就可以认定r o i 区域对应于匹配度最好的模型，这时就可以利用车辆模型的先验知识直接得到长宽高和类型等信息。由于 模型匹配的固定性，系统必须为每类车辆都设定个模板。这就存在一些问题，因为即使是属于同类 的车辆仍可能有不同的几何形状。同时模板方法通常都是假设车辆的亮度特征变化不大但在实际情况中， 环境光照、弱影和车辆重叠以及车身和车窗的光反射都可能造成同类型车辆的特征差异很大。为了解 决这些问题，sm a n t t i 首先用多幅车辆位置已经手工标定的图像对神经网络进行训练。然后用经过训 练后的神经网络来识别车辆【刎。此外，利用可变形模型分割和识别车辆也是解决车辆外形差异较大 所带来问题的一种可行方法p 1 铡。 虽然模型法能够获得对图像内容的理解，但建立摄像机模型时需要测量详细的摄像机与交通场 景之间的空间几何特征，这使这种方法在实际应用中存在者很大的局限性。同时模型法稳健性也不 够高，当摄像机由于外力原因产生微小角度变化时就可能造成检测失败，且对遮挡情况下的车辆也 会发生误检。 ( 3 ) 基于时域的运动估计法 基于时域的跟踪方法就是在时域t 跟踪车辆检测模块检测出的个个像素连通块。这些块区域表示检 铡出的车辆。这种方法在车辆稀少时效果比较好。这种车辆检测方法的核心思想是通过时域的运动估计跟 踪图像序列中的运动物体来提高分割的准确性，将车辆跟踪过程和图像分割过程结合起来。进而减少计算 复杂度，提高系统的实时处理能力。它综合考虑了空域和时域信息。在匹配不同图像帧中表示同车辆的 运动块的过程中，可以得到被跟踪车辆在n 帧序列图像中的形态演变，因而也就有可能预测其在n + l 帧中 的形状，从而能纠正车辆图像的误分割情况，如运动块突然出现、消失以及形状突变等。这种方澌其他 车辆检测跟踪方法主要的不同在于分割过程和跟踪过程是同步进行的，而不是在跟踪过程前就有了明确的 分割结果。 运动估计的方法有基于光流方程( 0 f e ，o p t i c a lf l o we q u a t i o n ) 的方法、基于块的分析方法、像象 素递归法、贝叶斯法等方法。 基于o f e 的方法根据空间亮度梯度来得到个光流的估算。对于灰度图像，o f e 需要和合适的时空平 滑度约束条件联合使用，这个条件要求位移矢量在附近区域缓馒变化。对于彩色图像，o f e 可分别施加于 每个颜色带，从而约柬三个不同方向的位移矢量。适当的平滑度约束条件对于跟踪的结果非常重要。 基于块运动的估计方法，是在假设图像是由运动的块构成的前提之下，有两种常见的通过逐帧确定块 位移的方法：相位相关法和块匹配法。相位相关法通过两个相邻帧之间的付里叶相位差的线性项来确定运 动轨迹，块匹b 法利用“距离准则”搜索下帧( 车或上帧) 固定大小的最佳匹配块的位置。两种方 9 东南大学硕士学位论文 法都适用于平移运动。此外，综合的块匹配法可以插入到其他的空间变换中，来跟踪更加复杂的运动。 像素递归法将预测值作为前一个像素位置的运动估算值，或作为当前像素邻场内的运动估算线性组 合。依据该像素上的位移帧差梯度最小值，对预测作进步修正。像索递归法是预钡4 校正型的位移估算器。 贝叶斯法利用随机平滑度约束条件，通常采取g i b b s 随机场方法来估算位移场，需要通过大量的计算 来进行运动估算。 因此，本文中的车辆跟踪算法主要根据运动估计算法进行。由于计算条件和本文写作时闻等条件的限 制，本文将仅对前两种运动估计算法即基于0 f e 的方法和基于块的分析方法作进步的探讨。 1 0 第三章基于检测线的车辆检测研究 第三章基于检测线的车辆检测研究 3 i 检测线法车辆检测算法 将检测线的设置在与车道垂直的方向，占用8 个像素的宽度。检测线车辆检测的算法步骤如下： ( 1 ) 通过计算序列图像的灰度均值或通过统计灰度频率，得到研究区域的背景图像。 ( 2 ) 确定检测线的宽度、位置。 ( 3 ) 计算当前帧和背景图像之间的差，探测检测线上的灰度变化。 ( 4 ) 计算差分图像检测线上块的平均灰度。 ( 5 ) 计算差分图像检测线上的分割闽值。 ( 6 ) 比较检测线上块的平均灰度和阈值，若连续的块灰度变化大于阈值，给这些块标记上初始的标 号。本论文中，由于是对实地采集的录像进行计算和分析用于验证车辆跟踪的算法，因此，标号从1 开始 累计。若检测线上有两处甚至更多的连续的块的回度变化大于阈值，分别给这几处连续的块标上不同的连 续标号，有几处标号数字累计几次。 ( 7 ) 逐帧重复步骤( 3 ) ( 6 ) ，探测检测线上的车辆，隔一段时间进行一次背景更新操作。 算法流程图如图3 1 所示。 图3 - i 车辆检测算法流程图 东南大学硕士学位论文 3 2 背景提取方法 道路背景指的是道路上没有车辆运行的图像。背景图像可由人工拍摄幅没有车辆的i 虱像来得到，也 可以通过序列图像的平均来得到，或者通过统计计算灰度频率来得到。由于交通系统的繁忙，而系统的安 装调试不可能要求交通暂停，所以系统必须依靠有车辆运行的图像来得到道路的背景图像。在这里有这样 几个方法： 图像时间平均：由于车辆的多样性，车辆上的像素点的亮度值有的比路面的值高，有的比路面的值低， 车辆有各种色彩，所以，从统计的角度来看，图像中因为各个车辆的经过而引起的变化在长时间平均后， 可以忽略。从而可以利用有车辆运行的一段图像序列进行时间平均来得到道路的背景图。 按照图像序列中出现频率判别：同样的，由于车辆的多样性，从统计的角度来看，路面上的点被相同 的车辆上像素值搜荒的可能性较小。从而，统计在一段时间内，各个像素点上，不周的值出现的频度：其 中出现最多，即在统计直方图中，处于最大峰值的值对应的一般为路面本身的值。这个方法的问题在于， 当道路十分繁忙时，统计直方图中峰值的会受到削弱，甚至不再是最大值。 按照单图像中出现频率的判别：相同的由于道路上同时存在的车辆不可能都是一样的，所以在单幅图 中，也可以统计出各个像素点值的直方图，其中处于最大峰值的为路面的值。这个方法建立在路面的简单 性上，即极易受到路面复杂性的影响，比如路面上的标志无法区分，路面光照不均匀的影响。 因此，采用简单的时间平均的方法，6 0 0 帧的图像序列中的每隔3 帧进行平均，用公式表示为： 地2 专荟正 叫( n l , n 2 2 0 0 ) 1 ( 3 1 ) 式中，f ( 啊，n ：) 表示最后得到的背景图像像素点灰度矩阵，( 碍，他) 表示第i 帧图像，啊，表示 数字图像的位置。 之所以选取每隔3 帧的序列图像进行平均，是为了减少计算量，提高运算速度。根据采样频率的大小， 所选取的帧步长也可做适当调整。 在实际程序中，为了减少对存储空间需求，提高运算效率，通常使用递推的算法，读入帧图像计算 一帧酎像。方法如下： 1 目+ z ( 碍，也) 2 高【喝( n l , n 2 ) + 厶“( 巩肝2 ) 】，= ( n - i ) ，疗2 1 ，。，2 0 0 3 2 式中，表示目“( 啊，) 表示第n + 1 次循环的背景结果，为采样的步长a 将公式( 3 2 ) 中的步长z 取3 ，即每隔3 帧取序列图像进行平均，得到的计算公式即相当于公式( 3 1 ) 所表示的平均计算。 此外，为了避免摄像机拍摄的序列图像的背景的复杂性，在进行实验时，可以调整摄像机的拍摄角度 和焦距，使得拍摄得剑的序列图像背景相对简单。 实验结果如图3 - 2 所示。 由图3 2 可见，在递推算法的初始阶段，车辆的影响较大，如图3 2 a 、图3 - 2 b 所示。随着递进算 法的进行，用来计算平均值的图像越来越多，则每一帧的影响都逐渐减小，直到最后第2 0 0 帧的i 刘像所占 的权重为l 2 0 0 ，所得到的背景也逐渐接近无车辆时拍摄的背景。 1 2 - 第三章摹于榆测线的车辆柃测研究 e 前1 6 0 帧平均结果 3 3 背景更新方法 图3 - 2 背景提取示意图 前2 0 0 帧平均结果 由于交通场景中背景受到因素的影响：阳光照射强度变化、角度变化，云层对阳光的遮挡情况 变化，以及一些不可预测的路面情况的变化，它的变化情况较为复杂。一般来说，这种变化是较为 缓慢的，但是对背景差法的效果影响很大。为了能让车辆检测系统能够稳定可靠地工作，需要对背 景进行实时的更新。 背景的更新由于是像素级的加权平均操作，所以计算量较大。在一般情况下，。背景的变化除去 整体的光线变化外，其他的变化是较缓慢的，所以采取每2 0 0 帧进行一次背景更新。为了减少计算 时间，设计更新的权为2 的负整数幂，从而在程序优化中，可以用移位来加快计算速度。本课题中 选择权为1 6 4 ，每隔三帧取背景图像进行计算，递推公式如下： j _ ( 啊，瑰) = l 6 3 f ，( n a ，恐) + 厶( 啊，他) 】，= 3 。一1 ) ，拧= 1 ，2 0 0 ( 3 3 ) - 1 3 东南大学硕士学位论文 开始递推之初，新读入的背景图像赋值为平均背景，即e 。( 吩，他) = e “( 啊，也) ，2 0 0 帧的循 环计算结束后，得到新的背景只。( m ，也) 。 3 4 阈值的选取 在本论文中，先将当前帧与背景图像进行差分计算后得到差分图像，再根据差分图像计算分割 阈值。从理论上说，背景差分得到的图像，应该是背景的部分灰度值接近0 ，但是由于噪声的影响， 得到的背景著的图像通常是不理想的。因此，需要对背景差分得到的图像进行滤波处理。经过实验 比较分析，通过低通滤波器的结果比较接近预期。如图3 3 所示。 a 前2 0 0 帧背景平均结果b 序列图像中有一辆车经过的帧 c 直接计算背景差结果d 低通滤波后的结果 图3 - 3 背景提取滤波处理结果 可见，滤波后得到的图像车辆和背景的灰度差异比较明显，有利于下面通过阈值进行车辆的检 测计算。 全局阂值的选取方法有很多，常用的方法有直方图法、最大类间方差法、迭代法等方法。 3 4 1 直方图法 直方图分析是利用图像灰度的分布来确定阈值，如果前景内部具有均匀一致的灰度值并分布在 另一个灰度值均匀的背景上，那么其灰度直方图将有明显的双峰，可选择两峰之间的谷底作为阈值。 要处理的背景差分图像，若车辆与背景的灰度相差比较大，则其双峰值相差较大，且当车辆较 少的时候，汽车部分的灰度值在直方图上出现的峰值并不明显。 - 1 4 - 第三章基于检测线的车辆检测研究 图3 4 是一个只有一辆车经过场景的例子。图a 为经过线性滤波处理的背景差图像，图b 为它 的直方图。可见，有车辆的部分由于其灰度值所占的比例比较小