（信号与信息处理专业论文）基于视频的车辆目标检测与跟踪技术研究.pdf

扬州大学硕士学位论文 扬州大学学位论文原创性声明和版权使用授权书 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下独立进行研究工作所取得的研 究成果。除文中已经标明引用的内容外，本论文不包含其他个人或集体已经发表 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标 明。本声明的法律结果由本人承担。 学位论文作者签名i 司复率 签字日期：- 吕年6 月g 日 学位论文版权使用授权书 本人完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向 国家有关部门或机构送交学位论文的复印件和电子文档，允许论文被查阅和借 阅。本人授权扬州大学可以将学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国 科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网 络向社会公众提供信息服务。 t d另 学位论文作者签名：1 习袅耳 导师签名：14 弓 i一 签字日期： 岛年6 月云日签字日期：膨年月9 日 周爱军：基于视频的车辆目标检测与跟踪技术研究 摘要 运动车辆的有效检测和准确跟踪是现代智能交通研究核心部分。本论文在总结 和分析现有的车辆检测和跟踪技术的基础上，重点研究摄像头固定下运动车辆的检 测和跟踪技术，其中主要涉及到运动车辆的检测与提取、运动车辆阴影去除方法、 运动车辆的跟踪等方面的内容。基于视频的检测跟踪系统易于安装、工作稳定、具 有丰富的可视信息，代表着交通监控系统的发展方向，是目前国内外研究的热点。 背景差分法是一种重要的视频车辆检测方法。该方法建立一个参考背景图像 并将其与当前输入图像进行比较，从而分割出前景目标车辆。由于实际交通道路状 况受气候、光照缓慢变化及树木扰动等多种因素的影响，变化非常复杂，针对这一 问题，本文研究了一种存在运动目标情况下的背景重建算法，能较好地抑制外界环 境变化带来的影响，可将动态背景获取及更新过程合二为一，具有较好的实时性。 目前基于图像特征匹配的车型识别中大多采用灰度、边缘等特征，这些识别 方法通常耗时较大。本文通过计算待检测车辆与三类标准样本h a r r i s 角点的 h a u s d o r f f 距离，距离最小的样本作为待检测车辆的车型，实验结果表明该方法识 别精度高且计算量小。最后利用h a r r i s 角点对车辆进行了测速。 针对跟踪车辆所需计算量大、车辆遮挡等难题。本文对车辆跟踪进行了初步 研究，利用卡尔曼滤波理论建立运动模型，通过车辆特征如位置、边缘等进行预 测，预测得到的运动目标和当前帧中的目标进行匹配，寻找运动目标在图像序列中 各帧中的对应关系，确定其运动轨迹。当车辆发生遮挡时，利用遮挡前边缘与遮挡 时的边缘更新匹配模板，实验结果表明，该算法能够对运动车辆进行有效跟踪。 对上述算法进行了仿真实验，结果表明其算法检测精度高、实时性好，在高速 公路自动收费站、自动收费停车场等场合具有较高的实用价值。 关键词：目标检测；边缘提取；h a 耐s 角点；车型识别：山 i l 锄滤波；车辆跟踪 2 扬州大学硕士学位论文 a bs t r a c t e 任e c t i v e 砒1 da c c i 碳l t ed 鼬e c t i o na n d 仃a c i 洫go fi n o v i i l gv e k c l e si i lv i d e os e q u e n c e s i sm ek e yt 0m o d e mi i l t e l l i g e n t 雠i cm o l l i t o r i n gs y s t e m s 1 t l ：r o u 曲s u r 帆i n gu pa n d a n a l ) r z i l l gt l l ec h a r a c t e r i s t i c so f 耐s t i n gm e t h o d si i lv e l l i c l ed e t e 砸o n 锄d 仃a c k i l l g ，廿l i s p a p l e rp a y sg r c a t 甜e n t i o nt 0i l l v e s t i g a ：t et h ep 删i c a lt e c h i l i q u e sf o rm o v m go 场e c t s d e _ t e c t i o na 1 1 d 蛐gu n d e r 吐屺c o n d i t i o no fa 缸e dc c dc a 麟黼， 硫l u d i l l gs u c h t e c h e l i q u e s 嬲蝴a t i cd g 眦t i o no fm o v i n go 场e c t s ，e l i i n i n a t i o no fe x 缸as h a d o w so f v e t l i c l e s ，仃a c k m go fm 0 、柚gv e l l i c l e s ，甜l ds 0o n b e c a u s eo fm ea d 【v j m t a g eo fe 弱i l y 叙堍，9 0 0 dr e i i a b i l 时a n da b 蚴v i s i b l ei i l f b 咖a t i o 玛t h i ss y s t e mb e c o m e sm e d i r o c t i o no ft t l ed e v e l o p m e n to f 廿a 街cc o 曲吣ls y s t c i m 狃dt h er e s e a r c hh o tt o p i ca th o m e 甜l d a b r o a d p r e 刚y t h eb a c k g r o u n ds 汕删o ni s 孤m l p o r t a i l t 印p r o a c hi n 、，i d e o - b 勰e dv e l l i c l e d e t e c 6 0 n t h ea p p r o a c hs e g m e n _ t sm o v i r 培v e 帖c l e si l lt l l ec a m e r a sf i e l d - o 矗v i e wn l r o u 曲 n l ed i 丘醯e 蛐c ek 炳) l ，e e nar e 传r e n c e 矗锄赡，c 村l e dr e f 柏1 c e db a c k 印u i l di l l l a g e ，a n dm e c u r r e n tm p l i tf 疏n e i i lm ep f o c e s so f v i d e oo b t a i r 血g ，o u t s i d ee n v i r o 姗e mv 蜀l r i a _ c i o ns u 煅 勰l i 位l ed i m e r i i 唱o fv i d i c o n ，s l o wv 撕a t i o n a ld a y l i g h t 锄dt h es w a yo f 缸优谢l ia 妇弩c tt l ：屺 p r e c i s i o no fm o v i i 坞协喀e td 酏e c t i o n a i l l l m ga t 吐l i sp r o b l e m ，吐l ep a p 屺! rp r e s e n ：t sai n e m o d o fb a c k g r o u i l dr e c o i l s 协t i o i l ，i 1 1w i l i c ht h e r ea r em o 、缸g t a 略e t s i i ls c e n e t h e b a c k g r o u n dc a nb e 由删c l yu 1 ) d a t e d i tc a nd e c r e a s et l l e 幻n u e n c eo fo u t s i d e e 】”俩n m e n tv 撕a t i o na i l ds h o r t e nt 1 1 et i i n eo f m e a s u r e r n e n t c h a r a c t e r sm a t c l l i n gt or e c o g l l i z en l et ) i p eo fv 出c l e sb ye d g eo r 卿a l w a y sh a 、，ea l 鹕ec o n l p u t a t i o n t h sp a p l e rc a l c u l a t e sm ed i s 切n c eo fh a u s d o mb 咖e e n 1 eh a r r i s c o m e rw i l i c hi l e e dt ob er e c o g i l i z e da n dt i l et t l r e et y p e so fs w a l c h e s t h et w ow h o s e d is t 砒l c eo fh a u s d o r 行i ss m a l l e s tc o u l db ej u d g e d 嬲t l l es a i n et y p e e x p e 而n e l 】临r e 驯血 s h o 、s 吐l a tt h em e m o d c o u l d 寥ta1 1 i 曲r e c o 鲥t i o np r e c i s i o na n dl e s st i r n e c o l l s n i i l g a c l 域w em e 撇t l l ew 壮c l es p e e db yh 耐s c o n l e l f o c u s h 培o nn l ep b l e mc a u s e db yt i l n e - c 0 i l s u m i n gc o m p u t a t i o na l l dm _ u l t i v e l l i c l e s o c c l u s i o nmo 场e c t 们c l ( i i 培，t l l i s 球l p 盯i m ，e s t i g a t e sn l eb 嬲i c 舰c k 洫gm 劬o do fm o v i n g v e l l i c l e sb a s e do nm em e o 巧o f 蹦m a nf i l 航t h em o v i i l gm o d e lo fv e l l i c l ei se 鼬l i s h e d 筋mk a l m a nf i l t i e rt e c h l l i q u e ，锄dt h cp o s i t i o na 1 1 de d g eo f l ev e k c l ea r eu s e d 如r 周爱军：基于视频的车辆目标检测与跟踪技术研究3 e s t i r i l a t i o n 觚dm a t c ho ft i l e 缸i 础go 巧e c ti i lm ec 0 璐e c u n v e 盘如鸲s 1 1 l ee ) 【p e d m e m 甜 r e s u l t ss h o wt l l a tt h e 印p r o a c h 位i c l ( st h em o v i n gv e i l i c l ee m c i e n u y t h ea ：b o v ca l g o r i 也mh 嬲b e e n a l i z e db ye x f 惯i i i l e 鹏t h ce x p e 痂n e n t a lr e s u l t s s h o wn l a t 也ea l g o r i n l mh 弱t h ea d v a m a g eo f l l i 曲p r e c i s i o na n dl e s sc a l c l d a t i o n nh 铺a 9 0 0 dp r a c t i c a l 砌u ei i lt o ns 切以o i l so n 舶e ，a y ，a u 幻m a t i c 岫p 砌( s 锄ds 0 眠 k e yw o r d s ：o b j e c td e t e c t i n g ；e d g ee x 仃a c t ；h a r r i sc o n l 盯；v e l l i c l er e c o 鲥缸o n ；k a l i i l a i l f i l t e r ；v e “c l e 慨k i n g 4 扬州大学硕士学位论文 1 绪论 1 。1 课题研究背景及意义 智能交通系统( i n t e l l i g e n c et r a n s p o r ts y s t e m ，i t s ) 是目前世界交通运输领 域的前沿研究课题，它融合了电子信息技术，通信技术，自动控制理论，计算机技 术和传统的交通工程学理论等多个学科的理论，并将其应用于现代的交通运输管理 体系中，从而实现交通运输服务和管理智能化口3 。 智能交通系统在监控、管理中需要采集大量的交通信息。传统的信息采集方式 是人工采集，通俗地讲就是借助于人类的器官，通过笔、纸、秒表等简单工具测 量，这种人工采集的方法早已不能满足信息管理系统的智能化处理需求。随着科技 水平的不断提高，我们完全可以利用传感器代替人的器官，以电信息形式代替纸质 记录数据，实现交通管理的智能化、电子化处理。 以感应线圈方式、红外感应、超声波、雷达监测技术为核心的车辆检测设备的 大量涌现，为交通信息智能化处理提供了条件。可是这些技术存在着安装复杂、成 本高昂、使用周期短、监测误差大等缺陷，难以替代人类器官，特别是难以获得占 人类信息来源9 0 的视觉信息。在进入八十年代后，随着数字芯片技术和计算机技 术的飞速发展以及人们在视觉生理学、光学、数学等领域的深入研究，基于计算机 视觉的检测方法，在理论上得到了扩充、算法上得到了改进、技术更加成熟，该技 术已从实验室走到了现实应用中。其实施安装简便、检测可靠、适于网络化处理、 维修便利，受到客户的青睐，已经成为其它技术的替代品。 因此本文主要研究基于视觉的运动车辆的检测与跟踪。本文的最终任务是：以 公路为检测区域，高架拍摄的录像为研究对象，采用改进的图像处理算法检测出运 动车辆；识别出车型；并跟踪其运动轨迹。 随着我国国民经济的快速发展，交通运输与社会经济生活的联系越来越紧密， 因而对交通运输的各种需求明显增长。虽然我国的交通建设和运输取得了巨大的成 绩，但仍然面临着巨大的挑战，第一，城市化与汽车化发展十分迅猛。城市化的迅 速推进特别是大城市规模的扩张，带来了城市交通需求特别是机动车数量的迅速增 长。第二，相对于我国的国土面积来说，公路仍然是里程少、密度低、标准低和路 况差，在5 0 的国道上，实际车流量远远超过设计能力，路网整体服务水平低。第 三，交通量急剧上升，交通事故增加，交通拥堵，能耗上升。面对以上种种挑战， 周爱军：基于视频的车辆目标检测与跟踪技术研究 5 除了继续加快基础设施建设外，还加大了对智能交通系统( i n t e i i g e n tt r a i l s p o r c a t i o n s y s t e i i l s 简称i t s ) 的研究与开发力度。1 9 9 6 年开始组织了r r s 领域的一系列国际 交流和合作。1 9 9 7 年和1 9 9 8 年由欧盟委员会信息总司和中国国家科技部( 原国家 科委) 共同组织在北京和布鲁塞尔召开了中欧智能交通系统研讨会【z 吲。通过i t s 提 供的通信和信息服务手段能够加快事件响应和处理速度，充分发挥运输方式的协调 性，从而提高道路的通行能力，实现以效率为核心的集约型交通发展的转变。i t s 的提出来指明了未来我国交通的发展方向。 1 2 基于视频的车辆目标检测与跟踪技术及其发展 智能视频监控主要是针对包含运动目标的图像序列进行分析处理，它通常涉及到 运动检测、目标跟踪、目标分类、及事件检测几个部分。智能视频监控的一般性处 理框架如图1 1 所示，其中，运动检测、目标分类、目标跟踪属于低级和中级处理 部分，而事件检测则属于高级处理，它们之间也可能存在功能的交互和交叉。复杂 背景下目标提取识别和跟踪是视频监控的核心技术，也是研究的难点和热点，这两 个方面是本文研究的重点内容。下面将重点从处理方法入手回顾目标检测提取、识 别和跟踪方面的发展现状。 图1 1 视频监控框架 智能视频监控技术的主要内容之一就是监视特定场景中是否有新目标出现，这 个任务的基本内容可以分成两个方面，首先在视频序列中检测到目标，其次把目标 提取出来。目标的检测就是观测视频序列图像，检查图像序列是否有变化，如果有 变化则说明有目标出现，否则认为没有目标出现。而目标的提取就是当检测算法发 现有目标出现时，把这个目标从视频序列图像中分割提取出来，为下一步目标的跟 6 扬州大学硕士学位论文 踪和识别提供数据。 1 2 1 基于视频的车辆检测技术及其发展 现有的运动目标检测方法可以归纳为四种【5 】：光流法，时间差分法，运动能量 法和基于背景估计的方法。 ( 1 ) 光流法 光流法酮根据连续的几帧图像计算各像素运动的大小和方向，利用运动场区 分背景和运动对象。光流法的优点是能够检测出独立的运动对象，而不需预知场景 的任何信息。但是光流法的效果依赖于光流估计的准确程度，并且计算量特别大， 除非有特殊硬件支持，否则很难实现实时检测。 ( 2 ) 时间差分法 时间差分 争1 0 】方法，即帧间运动分析，是在连续的图像序列中两个或三个相邻 帧间采用基于像素的时间差分，并且通过阈值化来提取出图像中的运动区域。例如 l p t o n 等利用两帧差分方法从实际视频图像中检测出运动目标，进而用于目标的分 类与跟踪：一个改进的方法是利用三帧差分代替两帧差分，如v s 以m 开发了种 自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出 运动目标。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能 完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。 ( 3 ) 背景减除法 背景减除方法l l 卜乃j 是目前运动分割中最常用的一种方法，它是利用当前图像 与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数 据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的 背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型， 希望减少动态场景变化对于运动分割的影响。s 诅1 i r 与g t i m s o n 利用自适应的混 合高斯背景模型，对每个像素利用混合高斯分布建模，并利用在线估计来更新模 型，从而可靠的处理了光照变化、背景混乱运动的干扰等影响【14 j 。该方法能够提 供最完整的特征数据，但是其对于动态场景的变化，如天气、光照以及树木扰动等 特别敏感。因此，如何获取一个具有实时更新能力的背景是关键。 1 2 2 基于视频的车型识别技术及其发展 在i t s 中，基于视频图像的运动车辆识别技术是自动采集车辆特征信息产品的 周爱军：基于视频的车辆目标检测与跟踪技术研究7 重要技术基础，也是目前相对薄弱的技术环节。作为i t s 重要前端设备的核心技 术，基于视频图像的运动车辆识别技术在交通管理中起着重要作用。由于车辆类型 是i t s 中的重要信息，因此以车型识别为核心技术的产品也就成为了i t s 领域越来 越迫切的需要。 车辆识别通常包括车牌识别和车型识别【15 1 。本文着重研究的是车型识别技 术，在车型识别中，可按照车辆大小将车辆分为超大型、大型、中型、中小型和微 型等；按照外形来区分则可分为货车、客车、轿车等； 目前常用的目标识别算法通常都采用两种策略：一种是不管待识别目标为何种 类型，先对待识别图像进行分割、标识及特征提取等预处理，然后将分割出的目标 区域的特征参数与目标模型相匹配，其优点在于具有较好的适用性，不足在于盲目 性强，导致了计算量较大。第二种策略是首先根据待识别目标的模型，对图像中可 能存在的特征提出假设，然后再根据假设进行分割、标识及特征提取等预处理，在 此基础上与目标模型相匹配，其优点在于预处理时已具有一定的先验知识，一定程 度上消除了盲目性，提高了算法的效率，其不足之处在于待识别目标改变时，假设 也必须随之改变，因而代换性差。 i 目前的车型识别方法大致可以分为两类：基于模式识别的方法和基于图像匹配 的方法【1 6 】。前者是根据车辆目标的某特征参数在具体的空间或时间的分布，用模 式识别理论将其归类识别，而后者则是通过待识别车辆与车型模板相匹配来完成车 型识别的。 基于模式识别理论的车型识别流程如图1 2 所示。 车辆信特征选分类器车型决 息获取择提取的设计策分类 图1 2 基于模式识别理论的车型识别流程 其中最为关键的步骤是特征选择提取与分类决策。不同的车辆具有各种各样 不同的特征，在分类决策时，需要可以将车辆区分为不同类型的特征，在选取特征 时应该尽可能的选择对于不同车型差别较为明显的特征参数。 基于图像匹配的车型识别方法流程如图1 3 所示。 8 扬州大学硕士学位论文 车辆信 特征选 图像 车型 息获取择提取匹配识别 图1 3 基于图像匹配的车型识别流程 基于匹配的识别方法大致可以分为如下几种： ( 1 ) 区域匹配 区域匹配的思想是把参考图像的某一块整体与实时图像在所有可能位置上进 行叠加，然后计算某种图像相似性度量的相应值，最大相似性相对应的位置就是目 标的位置。 ( 2 ) 特征匹配 特征匹配是在提取特征后，对特征属性矢量( 点、边缘、线段等) 作相关度 计算，相关系数的峰值即为匹配的位置。m o 撇c 在1 9 9 7 年就提出了利用图像灰 度自相关函数的特征点检测算子1 7 】；h a l r i s 等人提出了m o 均：v e c 算子的改进算子， 该算子对于图像存在旋转、照明变化和透视变形时均可以稳定的完成匹配【l 8 1 。 ( 3 ) 模型匹配 由于目标在运动中会有旋转、大小的变化，固定的模板已经不能满足准确匹 配的要求，因此出现了变形模型。j a i l l 将变形模型分为自由式变形模型和参数式变 形模型【1 9 1 。1 9 8 7 年i ；溘；s 等人提出s n a k e 主动轮廓模型是一种典型的自由式变形模 型2 们，由控制平滑度的轮廓内部能量、吸引轮廓到特定的图像能量和外部约束能 量的组合来控制和约束，它充分利用形状的全局信息，对发生形变的目标轮廓进行 匹配。为给定一个适合的初始化轮廓，m e n e t 等人提出了b s m k e ，轮廓的表达更 加有效，更加结构化【2 。 1 2 3 跟踪技术及其发展 运动车辆跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色 彩等有关特征的对应匹配问题，运动目标的跟踪大致可以分为基于区域相似的方法 瞄l 、基于模型的方法i 、基于特征的方法【2 4 j 、基于轮廓的方法f 2 5 艺6 1 四种。 相关匹配法( 或模板匹配法) 是较早出现且最基本的跟踪方法。它利用图像之间 灰度的相关性作为区域相似的判据，在下一帧中寻找与上一帧对应目标区域( 或模 板) 相关性最大的区域。该方法适应性强，被研究者广泛采用。模板匹配法的关键 是获得模板、模板的更新以及搜索域的快速确定。j o l l y 在模板匹配基础上提出了 周爱军：基于视频的车辆目标检测与跟踪技术研究 9 一种可变形模板匹配算法【2 刀，以此来改进固定模板匹配的不准确性，但模板的初 始化参数难以确定。最近流行的i n e a n - s h i f t 算法是为了缩小匹配搜索域，在匹配过 程中按照m e 锄s l l i f l 向量向最大相似度区域搜索1 2 8 1 ，能实时处理，可是跟踪尺度变 化、形状变化的目标仍然困难。 d k o1 1e r 等在m o d e l b a s e d0 场e c t 掀j n gi i lm o n i d c u l a ri m a g es e q 卜圯n c e so f r 0 a d 一文【2 9 】中提到的基于模型的跟踪，该方法需要事先建立车辆的三维信息， 初始化这些三维模型十分困难，而且必须针对不同的车辆建立不同的模型，计算量 大，不利于实时处理，所以该方法应用的较少。 为了充分利用目标固有特征来跟踪，出现了基于特征的跟踪。首先在一帧图像 中选取一些特征，然后在随后的各帧中利用约束条件来对这些特征跟踪。比如日本 学者y o s h i d a u y a 等提出的基于特征点的跟踪f 3 0 j 。该方法存在特征聚类的问 题，即需要判断众多的特征中哪些是属于同一辆车。 1 3 本文研究内容 运动区域检测、目标分类( 车辆识别) 、车辆跟踪是智能交通中三个重要阶段 1 3 。首先由摄像头拍摄获得序列图像：然后对序列图像进行运动区域提取；将提 取出的运动区域送到车辆检测模块中按照一定的判断准则识别出车辆；在跟踪模块 中为每辆车建立运动轨迹序列，从而实现跟踪。 本文按照运动车辆检测、车辆识别、车辆跟踪的三阶段思路。从传统的三种 运动检测方法入手，介绍了三种方法的原理，总结了优缺点，最后选择背景差分法 作为运动区域提取的方法；针对传统车型识别方法耗时大，识别精度低的问题，提 出了一种基于h a r r i s 角点的车型识别方法吲；最后利用k a 】m a n 滤波器及边缘匹配 跟踪跟踪车辆。 具体安排如下： 第一章绪论，介绍了运动车辆检测识别与跟踪在智能交通信息管理中的重要 性，概述了最近国内外基于视觉的运动车辆检测识别与跟踪技术发展概况，指出了 本课题主要研究内容。 第二章运动车辆检测技术研究。介绍了传统的三种运动区域提取方法，根据各 种方法的优缺点，选择出本文基于背景差分的算法，并结合交通场景的实际提出改 进【3 3 侧；针对摄像机轻微抖动、外接光照缓慢变化及树木扰动等外界环境变化将对 运动目标检测产生较大的影响，本文研究了一种存在运动目标的情况下的背景重建 l o 扬州大学硕士学位论文 算法，能较好地抑制外界环境变化带来的影响，将动态背景获取及更新过程合二为 一，具有较好的实时性；针对阴影严重影响检测结果，采用基于h s v 空间变换的 方法可有效去除目标阴影。 第三章运动车辆的车型识别技术研究。针对传统特征匹配识别耗时较大，研究 了一种基于车辆h a r r is 角点的车型识别方法，首先提取待识别车辆的角点，然后 计算待检测车辆与标准样本h a r r i s 角点的h a u s d o r f f 距离，距离最小的即为识别 出的车型。 第四章运动车辆的跟踪技术研究。本章采用基于k a i m a n 滤波器和边缘匹配方 法实现车辆的跟踪问题，首先利用k a l m 眦滤波器预测出车辆下一帧中的位置，然 后在预测区域利用边缘匹配精确定位车辆位置。跟踪过程中当车辆被遮挡时，利用 遮挡前边缘模板与遮挡时检测的边缘实时更新模板，可以有效解决遮挡这难题。 第五章总结与展望。对前几章提出的方法和处理过程中存在的问题进行分析， 提出下一步的研究方向设想。 周爱军：基于视频的车辆目标检测与跟踪技术研究 1 l 2 视频序列车辆检测技术研究 在智能交通系统中，用讨算机视觉技术实现运动车辆的自动检测是车辆检测与 跟踪的第一步，也是最重要的一步。准确、及时地检测出运动车辆是后续对车辆信 息提取、车辆跟踪、行为分析等处理的根本保证。车辆检测主要目的是从视频图像 中提取出运动区域，从中识别出运动车辆并获得其特征信息。 2 1 视频图像序列采集 c c d ( c h a r g ec o u p l e dd e v i c e ，电荷耦合器件) 摄像机是目前应用最广的视频 采集器件，其具有小型、重量轻、寿命长、工作电压低、图像失真小及抗灼伤等优 点| j 川。本文采用c c d 摄像机来采集车辆运动视频，安装位胃一般取路而正上方或 路侧，拍摄速率一般可取1 0 b p s 、3 0 b p s 等( b p s 为每秒钟拍摄的帧数) 。用c c d 摄 像机摄取到车辆视频后，还需要利用图像采集卡来将数字摄像机摄取到的视频数据 或者视频音频的混合数据导入电脑，并转换成电脑可辨别的数据存入电脑中，成为 可以编辑处理的数字信号。视频采集卡的功能是从视频中获取单帧或连续帧的图像 序列，并以高速率( 其传输速率可达几百兆秒) 压缩存储到计算机中，获取采集 到的包含运动车辆的视频序列图像，如图2 1 所示，其中a 为正常情况下采集的视 a 比较理想视频序列 滋滋麓蠡谶纛溢鬣篱纛遴鋈遴 b 恶劣条件下视频序列 图2 1 视频序列图像 1 2 扬州大学硕+ 学位论文 2 2 车辆检测算法 本文采用基于背景减法的车辆检测方法，其整个过程如图2 2 框图所示 l 扶l ) ( 连遍l 薹域1 c 约求条仆削婷j 适迎l i 域： 图2 2 背景减法检测下辆沉栏 2 2 1 重建背景帧 由于视频采集过程中，交通场景不可能静止，因此从视频中提取出来的序列图 像通常都含有运动车辆或行人。如何从序列图像中重建背景是本文基于背景减法检 测车辆的一个重要问题。考虑到摄像机固定，背景图像变化比较缓慢，而运动对象 相对于背景变化较快，也就是说背景像素点的灰度值变化比较缓慢，而运动目标对 应的像素点灰度值变化相对较快。实际上每一幅图像都可划分为两类区域：一类区 域由灰度值变化较小的像素点构成，称为背景区域；另一类区域由狄度值变化较大 的像素点构成，包括运动目标在当前帧中所在的区域和它在上一帧中所在的区域， 这些区域 内的像素点的灰度值变取平均值得到干净的背景帧具体处理过程如下： 设以( f ，) 和以+ 。( f ，) 为采集来的两帧视频图像，运用帧问差分法对这两帧图像 进行差分处理，作差分的量可以是灰度、亮度、色度值或其它的参数值，本文采用 灰度值进行差分，检测规则如下： i f i 以( f ，) 一 + l ( f ，刊 丁 b ( f ，) = + 】( f ，) i f l 丘( f ，) 一以+ 。( f ，) i 7 b ( f ，) = o 将处理后的每个像素点灰度值相加，再除以检测为属于背景的次数，这个值就 是该点的背景像素的灰度值。利用以上原理可以重建背景，图2 3 为通过序列图像 周爱军：基于视频的。乍辆目标检测与跟踪技术研究 1 3 重建的背景。 f r a m e l f r a m e 4f r a m e 5 重建的背景 图2 3 序列图像重建背景 通过以上方法获得交通场景的背景后，利用当的帧减去背景帧可获得含运动 车辆的差分图像，如图2 4 。 ( a ) 更新的背景( b ) 含目标序列( c ) 背景筹分结果 幽2 4 运动帧一。j 背景帧差分 2 2 2 图像滤波 c c d 摄像机获取的视频序列图像中或多或少都会存在噪声，其来源于多个方 面，有来自于系统的外部干扰( 如电磁波或经电源窜进系统内部的外部噪声) ，也 有来自系统内部的干扰( 如摄像机的热噪声，电器机械运动而产生的抖动噪声等内 部噪声) 1 1 6 j 。图像中噪声的存在势必会对运动目标的检测精度产生较大的影响， 1 4 扬州人学硕士学位论文 严重时可导致后续的识别、测速等过程产生严重偏差或错误，因此应对图像中可能 存在的噪声作有效的评估，并作相应的滤波操作。 减少噪声的方法通常有空域滤波及频域滤波法。空域滤波是在图像空间中借助 模板对图像进行邻域操作，输出图像每一个像素的取值都是根据模板对输入像素相 应邻域内的像素值进行计算得到的。大致可将空域滤波分为四类：线性平滑滤波 ( 又称均值滤波) 、非线性平滑滤波( 以中值滤波为代表) 、线性锐化滤波、非线性 锐化滤波。频域低通滤波使低频分量顺利通过而有效的抑制高频分量，即可以达到 消除频域噪声的目的，同时，经过反变换可以获得平滑的图像。常用的频率低通滤 波器有：理想圆形低通滤波器( 1 d e a lc i r c u j a rl o wp a s sf i i t e r ，缩写为i c l p f ) 、巴 特沃斯低通滤波器( b u n e o n ll o wp a s sf i l t e r ，缩写为b l p f ) 及指数低通滤波器 ( e x p o n e n t i a lk wp a s sf 订t c r ，缩写为；e l p f ) 等。 中值滤波对椒盐噪声和脉冲干扰的去除比较有效，且能保证图像产生尽可能少 的模糊口。中值滤波是一种最常用的非线性平滑滤波方法，其滤波原理与均值滤 波方法类似，但计算的不是加权求和，而是把邻域中的图像的像素按狄度级进行排 序，然后选择改组的中间值作为输出像素的值。 如有一个输入序列如下所示； 扛， = o 0 0 9 0 0 0 2 3 2 0 2 3 2 0 3 2 2 0 3 2 2 0 0 0 6 6 6 6 5 4 3 2 l0 0 0 9 为脉冲噪声，3 2 3 0 及3 2 2 0 为振荡，而0 0 0 6 6 6 为一个阶跃跳变，5 4 3 2 1 0 为一斜坡，对其进行中值滤波，以此希望能消除脉冲噪声，平滑振荡，同时能保存 阶跃跳变及斜坡。此时，我们用一长度为3 的窗口来完成中值滤波，则其输出序列 如下所示： 抄。) = 0 0 0 0 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 0 6 6 6 6 5 4 3 21 0 0 从输出结果可见，脉冲噪声被消除，振荡被平滑了，而阶跃及斜坡得到了| f 5 f 留。 本文采用上述的滤波方法进行了实验，结果如图2 5 。对一幅含有椒盐噪声的 图像，分别进行了3 3 模板的均值滤波、3 3 模板的中值滤波及巴特沃斯滤波 ( b l p f ) 。均值滤波能去除一定的噪声，但图像产生了一定程度的模糊，中值滤波 能够有效的去除椒赫噪声，且起到平滑图像的作用，而巴特沃斯滤波( b l p f ) 使 图像边缘的模糊程度有所减轻，但不能完全滤除噪声。 周爱军：基丁视频的印辆目标检测与跟踪技术研究 1 5 ( a ) 椒盐噪声图像( b ) 3 3 均值滤波( c ) 巴特沃斯滤波( d ) 3 3 中值滤波 图2 5 对含椒盐噪声的图像进行各种滤波的结果 2 2 3 阈值分割 利用差分法进行运动目标检测，都需要对获取到的差分图像进行二值化处理， 即使用图像分割的算法将图像中的前景目标像素从差分图像中分离出来，而分割阈 值的选取又是图像分割的关键。本文对几种常用的自适应分割阈值选取算法进行了 介绍，并选取效果较为理想的阈值选取算法应用到本文的目标区域分割中。 ( 1 ) 最优分割阈值 图像中目标和背景的灰度值有部分交错时，如用一个全局阈值进行分割则会产 生误差。实际中常常希望能尽可能减少误分割的概率，而选取最优阈值是一种常用 的方法1 谢j 。这里最优阈值指能误差分割率最小的分割阈值。图像的直方图可看成 像素灰度值的概率分布密度函数的一个近似，设一幅图像仅包含两类主要的狄度值 区域( 目标和背景) ，那么其直方图所代表的像素狄度值概率分布密度函数实际上 是对应目标和背景的两个单峰分布密度函数之和。如果已知密度函数的形式，就有 可能计算出一个最优阈值，用它可把图像分成两类区域，使误分割率最小。 设有这样一幅混有加性高斯噪声的图像，背景和目标的概率密度分别是仇( z ) 和p 。( z ) ，整幅图像的混合概率密度p ( z ) 是： p ( z ) = 只p ( z ) + e p 。( z ) = 去唧 _ 警 + 去唧- 等 他 其中心和。分别是背景和目标区域的平均狄度值，和盯。分别是关于均值 的均方差，只和只分别是背景和目标区域灰度值的先验概率。根掘概率定义有 1 6 扬州人学硕十学位论文 只+ 乞= l ，所以混合概率密度式中只有5 个未知的参数。如能求出这些参数就可 以确定混合概率密度。 如削2 6 ，假设地 砀r 嚣| 1 1 2( 4 9 ) 扬州大学硕士学位论文 一 一至一 e 三 即梯度为 ，) ，则有每一个像素的8 领域像素值为下式： 一口一+ 7 一口+ 厂一口+ + 厂1 l 一+ yy + 厂 i a 一 b + y 仅+ y a 七p + y 三三 三 三 一至一墨一习 ( 4 1 0 ) ( 4 1 1 ) ( 4 1 2 ) ( 4 1 3 ) ( 4 1 4 ) g = 懈= 厢_ 2 ( 2 ) 伊万 显然，如果要使梯度为常量，则应该使得2 ( 2 口+ 6 ) = l 。 如果取口= 6 = l 6 ，则得到l 6 乘p r 砒c 算子；取口= 1 8 ，6 = l 4 ，则得到 1 8 乘s o b e l 算子。 ( 3 ) 拉普拉斯高斯算子( l o g ) 拉普拉斯高斯算子如下式所示： v 2 ( 工，力= l 厂“+ 1 ，_ ，) + ( j 一1 ，) + o ，+ 1 ) + ( 丘一1 ) 一4 厂( l ) 】( 4 1 6 ) 以模板形式表示就可以得到常用的算子： 周爱军：基于视频的车辆目标检测与跟踪技术研究 4 7 ! - 卜 il 一41 l io lol 川= 嘉e x p ( 一等) 枷加叭川喜攀 = 杀【2 一等h 一等) 利用上述结果计算出梯度的方向；秒= a r c t a n 陪 o 4 8 扬州人学硕十学他论文 遍历图像，若某个像素的灰度值与其梯度方向上前后两个像素的狄度值相比 不是最大的，那么将这个像素值置为0 ，即不是边缘。 使用累计直方图计算两个阈值。凡是大于高闽值的一个一定是边缘；、l 是小 于低闽值的一定不是边缘。如果检测结果在两个闽值之l 、白j ，则根据像素的邻接像素 种有没有超过高闽值的边缘像素，如果有，则它就是边缘，否则不是。 2 实验结果及分析 第2 章讲述的目标检测过程，可以精确的检测出车辆目标的区域位置及其形状 信息，结果用一个二值图像来表示( 日标区域用像素“l ”表示，而背景区域则用 像素“0 ”表示) ，在此基础l ，可利1 j 边缘检测算予米对值图像迸行边界检测， 获取车辆目标的轮廓。如图4 9 所示，为分别运用介绍的几种边缘检测算子对二值 图像进行处理的结果。 由，j ：述实验结果可见，本文情况f ，c a n n y 算子的边缘检测效果较好，边界连 续且平滑，但仿真耗时相刈较长；r o b e r t s 算子、p r e w i t t 算f 及s o b e l 算子仿真耗 时相当，但r o b e n s 算子的检测效果较差，边界半滑度彳i 够；l o g 算予虽检测效果 与s o b e l 算子、p r e w i t c 算子相当，但其耗时要大大超过后者；从p r e w i t t 算予与 s o b e l 算子的模板可知，s o b e l 算子应能更好的突出边缘。 4 3 跟踪算法实现 基于模板匹配的跟踪通常情况下是非常有效的，模板可以是狄度、边缘等，但 是直接匹配耗时非常大。本文研究一种基于k a l m a n 和边缘模板匹配的跟踪方法， 利用k a l m a n 滤波器预测车辆在下一帧中的可能位置，然后再在搜索区域利用边缘 模板进行匹配精确定位出运动车辆，由于减少了匹配搜索区域，该算法实时性比较 好。 ( a ) 乍辆目标二值图( b ) c a n n y 算子检测( c ) r o b e n s 算子检洲 周爱军：基丁| 视频的1 i 辆日标检测与跟踪技术研究 4 9 ( d ) p r e w j n 算子检测( e ) s o b e l 并f 检测( d l o g 算子检测 图4 9 边缘检测效果对比 表4 1 各种检测方法f 幻耗时情况 4 3 1 目标边缘模板及外接矩形获取 本文采用了一种边缘匹配的算法，首先利用k a l m a n 滤波器结合当日，j - 帧运动目 标信息预测出下一帧目标所在区域，减少搜索区域，然后在预测区域中利用边缘匹 配进行精确定位，当车辆发生遮挡时，利用完整的目标边缘与遮挡时检测出的边缘 实时更新模板，该算法实现简单，且能解决车辆遮挡问题。 首先将待跟踪的视频提取成序列图像，然后确定跟踪起始帧，利用前面所述 的方法重建背景，并基于背景差分方法提取出初始目标边缘，作为跟踪时匹配的模 板，模板获取如图4 1 0 所示。 ， ， b i 攀：_ ；= 豢；藜薯j | ， 一4 ， 一y m一 “碧 x 。：= 1 毫。一妻黪j 磐i j 曩。 第1 帧第15f 帧 第3 8 帧 第3 0 帧 卜二：二j | 重建的背景目标边缘模板 图4 1 0 目标边缘模板提取 扬州人学硕十学位论文 在跟踪过程中我们用目标的外接矩形表示同标的位置，同时通过外接矩形，我 们可以荻得目标的中心、长、宽等一些参数作为卡尔曼滤波器预测时的状念变量的 初值。 外接矩形被定义为包含区域的最小矩形，而且其长边方向与主轴方向相例，在 本文中定义车辆的行驶方向为主轴方向，并定义行驶方向0 水甲方向的火角为( ) ， 这样我们就可以作 掩标变换。 v 甚 彳 俅x 式 r 涉。j | 汐 两个坐标系之问的转换，可以用如下公式来完成： 譬篓嬲黧臼 2 。， 可将边界点集 ( x ，y ，) 转换成新坐标系中的值 ( x ，y j ) ，然后求得x j 。、x _ 、和 y j 。、威。，再以= z j 、。一x ：。和h = y j 。、一丸。为边长，作平行于x + 和y 轴的 平行四边形，即为此区域的外接矩形，如图4 1 1 所示。在本文实际应用中，定义 车辆的行驶方向为主轴方向，由于摄像机是在路侧拍摄视频的，而车辆日标又足红 水平地而上自矗向右运动的，因此央角臼等于或非常接近0 度。表明如图4 1l 所 示的两个啦标系是重合的。当日仅当夹角