（计算机应用技术专业论文）基于视频的车辆检测跟踪与分类技术的研究.pdf

大连理工大学硕士学位论文 摘要 为了高效的管理道路车辆，迅速便捷的统计交通信息，设计并实现了基于视频图像 的车辆检测跟踪与分类系统。本论文在总结和分析现有的基于计算机视觉技术的交通监 控系统基本理论和关键技术的基础上，重点研究了固定视角下运动车辆的检测跟踪和分 类技术，其中主要涉及到运动车辆的检测、运动车辆的阴影去除和运动车辆的跟踪与分 类。完成的主要研究工作如下： ( 1 ) 运动车辆检测：通过分析现有的检测方法和背景模型，采用改进的自适应背景 更新模型，实现了背景的实时更新。并通过背景差分法有效检测出运动车辆。 ( 2 ) 运动车辆的阴影去除：分析研究了车辆阴影区域和被其覆盖的背景区域之间的 灰度比值的分布规律，以及h s v 色彩空间中v 分量阴影覆盖前后的变化规律，采用了一 种结合灰度信息和h s v 色彩空间中v 分量的阴影检测与去除方法，利用阴影和背景区域 的光度增益特点有效的消除了车辆的阴影。 ( 3 ) 运动车辆跟踪及分类：分析了车辆的边缘特征，并利用h a u s d o m 距离模板匹配 思想，在改进的距离变换空间内实现运动车辆的跟踪与分类。其中关键步骤是e u c l i d e a n 距离变换，本文采用中心探测法求距离特征，这样做大大的减少了计算量。 本系统在w i n d o w s 环境下用c 拌实现，结果表明，该系统可以实时快速检测出运动 车辆并能准确跟踪和分类，具有较强的适应性和良好的应用前景。 关键词：车辆检测；阴影去除；h a u s d o r f f 距离；车辆分类 薹王塑塑箜主塑塑矍壁墨坌鲎查箜婴窒 v e h i c l ed e t e c t i o na n dt r a c k i n gc l a s s i f i c a t i o nt e c h n o l o g yr e s e a r c hb a s e d o nt h ev i d e o a b s t r a c t t om a n a g ev e h i c l e se f f e c t i v e l ya n dc o l l e c ti n f o r m a t i o no ft r a f f i cq u l c l 【l ya n da c c u r a t e l y ， a ni n t e l l i g e n ts y s t e mo fv e h i c l e sm o n i t o r i n gf o rv i s i o n - b a s e dd e t e c t i o na n dt r a c k i n ga n d c l a s s i f i c a t i o no fv e h i c l e si ni m a g es e q u e n c e so ft r a f f i cs c e n e si sp r e s e n t e d t h r o u g hs u m m i n g u pa n da n a l y z i n gt h ec h a r a c t e r i s t i c so fe x i s t i n gm e t h o d sb a s e dt h et e c h n o l o g yo fc o m p u t e r v i s i o n ，t h i sp a p e rp a y sg r e a ta t t e n t i o nt oi n v e s t i g a t et h ep r a c t i c a lt e c h n i q u e sf o rm o v i n g v e h i c l sd e t e c t i o nt r a c k i n ga n dc l a s s i f i c a t i o nu n d e rt h ec o n d i t i o no faf i x e dc a m e r a , i n c l u d i n g s u c ht e c h n i q u e sa sa u t o m a t i cd e t e c t i o no fm o v i n gv e h i c l e s ，e l i m i n a t i o no fe x t r as h a d o w so f v e h i e l e s t r a c k i n ga n dc l a s s i f i c a t i o no fm o v i n gv e h i c l e s ，a n ds o0 1 1 t h ef o l l o w i n gr e s e a r c hh a s b e e na c c o m p l i s h e d ： ( 1 ) m o v i n gv e h i c l ed e t e c t i o n ：t h r o u g ha n a l a y z i n g a n ds t u d y i n gs o m em e t h o d sm b a c k g r o u n de x t r a c t i o na n du p d a t i n gb a c k g r o u g n d , t h i sp a p e rp r e s e n t s am o d i f i e da d a p t i v e b a c k g r o u n dm o d e lt ou p d a t et h eb a c k g r o u n da n dd e t e c tm o v i n g v e h i c l e se f f e c t i v e l y ( 2 ) m o v i n gv e h i c l e s h a d o w se l i m i n a t i o n ：t h i sp a p e rm a k e sas t u d yo fg r a y 。l e v e l d i s t r i b u t i o nf e a t u r e sa n dvc o m p o n e n to fh s vc o l o rs p a c eo fs h a d o wa n dd e v e l o p sa n e f f e c t i v es h a d o we l i m i n a t i o nm e t h o d ( 3 ) m o v i n gv e h i c l et r a c k i n ga n dc l a s s i f i c a t i o n ：t h i sp a p e ra n a l y s e st h ec h a r a c t e r i s t i c so f v e h i c l ee d g ea n di m p l e m e n t sav e h i c l et r a c k i n ga n dc l a s s i f i c a t i o na l g o r i t h m b a s e do n i m p r o v e dh a u s d o r f fd i s t a n c e o n ek e ys t e p i se u c l i d e a i ld i s t a n c et r a n s f o r i l l ，t h i sp a p e r p r e s e n t sa c e n t e rp r o b em e t h o dt or e d u c ec o m p u t a t i o nc o s t t h i ss y s t e mi si m p l e m e n t e du s i n gc 群i nw i n d o w se n v i r o n m e n t e x p e r i m e n t a lr e s u l t s s h o wt h a tt h es y s t e mc a nd e t e c ta n dt r a c kt h em o v i n gv e h i c l ee f f e c t i v e l y ，a n di ti sr o b u s ta n d p r a c t i c a l k e yw o r d s ：v e h i c l ed e t e c t i o n ；s h a d o we l i m i n a t i o n ；h a u s d o r f f d i s t a n c e ；v e h i c l ec l a s s i f i c a t i o n i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：基i 垫趣的至巡型丛遍复盈耋邀丕丝堑望 作者签名： 胡固良 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：墓登垦筮丝茎塑型避复盆塞巡鱼塑 作者签名：塑垄! 叁 导师签名：三业生 日期：圣! 1 2 年三月二二日 日期：至! ：! 年旦月卫日 大连理工大学硕士学位论文 1绪论 1 1 课题背景及研究意义 随着我国城市化的进展和汽车的普及，道路交通和车辆运输发展的越来越快，汽车 交通是现代社会的重要标志之一，汽车的发展是一把双刃剑，它在给人们的生活提供便 利的同时也产生了一系列社会和环境问题，由于汽车数量的急剧增加，导致了交通运输 问题的日益恶化，道路车辆拥挤，交通事故频发，交通环境恶化，能源紧张，环境污染 不断加重。在这种背景下，把车辆和道路综合起来考虑，运用各种高新技术，系统地解 决道路交通问题，由此产生了新的研究和应用领域一交通监控系统【l 】，交通监控系统是 为了解决日益严重的城市交通问题而提出的。随着交通问题日渐受到社会越来越广泛的 关注，世界各国都不断投入大量的人力、物力，研发各种交通监控系统，致力于减少事 故的发生，保证行人的安全。 人们将先进的信息技术、数据通讯传输技术、控制技术以及计算机处理技术等有效 地综合运用于整个运输管理体系，使人、车、路及环境密切配合，从而建立起一种在大 范围内、全方位发挥作用的实时、准确、高效的综合管理系统。交通监控系统通过对道 路交通流信息进行实时检测，了解道路交通的运行情况，根据交通流的动态变化，迅速 做出交通诱导控制，减轻道路拥挤程度，减小车辆行车延误，降低发生交通事故的概率， 保证行车安全，并使交通设施得到充分利用，实现交通运输的集约式发展，最终达到道 路交通智能化管理的目的，使现有交通设施( 道路、桥梁、隧道等) 具有更大的交通运输 能力和更高的交通运输安全性。 为了实现道路交通的智能化管理全世界众多研究机构都在不遗余力地进行各种智 能化产品的研发，例如：各种道路收费系统，车牌号识别系统等，其中，类似于车牌号 识别这样的系统经过多年的发展，现在已经有了相当成熟的解决方案，并且得到了广泛 的应用。在交通监控系统中，道路交通动态信息采集成为交通管理智能化的前提，建立 道路交通动态信息采集系统也就成为交通管理智能化的首要任务。交通动态信息采集系 统的主要目标是获取车辆交通信息，其中包括车流量、车长、车速、车辆类型、视频监 视图像等，主要侧重于对道路的宏观管理，该系统对交通道路的管理、公路规划设计有 着十分重要的意义。 交通监控系统中的核心内容和关键技术是车辆的实时数据分析，包括车速、车流量、 车型等。目前，获取车辆数据的方法大概可以分为三类：一类是在很长一段时期内都采 用的人工统计方式获取，人工统计的方式不仅工作量大，而且不能保证统计数据的准确 基于视频的车辆检测跟踪与分类技术的研究 性，尤其是地理位置相对偏僻的地区，信息的采集就更加困难；一类是利用红外线、环 形磁感应线圈等传感器获取，其优点是实时性好，识别率高，计数较准确，但是也存在 安装复杂，参数难于调整，使用寿命短，后期维护成本高等缺点；一类是基于计算机视 觉的方法，对车辆监测一直是计算机视觉研究的活跃领域，也是目前交通监控系统研究 的热点。由于基于视频的检测系统能够获取连续视频信息，属于面式检测，检测范围大， 能提供交通中大量所需的信息，维护简单，可移植性强，因此其正日渐成为这一领域的 佼佼者。目前，基于视频的方法普遍存在的问题有：只能对车辆分类进行大致分类，不 能确定车辆的精确类型；计算量大，不能满足实时性。 本文在总结分析和借鉴学习国内外众多研究机构有关研究成果的基础上，首先简要 回顾了基于视频的车辆类型识别分类的发展情况，而后，研究分析了当前图像处理和模 式识别中的有关技术和方法，尝试设计一种基于视频的运动车辆类型识别系统，该系统 利用安装在道路上方的固定视频监控摄像机监视路面，通过设计相应的车流量统计和车 辆类型识别软件来实现对道路上行驶车辆进行分车道的数量统计和类型识别，并且希望 能将车型识别的种类细化以期解决道路交通管理中道路交通流量、车辆类型信息的自动 获取问题。 1 2国内外的研究现状 1 2 1交通监控系统研究现状 目前，世界上已形成了美国、日本、欧盟三大交通监控系统研究开发基地，除此之 外，亚洲的韩国、新加坡和我国的香港特区交通监控系统发展水平也较高。 美国自动化的交通管理水平以前是落后于欧洲与日本的，由于美国土地资源相对比 较丰富，因此相当一段时间内是靠修路来解决交通拥堵问题。但近年来面对已经相当庞 大的公路网，要想再占用大量土地，投入大量资金大规模进行道路建设已经不可能。1 9 9 1 年美国国会通过了“综合地面运输效率方案 ( i s t e a ) ，旨在利用高新技术和合理的交 通分配提高整个公路网的效率。在1 9 9 6 年至1 9 9 9 年间，美国国防高级研究计划局资助卡 内基梅隆大学，研制了视频监视与监控系统v s a m t m 和h i d ，实现了战争领域、城市安 全等自动视频监控。 近年来，日本的交通监控系统发展也是相当迅速，推出的车载塞车预测系统，装有 预测系统的车辆经过某一区间时，信息中心会收集其通过这一区间所需时间，并据此统 计各路段交通状况。通过手机访问信息中心，同时向信息中心提供自己的行车记录。随 着提供信息的车辆的增多，样本数据信息精确度也会因此而提高。如果有更多的车辆装 大连理工大学硕士学位论文 载塞车预测系统，就可以对车辆进行有效的分流，从而减少城市塞车的时间。此外，日 本还投入了1 5 亿日元开发了全国公路电子地图系统，打开了车辆电子导航市场。 欧盟对交通监控系统的研究、开发也不甘落后，组成了欧洲道路运输信息技术实施 组织( e r l r i c o ) ，总开发投入5 0 亿美元，实施智能道路和车载设备的研究发展计划。之 后进行了t e l e t n a t i c 的全面应用开发工作，欧盟计划在全欧洲范围内建立专门的交通( 以 道路交通为主) 无线数据通信网，交通监控系统的主要功能如交通管理、导驶和电子收 费等都围绕t e l e t n a t i c 和全欧无线数据通信网来实现。目前欧洲的交通监控系统处在国际 领先水平，至今已有相当一部分的研究成果投入到实际的应用当中。 国内也非常关注车辆视频监控系统，中国科学院自动化研究所模式识别国家重点实 验室视觉监控小组总结了英国雷丁大学v i e w s 的车辆交通监控原型系统的研究经验，在 前人理论研究的基础上，自行设计了一个交通监控系统v s t a rv i s u a ls u r v e i l i a n c es t a r ，并 在p cw i n d o w s 2 0 0 0 平台上用v i s u a lc + + 6 0 语言初步实现了整个系统，完成了运动车辆的 检测、跟踪以及车辆行为的分析。 从总体上讲，目前基于视频的车辆监测系统的研究仍处于发展和完善阶段。 1 2 2 运动目标检测研究现状 运动目标检测的目的是将序列图像中的运动目标从背景图像中分割出来。运动区域 的有效提取对于目标分类、跟踪和行为分析等后期处理有着很大的影响，因为后继的处 理对象仅仅是包含运动目标的像素。目前常见运动目标检测方法主要有差分法【3 钏，背 景估计法和运动场估计法1 5 。7 j 。 ( 1 ) 差分方法 差分方法是目前运动目标检测和分割中常用的一种方法，主要有帧间差分法和背景 差分法。帧间差分法适应性较强，但车辆过快或过慢都不能正确检测出车辆。其次，如 果物体内部的灰度比较均匀，相邻帧差可能在目标重叠部分形成较大空洞，严重时造成 分割结果不连通，不利于进一步的物体分析与识别。 ( 2 ) 背景估计法 背景估计的检测与分割是解决静止或缓慢变化背景下运动目标检测和分割的方法， 它是通过背景建模，利用相邻序列图像估计视频中不变的背景，进而提取运动目标。特 点是复杂背景下较好，但初始运动目标检测较差。 ( 3 ) 运动场估计法 运动场估计的检测与分割是通过视频序列的时空相关性分析估计运动场，建立相邻 帧对应关系，进而利用目标与背景表现运动模式不同进行运动目标的检测与分割。主要 基于视频的车辆检测跟踪与分类技术的研究 有光流场法，然而，有时即使没有发生运动，在外部照明发生变化时，也可以观测到光 流；另外，在缺乏足够的灰度等级变化的区域，实际运动也往往观测不到。最重要的是 光流场法采用迭代的方法，计算量大，实时性不高。 1 2 3 阴影去除研究现状 阴影去除问题是视频检测的难点，对于视频监视应用，由于日照和灯光等因素的影 响，视频图像中的目标往往含有阴影。阴影不是固定不变的，它随着光照强度、方向等 因素在不停的变化，因此，它不能作为物体的一部分参加识别，否则会导致识别的失败。 在交通监控系统中，车辆阴影在路面占有率、车辆识别及交通诱导中有重要影响，必须 采取有效的方法去除目标的阴影，为目标的正确识别提供条件。 近年来，国内外学者对运动目标的阴影去除进行了许多研究，比较常用的方法有基 于阴影颜色信息的方法【8 】和基于运动物体几何信息方法【9 】。其中基于阴影颜色信息的方 法有很多：如在r g b 彩色空间中，用矢量来表征像素点，并以当前图中的像素点矢量与 对应的背景点的矢量相减得到能表征亮度和色度的彩色模型，以此建立背景模型；在 h s v 彩色空间利用色度、饱和度和亮度信息建立背景模型，以检测和识别阴影；利用阴 影的光学特性并结合纹理特征，采用区域生长的方法检测阴影等。这些方法都需要建立 复杂的背景模型，由于受到光照强度、地面材质等因素的影响，有一定局限性。基于运 动物体几何信息的方法对车辆的形状有较高要求，且计算复杂，难以满足交通监控系统 的实时性要求。 基于阴影颜色信息的去阴影方法比较有代表性的，女 i r o s i np l 提出的将阴影区域看 做半透明区域的思想，认为在阴影区域内，相对于背景图像的光学增益是一定值。而实 际的视觉经验也可以得到同样的结论：在一定的亮度条件下，同一物体在阴影区内和不 在阴影区内的色调是近似一致的，如果均匀成比例的减少某种彩色的全部系数，则只有 亮度在变化，而色调是不变的，这在一定程度上给出了阴影的颜色特征规律。再如i m i k i c 等通过对大量道路场景图象的观察和统计发现：与背景区域相比，阴影区域的蓝色成分 会增加，红色成分减少的规律。这些理论对基于颜色信息的去阴影方法的发展都有重要 意义。 近年来，基于阴影颜色信息的去除阴影方法虽然提出了许多新的算法，但去除阴影 的阈值难以自适应确定、与阴影颜色特征相似区域被同时去除、阴影特征与光线环境之 间的量化关系等问题一直是研究的难点。 大连理工大学硕士学位论文 1 2 4 运动目标跟踪研究现状 运动目标跟踪的目的就是对序列视频图像进行分析，在连续帧之间利用一些特性对 目标对象进行匹配。在运动物体的跟踪过程中可靠性和精度是两个重要指标，为此，人 们提出了许多方法来解决运动目标跟踪问题，主要包含基于特征、动态轮廓、变形模型 0 0 和运动估计的四种跟踪方法。 1 2 5 运动目标分类研究现状 目前运动目标的分类主要是对人和车辆进行分类，l i p t o n 的跟踪和分类方法实现了 将人和车辆分开，但是没有对车辆进行分类。d k o l l e r ，b a k e r ，s u l l i v a n 等利用3 d 模型 分类，计算量大，适应性比较弱。此外国内车德欣【l l 】等利用小波分析和矩不变量理论进 行车辆识别，其识别率虽然很高，但利用小波多尺度边缘检测算法和归一化特征向量欧 式空间比较的方法计算量很大，无法达到实时性。 由于以上各种原因，对运动车辆进行实时检测跟踪和分类的研究是有实用价值和发 展空间的。对于提高我国交通视频检测技术，促进我国城市道路交通建设，改变我国以 人管理为主的被动局面，实现城市交通管理智能化都具有十分重要的现实意义。 1 3 本文研究的主要内容 本文研究分析了当前图像处理和模式识别中的有关技术和方法，尝试设计一种基于 视频的运动车辆类型识别系统，该系统利用安装在道路上方的固定视频监控摄像机监视 路面，通过设计相应的车流量统计和车辆类型识别软件来实现对道路上行驶车辆进行数 量统计和类型识别，为进一步的交通管理和流量控制提供了实时数据，也为未来更有效、 更实用的交通视频管理系统打下良好的基础。 本文共分6 章，章节内容安排如下： 第一章是绪论。主要对课题研究背景、目的和意义，交通监控系统的概况以及国内 外发展现状、趋势进行了简要分析。介绍了本论文研究的主要内容，最后给出了本论文 的结构安排。 第二章为图像处理方法概述。首先介绍了数字视频图像处理的基本概念和方法，以 及本文进行视频车辆处理的一些基本预处理的方法，包括视频的捕获、灰度化、滤波除 噪、平滑，形态学算法和连通区域分析等，为进一步车辆运动目标检测等提供基础理论 方法。 第三章是系统的总体设计。设计了整个系统的总体架构以及各子模块所实现的功 能，最后给出了系统的开发平台和环境配置。 基于视频的车辆检测跟踪与分类技术的研究 第四章是运动车辆检测的详细设计与实现。通过分析现有的检测方法和背景模型， 采用改进的自适应背景更新方法为基础的背景模型，实现了背景的实时更新。并通过背 景差分法有效检测出运动车辆。分析研究了车辆阴影区域和被其覆盖的背景区域之间的 灰度比值的分布规律，以及h s v 色彩空间中v 分量阴影覆盖前后的变化规律，采用了一 种结合灰度信息和h s v 色彩空间中v 分量的阴影检测与去除方法，利用阴影和背景区域 的光度增益特点有效的消除了车辆的阴影。 第五章是运动车辆跟踪及分类的详细设计与实现。分析了车辆的边缘特征，并利用 h a u s d o r f l 瓶离模板匹配思想，在改进的距离变换空间内实现运动车辆的跟踪与分类。其 中关键步骤是e u c l i d e a n 距离变换，本文采用的改进算法就是利用h a u s d o 廊巨离求某一点 到另一个子集上所对应的距离特征时，把子集的范围缩小，选取一个比较小的区域作为 距离大小模板，这样算得的特征值表示的就是该点所在特征区域的距离特征，而不是整 体距离特征，这样做便大大的减少了计算量。 第六章是基于视频的车辆监测系统的分析与设计。本章主要介绍了根据上述提到的 方法而设计实现一个车辆监测系统的过程，同时也对车辆进行了实时分类识别，并给出 了相应的程序结果。 大连理工大学硕士学位论文 2 图像处理方法概述 2 1图像预处理 通常，视频系统获取的原始图像由于受到条件限制和随机干扰，往往不能直接使用。 必须在早期阶段对原始图像进行灰度校正，噪声过滤等图像预处理，即只将图像中感兴 趣的特征有选择地突出，衰减不需要的特征。对于基于视频的交通监控系统，由于天气 的随机变化，采集到的图像受到各种噪声的影响，这会影响到运动车辆的有效检测，因 此需要对图像进行预处理。 2 1 1 图像平滑 图像在摄取或者传输时总要受到各种随机信号的干扰，使得目标的检测和识别无法 正常进行，因此必须对采集到的图像进行滤波除噪，这种处理称为图像平滑。图像平滑 技术主要有两种方法：频率域法和空间域法【1 3 】。频率域法是在图像的某种变换域中对 图像的变换值进行某种处理，然后变换回空间域，如傅里叶变换；空间域法是在空间域 中对图像像素的灰度值直接进行处理，如中值滤波。 本文采用中值滤波进行除噪，可以很好的抑制脉冲干扰和椒盐类的噪声，而且对边 界影响较小，满足系统的实时性要求。 2 1 2中值滤波 中值滤波【1 4 】的基本原理是把当前像素一点的值用该点的邻域中的各点值的中值代 替，是一种局部平均平滑技术。中值滤波不会创造在实际中没有的点，因此在保存突变 的边缘点时比均值滤波好。中值滤波速度快的特点适合交通车辆图像的实时处理。 中值滤波一般采用一个含有奇数个点的窗口在图像上扫描，把窗口内所包含的图像 像素值按其灰度值升序或降序排列成一个数n - f l ，五，石，z 0 为窗口的面积) ， 令此数列中间元素的值为窗口中央像素的值。对一帧图像中所有的像素都应用此算法就 完成了中值滤波。设扛( i ，j ) ，2 表示图像各点的灰度值，滤波窗口为a ，则中值滤波定 义为： y = 呼d b = m e d x ( “，x + ，) ，j ) 彳，o ，) ，2 ( 2 1 ) 滤波窗口的形状对滤波效果的影响是比较大的，不同图像内容和不同应用要求需要 选用不同的窗口形状和尺寸。常用的窗口一般如线形、十字形、方形、菱形、圆形等窗 口；滤波窗口大小常选3 x 3 ，5 x 5 ，7 x 7 。 基于视频的车辆检测跟踪与分类技术的研究 2 2 数学形态学算法 2 2 1基本定义 ( 1 ) 位移 彳用x = ( 五，恐) 位移，记为( 彳) ，定义如公式2 2 。 ( 彳) ，= j ，l 少= 口+ x ，口彳) ( 2 ) 映像 a 的映像( 也叫映射) ，记为五，定义如公式2 3 。 ( 2 2 ) 五= xx = 口，口4 ( 2 3 ) 2 2 2 二值形态学的基本运算 二值形态学中的运算对象是集合，一般设x 为图像集合，b 为结构元素，数学形态 学运算是用b 对x 进行操作。 ( 1 ) 膨胀 对于二值图像，膨胀( d i l a t i o n ) 是将与物体接触的所有背景点合并到该物体中，使边 界向外部扩张的过程。可以用来填补物体中的空洞。膨胀的符号为o ，x 用曰来膨胀写 作x ob ，一般意义的膨胀概念定义f 1 4 】如公式2 4 。 ，、 x o b = p 9 2 ：p = x + 6 ，x x a n d b b ( 2 4 ) 公式2 4 表明用b 膨胀x 的过程，先对b 做关于原点的映射，再将其映像平移x ， 这里x 与曰映射的交集不为空集。如果将曰看作一个卷积模板，膨胀就是先对b 做关 于原点的映射，再将映像连续地在x 上移动而实现的。图2 1 是一个利用m a t l a b ”j 展示 的膨胀的过程。其中b = ( o ，o ) ，( o ，1 ) ，( o ，2 ) ，( 1 ，o ) ，( 1 ，1 ) ，( 1 ，2 ) ，( 2 ，o ) ，( 2 ，1 ) ，( 2 ，2 ) 。 1 一：一1 一： _ 曩 ( a ) 原图像 111 1l l 111 口蠢1 囊：_ ( b ) 结构元素( c ) 膨胀结果 图2 1 膨胀 f i g 2 1 d i l a t i o n 大连理工大学硕士学位论文 膨胀可以对采集车辆图像中运动目标的一些小的空洞和狭小的裂纹进行填充，如图 2 2 所示。 篙参 ( 曲二值化的车辆图像( b ) 经过膨胀处理的图像 图22 膨胀处理的图像结果 f 培2 2i m a g e a f t e r d i l a t i o n ( 2 ) 腐蚀 腐蚀( e r o s i o n ) 在形态学中的作用是消除边界点，使边界向内部收缩。腐蚀用来消除 小且无意义的物体。腐蚀的运算符为e ，膏用b 来腐蚀写作x b 定义“】如公式2 5 。 x b = pe 5 2 ：j + 6 x o r e v e r ybe b ( 25 ) 公式2 , 5 表明z 用口腐蚀的结果是所有j 的集合，其中b 平移x 后仍在z 中。图 2 , 3 展示了腐蚀处理过程，其中口= “o ，o ) ，( o ，1 ) ，( o ，2 ) ，( 1 ，o ) ，( 1 ，1 ) ，0 ，2 ) ，( 2 ，o ) ，( 2 ，1 ) ，( 2 ，2 ) ) 。 i 一 ( a ) 原图像 幽23 腐蚀 f i g2 3 e r o s i o n 腐蚀处理可以使采集车辆图像中运动目标简单化，去除噪声和一些对后期处理无意 义的小物体或部分，如图2 4 所示。 厂一 基于视频的车辆检测跟踪与分类技术的研究 童莎p ( a ) 二值化的车辆图像 ( b ) 经过腐蚀处理的图像 围24 腐蚀处理的图像结果 f i g2 4i m a g ea 矗盯e r o s i o n ( 3 ) 开f j j 运算 单独的膨胀和腐蚀运算在视频车辆处理中并不常用，所以经常将它们结合使用，可 以用同一个结构元素先对图像进行腐蚀然后膨胀其结果，或先对图像进行膨胀然后腐蚀 其结果。前一种运算称为开运算，后一种运算称为闭运算。 经过这个处理后，去除g d 于结构元素的噪声孔、块、孤立点和毛刺，且可以将有 联系的目标连接，不会损坏运动目标原有， 形，有效的恢复图像为进一步的跟踪和识 别进行了必要的预处理，如图2 5 所示。 移移 ( 曲二值化的车辆图像( 时经过形态学处理后的图像 图25 形态学处理图像结果 23 连通性分析 23 1 连通性相关定义 ( 1 ) 近邻 在用网格表示的数字图像中，一个像素与其它四个像素有公共边界，并与另外四个 像素共享顶角。如果两个像素有公共边界则称它们互为4 邻点。同样如果两个像素 大连理工大学硕士学位论文 至少共享一个顶角，则称它们互为8 邻点。 ( 2 ) 路径 从像素 i d ，五】到像素 ， 】的路径( p a t h ) 是指一个像素序歹d i o ，矗】， 1 ，石】，嘛，五】， 其中像素 t ，五】和像素【+ p + 。】互为邻点，o 七刀- j 。如果邻点关系是4 连通的，贝t j f f i 径是4 路径；如果是8 连通的，则称为8 路径。 ( 3 ) 连通性 已知像素p ，q e s ，如果存在一条从p 到g 的路径，且路径上的全部像素都包含在s 中，则称p 和g 是连通的。 ( 4 ) 连通分量 一个像素集合，如果集合内的每一个像素与集合内其它像素连通，则称该集合为一 个连通分量。 2 3 2 连通分量标记 在一副图像中找出连通分量是机器视觉中最常见的运算之一。连通分量标记算法【1 6 】 可以找到图像中的所有连通分量，并对同一连通分量中的所有点分配同一标记。 ( a ) 原图像 ( b ) 标记后图像 图2 6 连通分量标记 f i g 2 6 e f f e c to fc c l 图2 6 ( a ) 是一副图像的连通部分，其中1 表示目标区域像素点，0 表示背景区域像 素点，图2 6 ( b ) 是其连通分量标记，分别用1 ，2 ，3 来表示。连通分量标记算法通常有 两种：递归算法和序贯算法。对二值化的车辆检测图像进行连通域分析，得到每个包 含目标区域的最大矩形方框，这个方框可以为填充处理做范围上的限制，也可为下一步 的车型的识别提供数据基础。 基于视频的车辆检测跟踪与分类技术的研究 2 4 图像填充 经过以上处理通常得不到一个完全连通的车辆目标，这会对下一步的车辆跟踪与分 类带来影响，所以应该对图像进行填充。 ( 1 ) 横向填充。对二值化的图像如y ) 的每行进行扫描，假定从左到右扫描第f 行 找到第一个目标像素歹，其灰度值为o ，记下该点坐标为甙；然后在同一行即f 行从右 向左找到第一个灰度值为0 的目标像素k ，记下该点坐标甙f ，妨，再将第f 行中的这两个 目标点之间的所有像素点变成目标前景，即： g ( i ，y ) = o ，y = ，+ 1 ，k 一1 ，k ( 2 6 ) ( 2 ) 纵向填充。横向填充以后对图像炽j ，) 的每列进行扫描，假定从下到上扫描第 列找到第一个目标像素z ，其灰度值为0 ，记下该点坐标为甙切；然后在同- - y u 且p j 列 从上向下找到第一个灰度值为0 的目标像素k ，记下该点坐标反劬，再将第列中的这 两个目标点之间的所有像素点变成目标前景，即： g ( x ，) = o ，x = f ，f + 1 ，k l ，k ( 2 7 ) 填充以后，目标车辆可以完整的被检测出来，如图2 7 所示，整个目标车辆在其外 形下被填充，形成一个对象，提高了下一步的跟踪和计数的准确性。 ( a ) 未填充的车辆区域图像 ( b ) 填充后的图像 图2 7图像填充结果 f i g 2 7 r e s u l to fi m a g ef i l l i n g 大连理工大学硕士学位论文 3 系统的总体设计 3 1系统总体架构 该系统主要包括以下工作过程：视频输入、背景模型建立、车辆检测与分割、跟踪 和车辆分类。系统以摄像头采集的视频流或是已保存的视频文件为输入，运动车辆的检 测采用背景差分法，利用h a u s d o 栅巨离模板匹配思想，在改进的距离变换空间内实现运 动车辆的分类。考虑到可扩展性，系统采用面向对象程序设计，系统采用c 群实现，可直 接在源代码级别扩展。系统的结构如图3 1 所示。 图3 1 系统总体架构图 f i g 3 1 m a i na r c h i t e c t u r ed i a g r a mo f s y s t e m 3 2 系统子模块设计 3 2 1 视频输入模块 视频捕获有多种方法，一种是利用视频捕获卡所附带的s d k 开发工具，这种捕获 方法的实现是与设备有关的，依赖于视频捕获卡与摄像头的类型，不利于灵活应用；另 外一种捕获方法是通过w i n d o w sa p i 调用a v i c a p 3 2 d l l 创建a v i c a p 窗1 2 类，由a v i c a p 窗口类中的消息、宏函数、结构以及回调函数来完成，视频采集功能主要包括捕获视频 流至a v i 文件( c a p c a p t u r e s e q u e n c e ) 、捕获视频流至缓存( c a p c a p t u r e s e q u e n c e n o f i l e ) 、 捕获视频流至a v i 文件( e a p c a p t u r e s i n g l e f r a m e ) 、本地预览( c a p p r e v i e w c a p o v e r l a y ) 和 捕获单帧预览( c a p g r a b f r a m e c a p g r a b f r a m e n o s t o p ) 等。 基于视频的车辆检测跟踪与分类技术的研究 l i n u x 下面的视频捕获【1 7 】，主要用的是v 4 1 ，或者v 4 1 2 。首先调用o p e n 打开设备， 利用i o e t l 可以对设备进行控制，比如设置视频数据流格式，视频尺寸，访问模式等等。 然后根据不同的访问模式，采用不同的方法读取视频数据，比如一般的r e a d 方法，内存 映射m m a p ，或者u s e r p t r 。然后将读取的数据，根据设置的不同格式进行解码，v 4 1 定 义了不同的格式，如r g b 2 4 ，s r g b ，y u m k 。当然，我们最终所获取的数据都得转化 为r g b 2 4 格式，不过其他格式也有各自的优点，根据不同的场合需要选择不同的格式。 设备支持的数据格式，跟驱动的实现有关，驱动程序并不一定支持所有的数据格式。在 使用i o c t l 进行设置的时候，如果设备不支持，就会返回错误。要把视频在屏幕上显示出 来，可以直接写屏幕或者利用x w i n d o w s 的函数。 本文通过d i r e c t s h o w 的接口i s a m p l e g r a b b e r c b 进行采样以获得帧图像。通过 s e t m e d i a t y p e o 设置视频格式为：m a j o r t y p e = v i d e o ；s u b t y p e = r g b 2 4 把视频帧强制转 换为b i t m a p 型后再转换为灰度图像等待下一步处理。设定协( x ，y ) ，七= 1 , 2 ，) 为一图像序 列， g ，y ) 表示第k 帧图像在g ，y ) 点的像素值，在不产生歧义的情况下也可用来表示第 k 帧图像。 3 2 2 车辆检测模块 ( 1 ) 车辆检测 本文采用背景差分法进行车辆检测，首先需要建立背景，最初的背景可以由视频序 列的第一帧来初始化。初始化以后采用改进的自适应背景模型进行背景更新。也可以用 卡尔曼滤波来预测背景以达到更新背景的目的，但是其背景模型要求用无任何车辆的视 频帧来初始化，适应性不强。 每一帧转换为灰度图像以后都存储在一个一维数组中，为了提高处理速度，把图像 分块处理，即把图像分成4 4 的像素块，余下不足4 4 的按一块像素处理，求每一块像 素的灰度平均值代表当前像素块的像素值，当前帧与当前背景帧做差，即两个数组所对 应的元素做差，当差值大于一定的阈值( 是一个经验值，一般取值范围1 5 2 0 ) 时，就认 为是运动物体。 常用的车辆检测方法还有帧间差分法和光流场法。但存在以下主要问题： 帧间差分法：车辆过快或过慢都不能正确检测出车辆。其次，如果物体内部的灰度 比较均匀，相邻帧差可能在目标重叠部分形成较大空洞，严重时造成分割结果不连通， 不利于进一步的物体分析与识别。 光流场法：有时即使没有发生运动，在外部照明发生变化时，也可以观测到光流； 另外，在缺乏足够的灰度等级变化的区域，实际运动也往往观测不到。最重要的是光流 大连理工大学硕士学位论文 场法采用迭代的方法，计算量大，实时性不高。 ( 2 ) 背景更新 因为背景在不断变化，因此需要实时对背景进行更新。自适应背景更新的基本概念 就是改进从当前视频图像中提取出来的背景鼠k y ) ，下一帧的背景色+ 。( z ，力由当前背 景帧峨g ，y ) 和当前帧六g ，y ) 加权平均得到： 啪川= p 凡东譬w 肭果姥小。 ( 3 1 ) 其中口( o ，1 ) 是一个常数，其可以反映背景更新的速度，口应保证升级有足够快的 速度以适应天气、光线，摄像头的改变，也应适应某些突然的变化，故本系统经过实验 将其值设为0 1 ，这样既可以有足够快的升级速度，也对突然的变化不够敏感。卢的值取 决于厶g ，y ) - b 。( x ，y ) ，其目的是当有车辆驶进并长时间停留在摄像头视频范围内时，能 够更新其为背景而非前景车辆，或者是停留在摄像头视频范围内的车辆驶离时，也能更 新原来停车的位置为背景。 3 2 3 阴影去除模块 分析研究了车辆阴影区域和被其覆盖的背景区域之间的灰度比值的分布规律，以及 h s v 色彩空间中v 分量阴影覆盖前后的变化规律，提出了一种结合灰度信息和梯度运算 的阴影检测与去除方法，利用阴影和背景区域的光度增益特点有效的消除了车辆的阴 影。如果背景和目标相同区域的某点满足公式3 2 ，则判断该点为阴影。 矿a = ! 趔b 。 曰。( x ，y ) & c g 掣d ( 3 2 ) b b ，j ，) 其中，( x ，y ) 和b b ，y ) 和分别表示当前图像及其相对应的背景图像的像素块的灰度 值，工b ，y ) 、b ，b ，y ) 表示在h s v 色彩空间内的v 分量；彳、曰、c 、d 分别为经验 阈值。 3 2 4 车辆跟踪与分类模块 为了快速进行车辆跟踪与分类本系统设计了一种在固定观察角视频场景内运动车 辆的跟踪与分类算法。由于固定视角，车辆模板只需向左右各旋转1 5 度，每隔3 度提取 1 0 基于视频的车辆检测跟踪与分类技术的研究 模板车辆的外部轮廓线图像。利用h a u s d o m 距离模板匹配思想进行车辆的分类，采用 h a u s d o 栅巨离模板匹配思想能对车辆进行精确分类，同时采用中心探测法求边缘图像的 距离值，减小了计算量，使系统具有很好的实时性。 3 3 系统的开发平台与环境配置 在目前的开发阶段，系统在w i n d o w sx p 下实现。开发语言是c 撑，使用的开发环境 是微软公司的v i s u a ls t u d i o2 0 0 5 。选择c 拌语言主要是在于c 撑语言的高效率，以及广泛 支持面向对象编程。系统可以直接用摄像头视频流做输入，也可以用a v i 文件做输入， 更方便进行试验。 大连理工大学硕士学位论文 4 车辆检测的详细设计与实现 4 1 待解决问题及设计目标 车辆检测的目的是提取视频序列图像中的运动车辆区域，在交通监控系统车辆类型 识别的过程中，如何有效地检测和分割出运动的车辆目标是至关重要的。运动车辆目标 检测是实现车辆目标跟踪、车辆识别、车辆行为分析等任务的基础。车辆参数的计算都 在运动车辆区域上进行的。运动目标的分割是后期工作的前提，运动的车辆目标检测和 分割的好坏也直接影响着接下来的车辆的跟踪和识别。但由于运动车辆目标的提取易受 到背景、光线变化、阴影、运动速度等因素的影响而导致运动车辆目标提取失败，消除 这些影响关键在于一个好的背景模型，使其能适应外界环境及时更新背景，也能重建干 净的