（计算机软件与理论专业论文）基于视频序列的车辆检测与跟踪算法研究与应用.pdf

山东师范火学硕- j ：学位论文 摘要 交通监测系统中的车辆检测与跟踪是实现交通管理自动化、智能化的重要环 节和关键步骤。随着计算机技术和图像处理技术的不断发展，基于视频序列的车 辆检测与跟踪得到了越来越多的关注，并成为当前的研究热点之一。 本文在对基于视频序列的车辆检测与车辆跟踪经典算法进行学习和研究后， 针对其存在的不足，进行了改进和提高，提出了一种应用于城市主干道进行车辆 检测与车辆跟踪的新方法。主要完成如下工作： ( 1 ) 提出了一种新的背景模型构建方法。针对背景差分法的关键步骤 背景模型的构建，提出了一种基于综合运用背景差分法和帧间差分法的背景模型 构建方法。首先在背景模型初始化时，利用帧问差选择运动目标较少且帧数动态 变化的输入图像作为计算帧进行背景初始化，以保证背景模型的初始化精度；其 次在进行背景更新时，一方面先通过背景差分对新输入图像帧的像素点进行判 别，有选择的进行更新，以保证背景模型更新的精度；另一方面背景更新时的加 权系数不采用常数，而是动态变化的，与实际背景的变化相关联，以保证背景模 型能够及时跟踪实际背景的突变。另外，在图像分割时采用动态变化的阈值，即 通过动态阂值对背景差分的结果进行分割，以避免实际背景突变时图像分割出现 较大偏差。实验结果表明该方法具有较好的车辆检测精度和效果。 ( 2 ) 提出了一种基于区域的多特征匹配跟踪算法，并根据目标车辆的运动 特征预测其在下一帧图像中的位置，可有效缩小运动目标的搜索范围。改进了基 于区域的跟踪算法，综合利用灰度图像和二值化图像实现对运动车辆的跟踪。在 车辆跟踪中，建立目标车辆的质心位置预测模型，根据目标车辆的运动记录预测 目标车辆在下一帧图像中的质心位置，然后在预测范围内，通过运动车辆的质心 位置、面积及平均灰度值等多个特征进行目标匹配，从而实现目标车辆的跟踪， 获取目标车辆的相关数据。经试验验证，该算法能够对运动车辆进行有效跟踪。 关键词：视频序列；车辆检测；背景差分；车辆跟踪 分类号：t p 3 9 1 山东帅范人学硕。l ：学位论文 ab s t r a c t v 甜l i c l ed e t e c t i o na n dt r a c k i n gi nt r a f f i cm o n i t o r i n gs y s t e mi st h em o s ti m p o r t a n t p a r ta n dc r i t i c a ls t e po fi n t e l l i g e n tt r a f f i cm a n a g e m e n t w i t ht h ec o n t i n u o u s d e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n di m a g ep r o c e s s i n gt e c h n o l o g y , v e h i c l e d e t e c t i o na n dt r a c k i n gb a s e do nv i d e os e q u e n c eh a sa t t r a c t e dm o r ea n dm o r e a t t e n t i o n ，a n db e c o m eo n eo ft h er e s e a r c hf o c u s e sc u r r e n t l y a f t e rt h es t u d ya n dr e s e a r c ho nt h ec l a s s i ca l g o r i t h m so fv e h i c l ed e t e c t i o na n d v e h i c l et r a c k i n gb a s e do nv i d e os e q u e n c e ，s o m ea l g o r i t h m sa n dt e c h n i q u e sf o rv e r d e d e t e c t i o na n dt r a c k i n gh a v eb e e na n a l y z e da n di m p r o v e dt od e a lw i t ht h ee x i s t i n g p r o b l e m s a sar e s u l t ，an e wm e t h o df o rv e h i c l ed e t e c t i o na n dt r a c k i n gi nm u n i c i p a l t r a n s p o r t a t i o nw a sp r e s e n t e d t h em a i nc o n t e n t so ft h i sp a p e ri n c l u d es u c ha s p e c t sa s f o l l o w s ： ( 1 ) an e wm e t h o do fb a c k g r o u n dm o d e lb u i l d i n gw a sp r e s e n t e d a c c o r d i n gt ot h e m e t h o d ，b a c k g r o u n dm o d e l s a r eb u i l tb y u s i n gb a c k g r o u n d s u b t r a c t i o na n d i n t e r - f r a m es u b t r a c t i o n f i r s t l y , o n l yt h ef r a m e sa c c o r d i n gw i t ht h ed e m a n d sa r e c h o s e nf o rb a c k g r o u n di n i t i a l i z a t i o nf r a m es ot h a tt h ea c c u r a c yo fb a c k g r o u n dm o d e l c o u l db ee n h a n c e d ，a n dt h en u m b e ro ft h ec h o s e nf r a m e si sv a i l a b l e s e c o n d l 职o n l y t h ep i x e l sw h i c ha r er e g a r d e da sb a c k g r o u n dp i x e lt h r o u g hb a c k g r o u n ds u b t r a c t i o n c a nb ec h o s e nf o rb a c k g r o u n dm o d e lu p d a t i n g ，a n dt h ec o e f f i c i e n tu s e df o ru p d a t i n g t h ee x i s tb a c k g r o u n dm o d e li sd y n a m i c t h ev a r i a t i o no fc o e f f i c i e n td e p e n d so nt h e v a r i a t i o no fa c t u a lb a c k g r o u n d s ot h eb a c k g r o u n dm o d e lc a l lb eu p d a t e di nt i m ee v e n w h e nt h ea c t u a lb a c k g r o u n dc h a n g e ss u d d e n l y i na d d i t i o n ，t h ei m a g es e g m e n t a t i o n s a l ed o n eb yd y n a m i ct h r e s h o l d st oa v o i ds e r i o u sm i s t a k ec a u s e db ys u d d e nc h a n g ei n a c t u a lb a c k g r o u n d e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h i sa l g o r i t h mc a nd e t e c tt h e v e h i c l e so nv i d e os e q u e n c em o r ea c c u r a t e l y ( 2 ) an e wm e t h o do fv e h i c l et r a c k i n gw a sp r e s e n t e d ，w h i c hi sm u l t i f e a t u r e m a t c h i n gb a s e do nr e g i o na l g o r i t h m a c c o r d i n gt ot h ep a s tm o v i n gf e a t u r e s ，t h ec e n t e r p o s i t i o n o ft r a c k i n go b j e c t sc a l lb el o c a t e da p p r o x i m a t e l yi nt h en e x tf r a m e a c c o r d i n g l y , t h ef i e l do fo b j e c tt r a c k i n gi sn a r r o w e dd o w n i nt h ep r o c e s so fv e h i c l e t r a c k i n g ，b o t h 伊a yi m a g e sa n db i n a r yi m a g e sa l eu s e df o rt h et r a c k i n go ft h em o v i n g v e h i c l e i nt h em a t c h i n gs t a g e ，t h ef e a t u r e so fc e n t e rp o s i t i o n ，s i z ea n dg r a y - v a l u ec a n b eu s e di nt h eo b j e c tm a t c h i n g t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sa l g o r i t h mc a n t r a c kt h em o v i n gv e h i c l ee 伍c i e n t l y k e yw o r d s ：v i d e os e q u e n c e ；v e h i c l ed e t e c t i o n ；b a c k g r o u n ds u b t r a c t i o n ；v e h i c l e t r a c k i n g c l a s s l f i c a t i o n ：t p 3 9 1 i i l i i 东帅范人学坝i j 学f t 论丈 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 它人已经发表或撰写过的研究成果，也不包含为获得( 注：如没 有其它需要特别声明的，本栏可空) 或其它教育机构的学位或证书使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示谢意。 学位论文作者签名： 习锫岛 导师签字： 学位论文版权使用授权书 1 夏五掀一 本学位论文作者完全了解兰缝有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权兰邈可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后 适用本授权书) 学位论文作者签名：门锯芬 签字日期：年月 日 翩擀彭k 签字日期：知彳年多月2 日 山东师范火学硕：l 学位论义 第一章绪论 社会经济的不断发展，使汽车的拥有量逐年增加，如何实现交通管理的自动 化、智能化也早己成为国内外关注的焦点之一。在此背景下，智能交通系统应运 而生，并得到广泛应用。本章对研究智能交通系统课题的背景和意义，以及基于 视频交通监测系统的国内外研究现状进行了讨论和总结，并阐述了本文的主要工 作和内容安排。 1 1 研究的背景和意义 随着社会经济的高速发展及现代化进程的不断加速，机动车的数量也急剧增 加，在迸一步促进社会经济发展和提供人们生活便利的同时，也导致了道路交通 状况的日益恶化，交通拥挤加剧、交通事故频繁、交通效率下降等问题普遍存在。 虽然世界各国政府投入大量财力于交通基础设施的建设，但由于资金、土地等稀 缺资源的有限性，道路基础设施是不可能无限扩展的，仅仅依靠道路建设满足不 了日益增长的交通需求，如何运用交通监测的先进技术，保证道路交通的安全性 和高效性，已经同益成为迫切需要解决的问题。 为了合理解决地面交通迅速发展所带来的诸多问题，智能交通系统i t s ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 于上世纪六十年代作为构想被首次提出，并在近 二十年得到迅速发展。所谓智能交通系统是一种将先进的信息技术、数据通讯 传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效地集 成运用于整个交通运输管理体系，在大范围内、全方位发挥作用的、实时、 准确、高效的综合运输和管理系统。智能交通系统通过对道路交通进行实时监 测，了解道路交通的运行状况，根据道路交通运行状况的动态变化，进行交通疏 导控制，减轻道路拥挤程度，降低交通事故概率，提高交通运行效率，保证行车 安全；并使交通设施得到充分利用，实现交通运输的集约式发展，最终达到智能 交通系统的目的，使现有交通设施具有更大的交通运输能力和更高的交通运输安 全性。 由于其广泛的用应前景和巨大的商业价值，智能交通系统受到了世界各国政 山东师范人学硕l ：学位论文 府和企业的重视，自从1 9 9 4 年在法国巴黎召开了第一届世界智能交通系统大会 ( w o r l di n t e l l i g e n tt r a n s p o r t a t i o ns y s t e mc o n g r e s s ) 之后，大会一年一度相继在日 本、韩国、美国、意大利等国举行，我国也于1 9 9 7 年召开了第一次国际智能交 通会议，讨论了国内外关于智能交通系统的研究和应用现状。上世纪未，世界上 主要发达国家先后制定了积极发展智能交通系统的宏伟蓝图，投入大量资金和科 技人员对其进行研究，力图在未来的市场占据主导地位。我国作为一个发展中国 家，也提出将智能交通系统( i t s ) 作为我国未来交通运输领域发展的重要方向和 优先领域予以重点支持，并在“十五”国家科技攻关重大专项中安排了“智能交通 系统关键技术开发和示范工程”项目。 在智能交通系统中，其核心内容和关键技术是交通检测系统。交通检测系统 利用传感器从交通场所采集信息，并通过车辆检测和车辆跟踪获取交通参数，为 交通管理提供依据，是后续步骤的前提和基础。目前用以交通检测的方法有：感 应线圈检测、红外线检测、微波检测、超声波检测、磁力计检测、视频检测等。 其主要方法为： 1 ) 磁感应线圈检测：该检测方法将环形磁感应线圈埋在路面下，工作稳定， 不受光线和天气条件的影响，且检测精度高。但是要求设置于路面土木结构中， 对路面有损坏，施工和安装不便，可检测参数较少，可扩展性差，不能进行调节 和移动，不易进行维护。另外感应线圈的埋置深度、线圈本身的性能和寿命、线 圈与导线接头的可靠性和防潮绝缘性能都需要进一步的完善和改进。 2 ) 红外线检测：这种检测方法是非接触遥控测量、响应速度快、灵敏度高， 红外检测器外观不显眼，布线简单易于安装，有无光线都可以工作，可以很好的 解决昼夜转换的问题。但是由于检测灵敏度与热辐射率相关，红外线检测受车辆 本身热源的影响，抗噪声的能力比较差，在检测时对时间和温度关系要求严格， 另外测得的交通参数比较少。 3 ) 视频检测：这种检测方法是在视频图像序列中利用图像处理技术对车辆 等目标进行处理和分析，是目前交通监测系统研究和运用的热点。其硬件主要由 摄像头、数据设备和处理终端等组成。与其他类型的检测方法相比有很多优点， 如它属于面式检测，检测范围大；能提供交通中大量所需要的信息，维护简单、 适应性强、直观且易于控制。目前存在的问题，是车辆检测易受到天气和光线变 2 山东师范火学硕j ：学位论文 化的影响，车辆间的相互遮挡和车辆的阴影有时也会也影响到车辆的统计和跟 踪。 本文选择智能交通系统中交通检测环节的热点方法视频检测进行深入 的分析和研究，针对其存在的一些不足进行了改进和提高，以进一步完善智能交 通系统中交通检测环节的精确度和实时性。 1 2 基于视频交通检测的国内外研究现状 近年来，随着计算机技术和图像处理技术的不断发展，利用计算机视觉技术 对交通状况进行监测得到了越来越多的关注。在智能交通实时监测系统中，基于 视频的交通检测已成为当前研究最热、应用最广的领域之一。 1 2 1 国外研究现状 在囤外，美国，日本，欧洲等发达国家对视频监测系统的研究开展比较早。 1 9 7 8 年，美国j p t ( 加州帕萨迪纳市的喷气推进实验室) 首先提出了运用机器视觉 来进行车辆的检测的方法，指出其是传统检测方法的一种可行的替代方案。几年 后，美国明尼苏达大学的研究人员研制了第一个可以投入实际使用的基于视频的 车辆检测系统。该系统使用了当时最先进的微处理器，在不同场景和环境下的测 试结果良好，说明了利用视频传感器实时检测车辆的可行性。其后于1 9 8 9 年正 式推出了用于外场车辆检测的a u t o s c o p e 2 0 0 2 视频车辆检测系统。1 9 9 2 年，研 制出a u t o s c o p e 2 0 0 3 ，产品的各项性能趋于成熟，实现了全天候检测。1 9 9 4 年， 美国休斯飞机公司评测了当时存在的几种检测技术，包括视频检测技术，测评结 果指出基于视频图像处理的车辆检测系统已经具备了投入实际使用的潜力。同 年，m d o t ( 明尼苏达运输部) 为f h w a ( 美国联邦公路局) 进行了更详尽严格的测 评，结果表明视频检测器的检测准确性和可靠性可以达到令人满意的程度。1 9 9 6 年至1 9 9 9 年期间，美国国防高级研究计划局( d a r p a ) 资助卡内基梅隆大学、 戴维s a r n o f f 研究中心等著名大学和公司合作，共同研制视频监视与监控系统 vs a m ，可以对监控地区进行全方位的昼夜监控，具有视频分析处理能力。 3 山东帅范人学硕i ：学位论文 同时期，基于视频交通检测系统的研究也在日本和欧洲广泛展开。从上个世 纪7 0 年代开始，日本投入大量的人力和资金进行对智能交通系统的研究开发， 并在9 0 年代先后成立了日本“车辆、道路与交通智能协会”，v e r t i s ( 路车交 通智能协会) ，v i c s ( 道路交通信息通信系统，v e h i c l ei n f o r m a t i o na n d c o m m u n i c a t i o ns y s t e m ) 中心等，用于推进交通检测系统的研发工作。日本东京 大学的s h u n s u k ek a m i j o ，k a t s u s h ii k e u c h l ，m a s a os a k a u c h i 等人也做了 很多深入的改进算法研究。主要的研究方向是如何根据运动估计、基于马尔可夫 ( m a r k o v ) 随机场等技术进行运算，以解决运动目标的遮挡问题。该算法首先计算 运动背景的参考灰度，通过灰度阈值来检测车辆并进行初始化标志，同时计数器 更新，然后通过运动矢量的计算，更新车辆区域和编号，最后通过马尔可夫 ( m a r k o v ) 随机场进行优化。上世纪8 0 年代，欧洲多个国家联合投资5 0 多亿美金， 执行完善道路设施，提高服务质量的d r i v e 计划，进一步推动了交通检测系统 的开发和应用。另外，英国雷丁大学计算机系的v i e w s 项目组；德国卡尔斯鲁 厄大学计算机系h h n a g e l 博士领导的研究组等都在该领域取得了突出的成就。 1 2 2 国内研究现状 我国在视频检测领域的研究起步较晚，但发展迅速，取得了一定的成果。中 科院自动化所模式识别国家重点实验室视觉监控小组总结了英国雷丁大学 v i e w s 的车辆交通监控原型系统的研究经验，在前人理论研究的基础上，自行 设计了一个拥有完全自主版权的交通监控原型系统v s t a r v i s u a ls u r v e i l l a n c e s t a r ，并在p cw i n d o w s2 0 0 0 平台上用v i s u a lc + + 6 0 语言初步实现了整个系统， 完成从运动车辆检测到跟踪以及行为分析。中国科学院自动化研究所模式识别国 家重点实验室从2 0 世纪9 0 年代初就开始研究基于三维模型的智能视觉监控系 统，领导视觉监控小组，针对系统中若干关键性问题像车辆检测、跟踪以及车辆 行为分析，进行了深入的研究和探讨，提出了自己的见解和主张，取得了一系列 的研究成果。 目前，国内视频检测的算法主要集中在差分法和基于统计模式的运动目标检 测，基于运动矢量估计的算法尚在起步阶段。哈尔滨工业大学的张泽旭、李金宗、 4 山东师范人学硕十学位论文 李宁宁等做过基于光流矢量和c a n n y 边缘检测算子来进行运动目标的检测和分 割算法理论研究乜1 。电子科技大学的魏波做过基于统计模式方法的运动目标检测 算法，首先利用较简单的算法对运动场进行了粗略的估计，然后根据马尔可夫 ( m a r k o v ) 随机场理论构造出运动场的间断点分布模型，利用此模型来检测运动场 间的断点，以此来实现运动目标的检测。实验表明，这一方法十分有效，且运算 负担较小，并可通过d s p 实现实时检测，但未能实现跟踪。也有人对帧差算法 运用先进的技术进行了优化和改进，如模糊聚类算法、遗传算法聚类h 1 等。但 是都只停留在理论算法的研究基础上。此外，对于基于运动矢量的车辆检测和跟 踪，国内也有一定的研究。 近年来，背景差分法成为视频检测算法研究和应用的热点之一，受到了广泛 的关注。为了提高背景差分中背景模型的精度，一些改进的背景模型构建算法被 先后提出。西安交通大学的张永丽等提出一种新的用于交通流量检测的自适应背 景初始化算法1 ，根据运动目标数目自适应地确定所需图像帧数，通过循环缩小 目标像素区域，最终完成背景模型的初始化。浙江大学的于慧敏等通过一种基于 帧间差分的算法伯1 ，自动提取初始背景图像。中科院的高丽等利用随机信号的统 计特性累计得到算法所需的背景，实现背景信息的自动获取口。南京三宝科技集 团的祈同林等通过自学习方法建立视频图像的高斯模型，构造初始背景图像，运 用差分法，得到运动目标，并对背景图像进行了重构、更新，得到实时背景图像 陋1 。上海交通大学的施燕芬等提出了一种基于多样性采样原理的高斯核密度估计 模型用于多模态背景描述阳1 ，从包含运动物体的训练序列中，提取具有较高频度 以及最大多样性的样本集用于背景建模，并根据新样本及邻域点在总样本集中取 值的相关频度计算权值，避免了采用全部训练点产生的信息冗余和重复计算等缺 点，使背景核估计的计算简单有效。中国海洋大学的迟晓君等提出了一种在智能 交通系统中实时监测交通参数时更新路况背景的新方法n 训，即基于最小风险的 b a y e s 决策分类的背景提取方法，通过比较在不同类别路况模式下的期望风险值， 找到最小风险值所对应的决策方案，相应地采取不同的策略替换路面背景。福州 大学的高志伟等在r g b 空间中对彩色交通视频图像进行多通道边缘检测，利用 融合的边缘信息进行多帧迭加建立自适应背景模型n 。中国农业大学的陈望等提 出一种改进算法，将2 5 6 个狄度级分为l o 区问，通过采集1 0 0 0 帧图像，统计每 5 山东师范人学硕f ? 学位论文 个像素点的最大取值区间而确定每个像素点的背景取值区间n 引。以上算法都在背 景模型的建立方面做了有益的探索和改进。 1 3 本文的主要工作和内容安排 本文对智能交通系统中基于视频序列的车辆检测和跟踪算法进行学习和研 究，针对目前常用算法在实时性、鲁棒性等方面存在问题和不足，在前人的基础 上，进行了改进和提高，提出了一种应用于城市主干道，通过固定单摄像机进行 车辆检测与车辆跟踪的新的实现方法。 1 3 1 论文的主要工作 本文的主要工作为： 1 ) 在车辆检测环节，综合运用背景差分法和帧间差分法进行运动车辆的检 测，对背景模型的建立和更新算法进行了改进，并采用动态自适应阈值进行图像 分割。 首先在背景模型初始化时，利用帧间差选择运动目标较少动态帧数的输入图 像作为计算帧进行背景初始化，以保证背景模型的初始化具有较高的精度和效 率。其次在进行背景更新时，一方面通过背景差分对新输入图像帧的像素点进行 判别，判为背景的像素点进行更新，判为前景的像素点不进行更新，从而保证背 景模型更新的精度；另一方面背景更新时的加权系数不采用常数，而是动态变化 的，与实际背景的变化相关联，当实际背景发生突变时，能够及时跟踪实际背景。 最后，在图像分割时采用动态变化的阂值，即通过动态阈值对背景差分的结果进 行分割，以避免实际背景突变时图像分割出现较大偏差。 2 ) 在车辆跟踪环节，在基于区域跟踪的基础上，综合利用灰度图像和处理 后的二值化图像实现对车辆的跟踪。 首先在匹配前，根据目标车辆的运动记录建立其质心位置的预测模型，预测 目标车辆在下一帧图像中的质心位置。其次在匹配时，选择运动车辆的质心位置、 目标大小与整个目标的平均灰度值作为匹配特征集。无论是目标车辆的预测还是 6 山东师范人学硕卜学位论文 车辆特征集的计算，都算法简单，容易实现，且效果也较好。 1 3 2 论文的内容安排 本文共四章，各章的内容安排具体如下： 第一章：绪论。阐述了研究智能交通系统的背景和意义，简要分析了视频交 通监测系统的国内外研究现状，并介绍了本文所做的主要工作。 第二章：运动车辆的检测。综合运用背景差分法和帧间差分法进行运动车辆 的检测，对背景模型的构建算法进行了改进。 第三章：运动车辆的跟踪。在区域跟踪算法基础上，综合利用灰度图像和二 值化图像，通过质心位置预测，多特征值匹配实现对车辆的跟踪。 第四章：总结与展望。总结本文所做主要工作，并分析其存在的问题及今后 的应用前景。 7 山东师范人学硕l j 学位论文 第二章运动车辆的检测 在视频检测系统中，运动车辆的检测是视频图像处理的主要内容之一，是运 动车辆跟踪的前提。在这一章，本文首先对基于视频检测系统的总体结构以及视 频信息采集模块做了大致的介绍，然后详细介绍了视频检测系统中运动车辆的检 测及其常用算法，最后选择其经典算法一背景差分法进行改进，提出了一种新 的背景模型构建方法。 2 1 检测系统总体结构及视频信息采集 智能交通系统中的视频检测系统设置在需要进行监控的每个交通场所，通常 包括视频信息采集、车辆检测、车辆跟踪三个模块。如图2 1 所示 图2 - 1 视频检测系统总体结构 在每个监测点都设有采集视频信息的传感器( 数字摄像机) 和现场进行处理 的计算机等硬件。实际应用中，首先由视频信息采集模块中的数字摄像机连续地 拍摄监视区域的交通场景，获取实时的交通视频信息，并输入到现场计算机中。 然后由现场计算机进行车辆检测方面的处理。检测出感兴趣的目标车辆后，再进 8 视频信息采集： r 车辆检测i 1 r 枷艮踪i l ， 信息传输 ： 山东帅范人学硕i ：学位论文 行车辆跟踪方面的处理，获得所需要的交通数据。最后将所需要的交通数据输送 到交通管理中心。 在基于视频的交通检测系统中，信息采集主要由数字摄像机完成。实践中， 根据摄像机的数目及是否运动，有单摄像机与多摄像机、固定摄像机与移动摄像 机之分n 引。单摄像机由一个摄像机进行监视，监视的区域有限，且不能获得运动 目标的距离信息，难以解决遮挡问题。多摄像机能够扩大监视区域，能够得到运 动目标的距离信息，可以一定程度上解决遮挡问题，但如何将不同摄像机获得的 运动目标信息正确对应起来，却是一个相当难以解决的问题。因此目前应用较多 的单摄像机n 4 “朝。固定摄像机是指摄像机是静止不动的，该情况下其拍摄的背景 是静止的，使用背景差分法进行车辆检测会取得很好的效果。移动摄像机由于其 摄像机亦是运动的，所以其拍摄的前景和背景都是运动的，要准确检测并跟踪运 动目标是一件困难的事。因此，在实际应用中大多数视频检测系统都是采用固定 摄像机。 鉴于上述原因，目前绝大数关于视频检测的研究都是属于固定单摄像机的视 觉跟踪问题。本文下面所做的研究亦是基于固定单摄像机，关于多摄像机与移动 摄像机等方面的研究不再进行讨论。 对于视频信息的采集频率，在应用中，要与现场计算机的处理速度相适应。 如果计算机处理每帧图像所用的时间超过相邻两帧之间的时问间隔，会出现数据 丢失现象。但是，如果视频信息的采集频率太低，则有可能造成同一运动车辆在 相邻两帧图像中的特征变化过大，不利于目标车辆的跟踪，因此应简化车辆检测 与跟踪的算法，尽量提高计算机的处理速度。 2 2 运动车辆的检测及其常用方法 基于视频的运动车辆检测是指在输入的连续视频序列图像中将运动的车辆 从静止的背景中提取出来，为下一步的数据处理和分析提供依据。它是检测系统 中的基本环节和关键步骤，是后续步骤中图像分析和处理的基础。它的准确与否 对后续步骤中车辆的统计、识别与跟踪有着重大影响。 在车辆检测过程中，由于交通场所天气与光照的变化、运动车辆的相互遮挡 9 山东师范人学硕j ：学位论文 及阴影等问题，给车辆的正确检测及随后的处理带来了一定的困难。如何克服上 述问题对车辆检测的影响，提高车辆检测的精度，已成为车辆检测的重要课题。 另外，由于智能交通检测系统的实时性要求，减少车辆检测算法的计算量和提高 快速性亦是车辆检测过程需要考虑的重要因素。总之，提高运动车辆检测的准确 性、鲁棒性和快速性是目前车辆检测过程的主要研究内容。 为了实现视频检测中运动车辆的检测，不同的车辆检测算法先后被提出，它 们都具有各自的优点和不足。目前常用的方法主要有：背景差分法n 6 17 1 8 1 、帧间 差分法n 鲫及光流法伽一1 翻。 2 2 1 背景差分法 该算法首先选用视频序列中的一幅或部分图像通过一定的算法建立背景模 型，作为背景图像。然后将待检测图像帧与背景图像差分，消去背景。如果像素 点的差值大于某一阈值，则判为运动区域，否则则为背景区域，从而在视频图像 中检测出运动车辆。在检测过程中，要不断进行背景模型的更新，以保持背景模 型与实际背景相一致。 背景差分法对于复杂背景下的运动物体检测效果较好，能够提供最完整的特 征数据，且计算量小容易实现，实用价值大。缺点是对背景的动态改变非常敏感， 受光线、天气等外界条件的影响较大。该方法是目前视频交通检测系统中应用最 广泛的一种车辆检测方法。由于其检测效果好，又具有较好的实时性，多数实时 监测系统都以背景差分法为基础。但如何保证背景模型的精度是该方法需要解决 的首要问题。在实际应用中，需要采用一定的算法进行背景模型的精确建立和动 态更新，使背景模型能够不断接近实际背景，以期减少场景变化对视频图像检测 分割的影响。 2 2 2 帧间差分法 该算法是基于视频序列中相邻图像间具有强相关性，而将相邻两帧或多帧图 像中相对应的像素点逐一相减，消除背景及静止的物体，实现运动车辆的检测。 l o 山东师范大学硕一l ：学位论义 帧间差分法的优点是运算简单，检测速度快，适用于实时性要求较高的应用 环境。同时因相邻两帧图像的时间间隔较短，差分图像受环境光线变化的影响较 小，非常适合用于动态变化的环境。其缺点有二：首先，它不能检测出静止或运 动速度过慢的物体，对于高速运动的物体又会使得分割区域远远大于真实目标， 其分割区域与目标运动速度相关；其次，如果物体内部的灰度比较均匀，相邻帧 差可能在目标重叠部分形成较大空洞，严重时造成分割结果不连通，不利于迸一 步的物体分析与识别。在实际应用中，帧间差分法往往是许多复杂检测算法的基 础，可以将它与其它算法结合而实现算法的改进，提高车辆检测的效果。 2 2 3 光流法 该算法是利用图像灰度在时间上的变化与景象中物体运动的关系，进行运动 物体的检测。当物体运动时，在图像上对应物体的亮度模式也在运动。所谓光流 是指图像中灰度模式运动的速度，它是景物中可见点的三维速度矢量在成像平面 上的投影，它表示了景物表面点在图像中位置的瞬时变化。光流法检测运动目标 的原理是：给图像中的每一个像素点一个速度矢量，形成了一个图像运动场，在 运动的一个特定时刻，图像上的点与三维物体上的点通过投影相对应，根据各个 像素点的速度矢量特征，可对图像进行动态分析。如果图像中没有运动目标，则 光流矢量在整个图像区域中是连续的，当物体和图像背景有相对运动时，运动物 体形成的速度矢量和邻域背景速度矢量不同，从而检测出运动物体。 光流法的优点是能够检测独立运动的对象，不需要预先知道场景的任何信 息。并且可用于摄像机运动的情况，能够很好的工作于静态背景和动态背景两种 不同环境，有较好的适应性。但多数光流法计算复杂度高，处理数据庞大，时间 开销大，实时性差，对噪声敏感，抗干扰能力弱。在实际应用中对硬件有着较高 的要求。因此，在目前的实时检测系统中，光流法尚未得到广泛应用，但它是未 来重要的研究方向和发展趋势。 2 3 基于背景差分法的改进 山东师范人学硕1 ：学位论文 在视频检测中，背景差分法由于计算量小，容易实现，又能够提供较完整的 特征数据，比较适合复杂场景的实时检测，因此在现实中得到了非常广泛的应用。 在背景差分法中，背景模型是核心所在，其精度直接关系到车辆检测的精度。但 由于光照与天气状况的变化，实际背景也会不断发生变化，如何保证背景模型的 精度是背景差分法车辆检测中的经典难题。 鉴于背景差分法的突出优点，本文也以背景差分法为基础进行车辆检测。为 了提高背景模型的精度，本文提出了一种新的背景模型构建算法。首先在背景模 型的初始化阶段，利用帧间差分法选择运动目标较少动态帧数的输入图像作为计 算帧进行背景初始化，使背景模型的初始化具有较高的精度和效率；其次在背景 模型更新时利用反馈的方式区分新图像帧中的背景及前景，而且采用动态的更新 加权系数，与实际背景的变化相关联，使更新的背景模型更加接近实际背景。 2 3 1 背景模型的分析 在背景差分法检测中，构建一个精确且鲁棒的背景模型至关重要，其精确与 否影响到整个系统的输出。背景模型的构建包括模型的初始化与更新两个环节。 背景模型初始化是指从输入的视频中选取一定数量的图像帧，通过一定算法构造 出最初背景模型各个像素点的灰度值。背景模型的更新是指完成初始化的背景模 型，随着图像帧的输入实时更新各个象素点的灰度值，及时跟踪实际背景的变化， 使背景模型尽可能的接近真实背景。 传统的背景模型算法主要有：均值法心副、中值法乜引、基于高斯分布的背景模 型鼢3 及基于k a l m a n 滤波的背景模型瞳翮。具体如下： 1 ) 均值法：为最简单的背景模型算法。其基本思想是计算出所有输入帧的 平均值作为背景。其计算公式为： b j ( x ，y ) ：! ：乃( x ，y ) + j - ib j l ( x ，j ，) ( 2 1 ) jj 8 j ( x ，y ) 表示第j 帧图像中第x 行y 列像素点( x ，y ) 的背景。h ( x ，y ) 为第j 帧图像中像素点( x ，y ) 的灰度值或颜色分量。局一- ( 工，y ) 表示第j 一1 帧图像中像素 点( x ，y ) 的背景。 1 2 山东师范大学颐l ：学位论文 该模型算法简单，计算量小，容易实现，比较适合简单场景的实时检测。但 其构建模型时采用的计算数据既包括图像帧中的背景也包括前景，且无论背景还 是前景都以同样的权重参与计算，其构建的模型往往精度较差，特别是在复杂背 景情况下。 2 ) 中值法：该算法选取最近一定数量帧的中值作为背景，进行背景模型的 初始化，初始化后再采取其他策略进行背景模型的更新。初始化阶段，如果背景 出现的概率大于5 0 ，则建立的背景模型具有较高的精度，但一旦车流量较大， 背景出现的概率较低，则建立的模型会与实际背景相差较远。 3 ) 基于高斯分布的背景模型：该算法为均值法的改进。高斯背景模型认为， 路面背景上的某个点在一段时间内的像素值膨的集合应该服从高斯分布，可以 用统计均值代替背景点的像素值，而该点的统计均值近似于时间平均值高斯背 景模型通过对大量连续帧求平均取得初始背景，以后再用当前帧和背景帧的加权 平均来更新背景。其计算公式为： 磅( x ，y ) = a b ( 石，少) + ( 1 - a ) b j l ( 工，y ) ( 2 - 2 ) a 为加权系数，即学习率，取值在0 1 之间。 这种背景模型更新时的学习速度取决与其加权系数a ，可根据背景的稳定性 及环境的变化合理取值。其局限性是初始化背景速度较慢，往往需要4 0 0 - - 6 0 0 帧以上图像才能得到理想的背景，而简单的加权平均同样也会造成背景污染，影 响检测精度。 4 ) 基于k a l m a n 滤波的背景模型：卡尔曼滤波器由一个状态方程和一个量测 方程组成，是线性无偏均方误差最小的递推公式。其只用信号的前一个估计值和 最近一个观测值就可以在线性无偏最小方差估计准则下估计信号的当前值，借助 于系统本身的状态转移方程，按照一套递推公式，即可算出新的参数估计值。 状态方程：服= a x r i + b u r + 讹一i( 2 3 ) 其中x 为系统状态，a 为状态转移矩阵，绯为系统的输入量，艿系统的作 用矩阵，w x i 为动态噪声。 量测方程：z k = 觚+ 协 ( 2 4 ) 其中乙为k 时刻的系统状态观测向量，日为量测矩阵，协为量测噪声。 假定动态噪声与量测噪声是相互独立的零均值白噪声序列，且均服从正太分 1 3 山东师范人学硕l j 学位论文 布。经过推理可得到卡尔曼滤波器的一系列预测方程和修改方程，预测部分负责 利用当前的状态和误差协方差估计下一时刻的状态，得到先验估计；修正部分负 责反馈，将新的实际观测值与先验估计值一起考虑，从而获得后验估计。在每次 完成预测和修正以后，由后验估计值预测下一时刻的先验估计，重复以上步骤， 实现背景模型的自适应更新。 这种方法的好处是，预测背景能随环境光线自适应更新，缺点是必须给它一 幅不含车辆的初始背景，否则它的预测精度会大大降低，而且计算较复杂，在实 时监测中对硬件有一定的要求。 2 3 2 背景模型的建立 传统的背景差分法在构建背景模型时，对输入的图像帧不加选择地用来初始 化，而采用的帧数也大多是固定的，这样就具有一定的局限性，要么精度较差， 要么效率较低，往往需要经后面较长时间的背景学习，才能接近实际背景。 本文在总结前人成果基础上，提出一种新的背景模型构建算法。在初始化时， 利用帧间差分选择运动目标较少的图像帧进行初始背景计算，并根据计算帧的选 择标准确定初始化所需计算帧的帧数刀，最后利用所有计算帧求各个象素点的平 均灰度值作为背景模型的初值。具体方法如下： 将连续的帧序列f 依次输入，依次作偶数帧厂z r 与其前一帧厂：r 一- 的帧问差分， 对于第i 行第列的象素点( f ，) ： d 2 ，o ，) = i j z ，o ，) 一1 2 ，一t o ，) i ( 2 5 ) ，( f ，) 为象素点( f ，) 的灰度值，d ( f ，_ ，) 为差分结果。假定每帧图像为x 行y 列，令： 1 4 选择规则：如果d ：， t k ，则： 鼠+ - ( f ，) = b k ( i ，) ( 2 1 0 ) 否则： & + i ( f ，) = o b k ( i ，) + ( 1 - o ) i k ( i ，) ( 2 1 1 ) b k ( i ，j ) 为背景灰度值，h k ( i ，j ) 为背景差分的结果，孔为动态阈值，9 为动态 加权系数，决定了背景学习的精度和速度。为了能从背景中准确地检测出前景， 并及时精确的更新背景模型，本文算法实时跟踪背景的变化，在图像中选择一些 不太可能出现运动目标的区域，例如道路中间的隔离带及路边绿化带中的某一区 域，计算它们部分像素点的平均灰度值的变化。假定选定了厂个像素点，则： u k = 吾莓五( 2 - 1 2 ) a k = u k u k l( 2 1 3 ) t k = t + 允女( 2 - 1 4 ) 9 训t 一拦，( 2 - 1 5 ) 丁为固定阈值。允为阈值动态变化系数，取值在0 5 l 之间。7 7 取值在o l 之间。可以看出，实际背景变化越大，秒越小，背景学习的速度越快。实际应 用中，如果图像帧内不存在隔离带之类的绝对背景区域，可通过计算所有象素点 平均灰度值的变化来近似代替，但阈值动态变化系数见要作相应的调整，取 值较小。 由于进行前景判别时，采用了动态阈值，进行背景更新时又采用了动态系数， 所以本文提出的背景更新算法既具有较高的精度，又具有较快的学习速度。 2 3 4 运动区域的提取 1 6 山东师范大学硕l ：学位论文 在车辆检测过程中，完成背景模型的初始化后，便可进行运动区域的提取。 运动区域的提取包括背景差分、图像分割、二值化等环节。首先要进行的是背景 差分。在本文所提算法中，背景差分与背景更新为同一过程，即将输入的图像帧 与此刻的背景模型相减，得到新的差分图像。这一步骤己在背景模型的更新部分 介绍，此处便不再赘述。 完成背景差分后，要将差分结果进行图