（交通信息工程及控制专业论文）视频检测系统中的背景检测及更新算法研究.pdf

摘要 视频检测系统是利用图像处理技术从运动图像序列中检测、识别、跟踪车辆的技术， 获取所需交通流状态信息。常用方法是基于与背景相比较的方法。故背景图像的获取及 实时更新是车辆视频检测的前提。 常用的背景提取算法如平均法，统计法，分块法，高斯混合模型等，对于车流量较 大情况往往不能得到满意的结果。本文提出了一种将统计直方图和多帧平均法相结合的 背景提取算法。算法在直方图若干个极大值中，利用多帧平均法进一步确定多个极大值 中对应是背景的置信度，从中选出置信度最大的作为最终背景图像。算法在实际现场环 境中进行了实验，包括车流量较小和车流量较大的情况，结果表明该算法在上述情况下 都能提取出较满意的背景。证明该算法可以满足实际应用的要求。 实际场景中环境是动态变化的，如灯光或太阳光产生的亮、暗变化以及由于太阳光 照射角度产生的阴影位置变化等情况。需要对背景进行实时更新。本文提出了一种基于 分块的背景更新方法。算法在一定时间内根据块匹配判断该块是否处于稳定状态，进而 利用块的均值和方差决定此块是否处于连续的稳定状态，从而判定该块是否需要更新。 算法通过现场实验，包括隧道中车流量较小的、隧道中车流量较大的、隧道出口光线变 化剧烈的、隧道出口阴影位置变化等环境，结果表明在各种环境下背景更新都有较好的 效果。因此实验表明该算法可以满足实际应用的要求。 实验结果表明，本文算法对于实际环境下的背景提取和背景更新都有较理想的效 果，可以应用于车辆视频检测。 关键词：智能交通系统、图像处理、运动目标检测、背景提取、背景更新 a b s t r a c t v i d e od e t e c t i o ns y s t e mi sat e c h n o l o g yw h i c hi s u s i n gi m a g ep r o c e s s i n gt e c h n o l o g y d e t e c t ，i d e n t i f y , t r a c kv e h i c l ei ni m a g es e q u e n c e sa n dg a i nt h et r a f f i cf l o wi n f o r m a t i o n c o m m o nm e t h o d sa r eb a s e do nc o m p a r i s o nw i t ht h eb a c k g r o u n d s ob a c k g r o u n de s t i m a t i o n a n dr e a l t i m ev i d e od e t e c t i o no fv e h i c l ea r ev e r yi m p o r t a n t c o m m o na l g o r i t h m sf o rb a c k g r o u n de s t i m a t i o ns u c ha sa v e r a g e ，s t a t i s t i c s ，b l o c ka n d g a u s s i a nm i x t u r em o d e l ，e t c f o rb i g g e rt r a f f i cf l o wo f t e nc a n tg a i nas a t i s f a c t o r yr e s u l t t h i s p a p e rp r o p o s ea na l g o r i t h mo fb a c k g r o u n de s t i m a t i o nw h i c hi sc o m b i n gs t a t i s t i ch i s t o g r a m a n da v e r a g em e t h o d t h ea l g o r i t h mf i r s t l yf i n ds e v e r a lm a x i m af r o mt h eh i s t o g r a m ，a n du s i n g t h ea v e r a g em e t h o dt od e t e r m i n et h eb e l i e v ed e g r e eo ft h es e v e r a lm a x i m a ，a n dt h e ns e l e c tt h e h i g l l e s tb e l i e v ed e g r e ea sb a c k g r o u n d t h r o u g hl o t so fe x p e r i m e n t s ，i n c l u d i n gt h el i g h t e ra n d b i g g e rt r a f f i cf l o wc o n d i t i o n s t h er e s u l t si n d i c a t et h a tt h i sa l g o r i t h mc a l lg a i ns a t i s f a c t o r y b a c k g r o u n di nt h e s ec o n d i t i o n s t h ep r o o fc a nb ea p p l i e di nt h er e a lt i m e a c t u a l l y , t h ee n v i r o n m e n ti st h ed y n a m i cc h a n g e s ，s u c ha sl i g h t ，t h es u nl i g h tc h a n g e s a n ds h a d o wa r e ac h a n g e s i nt h e s ec o n d i t i o n si tn e e df o rr e a l t i m eb a c k g r o u n du p d a t i n g t h i s p a p e rp r o p o s eam e t h o do fb a c k g r o u n du p d a t i n gb a s e do nb l o c k a l g o r i t h ma c c o r d i n gt o j u d g ew h e t h e rt h eb l o c km a t c h i n gi ns t a b l ec o n d i t i o ni nac e r t a i np e r i o d ，t h e nu s eb l o c km e a n a n dv a r i a n c ed e c i d e dw h e t h e rt h i sb l o c ki nt h ec o n t i n u o u ss t a b l es t a t e ，a n dd e c i d ew h e t h e rt h e b l o c kn e e du p d a t i n g t h r o u g hal o to fe x p e r i m e n t s ，i n c l u d i n gt h ec o n d i t i o ni nt h et u n n e l ，t h e l i g h tc h a n g e si nt h et u n n e la n dt h es h a d o wp o s i t i o nc h a n g e s ，e t c t h er e s u l t si n d i c a t et h a t b a c k g r o u n du p d a t i n gh a v eb e t t e re f f e c t ，a n dt h ep r o o fc a nb ea p p l i e di nt h er e a lt i m e t h r o u g hal o to fe x p e r i m e n t s ，t h ea l g o r i t h m sp r o p o s a li nt h i sp a p e rc a ng a i ns a t i s f a c t o r y r e s u l t sa n dc a nb ca p p l i e di nt h er e a lt i m e k e yw o r d ：i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，i m a g ep r o c e s s i n g ，d e t e c tt a r g e t ， b a c k g r o u n de s t i m a t i o n ，b a c k g r o u n du p d a t i n g 论文独创性声明 本人声明：本人所呈交的学位论文是在导师的指导下，独立进行研究工 作所取得的成果。除论文中已经注明引用的内容外，对论文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包含任何 未加明确注明的其他个人或集体已经公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名： 论文知识产权权属声明 月7 0 日 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学 校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成 果时，署名单位仍然为长安大学。 ( 保密的论文在解密后应遵守此规定) 论文作者签名： 导师签名： 叼年月向日 、，年月r 一日 带一h 姆似 长安人学硕十学位论文 第一章绪论 1 1引言 智能交通系统是当前世界交通运输领域的前沿研究课题，它融合了电子信息技术、 通信技术、自动控制理论、计算机技术和交通工程学理论等多个学科的理论，并将其应 用于现代的交通运输管理体系中，从而实现交通运输服务和管理智能化【1 1 。 车辆视频检测是智能交通系统中备受关注的，它从运动图像序列中检测、识别、跟 踪车辆，获取所需交通统计量。从技术角度而言，运动分析的研究内容相当丰富，主要 涉及到图像处理、模式识别、计算机视觉、人工智能等学科知识；同时，动态场景中运 动物体的快速分割、光线变化、多辆车辆图像粘连、车辆互遮挡的处理等也给车辆检测 带来了一定的挑战。目前在国内外常见的视频检测方法有人工监测、环形线圈检测器、 超声波探测器、视频检测器等几大类方法。在这里主要介绍以下三种【2 】： ( 1 ) 感应线圈检n - 它是预先在公路下面铺设一个线圈同时加上高频电流，当车 流经过时，线圈内部产生涡流使线圈电感量变化，获得交通流量信号。这种检测方法优 点在于工作稳定，即使在天气条件不好的情况下也能稳定工作，检测精度较高，目前使 用广泛。但不足之处在于它是破坏路面状况设定的，因此在施工和安装上都有一定的不 便之处，同时不易于维护和调节移动。另外感应线圈的埋置深度、线圈本身的性能和寿 命、线圈与导线街头的可靠性和防潮绝缘性都需要进一步的完善和改进。 ( 2 ) 红外线检测：它是非接触测量，红外检测器外观不显眼布线简单易于安装， 并且在有无光线的情况下都可以工作，可以很好的解决昼夜转换以及灵敏地高，响应速 度较快都是它的优点。但是由于红外线检测灵敏度与热辐射率有关，因此红外线检测受 车辆本身热源的影响，它的抗噪声较差同时对检测时的时间和温度关系要求都很严格。 ( 3 ) 视频检测：这种检测方法是目前被广泛应用的，它由摄像头、数据设备和多 媒体p c 机监视终端等组成。他的优点在于：无需破坏路面、安装简便、施工时不影响 交通，易于移动、维护费用低；对周围环境没有影响，不会造成污染，相同检测器之间 也不会发生相互干扰。它还便于管理人员干预，检测范围大、直观可靠，还可以利用原 有的监控设备，最大限度地发挥原有资源的作用；能提供交通中大量所需要的信息，如 可检测所有交通控制所需的参数：车流量、车辆速度、道路占有率、停车等待时间、车 型( 大、中、小三类1 、排队长度、路e l 拥塞状况等；维护简单、扩展性强、精度高， 而且能提供可视图像信息。缺点是：对于遮挡问题比较敏感，比如大型车辆遮挡随行的 第一章绪论 小车辆，容易引起误判；阴影也是影响测量误差的一个重要的因素，另外还有昼夜的转 换也是引起测量误差的一个不可忽视的因素【2 1 。 与诸多种方法相比，视频检测具有以下特点： ( 1 ) 无需破坏路面( 设置虚拟检测线圈) 、安装简单、维护容易、并且可以方便 的改变检测区域的位置和大小； ( 2 ) 检测的信息量大，可以检测多个车道的车辆数、车型、车速等交通信息，还 可以对视频图像场景内的交通情况进行实时监控，当发生交通拥挤、车辆逆行、停车、 超速等事件时自动报警并录像，从而作为违章处罚和责任判定的依据； ( 3 ) 实时性好，并可以利用得到的数据实时分析和绘制出各种参数之间关系的图 表，可省去大量的人力调查和计算分析； ( 4 ) 性价比高，寿命长； ( 5 ) 扩展性强，具有二次开发功能。 由此可见，视频检测技术是当前交通领域最活跃、最有效的交通管理技术，对于解 决交通拥挤、提高运输效率、确保运输安全、减少环境污染都有非常重要的作用，是交 通运输业实现可持续发展的有效手段之一。 1 2 车辆检测技术的国内外发展状况 1 2 1 国外发展状况 1 9 7 8 年，美国7 3 n 少1 , 1 帕萨迪纳市的喷气推进实验室首先提出了一种替代传统检测方法 的方案，它是运用机器视觉来进行车辆检测。在几年之后，美国明尼苏达大学的研究人 员研制出了第一个可以应用与实际的车辆检测系统。经过大量的实验证明在不同场景和 环境下都有良好的测试结果。这个系统的使用说明了利用视频传感器实时的检测车辆是 可行的【3 ，4 】。 此后的几年，基于视频的车辆检测技术又取得了巨大的进步。特别是1 9 8 4 年， a u t o s c o p e 视频车辆检测系统的发明，该系统是用一台普通的工业电视摄像机对车道 的交通流量进行监视和检测，监测的车道数为6 到8 个。它通过人为设置的检测区域内 获得的图像信号，经过数字化和格式化处理，能够得到车辆存在、车辆通过、车速、车 种、排队长度、流量、占有率、车间时距、拥挤程度、密度等交通数据，同时可以实现 交通录像带的脱机分析。数据收集之齐全，可以实现包括现在的各种环形线圈检测器的 所有检测功能【5 1 。 此后相继的几年美国加州理工大学、美国休斯飞机公司都对在告诉公路上运用视频 2 长安大学硕士学位论文 检测技术检测包括视频检测技术进行了测评。1 9 9 4 年由美国休斯飞机公司的测评结果指 出，基于视频的车辆检测技术已经具备了实际使用的潜力。同年由明尼苏达运输部为美 国联邦公路局进行的更为严格的测评结果指出，视频检测器的检测准确性和可靠性都达 到了令人满意的程度。随着应用的越来越广泛，人们已经不能满足于仅检测出车辆，也 希望能获得更进一步的交通参数【5 j 。 1 9 9 2 年，明尼苏达的图像传感系统公司和e c o n o l i t e 控制产品公司联合推出 a u t o s c o p e t m 2 0 0 3 型视频车辆检测系统。该系统的长宽高分别为 0 4 8 m x 0 1 4 m x 0 2 6 m ，符合美国电气制造者协会( n e m a ) 的标准。该系统可用于多车道、 多方向的大范围交通车辆检测。可以同时接收并处理4 台摄像机送来的图像信息，检测 至少4 8 个区域，不仅可以用于高速公路道路监测，同时也适用于桥梁、隧道等不同道 路情况的检测。其次，通过该系统内部非易失的快速擦写存储器( f l a s h ) 或管理机的 硬盘，可以收集大量的交通参数以便进行实时或脱机的交通分析。利用该系统，还可以 进行事故检测。该系统在欧、美、日己经得到广泛地推广和使用，其中密执安州奥克兰 县公路委员会实施的f a s t - t r a c a t m s a t i s 规划是a u t o s c o p e 应用的一个实例。目 前，已经推出了a u t o s c o p e 2 0 0 4 视频车辆检测系统。 两年后，加州大学伯克莱分校d k o l l e r 和他的研究小组提出了在同一时刻检测和跟踪 多辆车，并得到车辆形状信息的方法。此方法应用图像帧差技术进行运动分割，图像帧差 得到的结果用来初始化每一个运动区域的轮廓或蛇形线，在连续图像中用k a l m a n 滤波跟 踪轮廓的位置和形状，通过检测闭合线得到车辆的形状信息，速度和流量检测是通过踉踪 图像序列的特征来检测的，首先提取图像中角点，然后应用相关性在图像序列中跟踪每一 个角点，由同一车辆运动的一致性条件把同一车辆的角点组合在一起，通过车辆在图像序 列中出现规律可计算出速度和流量，此方法在实际系统中得到了较好的应用【5 j 。 1 2 2 国内发展状况 中国是当今世界上道路等基础设施建设速度最快的国家，又是交通需求增长最快的 国家。运输效率低下、城市交通堵塞等问题已经成为我国各大中城市面临的迫切需要解 决的问题之一。因此智能交通系统的发展能够解决目前所面临的问题，也是实现交通可 持续发展的重要环节。 视频检测技术虽然在国内研究起步比较晚，但是目前也有不少公司在这方面作了许 多努力，如清华紫光与清华大学合作开发的新一代视频交通流量检测系统v s 3 0 0 1 ，深 圳神州交通系统有限公司开发的v i d e ot r a c e ，厦门恒深智能软件系统有限公司开发的 3 第一章绪论 h e a d s u ns m a r t v e i w e r - i i 视频交通检测器，湖南天翼信息技术有限公司推出的智能交通 视频图像处理系统，哈尔滨工业大学的v t d 2 0 0 0 系列视频交通动态信息采集系统，亚 洲视觉公司的路段交通信息系统等等【6 】。 东南大学的肖旺新等【1 6 l 基于小波变换的多尺度自适应闭值图像边缘检测的新方法 应用于交通图像边缘检测，可以很好的解决从局部高频信号中区分噪声与边缘的问题。 用大尺度的滤波器去抑制原图像的噪声，可靠地识别噪声，用小尺度滤波器为图像边缘 精确定位。 四川大学计算机学院图像图形研究所的周欣等，再分形维的基础上提出了方向分形 维的算法，结合图像的灰度特征，用来提取车辆边缘并分割高速公路上的车辆。处理结 果显示了方向分形维较强的分割能力和对特殊背景噪声的鲁棒性【7 8 ，纠。 我们国家在交通信息采集设备的开发也已经在很多机构展开，但现在国内已有的交 通信息采集设备中，并不能全面、正确、稳定的采集道路上的车流量、车速、车型分类、 占道率、交通密度，以及车辆排队长度、车辆转弯信息。尤其在背景复杂时，车辆的检 测分割和跟踪、交通拥挤时各辆车之间的分割技术的研究不足，随着交通日益拥挤和对 智能交通管理系统的需求越来越高，越来越突出。另外这些产品在成本，可维护性，可 升级性方面存在着许多缺陷【儿。 因此，我们要研究根据合适的方法，采集道路上的交通信息，并且硬件设备必须能 在各种天气、光照情况下工作，克服各种不利的环境因素的影响，并不间歇地稳定提供 服务。要研究功能强大的信息实时处理分析软件，从原始的信号中，提取交通流量、车 辆速度、车辆类型、占道率、交通密度，以及车辆排队长度、车辆转弯等信息。其中， 复杂的背景、光线的变化将影响到车辆检测的准确度，所以要设计相应算法来克服。 1 3 本文的主要工作 目前常用的目标检测算法主要有3 种：光流法【1 1 , 1 2 , 1 3 】、基于相邻帧差的算法及基于 背景图像与当前帧差的算法1 1 4 , 1 5 1 。由于光流法的计算量较大，因此在实际中不经常使用， 后两种检测算法则较为普遍l l 酬。我们可以看出这两种算法对初始背景都有较高的依赖 性，也就是说初始背景的估计准确性对目标检测有着很大的影响，因此加强初始背景图 像估计的准确性是尤为重要的。 随着现代交通状况的越来越复杂，对于目标检测的难度又加大了很多，除了对初始 背景的要求外，随着背景变化的复杂程度也越来越对背景的更新度有了更高的要求。要 求在初始背景参考的基础上，能够对周围环境的变化有较强的适应性，比如云层遮盖、 4 长安人学硕士学位论文 太阳光变化等引起的照度亮暗变化以及由于太阳光角度引起的阴影位置变化都能够及 时的做出反应。 本文研究的重点就是基于以上两点提出的，本文将分为两个主要部分。对背景提取、 背景更新将进行深入的研究，并分别都提出了改进算法以及实验验证结果。论文主要包 括以下几个部分： ( 1 ) 介绍基于视频的交通时间和交通参数检测系统以及主要功能。 ( 2 ) 研究了视频监控系统中背景提取算法的几种常规算法：多帧平均法、统计直 方图法、统计中值法、分块法。在总结常用的背景提取算法的基础上，仔细分析了各种 算法的优缺点，提出了基于分块法和统计直方图以及多帧平均相结合的方法对传统的背 景提取算法做出了改进，并通过实验验证了该算法。 ( 3 ) 复杂背景下，单一固定的背景是不能适应复杂的交通环境，例如光线的明暗 变化、阴影位置变化等情况。因此本文在研究传统背景更新算法如平均法、帧间差法、 背景差法的基础上，提出了几种改进的背景更新算法，既能对光线的明暗发生的突然性 的，暂时性的变化做出反应，也能适应阴影位置变化的情况。该算法通过分块的方法利 用寻找该块在一段时间内是否到达连续的稳定状态，通过比较前后两个或几个的稳定状 态判定该块是需要更新的背景还是目标。并通过实验验证了该算法。 1 4 论文的结构安排 本文共分为五章，其安排如下： 第一章：绪论。主要介绍了目前视频车辆检测技术国内外的发展情况。 第二章：基于视频的交通时间和交通参数检测系统。主要介绍了系统构成以及主要 功能。 第三章：背景提取算法。介绍了现有的几种背景提取算法并在此基础上提出了一种 改进的背景提取算法。 第四章：背景更新算法。在介绍现有背景更新算法的基础上，提出了基于初始背景 约束以及无初始背景约束的背景更新算法。 第五章：结论。通过实验结果总结了本文提出算法的可行性并分析了算法中存在的 不足之处，还需要在今后继续研究的。 5 第章基十视额的交通事件和交通参数检测系统 第二章基于视频的交通事件和交通参数检测系统 随着我国交通建设的高速发展，道路、隧道、夫桥监控系统的规模在迅速扩大，依 靠人工监控车辆运行状况已很难满足当前日益复杂的交通管理需要，为此提出“基于视 频的交通事件和交通参数检测系统”的研究。 基于视频的交通事件和交通参数检测系统采用先进的数字视频处理与模式识别技 术，对于视频图像中的目标进行识别、跟踪，并描述其运动轨迹，根据车辆的运动轨迹 得出车辆的运动状态，实现对道路交通突发事件的实时检测，并在第一时间内自动报警。 同时采用自适应技术，以充分适应各种气候状况和不同光照的环境。 2 1 系统构成及主要功能 2li 系统构成 基于视频的交通事件和交通参数检测系统在交通监控系统中的应用示意图如下图 2 1 所示： 眨重仁 蛔_ j 眨画一- rm i 鎏墅萋豳纱一j 售 瞄b z 4 妙 棚豳田圈豳 h * 2 i # i tcpnp e 口g z e 目矗 一 f 芎口 图2 1 基于视频的交通事件和交通参数检测系统应用示意图 其中虚线框内的视频交通事件检测器、管理服务器和百兆以太网交换机共同构成基 于视频的交通事件和交通参数检测系统的后台部分。 视频交通事件检测器是率系统的核心部分。它对输入的视频信号进行分析处理，并 将交通事件和交通参数等分析结果上传给管理服务器和其他需要该信息的计算机。 管理服务器负责视频交通事件检测器内各资源的配置、管理和监控，并统计管理交 通事什和交通参数，存储交通事件录像，进行数据库管理等。 视频交通事件检测器、管理服务器和其他管理终端之间通过百兆以太网交换信息。 2 1 2 系统主要功能 基于视频的隧道交通事件和交通参数榆测系统，具有自动交通事件检测，交通参数 长安大学硕士学位论文 测量，火灾检测和交通状况分级等功能，具体如下： ( 1 ) 交通事件检测及报警：逆行车辆，停驶车辆，车辆驶出车道，行人检测，抛 落物，慢行车辆，交通拥堵，火灾检测，交通事故等； ( 2 ) 交通参数检测：车流量，车速，道路占用率，车头时距，车型类别； ( 3 ) 交通状况分级，畅通、饱和、拥堵等； ( 4 )自诊断功能：信号丢失、设备故障等； ( 5 ) 异常事件前后片段录像，多通道即时回放； ( 6 ) 远程系统参数配置功能等； ( 7 ) 采用高性能d s p 及嵌入式实时操作系统，比现有的p c + w i n d o w s 操作系统稳 定可靠，体积小功耗低，机架插卡式结构紧凑，易于扩展。此外将大大降低系统成本， 以提高市场推广的竞争优势。 2 2 系统算法和软件模块 ( 1 ) 背景估计 采用背景差法进行目标检测，关键条件是得到道路的背景情况，即：没有车辆情况 的图像。背景估计是本系统关键步骤，取得可信度较高的背景图像对本系统的后续工作 如二值化，目标检测，事件检测等都有较大的影响。 ( 2 ) 背景更新 随着时间的推移，光照以及一些不可预测的路面情况等外部条件的不断变化，使路 面背景亮度发生缓慢的变化，如果一直用初始背景当作固定背景，随着时间的延续，必 然会造成越来越大的误差。要保证系统长时间正常运行，需要综合当前的各种因数，进 行背景跟踪而保证背景的实时性。 ( 3 ) 目标区域二值化分割 当得到差分图像以后，要从差分图像中找出目标信息，即将目标从背景中提取出来， 这就需要用差分图像二值化来实现目标与背景的分离。二值化差分图像是运动目标检测 过程中不可缺少的一个重要步骤，它直接影响到目标信息的完整性。通常的二值化是选 定一个阀值，当差分图像中某一像素值的差大于阀值时，则认为该像素为前景像素，即 认为该像素可能为目标上的一点，反之则认为是背景像素。但是，阀值的确定并不是人 为随意给定的，而是根据一定的算法通过计算得来的。阀值的选择很关键，直接影响着 检测结果的好坏，只有使用恰当的阂值才能正确地分割出运动目标。 ( 4 )目标跟踪 7 第二章基于视频的交通事件和交通参数检测系统 车辆跟踪的目标是为了确定各运动车辆的运动轨迹，也就是把当前帧检测到的前景 车辆和需要跟踪的运动目标之间建立起一一对应关系。这种对应关系一般要通过特征匹 配来实现。被选择用于特征匹配的特征应该是那些与车辆运动关系密切的特征，如位置、 大小、目标的形状和颜色等等。由于车辆位置随时间而不断发生变化，所以特征也是动 态的。由于在时间上运动车辆总是比与之匹配的前景车辆落后一帧，所以在匹配前要先 根据以前的运动车辆的记录预测它在下一帧中的特征；然后根据相关的统计决策理论进 行特征匹配，再把特征匹配后的结果作为跟踪算法的观察值；最后修正观察值与预测值 之间的误差。 ( 5 ) 交通事件检测 交通事件是指公路( 高速公路) 上的偶发性事件，交通事故、故障停车、货物散落、 超速、逆行等。这些现象可能引起交通堵塞甚至交通事故，本系统的目的就是自动识别 和归类这些事件，并提醒工作人员的注意。另外，停车事故、散落物事故发生后要对背 景更新算法修正，否则事故后的场景被认为是背景。 本文的研究重点是该系统的背景提取和背景更新。它们是该系统的基础环节，是交 通事件及参数检测的前提条件。 由于交通状况的复杂性，比如车流量较大或背景复杂的情况都加大了背景估计的难 度。目前背景提取算法大多针对车流量较小的情况，对于车流状况拥挤的道路情况常规 算法效果有不足之处，因此本文重点研究交通流量较大情形下的背景提取问题，在目前 已有算法的基础上做出了改进，希望能对于车流量较大的情况也有较强的适应性。 真实环境的背景图像往往是动态变化的，要使得背景有较强的适应性，要求背景更 新能够对复杂的环境做出实时的反应。目前广泛采用的是自适应背景更新方法，其基本 原理是用视频序列的当前背景和当前帧的加权平均来更新背景。由于当前帧中含有前景 目标，因此更新前要分割前景和背景，仅用当前帧的背景像素修正当前背景。合成瞬时 背景后，通过瞬时背景和当前背景的加权平均得到更新后的背景。本文将对背景更新提 出改进算法，将对复杂背景变化有较强的适应性。 8 安 学学位论文 第三章背景提取算法研究 背景的提取与更新是视频图像处理中的基本问题之一，是运动目标检测算法的基 础。背景图像是指道路上没有运行车辆的图像，即使道路上有车辆运行，背景算法也可 蚍通过技术处理除去车辆而获得没有车辆运行的背景图像。背景提取算法是任何一种与 背景相比较算法的核心部分，它会直接影响到目标检测的准确性。因此目前研究背景对 于环境的鲁棒性也成为现阶段背景提取算法的核心问题。如果初始背景提取的质量不 高，会造成目标的误检或漏检，从而影响整个车辆视频检测的准确性。下面是道路上通 过背景提取算法得到的背景信息e l s , 1 9 l 。 图3 1 道路实际图像图3 2 获得背景图像 图31 取自南二环。可以看出此时的情况是车道上有目标经过并且车流量正常，经 过背景提取算法可以将车辆消除，只留下没有目标的背景图像。图3 2 表示的是使用背 景提取算法后的背景图像。 3 1 几种常用的背景提取算法 常用的背景提取算法大至有| 三c 下4 种：多帧平均法、统计直方图法、统计中值法、 分块法。多帧平均法、统计直方图法、统计中值法都是建立在统计学基础上，对于简单 的背景情况比较适用，可以得到效果较好的背景图像。但对于交通状况复杂的场景，例 如目标出现较多情形下使用统计学的算法可能会将目标误认为是背景而造成背景上的 错误点，这也是本文重点需要研究的问题口i 。 3l1 多帧平均法 多帧平均算法是基于像素的灰度信息。灰度也即亮度，相机采集的一个像素信息包 括三个字节，分别是y ，u ，v 。y 代表钗度也即亮度，扶度法采用路面和车辆的灰度 统计值来检测车辆，它对环境光线的变化比较敏感。 第三章背景提取算法研究 考虑到运动目标的多样性，车辆的灰度值是大于或小于背景灰度值或与背景灰度值 相当，因此从统计学的角度看，经过一段长期的时间运动目标经过而引起的变化可以通 过求平均值的方法消除。 多帧平均算法的原理是将车辆看作噪声，用累加平均的方法消除噪声，从而可以利 用车辆运行一段时间的序列图像进行平均得到道路的背景图像。用公式表示为： 口口c k g r o u n d g ，y ) 专荟i m a g e i ( x , y ) 3 式( 3 1 ) 中b a c k g r o u n d ( x ，y ) 表示背景图像，n 表示平均帧数，i m a g e i ( x ，y ) 表示第i 帧 序列图像。 该算法特点是模型简单，计算方便。但是我们发现往往在一段较短的时间内路面上 某点( x ，y ) 处不是像我们预期的那样：既有灰度值较大的车辆经过，又有灰度值较小的 车辆经过，而是某些地方在短时间内经过的车辆灰度值都较大，或者经过的车辆灰度值 都较小，这样通过平均法得到的背景就会出现亮暗分布不均匀的状态。但随着平均帧数 的增加对于背景的可靠度有着较大的保证，即平均的帧数多则越接近期望的背景效果。 同时也出现了在车流量较大的情况下使用该算法会将车辆的信息误认为是背景，由于在 现实生活中交通状况是非常复杂的，因此用简单的多帧平均算法显然不能够满足复杂环 境的需要。 3 1 2 统计直方图法 如同多帧平均法的思想考虑到路面上同一点被相同亮度的车辆长时间覆盖的可能 性很小，所形成的亮度不一样的可能性就越大。因此基于像素的直方图分析背景提取方 法通常是基于这样的统计事实。在某一时间段内，视频序列特定像素位置处出现频率最 高的像素值是背景像素值。传统直方图分析方法是通过存储视频中每一像素位置在序列 的时间轴方向上的直方图信息( 即在某一时间段内统计该像素位置处每一种可能的像素 值所出现的次数) ，取该像素位置的直方图峰值所对应的像素值作为背景像素值。例如， 图像灰度值的变化范围为【0 ，2 5 5 】，常用的直方图分析算法通常将该范围等分成若干区间 【o ，t 】，【t , 2 t ， ( 6 1 ) t ，2 5 6 ，其中m = 2 5 6 t ，m 为等分区间总数，t 为落在同 一区间内的灰度级数目。这样，对某一位置处的像素进行直方图统计就变成对该像素灰 度落在各区间段的次数进行统计，主要涉及的参数有： ( 1 ) 直方图灰度区间总数 1 0 长安大学硕士学位论文 ( 2 ) 进行直方图统计的总帧数加。 采用分区域进行的直方图统计在计算量上优于基于像素的直方图统计。但采用分区 域的统计，提取的背景效果受灰度区间总数m 的影响较大，若m 较大则和基于像素的 直方图统计相似，若m 取值较小会导致图像可用的灰度级减少，背景也会发生失真的 情况。 直方图统计用公式表示为： p o ，y ，七) ；p “! ? 峨，竺4 二f ；1 , 2 n ( 3 2 ) i p 矿t m a g e i x ，y ，历j 一七 b a c k g r o u n d ( x ，) ，) 一m a x ( p ( x ，y ，七” k = 0 ，1 , 2 2 5 5 ( 3 3 ) 式( 3 2 ) 中：p ( x ，y ，七) 表示象素点 ，y ) 处亮度值为k 出现的次数，i m a g e ； ，) ，m ) 表 示某一帧图像象素点 ，) ，) 处亮度值为m 。式( 3 3 ) 表示该像素点在时间序列上灰度出 现频率最大值为该像素点的背景灰度值1 2 1 1 。 该算法由于其抗噪声干扰性较好，在通常情况下该方法提取出的背景较多帧平均方 法好，但该算法需要保存大量信息运算量大、提取背景速度慢是该方法的主要缺陷。同 时还伴随有这样的问题出现，对于图像中的近景，因为运动目标快速通过，背景显现的 时间比较长，得到的背景图像较好；而对于图像远景，一些运动目标相连，目标出现的 几率较高，这样会误把运动目标当成背景统计出来，得到的远景背景图像失真【捌。 3 1 3 统计中值法 统计中值法是一种基于排序理论的，能有效抑制噪声的非线性信号处理技术。它主 要用于对实值离散信号的滤波，可以在最小绝对误差条件下，给出信号的最佳估计。统 计中值法的优点是它可以克服线性滤波器如均值滤波给图像带来的模糊影响，做到在有 效地清除脉冲噪声的同时，保持良好的边缘特性，从而获得较满意的复原效果【2 3 , 2 4 l 。 中值滤波的基本思想是把数字图像或数字序列中一个像素点的值，用其邻域中各像 素点值的中值替代。其定义为：对一维序列一，z ：。，把1 1 个数据按大小排列为： 薯1 ，毛2 。屯，则： y = m e d “，吻，一) ； z ， + l 、 了j 1 ( 3 4 ) 圭+ 。争) 实际应用中，滤波邻域一般取长度l = 2 n + l 的子图，n 为正整数。将子图在数据上 第三章背景提取算法研究 滑动，中值滤波输出的为子图内各像素的中值所替换的子图中心像素，即： 咒= r e e d “一。， ，o - 9 + 。) ( 3 5 ) 3 1 4 分块法 上述介绍的背景模型多数是以像素为单位建立的，这些像素被看成是相互独立的随 机变量，每个像素被单独地决策成背景或前景( 目标) 。然而，单个像素本身有时不能说 明太多的问题的。事实上，对没有目标的区域，图像本身的结构具有相对的稳定性，因 此在目标提取过程中仅对单像素进行分析会产生大量冗余信息，不可避免地对算法造成 研究上的片面和方法上的限制。而对相邻的多个像素进行研究和分析，其优势在于可使 用的有效信息多、减少像素形式的背景模型所带来的计算冗余以及提高系统的运行速 度。 分块法的具体思想是首先读取n 帧图像，将每帧图像分成m * n 大小的块，例如 一副7 6 8 p x * 2 8 8 p x 的图像，将其分成若干个8 * 6 的小块，一帧图像则被分成9 0 * 4 8 个小 块。同时计算出每个块的均值优；和方差6 ；，用一个矢量( “t ，6 ；) 来描述。把每帧 图像在该相应块上的矢量计算出来，再对结果进行统计。将统计结果中出现次数最多 的块信息认为是背景，通过这种方法找到背景区域。其步骤如下： ( 1 ) 读取n 帧图像并将每一帧图像分成m * n 大小的块； ( 2 ) 计算每帧图片第i 个区域的均值配r 和方差d t ，并作为描述该块的矢量，保 存在相应的内存单元； ( 3 ) 对于某一块来说，有n 个矢量( “r ， d t ) ( 某个区域的矢量个数总数计为n ， i = 1 n ) ，经过统计求出出现次数最多的矢量( 比，d m 鲫) ，将其作为该块区域的背景 【2 5 】 o 3 1 5 混合高斯模型背景提取算法 单高斯分布模型：假设每个像素的亮度值服从高斯分布u ( u ，1 9 2 ) ，噪声为白噪声。 利用初始不含前景的连续n 帧构造背景模型，并使它能够适应缓慢的光照变化。这种背 景模型比较符合自然的情况，可以适应缓慢的背景变化，有着很强的适用性【2 6 1 。 但此模型使用于前景活动较简单的情况下可以得到较可靠的背景模型。而混合高斯 模型，则是每个像素的亮度值用k 个高斯分布的混合来建模，各高斯分布分别具有不同 的权值和优先级，他们总是按照优先级从高到底的次序排序，取适当的背景权值和阀值， 1 2 长安大学硕士学位论文 在此阀值之内的前若干个分布才被认为是背景分布，其它则是前景分布。混合高斯模型 可以描述多模态背景，且具有很好的自适用性。 ( 1 ) 算法描述 混合高斯模型是一个能处理多模态情况而且自适应的模型。它用多个高斯分布的混 合来描述一个像素点的值的分布。多模态状况下的每一个表面由一个高斯分布来描述， 其中有描述背景表面的高斯分布，也有描述前几个表面的分布。 用混合高斯模型包括状态估计和背景模型估计，同时也可以做参数更新的过程。状 态估计是找出当前像素值所匹配的分布；背景模型估计以一定的准则来判断每一个分布 代表前景还是背景，对于当前像素值，如果它所匹配的分布是背景分布，该像素就被认 为是背景像素，否则是前景像素。之所以能够把前景和背景分开，是基于如下两点事实。 第一：在一个长期观测的场景中，背景占大多数时间，更多的数据是支持背景分布的。 第二：就是颜色相对一致的运动物体也会比静止物体产生更多的变化，况且不同物体通 常有不同的颜色。 我们把进入某个像素范围的每一个表面用一个状态k 来表示，k 扎2 ，3 ，m 】， m 是状态的个数，它是一个假定的常量。m 个状态中一部分对应背景，其余对应前景物 体。每一个状态k 由一个参数吼i 心，。) 的高斯分布来表示，即： 仇一赤店”心 躬向 式( 3 6 ) 中，以和。分别表示均值和协方差矩阵。 对于场景的活动我们是无法预知的，所以像素点的下一个值是由哪个表面产生我们 不知道，甚至在已经知道哪个表面k 出现在像素范围内的情况下，由于小的光照变化获 摄像机噪声的影响，像素值依然服从一定的分布。因此像素值序列就是一些随机变量x 的采样，五是x 在t 时刻的采样值。因为生成某个状态k 的过程是不连续的，所以x 的 分布可以用m 个高斯分布的和来描述： 仇“l 驴) 2 荟，r 既“i 七，办，t ) ( 3 7 ) 式( 3 7 ) 直观上的意义就是：在t 时刻观察到的像素值薯的概率，等于该值分别属 于m 个分布的概率的加权和。其中，吒j 是t 时刻第k 个高斯分布的权值，它代表了由 第k 个分布产生的采样值占总采样值的比例或者说是表面k 出现在该像素的先验概率， 1 3 第三章背景提取算法研究 且善以，= 1 。矿是全部参数的集合，定义为驴= 慨，鹃，九 ，所有参数需要从x 的观察值估计得到。 ( 2 ) 估计当前状态 给每一个像素建立混合高斯模型后，当输入当前采样值时，必须估计m 个分布 中哪个分布是最可能接近背景的。根据贝叶斯理论，后验概率p ( k l ，妒) 代表了该像素 值由状态k 产生的可能性。 p 川卅，一鼍矧产 使p ( ki ，妒) 取得最大值的k 是最大后验概率估计： a k = a r g im a x p ( ki 薯，妒) 一a r g tm a x 巩。p k “i 七，噍) ( 3 9 ) 式( 3 9 ) 中可以得出m 个分布中最有可能产生当前采样值的分布k ，只要知道该 分布是代表前景还是背景物体，就可以划分当前像素是前景还是背景像素。 ( 3 ) 背景模型估计 得到上述当前状态后，就要判断这个模型是属于前景还是背景。s t a u f f e r - g f i m s o n 算法采用了一种排序的机制，即按照成为背景的可能性由大到小把各高斯模型排序，选 择吼的值对k 个分布进行排序，因为，以代表了第k 个分布产生的数据所占的比例， 吼是该分布的标准差，所以可以直观的看出，死吼的值越大，第k 个分布是背景模型 的可能性就越大。一个分布的权值增大或方差减小，都可以使以吼的值增大。排序以 后，m 个分布就形成了一个有序且末端开放的列表，最有可能是背景分布的排在最前面， 较小可能的短暂的分布趋向于末端。若排序后的前c 个分布选为背景模型，c 满足： c = a r g c 晌( 荟p 丁) ( 3 1 0 ) 式( 3 1 0 ) 中t 是一个全局的先验概率，它表示了出现在像素范围内的任何值属于 背景像素的概率。上式的含义是，在排过序的分布中，累积概率超过t 的前c 个分布被 当作背景，剩余的其他分布被当作前景模型1 2 7 2 8 1 。 3 1 6 常用背景提取算法分析比较 ( 1 ) 多帧平均法：模型简单，但运算量大。由于多帧平均模型无法对前景、背景 1 4 长安大学硕士学位论文 像素加以区分，先前帧的运动将持续影响整个提取过程。随着图像序列的不断增加，该 方法的提取效果会受到很多的前景干扰。因此这种方法通常仅用于前景对象较少的场 景。 ( 2 ) 统计直方图法：统计直方图法由于其抗噪声干扰性较好，在通常情况下该方 法提取出的背景较多帧平均方法好，但该算法需要保存大量信息运算量大、提取背景速 度慢是该方法的主要缺陷。同时还伴随有这样的问题出现对于图像中的近景，因为运动 目标快速通过，背景显现的时间比较长，得到的背景图像较好；而对于图像远景，一些 运动目标相连，目标出现的几率较高，这样会误把运动目标当成背景统计出来，得