运动目标检测与跟踪研究

1、硕 士 学 位 论 文论文题目 运动目标检测与跟踪的研究与实现 作者姓名 郑志洵 指导教师 杨建刚教授 学科（专业) 计算机应用技术 所在学院 计算机学院 提交日期 2006年5月15日 摘 要在道路交通治理中，为了获得车辆的运动数据，早期经常采纳的是感应线圈等硬件测量的方法。而假如采纳摄像头拍摄的道路视频,再用计算机软件处理的方法，则能够极大的增加方便性和灵活性。本文运动目标检测与跟踪研究如何让计算机从视频图像序列中获得物体运动数据。运动目标检测与跟踪分为背景提取、运动点团提取、运动点团位置提取、运动物体跟踪这几个步骤,本文对每一个步骤的各种算法做了实验分析比较研究,并提出了改进算法。在背景

2、提取步骤提出了改进的基于均值的背景提取算法以及减少图像像素的兴趣区提取算法。在运动点团提取的阴影处理步骤提出了改进的基于RGB空间的阴影处理算法。在运动点团位置提取步骤提出了改进的线段编码算法。在运动物体跟踪步骤提出了基于预测的运动跟踪算法。实验与分析讲明本文提出的算法优于原算法。本文还通过实验分析比较了基于灰度图像序列的运动目标检测与跟踪、基于边缘图像序列的运动目标检测与跟踪，它们都没有基于彩色图像序列的运动目标检测与跟踪效果好。最后,本文得到了一整套运动目标检测与跟踪的方法，它们的健壮性和实时性都符合实际运用的要求。关键词:背景提取、阴影处理、运动目标检测、运动跟踪、彩色图像、灰度图像、彩

3、色边缘检测bstratn a tffcntrol ystem, norder toahievethe dataof moingvehce，wis instaled to directy measur thm in t eal dys. I we use cmuter swarto callte the dat fro taffivideo，e ca gan moe cneien and fxblt.This thesis fcused thereserch he etos of achiig hedaa ofmong vehiles frmtraffc eo b coputerMongobje

4、ct dettio and rang can be diidd into hessp: bacgrud extacin， moingblob extctio, ovingob psitio achiving and mvingbect trcking Thi thsi shows or xietsand analyison many alorthminaof he seps.I alsoshos the provement f thorihmsmade by usThexperients nd aalyis demonste a he iprod agorthms are betr the t

5、heognal onsEerit and anals aso dmostre t movnoject detction n tracking based oncoor images is beerthn basedon te gra mgeo dgiages.n then e obtain a whol mehod o movin ectdetection ad racking. The robustnss and raltime proprtyof the mehod can rachthe acqueme o threal applicatio. Kewors:Bakrud Exrto,

6、Shadow lmiation，Mo Ojct Dtction, MoingObect Tracking, Colo mge, ry Iae, Colr Edge Dteor目 录 TO 1-4 u摘 要 PAGEREF oc13641447 h IbstractPAGERF _Toc164147 II目 录 AGEEF _oc36414475 hII第一章 引言PGERF _Toc3641446 h 1第二章运动目标检测和跟踪的流程 AGREF _Toc136414477 2第三章 背景提取 AGREF_To1364147h1 彩色图像的背景提取PAGEREF _Toc13641449 h

7、7.11 基于均值的彩色图像背景提取 PGER _T641480 83.1.2改进的基于均值的彩色图像背景提取GRE _oc13641448 h3.1.3 基于中值滤波的彩色背景图像提取 PAGERE _oc13614482 113.1.4 基于共同区域的彩色图像背景提取 PGEREF_To1364148 h 13.15 彩色图像背景提取的实验分析 GE _Toc361484 h16. 灰度图像的背景提取 PAGERE _Toc134145 h 24.1 彩色图像转换成灰度图像 PAGREF3448h 243.2.2 灰度图像的背景提取 PAGEREF _Toc13641448 h 533边缘

8、图像的背景提取 PAGEE _To148 26. 彩色图像的边缘提取 AGEREF_Tc164149 h 27.32 边缘图像的背景提取 PAEREF _T344490 第四章 运动点团提取和背景更新PEREF _Toc1364141 h 314. 彩色图像的运动点团提取 PGEF _Toc13414492 h 14.11 基于马氏距离的运动点团提取 PAGERE Tc13614493 341.2基于欧氏距离的运动点团提取 PGEREF _Tc136149 354. 阴影处理 PAGEEF _T164445h 34.1基于RG空间的阴影处理PAGEREFoc141496 h 3942.2 改进

9、的基于RGB空间的阴影处理 PAGERF_T13641497 h .2. 基于S空间的阴影处理 PAERE _Tc3414498 h 423灰度图像的运动点团提取PAGERE _Toc16449 h 44 边缘图像的运动点团提取PAGEREF _Toc136414500 h47.5 基于帧间差的运动点团提取及其与背景差法比较 AGREF Toc16151 h4.背景更新 PAGEREF _oc64150 h 50第五章 兴趣区提取PAGRF_Tc3414503 h 1.1兴趣区的提取和实验PAGERF_Tc3414504h55.2 道路繁忙度猎取AEF _Toc16415 h 53第六章 运动

10、点团的位置提取PAGER _Toc13641456h 5461 数学形态学处理 PAGEEF Tc1364150 h 562 轮廓追踪 PARF _To13645 h 56.3 线段编码 PAGEREF _T1341450 h 576.4 改进的线段编码 AERF_Toc364450 586 运动点团层运动跟踪 PAGERE_To164411 5第七章运动跟踪 PAGERF _To3614512h 7.1 卡尔曼滤波 PARF Toc136414513h 6.2 基于预测的运动跟踪PAEEF _Toc136414514h 647 运动跟踪算法的计算复杂性分析与改进 PAEEF Tc134145

11、1 h687. 基于边缘图像的运动跟踪结果 PAREF _Toc1614516 h697 基于预测的运动跟踪算法在不同采样率下的健壮性 AGEEF _Toc3641517h07.6 运动跟踪的最终结果 AGEF _Toc1518 74第八章 总结与展望 F Toc136141 h5参考文献PAGEREF _Tc644520 h 76致 谢AGERE _Toc164145h 78第一章 引言在道路交通操纵治理领域，治理部门需要掌握道路上车辆的速度、车辆的数量等等数据以操纵红绿灯平衡道路车流量、对超速和闯红灯的车辆进行处罚。早期,人们一般采纳感应线圈的方式获得车辆的速度、车辆的数量等数据。这种方法

12、，需要在检测路段埋入感应线圈,这需要对道路施工,会阻碍交通，严峻阻碍道路寿命，同时感应线圈设备容易被重型车辆压坏，维护起来又要对道路施工，特不苦恼1。随着计算机技术的进展，道路交通数据猎取不再需要复杂的线圈设备了。只需在检测路段固定摄像头，摄像头拍摄的道路数字化视频压缩后通过传输线路（如光纤）传输到监控中心,监控中心的计算机采纳数字图像处理的方法将道路交通的数据计算出来2。与早期的方法相比,这种方法利用了软件算法通过计算机的强大计算能力得到我们需要的数据，而不是复杂的硬件设备(如感应线圈)对数据直接测量。这极大的增加了方便性和灵活性。如何让计算机从视频图像序列中获得道路交通数据,例如车辆的速度

13、等,近年来专门多人对此展开了研究。从视频图像序列中获得运动物体的数据的方法除了能运用在道路交通外，也能运用于各种监控领域,例如小区防盗、银行监控等等,用以检测和跟踪进入场景的人或物体，应用范围特不广泛。本文确实是研究如何让计算机从视频图像序列中获得物体运动数据视频图像序列中运动物体的检测和跟踪。研究以道路交通作为实验场景,单摄像头且摄像头固定的情况。输入是RGB色彩空间的视频图像序列，目标是实现对视频图像序列中运动物体的跟踪，获得其在图像坐标下的速度。而多摄像头的情况和摄像头跟随物体运动的情况，比单摄像头且摄像头固定的情况复杂，例如多摄像头的多个二维图像序列中如何重构三维场景等。单摄像头且摄像

14、头固定的情况是最差不多的情况,因此本文集中精力研究单摄像头且摄像头固定情况下的运动目标检测和跟踪。第二章 运动目标检测和跟踪的流程在道路视频图像序列中获得车辆的速度，能够使用简单的方法，确实是在图像中的道路位置设置虚拟检测线,模拟感应线圈,依照虚拟检测线上的像素颜色的变化得到通过虚拟检测线的车辆的速度，同时也能够对通过虚拟检测线的车辆计数3。这种方法有专门大的局限性。首先,它需要人工标定虚拟检测线,摄像头一旦换位置,就需要重新设定一次虚拟检测线,专门不方便；其次，它只能检测通过虚拟检测线的车辆，而对图像其他区域的车辆一无所知,图像的大量信息丢失掉了。因此，本文不采取虚拟检测线的方法，而以运动物

15、体(车辆)为目标,跟踪每个运动物体在视频图像序列中的位置,进而得到每个物体的运动速度和运动物体总数。运动目标检测与跟踪的流程有三个层次,如图一4。每个层次再细分，能够得到图二的几个步骤。图像像素层运动点团层运动物体层图一 运动目标检测与跟踪的层次 视频图像序列 边缘检测 背景提取 运动点团提取 运动点团位置提取 数学形态学处理 物体运动跟踪 兴趣区猎取 灰度转换 道路繁忙度 车型车牌识不 道路事件检测 摄像头标定物体真实速度猎取 背景更新 图二 运动目标检测和跟踪的步骤系统的输入是彩色视频图像序列。检测运动物体需要无运动物体的背景图像，而视频图像序列中的每帧图像一般都有运动物体，因此需要提取背

16、景。背景图像提取出来后,将每一帧图像与背景图像作差,然后二值化，得到前景像素构成的运动点团图像，这确实是背景差法。背景提取有专门多种算法,第三章将详述与比较各种背景提取算法,并提出一种改进的算法,实验证明改进的算法有更好的效果。除了直接将视频图像序列做处理外，还能够先将视频图像序列转换成灰度图像序列，然后在灰度图像序列上做运动目标检测和跟踪；或者,因为前景、背景分离的最重要的信息是边缘信息，可先将视频图像序列转换成边缘图像序列，然后在边缘图像序列上做运动目标检测和跟踪5。第三章也讲述了彩色图像转变成灰度图像的方法以及提取彩色图像的边缘图像的方法。第四章讲述并比较了每一帧图像与背景图像作差的不同

17、方法。由于阴影的存在，背景差法会把阴影作为运动物体的一部分，而阴影会把不同的运动物体连成一片，阻碍之后的处理,因此需要对阴影做特不处理。第四章讲述和比较了阴影处理的不同方法,并提出一种改进的算法，实验分析其优于其他算法。第四章也指出了基于灰度图像的运动点团提取无法解决阴影的问题,因此基于灰度图像的运动目标检测与跟踪方法没有基于彩色图像的方法好。提取运动前景像素除了上面所述背景差法外,还能够采纳相邻两帧图像作差的帧间差法6，第四章接着讲述帧间差法,并将其与背景差法比较。图像会随时刻而变化,得到前景和背景像素后，就能够对背景图像做更新，第四章最后讲述背景更新的策略。并不是图像的每一个像素都会出现运

18、动物体，关注区是图像中可能会出现运动物体的部分。在背景提取的时候能够同时猎取关注区，之后的处理就集中在关注区中,这是减少图像像素数,减少处理时刻的好方法。第五章讲述了关注区的提取方法和利用关注区数据计算道路繁忙度的方法。前面讲述的处理方法差不多上基于图像像素的，属于图一中的图像像素层,这一层处理的结果是运动点团二值图像，1代表运动前景像素，0代表背景像素。接下来到了运动点团层处理。第六章讲述运动点团层的处理。首先是对运动点团二值图像做数学形态学处理，去除微小的噪声物体。然后提取运动点团的位置和大小。提取运动点团的位置和大小有多种算法,第六章比较了不同的算法,同时提出了改进算法,改进算法更适合运

19、动目标检测和跟踪。第六章还讲述了运动点团层的运动跟踪，并指出了其存在的几个问题,为解决这些问题，必须在运动点团层上增加运动物体层(见图一)，从而引出了第七章。另外,在运动跟踪时，我们是先确定一帧图像中所有运动点团的位置,然后和前一帧图像中的运动点团位置关系推断是否为同一运动物体。还有一种运动跟踪的方法7：在当前运动点团邻域搜索匹配下一帧中的运动点团，这种方法不需要提取运动点团的位置和大小，能够称之为基于像素的运动跟踪,然而图像的像素数量是专门大的,这种像素点搜索匹配的方法所需的时刻远远多于我们的方法，因此我们没有采纳这种像素点搜索匹配的方法。第七章讲述运动物体层的运动跟踪。首先，介绍了卡尔曼滤

20、波器,其能够用于运动跟踪,但其存在一些问题,由卡尔曼滤波器启发,本文提出了一种基于预测的运动跟踪方法,事实上质是一种简化的卡尔曼滤波器，专门好的解决了卡尔曼滤波器存在的问题。我们做了专门多实验验证了此算法的健壮性。这一章还比较了基于边缘图像的运动跟踪与基于原始的彩色图像的运动跟踪的效果，指出了基于边缘图像的运动跟踪差于基于原始彩色图像的运动跟踪的缘故。图二中虚线框的步骤,是物体运动跟踪之后能够接着进行的后续步骤,本文把精力集中放在运动目标检测和跟踪的研究上，没有对这些后续步骤做更多研究，在那个地点做简单讲明：运动物体真实速度猎取的目的是把运动跟踪得到的物体在图像二维坐标下的速度转换成真实空间三

21、维坐标下的速度，其涉及到摄像头标定;车型车牌识不、道路事件检测是将运动跟踪得到的车辆和道路数据作进一步的处理，以得到诸如车型、车牌、车辆是否闯红灯、车辆是否超速等等,其涉及到专门多研究方向，如模式识不等。我们研究运动目标检测和跟踪使用道路交通作为实验场景。我们对多组实验数据进行实验,每组实验数据是一段彩色的视频图像序列，所有实验视频数据的分辨率都归一到035像素。下文所讲的“实验数据一”是交通治理部门摄制的1秒道路视频,图三是其中的一帧；“实验数据二”是我们用数码相机到天桥上摄制的2秒道路视频，图四是其中的一帧。图三实验数据一的一帧图像图四实验数据二的一帧图像第三章 背景提取背景提取是在视频图

22、像序列中提取出背景。背景确实是场景中静止不动的景物。因为摄像机不动，因此图像中的每个像素点都有一个对应的背景值,在一段时刻内那个值比较固定。背景提取的目标确实是依照视频图像序列，找出图像中每一点的背景值。这是下一步运动点团提取的基础。在运动点团提取中，背景提取这一步提取出来的背景图像将作为参考图像，每一帧图像都要与背景图像作差，把背景去除,以得到运动点团前景。因此,这一步提取出的背景图像的好坏将直接阻碍到之后每一帧的运动点团提取的质量。背景会随着时刻的变化而发生变化,例如光照变化导致背景亮度、色度变化;运动物体停止运动成为背景的一部分；又如背景的一部分运动起来成为运动前景等。因此背景需要不断更

23、新,而背景的更新一般需要运动前景的信息,因此背景的更新将在第四章讲述。本章讲述背景初始化的方法，即在没有运动前景的任何信息的情况下提取背景图像，输入是视频图像序列,每帧图像都包括运动物体和静止景物,输出是只含静止景物的背景图像。第.1节讲述原始彩色图像的背景提取，处理对象是彩色图像序列;第3.2节讲述灰度图像的背景提取先把彩色图像序列转换成灰度图像序列，再对灰度图像序列提取背景；第3.3节讲述边缘图像的背景提取先对彩色图像提取边缘，再对边缘图像序列提取背景，这是考虑到为将运动前景和静止背景分离，边缘信息起到的重要作用。.1 彩色图像的背景提取原始彩色图像的背景提取,差不多思想是,图像中的某个像

24、素按时刻抽样,其作为背景像素的时刻比作为运动前景的时刻长,即其作为背景的概率比作为前景的概率大,而且背景和前景在颜色上和亮度上都有专门大不同。这是因为，关于固定场景,运动物体在运动，其转瞬即逝，大多数时刻我们看到的差不多上静止背景,因此图像上某个像素点作为前景的时刻相对作为背景的时刻短得多；而且，运动物体和静止背景在色彩上有明显区不,人能轻易分辨出前景物体,即使在一张静止图像上。不论何种方法，差不多上基于那个思想。下面分不讲述不同方法。各个方法的实验对比分析在第15节。3.1 基于均值的彩色图像背景提取这是背景提取的最简单的方法。因为视频中的某个像素对时刻采样,背景出现的次数比前景多,因此，将

25、一定的时刻段中的视频序列采样,比如2.5帧/秒，,对每一个像素，将这一段时刻中的所有图像帧取平均,那么那个平均值会接近背景,背景出现的次数比前景越多，则那个平均值就越接近背景。前面差不多讲过，运动前景是转瞬即逝的。就以那个平均值作为那个像素的背景值。同时，求取平均值还能够在一定程度上抑制噪声。具体算法如下：1)在某时刻段采样得到N个图像帧Fi， i=1,2N;2)对每一个像素点(x,y)，背景设图像的总像素数为M,对每一个像素都要遍历N个图像帧,因此那个算法的时刻复杂度是(MN)。实验数据一2.5帧/秒采样秒得到的背景如图五,实验数据二2.5帧/秒采样10秒得到的背景如图六。从图中我们能够看到

26、前景的痕迹，特不在车辆较密的车道。此方法和其他方法的实验对比分析见第3.15节。图五 实验数据一基于均值的背景图像图六 实验数据二基于均值的背景图像.2 改进的基于均值的彩色图像背景提取在第3.1.1节我们只是简单的使用了平均值求取背景。在求平均值之前，假如能去除不大可能是背景的像素，那么求出来的平均值会更加接近背景。然而，那个时候前景还没不明白，用什么方法能够简单有效的得到不大可能是背景的像素呢？依照背景出现的次数比前景多，且前景颜色和背景不同，能够明白,关于某个像素点，其对时刻的采样点在彩色RGB空间中会以背景点为中心点聚拢在一起,而前景点会离中心点比较远。能够认为，像素颜色矢量的一个重量

27、离中心点的距离超过那个重量的标准差的点不大可能是背景，即使是背景,也叠加了比较大的噪声。标准差计算公式为，c=r,，b表示矢量的红、绿、蓝三种颜色重量,0是样本的平均值。因此,能够对基于均值的彩色图像背景提取算法做改进：在求平均值之后求标准差,然后把与均值大于标准差的采样点去除，最后再求余下的点的平均值,把此值作为背景值。改进的算法如下：1）在某时刻段采样得到N个图像帧F, i=1,2N;2)对每一个像素点(x,):）求中心点;b)求标准差，cr，g，；)求集合中所有元素的平均值，那个值确实是所求背景B(x,y）。设图像的总像素数为M,则对每一个像素都要遍历次N个图像帧求中心点一次，求标准差一

28、次,最后再求均值一次，因此那个算法的时刻复杂度是O(3M)O（MN)，比原来的单纯求平均值的算法费时。实验数据一2.5帧/秒采样10秒得到的背景如图七；实验数据二2.5帧/秒采样10秒得到的背景如图八。能够看到,此方法得到的背景图像比单纯求平均值的算法好,单纯求平均值的方法得到的背景图像留有许多运动前景的痕迹,而此改进算法得到的背景图像中运动前景痕迹就少多了。此方法和其他方法的实验对比分析见第1.5节。图七 实验数据一改进的基于均值的背景图像图八 实验数据二改进的基于均值的背景图像.3基于中值滤波的彩色背景图像提取中值滤波器能有效的去除图像的噪声。它的一般算法为8:遍历图像的每一个像素,将它和

29、与它相邻的八个像素的灰度排序,取排在中间的像素的灰度值作为输出图像的那个像素的灰度。因为噪声点的灰度与非噪声点差不大,而且图像有空间局部性，也确实是讲，关于没有被噪声污染的图像，里面的每一个像素和它相邻的像素的灰度差不不大。我们将那个像素和它相邻的像素排序,噪声点将被排到两边，排在中间的像素确实是没被噪声污染的像素，把它作为滤波结果。这确实是中值滤波器能有效去除图像噪声的缘故。上面讲的是灰度图像的中值滤波，如何将其扩展到彩色图像呢?彩色图像一般使用RB空间表示，每个像素点是一三维矢量，各个重量分不代表红、绿、蓝三个颜色的灰度。能够分不将这三种颜色的灰度图做中值滤波,然后合成。然而这种方法将导致

30、滤波后一个像素的三个重量来自不同的像素点,合成后的颜色不可幸免的被扭曲。能够采取另外一种方法。考虑到噪声点的颜色与非噪声点差不大，在滤波时的排序中排到两边,能够将彩色图像转换成灰度图像,在转换后的灰度图像中噪声点和非噪声点也会有较大的差不，排序后，取排在中间的像素对应的原始彩色图像的像素矢量作为滤波结果。如此滤波结果的每一个像素差不多上原始彩色图像中真实存在的像素,幸免了同一个像素的三个颜色重量来源于不同的像素导致的颜色扭曲。彩色图像转换成灰度图像的方法详见第3.2.节。将中值滤波扩展到彩色图像的算法如下：将彩色图像转换成灰度图像，遍历灰度图像的每一个像素，将它和与它相邻的八个像素的灰度排序，

31、取排在中间的像素对应的原始彩色图像的像素矢量作为输出图像的那个像素。中值滤波是对单幅图像在空间采样点上的滤波,不能直接用于背景提取。关于背景提取,我们需要将此算法扩展。视频中的某个像素对时刻采样,背景出现的次数比前景多,能够认为前景是“噪声”，如此我们就能够对一个像素在时刻上采样得到的样本进行滤波对它们排序,噪声将排在两边，即前景排在两边，排在中部的是背景,取排在中间的像素作为背景结果9。我们处理的是彩色图像序列，因此如前所述，将彩色图像转换成灰度图像,然后在滤波的排序后，选择排在中间的像素对应的原始彩色图像的像素矢量作为滤波结果。具体算法如下:)在某时刻段采样得到N个图像帧i, i=，2N;

32、2）对每一个像素点（x，）:)将彩色像素矢量Fi(x,y)转换成灰度Gi(x，y)，i1,2N;b）将集合Gi(x,y)i=1,2N中的元素排序;)设排在中间的是k(x，),则像素矢量Fk(,y)作为滤波结果。对个元素排序的时刻复杂度是O(nlogn)或者O(2）,取决于算法,其不是线性的,随着n的增大迅速增大。设图像的像素数是M,对每个像素都要对采样的N个样本进行排序,因此此算法的时刻复杂度是O(MNlogN)或者O(MN2)，是比较耗时的算法。实验数据一帧/秒采样10秒得到的背景如图九,实验数据二2.帧/秒采样10秒得到的背景如图十。此方法和其他方法的实验对比分析见第1.5节。图九实验数据

33、一基于中值滤波的背景图像图十 实验数据一基于中值滤波的背景图像3.4 基于共同区域的彩色图像背景提取在一个像素的所有随时刻采样的样本中，在求均值之前，假如能去除不大可能是背景的样本，那么求出来的平均值会更加接近背景。关键问题是在不明白前景的情况下，如何决定哪些样本不大可能是背景。第31.2节讲了一种基于标准差的方法:认为离中心点距离大于标准差的点不大可能是背景点。有没有不用计算标准差的方法呢?考虑前后相隔一定时刻的两图像帧，因为前景在运动,其转瞬即逝，因此同一个像素在有一定时刻间隔的两帧中假如差不不大，则它专门大可能是背景前景在这段时刻中必定运动变化了;假如那个像素在这两图像帧中差不专门大，则

34、至少有一帧中的那个像素不是背景。称在有一定时刻间隔的两图像帧中差不不大的像素点的集合为共同区域，认为共同区域确实是背景区域。在一定的时刻段中，采样得到若干有一定时刻间隔的图像对,每个图像对找共同区域，然后对共同区域求平均值得到最后的背景图像1。这时还要考虑某些像素不在任何背景区域中的情况假如前景运动变化过于频繁，某像素在任何图像对中都有专门大差不,这种情况将出现。这时，那个像素的背景值采纳所有采样图像帧求均值的方法得到。像素在图像对中的差不用像素矢量（彩色图像,像素是GB空间的矢量）的欧氏距离来量度,假如其大于一阈值,则认为差不大,否则认为差不小。那个阈值能够和第四章运动点团前景提取的二值化阈

35、值相同,因为它们的内涵差不多上前景和背景差不的量度。那个阈值如何确定将在第四章详细讲述。另外,考虑阈值的极端情况,假如那个阈值专门小,任何像素在图像对中的差不都大于那个阈值,则找不到任何共同区域，这时每一个像素的背景差不多上单纯用所有采样图像帧的平均值得到；假如那个阈值专门大,任何像素在图像对中的差不都小于那个阈值，则每个图像对中的所有像素差不多上共同区域,这时每一个像素的背景也是由所有采样图像帧的均值得到。在这两种极端情况下,那个方法都蜕变成第31.1节的基于均值的图像背景提取算法,因此基于均值的图像背景提取算法是基于共同区域的图像背景提取算法的专门情况。详细算法如下:1)在某时刻段采样得到

36、个图像帧Fi,i=1，2N;2）对每一个像素点(,y）: a)集合A; b)对每一个图像对F(x,y）和iN/2(x,y),=1,2N/ 假如，则将Fi(x,)和Fi+/2(，y)加入集合A，其中T是阈值; )计算集合A中所有元素的均值作为像素点(,y)的背景值。设图像的总像素数为，则对每一个像素都要遍历2次N个图像帧产生集合的点一次，求平均值一次,因此那个算法的时刻复杂度是O(2）=O(MN）。实验数据一2.5帧/秒采样1秒得到的背景如图十一;实验数据二25帧秒采样0秒得到的背景如图十二。从图中能够看到，提取出的背景并不平滑,这是因为每个像素计算均值的集合的大小不一样所致。此算法每个像素计算

37、均值的集合(即上述集合A）的大小的变化范围要比改进的基于均值的方法大得多,这导致了其提取出的背景图像在这几种方法中最不平滑。此方法和其他方法的实验对比分析见第3.1.5节。图十一 实验数据一基于共同区域的背景图像图十二 实验数据二基于共同区域的背景图像315 彩色图像背景提取的实验分析实验采纳10秒道路交通视频数据，在上面做均匀采样,例如采样率是1帧/秒(1f/s）,确实是每秒取1帧，总共在10秒中均匀取10帧;采样率5帧秒（s),确实是每秒取5帧,总共在10秒中均匀取0帧。实验在赛扬.0G CPU、384兆内存的计算机上进行。表一是前述四种方法在不同采样率下处理完毕实际所需的时刻，只包括处理

38、时刻,不包括图像序列读取和背景图像输出的时刻。不同采样率意味着处理的总图像数不同，采样率与时刻（那个地点10秒）之积确实是总图像数。采样率越高，处理的时刻越长，见表一。采样率(s)12.56.512.2基于均值(s）0750.9110 12 .16 3.8 713 改进的基于均值(s)156 2.9 3.5 44 8.28 72337 基于中值滤波(s)0.57 111.28 3.49 14.90 785 基于共同区域(s）07 0.84153 .6 3256. 表一不同方法提取背景实际所需处理时刻我们能够由表一作出不同算法处理时刻与采样率的关系图。基于均值的背景提取方法的时刻与采样率关系图见

39、图十三;改进的基于均值的背景提取方法的时刻与采样率关系图见图十四；基于中值滤波的背景提取方法的时刻与采样率关系图见图十五；基于共同区域的背景提取方法的时刻与采样率关系图见图十六。图十三 基于均值的彩色图像背景提取时刻与采样率关系图图十四 改进的基于均值的彩色图像背景提取时刻与采样率关系图图十五基于中值滤波的彩色图像背景提取时刻与采样率关系图图十六 基于共同区域的彩色图像背景提取时刻与采样率关系图从表一和图十三至图十六能够看到,背景提取所需时刻随采样率的增加而增加;除了基于中值滤波的背景提取方法外，其他方法处理时刻随采样率增加线性增加；而基于中值滤波的背景提取方法,处理时刻随采样率增加显著增长;

40、基于均值的背景提取方法和基于共同区域的背景提取方法所需时刻差不不大；改进的基于均值的背景提取方法比基于均值和基于共同区域的方法需要时刻多。那个和前面每种方法的时刻复杂度分析是一致的。为了比较不同算法求得的背景图像的效果,需要获得标准背景作为比较标准。标准背景采纳同一场景尽可能多的图像帧使用第3.1.2节的改进的基于均值的背景提取算法取得。这是因为此算法依照标准差先将不大可能是背景的像素去除了,比单纯用平均值准确，同时在一定程度上抑制了噪声,同时由于使用了尽可能多的图像，比只使用秒的图像有更多信息。实验数据一所有6帧图像得到的标准图像见图十七；实验数据二所有5帧图像得到的标准图像见图十八。图十七

41、 实验数据一的标准背景图像图十八实验数据二的标准背景图像确定了标准图像后,考虑比较标准。越接近标准图像的背景图像越好。如何比较两幅图像是否接近？我们使用峰值信噪比SR来衡量图像的接近程度。峰值信噪比的计算公式如下：其中，对数中分子的255表示像素灰度最大的差值,在256级灰度中,那个最大差值是255(2550=255）;对数中分母的是图像的像素总数,F(i)、(i)表示两幅图像中的某个像素,整个分母表示两幅图像的所有对应像素的差的平方的平均值，假如是彩色图像，“对应像素的差的平方”用对应像素矢量的重量的差的平方和除以3计算。能够看到,当两幅图像越接近，对数中的分母就越小，峰值信噪比就越大;当两

42、幅图像差不越大，对数中的分母就越大,峰值信噪比就越小。极端情况,当两幅图像一样时,峰值信噪比为无穷大;两幅图像差不最大时,峰值信噪比为。我们就以峰值信噪比衡量两幅图像的相近程度，峰值信噪比越大，图像越接近。实验数据一不同方法在不同采样率下得到的背景的图像与标准背景图像比较的PSNR见表二。采样率(f/s)12.55652.55基于均值34.8 37.0 3.25 3.42 37.4037.65 762 改进的基于均值36.26 4.65 4075 40.8 40.2 4.41 41.36 基于中值滤波519 3 7.1 3.80 7.6137.837.76 基于共同区域45810 8.33 3

43、9.05 3.1 395 4.01 表二实验数据一不同方法得到的背景与标准背景图像比较的SNR比较同一采样率下不同方法的PSNR不能讲明问题，因为同一采样率下不同方法需要的实际处理时刻不相同。在处理时刻一定的情况下,PSNR越大的方法越好。因此，结合表二和表一,得到不同方法的PSN随处理时刻变化关系图。实验数据一不同方法的PSNR随处理时刻变化关系图如图十九。图十九实验数据一不同提取背景的算法PSNR与处理时刻关系图将图十九中横坐标0,10区间部分作局部放大,得到图二十。图二十实验数据一不同提取背景的算法PNR与处理时刻关系图（局部）实验数据二不同方法在不同采样率下得到的背景的图像与标准背景图

44、像比较的PSNR见表三。采样率(f)122.56.255基于均值24.05 24.63 4.7 24.8 24.88 .95 44改进的基于均值27.791329.4328 29.869.97 301 基于中值滤波26.9 28.287 29.2 29.2440 9.4基于共同区域.1 6.25 26.9 2.77.1 2.02286 表三 实验数据二不同方法得到的背景与标准背景图像比较的PSNR实验数据二不同方法的PSNR随处理时刻变化关系图,如图二十一。图二十一 实验数据二不同提取背景的算法S与处理时刻关系图将图二十一中横坐标0,0区间部分作局部放大，得到图二十二。图二十二 实验数据二不同

45、提取背景的算法PN与处理时刻关系图(局部）从图二十和图二十二这两组实验数据的结果中，我们能够得到以下结论：、并不是采样率越高(处理时刻越长）,NR就越高。不同的方法在秒之后,尽管采样率不同,但P值都差不多不变了。这是因为不同的图像帧区不只在于运动前景不同，背景是相同的,因此不同图像帧之间存在着信息冗余，增加采样率,只会增加处理时刻，可不能增加NR,也即可不能提高背景提取的质量。也确实是讲,在背景提取的时候，我们不需要专门高的采样率即可得到不错的背景图像。2、基于均值的算法是效果最差的算法,因为其只是简单的平均,没有做更多的处理。3、共同区域法需要更高的采样率才能得到好效果。这是因为要找到更多的

46、共同区域,就需要更高的采样率。从提取出来的背景图像的人眼视觉效果来讲，基于共同区域的算法的背景图像最不平滑。、基于中值滤波的背景提取算法，只是取排序中位于中间的元素作输出，舍弃掉了其他元素，没有充分利用其他元素的信息，同时排序比较耗时,因此基于中值滤波的背景提取算法不是专门好的算法。、效果最好的算法是改进的基于均值的背景提取算法。综上所述,关于0秒的视频图像序列，采纳每秒2帧的采样率,使用改进的基于均值的背景提取算法,不到4秒就能够得到优秀的背景图像。而背景提取对实时性本来要求就不高,不需要像物体运动跟踪那样对所有输入帧都进行处理，这种方法完全能达到应用的要求。. 灰度图像的背景提取运动目标检

47、测和跟踪能够不直接使用原始彩色图像序列，而使用灰度图像序列,立即彩色视频图像序列转换成灰度图像序列,然后在灰度图像序列上提取背景，以及之后提取运动点团、运动跟踪等。这一节首先讲述彩色图像转换成灰度图像的方法,然后再讨论灰度图像的背景提取。.1 彩色图像转换成灰度图像彩色图像每个像素点在RGB空间中是一个三维矢量，每个重量分不代表红、绿、蓝三种颜色的灰度。最简单的将彩色图像转换成灰度图像的方法是将这三个重量取平均值。然而这种方法和人眼视觉感知不符。人眼感知红、绿、蓝三种颜色的权重是不一样的。PEG图像压缩格式采纳的是YUV空间,YUV空间是RGB空间的线性变换。转换公式是11、G、B分不表示红、

48、绿、蓝三种颜色重量的灰度值。Y重量表示图像的亮度,这是符合人眼对颜色感知的。我们就以重量作为图像像素的灰度。将彩色像素转换为灰度像素的公式为将彩色图像转换为灰度图像的算法如下:遍历彩色图像的每一个像素矢量,设矢量的红、绿、蓝三色重量值为R、G、B,则输出的灰度图像的对应像素的值为0299R+0587G+0.114B22 灰度图像的背景提取前面所述的所有彩色图像背景提取的算法都能用在灰度图像的背景提取上,只要在计算距离的时候将矢量的欧氏距离改为标量差的绝对值即可。图二十三至图二十六分不是实验数据一的灰度图像序列的基于均值的背景提取、改进的基于均值的背景提取、基于中值滤波的背景提取和基于共同区域的

49、背景提取结果。图二十三 灰度图像序列的基于均值的背景图像图二十四 灰度图像序列的改进的基于均值的背景图像图二十五灰度图像序列的基于中值滤波的背景图像图二十六灰度图像序列的基于共同区域的背景图像.3边缘图像的背景提取背景提取的目的是为了去除背景,取得每一帧图像的运动前景。而前景背景分离最重要的信息是物体的边缘信息。因此,能够首先将每一帧原始图像做边缘提取,得到边缘图像序列，然后提取边缘图像背景，再提取运动前景、做运动跟踪。3.3.1彩色图像的边缘提取对灰度图像，边缘提取确实是求每个像素的梯度,以梯度大小作为边缘的量度。用、y两个方向的离散偏微分算子边缘检测算子对图像做卷积，就得到这两个方向上的梯

50、度,以这两个方向的量为重量的矢量确实是那个像素的梯度矢量,那个矢量长度的大小确实是那个像素的边缘值。设f（x，)是离散灰度图像，g(x,）是卷积核，f和g的卷积是假如卷积核是的矩阵，则此卷积运算的时刻复杂度是(9)，M是图像的像素总数。常用的边缘检测算子是Prewitt边缘算子和Sobel边缘算子。图二十七和二十八是Prwt边缘算子,图二十九和三十是l边缘算子。它们差不多上的矩阵12。-1-1-1000111图二十八 y方向的Prewitt边缘算子之一-101-101-101图二十七 x方向的Prewitt边缘算子-1-2-1000121图三十 y方向的Sobel边缘算子-101-202-10

51、1图二十九 x方向的Sobel边缘算子对彩色图像，假如将其三个颜色重量的图像分不计算梯度，然后将得到的三个颜色的梯度叠加作为边缘提取的结果，则等价于先将彩色图像转换成灰度图像,再在灰度图像上作边缘提取。因为卷积运算和彩色转换成灰度运算差不多上线性运算。然而,这么做就将彩色信息给丢失了，彩色图像的边缘，并不是三个颜色重量边缘的简单叠加。下面讲述如何将边缘提取推广到彩色图像中13。用Prwt算子举例讲明。对灰度图像，将ewit边缘检测x方向算子带入卷积公式中，能够得到即一个像素的梯度是它附近三对像素的灰度差的和。将那个式子扩展到矢量空间，认为一个像素的梯度是它附近三对像素的矢量欧氏距离的和,即可得

52、到式子中(,y）是图像中像素矢量,|-b|是计算矢量a和b的欧氏距离。如此,对每一个彩色像素,都考虑了整个彩色像素矢量,也确实是同时考虑了每个像素的三个颜色重量。同理,rewitt边缘检测y方向算子扩展到矢量空间，可得上面的两个方向的算子确实是Coor-Prewit边缘检测算子。同样的,ColSo边缘检测x方向的算子是Color-be边缘检测方向的算子是需要指出的是,边缘值是梯度长度的大小,因此边缘值是个标量，边缘图像是灰度图像。3.3.2 边缘图像的背景提取因为边缘图像是灰度图像,前面所述的所有图像背景提取的算法都能用在边缘图像的背景提取上。图三十一和图三十二分不是实验数据一的Colr-re

53、wit边缘图像序列和olorSobel边缘图像序列的基于均值的背景提取结果，图三十三和图三十四分不是Color-Pitt边缘图像序列和ClrSel边缘图像序列的改进的基于均值的背景提取的结果。改进的基于均值的背景提取算法依旧是这几种算法中效果最好的。Colo-Prett和CoorSo边缘检测算法算法得到的边缘图像差不多。图三十一Clor-ewitt边缘图像序列的基于均值的背景图像图三十二 Clor-obl边缘图像序列的基于均值的背景图像图三十三 Coo-Prewit边缘图像序列的改进的基于均值的背景图像图三十四 Color-Sbl边缘图像序列的改进的基于均值的背景图像第四章 运动点团提取和背景

54、更新运动点团提取也称背景去除、背景抑制，确实是把每一帧的非背景部分提取出来。非背景部分确实是运动前景,但那个地点不称其为前景是因为这一步处理的是第二章所讲的点团层，我们在点团层上面还有一层运动物体层,这是为了提高运动跟踪的效果，详见第七章。依照运动物体和场景中的静止背景在亮度、色度上的不同,将图像序列的每一帧图像与背景图像作差,然后二值化，就能够得到每一帧的运动点团:图像中的一个像素，假如它与背景图像对应像素的距离大于一个阈值,则认为它是前景,输出1，否则为背景,输出0。最后得到的二值图像确实是运动点团图像。阴影的处理是运动点团提取这一步重要的一环。阴影不应该作为前景的一部分，然而阴影与背景有

55、差不,背景差法会把阴影归到前景中去,如此就会导致阴影将不同的运动物体连接成一个物体,降低运动目标检测的精确度。因此需要对阴影做专门的处理。第4.1节叙述彩色图像的运动点团提取。第42节叙述阴影的处理。第.3节叙述灰度图像的运动点团提取。第4.4节叙述边缘图像的运动点团提取。运动点团提取能够不采纳背景差法,而采纳帧间差法，第4.5节讲述基于帧间差法的运动点团提取同时将其与背景差法比较，指出其存在的问题。背景提取出来后，并不是不变的。它会随时刻变化而变化。光照的改变、原来作为背景的物体运动出去或者运动物体静止下来成为背景等情况,都会导致背景的变化。因此背景需要不断的更新。第4.6节将简述背景更新的

56、一些策略。4.彩色图像的运动点团提取彩色图像的基于背景差的运动点团提取,依照前景与背景的颜色不同，将原始彩色图像序列的每一帧图像与彩色背景图像作差,然后将结果图像二值化。第31节详述了背景提取的算法。两帧彩色图像的差是指两帧中对应像素矢量的距离。常用的矢量距离是欧氏距离和马氏距离,下面分不叙述。411基于马氏距离的运动点团提取设随机矢量x的均值是，协方差矩阵是,则x与的马氏距离是对彩色图像的像素矢量，假设每一个颜色重量相互独立,则不同重量的协方差为0,即协方差矩阵非对角线元素都为，对角线元素确实是对应重量的方差,上式能够写成1其中.r、x.g、.b分不表示像素矢量红、绿、蓝三种颜色重量的值,、

57、分不表示背景像素矢量的红、绿、蓝三种颜色重量，、分不表示红、绿、蓝三种颜色重量的方差，也确实是矩阵的对角元素。在背景提取的时候能够把每个像素的方差计算出来。像素点(x,y）的方差计算方法如下：,c=r,g,其中Fi是采样帧，总共有N帧，是背景。从马氏距离的计算公式中能够看出，其本质是将矢量各个重量用方差归一化,不至于让变化较大的重量阻碍太大、让变化较小的重量阻碍消逝。接下来确实是阈值的确定。若阈值为,则假如图像像素与对应背景像素的马氏距离不小于Tb,其为前景;否则为背景。阈值Tb是前景与背景差不的量度。而马氏距离是归一化的距离，因此能够认为，前景与背景的距离（没归一化的距离）至少有b倍标准差。

58、马氏距离提取运动点团的具体算法如下：)设背景图像是B (x,y),协方差是(x,y）2)遍历当前帧的每一个像素(，)：假如则输出G（x,y），否则G（x，)=03)G(,y）确实是当前帧的运动点团图像。设图像的总像素数为,对每一帧图像都要遍历每一个像素，因此那个算法的时刻复杂度是O(M)。实验数据一基于马氏距离的运动点团提取实验结果的其中一帧图像如图三十五至三十七。其中图三十五阈值Tb=,图三十六阈值T=5,图三十七阈值Tb=。图三十五基于马氏距离的运动点团提取结果,阈值=1图三十六 基于马氏距离的运动点团提取结果，阈值Tb图三十七基于马氏距离的运动点团提取结果，阈值b=9将实验结果和基于欧氏

59、距离的运动点团提取实验结果(第41.2节)相比,能够看到其效果并不行。要么专门多背景误判成了前景（图三十五、图三十六)；要么专门多前景误判成了背景(图三十六、图三十七）。这是因为,关于没有运动物体通过的背景区域,像素三个颜色重量的变化都不大,即它们的方差都不大，与背景差不不大的像素的方差归一化距离会变得专门大，导致背景被误判。一般来讲，彩色图像中的像素点矢量要么各个重量变化都不大，如没有运动物体出现的背景区域，要么各个重量都有较大的变化,如运动物体频繁出现的区域,因此距离归一化并没有太大的实际意义，基于马氏距离得到的运动点团图像效果并不行。1.2 基于欧氏距离的运动点团提取两个彩色像素矢量的欧

60、氏距离如下:其中.r、x.g、xb分不表示像素矢量红、绿、蓝三种颜色重量的值,、分不表示背景像素矢量的红、绿、蓝三种颜色重量。若阈值为T,则假如图像像素与对应背景像素的欧氏距离不小于Ta，其为前景；否则为背景。阈值Ta是前景与背景差不的量度,即前景与背景的距离至少相差a。阈值太大,则像素有更大可能被判成为背景,前景被误判成背景的可能性大;阈值太小，则像素有更大可能被判成为前景,背景被误判成前景的可能性大。欧氏距离提取运动点团的具体算法如下：1)设背景图像是B (,y)2)遍历当前帧的每一个像素(,y):假如则输出（x,）=1,否则（x,y）=）G(x,y)确实是当前帧的运动点团图像。设图像的总