[硕士论文精品]基于序列图像的运动目标检测与跟踪

哈尔滨理T人学T学硕IJ学位论文基于序列图像的运动目标检测与跟踪摘要运动目标检测与跟踪是计算机视觉研究的主要问题之一，在视频监控、医疗诊断、智能交通、运动分析等方面都有广泛应用，因此本课题研究具有重要的理论意义和实际价值。论文主要针对静态背景下运动目标检测与跟踪算法进行研究。首先讨论了静态场景下常用的运动目标检测算法，分析各种算法优缺点，并针对其存在的问题做出了有效地改进；然后，研究了基于形心与预测算法相结合的目标预测跟踪算法，提高了目标跟踪的稳定性和鲁棒性。检测运动目标的目的是从序列图像中将变化区域从背景图像中精确地提取出来。然而，由于背景图像的动态变化，如天气、光照、等干扰的影响，使得运动目标检测成为一项相当困难的工作。论文主要研究了基于帧问差分和背景减除的目标检测算法。针对帧间差分法和背景减除法的不足，论文将两种算法有机结合起来，采用了在二者基础上经过改良的检测方法，并进行了实验论证。实验结果证实新的方法既克服了背景减除法对动态场景变化比较敏感的不足，又可以获得关于运动物体更全面的信息，然后采用数学形态学等后处理，实现了对目标更加精确的提取。运动目标跟踪是确定同一物体在图像序列不同帧中位置的过程，通过对图像序列进行分析，计算出目标在每一帧图像上的二维位置坐标，并根据不同的特征值，将图像序列中不同帧内同一运动目标关联起来，得到其完整的运动轨迹，然后根据前面的目标在前几帧中的位置信息预测出目标在下帧中的位置。因此，目标跟踪实际上是对目标运动轨迹的估计，本文采用形心算法与预测算法相结合的目标预测跟踪算法，即使目标暂时被遮挡时，根据目标此前的位置信息，预测出目标下一步可能的位置，当目标再次出现时，仍可稳定跟踪而不至于丢失目标。通过以模拟飞机飞行场景为对象的大量实验，验证了算法的可行性。关键词目标检测；轨迹预测；背景减除法；帧间差分法N八尔滨理T人学T学硕IJ学位论文DETECTIONANDTRACKINGOFMOVINGTARGETBASEDONIMAGESEQUENCESABSTRACTDETECTIONANDTRACKINGOFMOVINGTARGETISONEOFMOSTLYIMPORTANTQUESTIONSINTHEAREAOFCOMPUTERVISION，ANDBROADLYUSEDINAREASSUCHASVIDEOSURVEILLANCE，MEDICALDIAGNOSES，INTELLIGENTTRAFFIC，MOVEMENTANALYZING，SOITISVERYSIGNIFICANTANDWITHGREATPRACTICALVALUEMETHODOFMOVINGTARGETDETECTIONANDTRACKINGISMOSTLYRESEARCHEDANDTESTEDINTHISPAPERFIRSTLY，THEMETHODOFMOVINGTARGETDETECTIONINCOMMONUSEATSTATICSCENEAREDISCUSSED，ONTHEBASISOFFOREGOINGDISCUSSION，IMPROVEDANDMORESCIENTIFICAPPLIEDMEANSISADOPTEDTHEN，METHODOFMOVINGTARGETDETECTIONBASEDONANARITHMETICWHICHCOMBINESOBJECTSCENTROIDWITHPREDICTIONMETHODISRESEARCHEDSTABILITYANDROBUSTNESSOFTARGETTRACKINGISIMPROVEDOBJECTIVEOFMOVINGTARGETDETECTIONISTOPICKUPCHANGINGEXTENTFROMIMAGESEQUENCESINTHEBACKGROUNDHOWEVER，BECAUSEOFBACKGROUNDIMAGESDVNAMICTRANSFORMATION，SUCHASWEATHER，SUNSHINEANDSHAKE，MOVINGTARGETDETECTINGBECOMESAVERYDIFFICULTTASKMOVINGTARGETDETECTIONMETHODBASEDONINTERFRAMEDIFFERENCEALGORITHMANDSUBTRACTIONOFBACKGROUNDISMAINLYRESEARCHEDINTHISPAPERAIMINGATADVANTAGEANDDISADVANTAGEOFINTERFLAMEDIFFERENCEALGORITHMANDSUBTRACTIONOFBACKGROUND，THISPAPERCOMBINESTWOMETHODS，BRINGSAIMPROVEDDETECTIONMETHOD，TOOHYPERSENSITIVEWITHDYNAMICSCENE，CHANGING，WHICHISDISADVANTAGEOFSUBTRACTIONOFBACKGROUNDMETHOD，ISELIMINATEDATTHESAMETIME，MORECOMPREHENSIVECOMMUNICATIONABOUTMOVINGOBJECTCANBEOBTAINEDTHEN，SUBSEQUENTISTAKENTOGETMOREACCURATETARGETDISPOSALLIKEMATHEMATICALMORPHOLOGYMOVINGTARGETTRACKINGISTODETERMINEANOBJECTSLOCALITYINDIFFERENTII哈尔演理T人学T学硕F学位论文FLAMESINIMAGESEQUENCESOBJECTPLANARCOORDINATEINEVERYFRAMEISCONFIRMEDBYANALYZINGIMAGESEQUENCESTHENTHEOBJECTINDIFFERENTFLAMESINIMAGESSEQUENCEISPARALLELCONNECTEDWITHDIFFERENTEIGENVALUESOTHEWHOLECONTRAILOFTHISOBJECTISGAINEDINFACT，TARGETTRACKINGISTOESTIMATEOBIECTSMOVINGTRACKMETHODOFTARGETTRACKINGBASEDONANARITHMETICWHICHCOMBINESOBJECTSCENTROIDWITHFORECASTINGMETHODISADOPTEDINTHISPAPEREVENTHEOBJECTISHIDEDFORAWHILE；ITSNEXTIMAGINABLELOCATIONINAWHILECANALSOBEPREDICTEDWITHITSPREVIOUSLOCATIONINFORMATIONBYTHISMETHODSO，WHENTHEOBJECTAPPEARSAGAIN，ITSTILLCANBESTEADILYTRACKEDFEASIBILITYOFTHISARITHMETICISVALIDATEDBYASERIESOFEXPERIMENTSWHICHTAKESTIMULANTAEROPLANESFLIGHTSCENEASOBJECTKEYWORDSTARGETDETECTION，TRAJECTORYPREDICTION，SUBTRACTIONOFBACKGROUND，INTERFLAMEDIFFERENCEALGORITHMM哈尔滨理工大学硕士学位论文原创性声明本人郑重声明此处所提交的硕士学位论文基于序列图像的运动目标检测与跟踪，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期L日J独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人己发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签名涨罐日期叼年月罗日|哈尔滨理工大学硕士学位论文使用授权书基于序列图像的运动目标检测与跟踪系本人在哈尔滨理工大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。本学位论文属于保密口，在年解密后适用授权书。不保密日作者签名多良功罹聊虢语弘黾孑孑月月、勺年年哩7期期日日哈尔滨删下人学T学硕IJ学位论文第1章绪论11课题的研究背景及意义人类感知外界信息，80以上是通过视觉得到的。由此可见视觉信息对人类的重要性，而图像正是人类获取视觉信息的主要途径。随着现代科学技术的迅速发展，以计算机为核心的视觉图像处理系统，除了能实现如图像压缩、传输、存储等基本应用之外，还能够对目标进行检测、跟踪、识别、行为分析等处理。在视觉图像处理的各种研究和应用中，运动目标的检测与跟踪是一个非常重要的课题。它融合了图像处理、模式识别、人工智能及自动控制等诸多相关领域的知识，形成了一种能从图像序列中自动检测目标，提取目标位置信息，自动跟踪目标的技术，在视频监控、医疗诊断、智能交通、运动分析等方面都有广泛应用，因此本课题研究具有重要的理论意义和实际价值。目前常用的目标检测方法主要有帧间差分法、背景减除法和光流法。其中，帧间差分法是最简单最直接的方法，而且对动态环境具有较好的适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体的内部容易产生空洞；背景减除法是一般能够提供完整的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰特别敏感；而对于光流法来说，它能够检测出独立的运动对象，而不需预知场景的任何信息，但是大多数光流方法的计算比较复杂，且抗噪性能差，如果没有特定的硬件支持，一般很难用于序列图像中运动目标的实时性操作。传统的目标跟踪方法主要有基于模型、区域、特征、活动轮廓、运动特性以及运动场估计的跟踪。其中基于模型的跟踪主要用在对人的跟踪上，应用范围不广；基于区域的跟踪可以实现稳定的跟踪，但前提是必须正确预测目标的姿态变化，这对于小目标来说是相当困难的；基于轮廓的跟踪可以在目标被部分遮挡住的情况下也可以连续地跟踪，但是它的难点就在于要对目标的轮廓进行初始化；基于运动特性的跟踪基于运动特性的目标跟踪算法复杂度比较低，但是在处理非刚性运动或非刚性目标时就比较困难；基于运动场的跟踪能够较好的处理背景运动的情况，但是它的计算的复杂度相对比较大。综上，在保证对目标实现跟踪的同时，如何满足目标的检测与跟踪过程中对鲁棒性和实时性的要求最具挑战性的任务之一。因此，本文的目的是研究一种实现相对简单又能对目标进行稳定跟踪的算法。哈尔滨理T人学T学硕I学位论文12运动目标检测与跟踪技术的典型应用在现实生活中，大量有意义的视觉信息包含在运动之中，视觉图像处理的对象就是运动，从运动中找到对人类有价值的信息。虽然人类既能看见运动的物体又能看见静止的物体，但是在许多场合，如交通流量的检测、重要场所的保安、航空和军用飞机的制导等，人们往往只对运动的物体感兴趣。运动目标检测与跟踪被广泛地应用在视频监控、交通检测、图像压缩以及精确制导等国民经济和军事领域，因而该研究具有重要的实用价值和广阔的发展前景。与运动目标检测与跟踪相关的应用主要有1智能视频监控在银行、金库、海关、监狱等对安全要求敏感的场所，出于安全性的考虑，实时地监控重点场所，检测可疑对象显得尤为重要。“911”事件后，各国出于对自身安全的考虑，加大了对反恐的投入，在机场、车站等大型公共场所安装视频监控，及时监控可疑分子已较为普遍。2人机交互传统的人机交互是通过计算机键盘和鼠标进行的，在高级用户接口领域中，人们希望未来的计算机能够像人一样与人类更加容易和便捷地交流，如手势驱动控制、手语翻译等。计算机无接触式地收集人在计算机前的视频信号，利用计算机视觉的相关理论分析视频信号，分辨人的动作，明白人的意图，这种以人为中心的人机交互界面是今后人机交互的发展方向。要实现以上技术，首先要实现对人的手部和面部的检测与跟踪。3运动分析分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对于建立人体的几何模型、解释人体的运动行为机制，从而提高其运动性能有着积极的推动作用，可以应用于体育运动、舞蹈训练中。如从大量的体育运动数据库中进行基于内容的快速检索等。另外，人体的步态分析也可以作为独特的生物特征用于人的远距离身份鉴别。4视频压缩视频压缩技术心1对视频的存储和传输来说都是一个至关重要的技术。目前的一些压缩算法多是针对图像进行编码层次的压缩，压缩比不是十分理想。采用基于帧间运动的压缩方式将会大大减少视频的占用空间，尤其对于存在运动目标的静止场景，将目标检测并提取出来，分别传输静止背景、目标图像以及目标运动轨迹，可以轻易地恢复出原始视频，同时降低传输和存储费用。5交通检测无论是在天空还是陆地，目标跟踪研究也具有广泛的应用。特别是在交通方面，如交通流量控制、车辆异常行为检测、行人行为判定等。道路上车辆异常行为检测在交通事故的预防和事后处理中具有重要意义口，制。哈尔滨理T人学T学硕IJ学位论文6医疗诊断在医学影像诊断设备中，临床上经常使用X射线、伽马射线和核磁共振等方法对病理部位成像，采用运动目标检测方法分析病理部位；此外，目标跟踪方法对微观细胞的追踪观察伸1、人工植入器官的跟踪观察等方面也起到非常中要的作用。7精确制导近年来爆发的几次局部战争都充分表明，实施精确打击己成为现代战争的主要作战方式，精确制导武器己占据武器的主导地位，而作为精确制导武器核心的导引头，其关键技术就是目标识别与跟踪技术，将使导弹等攻击武器即使在复杂的自然条件干扰和人工干扰的影响下仍然能自动检测出攻击目标，这就大大地提高了其攻击精度，增强了攻击的效果怕，引。综上所述，研究运动目标检测与跟踪技术不论是在民用还是军事领域都有很大的现实意义和应用价值。13课题的研究现状正是由于运动目标检测和跟踪技术在国民经济和军事领域上有十分广阔的应用前景，虽然相关的研究已经进行了很多年，但至今它仍然是当前国内外研究的热门课题。131国内研究现状在国内，运动图像分析已在人体运动检测与跟踪、智能交通、机器人视觉等很多方面展开了深层次研究。但总的来说，国内的研究主要停留在理论方面，还没有出现比较大型的并应用于实际的成型系统。我国从1986年开始对图像跟踪正式立项研究，图像跟踪算法理论研究取得了很大的发展。2002年刘永信等人探讨了基于KALMAN滤波理论的渐消记忆递归最小二乘法在重建图像背景中的应用；同年，张辉等人研究了如何实现出格点检测和聚类自动检测；1999年王栓等介绍了一种基于差分图像的运动目标检测算法，检测结果是符号化了的图像，其中运动目标由外接矩形表示，然后根据连续性约束假设，实现了运动目标的跟踪；2003年隋哗等讲述了交通监控系统中应用视频图像流来跟踪运动目标并对目标进行分类的具体过程和原则，基于目标检测提出了双差分的目标检测算法，目标分类应用到了连续时间限制和最大估计的原则【81。132国外研究现状目前，美国、欧洲和F1本等发达国家运动目标检测技术的水平较高。目标跟踪的基本概念首先是由WAX在1955年提出的1964年，SITTLER在包括数据关联等内容的多目标跟踪理论方面取得了突破性进展。上世纪七十年代初期，随着哈尔滨理T人学T学硕I学位论文递推KALMAN滤波技术引入雷达跟踪中，目标跟踪理论开始引起人们的极大关注；BARSHALOM矛LLSINGER使数据关联与滤波理论有机结合，进步发展了目标跟踪理论。八十年代以来，由于高速处理芯片的兴起，为目标跟踪的研究注入了新的活力。1997年以卡内基梅隆大学为首，麻省理工学院等高校参与的视觉监控重大项目VSAMVISUALSURVEILLANCEANDMONITORING阳1，主要研究用于战场及普通民用场景进行监控的自动视频理解技术；2000年开始，马罩兰大学、麻省理工学院等26家高校或公司参与的重大项目HIDHUMANIDENTIFICATIONATADISTANCE计划1，其任务就是开发多模式的、大范围的视觉检测技术，以实现远距离情况下人的检测、分类和识别，增强国防和民用场合免受恐怖袭击的自动保护能力；此外还有，马里兰州大学和IBM公司联合研制的实时视频监控系统W4副将形状分析和目标跟踪技术相结合，对人的外表进行模型构建等。下面分别对目标检测与跟踪的现阶段比较有代表性的方法进行介绍。133运动目标检测方法的发展现状运动目标检测是在运动序列图像中检测出人们感兴趣的目标。根据摄影机与背景之间是否存在相对运动，目标检测的算法分为静态背景下运动目标检测和动态背景下运动目标检测。所谓静态背景下运动目标检测就是摄像机在监视过程中保持相对静止，只有目标状态在摄像机的视场内发生改变；动态背景下运动目标检测就是摄像机在监视过程中发生了移动，如平动、旋转等，同时目标在摄像机的视场内也发生了运动。静态背景下常用的运动目标检测方法有1帧间差分法FAMEDIFFERENCEMETHOD帧间差分法N卜151是在连续的图像序列中两个或三个相邻帧间，采用逐像素的差分并阈值化来提取出图像中的运动区域，它能较快地检测出视频图像中发生变化的部分。由于连续两帧图像之间的时I日J问隔较短，差分图像受光线、气候等环境因素变化的影响较较小，因此它具有很强的自适应性N6171。但是，该方法对图像的选择时机以及目标的运动速度的要求较高，如果目标运动速度较快，且选取的时间间隔过大，会造成两帧之间无覆盖区，导致运动目标无法分割；如果目标运动速度过慢，且选取的时间过小，则会造成过度覆盖，由于目标的纹理、灰度等信息比较相近，使目标检测出现空洞。为了提高帧间差分法的性能，一种改进的方法是利用三帧差分代替两帧差分，如VSAM开发了一种自适应背景减除与三帧差分相结合的混合算法，能够快速有效地从背景中检测出运动目标。哈尔滨理T人学T学硕L学位论文2背景减除法BACKGROUNDSUBTRACTIONMETHOD背景减除法”8。201是目前目标检测中最常用的方法之一，它将图像分为背景和前景，对背景进行建模，然后用当自订帧与背景图像的差分来检测运动区域。该方法根据实际情况来确定阈值，所得结果直接反映了运动目标的位置、大小、形状等信息，能够得到比较精确的运动目标信息，但对于动态场景的变化，如光照和外来无关事件的干扰特别敏感，因此在实际的应用中需要加入背景图象的更新机制。3光流法OPTICALFLOWMETHOD光流的概念是由GIBSON于1950年首先提出的，是目前研究比较多的方法，光流反映了在一定时间问隔内由于运动所造成的图像变化，对图像的运动场进行估计，将相似的运动矢量合并为运动目标，然后利用目标的矢量流特征，如大小和方向等来检测运动区域【2。221。女IMEYER幢31等通过计算位移向量光流场来初始化基于轮廓的跟踪方法，从而有效地提取和跟踪运动目标。光流法的主要优点在于能够检测出独立的运动对象，而不需预知场景的任何信息；缺点是大多数光流方法的计算比较复杂，且抗噪性能差，如果没有特定的硬件支持，一般很难用于序列图像中运动目标的实时性操作。动态背景下的运动目标检测比引由于目标与摄像机之间存在着复杂的相对运动，所以检测算法要比静态背景下的运动目标检测算法复杂的多。常用的动态背景下运动目标检测算法有块匹配法、光流估计法、图像匹配法以及全局运动估计法等。当然，除了上面的方法之外，运动目标检测还有一些其它的方法，如一种基于时空嫡SPATIOTEMPORALENTROPY的运动目标检测方法，通过彩色直方图累积、STELSPATIOTEMPORALENTROPYIMAGE生成、高斯滤波、形态滤波和目标识别五个步骤实现运动目标的检测等。虽然运动目标检测方法多种多样，但到目前为止，还没有一个通用的算法，这是因为运动目标检测算法大多都是针对具体情况的。应用场合和场景客观条件的不同，必然导致运动目标检测方法的不同。134运动目标跟踪方法的发展现状目标跟踪发展到今天，人们已经设计了很多目标预测跟算法，总的来说，目标跟踪的主要工作就是解决图像序列中的某一目标的连续跟踪问题，算法要建立在目标的检测的基础上，涉及跟踪目标的特征分析、运动轨迹估计等内容。目前存在的运动目标跟踪方法主要可以分为以下几类1基于模型的跟踪MODELBASEDTRACKING基于模型的跟踪幢5卫61是通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪目标，并实时更新哈尔滨胖T人学T学硕LJ学位论文模型。主要存在两种目标模板跟踪，即固定的和可变形的模板跟踪。固定模板在目标形状不随摄像机视角而变化的情况下是可用的，而可变性模板方法对于目标由于刚性和非刚性变形而变化的情形是更适合的。该算法目前应用最多的是对人体目标的跟踪，传统的人体表达方法主要有线图法、二维轮廓和立体轮廓三种。如ROHR使用了14个椭圆柱体模型来表达人体结构，坐标系统的原点定位在躯干的中心，目的是利用该模型来产生行走的三维描述。2基于特征的跟踪FEATUREBASEDTRACKING基于特征的跟踪是指根据目标特征利用某种匹配算法在图像序列中寻找目标，进而跟踪运动目标。该算法主要包括特征提取和特征匹配。常见的目标特征包括视觉特征图像边缘、轮廓、形状、纹理、区域、图像的统计特征直方图、各种矩特征和变换系数特征傅立叶描绘子、自回归模型等。目标跟踪过程中在进行特征匹配时，所采用匹配算法大多引用了约束性条件，如对于刚性目标已有的技术包括结构匹配、树搜索匹配及假设检验匹配等；对于非刚性目标的跟踪主要是基于轮廓跟踪的方法，包括主动轮廓模型和测量轮廓模型。如CHENH和LIUT联合目标的颜色概率分布和边缘密度信息完成对非刚体目标的跟踪|2引。3基于区域的跟踪REGIONBASEDTRACKING基于区域的跟踪啪圳算法的基本思想是把预先提取的运动区域作为匹配的目标模板，设定一个匹配度量，然后在下一帧图像中匹配搜索目标图像，把度量取极值时的位置判定为最佳匹配点。基于区域的跟踪算法由于提取了较完整的目标模板，相对于其他跟踪算法能够得到更丰富的图像信息，因此广泛应用于跟踪较小的目标或对比度较差的目标。近年来对基于区域的跟踪方法关注较多的是如何处理模板变化时的情况，这种变化是由运动目标姿态变化引起的，如果能正确预测目标的姿态变化，则可实现稳定的跟踪。如FRANCOIS等提出的区域跟踪方法依赖于以前的检测来区分运动目标，然后跟踪目标。跟踪算法依赖于两个相互影响的动态系统，这个系统捕捉了在场景中投影到图像平面的随时间变化的形状和运动组成，运动滤波跟踪技术精确估计了区域几何形状和速度。4基于活动轮廓的跟踪ACTIVECONTOURBASEDTRACKING基于活动轮廓旧11的跟踪方法是利用一条封闭的参数化曲线来表达运动目标轮廓，在由图像构造的特征场中通过极小化以曲线函数为参数的能量来进行动态迭代，使得该轮廓能够自动连续更新。女HPETERFREUND采用基于KALMAN滤波的活动轮廓来跟踪非刚性运动物体；LSARD与BLAKE矛LJ用随机微分方程去描述复杂的运动模型，并与可变形模板相结合应用于人的跟踪。相对于区域跟踪方法，该方法计算量小，若开始能够合理分开每个运动目标并实现轮廓初始化，那么即使有部分遮挡，也能哈尔滨理T人学T学硕FJ学位论文连续的进行跟踪，但是初始化轮廓通常是很困难的。近年来发展很快的两种基于轮廓的跟踪算法主动轮廓线跟踪算法SNAKE口纠和基THAUSDORFP圳距离的轮廓跟踪算法在军事领域和视频监视等场合得到了广泛的应用。5基于运动特性的跟踪MOVINGCHARACTERBASEDTRACKING基于运动特性的跟踪41一般可分为两种一种是依据目标运动的连续性进行关联的算法，被用在多种跟踪算法相融合的场合，只需要较少的运算就可以大大提高跟踪的准确性；另外一种是运动预测跟踪算法，可以估计目标在下一时刻可能的位置，然后以这个估计的位置为中心，再扩展到一定的区域内进行目标搜索，由于缩小了目标的搜索范围，从而提高了目标的跟踪速度。通过预测目标位置来进行跟踪最大的特点是一方面可以减小搜索范围，另一方面又可以在一定程度上解决了遮挡问题。相比较而言，基于运动特性的目标跟踪算法复杂度比较低，但是在处理非刚性运动或非刚性目标时就比较困难。6基于运动场估计的跟踪MOVINGSCENEBASEDTRACKING基于运动场估计的跟踪蚓方法是通过视频序列的时空相关性分析估计运动场，建立相邻帧对应关系，进而利用目标与背景运动模式的不同进行运动目标检测与分割。视频序列运动场估计方法主要有光流法、块匹配以及基于贝叶斯最大后验概率模型的统计方法。运动场分析能够较好的处理背景运动的情况，适用范围更加广泛，但是它的计算复杂度都比较大。另外还有很多学者将小波技术M1、模式识别、数学形态学、神经网络技术等应用于目标的检测跟踪算法，取得了很好的应用效果。总体上看，这些算法各有其优缺点，分别适用于不同的应用场合。14本文主要研究内容本课题研究的内容主要有以下三个方面1运动目标检测根据现有目标检测方法的不足，采用一种既能够得到比较精确的运动目标信息，又对光线、气候等环境因素变化的影响不太敏感，而且对序列图像采集的时间间隔要求不高的目标检测算法，得到比较精确的目标信息，这也是能够保证实现对目标稳定跟踪的前提。2运动目标跟踪分析各种现有方法的优缺点，在此基础上采用一种能够对目标进行连续地跟踪，即使是在目标暂时被遮挡时，也能实现对目标稳定跟踪的算法。3编写程序根据运动目标检测和跟踪方法的原理，利用MATLAB软件编写帧间差分法、背景减除法、目标检测后处理和目标预测跟踪等部分的程序。哈尔滨理E人学T学硕T学化论文4运动目标检测与预测跟踪实验根据目标检测与预测跟踪算法的需要，采集不同目标模型在不同背景中的序列图像进行实验，验证本文方法的可行性。哈尔滨理II人学T学硕IJ学位论文第2章运动目标检测运动目标是日常生活中常见的，如活动的动物、行使的交通工具以及其他运动物体等。目标的运动图像提供了比单一图像更丰富的信息，通过对多帧图像分析，可获得从单一图像中不可能得到的信息。运动目标检测就是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程，实际上是对包含运动信息的图像序列运用数字信号处理等技术进行适当处理，检测并提取图像序列中与背景存在相对运动的前景，然后根据灰度、边缘等图像特征将运动前景进一步分割为若干独立目标。因此，运动目标检测是计算机视觉信息提取中的一个重要问题，也是更高层次视频分析如基于对象的视频编码、目标跟踪、运动分析的基础。快速、完整、准确地分割出运动目标图像可以大大提高后续跟踪、识别和行为理解的准确性。一个理想的目标检测应该能适用于各种环境。通常一个好的目标检测算法应具有以下的特征N引1在各种天气条件下应是鲁棒的；2对环境光线的变化应是鲁棒的；3能够适应场景中个别物体运动的干扰，如树木的摇晃，水面的波动；4能够处理杂乱无章的大面积区域的各种运动，以及视场内目标的叠加。当然，人们总是希望得到一个完美的目标检测算法，能适用于各种环境，但实际应用中要解决这个问题是十分困难的，因为实际应用中不但要考虑到算法能适用于多种环境，而且除非有专门的硬件支持，否则研究者不得不在算法的复杂度、可靠性及实时性等方面折衷考虑。目前大多数目标检测算法或多或少是针对解决某一具体问题而提出的，这样也就带来了对序列图像中目标检测算法的分类。根据摄影机和目标的相对运动情况，可以将目标检测划分为四种模式11摄影机静止一目标静止这实际上就是静态场景，对其处理方法就是静态图像中的处理方法。2摄影机静止一目标运动这是一类非常重要的动态场景，对其处理一般包括运动目标检测、目标特性估计等，主要用于预警、监视、目标跟踪等场合。3摄影机运动一目标静止这主要用于机器人视觉导航、电子地图的自动生成以及三维场景理解等。4摄影机运动一目标运动这是运动目标检测与跟踪最复杂的一种情况。哈尔演理T人学T学硕FJ学位论文根据图像序列的背景情况又可以将运动目标检测划分为静态背景下的目标检测和动态背景下的目标检测。由于摄像机静止的情况下获耿的背景图像是相对稳定的，一般将前两种模式归为静态背景下的目标检测，而后两种被归为动态背景下的目标检测。相对于静态背景情况下的运动目标检测，动态背景下的运动目标检测更是运动目标检测中的一个难点问题。序列图像中对运动目标的检测常依据特征与灰度。基于特征的检测多是依据图像特征或由其组成的模型来检测运动目标；基于灰度的方法是依据图像中灰度模式等来实现运动分割。近年来，常用的方法主要有背景减除法、帧间差分法和光流法。光流法计算复杂，不适宜实时处理；帧间差分法将连续两帧进行比较，从中提取出运动目标的信息，这种提取出运动目标的完整性较差，但对动态环境有较好的适应性；背景差分法能够较完整地提取目标点，但对场景的动态变化较为敏感。综合考虑以上各算法的优缺点，本文采用背景减除法和帧问差分法相结合来检测运动目标，既克服了背景减除法对动态场景变化比较敏感的不足，也可以获得关于运动物体更全面的信息，通过两种方法的结合，获得了一种更为稳定、有效的运动目标检测算法。21帧间差分法211基本原理帧问差分法是通过对图像序列中连续的两帧或几帧图像作差来检测运动目标。在相减后的图像中，灰度不发生变化的那部分被减掉，这其中包括了大部分背景和一小部分目标。该算法能够适应环境变化，较准确地检测出变化明显的运动区域，但是对目标区域中变化不明显的部分不能很好地检测。基本的帧间差分法是在连续两帧图像间采用基于像素的帧问差分并且阈值化来提取出图像中的运动区域。其算法步骤如下第一步，提取连续的两帧图像，。、L，求出两帧图像的绝对差灰度图像D。D。O，YIIK，Y一L一。G，YI21第二步，设定阈值TH，将差值图像二值化。当某一像素的差值大于设定的阈值时，则认为该像素是目标像素，反之则认为是背景像素。仅，YIOIF畋O，YTH22IBKO，一“【LOMERWISE其中伤。为二值图像，TH为二值化设定的阈值。哈尔滨理工人学工学79J学位论文如图2一L所示，A、B为连续的两帧图像和。，经过基本的帧间差分法后得到帧著图像吐，二值化后得到图像，由图像可以看出二值化后的目标图像中还存在大量的不属于目标的噪声点。A第K1帧图像，I一。B第K帧图像，。C帧差图像DTD二值图像6。幽21基于两帧差分法的运动目标检测FIG21DETECTIONOFMOVINGTARGETBASEDONTHE2DIFFERENCEMETHOD212二值化二值化是指使用图像分割算法将图像中的前景目标点从背景像素点中分离出来。闽值是图像分割中应用非常广泛的参数，可分为固定阈值和白适应闽值两种”。闽值的选择直接影响检测结果的好坏，只有使用恰当的阈值才能准确地分割出运动目标。山于固定闽值的方法很难消除光线和噪声等因素的影响，其应崩范围较小，本文采用了循环阕值选择算法来自适应的决定阈值，具体算法步骤如下第一步，求出图像中最大和最小的扶度值G，和Z。，令阂值初值为哈尔滨理T人学T学硕IJ学位论义丁O兰刍2第二步，根据丁将图像分成两部分，求出两部分的平均值缈小NI，白。旷1JQ7纠驴毛歹51矿232425其中Z。为目标的灰度平均值；ZB为背景的灰度平均值；ZI，J是图像上的点的灰度值；NI，是点A，的权重系数，一般为1。第三步，求出新的阈值丁“1竺L二生262、第四步，如果丁。R“1则结束；否者，K一七1，转第二步。迭代结束后，用丁对变化检测后的图像进行二值化。如图21D所示，二值化后的目标图像中存在着大量不属于目标的噪声点，因此还需要对目标图像进行形态学滤波和连通性分析等后续处理以实现对目标的精确分割。213连通性检验去除外部噪声运动目标和噪声点的区别在于运动目标区域表现为若干具有一定亮度的像素点组成的一定形状空间，而噪声点则表示为相对孤立的像素点的较小的集合。因此，本文采用连通性的原则来去除图21DQH存在的各种噪声，即仅仅保留面积大于一定阈值的目标，对于小于该阈值的目标都将其当作噪声去除。在连通性检验中，连通区域又有四连通区域和八连通区域之分。四连通区域中，各像素在水平和垂直四个方向上是连通的。八连通区域中，各像素在水平、垂直及四个对角线方向都是连通的。一个八连通区域的边界是四连通的，而一个四连通区域的边界则是八连通的。在实际系统中一般选择八连通区域来进行连通性检验，如有必要可以很容易的改为四连通区域。具体算法步骤如下第一步，在坑中寻找种子点。即从左上角开始逐行扫描，寻找第一个黑色的点当作种子点。哈尔演理T人学T学硕FJ学位论文第二步，将该种子标记，新建一个连通区，设定该点的坐标为种子点坐标。第三步，扫描下一行，按照八连通域从相邻的最左下脚开始判断。如果是黑点则将该点标记，并该连通区面积加一。第四步，继续判断相邻的左下脚点；如果不是，则判断该点的下一个相邻点，如果构成八连通域，转第三步；如此种子的把连通域已执行完，则回到上一个种子点，执行下一个相邻点，如果没有找到则结束。第五步，如果该连通区域的面积大于所设定的阈值TH，则将该区域加入连通区域组；否则，认为该区域为噪声，丢弃该区域。转第一步。其中，对于阈值TH的选取是消去噪声的关键。如果TH的取值太小，则不能有效的消除噪声；而TH的取值过大，则可能将原本属于运动目标的部分去除掉，这样也不利于以后的目标辨识。214数学形态学滤波在连通性检验后，仅仅是清除了不在目标区域上的噪声点。对于一些出现在前景目标上的噪声点或是目标本身的灰度值与背景的灰度值相似，则有可能将其错判成背景点，在前景目标上产生了空洞或者断点。这些噪声点不但会影响以后的目标检测，还可能会在背景更时被当作背景点更新，进一步影响目标的检测。由于连通性检验不可能将这些空洞填起来，也不可能将断点连接起来，采用数学形态学方法对分割后的二值图像进行后处理，选取适当的结构元素对图像进行腐蚀和膨胀运算，可以有效地填充空洞和间隙。腐蚀和膨胀是最基本的形态学运算，它们互为对偶运算。腐蚀具有收缩图像的作用，膨胀具有扩大作用。利用腐蚀和膨胀运算的特点可以完成一些特殊的图象处理过程。开闭运算也互为对偶运算，开运算具有磨光图像外边界的作用，闭运算具有磨光内边界的作用。利用开闭运算还可以消除图像中的噪声。1膨胀运算膨胀的运算符为O，A被B膨胀写作彳OB，矿为空集。其定义为R1AOB石I【B，NA】驴27【J其中B为B的映像，定义为，、B；IXIX一B，BB28，表示对曰的映像进行位移X，定义为M，TYIY口Z，AM29哈尔滨理TI人学T学硕IJ学位论文上式表明B膨胀彳的过程是，先对B做关于原点的映射，再将映射平移X，这里A与口影响的交集不为空集。也就是说，用B束膨胀A得到的集合是B的位移与A至少有一个非零元素相交时曰的中心像素的位置的集合。2腐蚀运算腐蚀是一种消除边界点，使边界向内部收缩的过程，可以用来消除小且无意义的物体。腐蚀的运算符为，A用B来腐蚀写作彳。口。其定义为AB；仁L【口，F“LA】驴210上式表明B腐蚀A的结果是所有石的集合，其中8平移后仍留在A中。也就是说，用B来腐蚀A得到的集合是B完全包括在A中时B的原点位置的集合。开启的运算符为O，彳用B来开启写做AOB，其定义为爿。B一ABOB211闭合的运算符为，4用B来闭合写作AB，其定义为彳BAO曰O曰212开启运算其实就是先对图像进行腐蚀，然后膨胀其结果闭合运算就是先对图像进行膨胀，然后腐蚀其结果。开启和闭合这两种运算都可以除去比结构元素小的特定图像细节，同时保证不产生全局几何失真。开启运算可以把比结构元素小的突刺滤掉，切断细长搭接而起到分离作用。闭合运算可以把比结构元素小的缺口或孔填充上，搭接短的间断而起到连通作用。经过连通性检验和数学形态学滤波过后原图中的噪声点都去除掉了，仅剩下了前景目标。如图22所示。基本的帧问差分法对动态环境适应性较强，无需获取背景图像；并且算法复杂度低，速度快，实时性好。但是从图22中可以发现帧问差分法的结果并不令人满意当相邻两帧图像的纹理、灰度等信息比较接近时，这种方法只能得到运动物体的轮廓而不能完整的检测到目标的具体内容，如图22A所示，目标内部存在明显的空洞为了便于观察，这里做了反色处理，即白色点为目标像素；由于直接用相邻两帧相减所保留下来的是两帧中相对变化的部分，可能会产生同一目标叠加的情况，检测出来的目标比实际范围要大，如图22B所示。晴尔滨理T上学T学硕L学位论文A幽像去噪处理B形态学滤波、连通性分析幽22后处理FIG22POSTPROCESSING目标检测的最主要的要求就是要尽量保证目标的真实性，前面的实验结果表明基于两帧差分法难以满足要求。215三帧帧间差分法一种改进的方法是利用三帧差分代替两帧差分，即通过求取连续三帧序列图像中前后帧差所重合的部分来得到运动对象的轮廓。其算法步骤如下第一步，读取连续三帧图像J、，、。，分别求出连续两帧图像的绝对差灰度图像D。、D朋舷黑澎然酬弘功LDMO，YL，O，Y一X，YI。第二步，设定闽值TH将差值图像二值化，提取出运动目标BK,K1O，YQJ1X，YIFD扛，Y卜THOTHERWISEF，DN。X，YTH214OTHERWISE第三步，提取、B。L的并集，得剑运动目标也小器蠹黧裂弘嘲为验证三帧差分较之两帧有效，本文采用图22的图像序列进行验证。M巾H哈尔演理1人学T学颤L学位论史HBI川与B州T交粜幽像I处理后的目标幽像圈23基于三帧蔫分法的运动日标检测FIG23DETECTIONOFMOVINGTARGETBASEDOILTHE3DIFFERENCEMETHOD哈尔滨理T人学T学硕IR位论文由实验结果可以看出，三帧差图像差分法较之两帧图像差分法有了明显的改进，经过连通性分析和形态学滤波过后的目标图像比较接近真实值，但是由其二值图像来看，目标图像上依然存在比较明显的“空洞”，不过相对于两帧差分来说，这个“空洞“减小了不少。为了便于观察，图23I也做了反色处理。22背景减除法221基本原理背景减除法是当前运动目标检测中常用的一种方法，它利用当前图像与背景图像的差分来检测运动区域。该算法实现简单，一般能够提取出完整的目标图像，对于背景己知的情况该方法是一种有效的运动目标检测算法。其算法步骤如下第一步，读取背景图像鼠和当前图像，。，求出两帧图像的绝对灰度图像DT，YILKO，Y一反，YL216第二步，设定阈值TH将差值图像二值化，提取出运动目标钆伍，OIF噍O，Y掰2176七，Y“7【LOMERWLSE第三步，使用数学形态学对帧差图像阢进行滤波处理，然后再对其进行区域连通性分析，当某一连通的区域的面积大于某一给定阈值，则成为检测目标，并认为该区域就是目标的区域范围。对于背景图像己知的情况下，该算法的应用最为广泛。为了对比本文算法的效果，这里的图像与帧间差分法中的一致，只是事先获取了一幅“纯净”的图像作为背景。如图24所示，A为当前帧图像；B为提前获取的背景图像。经过当前帧与背景帧差分后得到帧差图像C，经过二值化后得N值图像D，最后经过连通性分析与数学形态滤波过后的到图像E，对E反色处理得到目标图像F。与帧间差分法相比，使用背景减除法进行运动目标检测一般可以提取出比较完整的目标图像，但随着时间的推移，光照、气候等外部干扰会造成场景的动态变化，这将会影响到目标检测的效果。因此，在实际应用中该方法仍有两个最基本的问题需要解决1背景模型的获取背景图像获取的理想情况是在场景中没有运动目标的情况下进行，但是实际应用中一幅“纯净”的背景图像往往不容易得到，外界光线的变化、背景的轻微扰动等都会增加获取背景的难度。喻、演理1人学R学碗学位论文2背景模型的更新长时间的视频监控，由于背景的扰动、光照变化等都会引起背景的改变，需要在一段时间后重新更新背景图像，以适应背景的变化。因而背景差分法的关键在于随着时问的推移如何自适应更新背景估计图像。D二值图像阮E形态掌握坡丰订连通性分卅D目怀幽俅图24基于7景减除法的运动目标检测FIG24DETECTIONOFMOVINGTARGETBASEDONTHEBACKGROUNDSUBTRACTIONMETHOD哈尔演理T人学T学硕J学位论文222背景图像估计由前面章节的介绍可以知道背景减除法的关键在于背景模型的获取以及随着时间的推移背景模型的实时更新。一种简单的获取背景图像的方法是当场景中无任何目标出现时捕获背景图像，但这种方法获取的背景图像仅仅适用于短时间内的监视，对于长时间的监控来说不太适用。下面介绍三种常用的估计背景图像的方法统计平均方法、HEIKKILAOLLI方法和SURENDRA方法。1统计平均方法一种常用的自适应背景修正的方法是对背景图像进行多幅平均，这种方法一般适用于场景内目标滞留时间较短，目标出现不频繁的情况。简单的背景修正方法可采用如下公式计算11B吉4，吼一。寻一无一218VV由公式214N可知，利用统计平均方法对背景图像进行修正，是非常重要的参数。如果背景中目标出现的频繁频率较小，适当的选择参数可以获得一个较为真实的背景图像的估计图像。2HEIKKILAOLLI法如果某一像素满足一下条件则被判为前景HOLK一旦IF219这里的F是一个预设的阈值，阈值处理后的图像接着使用一个33的遮罩进行闭运算，将小的区域剔除掉。背景使用下式进行更新BRLA，1AB，220这里的口值是个很小的值，以防止运动物体被划分为背景。该方法在下面两种情况下对背景进行纠正1如果某一像素在最后的M帧中被判为前景至少M次，则背景被更新为E“，F。这主要是针对在照明的突然变化和背景出现新的静止物体两种情况下对背景重建以更准确地反映劲的变化。21如果某一像素经常性地在前景和背景变化，则被标记为非前景。3SURENDRA法SURENDRA算法4的思想是通过当前帧与相邻帧差分找到物体的运动区域，对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行更新，这样经过一段时间就可以提取出背景图像，其算法步骤如下第一步，将图像序列中的第一帧图像，作为背景图像风。第二步，选取阈值丁，迭代次数X，以及迭代系数日。哈尔演理T人学T学顾LJ学化论文第三步，求取当前帧的帧差分图像D。，并将其二值化DK；1I，FII_1L苫TH221、【0OTHERWISE其中，、，H分别为当前帧和上一帧图像；TH为帧差图像灰度直方图中最大峰值右边110最大峰值所对应的灰度级。第四步，由二值图像D。更新背景图像风B。A，I矿BK。FI,，J1一QB。一。O，J三鬈；二吾222其中B。O，_、I。G，_为背景图像和二值化差分图像在点O，_的灰度值；Q为迭代系数。第五步，当迭代次数满足X次后所得到的图像吼他X即为背景图像B。该算法能够自适应获取背景图像，在不同应用环境下均有较理想的效果。223自适应背景模型估计算法自适应背景模型估计是对背景图像中的每