[硕士论文精品]控系统中运动检测与跟踪技术的研究

上海交通大学工学硕士学位论文摘要III视频监控系统中运动检测与跟踪技术的研究摘要随着人工智能和计算机技术的发展，机器视觉技术研究取得了长足的进步，并引起了越来越多的关注。目前，根据机器视觉完成的运动检测、识别、跟踪广泛地应用于国防建设、航空航海、医药卫生、安全监控等国民经济的各个领域。运动检测与跟踪则是其中一个重要的研究方向。运动检测的目的是检测某监控区域内是否出现目标物体并确定目标出现的位置、大小等信息；目标跟踪的目的是对选中的目标进行轨迹的描述，涉及到目标特征的提取、特征描述、目标匹配等多个方面。本文研究的主要目标是仿真实现对视频序列中人体运动目标的实时监控。系统主要由检测与跟踪两个模块构成，文中分别对检测和跟踪的算法进行了分析和研究，并提出相应的改进依据和改进方法，最后将两者结合，实现了在静止背景与微弱动态背景下对人体目标的全自动准实时的跟踪。本文首先提出了一种适合静止背景与微弱动态背景视频序列的运动目标检测方法。该方法首先对象素做混合高斯建模GAUSSIANMIXTUREMODEL，简称GMM，在判断像素是背景还是前景点时，传统GMM采用了参考相同位置上像素样本的期望和方差参数的策略。然而像素邻域间的信息对像素的分类至关重要。基于此，在判决过程中，提出对前景点集做空间域二次判决的策略。空间域二次判决在一次判决的基础上，利用邻域像素的历史统计值信息进行重判决，可筛选出“伪前景点”,解决混合高斯模型分离法无法正确检测背景物体棱角、边缘处像素的问题。上海交通大学工学硕士学位论文摘要IV运动检测的另一个难点是阴影消除。本文结合背景像素亮度特性，对前景像素的归一化亮度进行空间域二次判决，同样取得良好的去除阴影效果。最后，经过对GMM背景分离法的多次试验分析，对部分参数进行了优化将建模空间从一维推广到三维，并重新定义了方差收敛函数。实验证明基于空间域二次判决策略的GMM分离法可降低背景像素的误检率和有效抑制运动物体的阴影。本文的跟踪算法主要基于MEANSHIFT算法和粒子滤波算法。在MEANSHIFT理论的分析基础上，首先归纳了MEANSHIFT算法在跟踪应用上的具体步骤。其次，从图像处理学角度上定义了目标可见度，并给出相应的数学计算式。通过目标可见度和MEANSHIFT核函数带宽作用的研究，阐述了在目标遭遇遮挡和动态复杂背景情况下跟踪效果不佳的原因。针对目标大面积遮挡的情况，本文提出多项式拟合运动曲线的方法来估算目标处于遮挡状态时的位置；针对动态复杂背景，本文结合粒子滤波和MEANSHIFT各自的优点，设计了基于粒子滤波器的MEANSHIFT跟踪算法。跟踪算法选举图像核直方图作为目标模板的特征描述，在跟踪过程中，能自适应调整标准模板，并可自动调节跟踪区域的大小。本文最后在PC平台上实现了一个基于EASYVIDEO数字视频处理软件开发包的运动物体检测跟踪系统。实验结果表明，该系统对运动物体检测效果良好，能有效抑制阴影，并能在目标处于遮挡的情况下和动态背景下正确跟踪目标。关键字混合高斯模型，MEANSHIFT,粒子滤波，阴影消除，遮挡处理上海交通大学工学硕士学位论文摘要VRESEARCHOFMOVINGDETECTIONANDTRACKINGALGORITHMFORINTELLIGENTVIDEOSURVEILLANCEABSTRACTWITHTHEDEVELOPMENTOFARTIFICIALINTELLIGENCEANDCOMPUTERSCIENCE,MACHINEVISIONTECHNOLOGYHASMADECONSIDERABLEPROGRESS,ANDATTRACTEDMOREANDMOREATTENTIONATPRESENT,OBJECTSDETECTION,IDENTIFICATIONANDTRACKINGACCORDINGTOMACHINEVISIONTECHNOLOGY,HAVEBEENWIDELYUSEDINVARIOUSECONOMICASPECTS,SUCHASNATIONALDEFENSE,AVIATIONANDNAVIGATION,MEDICALTREATMENTANDHEALTHCARE,SECURITYMONITORING,ANDSOONFACEDETECTIONANDTRACKINGISONEOFTHEMOSTIMPORTANTAPPLICATIONSTHEPURPOSEOFFACEDETECTIONISTODETECTIFTHEREARETHEFACESOCCURREDINTHESURVEILLANCEAREAIFTHAT,THENDETERMINETHEINFORMATIONOFLOCATIONANDSIZEOFTHEFACESOBJECTTRACKINGISALSOANIMPORTANTAPPLICATIONBRANCHOFCOMPUTERVISIONTHEGOALOFTRACKINGISTORECOGNIZETARGETOBJECTSFROMTHEBACKGROUNDANDEXTRACTFEATURES,THENTODEPICTTHEMOVINGLOCUSOFTHEMHOWTOTRACKTHEOBJECTSPRECISELYANDFASTISTHEKEYPROBLEMOFOBJECTSTRACKINGSYSTEMINTHISPAPER,THEMAINOBJECTIVEISTODESIGNAREALTIMEMONITORINGSYSTEMFORTHEOBJECTINTERESTEDTHISSURVEILLANCESYSTEMMAINLYCOMBINESTWOSUBSYSTEMS,MOVINGDETECTIONANDOBJECTTRACKINGBYANALYZINGTHEALGORITHMOFDETECTINGANDTRACKING,THISPAPERBRINGSOUTREASONSANDMETHODSTOPROMOTETHEPERFORMANCEINTHISPAPER,WEPROPOSEAMOVINGDETECTIONALGORITHMAPPLIEDFORSTATICBACKGROUNDVIDEOSEQUENCES,WHICHCANSOLVECOMMONPROBLEMSINMOVINGDETECTIONWEFIRSTLYESTABLISHGAUSSIANMIXTUREMODELGMMFOREACHPIXEL上海交通大学工学硕士学位论文摘要VIANDTHENEXTENDTHECLASSICALGMMDETECTIONFROMTHEPIXELTIMEDOMAININTOPIXELSPATIALDOMAINFORTHESPATIALDOMAINDETECTION,ITCANREDETECTTHEPIXELWHICHSELECTEDOUTASTHEFOREGROUNDELEMENTSUSINGTHECLASSICALMETHODBYTHISWAY,WECANPICKOUTTHOSEPIXELSFALSELYDETECTEDATFIRSTTIMEBESIDES,OURMETHODCANAPPLIEDFORTHESHADOWDETECTION,ASTHEBRIGHTFEATUREAREUNIQUEFORTHESHADOWPIXELS,WECANCOMBINETHISFEATUREWITHOURSPATIALDOMAINMETHODANDSUBSTITUTEUNITARYBRIGHTFORPIXELSGRAYVALUEASTHEINPUTPARAMETEROFOURMETHODEXPERIMENTSSHOWOURMETHODCANIMPROVETHEDETECTIONACUTANCEANDREMOVEOBJECTSSHADOWSASFOROBJECTTRACKING,MEANSHIFTANDPARTICLEFILTERAREMAINLYUSEDINTHISPAPERWEANALYZETHETHEORETICALSHORTCOMINGOFMEANSHIFTINORDERTOEXPLAINTHEPOOROBJECTTRACKINGWHENOBJECTENCOUNTERSBADOCCLUSIONANDINDYNAMICANDCOMPLEXBACKGROUNDBESIDES,WEPROPOSETHEPOLYNOMIALIMITATIONTOAPPROACHOBJECTSMOVEMENTTROCHOIDANDPREDICTTHELOCATIONINTHEOCCLUSIONFORTHEDYNAMICANDCOMPLEXBACKGROUND,OURMETHODCOMBINESTHEADVANTAGESOFBOTHPARTICLEFILTERANDMEANSHIFTINWHICHTHEPARTICLEFILTERUSEDFORPREDICTINGTHELOCATIONWITHMOSTPROBABILITYANDTHEMEANSHIFTALGORITHMCONVERGESTOTHEFINALPOSITIONOFOBJECTTHERESEARCHWASCARRIEDOUTONPCPLATFORMWITHTHESOFTWAREDEVELOPMENTKITSDEVELOPEDBYINTELNAMEDEASYVIDEO,WHICHISUSEDFORDIGITALVIDEOANDIMAGEPROCESSINGTHERESULTSHOWSTHATTHISSYSTEMISFASTANDPRECISE,ANDBASICALLYMEETSTHEREQUIREMENTOFREALTIMESURVEILLANCEKEYWORDSGAUSSIANMIXTUREMODEL,MEANSHIFT,PARTICLEFILTER,SHADOWREMOVAL,OCCLUSIONPROCESSING上海交通大学工学硕士学位论文64上海交通大学工学硕士学位论文65上海交通大学工学硕士学位论文第一章绪论1第1章绪论11研究背景及意义近年来，全程数字化、网络化的视频监控系统被广泛应用于各行各业。它高度的开放性、集成性和灵活性，为整个安防产业的发展提供了更加广阔的空间，与模拟监控系统相比，数字监控系统借助于计算机网络突破了模拟信号传输距离上的限制，监控可以无处不在。此外，数字监控系统利用计算机为处理核心，除了能够实现多媒体信息的播放、存储、压缩、传输等基本功能外，还能够实现自动异常报警、智能存储等高效功能。智能视频监控则是网络化视频监控领域最前沿的应用模式之一。智能视频源于计算机视觉技术。计算机视觉COMPUTERVISION的目的是发展出能够理解自然景观的系统，它是一门交叉性很强的学科，涉及计算机、生理学、物理学、信号处理和数学等诸多领域。如果将摄像机看作人的眼睛，智能视频系统或前端设备则可以看作人的大脑。智能视频技术借助计算机强大的数据处理功能和人类先进的图像序列处理算法，可以对视频画面中海量信息进行有针对性地高效分析，提取出用户感兴趣的图像信息，大大减少了监控者的工作量。在世界反恐斗争日趋严竣的今天，智能视频监控能够成为应对恐怖主义袭击和处理突发事件的有力辅助工具。除了国家安防的需要，智能视频监控系统在我们日常经济活动和生活中同样扮演着监控和保卫的角色。如银行、机场、政府等重要部门无人值守的状况，高速公路的车流量检测以及意外事故检测、工厂车间安全检测等。目前的监控摄像机在商业应用中普遍存在，但少有集成自动监控的作用。因此，智能化的监控系统的研究成为目前学术界、产业界和管理部门高度重视的问题之一。12智能化监控系统研究现状目前，对智能视频监控技术的研究与应用方兴未艾。智能视频监控利用计算机和图像处理的方法对图像序列进行运动检测、目标提取、目标跟踪以及目标行为理解与描述。其中，运动检测、目标提取、目标跟踪属于智能视频监控系统中基础技术，它上海交通大学工学硕士学位论文第一章绪论2对后续目标行为理解和描述意义重大，因而成为当前研究的热点。受惠于美国国防高级研究计划局的资助，卡内基梅隆大学，戴维SARNOFF研究中心等几家著名研究机构合作研制了视频监控系统VSAM1。VSAM的目标是为未来城市和战场监控应用的一种自动视频理解技术，用于降低未来战争中人力监控的成本、危险情景下替代人力监控等。该系统采用了三帧时域差分法算法实现目标检测，采用自适应模板匹配法实现对目标的跟踪。此外，美国国际商用机器IBM公司与马里兰大学联合开发的W4（WHAT，WHERE，WHEN，WHO）系统2，可用于民宅、停车场、银行等场合，对携带可疑物品的人员进行有效监控。美国微软MICROSOFT公司开发了“TELEVISIONCONTROLBYHANDGESTURES”3系统，美国麻省理工学院（MIT）开发了PFINDER系统4和KIDSROOM系统5。目前在国内的研究机构中，中国科学院北京自动化研究所模式识别国家重点实验室对交通场景的视觉监控采用了基于三维线性模型定位和扩展卡尔曼滤波器的技术，对人的运动视觉监控采用了基于步态的远距离身份识别技术，这些均对运动检测和目标跟踪算法进行了深入研究与实践。此外，很多高校也纷纷开展了视频监控方面的研究工作。当前，国际上一些权威期刊如ICCV、CVIU和重要会议如CVPR、ECCV、ICIP、ICPR等发表了大量的有关运动检测与目标跟踪方面的论文，国内也于2002年5月召开了第一届全国智能视觉监控学术会议。自动化学报在2003年5月出版了动态场景的视觉监控专刊，中国图像图形学报也在2008年1月出版了智能视觉专辑。一个典型的视频监控系统对图像处理流程如图11所示。运动检测与跟踪技术是实现智能化视频监控系统基础。图11智能视频监控系统中运动检测与跟踪的基本流程FIG11BASICPROCESSOFMOVINGDETECTIONANDTRACKINGININTELLIGENTSURVEILLANCESYSTEM121运动目标检测技术运动检测（MOVINGDETECTION）是指在输入视频图像中判断是否存在运动目标和物体，并进一步确定其所在区域的位置、大小、方向等信息。前景物体的正确分割对于运动目标检测与跟踪等后期处理非常重要。尽管运动检测与图像分割的研究历史跨背景分析运动检测目标跟踪图像序列前景区域目标模板目标路径上海交通大学工学硕士学位论文第一章绪论3越了几十年，但至今尚无通用的检测理论。现已提出的检测分割算法大都是针对具体问题的，并没有适合于所有图像的通用分割算法。归纳而言，运动检测的方法大致有帧间差分法、光流法、背景差分法。帧间差分法6是在连续的图像序列中两个或三个相邻帧间采用基于像素的差分并且阈值化来提取图像中的运动区域。如LIPTON6利用两帧差分法从视频序列中检测出运动对象，进而用于对象分类与跟踪。帧间差分法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内如容易产生空洞现象。为了提高差分图像法的性能，有人在此基础上提出了累积图像差分法和对称图像差分法,这两种方法都可以在提高检测概率的同时降低虚报概率,效果相差不大。差分图像法是以图像背景固定不变为前提的，如果图像背景运动,这种方法就无能为力了。针对这种情况，有人提出了基于补偿差分的运动目标检测方法,先对由摄像机运动引起的背景移动进行补偿,然后再进行差分运算。有两种方法可以用来消除背景相对运动造成的影响一种是通过闭环系统的自反馈对得到的镜头运动参数进行补偿；另一种是对背景中特征较明显的区域进行匹配，在得到背景的偏移量后再进行补偿。相比较而言，第二种方法完全不依赖于跟踪系统的回路参数，而且当背景中有明显结构特征时可以取得更好的背景补偿效果,配准精度较高。光流法7OPTICALFLOW采用了运动对象随时间变化的光流特性，它假设背景与前景有不同的运动速率。该方法能在摄像机运动的情况下有效地检测出运动对象。如MEYER8等人通过计算位移向量光流场来初始化基于轮廓的跟踪算法。然而，大多数光流计算方法复杂，抗噪性差，需要特别的硬件装置才可以达到实时处理。最有效的也是最常用的运动区域的分割手段是通过对运动图像序列进行背景分离来实现的，而要做到这一点，需要对图像序列的背景建立一个数学模型8。在一般的图像序列中，背景包括了以下几个元素图像场景中的静态物体，比如路面，墙壁等等；图像场景中的某些非静态物体，比如水面的波动、树影的婆娑等等；同时，图像中的某些运动目标在某些时候也会成为背景的一部分，比如一辆原本行驶中的汽车，因为某种原因停止了下来，这样它就从原本的运动目标变成了背景的一部分。前两种情况中的背景物体随着天气的变化，光照的强弱，实际上并不是完全不变的，一个好的背景分离方法要能够适应这种变化，所以需要模型具有自适应能力；而第三种情况，物体会随着由动到静，或者由静到动，从运动目标变成背景，或者从背景转化成运动目标，一个好的背景模型要在这两种情况下都能正确地做出分割，并且记录下这种变化。通过以上的描述，可以总结出一种好的背景分离方法，或者说一个好的背景模型，需要具有以下几个特点上海交通大学工学硕士学位论文第一章绪论41能够正确表征静态背景像素；2能够正确表征动态背景像素；3能够对背景的渐变有自我适应的能力；4能够对像素在背景和前景之间的转化有足够的反应能力；在没有其他特殊条件的情况下，一般背景模型总是以图像的单个像素点作为建模的基本单位。像素一般具有多个特征可以选择来作为建模的依据，这些特征一般分为以下三类频域特征，空域特征和时域特征。频域特征包括灰度或者颜色信息，空域特征包括梯度信息或者纹理、边缘等结构上的信息。时域特征包括像素在不同帧间的变化。122运动目标跟踪技术视频图像跟踪也称为电视跟踪，它是从图像信号中自动识别目标,提取目标位置等信息,连续确定运动轨迹的一种技术。常用的数学工具有KALMAN滤波器，CONDENSATION算法9及动态贝耶斯网络10等。依据算法建模时对视频环境和目标所作的假设的多少以及不同的假设对目标跟踪算法进行分类，可分为基于假设条件的跟踪跟踪算法的一个最基本的假设就是连续帧之间目标的表象变化非常小，前后帧中目标对应像素的灰度值变化很小。如基于光流的跟踪算法。基于光流的跟踪算法假设前后两帧中，目标仅仅存在位置的变动。对光流场的定义引出图像区域运动场的概念，可以解释为图像区域所有点的矢量场，运动场的计算指导下一步的跟踪，如文献10,11所示。基于光流场的跟踪算法的鲁棒性依赖于如何设计光流场，其主要缺陷在于算法对光照变化的敏感性。基于光流估计的方法都是基于以下假设图像灰度分布的变化完全是由于目标或背景的运动引起的，即目标和背景的灰度不随时间变化。基于运动模型的跟踪如果我们己知了一些关于被跟踪目标运动规律的信息，就可以利用它们预测目标在下一帧中的位置，从而减小目标的搜索范围。这些运动信息就是我们为跟踪算法制定假设条件的依据。将已知的目标运动规律作为跟踪算法建模的假设条件或称前提条件。对目标整体运动可用仿射模型、透射模型来描述，对运动的估计和预测最常用的就是对卡尔曼滤波器的使用。在文献12,13中，刚性目标这一假设条件和扩展卡尔曼滤波器结合起来用于目标的跟踪。在文献14中，用概率模型对运动状态建模以处理复杂背景下上海交通大学工学硕士学位论文第一章绪论5对轮廓的跟踪，算法在给定当前状态的前提下计算不同运动的条件概率密度，即所谓的CONDENSATION算法，也就是粒子滤波器算法。在复杂背景下的目标跟踪，粒子滤波器是一种很好的算法，也是目前跟踪领域一个很重要的算法。粒子滤波器的主要思想是根据目标物体当前的中心位置，根据随机高斯分布产生N个粒子作为目标下一时刻可能出现的位置。然后根据相似度进行排序，取出相似度最大的K个点。然后以这K个点作为中心取高斯分布离散点，重新排序后将相似度最大的点作为当前帧中目标物体的中心位置。此方法能够有效的跟踪目标。在此基础上，KENJIOKUMA15,ZIAKHAN16等分别提出了自启动和结合蒙特卡洛方法的多物体跟踪的粒子滤波器方法基于特征的跟踪人眼很容易发现草地上的足球，因此足球有它区别于草地上别的物体的特有的特征。同样，在目标的识别和跟踪领域，我们常常依靠检测目标的特征来识别或者跟踪目标物体，甚至不需要对别的信息进行检测，也可以完成这个任务。在计算机视觉领域，有很多原因促使我们去检测关于目标的指定特征来完成我们的跟踪任务，首先，对于由于遮挡、照明及视角等造成的图像表象的变化，检测一定的目标特征的方法往往表现出很好的鲁棒性。比如，边缘特征对场景中光线的变化不敏感，对室外环境的监控，这点很重要；角点特征在图像中有很好的定位性，如果一些角点对应于场景中的一个三维结构，知道一个角点的位置，很容易定位整个结构的范围，部分的遮挡和光线的变化都不会影响对结构的定位计算。其次，用少量的特征信息来描述目标，大大压缩目标的信息量，使整个算法简洁，也方便了后续的处理。基于特征的跟踪包括特征的提取和特征的匹配两个过程。文献17将每个运动对象用一个矩形框封闭起来，框的质心作为跟踪的特征；在跟踪过程中，如果两个目标物体互相遮挡的情况，系统将会分析两个质心的速度。只要二者的速度可以区分，跟踪就能继续执行。这种方法的优点是实现简单，并能够利用目标的运动特性来解决遮挡问题。但是它仅仅考虑了平移运动，系统的鲁棒性较差。PINGALI与SEGEN的跟踪系统18使用了运动轮廓的角点作为目标特征，算法采用基于位置和点的曲率值的距离度量在连续帧间匹配。常用的图像特征还有边缘和轮廓。边缘是指其周围象素有灰度的阶跃变化或屋顶状变化的那些象素的集合和强度值突然变化的象素点的集合边缘对于运动很敏感，对灰度的变化不敏感。轮廓是目标的边界，有时候轮廓也可以采用边缘检测算子来提取。BLAKE20等用自适应边缘模型，而CURWEN21等用SNAKE算法都实现了对变形的运动轮廓的跟踪；CIPOLLA22等对轮廓的轨迹进行了估计；而KOLLER23等将运动模型和灰上海交通大学工学硕士学位论文第一章绪论6度边界相结合实现了在交通监控中的跟踪。本文论述的MEANSHIFT算法也属于基于特征的跟踪算法，它的特征空间是目标区域的指定的直方图分量组成的空间，在核函数的平滑作用下，计算特征值的概率值，在第三章我们有详细的论述。基于区域的跟踪基于区域的方法可以识别待定目标及确定运动目标的相对位置，正确截获概率和定位精度是图像匹配的主要性能指标。区域匹配的概念是通过计算两块区域的相似程度从而得到目标的可能运动区域。相似度的计算有多种多样的方式，并可能应用于不同的颜色空间中。基于区域的跟踪方法目前已有较多的应用，具有代表性的方法有WREN19等提出的利用小区域特征进行室内人体目标的跟踪方法，该方法将人体看作由头、躯干、四肢等小区域组合而成的物体，采用单高斯分布模型分别建立人体各部分和场景的模型，通过跟踪各个小区域块并进行组合，完成对人体的整体跟踪。基于区域跟踪的难点在于运动目标的阴影或遮挡，MCKENNA24曾根据彩色信息以及阴影区域缺乏纹理的特性，提出利用色彩和梯度信息建立自适应的背景模型，并利用背景差分提取运动区域，有效消除影子的影响。13运动目标检测与跟踪的技术难点尽管运动目标检测与跟踪研究已经取得了一定的成果，但下述几个方面仍是当今研究的难点问题。运动分割快速准确的运动分割是个相当重要但又比较困难的问题。这是由于动态环境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、以及摄像机的运动等，这些都给准确有效的运动分割带来了困难。就以运动目标的影子为例，它可能与被检测的目标相连，也可能与目标分离。在前者情况下，影子扭曲了目标的形状，从而使得以后基于形状的识别方法不再可靠在后者情况下，影子有可能被误认为是场景中的目标。尽管目前图像运动分割主要利用背景减除方法，但如何建立对于任何复杂环境的动态变化均具有自适应性的背景模型仍是相当困难的问题。遮挡处理目前，大部分运动分析系统都不能很好地解决目标之间互遮挡和人体自遮挡问上海交通大学工学硕士学位论文第一章绪论7题，尤其是在拥挤状态下，多目标检测和跟踪问题更是难于处理。在发生遮挡时，目标只有部分是可见的，而且这个过程一般是不可训练的。此时简单依赖于背景减除进行运动分割的技术将不再可靠。为了减少遮挡或深度所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与目标部分之间的准确对应问题。另外，遮挡前后的跟踪初始化也缺少自举方法。目前比较有效的方法是利用统计方法从可获得的图像信息中进行目标姿势、位置等的预测。不过，对于解决遮挡问题最有实际意义的潜在方法应该是基于多摄像机的跟踪系统。性能评估一般而言，鲁棒性、准确度和实时性是运动分析系统的三个基本要求。例如，系统的鲁棒性对于监控应用特别重要，这是因为它们通常被要求是自动、连续地工作，因此这些系统对于如噪声、光照、天气等因素的影响不能太敏感系统的准确度对于控制应用特别重要，例如基于行为或姿势识别的接口控制场合而系统的处理速度对于那些需要实时高速的监控系统而言更是非常关键。因此，如何选择有效的工作方案来提高系统性能、降低计算代价是特别值得考虑的问题。同时，如何利用来自不同用户、不同环境、不同实验条件的大量数据测试系统的实时性、鲁棒性亦相当重要。14本文的主要研究内容和创新本文设计了一个准实时的运动检测跟踪系统，该系统对视频监控系统中的部分技术难点进行了深入研究并给出了解决方案。本文将运动检测的结果作为目标跟踪的初始模板，在模板自动化提取、模板更新、动态背景跟踪、遮挡处理、阴影消除上做了较好的改进。本文提到的算法均在AMD2100的CPU,256M内存配置的电脑，WINDOWSXP系统下用VC60编程，基于视频处理库EASYVIDEO的解码和播放功能在软件仿真平台上实现了准实时的视频运动检测与跟踪的目的。本文的具体章节安排如下第一章介绍视频监控系统的现状与发展，概述了监控系统中运动检测技术和目标跟踪技术，指出了当前视频监控系统中几个技术难点和热点；第二章研究了运动检测技术，着重分析了背景分离法技术。通过简单的背景差分法到复杂的高斯建模法的阐述，重点研究了以STAUFFERGRIMSON提出的混合高斯模型法的经典算法并提出改进意见。首先，将算法中一维空间建模扩展到三维R、G、B空间，其次对方差函数重新定义，实验证明本文的参数改进工作取得了良好的检测效果；此外，针对混合高斯模型法在像素时间域判决的不足，本文提出了基于空间域二上海交通大学工学硕士学位论文第一章绪论8次判决策略的混合高斯模型分离法，该方法首先利用时间域像素判决收集前景点集，然后根据背景物体边缘的特性，在以像素为中心的十字窗内重新进行空间域的二次判决，实验证明该方法能有效筛选出一次判决后的“伪前景点”，降低了背景像素的误检率。对于运动目标的阴影问题，本文对前景像素的亮度同样也进行空间域二次判决，实验结果显示空间域二次判决在阴影去除取得了良好的效果。第三章研究了目标跟踪算法。重点分析了MEANSHIFT算法和粒子滤波器算法。通过分析MEANSHIFT算法的无参密度估计理论，本文归纳了MEANSHIFT算法在跟踪技术上的应用步骤。针对MEANSHIFT算法在目标遭遇大面积遮挡下跟踪效果的欠佳，本文首先给出了计算机图像处理意义上“遮挡”的定义，并在此定义基础上推导了目标可见度的数学公式。最后本文提出多项式拟合运动轨迹法来预测遮挡情况下目标的位置。针对复杂的动态背景下的目标跟踪，本文结合粒子滤波器和MEANSHIFT算法的各自优点，利用粒子的传播性和多样性定位目标的一个粗略位置，再使用MEANSHIFT算法以这个粗略位置为中心搜索最佳匹配位置。本章最后给出了在上述两种情况下本文算法的跟踪效果。第四章是对本文的研究工作进行总结，并在此基础上指出今后需要进一步研究的方向。上海交通大学工学硕士学位论文第二章运动目标检测算法9第2章运动目标检测算法时下,伴随通信技术与计算机科学的日益进步，基于视频监控系统的安全设施建设得到进一步重视，其中的智能视频监控技术获得了广泛的关注和研究。运动检测作为智能监控系统中的底层，它的目标是尽可能精确地从视频图像序列中将运动物体提取出来。运动检测效果对后续跟踪、识别、智能检索等影响巨大，因为后期处理过程仅处理图像中对应于运动区域的像素。然而,由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响,使得运动检测成为一项相当困难的工作。13节提及了运动检测几个应用难点，主要体现在背景（前景）像素误检率、阴影消除、检测算法实时性等方面上。本章针对静止背景及动态复杂的背景下的运动检测，研究了当前几个分割方法。其中，重点研究了高斯模型的背景分离法，对经典的算法做了改进，提出基于空间域二次判决法则的混合高斯模型背景分离法，在静止背景和动态背景下均取得了良好的分割效果，并达到准实时的处理速度。21帧间差分法帧间差分法顾名思义是将视频序列中相邻的两帧或几帧做象素域上的减法运算，以得到帧间的不同图像信息。理想状态下，对于静止背景进行帧差运算很快就能把目标的轮廓描述出来，然后，在实际的应用场景中，由于存在许多的环境因素和系统因素，帧差法加入了各种优化方法去适应不同情况的检测。一个基本的帧间差分法运算过程如图21所示FK1FK滤波处理滤波处理减法器阈值T前景点集目标提取图21帧间差分法原理FIG21PRINCIPLEOFFRAMEDIFFERENTIATIONMETHOD上海交通大学工学硕士学位论文第二章运动目标检测算法10帧差法运算式如下,1,01BACKGROUNDKXYKXYKXYKXYFOREGROUNDKXYBTBFFBT背景计数前景像素伪前景像素（背景像素）是否图28空间域二次判决法则流程图FIG28SPATIALREJUDGMENTSTRATEGYFRAMEWORK上海交通大学工学硕士学位论文第二章运动目标检测算法26基于空间域二次判决策略由于作用于时间域判决后的前景点集，因此不会对首次判断为背景的像素有任何影响。然而我们发现，空间域二次判决策略增加了算法执行时间，延长了视频处理速度。为了在速度和检测效果上折衷，我们首先仅选取邻域窗口像素的权值最大的高斯分布来进行二次判决。同时，我们发现，在一幅图像中，边缘有方向和幅度两个特性。一般性的，沿着边缘走向的灰度变化较为平缓，而垂直于边缘走向的灰度变化剧烈。基于此，我们在窗口设计时候，仅仅可选择十字窗。也即只需要和上下左右四个像素的高斯分布来做匹配。基于空间域二次判决策略的混合高斯模型分离法伪代码如图29所示。上海交通大学工学硕士学位论文第二章运动目标检测算法27图29基于空间域二次判决策略的混合高斯模型伪码FIG29PSEUDCODEOFSPATIALREDETECTIONGMM254阴影消除在混合高斯模型对当前帧进行背景消减以后，运动物体投射出来的阴影往往同目标一样会被检测出来，这将对后面的识别和跟踪造成很大干扰。尤其在场景中存在多个目标的时候，阴影还会严重降低多目标跟踪系统的可靠性。因而，运动阴影消除也是一项非常重要的任务。上海交通大学工学硕士学位论文第二章运动目标检测算法28运动对象及其阴影具有两个共同的可视特征一方面，两者都明显区别与背景，是可感知的；另一方面，两者具有相同的运动特性。目前阴影消除算法可以大体分为两类基于模型的方法和基于特征的方法。基于模型的方法是根据阴影的特性建立一个阴影的统计模型，根据此模型来判别像素点是否属于阴影区域。基于特征的方法一般直接采用图像的特征，如亮度、颜色、饱和度等信息进行判断。本文采用阴影像素的归一化RGB的亮度特征。本文利用243小节提出的邻域窗前景点的二次匹配法，结合像素亮度的特性，在二次判断中，将像素的亮度作为输入参数，与周边像素的混合高斯模型中匹配度最高的高斯分布进行匹配，由于输入的不是像素灰度值而是亮度值，因此这个高斯分布需要做的修改仅仅是将窗口统计的历史参数中的均值修改为像素的亮度。为了计算的简便，我们在此定义像素的亮度为238式HRGB（238）对应的高斯模型参数灰度均值修改为亮度均值239式HRGBUUUU（239）至此，本文空间域二次判决策略在运动检测和阴影消除中的作用已经完成。本文提出的基于混合高斯模型的空间域检测法及阴影消除法，在像素检测的过程中，增加了对前景象素点的空间域二次判断，为了提高检测速度，本文在空间域检测算法中做了简化，包括在与邻域窗口像素比较时，将混合高斯分布的依次判断修改为仅判断排序最高的高斯分布，依据边缘特性合理选择窗口像素；在阴影消除上，将像素亮度定义为像素的RGB分量的和等等。结合空间域二次判决策略的混合高斯模型分离法的流程如图210所示。上海交通大学工学硕士学位论文第二章运动目标检测算法29第I个高斯分布匹配当前帧输入否是否更新权值参数高斯分布参数更新首个匹配的高斯分布匹配全部失败新的高斯模型建立高斯重排序开始高斯循环结束是匹配的高斯权值最大是是背景像素是前景像素窗口搜索取窗口像素统计值取窗口像素第一个高斯模型匹配成功伪前景像素是前景像素否图210基于空间域二次判决的混合高斯模型检测法FIG210SPATIALDETECTIONMETHODINGMM255二值化模板后处理上海交通大学工学硕士学位论文第二章运动目标检测算法30在使用本文所述方法提取出前景的二值化模板后，需要通过数学形态学中的开启和闭合运算33来实现对模板中的噪声干扰的消除。开启和闭合都是数学形态学中的基本运算，其主要目的是简化图像数据，保持它们的基本形状特性，并除去不相干的结构。数学形态学的基本运算有四个膨胀、腐蚀、开启和闭合，现简单介绍如下如用A表示图像集合，B表示结构元素，形态学运算就是用B对A进行操作。其中A被B膨胀记为BA，为膨胀算子，膨胀的定义为|ABXBAX（240）A被B腐蚀记为BA，为腐蚀算子，腐蚀定义为ABXBAX|（241）膨胀和腐蚀不互为逆运算，所以它们可以级连结合使用。例如，利用同一个结构元素B,先对图像进行腐蚀，然后膨胀其结果，或者先对图像膨胀，然后腐蚀其结果，前一种运算成为开启运算，后一种运算成为闭合运算。这两种运算都可以去出比结构元素小的特定图像细节，同时保证不产生全局的几何失真。开启运算可以把比结构元素小的噪声滤除，切断细长搭接而起到分离作用；闭合运算可以是比结构元素小的缺口或孔填补上，搭接短的间断而起到连通作用。对之前得到的前景图像模板进行开启运算可以有效的去除噪声干扰，而适当的闭合运算则可以使图像模板中的目标物体具有更好的连通性，增强物体的形状特性，更利于以后的车辆物理特征的提取。26实验结果以下实验所采用的视频序列为XVID压缩格式,是本文作者手持式普通相机拍摄而成。视频图像大小为352288。取景于上海交通大学电信实验楼群周边。视频的播放速率为30帧每秒。混合高斯模型的参数K取值3，初始方差为100，学习速度为006实验一实验一给出本文提出的基于空间域的混合高斯模型背景分离法应用于视频序列的主观效果，视频序列背景为静态的建筑物体，序列并没有出现需要被检测的运动物体。作为对比，实验一同时给出经典混合高斯模型背景分离法的分离效果，实验结果上海交通大学工学硕士学位论文第二章运动目标检测算法31图211包括原始图像帧第15帧和分离后的前景图像帧第15帧。A原始图像帧15B理想的前景分割图C传统混合高斯模型法前景分离效果15D本文提出的空间域混合高斯模型法前景分离效果15图211本文算法与经典算法在静止背景下背景分离效果（第15帧）FIG211FOREGROUNDCOMPARINGRESULTFROMPROPOSALMETHODANDCLASSICMETHOD（15）我们发现，由于使用了前景点集邻域窗的二次检测算法，图D的检测效果明显好于传统算法的检测效果图C实验二实验二图212给出了传统算法和本文算法在背景有微弱变化的情况下的前景检测效果图。测试序列背景中的树木在微风下有摆动，和实验一类似，实验二的视频序列中并没有出现需要被检测的运动物体。A原始图像帧18B传统混合高斯模型法前景分割图18C本文提出的空间域混合高斯模型法前景分割图18图212本文算法与经典算法在微弱变化背景下背景分离效果图（第18帧）FIG212FOREGROUNDABSTRACTIONINSLIGHTVARIETYBASEDONPROPOSALMETHODANDCLASSICALMETHOD实验二显示即使在背景有微弱变化的情况下，本文提出的空间域混合高斯模型分离法还是取得了很好的效果，混合高斯模型背景分离法与背景差分算法以及单高斯模上海交通大学工学硕士学位论文第二章运动目标检测算法32型分离法相比，能较好地克服背景物体微弱抖动的情况。然而，背景物体像素在微风、光照不均的情况下，存在着边缘处像素“漂移”到其他位置的现象。混合高斯模型的多模式像素描述和本文提出的空间域二次判决策略，在当前像素的33窗口内，进行了前景像素二次判断，剔除了大部分的“伪前景点”。实验三和四实验三（图29）和实验四（图210）给出本文提出的算法在存在运动目标且目标带有阴影情况下所分离出来的前景效果图，视频序列采用分别与实验一和二像对应的视频，所示图像包括原始图像帧、经典混合高斯算法前景分割图以及本文提出的基于空间域二次判决的混合高斯模型法前景分割图。实验三中视频序列背景静止，实验四视频序列为动态背景。A原始序列帧85A原始序列帧508A原始序列帧849B经典算法前景分割图B经典算法前景分割图B经典算法前景分割图C本文算法的前景分割图C本文算法的前景分割图C本文算法的前景分割图图213本文算法与经典算法在静止背景下运动目标检测效果图第85，508，849帧FIG213MOVINGDETECTIONINSTATICBACKGROUNDUSINGPROPOSALANDCLASSICALMETHOD（FRAME58TH508TH849TH）上海交通大学工学硕士学位论文第二章运动目标检测算法33实验四A原始序列帧85A原始序列帧274A原始序列帧600B经典算法前景分割图85B经典算法前景分割图274B经典算法前景分割图600C本文算法的前景分割85C本文算法的前景分割274C本文算法的前景分割600图214本文算法与经典算法在动态背景下运动目标检测效果图第85，274，600帧FIG214DYNAMICENVIRONMENTDETECTIONUSINGTWOMETHODS（FRAME85TH274TH600TH）上海交通大学工学硕士学位论文第二章运动目标检测算法34A实验三算法时间消耗对比图B实验四算法时间消耗对比图图215经典算法与本文算法时间消耗对比图FIG215TIMECONSUMPTIONINPROPOSALMETHODANDCLASSICALMETHOD实验三和实验四中，经典的混合高斯模型算法无法抑制运动物体阴影，同时对背景像素的判断逊色于本文算法。阴影是前景分割算法的一项重要检测标准。实验结果表明，本文算法对于精确勾勒轮廓和有效消除阴影均达到了良好的主观效果。在算法速度上，由于空间域二次判决策略在具体应用时做了很大的简化，在图211中，可以发现，蓝色标记的采用本文空间域二次判决策略的处理速度虽然略微弱于经典算法，但仍然达到了接近实时处理的要求。达到25FPS的处理速度，接近视频源30FPS的播放速率。实验五实验五在实验三和四的基础上对本文算法下的前景分割图做了形态学后处理，形态学方法采用的结构元素为33的全1矩阵。实验结果参见图212上海交通大学工学硕士学位论文第二章运动目标检测算法35图216形态学后处理的前景分割图FIG216MORPHOLOGYPOSTPROCESSINGFORFOREGROUNDDETECTION形态学的基本思想使用具有一定形态的结构元素去度量和提取图像中对应形状,以达到对图像分析和识别的目的。借助形态学，能更好的勾画前景，给后续目标识别与跟踪奠定了基础。27本章小结本章着重介绍了背景分离法的原理并仔细研究了STAUFFERGRIMOSN混合高斯模型的经典算法，对经典算法中部分参数进行优化并作了理论依据阐述。本章提出的运动图像序列背景分离方法结合了图像的时域信息和空间域信息，在对原始图像进行高斯建模后，对经过第一次判决后的前景像素集进行了空间域33窗口内的二次判断，并结合像素亮度的特性，在二次判断中抑制了运动物体自身投射的阴影，本方法不但对一般的静态背景条件下的运动目标有良好的检测效果，而且对一定程度内的动态背景，同样能达到很好的分离效果，并且本章所述方法在二次检测中做了多次算法简化，并不影响算法整体的实时性要求。上海交通大学工学硕士学位论文第三章运动目标跟踪算法36第3章运动目标跟踪算法大多数特征跟踪算法的执行顺序遵循图31所示的预测一检测一匹配一更新四个步骤的闭环结构。首先，以前一帧目标位置和一些运动模型为基础，预测当前帧中目标的可能位置。接着，可能位置处候选区域的特征和标准模板进行匹配，匹配度最高的的候选位置即为目标在本帧的位置。预测步骤主要基于目标的运动模型，运动模型即可以是简单的平移轨迹也可以是复杂的曲线运动，特征检测步骤因选择图像的不同特征而算法各异，图像的特征有角点、直方图、纹理、轮廓等。常见的匹配准则有欧式距离、巴塔卡亚系数等。PREDICTIONFEATUREDETECTIONMATCHINGUPDATE图31跟踪算法的四个步骤FIG31FOURSTAGESINTRACKINGALGORITHM更新步骤常常是对初始模板的更新。这是因为在目标的运动中，目标的姿态、角度，环境的光照度等会发生变化，因此模板更新有利于跟踪的稳定性和准确性。MEANSHIFT这个概念最早是由FUKUNAGA等人34于1975年在一篇关于概率密度梯度函数的估计中提出来的，其最初含义正如其名，就是偏移的均值向量。COMANICIU和MEER35把MEANSHIFT成功地运用于特征空间的分析，在图像平滑和图像分割中MEANSHIFT均得到了很好的应用。上海交通大学工学硕士学位论文第三章运动目标跟踪算法3731基于MEANSHIFT的跟踪算法311MEANSHIFT无参密度估计理论MEANSHIFT算法就是一种无参密度估计算法或称核密度估计算法。核密度估计的原理和直方图技术有些类似。对于一组采样数据，把数据的值域分成若干相等的区间，每个区间称为一个BIN，数据就按区间分成若干组，每组数据的个数与总参样个数的比率就是每个BIN的概率值。相对于直方图法，它多了一个用于平滑数据的核函数。核函数也称“窗口函数”。核函数是对称的、单峰的、有限局部支撑的，所谓单峰的是指从中心向边缘其值迅速衰减为0，而有限局部支撑指超过一定窗口的点其值为0。常见的核函数有高斯核函数、依潘涅契科夫核函数、双指数核函数等。在一维空间下，核函数KHX需要满足以下几点HHKXKX310HKX321HKXDT1HTKTKHH33核密度估计表述如下给定一组N个一维空间的数据点的集合SXII1,N,，它的未知的概率密度函数为FX，取核函数为KHX，那么在X点处的密度可以按下式计算11NHIIFX