[硕士论文精品]杂背景动态建模与粒子滤波跟踪方法

中国民航大学硕上学位论文摘要近些年来，随着各种恐怖袭击事件和民航安全事故接连不断的出现，社会对公共安全的需求比以往更加强烈，视频监控技术受到前所未有的关注。如何提高视频处理的智能化度、拓展其应用领域、提高系统的性能已经成为研究和应用领域的一个热点。复杂条件下的视频图像分析又是其中的一个突出方面，其处理结果的优劣直接影响到后续的视频理解。本论文主要对视频监控相关的关键技术进行研究，研究内容涉及在复杂场景下的目标检测和目标跟踪两个方面。目标检测方面，首先介绍了目前运动目标检测领域常用的几类算法，并阐述了这些算法应用于不同场景时的优缺点。接着，本文对混合高斯背景建模方法展开了深入地研究。最后，本文针对混合高斯模型对光线变化较为敏感、模型冗余度过高等问题提出基于GVFSNAKE模型的多约束混合高斯模型法，并通过实验结果证明了本文方法在复杂背景下的有效性。目标跟踪方面，主要研究了基于颜色粒子滤波的多目标跟踪方法。首先，本文介绍了粒子滤波理论以及其实现方法，利用粒子滤波理论来解决目标跟踪问题，构建基于粒子滤波的跟踪框架。随后，针对基于颜色特征的粒子滤波方法存在的问题，提出了基于颜色和纹理信息融合的遗传粒子滤波方法，并通过实验仿真验证本文跟踪方法的有效性。最后，本文分析了目标常态与异态情况下跟踪的维持，并初探了目标的出现、消失、合并以及遮挡问题。在此基础上，引入了最近邻数据关联和信任度理论，并针对目标不同的异常情况进行实时的检测和处理。关键词运动目标检测，混合高斯模型，多目标跟踪，粒子滤波，信任度理论中国民航人学硕1学位论文ABSTRACTRECENTLY,WITHTHEOCCURRENCESOFTERRORISMATTACKSANDTHEINCIDENTSOFCIVILAVIATIONSECURITYINCREASINGGRADUALLY,KEEPINGPUBLICSECURITYHASBEENAHIGHERDEMANDTHANEVERWHICHRESULTSINABIGPROGRESSINVIDEOSURVEILLANCETECHNOLOGYVSTINVST,MAKINGASURVEILLANCESYSTEMMOREINTELLIGENT，APPLICABLEANDEFFECTIVEISAHOTTOPICVIDEOPROCESSINGWITHCOMPLICATEDCONDITIONSISAPROMINENTASPECT，ANDITSRESULTSWILLAFFECTHIGHLEVELVIDEOUNDERSTANDINGTHISTHESISTRIESTOGETINSIGHTSONSOMEKEYISSUESINVIDEOSURVEILLANCE，INCLUDINGMOVINGOBJECTDETECTINGANDMULTIPLEOBJECTSTRACKINGUNDERCOMPLICATEDCONDITIONSFOROBJECTDETECTING，FIRSTLYWEINTRODUCESOMESOPHISTICATEDALGORITHMSWHICHARECOMMONLYUSEDINMANYAPPLICATIONS，ANDANALYZETHEIRPERFORMANCESINDIFFERENTSCENARIOSTHEN，THEMIXTUREOFGAUSSIANSMOGMODELFORBACKGROUNDMODELINGHASBEENTHOROUGHLYDISCUSSEDBASEDONANALYSISOFTHEMOG,WEFINDITISSENSITIVETOSUDDENILLUMINATIONVARIATION，ANDHASHIGHCOMPUTATIONALCOMPLEXITYCONSIDERINGTHETWOLIMITATIONSMENTIONEDABOVE，THEMIXTUREOFGAUSSIANSBACKGROUNDMODELINGMETHODWITHMORECONSTRAINSBASEDONGVFSNAKEMODELISPROPOSEDFINALLY,EXPERIMENTALRESULTSSHOWTHATTHEPROPOSEDMETHODWORKEDWELLINCOMPLEXBACKGROUNDMODELINGFOROBJECTTRACKING，THISTHESISPROPOSESAGENETICPARTICLEFILTERMETHODBASEDONCOLORANDTEXTUREMODELS，ANDEXPERIMENTRESULTSDEMONSTRATETHATTHEPROPOSEDMETHODISMOREROBUSTTOCLUTTERBACKGROUNDCONSIDERINGOBJECTTRACKINGWITHABNORMALSTATESSUCHASOBJECTSUDDENDISAPPEARANCE，EMERGENCE，MERGENCEANDSEVEREOCCLUSION,TRACKINGMAINTENANCEAPPROACHESALWAYSHAVEBEENUSEDHERE，WEPROPOSETHENEARESTNEIGHBORDATAASSOCIATIONANDBELIEFTHEORYTODEALWITHSEVERALABNORMALCASESINREALTIMEFINALLY,EXPERIMENTALRESULTSSHOWTHATTHEPROPOSEDMETHODISMOREEFFECTIVEUNDERABNORMALSTATESKEYWORDSMOVINGOBJECTDETECTING，MIXTUREOFGAUSSIANMODEL，MULTIPLEOBJECTTRACKING，PARTICLEFILTER，BELIEFTHEORY中国民航大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国民航大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。一躲摒平中国民航大学学位论文使用授权声明中国民航大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布包括刊登论文的全部或部分内容。论文的公布包括刊登授权中国民航大学研究生部办理。躲鲰觥名脚日期型望夕中国民航大学硕上学位论文11课题研究的背景和意义第一章绪论随着时代的发展，科技的进步，人类的安全问题正面临着越来越大的挑战。尤其是自911事件后，接连不断出现的恐怖袭击事件、民航恶性破坏事故更使得社会对良好公共安全的需求比以往更加强烈。因此，如何防范此类具有重大政治、经济和社会影响的恐怖袭击事件、采用何种手段保证国家、社会和人的安全，成为了各国政府必须面对和解决的重大研究课题。其中在技术研究领域，由于智能视频监控技术能有效作为精确确定人员身份和快速掌握场景状况的可靠高新技术手段，受到了各国前所未有的重视和大力推广应用，特别是欧、美等西方发达国家，更是不惜重金大力推进智能视频监控技术的研发。近年来，视频监控技术已经渗透到城市建设、机场安全防范、公共场所管理、大型运动场馆以及电子化审讯、监考等多个社会安防领域。根据市场调研公司FROSTSULLIVAN的数据，2006年全球视频监控设备市场约50亿美元，预计2010年将上升到86亿美元，年复合增长率为11。2003年，欧盟投资2500万欧元研制了基于摄像机阵列信息融合的ADVISOR系统【11，用于欧盟各国地铁站的安全监控。美国联合规划与发展办公室在2009即将推行的“下一代层次化、自适应的航空保安服务概念研究报告“中，也明确的提出人员安全、机场安全、航空器安全等7个安全要素。根据该项整改条例，美国近五年内投入全美机场的设备改造与升级维护费用为150亿美元，其中安防设备的比重更是高达41。在各国大力倡导并以市场为导向的前提下，视频监控技术得到了迅速的发展。迄今为止，付诸使用的视频监控系统已经迅速经历了三个阶段的跨越。第一代系统以VCRVIDEOCASSETTERECORDER为代表的CCTV系统，主要以模拟摄像机、模拟录像机等模拟设备和盒式录像带等构成，存在维护工作繁琐、无法进行远程访问等诸多不足。第二代系统以DVRDIGITALVIDEORECORDER为基础，将数字信号处理技术引入视频监控系统中，实现了视频信息数字化存储与快速查阅，DVR系统目前已实现行业内的大规模部署。第三代系统是以网络为承载媒体的NVRNETWORKVIDEORECORDER系统，将经数字中国民航大学硕学位论文化处理后的图像通过网络传输到监控中心，用户可以通过网络中的任何一台服务器来观看、录制和管理实时视频信息，目前此类网络监控系统呈现出蓬勃的发展态势。然而，上述三代视频监控系统都存在一些固有的局限性，究其原因主要是由于以人力为主、系统帮助为辅的监控方案难以胜任目前海量视频数据的分析和理解。目前，世界各国政府和研究机构正在加大力度研究下一代视频监控技术，印智能视频监控INTELLIGENTVIDEOSUTVDLLANCE，IVS技术，在视频监控系统数字化和网络化的基础上引入智能化监控的理念。从技术实现上看，IVS技术源自计算机视觉闭CV，COMPUTERVISION与人工智能31AI，ARTIFICIALINTELLIGENT的研究，其发展目标在于将图像与事件描述之间建立一种映射关系，使计算机从纷繁的视频图像中分辩、识别出关键目标物体，借助计算机强大的数据处理能力过滤掉图像中无用的或干扰信息、自动分析、抽取视频源中的关键有用信息，从而使传统的监控系统中的摄像机不但成为人的眼睛，也使“智能视频分析”计算机成为人的大脑，并具有更为“聪明”的学习思考方式。这一根本性的改变，可极大地发挥与拓展视频监控系统的作用与能力，使监控系统具有更高的智能化，大幅度降低资源与人员配置，同时，必将全面提升安全防范工作的效率。因此，智能视频监控IVS不仅仅是一种图像数字化监控分析技术，而是代表着一种更为高端的数字视频网络监控应用。图II直观地展现了目前实际应用中的IVS系统框架图。崎铀峙FM图11IVS系统框架幽IVS技术应用在视频监控领域中，主要是使用计算机实现运动目标的智能视频分析，束提高监控系统的智能化。大体上这个过程可分为底层视觉模块10WLEVELVISION、数据中国民航大学硕士学位论文融合模块INTERMEDIATELEVELVISION和高层视觉模块HIGHLEVELVISION。底层视觉模块主要研究背景的更新以及前景目标的分割和提取，其精度决定了后续处理的整体效果。数据融合模块主要研究如何有效地跟踪运动目标，并提供目标的具体位置、运动轨迹等运动参数，更能为下一步目标行为理解打下坚实的基础，历年文献也表明该领域是目前的研究热点。综上所述，视觉监控中最为关键的问题是底层视觉模块，即怎样有效地分割运动目标，消除场景中的各种干扰因素，如光照变化、目标阴影等影响。与此同时，在目标发生合并、遮挡等情况下如何正确的跟踪目标也是不容忽视的问题。本文针对复杂环境下的背景建模与目标跟踪问题进行了深入的研究，试图找到一种对监控环境鲁棒性更强的目标检测与跟踪方法。12基于DIRECTSHOW与OPENCV的智能监控系统智能监控系统可以针对目标场景实时监控，并且对场景中目标的异常行为进行报警，实时防止一切可能发生的威胁。基于WINDOWS平台下的智能监控系统，实现了数字视频的获取、处理和智能分析等非常复杂的过程。本课题中智能监控系统主要是由两部分组成视频实时采集与ISV视频实时处理，其中前者由微软的流媒体库DIRECTSHOW实现，后者则利用IILTEL开源计算机视觉库OPENCOMPUTERSION即OPENCV完成。下面我们将介绍这两种技术的工作原理以及本课题的智能监控系统。121DIRECTSHOW视频技术DIRECTX软件开发包是微软公司提供的一套在WINDOWS操作平台上开发高性能图形、声音、输入、输出和网络游戏的编程接口。微软将DIRECTX定义为“硬件设备无关性，即使用DIRECTX所提供的接口，开发人员可以尽情地利用硬件可能带来的高性能，而无需关心硬件的具体执行细节。DIRECTSHOW与DIRECTX开发包一起发布。DIRECTSHOWL4捌为多媒体流的捕捉和回放提供了强有力的支持。运用DIRECTSHOW，我们可以很方便地从支持WDM驱动模型的采集卡上捕获数据，并且进行相应的后期处理乃至存储到文件中，DIRECTSHOW使用一种叫过滤器图表管理器FILTERGRAPHMANAGER的模型来管理整个数据流的处理过程；参与数据3中国民航大学硬学位论文处理的各个功能模块叫做过滤器FIITER；各个FILTER在FILERGRAPH中按一定的顺序连接成一条流水线”协同工作。按照功能来分，FIL竹大致分为三类源过滤器SOURCEFINE硌、转换“蝴TRANSFORMFILTE惦和输出过滤器RENDEFINGFLITC哪。SOURCEFFLTE培主要负责取得数据，数据源可以是文件、因特网、或者计算机里的采集卡、数字摄像机等，然后将数据往下传输；TRANSFORMFILTERS主要负责数据的格式转换、传输RENDERINGFILETS主要负责数据的最终去向，我们可以将数据送给声卡、显卡进行多媒体的演示，也可以输出到文件进行存储。值得注意的是，三个部分并不是都只有一个FILTER去完成功能。恰恰相反，每个部分往往是有几个FILTER协同工作的。比如，TRANSFORMFILTERS可能包含了一个MPCG的解码FILTER、以及视频色彩空间的转换FIRER、音频采样频率转换FILTER等等。开发DKECTSHOW应用程序的一般过程有3个阶段第1阶段调用COCREATLNSTANCE创建一个FILTERGRAPHMANAGER组件；第2阶段；根据实际的应用，创建一条完整的FILTER链路。具体智能构建方法大体有ADDFILTER，CONNECTFILTER，ADDSOURCEFILTER，RENDER，RENDERFILE，CONNEOTS等。第3阶段调用QUERYINTERFACE查询获取FILTERGRAPHMANAGER“的各个接口，并调用相应的方法进行控制，完成FILTERGRAPHM孤唱CR与应用程序事件的交互。我们通过DIRECTSHOW库在VC环境下搭建了一个四路视频采集平台，平台采用多线程技术，保证了视频流之间不会造成相互影响。该采集平台具有视频文件插放、存储等功能。图12为实时的视频采集界面。一嚣霪一黑羔。筠酊中国民航大学硕士学位论文122OPENCV简介OPENCVL6,71是I主LINTER公司资助的开源计算机视觉库。它由一系列函数和少量C类构成，实现了图像处理和计算机视觉方面的很多通用算法。OPENCV包括300多个CC函数的跨平台的中、高层API。它不依赖于其他的外部库，但也是可以使用某些外部库。OPENCV对非商业应用和商业应用都是免费的，另外其也为INTEL公司的INTEGRATEDPERFORMANCEPRIMITIVESIPP提供了透明接121。这意味着如果有为INTEL处理器优化的IPP库，将在程序运行时自动被加载。与其他视频图像开发软件相比，OPENCV的优势在于纯C代码，源代码开放。然而，不同于以往各种由业余爱好者凭兴趣或是根据自己的项目要求而制作的源代码开发包，OPENCV是由INTEL公司资助的开源项目，其代码规范而且具备良好的后继开发和改进能力。不仅如此，OPENCV具有丰富的函数功能，强大的图像和矩阵运算能力。它提供了数组、序列、矩阵、树等基本结构，也包含了差分方程求解、傅立叶分析、积分运算、特殊函数等众多高级数学计算函数，以及各种图像处理操作和目标跟踪、摄像机校准、三维重建等高级视觉函数。介于OPENCV库在视频序列图像运动分析上得天独厚的优势，本文将采用OPENCCV库作为实现运动目标智能分析的工具。123本课题的智能监控系统本课题以“天津市机场示范工程“为依托，采用DIRECTSHOW、OPENCV为编程工具实现了智能监控系统。该系统分为了四大模块视频采集模块、图像预处理模块、运动目标检测模块以及运动目标跟踪模块。在后两个模块中，系统实现了较为常用的算法，如，混合高斯背景建模、基于SIFT的跟踪算法等。具体实现框图如图13所示，智能监控系统的操作界面如图14所示13国内外研究现状目前，世界范围内有许多科研机构都专门设立了的运动目标检测和识别研究方向。国际上著名的机构有美国卡耐梅隆大学的机器人研究所、美国麻省理工大学的媒体试验与人工智能实验室、英国SURREY大学视觉、语音和信号处理研究所、美国ILLINOIS大学5中国民航大学砸士学位论I图13智能视频监控流程图幽14智能视频监控平台操作界面的BECKMAN研究所、法国的INRIA研究院、瑞士的IDIAP研究院、同本ART研究所等。国内有清华、北大、中国科太、中国科学院自动化所等开展了相关研究。一些计算机视觉的会议和知名专刊在该领域内的刊载每年都很多，如国际的CVPR、ECCV、ICCV、ACCV、ICIP、PAML、ICPR等国内的自动化学报、计算机学报等。本文主要针对IVS技术中的运动目标检测和跟踪部分做了一些探索性研究工作。运中国民航大学硕士学位论文动目标的检测是智能视频监控系统实现的底层基础与关键技术，它直接影响到后工作的成功与否。目前，国内外的研究学者已经对运动目标检测作了大量研究并取得丰硕的成果，提出了许多实用有效的运动目标检测算法【100,101】。根据目标检测算法的具体实现，可分为基于时间差分法【81叫、基于光流法【11,12L、基于背景减除法【13D7】、基于图像多特征融合的方法【18。26】以及基于统计模型法【27粕】。根据算法所基于的处理空间，又可以分为基于二维空间的方法和基于三维空间的方法。基于二维的算法计算复杂度低、实时性较好，但本身具有一些固有的缺陷，如，对光照变化的敏感、受周围场景的制约；基于三维的方法，由于引入物体的三维先验知识，比基于二维的方法更具有鲁棒性，但是相应得算法实现难度更大，而且在实际生活中难以获取物体精确的三维先验知识。从视频采集模块传输过来的数据中准确检测出前景目标，是获取所感兴趣目标底层信息的基础。而有效地跟踪运动目标可以提供目标的具体位置、运动轨迹等运动参数，更能为下一步目标的行为理解与分析提供有效的数据。目标跟踪过程实质上等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配，常用的数学工具有卡尔曼滤波KALMANFILTERING、CONDENSATION算法F71】及动态贝叶斯网络DYNAMICBAYESIANNETWORK等。其中KALMAN滤波是基于高斯分布的状态预测方法，不能有效地处理多峰模式MULTIMODE的分布情况；CONDENSATION算法是以因子抽样为基础的条件密度传播方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。目前，根据算法的具体实现【1021，可分为基于相关的跟踪方法【53。551、基于变形模型的跟踪方法【5660L、基于特征的跟踪方法【61651、基于3D模型66棚1、粒子滤波170901的方法等。而就跟踪对象而言，有跟踪如手、脸、头、腿等身体部分与跟踪整个人体的；就跟踪视角而言，有对应于单摄像机的单一视角【53侧、对应于多摄像机的多视角和全方位视角【6769J；当然还可以通过跟踪环境室内或户外、跟踪人数单人、多人、人群、摄像机状态运动或固定等方面进行分类。从当前IVS技术研究现状来看，多数运动检测算法的有效性还尚在实验室阶段，一些产品也都是要求运动目标在一个相对无外界干扰的场景下，且高信噪比的图像序列下才有较好的运动检测成功率。而在目标跟踪领域，常用的方法在实时性和有效性上顾此失彼，如何突破这个瓶颈也让许多学者煞费苦心。综上所述，在当前目标检测与跟踪的研究中还存在许多问题没有得到很好解决，无论在研究的深度还是广度上，都还需要继续加强这方面的探索和深入。7中国民航大学硕士学位论文14当前存在的主要问题尽管智能视频监控技术已经取得了一定的成果，但下述几个方面仍是今后研究的难点问题，迫切需要引起广大研究学者的高度关注。1、运动检测快速准确的运动检测是个相当重要但又是比较困难的问题。这是由于动态环境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、甚至摄像机的运动等，这些都给准确有效的运动检测带来了困难。就以运动目标的影子为例，它可能与被检测的目标相连，也可能与目标分离。在前者情况下，使得目标的形状发生扭曲，从而使得基于形状的识别方法不再可靠；在后者情况下，影子有可能被误认为场景中一个完全错误的目标。因此，如何建立对于任何复杂环境的动态变化均具有自适应性的背景模型仍是相当困难的问趔16，37，4剐。2、遮挡处理目前，大部分人的运动分析系统都不能很好地解决目标之间互遮挡和人体自遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难于处理。遮挡时，人体只有部分是可见的，简单依赖于背景减除进行运动分割的技术此时将不再可靠，容易造成后续跟踪算法的失败。为了减少遮挡所带来的歧义性问题，需要有效地利用目标先验信息对此刻目标的状态进行评估。另外，系统必须开发更好的模型来处理遮挡时特征与身体各部分之间的准确对应问题。目前来看，对于解决遮挡问题最有实际意义的潜在方法应该是基于多摄像机的跟踪系统。3、三维建模与跟踪二维方法在早期人的运动分析中证明是很成功的，尤其对于那些不需要精确的目标检测或低图像分辨率的应用场合如智能交通系统中。二维跟踪有着简单快速的优点，主要的缺点是丢失了目标在三维空间中的一些运动信息，如图像深度等。而三维方法【103】在复杂的运动目标检测中，更加准确的物理空间的表达、遮挡的准确预测和处理等方面的优点是二维方法所不能比拟的；它能提供更加有意义的与身体姿势直接相关的可视化特征用于行为识别。目前基于视觉的三维跟踪研究仍相当有限，三维姿势恢复的实例亦很少，且大部分系统由于要求鲁棒性而引入了简化的约束条件。三维跟踪也引出了从图像中目标3D模型的获取【鹋1、人体参数化建模【鲫、摄像机的标定【69】等一系列难题。但就8中国民航火学硕士学位论文研究价值而言，3D建模与跟踪在未来工作中应值得更多的关注。4、多摄像机的使用使用单一摄像机的三维跟踪研究有其固有的缺陷，身体姿势和运动在单一视角下由于遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维姿势跟踪和恢复的优点是很明显的【67,69】。同时，多摄像机跟踪系统不仅可以扩大监视的有效范围，而且可以提供多个不同的方向视角以解决目标遮挡问题。很明显，未来的目标运动分析系统将极大受益于多摄像机的使用。对于多摄像机跟踪系统而言，我们需要确定在每个时刻使用哪一个摄像机或哪一幅图像。也就是说，多摄像机之间的选择和信息融合是一个比较关键的问题。15本文主要工作及内容安排本文在工程实现上，基于DIRECTSHOW和OPENCV构建了智能视频监控系统。该系统集成了常用的目标监测与跟踪的算法，能有效的完成复杂场景下的智能视频分析。在算法研究方面，本文着重介绍了目标检测领域中常用的一些算法，并针对混合高斯背景建模的问题，提出了基于GVFSNAKE模型的多约束混合高斯模型法；目标跟踪方面，本文主要研究了粒子滤波跟踪方法，并提出了基于颜色与纹理融合的遗传粒子滤波跟踪方法，并且介绍了最近邻和信任度理论在多目标数据关联上的应用。本文各章的内容安排如下第二章中，介绍了矢量滤波与光强变化检测的图像预处理过程。随后，探讨了帧间差分、光流法、背景减除等五类主要的运动目标检测方法，着重研究了VSAM、KALMAN背景建模、时空融合目标分割、混合高斯背景建模这四种算法，并针对混合高斯模型对光线变化敏感、模型冗余度过高等问题，提出基于GVFSNAKE模型的多约束混合高斯模型法。最后通过前景分割效果图、漏检率与虚检率以及高斯模型分配三个评估指标对本文的算法进行定量的评价。第三章中，首先介绍了五类最常用的目标跟踪方法，并分析了各类方法的优缺点与应用环境。接着，介绍了粒子滤波器原理以及基于粒子滤波方法的跟踪框架，在此基础上重点分析了基于颜色特征的粒子滤波方法。随后，针对基于颜色特征的粒子滤波方法存在的粒子“走散”以及粒子枯竭问题，提出了基于颜色与纹理融合的遗传粒子滤波方9中国民航火学硕士学位论文法加以解决。最后，本文讨论了目标常态与异态情况下跟踪维持的问题，并初探了目标的出现、消失、合并以及遮挡问题。在此基础上，将最近邻数据关联和信任度理论应用与目标跟踪维持领域，并针对目标不同的异常情况进行实时的检测和处理。第四章全面总结了本文的研究工作以及存在的不足，探讨了后续研究工作的方向以及该领域研究的发展趋势。10中国民航大学硕士学位论文21引言第二章运动目标检测算法运动目标检测是指从序列图像中将所关心的变化区域从背景中分割出来。运动目标检测处于整个智能视频监控系统的底层，是目标跟踪、分类、识别与异常行为分析等各种后续处理的基础。然而，由于天气和光照的变化、背景复杂、目标边缘与区域特征不明显、目标阴影以及遮挡等原因的存在，给运动目标的正确检测带来极大挑战。可以看出，一个好的视频目标检测算法，应该能适用于不同的监控场景。因此，一个鲁棒性强的运动目标检测算法应具有以下的特征【3611、不依赖于摄像头的安装位置；2、在各种天气条件下鲁棒性高；3、运动目标的检测有较好的精确度与实时性；4、应能够处理背景、摄像机和前景之间存在复杂相对运动的情况；5、能适应场景中个别物体运动的干扰，如树木的摇晃，水面的波动等。目标检测按运动场景来分类可分为两类一类是背景静止；另一类是背景运动。相对于背景静止情况下的运动目标检测来说，动态场景下的运动目标检测更是运动目标检测领域中的一个难点问题。另外，视频在采集和传输过程中，不可避免的会受到噪声污染，因此在目标检测前进行适当的视频图像预处理显得很有必要。视频图像预处理的主要目的是降低视频图像噪声，提高视频图像质量，为后续的运动目标检测、分类、跟踪和行为分析等做好充分准备。不仅如此，在长时间的视频监控过程中，场景的光照很有可能发生变化，将原本较为简单的背景复杂化。所以，本文采用文献【98】中提出的光强变化检测机制来引导目标检测过程中背景的更新速率。本章在下面几节中，首先介绍了矢量滤波图像去噪和光强变化检测方法。接着，回顾了目前较为常见的运动目标检测算法，并阐述了这些算法的优缺点。随后，分析了几种经典的目标检测方法，如时空融合、高斯背景模型法等。在此基础上，本章重点介绍了高斯背景模型法，并针对标准多高斯固有的缺陷，提出了基于GVFSNAKE模型的多中国民航大学硕士学位论文约束混合高斯模型法。最后通过实验结果证明本文提出的方法在复杂环境下目标提取的精确度与实时性都有明显的改善。22视频图像预处理视频图像运动目标检测和跟踪的前期工作是预处理，它的主要任务是最大限度的抑制背景噪声及其它干扰对视频应用系统的影响，提高目标检测和识别的准确性。对于视频图像处理系统来说，视频图像预处理应该在尽量不增加系统负担的前提下提高视频图像的质量，抑制各种噪声。另外，在运动目标检测过程中，场景光照条件的变化对视频图像处理有很大的影响。当光照发生突变时，视频图像的灰度值会发生较大变化，而大多数目标检测方法会将这种变化误认为是运动目标，从而导致系统的虚警率过高。因此，消除光照变化的影响是图像预处理时应当考虑的因素。221矢量滤波去噪矢量滤波主要针对的是多通道图像，如彩色图像等，本文主要处理的正是彩色图像。设含噪彩色图像的彩色值是一个三维矢量，用ZZ，工心，Z来表示，滤波后的矢量用五五，五，G，声来表示，Q是以F为中心的窗口，窗口内元素个数为。最简单的矢量滤波器是对各彩色通道分别进行算术均值滤波ARITHMETICMEANFILTER，AMY万1荟五21这种均值滤波器可以很好的抑制高斯噪声，但无法消除椒盐噪声和脉冲噪声。它在消除噪声的同时模糊了图像细节，这一点是令人无法接受的。另外一种常用的矢量滤波器是矢量中值滤波器VECTORMEDIANFILTER，VMV，它考虑了彩色图像三个分量之间的联系。定义距离函数D正，厂，它表示含噪图像中第F个像素与第_个像素在彩色空间中的距离。那么对于窗口Q中的每个像素，计算其非相似性度量吐2磊，D枷Q仁2中国民航大学硕士学位论文如果第I个像素与窗口Q内的其它像素很相似，那么DF就比较小，反之DI就比较大。矢量中值滤波就是用窗口Q内非相似性最小的像素代换中心像素，五的计算方法如下丘一球，SD，VF，JEQ23如果Q中有多个像素的非相似性最小，那么就选择其中一个来代换中心像素。距离函数D，可以选择厶范数、厶范数等。O，YJQO，。善KY,I24D，YD2，Y两个彩色像素之间的夹角可以定义为啪M小川S1葡25其中H是矢量X的幅度。使用了公式25的就是基本矢量有向滤波器BASICVECTORDIRECTIONALFILTER，BVDE。VMF无法消除高斯噪声对图像的影响，但可以很好的去除椒盐噪声和脉冲噪声，本文也正是采用这种方法进行图像前期去噪处理。222光强变化分析在实际的视频应用中，场景中的光照条件有可能发生剧烈变化，这种变化很容易被运动检测模块检测出，此时图像中所有的背景物体表面强度值都发生了变化，图像中的背景物体都会被认为是运动目标而被标记。由于光照的无规律性和突然性往往导致多数运动目标检测算法的失效。如果算法没有考虑光照变化的影响，强行对检测到的前景区域做进一步的处理，一方面会使系统耗费过多的资源增加算法的运算量，另一方面对目标检测的结果也会带来致命的错误。因此，在运动目标检测模块前对场景中光照变化程度的评估显得尤为重要。光照变化引起的背景变化分为局部的背景的一部分变化和全局的整个背景变化两种。主要有以下几种变化1、逐渐变化室内外都存在，如太阳光随时间的变化。图像亮度有平滑变化。2、突然变化室内环境的突然开关灯，室外的阴晴骤变。图像的亮度发生骤变。13中国民航大学硕士学位论文光照变化最典型的例子就是阳光的变化。由于昼夜交替的原因，光线慢慢的由亮变暗，这是一个光照缓慢变化的过程。然而，天气的突变往往造成场景中光照的剧烈变化，例如天空中的乌云遮住了阳光，这种天气的变化比天色的变化相对来说要快的多，很容易造成全局的误检测。由此可见，全局光强的变化对运动目标的正确检测影响非常严重。而采用单像素点阈值的方法【16】检测光强变化程度，不但效率较低而且也无法用局部像素信息代替整体图像信息。223光强变化检测为了能有效的检测场景中光强变化的程度，单勇在文献【98】中提出了光强变化因子，其主要思想是图像光强变化造成RGB颜色分量直方图熵的波动，并通过预先设定的阈值判定光强变化的程度。在实际RGB色彩空间中，光强变化直接影响R、G颜色分量的值，而B颜色分量有些特殊，其值的波动性相对较大。因此，本文采用图像中R、G分量直方图的熵反应相邻帧之间的相似度，以体现出光强变化对图像本身生产生的变化。以图像直方图的熵为度量，光强变化因子R。定义如下R；1一生巨26上，T一薹255IT，R一SL092HR一S】HG一SL092HG一S】其中日胄，、HG一S分别为当前帧R，G颜色分量归一化直方图，巨为当前帧第F时刻图像的归一化直方图的熵。可以用相邻两帧同区域光强畸变因子来判定当前帧光强的变化，称之为帧内光强差口。因此，有如下的光强判别方法光强变化霎巽萋笼当当40,SRR。,三C27，其中口IR,一RF一。IO光强变化程度的检测直接指导背景更新因子的选取，当光强变化缓慢时，按照J下常背景学J因子更新背景；而在光强发生突变时，则增加背景更新的速率，以抑制光强突变对目标检测带来的影响。这种全局的光强检测，在保持了图像整体关联性的同时，还能促进真实运动目标的快速检测。在下文中，我们还将介绍弃帧检测，并将其与光强变14中国民航大学硕上学位论文化检测机制共同实时的修正背景模型更新速率，以提高目标检测的准确度。23运动目标检测技术概述对图像序列中运动目标检测的方法有许多，主要可分为5类基于时间差分法、基于光流法、基于背景减除法、基于多特征融合的目标分割方法和基于统计模型的方法。另外还有其他一些方法，如基于动态轮廓的方法，运动能量图割法等。下面本节将回顾现有的一些目标检测方法。231基于时间差分法时间差分方法是利用视频序列中当前两帧或当前帧与其前某帧的差分来提取出图像中的运动区域。这种直接利用T1时刻的视频帧作为T时刻背景帧的方法，又叫帧差法FRAMEDIFFERENCE。LIPTONG筝T8】利用两帧差分方法从实际视频图像中检测出运动目标，即相邻两帧同位置的像素大于某个人工选定的阈值时，判定该像素点为前景点，如公式28所示。I，YI,。，YIZ28一种改进的方法是利用三帧差分代替两帧差分，女NVSAMT91开发了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。显然，时间差分法具有较强的场景变化适应能力，不仅背景不随时间积累，并且更新速度快，但由于它只是对相邻帧同位置的像素值简单的求差，因此无法判定颜色一致的运动目标的内部像素，以致在运动实体内部产生空洞现象。232基于光流法光流的概念是由GIBSON于1950年首先提出的，是指图像中灰度模式运动速度。基于光流方法的运动检测正是采用了运动目标随时间变化的光流特性，其检测运动目标的原理是给图像中的每一个像素点赋予一个光流矢量即运动矢量，从而形成了一个图像的光流场。根据各个像素点的运动矢量特征，可以对图像进行动态分析。考虑图像像素厂一X，Y。时刻T的亮度值为，X，Y，T。令点厂的速度为一匕，L，若设点厂的亮度保持不变，那么在很短时间间隔以内，我们有15中国民航大学硕士学位论文IQVF，YV，出，T击卜J讧，Y，T【2如果亮度随五Y，T缓慢变化，可将上式左边进行泰勒展开，则，Y，F罢叱等。詈。陋一，“，却其中OAT代表阶数大于或等于2的高阶项。消去井忽略，得WV，AM一0210211其中W。【芸，号是图像在点，的梯度。这个方程就叫光流约束方程0PDCALNOWCONSTRAINTEQUATIONT根据检测分割与光流估算的关系可以将光流法分为参数聚类法、贝叶斯法和检测分割的方法。图21中显示了物体在场景中运动时产生的光流场。第32帧第”帧图21人体运动产生的光流场光流法在摄像机运动或静止的前提下，都能够精确的检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则难以应用于实时处理中。2J3基于背景减除法背景减除11月方法是在静止场景下，运动目标监测中较为常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。在背景减除算法中，以中、均值滤波法旧171实现最为简单，其算法思想是把历史视频帧同位置上像素的平均值或中值作为背景中该处像素的值。在文献【1Q中，HEIKKILA认为当前景目标与背景之间像素的差值大于预定的阈值F时，则判定该像素点是前景目标，如下公式212所示捌塞稠光中国民航大学硕士学位论文K，YB,X，YLG212背景图像毋采用无限脉冲响应滤波器RINFINITEIMPULSERESPONSEFILTER的原理来更新，如下公式213所示忍LAL,1一口旦213在通过对前景区域进行形态滤波处理后得到更为精确的前景目标。然而，这种算法的背景不会自适应地随着场景的变化而自动更新如，停车场中汽车离开监控场景，因此其只适用于固定背景下的目标检测。234基于多特征融合的目标分割目前，基于图像多特征融合的分割方法开始走进人们的视野。这类方法主要是有效地结合了图像在空间如，颜色、纹理、边缘、梯度等和时间如，相邻帧间的帧差信息，可通过帧差法、运动矢量估计法、光流法得到的相关信息。例如MCKENNA等【18】利用像素色彩和梯度信息相结合的自适应背景模型来解决影子和不可靠色彩线索对于分割的影响；如JABRI20L等将颜色特征和边界特征相结合，以减小亮度突变带来的影响；包红耐22】等通过分水岭变换提取视频图像边缘信息，并根据帧间运动信息和边缘特性得到初步的分割掩模；然后建立基于区域的马尔可夫随机场分布模型，并定义对应的GIBBS势能函数，通过迭代条件模式ICM方法求解得到最小化能量，从而获得稳定的分割标记场，准确地提取运动目标黄贤武等【231提出以图像的色彩聚类为先验知识，辅以三帧帧间运动信息建立马尔可夫随机场，并获取最优标记场即标记出前景区域。SHIH24】提出在区域分级的条件下融合帧差法与边缘检测法，提高了运动目标检测的精确度。可以看出，利用图像分割的方法正在引导运动目标检测的潮流。然而实践分析发现，虽然这类算法提高了算法的鲁棒性，但它们都有一个共同的诟病，那就是高昂的计算代价，且部分算法还易产生过分割现象。不但如此，采用帧差法提取图像时间信息也存在着明显的偏差。235基于统计模型法为了使背景建模算法适用于动态的监控场景，许多学者提出采用统计学对背景建模的方法，以减少动态场景变化对于运动目标分割带来的影响。例如HARITAOGLU等L27】提出17中国民航大学硕士学位论文W4方法，即利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且进行周期性地背景更新；W4方法只是简单考虑了图像像素点在过去阶段的取值变化范围，因此只能适应光照变化不大的场景。KARMANN等人，采用卡尔曼滤波器来线性预测下一时刻的背景图像，以实现背景图像的自适应更新【矧。虽然这种自适应模型能适应场景的变化，但由于它只把背景像素的序列值看作是一种高斯信号，因此不能处理背景的多模态；为了解决场景中光线突变对运动目标带来的影响，STENGER等人采用隐马尔可夫模型HIDDENMARKOVMODEL将这些突然变化看作离散状态，通过HMM的拓扑结构表示整个图像的亮度来学习背剥31】；但对于每个全局亮度状态仍然用单个高斯分布建模，因此也未能很好的解决背景的多模态问题。为了更好地处理背景的多模态，ELGAMMAL等人，根据最近的L帧视频中像素点的亮度值，采用高斯内核非参数化地对其概率密度进行估计【32】；内核密度估计法不仅对场景变化的适应速度快，还能处理摄像机轻微移动、树木微小晃动等多模态情况，但该方法计算复杂、消耗内存大，实时性较差。与非参内核密度估计方法类似，本征方法虽然有着很好的建模效率，但其背景初始化时消耗内存过大让许多监控系统望而却步；STAUFFER与GRIINSON【3436】利用自适应的混合高斯背景模型即对每个像素利用混合高斯分布建模，并且利用在线估计或EM算法来更新模型，从而可靠地解决了场景多模态的问题。然而，混合高斯模型也存在一些固有的问题，如，对场景中光照变化敏感、背景混乱运动的干扰以及高斯模型的冗余度过高等问题。其后，许多学者都尝试的改进混合高斯模型【3745】以解决模型中的缺陷。近些年来，研究人员也开始尝试利用图像的变化规律对视频序列中的运动目标进行检测。KIM等人提出通过长时间的观察视频序列，并利用量化和聚类技术来构建背景模型，即码本方法CODEBOOKMODEL46“481；但实验发现，通过观测视频序列得到的“规律”即码本，对视频图像本身的描述能力有限。相对其他类型的目标检测算法而言，基于统计模型方法的应用范围更为广泛。这类算法的共性就是通过统计学的方法对历史帧数据进行数学建模，因此算法的鲁棒性较好。其中，最常用的描述背景点颜色概率分布的模型是混合高斯模型。混合高斯模型以其背景建模准确性高、算法实时性强而得到广大学者的一致认可。但该算法在处理光照突变、目标阴影以及模型冗余等问题还是存在一定的问题。因此，本文也将针对这些问题对标准混合高斯模型算法加以改进。中国民航大学硕士学位论文24几种常用算法的比较分析运动目标检测算法发展至今已是种类繁多让人目不暇接，上文中已经对大部分算法进行了分类，并描述了各类算法的优缺点。在本节中，将对几种常用的方法进行比较分析，如，差分方法VSAM、多特征融合的目标分割时空融合、统计模型法卡尔曼滤波、混合高斯模型，并通过实验结果分析算法的优劣性。241基于时间差分法VSAM方法VSAMVIDEOSURVEILLANCEANDMONITORING方法是一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。这种改进的差分算法具体实现如下假设O为视频图像中第X个像素点在第T时刻的亮度值，则三帧差分方法的判定条件是如果当前帧与其二帧同位置上的像素点的亮度差都大于选定的阈值，那么该像素点暂被假定为前景点，具体公式214女11下K一一。OIZNKO一一2L互O214其中王X为自适应更新的阈值。在通过前景点的预判后，背景图像与亮度阈值根据像素点将根据预判结果更新，其更新公式如下驯TR嚣似翟驯ATRX1CT5X111XB,X1F肋OR伽EGROU叫NDPOINMT215其中EO为背景图像中第X个像素点在第T时刻的亮度值，口为人为选定的常量，其代表了当前帧对背景图像与阈值影响程度。口越大则当前帧的影响权重越小，反之亦然。根据自适应得到的背景图像与阈值做真正的运动前景点检测，公式如下I0一E0I互0216从VSAM的目标检测过程可以看出，该方法主要是基于运动区域与背景的亮度异常19中国民航大学硕士学位论文对背景进行实时的更新。因此，场景亮度的突变对运动目标的检测将造成严重的影响。242基于多特征融合的目标分割方法SPATIOTEMPORALFUSION近年来随着特征融合技术的发展，图像多特征融合的方法被越来越多的应用在运动目标检测领域。其中，基于时空马尔可夫随机场的运动目标检测方法更是以其良好的环境鲁棒性受到了广泛的认可。本文介绍的基于时空马尔可夫随机场的运动目标检测思想以原始图像的色彩聚类结果作为先验知识，对初始标记场进行优化，获得图像标记场。在此基础上，定义GIBBS能量函数，并建立对应的马尔可夫随机场模型。通过求解GIBBS能量函数最小化，获得图像的最优标记场即标记出前景目标。假设一幅所，Z的图像，可以表示为一系列点的集合，F，BM以。对于这些点，存在一个对应的事先观测场DD。，D，D，和一个对应的标记场F，厶，无。其中，图像的事先观察场D，即帧差图像，可以根据连续时刻F，T1的两帧图像，O，TT1经计算获得OT1IIT1一，OL基于时空信息的马尔可夫随机场模型的运动目标检测步骤如下1、采用空间区域生长法对RGB色彩空间的彩色图像进行彩色聚类，获得色彩聚类图像。以时间差分的运动检测结果DD。