（计算机应用技术专业论文）复杂环境下运动目标的检测与跟踪.pdf

硕士学位论文复杂环境下运动目标的检测与跟踪 摘要 运动目标的检测和跟踪是计算机视觉、图像处理、模式识别等多领域共同研究的热 门课题，近些年来已经取得的很多成果，被广泛地应用到军事导航、监控监视、医学诊 断、视频检索等众多领域。在军事侦查等条件下环境复杂多变，目标纷繁多样，出没突 然缺乏规律可循，所以侦查监视系统要以稳健的目标检测与跟踪算法为核心。本文重点 探讨了复杂背景下运动目标检测和跟踪的方法。主要工作和贡献如下： 1 、研究了静态背景下目标检测方法和背景模型生成算法。分析了一种基于l b p 纹 理描述的背景建模方法，应用改进的l b p 直方图对背景建模，收到较好的检测效果； 通过试验分析了传统目标检测算法的特点，并对部分算法做出了相应改进。最后依据已 经分析的目标检测算法的优缺点，采用一种基于对称差分和背景差分的综合运动检测算 法，将对称差和多高斯背景以及单高斯背景检测结果进行了有效结合，以提高目标检测 的完整性，克服了运动目标短暂滞留的漏检问题。 2 、研究了一种基于卡尔曼滤波的跟踪方法。分析了目标匹配算法、卡尔曼滤波和 均值偏移算法，特别是卡尔曼滤波和均值偏移算法的理论基础及其在目标跟踪过程中的 应用，并做出了对应跟踪方法的具体实现。 3 、研究了抗遮挡的目标跟踪方法。改进了一种基于运动预测的均值偏移跟踪算法， 根据跟踪过程中运动目标受到遮挡与否，采用不同处理策略将卡尔曼滤波和均值偏移两 种算法协同完成跟踪任务，该方法引入颜色和l b p 纹理联合直方图的目标建模方法， 代替原算法纯粹的颜色直方图建模方法，并引进目标的时空运动位置信息，从而提高了 遮挡条件下目标跟踪的鲁棒性。最后研究了一种基于均值偏移的粒子滤波算法，采用颜 色和l b p 纹理联合直方图对目标建模，建立具有一定自适应能力的动态系统模型，通 过均值偏移对粒子的一步迭代，使粒子相对聚类到高概率位置，达到了减少粒子数目提 高算法实时性的目的。 关键字：目标检测，背景模型，目标跟踪，卡尔曼滤波，均值偏移 硕士学位论文 a b s t r a c t t h ed e t e c t i o na n dt r a c k i n go fm o v i n go b j e c ti sav e r yp o p u l a rs u b j e c ti nt h ea r e ao f c o m p u t ev i s i o n 、i m a g ep r o c c e s s i n g 、p a t t e mr e c o g n i t i o na n de t c ，l o t so fa c h i e v e m e n t sh a d b e e nm a d ei nr e c e n ty e a r s i th a sb e e nw i d e l ya p p l i e di nm i l i t a r ym i s s i l eg u i d a n c e 、m o n i t o r a n ds u r v e i l l a n c e 、m e d i c a ld i a g n o s i n g 、v i d e or e t r i e v a la n do t h e rf i e l d s a n dt h a tu n d e rt h e c o n d i t i o no fb a t t l e g r o u n d ，t h ee n v i r o n m e n ti sv e r yc o m p l e xa n dv a r i e d ，t h e r ea r ek i n d so f t a r g e t st h a ta p p e a ra n dd i s a p p e a rw i t hf e wr u l e s s ot h ek e m e lo fm o n i t o ra n ds u r v e i l l a n c e s y s t e mi st h er o b u s ta l g o r i t h m so fm o v i n gt a r g e td e t e c t i o na n dt r a c k i n g t h ep a p e rm a i n l y p r o b ei n t om e t h o d so fd e t e c t i o na n dt r a c k i n gi nc o m p l e xe n v i r o n m e n t t h em a j o rw o r k sa n d i n n o v a t i o no ft h i sp a p e ri n c l u d e ： 1 、s t u d y i n gm o v i n gt a r g e t d e t e c t i o na n db a c k g r o u n dm o d e lb u i l tu n d e rs t a t i c b a c k g r o u n d w ea n a l y z et h ec h a r a c t e ro fe a c ha l g o r i t h mi nt a r g e td e t e c t i o nb ye x p e r i m e n t ， s o m ea l g o r i t h m sh a v eb e e ni m p r o v e d p a p e ri m p r o v e dan o v e la l g o r i t h mo fb a c k g r o u n d m o d e lb a s e do nl b p t e x t u r e ，a n dg e t t i n gaw e l ld e t e c t i n gr e s u l t a i m e da tt h ea d v a n t a g ea n d d i s a d v a n t a g eo fe a c hm e t h o do nt a r g e td e t e c t i o na n a l y z e db e f o r e ，w ea d o p ta ni n t e g r a t e d d e t e c t i n gm e t h o dc o m b i n e dt h es y m m e t r i c a ld i f f e r e n c ea n db a c k g r o u n ds u b t r a c t i o ni nt h e m o v i n gr e g i o n u s i n gs y m m e t r i c a ld i f f e r e n c e 、m u l t i - g a u s sb a c k g r o u n da n ds i n g l e - g a u s s b a c k g r o u n dc o m b i n e da v a i l a b l y , i m p r o v e dt h ei n t e g r a l i t yo fd e t e c t i o n , c o n q u e r e dt h e m i s c a r r i a g eo f j u s t i c eo f t a r g e t sw h i s t l es t o p 2 、s t u d i n gat r a c k i n gm e t h o db a s e dk a l m a nf i l t e r i n g a n a l y z i n gt a r g e tm a t c h i n g 、k a l m a n f i l t e r i n ga n dm e a ns h i f ta l g o r i t h m s ，p a r t i c u l a r l yt h e 谢d ea p p l i c a t i o ni nm o v i n go b j e c t t r a c k i n go fk a l m a nf i l t e r i n ga n dm e a ns h i f t t h e nr e a l i z e dt h ec o r r e l a t i v et r a c k i n gm e t h o d so f t h e m 3 、s t u d y i n gt h em o v i n gt a r g e tt r a c k i n gm e t h o d sr e s i s t i n gt h eo c c l u s i o n a ni m p r o v e d m e a ns h i f ta l g o r i t h mb a s e do nm o v i n gp r e d i c t i o nh a sb e e np r o p o s e d ，w h i c hi m p o r tt a r g e t m o d e l e d 谢t l lc o l o ra n dl b pt e x t u r eu n i t e dh i s t o g r a m ，u s i n gr e a l - t i m eo b j e c t sp o s i t i o n i n f o r m a t i o nt om a k et a r g e tt r a c k i n gm o r er o b u s t l a s t l yp a p e rp r o p o s ea l li m p r o v e dp a r t i c l e f i l t e r i n ga l g o r i t h mb a s e do nm e a ns h i f t ，w h i c ha d o p tc o l o ra n dl b pt e x t u r eu n i t e d h i s t o g r a m b a s e dt a r g e tm o d e l ，b u i l das e l f - a d a p t i v e l yd y n a m i cs y s t e mm o d e l ，u s em e a ns h i f t i t e r a t i v et oe v e r yp a r t i c l et oh i g hp r o b a b i l i t yp o s i t i o n , s ot h a tr e d u c i n gt h en u m b e ro f p a r t i c l e s a n di m p r o v i n gt h er e a l - t i m eq u a l i t y 一 k e y w o r d s ：t a r g e td e t e c t i o n , b a c k g r o u n dm o d e l ，t a r g e tt r a c k i n g ，k a l m a nf i l t e r i n g ，m e a ns h i f t 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学 位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布 过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的 材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明 确的说明。 研究生签名：邀 留年尸月7 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上 网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权 其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文， 按保密的有关规定和程序处理。 研究生签名纭统杉 研究生签名：主竺! 丝笙沙妊尸月j7 日 硕士学位论文复杂环境下运动目标的检测与跟踪 1 绪论 1 1 课题的背景和意义 信息技术的迅猛发展，加快了军事、社会信息化建设的步伐，信息化的成败直接影 响着军队和地方的现代化进程。例如在军事信息化上，这些年来的几场局部战争就是很 好的例子，美国及其盟军凭借起先进的武器装备和陆、空、天情报信息系统很好的掌控 着战场的主动权，以较小的伤亡和损失迅速达成其战略意图。而基于视频图像的可视化 侦察监视系统就是信息技术的一个重要组成部分，它能使侦查人员从长期监视众多的传 统电视监视器这项非常繁重的任务中解脱出来，可以完成监控人员几乎无法做到的全面 完整监控。比如设计一个好的战场侦查监视系统就能较好的掌控战场态势，使我方能早 于敌方发现目标进而将其消灭并保存自己，对增强战场的侦察和监视能力、提高指挥和 控制能力，使我方作战部队能较快作出反应，更好掌控战场态势都具有重要意义。 而运动目标的检测与跟踪是这个应用视觉领域的一个重要的课题。现实生活之中， 大量的有意义的视觉信息包含在运动之中，甚至有些动物的眼睛经过进化，只能看见运 动的物体。尽管人类视觉既能看见运动又能看见静止的物体，但是在许多场合，比如说 交通流量的检测，重要场所的保安，航空和军用飞机的制导，汽车的自动驾驶或辅助驾 驶等，这里对运动的物体更感兴趣。因此，研究运动目标的检测和跟踪问题，有很大的 现实意义和应用价值。 现在的检测和跟踪技术中，往往要求智能化的检测和跟踪以适应诸如工作环境，工 作状态的变化，不同工作阶段的变迁以及各种干扰的影响。在战场等复杂环境下自然条 件变化多样，应用地域广泛，敌方干扰多样，目标出现突然缺乏规律，这就要求系统具 有较强的智能性和抗干扰能力。运动目标检测与跟踪技术是一个涉及到图像处理、模式 识别、人工智能、自适应控制等多领域问题，要综合解决这些问题还有大量的艰巨的工 作要做，基于此目标检测和跟踪具有很强的理论研究价值，备受相关技术人员和专家的 关注。在实际应用环境下对系统可靠性和实时性要求很高，这就使得对算法的稳定性、 。时间复杂度、应用范围都有较高的标准，可见运动目标检测与跟踪算法的研究有着重要 意义。本文主要针对运动目标检测和跟踪方法进行了研究。 1 2 研究现状及发展动态 1 2 1 运动目标检测与提取的现状 运动目标检测算法可以分为静态背景下运动目标检测和动态背景下运动目标检测。 1 绪论硕士学位论文 静态背景下运动目标检测是指摄像机在整个监视过程是静止的，动态背景下运动目标是 指在监视过程中摄像机发生了移动，如平动、旋转、多自由度运动。 静态背景下常用的运动目标检测方法有： ( 1 ) 序列差分法 序列差分法是在连续的图像序列中两个或三个相邻帧间，采用基于像素的帧间差分 并二值化来提取出图像中的运动区域。序列差分运动目标检测方法对于动态环境具有较 好的适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体的内部容易产 生空洞【5 】。一种改进的方法是利用三帧差分代替两帧差分，如v s a m ( v i s u a ls u r v e i l l a n c e a n dm o m 僦n d 嘲开发了一种自适应背景减除与三帧差分相结合的混合算法，能够快速 有效地从背景中检测出运动目标。 ( 2 ) 背景减除法 背景减除方法是目前目标检测中最常用的方法之一，它利用当前图像与背景图像的 差分来检测运动区域。该方法一般能够提供完整的特征数据，但对于动态场景的变化， 如光照和外来无关事件的干扰特别敏感阴。大部分研究工作者目前都在致力于开发背景 模型，以减少背景动态变化对目标检测的影响，如h a d m o g l u 等【3 】利用最小、最大强度 值和最大时间差分值为场景中的每个像素建立统计模型，并周期性地进行背景更新； r i d d e r 等【9 】采用基于卡尔曼滤波的自适应背景模型以适应天气和光照的变化。 ( 3 ) 光流法 光流法是根据连续的几帧图像计算各像素运动的大小和方向，利用运动场区分背景 和运动对象。如m e y e r 等【1 0 】通过计算位移向量光流场来初始化基于轮廓的跟踪方法，从 而有效地提取和跟踪运动目标。光流法的主要优点在于能够检测出独立的运动对象，而 不需预先知道场景的任何信息，缺点是大多数光流方法的计算比较复杂，且抗噪性能差， 如果没有特定的硬件支持，一般很难用于序列图像中运动目标的实时性操作。 1 2 2 运动目标跟踪的现状 运动目标跟踪是确定同一物体在图像序列不同帧中位置的过程，当运动物体被正确 检测出来时，目标跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色 彩等有关特征的对应匹配问题。目标跟踪的主要工作就是选择好的目标特征、采用适当 的搜索方法。根据目标匹配原理，把现有的跟踪方法分为基于模型、区域、特征、活动 轮廓的跟踪。 ( 1 ) 基于特征的跟踪 基于特征的跟踪是指根据目标特征利用某种匹配算法在图像序列中寻找目标，进而 2 硕士学位论文 复杂环境下运动目标的检测与跟踪 跟踪运动目标。该方法通常包括特征提取、特征匹配、运动计算三个过程。由于在序列 图像中相邻的两帧图像，图像序列间的采样时间间隔很小，可以认为这些个体特征在运 动形式上具有平滑性，因此可以用直线、曲线、参照点等个体特征来跟踪运动目标。基 于特征的跟踪方法的优点是算法简单，在运动分析时可以不区分运动物体是刚体还是非 刚体，缺点是对复杂运动效果差。如j a n g 与c h o i l t l l 】利用运动区域的形状、纹理、色彩 和边缘特征信息建立了目标模板，结合卡尔曼滤波器的运动预测，使特征匹配函数最小 化来完成运动目标的跟踪，该目标模型对于非刚体的跟踪具有很好的自适应能力。 ( 2 ) 基于区域的跟踪 基于区域的跟踪算法基本思想是把预先提取的运动区域作为匹配的目标模板，设定 一个匹配度量，然后在下一帧图像中匹配搜索目标图像，把度量取极值时的位置判定为 最佳匹配点。该方法由于提取了较完整的目标模板，相对于其他跟踪算法能够得到更丰 富的图像信息，因此广泛应用于跟踪较小的目标或对比度较差的目标。该跟踪方法通常 利用高斯分布建立目标和场景的模型，属于目标的像素被规划于不同的部分，通过跟踪 各个小区域块来完成整个目标的跟踪。这种方法绝大部分是通过基于光流的匹配模板来 实现的，其跟踪误差是逐步积累的，因而随着跟踪帧数的增加，误差也越来越大，从而 产生错误的匹配，且一旦产生错误匹配，由于没有反馈过程，就不可能回到正确的匹配 中去。 ( 3 ) 基于活动轮廓的跟踪 基于活动轮廓的跟踪方法是利用一条封闭的参数化曲线来表达运动目标轮廓，在由 图像构造的特征场中通过极小化以曲线函数为参数的能量来进行动态迭代，使得该轮廓 能够自动连续更新。轮廓表达有减少计算复杂度的优点，如果开始能够合理地分开每个 运动目标并实现轮廓初始化的话，既使在有部分遮挡存在的情况下也能连续地进行跟 踪，然而初始化通常是很困难的。如p a r a g i o s 与d e r i c h e t l 2 】利用短程线活动轮廓在图像 序列中检测和跟踪多个运动目标。 ( 4 ) 基于模型的跟踪 基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪 目标，并实时更新模型。该方法利用点、线、区域把被跟踪目标拟合成一个几何模型， 将运动目标的跟踪变成了目标识别问题。这种方法含有高层的语义描述和知识，因此与 其它跟踪方法相比，这种方法具有很多的优势，而且这种优势在复杂环境下显得尤为突 出。它的缺点是计算量比较大，且需要知道大量关于跟踪目标的先验知识。如w a t c h e r 和n a g e 1 a l 利用椭圆锥台建立三维人体模型，在连续的图像帧间匹配三维人体模型的投 影来获得人运动的定量描述，实现了单目图像序列中的人的跟踪。 3 1 绪论 硕士学位论文 另外美、英等国家已经开展了大量相关项目的研究，利用先进的数字图像处理技术 除去许多自然及人为的干扰，加上运动预测等技术已大量把动目标检测与跟踪运用在军 事监控，导航、制导等方面。例如，1 9 9 7 年美国国防高级研究项目署设立了以卡内基梅 隆大学为首，麻省理工学院等高校参与的视觉监控重大项目v s a m 7 _ 】，主要研究用于战 场及普通民用场景进行监控的自动视频理解技术；实时视觉监控系统w 4 不仅能够定位 人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是 否携带物体等简单行为。 国内这方面的研究也是近十年来才发展起来的，由中国科学学院自动化研究所和中 国图象图形学学会等多家科研机构在国内组织了多次的学术会议，就视觉监控领域作了 广泛而又深入的讨论，为我国在该领域的发展做了大量的研究。目前国内也有很多厂家 生产出了具有自动报警功能的监控系统，应用于交通控制、档案室、文件室、金库、博 物馆等机要部门及车辆牌照管理和公路桥梁铁路机场等场所的远程图像监控。特别是近 年来，随着技术的进步和社会经济的不断发展，人们对监控系统特别是目标跟踪和检测 提出了更高要求，相比之下，国外的技术相对来说比较成熟，而国内的研究起步相对较 晚，技术还不够完善，在实际的应用中，受到很多限制，还有待于进一步的完善。 1 2 3 运动目标检测与跟踪的难点 尽管运动目标分析研究已经取得了一定的成果，但是还没有一种监控算法能够达到 监控技术的最高要求，即在任何复杂的场景下都能够准确的监控每一个运动目标的复杂 运动。目前己有的各种检测以及跟踪算法都是限定在一定的环境下对目标实施监控。 随着该领域技术研究的不断发展，各种算法的适用环境也会逐渐接近真实场景。在现阶 段，从当前的算法研究发展工作中看，主要遇到以下几个难点。 ( 1 ) 复杂环境下运动目标快速准确的分割 由于动态环境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变 化，背景的混乱干扰、运动目标的影子与环境之间或者物体与物体之间的遮挡都给准确 有效的运动分割带来了挑战、甚至摄像机的运动等物体与这些目前图像分割主要利用背 景减除方法，但如何建立对于任何复杂环境的动态变化均具有自适应性的背景模型仍是 相当困难的问题。 ( 2 ) 运动目标的遮挡问题 目前，大部分运动分析系统都不能很好地解决目标之间互遮挡和目标自遮挡问题， 尤其是在拥挤状态下，多目标的检测和跟踪问题更是难于处理。遮挡时，运动目标只有 部分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除进行运动分割的 技术此时将不再可靠，为了减少遮挡所带来的歧义性问题，必须开发更好的模型来处理 4 硕士学位论文复杂环境下运动目标的检测与跟踪 遮挡时被识别的特征与目标各部分之间的准确对应问题。 ( 3 ) 前景目标与背景颜色相近 当运动的前景目标与背景中的景物在颜色和形状等外观特征方面相似时，将增大从 背景中分辨出前景目标的难度。在跟踪过程中也容易出现目标丢失，跟踪不稳定等现象。 1 3 论文的结构安排 本文主要围绕基于图像序列的运动目标检测和运动目标跟踪两个方面展开研究，对 常用算法进行分析，实现得出结果，并根据实用情况对相关算法进行适当改进，以使算 法能够更好满足实用环境需求。本文的主要结构安排如下： 第一章简要介绍了开设课题的意义、运动目标检测与跟踪的发展现状、以及检测与 跟踪的重点和难点问题。 第二章主要研究运动目标的检测。从序列图像的分析和处理入手，分析目前图像处 理中比较常用的方法序列差分，背景差分、背景模型的获取和更新等知识，并分析了图 像分割的阈值选取、形态学滤波等知识。通过对背景减和序列差检测运动目标的实验特 点、优缺点的分析，研究了一种综合二者的目标检测方法，采用滤波方法去除目标物周 围的干扰信息，能够检测到比较完整的目标轮廓，在一定程度上克服了短暂滞留目标的 漏检问题。 第三章研究了一种基于卡尔曼滤波的目标跟踪方法。研究了运动目标特征跟踪匹配 算法和卡尔曼滤波在实时跟踪中的应用，做了相应的实现、分析。 第四章主要研究了抗遮挡的目标跟踪方法。分析了均值偏移算法的原理，及其在跟 踪中的应用，通过引入颜色和l b p 纹理直方图进行目标建模，研究了基于运动预测的 均值漂移算法和基于均值偏移的粒子滤波算法，较好的解决了目标遮挡过程中的稳定跟 踪问题。 第五章为结论和展望。对论文研究的问题做出总结，指出本文有待研究的问题和算 法的不足之处，为下一步研究工作的展开提供思路。 5 2 一种基于对称差和背景差的动目标综合检测方法硕士学位论文 2 一种基于对称差和背景差的动目标综合检测方法 2 1 引言 运动目标检测是整个视频监控系统的最底层，是目标跟踪、目标分类、目标行为理 解等处理的基础和前提，因此运动目标检测是视频序列图像处理的关键环节。根据序列 图像的背景情况可以将运动目标检测划分为静态背景下运动目标检测和动态背景下运 动目标检测，本章主要研究静态背景下的运动目标检测算法。 静态背景下的运动目标检测的方法主要可以分为三种：第一种是序列差分法，序列 差分法是基于时间序列图像上的差分图像实现运动目标的检测，它对动态环境有很好的 适应性，但不能提取出较完整的运动目标；第二种是背景差分法，背景差分法是基于图 像序列和参考背景模型相减实现运动目标的检测，它能够较完整的提取出运动目标，但 对光照和外部条件造成的动态场景变化过于敏感；第三种是光流法，光流法是对图像的 运动场进行估计，将相似的运动矢量合并形成运动目标检测的方法。光流法虽然能够直 接用于摄像机运动下的目标检测，但是大多数光流方法计算复杂，不适于实时处理系统。 2 2 基于序列差的目标检测方法分析 2 2 1 序列差分的实现 序列差分算法是通过对连续两幅图像作差来检测运动目标。如果假设照明条件基本 不变，在图像采集装置和被摄场景间有相对运动的情况下采集一系列图像，则其中存在 的运动区域即相对发生较大灰度变化的位置，正是基于此对图像进行的分割。序列差分 法的流程如下图所示： 6 l - ，：伍y ) l _ 滤差 波分值 处处化 i 厶伍y ) 卜_理 理 图2 - 1 序列差分法处理流程 设在时刻i 和i - 1 ，采集到的两幅图像z ( x ，y ) 和z 一。( x ，y ) ， 怕咖0凄芝舅二老芝筹 、 廷 动 目 标 据此可得到差图像： ( 2 2 1 ) 其中d s ( 工，y ) 为差图像的二值化图像，为1 的位置表示区域有较显著变化，认为是物 硕士学位论文 复杂环境下运动目标的检测与跟踪 体移动所引起的，为0 则表示没有明显的变化，认为是背景区域，t 为按要求所求阈值。 这里后处理过程包括形态学滤波处理、连通性检测等操作，用以去除噪音影响，对检测 到的目标进行边界平滑、连通小间断区域并填充运动物体中由于之前处理过程中造成的 内部孔隙。 一种改进的序列差分算法，它采用连续三帧图像分别差分得到两个二值图像，然 后将其按象素位作与操作，得到最终的二值化图像，这里称之为对称差方法。其表达式 如下： 川：卜d i l 嬲端l 吾 力 l0e l s e 2 2 2 图像分割的阈值选取 图像分割【l 】【2 】是图像处理与计算机视觉领域低层次视觉中最为基础和重要的领域之 一，它是对图像进行视觉分析和模式识别的基本前提，所谓图像分割是指根据灰度、彩 色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在 同一区域内，表现出一致性或相似性，而在不同区域间表现出明显的不同。阈值分割法 是一种传统的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中 最基本和应用最广泛的分割技术，特别适用于目标和背景占据不同灰度级范围的图像， 已被应用于很多的领域。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分， 得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而 相邻区域布局有这种一致属性。这样的划分可以通过从灰度级出发选取_ 个或多个阈值 来实现。阈值分割法基本原理是：通过设定不同的特征阈值t ，把图像像素点分为若干 类常用的特征包括：直接来自原始图像的灰度或彩色特征；由原始灰度或彩色值变换 得到的特征设原始图像为f 酝，y ) ，按照一定的准则在取，y ) 中找到特征值t ，将图 像分割为两个部分，分割后的图像为： m 加馏裴嚣 ( 2 2 3 ) 如果这里取b o = o ，b l = l 也就是通常所说的二值化图像。 ( 1 ) 迭代法选取阈值 迭代法【1 5 】的过程是：初始阈值选取为图像的平均灰度瓦，然后用瓦将图像的象素点 7 2 一种基于对称差和背景差的动目标综合检测方法硕士学位论文 分作两部分，计算两部分各自的平均灰度，小于t o 的部分为l ，大于t o 的部分为瓦，分 别计算l 和瓦的平均灰度u 和u b ，令互= ( u z + u b ) 2 ，将互作为新的全局阈 值代替兀，重复以上过程，循环迭代，直至正收敛，即正= r o ，得到阈值正。经试验 比较，对于直方图双峰明显，谷底较深的图像，迭代方法可以较快地获得满意结果。但 是对于直方图双峰不明显，或图像目标和背景比例差异悬殊，迭代法所选取的阂值不如 最大类间方差法。 ( 2 ) 最大类间方差法 o s t u 于1 9 7 8 年提出的最大类间方差法【1 q 以其计算简单、稳定有效，一直广为使用， 是一种非参数自适应分割方法，它利用类别方差作为判据，选取使类间方差最大的灰度 值作为最佳阈值。从模式识别的角度看，最佳阈值应当产生最佳的目标类与背景类的分 离性能，此性能我们用类别方差来表征，为此引入类内方差、类问方差和总体方差。 最大类间方差法设一幅图像灰度值分为o ( l 1 ) 级，灰度值i 的像素数为，则总像素 数 纽 n = ( 2 2 4 ) 8 各像素值概率 p f = n( 2 2 5 ) 然后用一个整数t 将图像中的像素按灰度级划分成c o 和c l 两类，即 c o = 0 , 1 ，t ) ，c j = t + 1 ，t + 2 ，三一1 ) ，则， c 0 类发生的概率 o ) o ( d = p ， ( 2 2 6 ) f = o c o 类的均值 r 。( 丁) = f p ，( d = ( r ) 缈o ( 丁) ( 2 2 7 ) f = 0 c l 类发生的概率 l - 1 缈，仃) = p ，= i - a ) 。( 丁) 】 ( 2 2 8 ) i 皇r + l c l 类的均值 l - i l ( 丁) = f p ，c o ，( r ) = 【一( 丁) 】q ( z ) ( 2 2 9 ) 硕士学位论文 复杂环境下运动目标的检测与跟踪 其中，( r ) = f p ，是整体图像中灰度不大于t 的像素的统计均值， f = o l - i a = f p ，是整体图像灰度的统计均值，则 ，= ；o rl - i z = i p ；+ f p f = c 0 0 ( t ) o ( 丁) + q ( 丁) l ( 丁) ( 2 2 1 0 ) i = 0t = t + l 两类问方差 d i s t ( t ) = a o o ( t ) c o l ( 丁) 【o ( r ) - a i ( 丁) 】2 ( 2 2 11 ) 最佳阈值 t h = a r g 。m s r a 上x ld i s t ( t ) ( 2 2 1 2 ) 即在 o ，l 1 上穷举t ，使d i s t ( d 取最大值的t 即为最佳阈值。 在实际运用中，为了减少运算量，提高运行效率，往往使用以下简化计算公式： 仃2 ( r ) = c o o ( a 。一0 2 + c o b ( u b - - y ) 2 ( 2 2 1 3 ) 其中，矿为两类间最大方差，叱为a 类概率，p o 为a 类平均灰度，纯为b 类 概率，z 。为b 类平均灰度，p 为图像总体平均灰度。即阈值t 将图像分成a 、b 两部分， 使得两类总方差盯2 ( t ) 取最大值的t 即为最佳分割阈值。 最大类间方差法是一种基于直方图的分割方法，它把直方图分成两部分，用两部分 的方差表示两类的距离，而方差是样本分布均匀性的度量，方差越大表明样本值相差越 大，在图像中就是构成图像的两个部分分得越开，距离越大，因此两类被错误分割的概 率就越小，最大类间方差法就是寻找使构成图像的两部分距离最大的阈值来二值化图 像。 ( 3 ) 一维最大熵阈值法 八十年代以来，许多学者将s h a n n o n 信息熵的概念应用于图像阈值化，其基本思想 都是利用图像的灰度分布密度函数定义图像的信息熵，根据假设的不同或视角的不同提 出不同的熵准则，最后通过优化该准则得到阈值。将熵概念应用于图像分割时，依据是 使图像中目标与背景分布的信息量最大，通过分析图像灰度直方图的熵，找到最佳阈值 0 7 j 。对于灰度范围为 o ，1 一l 1 的图像，假设图中灰度级低于t 的像素点构成目标区域 ( o ) ，灰度级高于t 的像素点构成背景区域( b ) ，那么各概率在其本区域的分布分别为： 目标区o ：乡，i 吼1 ，毛，p t ( 2 2 1 4 ) 背景区b ：乡一p ，) ，i 针l ，t + 2 ，l - 1 ，其中只一砉p ， ( 2 2 1 5 ) 9 2 一种基f 对称差和背景差动目标综e 检剥方法学位论立 则其熵分别为 矾c ( ，) 一莩鲁l s 鲁 其中：m t 啪) 2 尚，s 南舯“一p z ，。 则熵函数定义为； 阶, v a t ) 哪h s 尚等+ 气警 其中：只2 一p t l g p ， 1 卸，1 h i = 一f p 1 9 p 。 i - 0 , 1 ，l q ( 22 16 ) 佗2 1 7 ) f 22 1 8 、 当熵函数h ( i ) 取得最大值时对应的荻度值t 就是所求的昂佳闻值。 一维艟大熵值法与o s v a 法相比，由于涉及对数运算，运算速度比较慢，实时性较 差。而目由于一维最大熵值法基于图像的原始直方图，仅仅利用了点灰度信息，而未充 分利用图像的空间信息，因而一维最大熵值方法进行图象分割时，存在丢失边界特征的 缺点。若处理低质量或边缘模糊的图像，此缺点表现的更加明显。 f 4 ) 图像分割结果 从总体上来讲，自适应的阈值分割算法适应能力要强一些，能根据不同图像的到相 应的分割阈值，对于直方图为双蜂图像选代法也能达到较好的效果但其局限性也较明 显，双峰不明显的图像就不如o s m 算法。根据实用的环境本文中采用改进o s t u 算法求 取分割阕值。各种方法结果( 括号内为相应算法所求闽值) 比较如图2 - 2 ： 原始图直方图 固定阈值( 1 5 0 1 警- - 局部自适应阈值油算j 去( 1 5 6 )迭代阐值法( 1 4 3 ) -越 硕学位论文 复杂环境下运动目标的柱铡与跟踪 翟，：簟 原图像 直方图固定阐值( 】5 0 ) 最大熵闽值( 1 6 2 ) o t s u ( 1 1 0 ) 选代法( 1 1 6 ) 圈2 - 2 图像分割结果比较 2 2 3 形态学漳波处理 数学形态学( m a t h e m a t i c a lm o r p h o l o g y ) 是一种应用于图像处理和模式识别领域的新 理论和新方法，1 9 6 4 年由法国的g m a t h e r o n 和js e r r a 在积分几何的基础上首次创立。 它的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对 图像分析和识别的目的。数学形态学的数学基础和所有语言是集合论。数学形态学的应 用可以简化国像数据，保持它们基本的形状特征，并除去不相干的结构。数学形态学的 算法具有天然的并行实现的结构。 最基本的形态学运算有口l ：腐蚀、膨胀、开和闭。用这些算子及其组合来进行图像 形状和结构分析及处理，包括图像分割、特征抽取、边界检测、图像滤波、图像增强和 恢复等方面的工作。形态滤波器是从数学形态学中发展出来的一类新型非线性滤波器， 它是基于信号( 图象) 的几何结构特性，利用预先定义的结构元素( 相当于滤波窗) 对信号 进行匹配或局部修正，以达到提取信号，抑制噪声的目的。 ( 1 ) 腐蚀和膨胀 基本的形态学运算是腐蚀和膨胀。腐蚀但m s i o n ) 是消除目标图像中的无用点( 或孤 立噪声点) 的一个过程，其结果使得剩下的目标比处理前减少了一些像素，也可根据选 取的结构元素大小不同，去掉不同大小的虚假目标。用b 来腐蚀x 记为z 0 占。一般 意义的腐蚀定义是； e = x b = ( z ，力l ( 毋“n 衲( 2 2 1 9 ) 2 一种基于对称差和背景差的动目标综合检测方法硕士学位论文 腐蚀过程描述如下：用b 来腐蚀x 得到的集合是b 完全包括在集合x 中时b 的参 考点位置的集合。 膨胀( d i l a t i o n ) 是腐蚀运算的对偶运算( 逆运算) ，它是将与目标接触的所有点合并到 该目标的过程，过程的结果是使目标的面积增加了相应数量的像素。膨胀在填补分割后 目标中的空洞很有用。用b 来膨胀x 记为xo 丑定义是： d = xo b = ( x ，y ) i ( b ) ( 训) nx 】x ) ( 2 2 2 0 ) 膨胀过程描述如下：用b 来膨胀x 得到的集合召的位移与集合x 至少有一个非零 元素相交时结构元素b 的参考点位置的集合。 ( 2 ) 开运算和闭运算 腐蚀和膨胀不是互逆变换，若先对一幅图像进行腐蚀，然后再膨胀，得到的不是原 始图像。结果图像会比原始图像更简单，一些细节将被去掉。先腐蚀再膨胀是一个重要 的形态学变换，称为开运算( o p e n i n g ) 。图像x 关于结构元素b 的开运算记为xo b ，定 义为： x ob = ( x 圆召) ob ( 2 2 2 1 ) 先膨胀再腐蚀称为闭运算( c l o s i n g ) 。图像x 关于结构元素b 的闭运算记为x e b ， 定义为： x b = ( xo 口) b( 2 2 2 2 ) 2 2 4 序列差分检测结果 本节以复杂场景下，对行进的人体分别两帧差和三帧差进行试验，比较其检测结果 的异同。在序列图中人作为运动目标被检测到，从图中可以看出两帧做差所得的二值图 像散杂的白点较多，受噪音影响较大，有的是由于树枝晃动引起，有部分是有光线阴影 所导致，因而在实际的处理过程中就先对图像进行去噪处理，本文采用中值滤波的方法 减小噪音的影响。从检测到的目标可以看到有明显的内部空洞，一条腿也没检测出来， 而对称差分算法中像素点相与操作也能起到一定的去噪作用，但会使检测到的图像消 减，失去部分不重合的点，检测到目标大体轮廓，这就要求在后处理过程中用形态学滤 波去噪，填充内部小空洞，进行连通性检查判断出运动目标。 其结果如图2 3 所示： 1 2 硬学位论文复杂环境下运动目标的检测与跟踪 ( 0 后两帧差分二值图像对称差形态学游波后图像 图2 - 3 基于序列差的目标检测 2 3 基于背景差的目标检测方法分析 2 3 1 背景差分的实现 背景差分法是当前运动目标检测中常用的一种方法，它利用当前图像与背景图像的 差分来检测运动区域，该算法实现简单，一般能够提供完整的特征数据，对于背景已知 的情况该方法是一种相当有效的运动目标检测算法。背景减除法的原理是用事先存储的 或实时得到的序列图像为每个像素进行统计建模，得到背景图像h ，设当前帧图像为上， 其流程如下图所示： 一 2 一种基于对称差和背景差的动目标综合检测方法 硕学位论文 二引廿雕 f三翌竺 圈2 - 4 背景差分处理流程 序列图与背景差分图像4 ( x ，) 可表示为： 4 ( x ，y ) 爿，( t 力一4 ( x ，y ) i( 2 31 ) 然后对差分图像进行二值化处理，闽值为t ，得到运动区域，其表达式如下 。嗽力书：慧； 口弛， 其处理结果如图2 - 5 ： 熙熙 雕圈 ( 8 ) 背景圈( b ) 第k 帧 ( c ) 差图像二值化( d ) 形态学滤波后 图2 - 5 基于背景差分的目标检测 与序列差分法相比背景差相对能得到较为完整的目标图像，但实际运用中还存在不 少的问题，比如背景模型的获取和背景模型的更新m 。背景模型的获取：背景图像获取 回回 硕士学位论文复杂环境下运动目标的检测与跟踪 的理想情况是在场景中没有运动目标的情况下进行，但是实际应用中一幅“纯净 的背 景图像往往不容易得到，外界光线连续的变化，背景中可能含有轻微扰动的对象，如树 枝、草丛、波浪等的摆动等，这些都会增加获取背景的难度。背景模型的更新：要长时 间对区域实现持续的视频监控，背景图像不会是一成不变的，背景的扰动、光照变化等 会引起背景的改变，这就需要在一段时间后重新更新背景模型，以适应背景的变化。 2 3 2 背景生成方法及更新 一种简单的获取背景图像的方法是当场景中无任何目标出现时捕获背景图像，这种 人工的非自适应的方法获取的背景图像仅适用于短时间内的监视。目前大多数算法已经 放弃这种非自适应的背景图像估计方法。大部分研究人员都在致力于研究不同的自适应 背景模型算法，以减少动态场景变化对于目标检测的影响。 ( 1 ) 统计平均方法。一个经典的自适应背景生成和更新方法是对最近一段时间内的 图像求平均，生成一个除运动区域外与当前图像相似的背景图像，这个方法就是平均图 像法。假设图像序列为ui 扛1 , 2 ，3 ) ，背景图像最用公式可表示为： e = + a + + 五) nr l = 1 , 2 ，3 ( 2 3 3 ) 该背景生成算法没有考虑到场景中有运动目标的情况，目标像素也参与了平均，导 致背景图像中有大量的目标成分，从而降低了背景的纯度。一种改进的算法应用序列差 分判断像素点是属于目标或是背景，如果属于背景则参与背景的平均值求取，否则不参 与平均运算。改进后算法减少了目标象素点的干扰，在一定程度上提高了获取背景的纯 度。 ( 2 ) 改进的基于灰度统计的背景生成算法。对视频序列的某像素点的灰度进行一段 时间的观察，会发现只有当有前景运动目标通过该点时，它的灰度才会发生大的变化， 否则，该点的灰度只是在某一固定值上下进行小幅震荡。利用视频序列灰度变化的这一 特性来提取背景图像，灰度统计法【i8 j 提取背景。在读入的n 帧序列图像中，取定适当