（计算机应用技术专业论文）复杂环境下的运动目标检测技术研究与实现.pdf

硕士论文 复杂环境下的运动目标检测技术研究与实现 摘要 运动目标检测技术是计算机视觉领域的重要研究内容，它在工业、医学、军事、教 育、商业、体育等领域有着广泛的应用。对运动目标进行准确的检测是序列图像分析的 基础性工作，也是当今国内外众多学者研究的热点问题。 本文对复杂环境下的运动目标检测技术及其实现做了深入研究，主要的工作为： 首先分析了基于差图像的运动目标检测过程，给出了具体的目标检测、提取实现方 法，以及一种双阈值的差图像分割方法。 其次结合实验对现有的均值背景模型、分段背景模型、中值背景模型、高斯背景模 型以及随机背景模型方法进行了系统的分析，给出了各种方法的具体检测实验，并对各 方法的优缺点做了总结。鉴于各种背景模型的优势，本文提出了多种背景模型检测结果 融合的方法，并给出了具体的实现策略。 最后通过对w a t e r s h e d 图像分割方法的研究，提出了一种基于w a t e r s h e d 的目标检 测方法。该方法对图像进行分割处理后，通过对小区域的分析来判断目标的有无，它与 应用单个像素差分的方法相比更具稳定性。我们给出了算法的两种实现形式：一个是基 于背景分割的方法，另一个是基于序列图像分割的方法。前者对背景分割后的每个小区 域，用模型的方式来描述区域的变化，具有很快的处理速度；后者则是对每一帧待检测 图像进行分割，通过区域对比分析得到粗略的变化区域，而后进行适当的区域合并，得 到完整的目标区域。经过测试，本文给出的方法在复杂环境下具有良好的检测性能。 关键词：运动目标检测，目标提取，多背景模型，基于w a t e r s h e d 的运动目标检测 a b s t r a c t m o v i n go b j e c td e t e c t i o ni sa ni m p o r t a n tr e s e a r c h i n g a r e ai nc o m p u t e rv i s i o nc o m m u n i t y , w h i c hh a sw i d e l ya p p l i c a t i o ni ni n d u s t r i a l ，m e d i c a l ，m i l i t a r y , e d u c a t i o n ，b u s i n e s s ，a n ds p o r t s a r e a s e x a c td e t e c t i o no fm o v i n go b j e c ti st h eb a s i cw o r ko fi m a g es e q u e n c ea n a l y s i s ，b u ta l s o t h eh o t s p o tt h a ti ss t u d i e db ym a n yc o n t e m p o r a r ys c h o l a r sa th o m ea n da b r o a d i nt h i sp a p e rw ed oa ni n d e p t hs t u d ya b o u tm o v i n go b j e c td e t e c t i o nt e c h n o l o g ya n di t s i m p l e m e n t a t i o ni nac o m p l e xe n v i r o n m e n t t h em a i n c o n t r i b u t i o n sa r ea sf o l l o w s ： f i r s t l y , w ea n a l y z et h ep r o c e s so fm o v i n go b j e c td e t e c t i o nb a s e do nd i f f e r e n c ei m a g e ， a n dg i v et h es p e c i f i ci m p l e m e n t a t i o no fo b j e c t sd e t e c t i o na n de x t r a c t i o n a l s ow eg i v ea d o u b l et h r e s h o l dm e t h o do fd i f f e r e n c ei m a g es e g m e n t a t i o n s e c o n d l y ，f o l l o w e db ye x p e r i m e n t s o ne x i s t i n gb a c k g r o u n dm o d e l ，s u c ha sm e a n b a c k g r o u n dm o d e l ，s u b s e c t i o nb a c k g r o u n dm o d e l ，m e d i a nb a c k g r o u n dm o d e l ，g a u s s i a n b a c k g r o u n dm o d e la n dr a n d o mb a c k g r o u n dm o d e l ，w eh a v em a d es y s t e m i c a l l ya n a l y z i n g a b o u tt h e m b e s i d e ，w ea l s os u m m a r i z et h ea d v a n t a g ea n dd i s a d v a n t a g eo ft h e m i nv i e wo f t h ea d v a n t a g e so fv a r i o u sb a c k g r o u n dm o d e l s ，w ep r e s e n tt h ei n t e g r a t i o ns t r a t e g yo f m u l t i b a c k g r o u n d ，a n dg i v et h er e a l i z a t i o no ft h es t r a t e g y f i n a l l y , b yi n v e s t i g a t i n gi m a g e sw a t e r s h e ds e g m e n t a t i o na l g o r i t h m ，w ep r o p o s ea m e t h o do fd e t e c t i n gm o v i n go b j e c tb a s e do nw a t e r s h e d t h i sm e t h o dd i v i d e st h ew h o l ei m a g e i n t os m a l lr e g i o n sa n dg e t st h em o v i n gr e g i o n st h r o u g ha n a l y z i n go fs m a l la r e a s b y c o m p a r i n gw i t hs i n g l ep i x e l sd i f f e r e n c em e t h o d ，i te x h i b i t sr o b u s t n e s s w eg i v et w o f o r m so f i t ss p e c i f i cr e a l i z a t i o n ：o n ei sb a s e do nb a c k g r o u n ds e g m e n t a t i o n , a n o t h e rb a s e do ni m a g e s e q u e n c es e g m e n t a t i o n t h ef o r m e rd i v i d e st h eb a c k g r o u n di m a g ei n t od i f f e r e n tr e g i o n s a n d u s e ss o m em o d e l st od e s c r i b ei t sc h a n g i n gs t a t e i th a sr a p i dp r o c e s s i n gs p e e d t h el a t t e rh a s t os e g m e n te v e r yf r a m e ，a n dt h e ne x t r a c t st h ew h o l eo b j e c tb ya p p r o p r i a t er e g i o nm e r g i n g s t e p s t h r o u g h0 1 1 1 7t e s t i n g ，t h i sm e t h o ds h o w sg o o dp e r f o r m a n c ei nc o m p l e xe n v i r o n m e n t k e y w o r d s ：m o v i n go b j e c td e l e t i o n ，o b j e c te x t r a c t i o n ，m u l t i - b a c k g r o u n dm o d e l ，m o v i n g o b j e c td e l e t i o nb a s e do nw a t e r s h e d 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 击究生签名：主鉴主盘：沙。吾年6 月衫日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：格歹赤 g 年1 6 月z 弓日 硕士论文 复杂环境下的运动目标检测技术研究与实现 1 绪论 1 1 问题的提出 计算机视觉的研究目的是通过使用计算机完成人眼及人脑对外界环境的感知、解释 和理解功能。随着人们需求的增加和科学技术的发展，它的应用范围已经覆盖了工业、 医学、军事、教育、商业、体育等领域，而且它对人们生产生活的影响变的更加深刻。 由于视觉信息在人类获取的各种信息中所占的比重最大以及它的空间及结构特性，使得 它不能为其它任何信息替代，这也使得基于视觉信息的研究变得更为重要。 对视觉信息的分析最直接的体现就是数字图像处理。早期的处理工作由于受计算机 性能的影响，只局限于对静态图像的处理和分析。然而动态图像的应用更为普遍，它为 人们提供了比单一图像更加丰富的信息，同时随着计算机软件与硬件技术的发展使得图 像处理工作更加重视对动态图像的分析，因为通过对它的分析可以得到更加重要的信 息。动态图像分析的一个基本任务是从图像序列中检测出运动目标信息，检测的结果对 运动目标分类、跟踪及行为理解等后续处理具有重要影响。目标检测技术在现实中的应 用也是非常广泛的，例如在工业上用于过程控制、机器人视觉、飞行器的导航等；交通 运输方面通过对实时视频图像进行处理，实现对汽车流量的统计及道路的监控；另外还 可用于军事上的武器制导、视频压缩、汽车的自主驾驶等各个方面。 要从序列图像中快速准确的检测出前景运动目标存在着一定的困难，因为检测所面 临的环境是多种多样的，存在着众多的不确定性干扰因素，比如光照变化、图像噪声、 阴影及其它的周期性运动物体的影响等。这就使得复杂环境下运动目标的准确检测成为 了计算机视觉领域的难点，也日渐成为了影响图像应用系统可靠性和实用性的重要障 碍。虽然如此，但它的具大应用前景还是有着很大的吸引力，所以研究复杂环境下运动 目标的检测这一课题是有重大意义的。 1 2 研究现状 采用动态序列图像分析的方法是目标检测的主要手段，然而众多的因素导致图像的 灰度和内容在相邻两帧图像之间发生变化，比如景物本身的变大变小、摄像机与景物的 相对运动( 平移、旋转等) 、光照的变化等等，从而使得看似简单的相邻图像之间的差分 运算变得非常复杂。在环境条件改变较小的情况下( 如室内) ，可以采用简单的当前图像 与背景图像相减或连续的帧间图像相减的方法来检测运动目标，但在户外的复杂环境 下，由于光照的变化、背景中物体的周期性运动、物体边缘的反光以及影子等因素的影 响都将可能引起检测的错误，这使得对运动目标的检测成为了一项困难的工作。 i 绪论 硕士论文 尽管如此人们还是对运动目标的检测做了大量而深入的研究，提出了许多行之有效 的方法。根据所采用的基本思想不同，运动目标检测有多种实现方法，可以将它们归结 为以下的几种方法： ( 1 ) 基于差图像的方法 包括背景差分【1 1 1 2 1 3 删和帧间差分【5 】【6 1 两种方法。背景差分方法是目前运动目标检测 过程中最常用的一种方法，速度快，适合实时系统的要求。它是利用当前图像与背景图 像的差分来检测运动区域的一种技术。它一般能够提供最完全的目标特征数据，但对于 动态场景的变化，如光照和晃动树木的干扰等，是特别敏感的。因而大部分的研究人员 目前都致力于开发不同的背景模型，以减少动态场景变化对于运动检测的影响。帧间差 分方法则是利用若干相邻帧图像之间的差分，来提取图像中的运动区域。帧间差分方法 对动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运 动目标内部容易产生空洞现象，需要采取其它方法弥补这个不足。鉴于两种方法的优缺 点文献 6 1 提出了两种方法的混合算法，它能够快速有效地从背景中检测出运动目标。 ( 2 ) 基于光流的方法1 7 j 自1 9 8 0 年h o r n 和s c h u n c k 发表了关于光流的算法以来，引发了对光流法的探讨。 所谓光流是空间运动物体被观测面上的像素点运动产生的二维瞬时速度场，其中2 d 速 度矢量是可见的三维速度矢量在成像平面上的投影。光流法检测运动目标的基本原理 是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动 的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系 得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运 动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时， 运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体的位 置。它可以很好的处理背景运动和遮挡问题，但也存在着一些问题，比如基本的光流约 束方程并非严格成立，由于孑l 径和噪声等的影响，再加上为求解光流方程而添加的约束 条件，造成光流场并不能完全反映运动场，进而影响最后的结果；另一个问题是它的计 算复杂度，普通的光流计算一般都要求迭代运算，所以比较耗时，而且一般情况下，精 度越高的光流算法计算代价就越大，不利于实际检测的应用。 ( 3 ) 基于图像变换的方法 基于图像变换的方法是利用某种形式的变换来实现目标的检测。最典型的一种方法 是基于傅立叶变换的方法。通过对图像进行傅立叶变换，运动目标的频谱幅度不变，而 相位谱变化是一个常数。利用这一性质，通过相位相关算法来估计目标的运动特性，计 算相邻帧间的相位角差来估计空间域中目标的位移。文献【g j 提出一种在傅立叶和h o u g h 变换空间检测运动目标的方法。另一种变换方法是基于小波的，因为通过小波信号分析 可以得到信号的时间和频率的信息，用它做图像域的分析是一个非常便利的工具。 2 硕士论文 复杂环境下的运动目标检测技术研究与实现 c a s a s e n t 等人【9 j 将反映方向与空间频率的小波与g a b o r 系数组合在一个框架下，用于目 标的检测。文献l l o 儿1 1j 也都是使用小波的方法对序列图像进行分析，进而完成了运动目 标的检测任务。 ( 4 ) 基于高阶统计的方法【1 2 j 它包括高阶累积矩和高阶矩，它具有从高斯信号背景下提取出非高斯信号的独特优 点，是研究非高斯过程、非最小相移系统和非线性系统的有力工具。实际中的许多信号 具有非零的高阶统计量，且噪声呈现高斯分布，因而基于高阶统计的方法比二阶的方法 更不易受到高斯背景噪声的影响，可用来提取高斯噪声中的非高斯信号。对于视频数字 图像来说，区分运动区域与背景是在一个估计场中进行的，由于运动目标的出现，相邻 的两帧图像的帧差相当于一个零均值的、对称的概率密度函数，所以其概率分布与高斯 信号函数相差较大。在帧差中由噪声、亮度变化引起的随机变化、渐变的背景纹理都相 当于高斯信号，所以可以利用图像信号的四阶累计或者四阶矩来提取运动区域。要初步 地将运动区域提取出来，则要先计算局部估计的帧差零延迟四阶矩，自适应地设定与背 景相适应的变化阈值，将计算出的四阶矩与此阈值相比较，然后确定运动区域和背景， 从而分离出有别于背景波动和噪声的运动区域。 ( 5 ) 基于人工神经网络的方法 它主要是模拟人脑神经元结构，是一个具有高度非线性的超大规模连续时间动力系 统，同时又具有一般非线性动力系统的共性。因此实际上它是一个超大规模非线性连续 时间自适应信息处理系统。文献【1 3 】提出了一种基于m r b f 神经网络的运动物体检测分 割算法。将图像分为矩形块，每个块对应一个5 维特征向量，该向量描述了位置，灰度 级和局部运动信息。该算法对此5 维向量进行分类，分类的原则是基于贝叶斯理论和参 数空间中的距离表述，运动场景被分为相应的运动区域。这个两层的前馈神经网络的每 个输出被定义为一个运动目标。 1 3 研究内容安排 本文主要研究复杂环境下的运动目标检测技术及其实现。 在第一章中阐述了运动目标检测的背景概况、现实意义和研究现状，并简要总结了 现有比较成熟的运动目标检测方法。 第二章分析了基于差图像的目标检测方法。对帧间差分、背景差分、差分图像的二 值化阈值选取以及目标提取技术做了系统而又全面的分析总结。给出了一种双阈值的差 分图像分割方法。 第三章对多种背景模型做了系统的分析，并结合实验指出了各种背景模型的优缺 点。通过本文的研究和实验发现仅仅通过一种背景模型进行复杂环境下的目标检测，其 效果并不理想，鉴于此提出了一种多种背景模型检测结果融合的策略，并在文中给出了 3 1 绪论 硕士论文 相应的融合策略描述。同时分析了基于颜色空间的阴影抑制方法，对几种常用方法做了 对比分析，并给出了本文使用的阴影抑制方法。 第四章提出了一种基于w a t e r s h e d 的目标检测方法，并给出了它的详细实现过程、 实验结果及优缺点分析。具体的说，该方法就是采用w a t e r s h e d 算法先对背景或待检测 图像进行分割得到一个个的小区域，然后通过对分割后的小区域进行综合分析来判断目 标的有无。该方法由两种具体的实现形式：基于背景分割的方法和基于序列图像分割的 方法。前者首先需要构建一幅背景图像，然后对背景图像进行w a t e r s h e d 分割，分割得 到的小区域以非参数估计或者多高斯分布的模型方式进行表示，目标的有无依据当前区 域值与模型的符合程度进行判断。后者则是对待检测的图像进行分割，先找出粗略的目 标区域，然后做筛选过滤，最后以区域合并的方式得到完整的目标区域。两种方法各有 优缺点，前者速度快，后者获得的目标区域完整。 最五章为总结与展望，对本文的研究工作做了总结，并对运动目标检测技术的发展 做了展望。 4 硕士论文 复杂环境下的运动目标检测技术研究与实现 2 基于差图像的运动目标检测 2 1 引言 现实之中人们所感知的外界信息中，由眼睛获取的视觉信息占据了很大的部分，而 其中的动态视觉信息更是包含了大量的有用信息。依据运动视觉信息人们就可以做各种 各样的判断，它的用途是很广泛的。因而感知理解环境中的动态视觉信息也就成为了计 算机视觉的一个重要研究方向。 使用计算机进行动态视觉信息分析的首要任务是检测出序列图像中的运动目标，这 种检测依据摄像机的运动状况可分为两种情形：动态背景下的运动目标检测和静态背景 下的运动目标检测。前者是在摄像机运动的情况下进行的检测，其视场中的目标也会发 生运动，两种运动模式的相互混合给目标的检测带来了很大的困难。目前基于动态背景 的目标检测得到了广泛研究【1 4 】【1 5 】，比较常用的方法是利用全局运动估计的方法计算出 背景的运动参数，然后对背景进行运动补偿，从而将动态背景转化为简单的静态背景， 然后就可以利用静态背景下的检测方法检测目标；还有学者提出了基于光流的方法1 7 j ， 它也能够很好的解决背景运动情况下的目标检测问题；后者则是在摄像机固定并且始终 对准一个区域情况下的检测。静止背景下的运动目标检测同样得到了大量的研究，已经 有很多非常稳健成熟的方法i l 】1 1 6 】【1 7 】【1 引。但是静止背景下的目标检测也存着许多困难，比 如场景中固有物体的周期性运动( 树木的晃动) 、物体边缘的反光、传感器获取图像及图 像传输的过程中引入的噪声等不利因素，均给目标的准确检测带来了困难。虽然如此但 它却具有重大的实用价值，研究快速、鲁棒并且简单的检测方法就成了许多研究人员努 力的方向。本文也主要研究静态背景情况下的目标检测方法。 检测图像中是否有运动目标变化最直接的方法就是图像差分对比，通过分析差分图 像就可以判断出运动的有无，此过程一般可分为如图2 1 所示的几个步骤。 差分图像 形态学滤波 j日坛楗砷 图像差分 目币小了砸吒 二值化连通性分析 图2 1 目标检测的一般流程 首先将待检测图像与背景图像或相邻的帧图像做差分；其次选取合适的阂值分割差 分图像，将差分图像分成背景和目标两部分；再次是应用形态学滤波及连通性分析的方 法对二值图像进行处理，去除一些噪声点、块及虚假区域；最后进行目标区域的提取。 2 基于差图像的运动目标检测 硕上论文 这种基于差图像检测运动目标的方法出现的较早，而且具有快速、实用的特点，得到了 大量研究和应用。图2 1 中的图像差分运算可以细分为两种形式：待检测图像与相邻若 干帧图像间的差分以及它与背景图像的差分。因而就形成了两种基于差图像的目标检测 方法：帧间差分方法和背景差分方法。本章以下内容分析基于差图像检测运动目标的具 体实现过程。 2 2 差图像分析 图像中存在运动目标在很大程度上会引起图像的变化。而运动检测中的一个基本依 据是图像强度的变化，可以用两图像的差分来表示强度的相对变化，图像差运算定义为 ，i ，= ，一，( 2 2 1 ) 式( 2 2 1 ) 中。，为差分图像，分别为f ，j 时刻的两帧图像。式( 2 2 1 ) 计算的结果 中可能会有负强度值的出现，为了便于后续处理工作，人们一般取两图像的绝对差分以 表示场景中由运动引起的变化，在本文中的差分运算如不特别说明都是指绝对差分，并 用式( 2 2 2 ) 表示 ，j = k i ，i ( 2 2 2 ) 式( 2 2 2 ) 的运算只涉及两图像对应像素点强度的相减运算，因此这种运算是相当简 单、快速的，适合并行实现。 经过上面的差分得到的差图像如果在理想的情况下其灰度值不为零的像素点都将 属于运动目标区域。但实际情况并非如此，在图像采集、传输过程中总会有噪声等因素 的干扰使得两图像中非运动目标区域的像素灰度值也发生了变化，其导致了差图像中出 现了很多灰度值不为零且又不属于真正目标的像素点，它们给目标的提取带来了干扰。 为了得到真实的目标区域，通常的做法是分析差图像选择合适的阈值掰，对差分图像 进行阈值化处理，将差图像中灰度值大于等于尉的像素归类为运动变化区域，剩余的 归类为背景区域，用公式表述其形式为 啪，= f 裂；财 亿2 固 式( 2 2 3 ) d f li b ( x ，y ) ，( x ，y ) 分别为二值图像和差图像中g ，j ，) 处的像素灰度值，并且 在这里我们设置目标像素灰度值为2 5 5 ，背景灰度值为0 。 阈值化处理后得到的二值图像中不但包含了真实的目标而且还有噪声区域，这是因 为单纯的阈值处理并不能滤掉所有的噪声，后续还需要形态学滤波、连通性分析等处理 步骤才能得到更加可靠的目标区域。 6 硕士论文复杂环境下的运动目标检a i 技术研究与实现 2 3 帧问差分方法 帧间差分法是通过两图像间对应像素点的灰度差分来实现运动检测的，当场景中出 现物体运动时，帧与帧之问会表现出像素强度的变化，差分后它们的相对变化将体现在 差分图像中。其计算公式为式( 231 ) 。 ”l = h 一一1 l ( 23 1 ) 差分的两幅图像可以是相邻的也可以是相隔一定时间的两帧。这种方法的优点是： 宴现简单，速度快。当帧间采集的时间间隔相对较短时，光照、背景不会发生很大的改 变，使得检测的结果有效而且稳定，能够适应动态环境。 取l a b o r a t o r y 序列图像中相邻的两帧图像做帧间差分，其检测的结果如图2 31 ( c ) 所示。 人露i abc 图2 3 1 帧间差分( a 第1 5 5 帧，b 第1 5 6 帧，c 差分检测结果) 图2 31 ( a ) 与图2 31 c o ) 两图像中，由于行人的运动幅度不是很大，它在两帧中重叠 部分的像素值没有发生太大的变化，所以在图2 3 1 ( c ) 中这一部分没有被检测出来。由 此可以看出对于慢速运动目标，当它在两帧中有重叠部分时，检测到的将会是两帧中发 生了明显运动的部分，不能够得到完整的目标区域，容易引起目标内部空洞的出现。 另外从两帧差分的结果中无法判断出目标的运动方向和精确位置；检测出的区域不 仅包括了目标也包括了被目标遮挡后重现的背景，获得的目标区域比实际的目标要大一 些：对于快速运动的目标当它在两帧中运动到完全不同的位置时，将被检测为两个目标。 为了解决这些问题可以使用改进的差分形式。在文献 1 9 1 中给出了一种三帧对称差分的方 法，它按照图23 2 给出的形式进行差分检铡。 郭刊蚓萨一隧l 2 基于差图像的运动目标检测硕论文 图2 32 三帧对称差分形式 它的具休步骤为： ( 1 ) 取t + i ，t ，t - 1 时该的三帧图像小，h ，然后阻，为中心分别求其与相邻两帧的 差分得到 j + - = k 一一。 ( 23 2 ) w = l 。- l i ( 233 ) ( 2 ) 选择合适的阐值按式( 223 ) 分别对差分图像h ，“做阈值分割处理t 分别得 到二值图像 p ，f - 1 ) ，0 + l ，f ) 。 ( 孙将二值图像进行与运算求取两者的交集，作为展终的目标区域。 ，r = l b ( r ，r 1 ) i t , ( f + 1 ，f ) ( 234 ) 仍然取l a b o r a t o r y 序列中的三帧图像做对称差分检测，其结果如图2 33 ( d ) f f 际。 巨 d 图2 , 33 三帧对称差分检测( a 第1 5 4 帧，b 第1 5 5 帧，c 第15 6 帧，d 为检测结果) ，k 人。凹副矗 硕论文显杂环境下的运动目标检测技术研究与宴现 图233 ( a ) 与图2 33 ( b ) 的差分圈像，以及图233 ( b ) 与图233 ( c ) 的差分图像都使用 本章第2 62 节给出的职阈值化方法进行二值化，然后对两幅二值化图像分别做形态学 滤波及区域填充，最后相与的结果为图233 ( d ) 。由最终的结果也可以看出三帧对称差 分求得的目标更为准确。 但是上面的方法也有一个不足在获取了当前一帧图像后，就以它的前一帧图像为 中心，求它与两侧相邻帧的差分，这样得到的结果将是前一帧中的目标区域，导致检测 有一帧的延迟时间，因此可以对它做一些改变按图234 所示的形式求运动目标区域。 图2 34 改进的三帧差分形式 阻h a l l 序列图像i _ | _ 】的三帧进行改进的三帧差分检测，其结果如图2 35 ( d ) 所示。 癍必氡必宣藿 b i d 图2 35 改进的三帧差分检测( a 第3 3 帧b 第3 4 帧，c 第3 5 帧，d 检测结果) 这里的改进之处在于：获得了当前图像后将其与它前面的两帧图像，m 分别 2 基于差图像的运动目标检测 硕士论文 差分得到t 卜。，一，分别选择合适的阈值对卜。，f t , t - 2 进行阈值化处理得到两幅二值图 像，再经过形态学滤波、目标内部的空洞填充，最后求两幅二值图像的交集区域就可以 得到当前图像中的目标区域。这个改进可以克服三帧对称差分一帧时间延迟的不足。 2 4 背景差分方法 基于背景( 也称参考图像) 的差分【4 1 】【4 2 1 是一种普遍应用的方法，它将待检测图像与被 估计出来的与实际场景最为接近的背景参考图像进行差分，能够完整的提取出运动目标 区域，准确的判定目标的位置以及运动速度等信息。背景差分的计算公式为 i t b = l t ib ( 2 4 1 ) 式( 2 4 1 ) 中的j 。为背景图像，l 为当前待检测图像，。为背景差分图像。 背景差分方法的关键之处在于如何构建与实际场景最为接近的参考图像及其更新 保持策略，可以说背景的好坏直接影响到目标检测的成败。t o y a m a 等人在它的文章【2 川 中详细的讨论了背景建模方法中的些问题，他们指出理想的背景模型应该能够处理以 下的几个问题： ( 1 ) 场景中静止物体的移动。当场景中原先静止的物体开始运动，或者场景中的静 止物体被移到另一位置保持静止，都会造成检测的错误。在智能监控系统中，复杂环境 下的背景常常发生变化，这给背景模型的更新带来了困难，例如停车场中停止很长时间 的一辆车开走了，如果没有对背景进行及时更新，原先停车的区域会被一直误检为运动 前景目标，产生虚警。理想的背景模型应该具有自动更新能力以及合适的更新速度，并 能根据不同环境调节背景的更新速度。 ( 2 ) 运动物体停在场景中。原先运动的物体现在停在场景中，既可能是行人作短暂 驻足停留，也可能是车辆长时间停止，是否把这些原先运动的目标看作背景的一部分往 往需要折中考虑。它们对背景模型根据场景实际情况，自适应地调节更新速度提出了苛 刻的要求。如果运动目标内部颜色相同或运动速度较慢，过快的背景更新速度会使检测 出的运动前景目标内部出现空洞，背景模型则可能出现拖影现象。 ( 3 ) 光照的变化。它主要是自然光照的渐渐变化，以及如室内的开关灯、室外的天 气阴晴变化等原因造成的光照突变。实际应用中场景光线不是恒定不变的，天气的变化 以及人为的原因都会造成光照强度的变化，即使在一天的不同时段光照强度也会不同， 如果背景模型对光线变化不能有较强的适应性，就难以达到理想的运动目标检测效果。 由于进行运动目标检测的背景差分方法对光照比较敏感，若背景模型不能对光照的变化 进行自适应的更新，也无法得到满意的检测效果。 ( 4 ) 场景的扰动。例如复杂场景中有摆动的树枝树叶、室内闪烁的显示器、水面的 波动等。在这种情况下，大量背景像素点的像素值会频繁改变，如果背景模型不能抑制 l o 硕论i夏杂环境下的运动日标榆i 9 技术研究与实现 这些像素值变化的干扰，将会使检测出的运动前景出现大量噪声。此外，在实际应用中， 摄像机的震动也会影响到运动目标检测的精度，为保证目标检测系统在各种室内外环境 下全天候地工作，得到准确的检测结果，背景模型必须具有良好的抗干扰性。 ( 5 ) 运动日标投下的运动阴影。运动阴影的色彩特性通常与背景相差较大，且随着 运动目标起运动，往往被检测为运动目标的一部分，如何有效地检测抑制运动阴影也 是一个困难的问题。 ( 6 ) 背景的初始化。背景图像的获取最简单的方法是在场景没有运动目标的情况下 进行但在某些应用场合无法满足这种要求。在文献“中对这一问题进行了详细分析。 为了最大程度的解决上面的问题人们对背景的生成及更新保持问题做了大量研究， 并目提出了许多种背景模型方法。一种最简单的方法是以序列图像在时间上的平均作为 背景，可以称它为均值背景模型。r o s i n 等”蛤出了中值背景方法，它是对一段序图像 进行中值滤波，即从每帧图像中相同位置处的像素值组成的集合中取其中值，作为背景 该点处的像素值。单高斯背景模型口4 为每个像素点建立一个高斯分布以表示背景变化， 它适用于背景是单模态的情况。混合高斯模型是一种参数估计期望最大化的算法，它 用若干个高斯函数描述背景，它适用于背景为多模态的情形，能够很好的处理水面波动、 树木的晃动、飘扬的旗帜及显示器的闪烁等复杂的背景物体周期性运动问题。r i d d e r 【玎i 等人将卡尔曼滤波理论应用到背景建模中，它将图像背景序列中的灰度值变化过程描述 为一个信号处理系统，该系统状态由一维的灰度差值柬代表。这种方法能够适应天气和 光照的变化，克服了运动速率发生变化时的运动不连续问题。虽然出现了如此多的方法， 却没有一种方法能够完全处理上述的六个问题，可见对背景建模方法还需要继续深入的 研究。 在众多的背景建模方法中中值背景生成方法应用较为广泛，它具有稳定的性能， 而且在多数情况下有很好的检测效果。图2 41 ( c ) 是使用中值背景方法进行检测的结果。 图2 41 ( a ) 是由l a b o r a t o r ) _ 序列中连续的5 0 帧图像经过中值滤波后得到的背景图像，图 2 41 ( c ) 是经过阐值化及形态学滤波处理后的二值图像，其分割的闽值为差分图像的均值 加一倍的均方差，从中可 三c 看出检测出来的目标较为完整。 图2 4 l 背景差分( a 中值背景图像，b 第1 5 6 帧。c 检测结果) 擎艮 2 f 差图像的运动目标检椰 硕论i 由于图2 41 ( b ) 中的目标在运动的过程中投射出了轻微的影子，所以在图2 41 ( c ) 中 影子也被当作目标检测了出来，由此也看出有时直接的图像差分并不能有效的提取出目 标。为了解决这一问题，可以将背景图像与当前图像都转化为梯度图像，以梯度图像的 差分方式检测e l 标”。将图2 4l ( a ) 及图2 41 ( b ) 都转化成s o b e i 梯度图像后两梯度图 像差分检测的结果如图2 42 扣) 所示。 图2 42 梯度圈像差分检测( a 背景梯度图像b 第1 5 6 帧梯度图像，c 检测结果 从图2 42 f c ) 可以看出对背景和待检测图像分别求梯度然后再差分的方法在一定程 度上能够抑制影阴的影响。这是因为在提取了图像的梯度信息之后，利用图像的梯度不 受亮度、量化噪声影响的特点来提取运动目标，可以大大减少这方面的影响。 2 5 帧差分与背景差分的结合 帧间差分方法与背景差分方法在检测的过程中都会出现一些问题，比如帧差法一般 只能检测到物体发生运动的边缘部分，要得到整个物体并不容易；背景差分的方法虽然 能够完整的提取目标，但它对背景的依赖性很强。当原本在背景中的静止物体发生运动 时，新暴露出来的区域会被错误的当成前景而检测出束而且背景需要经过一段时间的 更新才能适应这种变化，从而在一定时间内造成虚警。对于这些问题归结起来主要是园 为：帧间差分法只考虑到序列图像时间上的相关性，没有能利用序列图像空间上的相关 信息，造成检测的结果完整性差且容易受噪声的干扰：而背景差分算法虽然较好地利用 了序列图像空间上的相关信息，但是没有能考虑到序列图像时问上的相关性，往往使得 检测结果中融入太多的背景冗余信息，影响了检测结果的准确性。因此，要提高运动检 测结果的准确性并保证检测结果的完整性，就要充分考虑图像序列在时间上和空间上的 相关性，即是要充分利用视频图像序列的时空信息【4 m 畔j 。 文献”i , v 给出了一种二者混合的方法，其过程如图25i 所示。 硕士论文复杂环境下的运动目标检测技术研究与实现 图2 5 1 帧差分与背景差分检测的混合 它首先用对称的三帧差分法检测运动目标，将运动区域聚为连通的区域，然后再用 自适应的背景差分法完善三帧差分检测的结果，将连通区域内空洞根据当前像素值与背 景差异的大小进行填补。 2 6 差分图像二值化的阈值选取 差分图像中的像素点可以分为两大类：一类是背景点，它们的灰度值为零或近似为 零；另一类是目标点，通常它在整幅图像中所占的比例要小于背景点。为了区分出其中 的目标区域需要选择合适的阈值，将差分图像分割为目标与背景两部分。选取合适的阈 值作为分割目标与背景的门限后，就可以按式( 2 2 3 ) 处理差分图像，大于或等于阈值的 像素判定为目标区域，而其它的则判定为属于背景区域，这种方法对大多数差分图像的 分割效果较好。 从所选取阈值的作用来看，阈值分割算法又可以分为全局阈值【3 8 1 和局部阈值【3 9 1 。 所谓全局阈值就是指在整个差分图像分割过程中，只选取一次阈值，并根据该阂值完成 对整幅图像的两类分割。常用的全局阈值选取方法有图像灰度直方图峰谷法、最小误差 法、最大类间方差法、最大熵自动阈值法等；局部阈值是指在图像的分割过程中，选取 的阈值不止一个，可以根据实际情况选取多个阈值，并根据所选取的阈值完成对图像的 多类分割。 2 基于差图像的运动日标检测 硕十论文 2 6 1 几种阈值选择方法 针对不同的情况出现了很多的阈值选择方法，它们多是基于直方图及其它特征的， 以下是几种常用的方法。 l 、最大类间方差法 它依据的原理是利用类别方差作为判据，选取使类间方差最大的灰度值作为最佳阈 值。设一幅图像灰度范围为0 上一1 级，灰度值i 的像素数为门，则总像素数为 l - i n = t = o 各像素值的概率为 只= r l ，n ( 2 6 1 1 ) ( 2 6 1 2 ) 然后用一个整数t d 将图像中的像素按灰度级划分成两类c 0 和c ，即 c 。= 0 ，1 ，2 ，t d , c 。= 财+ 1 ，t d + 2 ，l 一1 ) ，则c o 产生的概率为： 均值为： r d 0 3 。= 只 l = 0 ( 2 6 1 3 ) t d 胁= i p , o ) o = l t ( t ) c o ( t ) ( 2 6 1 4 ) c l 产生的概率为： l - i c o l = 只= 1 - c o ( t ) i _ 7 h + l 均值为： ( 2 。6 1 5 ) 一l 。= 以c o 。= 阢一( ，) 】 1 一c o ( t ) 】 ( 2 6 1 6 ) = 7 0 + l l l 其中，= i e , 是整体图像灰度的统计均值，并且有= 风+ 缈。 l = o 类间方差为：r = 2 o o ，最佳阈值t d 为 t d = a r gm a x ( 盯；)( 2 6 1 7 ) t d e ( o ，1 ，2 。，三一1 ) 其中 1 4 盯；= o ) o ( o 一) 2 + 缈l ( l 一) 2 = 0 0 0 3 l ( l 一o ) 2 ( 2 6 1 8 ) 它把直方图分成两部分，用两部分的方差表示两类的距离，而方差是样本分布均匀 硕士论文复杂环境下的运动目标检测技术研究与实现 性的度量，方差越大表明样本值相差越大，构成图像的两个部分就越能分的开，因此两 类被错误分割的概率就越小。 该方法简单、稳定有效，使用较多；但它要穷举所有灰度值，计算量较大。当目标 较小或灰度值与背景相近时会有很大的问题，即分割出的目标区域混杂了背景，其主要 原因是，最大类间方差法选取的阈值偏向于比例较大的部分。 2 、迭代的阈值选取法 它是一种使用多次迭代选取最优分割阈值的方法。首先在灰度范围内选取一个近似 阈值作为估计的初始值，然后进行分割，产生子图像，并根据子图像的特性来选取新的 阈值，再用新的阈值分割图像，如此循环，使错误分割的图像像素点最少，最终实现分 割。迭代算法步骤为 ( 1 ) 在图像，；中选取一个初始阈值 t d o = 【g 一+ g m i n ) 2 ( 2 6 1 9 ) 式( 2 6 1 9 ) 中g 咄，g 血分别表示图像中灰度的最大值与最小值。 ( 2 ) 利用阈值t d k 把图像分割成蜀，r ：两个区域，其中 r l = 1 i ( x ，y ) i ( x ，力t d k j ( 2 6 1 1 0 ) r 2 = 讧( x s y ) l ( x ，力 t d k j ( 2 6 1 1 1 ) 式( 2 6 1 1 0 ) 及式( 2 6 1 1 1 ) t 9 的，( x ，j ，) 为图像中( x ，y ) 处的像素灰度值。 ( 3 ) 计算区域r 。，r ：的灰度均值 g 1 = 吉( 训) ( 2 6 1 1 2 ) “1j ，) ，e 局 g 2 = 寺( w ) ( 2 - 6 1 6 1 3 ) o 2j 。y g r 2 式( 2 6 1 1 2 ) 及式( 2 6 1 1 3 ) d p l ，n 2 分别为区域尺l ，r 2 的像素数目， ( 4 ) 计算新的阈值 t d m = ( g l + g 2 ) 2( 2 6 1 1 4 ) ( 5 ) 若t d k + 。= t d i ，则结束分割，否则转到第( 2 ) 步继续分割。 3 、均值加均方差法 很多研究表明图像中的噪声可以认为是由高斯噪声引起的。另外根据概率论中的知 识可知一个服从正态分布的变量会有9 9 的值将集中在缸一3 0 - ，+ 3 仃) 的范围内。根据 上面对噪声的假设以及3 盯法则就可以计算出适合的阈值 t d = 以+ k 盯，( 2 6 1 1 5 ) 1 5 2 基于差图像的运动目标硷测 硕士论文 其中 舻击“w ) 旷j 击阶川一肛r ( 26 1 1 6 ) ( 26 1 1 7 、 式( 26 l 1 5 ) 中的k 值对不同的环境需要取不同的值，一般k 取值为3 ，当目标所占 比例较小时效果较好。 分别用上面的几种方法对图2 611 ( c ) 做