（计算机应用技术专业论文）视频序列中运动物体分割的研究.pdf

硕士论文 视频序列中运动物体分割的研究 摘要 视频序列中运动物体的分割作为视频处理的基础，在军事技术、视觉导航、模式识 别、智能监控和视频编码等领域有着广泛的应用。在对一些常用的分割方法进行研究的 基础上，针对背景静止的视频序列，提出了一种基于背景差分和多尺度边缘信息融合的 运动物体分割方法。 为利用背景差分算法得到正确的物体区域，针对背景差分算法对亮度突变敏感这一 问题，主要研究了背景初始化和背景更新方法。首先，采用前景分离的方式、基于改进 的k m e a n s 聚类算法构造初始背景图像；在后续帧的背景构造过程中，为减小场景在短 时间内发生亮度突变而导致的检测错误，提出了一种背景亮度补偿机制；同时，为适应 背景的缓慢轻微变化和背景结构的改变，分别采用了短期和长期背景更新机制以及时更 新背景信息。获得有效的背景后，通过背景差分得到初步的物体区域模板。 由于噪声和运动物体与背景的对比度的影响，背景差分得到的运动物体模板往往不 完整，尤其是物体边缘部分的精度较低。为得到更精确的物体轮廓，根据多尺度图像的 特征优势，结合多个尺度下的物体边缘信息获得比较完整的物体轮廓，从而弥补背景差 分算法的不足。针对阴影对运动物体分割的影响，利用阴影与其背景在h s v 空间的差 异，对分割出的前景像素进行阴影检测，从而去除物体阴影对分割结果的影响。最后， 通过后处理得到精确的运动物体。 关键字：运动物体，背景构造，k m e a n s 聚类，多尺度图像，边缘连接，阴影检测 a b s t r a c t a sab a s i so fv i d e op r o c e s s i n g ，m o v i n go b j e c t ss e g m e n t a t i o ni sw i d e l yu s e d 1 n m i l i t a r yt e c h n o l o g y , v i s i o nn a v i g a t i o n , p a t t e r nr e c o g n i t i o n , i n t e l l i g e n t m o n i t o r i n g ，v 1 d e o e n c o d i n ga n do t h e rf i e l d s b a s e do n t h es t u d yo fs o m ec o m m o n l yu s e ds e g m e n t a t i o nm e t h o d s ， t h i sp a p e rp r o p o s e san e ws e g m e n t a t i o nm e t h o do fm o v i n go b j e c t sf u s i n gt h eb a c k g r o u n d s u b t r a c t i o na n dm u l t i s c a l ee d g ei m a g e si nv i d e os e q u e n c ew i t hs t a t i cb a c k g r o u n d i no r d e rt og e tc o r r e c to b j e c tr e g i o nb yb a c k g r o u n d s u b t r a c t i o na l g o r i t h m , t h e i 1 1 i t i a l i z a t i o na n du p d a t em e t h o d so fb a c k g r o u n dh a sb e e nr e s e a r c h e dt oa i ma ts o l v i n gt h e p r o b l e mt h a tt h ep r o c e s so fb a c k g r o u n ds u b t r a c t i o ni sh i g h l ys e n s i t i v et ob r i g h t n e s sc h a n g e f 破o fa l l ，b yu s i n gt h ef o r e g r o u n ds e p a r a t i o n ，t h ei m t i a lb a c k g r o u n dh a sb e e nc o n s t r u c t e d b a s e do nt h ei m p r o v e dk m e a n sc l u s t e r i n ga l g o r i t h m ；t om i n i m i z et h ed e t e c t i o ne r r o rw h i c h c a u s e db yt h eb r i g h t n e s sd i f f e r e n c eo fs c e n ed u r i n ga s h o r tt i m ei r lt h ep r o c e s so ff o l l o w i n g b a c k g r o u n dc o n s t r u c t i o n am e c h a n i s mo fb r i g h t n e s sc o m p e n s a t i o ni n t h eb a c k g r o u n dh a s b e e nd r o p o s e d ；a tt h es a m et i m e ，t oa d a p tt h es l i g h tc h a n g eo fb a c k g r o u n da n d t h ec h a n g eo f t l l eb a c k 掣o u n ds t r u c t u r e ，as h o r tt i m ea n dl o n gt i m em e c h a n i s mo fu p d a t i n gb a c k g r o u n dt o r e f k s ht h eb a c k g r o u n di n f o r m a t i o nh a v eb e e na d o p t e dr e s p e c t i v e l y a f t e ro b t a i n i n ge f f e c t i v e b a c k g r o u n d ，i n i t i a lo b j e c tt e m p l a t ew i l lb eo b t a i n e dt h r o u g hb a c k g r o u n ds u b t r a c t i o n d u et ot h en o i s ea n dt h ei m p a c to fc o n t r a s tb e t w e e nm o v i n go b j e c t sa n db a c k g r o u n d ，t h e t e m d l a t eo fm o v i n go b j e c t sb yb a c k g r o u n ds u b t r a c t i o na l eo f t e ni n c o m p l e t e 。e s p e c i a l l yt h e a c c u r a c yo fm a r g i n a lp a r t si sc o m p a r a t i v e l yl o w i no r d e rt oo b t a i nm o r ep r e c i s eo u t l i n eo f o b j e c t s t h em e t h o do fc o m b i n i n ge d g ei n f o r m a t i o no fm u l t i p l es c a l e si sp r o p o s e d t oo b t a i n c o m p a r a t i v e l yc o m p l e t eo b j e c to u t l i n e sb a s e do nt h ea d v a n t a g eo fm u l t i s c a l ei m a g e s ，w h i c h m a d eu pf o rad e f i c i e n c yo fb a c k g r o u n ds u b t r a c t i o na l g o r i t h m f o c u s i n go nt h ei m p a c to f s h a d ed u r i n gm o v i n go b j e c ts e g m e n t a t i o n t h es h a d ed e t e c t i o nh a sb e e nn m t og e tr i do ft h e i m p a c to fo b j e c ts h a d eb yu s i n gt h ed i f f e r e n c eb e t w e e ns h a d ea n db a c k g r o u n di nt h eh s v s p a c e f i n a l l y ，t h ep r e c i s em o v i n go b j e c t sh a v e b e e ns e g m e n t e dt h r o u g h p o s t p r o c e s s i n g k e yw o r d s ：m o v i n go b j e c t b a c k g r o u n dc o n s t r u c t i o n ，k m e a n s c l u s t e r i n g ，m u l t i 。s c a l e i m a g e ，e d g el i n k , s h a d ed e t e c t i o n 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 硕士论文 视频序列中运动物体分割的研究 1 绪论 1 1 课题的研究背景与意义 视觉感知是人类获取信息的主要途径，人们通过快速分析从视觉系统获取到的大量 图像，从中抽取主要信息并指导人们进行分析判断。近年来，随着计算机技术的发展和 应用的多样化，人们对图像尤其是连续的视频图像序列的需求越来越大，这也激发了人 们对视频图像处理技术不断研究的兴趣。 视频分割是视频处理研究的基础和重点，它将视频序列图像按一定的标准分割成不 同的区域，并从中提取出人们感兴趣的或有一定意义的实体，这些实体通常被称为视频 对象( v o ：v i d e oo b j e c t ) 。视频序列中运动物体的分割主要是提取出场景中的运动实体。 这一过程借助模式识别、计算机视觉、图像处理等相关领域的知识使底层的视频处理过 渡到更高层次的视频分析和理解，它在军事技术、机器人视觉导航、模式识别、智能监 控、医疗诊断等领域得到广泛应用【1 1 。特别是在新一代视频编码标准提出和多媒体应用 多样化后，序列图像中运动物体的分割在视频应用中更普遍，由此也引起了人们对这一 研究领域的更多关注。 在军事和国防安全领域中，常常要对军事目标进行分析、判断、跟踪、识别等。这 一系列处理过程中，连续的视频图像是主要的信息载体。首先要从连续拍摄的图像序列 中分离出场景中的各个目标，再对每个目标分别进行处理。因此只有精确的物体分割才 能为后续的目标分析、识别或跟踪等提供必要的依据。在机器人和其他控制导航系统中， 系统通过实时拍摄的序列图像来获取周围环境和目标的状态信息，及时分析判断以调整 机器人的前进速度和姿态以及导航系统参数等。 在模式识别的研究案例中，也经常涉及到运动物体的分割。模式识别是在6 0 年代 初迅速发展起来的- - i 1 学科，它研究的主要目的是使计算机具有分析场景、提取信息并 对获得的事物或现象做出判断的能力。最近备受关注的字符识别就是模式识别的一个重 要方向，并应用在了车牌自动识别系统中。系统首先在视频序列中检测车牌区域，然后 在该区域分割出其中的各个字符，再对字符进行匹配、分析。序列中字符分割的准确度 直接关系到整个系统的性能好坏。 在一些特殊场所中，如商场、银行、机场等，出于安全或其他原因考虑，需要实时 了解周围环境的变化或发生的事情，并及时作出反应。目前常采用的方式是通过摄像机 实时采集场景图像，然后从摄像机采集的视频序列中分割出主要目标，再进行识别、跟 踪等。近些年，随着对交通等基础设施的投入加大，轨道交通技术【2 1 也迅速发展起来， 其研究范围涉及轨道检测、车辆检测跟踪等多个方面。其中，运动对象的精确分割是轨 道交通技术应用的基础。同样，采用视频监控手段的公路交通智能化系统也需要首先从 1 1 绪论硕士论文 视频图像中分割出行道线、车辆等，然后对各种情况分析判断。要为后续的分析提供可 靠的依据，精确的视频分割就是必不可少的。 在医学领域中，研究生物组织如人体细胞或器官的运动图像是解释和分析医学图像 数据的主要途径，也是病理分析的主要依据来源之一。 近年来，多媒体技术飞速发展。为了在多媒体应用中提高视频图像的压缩率和传输 速率，m p e g 组织提出了新一代视频编码标准m p e g - 4 【3 l1 4 1 。m p e g 4 采用了一种新 的基于视频对象的方式来表达多媒体视频内容，以此来实现高的编码率和基于内容的功 能。m p e g - 4 基于对象编码视频数据，视频图像被看作是多个不同的语义目标的集合。 编码时，首先分割出图像中的各个对象，对每个对象用几组参数表示，然后对参数进行 不同的编码，从而在一定的图像质量要求下提高视频压缩比。新编码标准的另一个重要 特点是提供了基于对象的交互功能，允许用户根据自身要求查看或操作场景中的特定对 象。由此可见，视频编码及交互的前提都要首先得到序列中的各个对象，而对象的分割 一直都被认为是一个具有挑战性的问题，在不同的场景下要分割出语义上的对象就更困 难了。m p e g - 4 标准规范了整个视频应用框架，但对应用中核心和基础的语义物体分割 却未提供明确的算法，对这一问题也一直没找到满意的解决方案。要推动m p e g 4 标准 的发展和应用，视频序列中运动物体的分割就是一个重要的研究课题。 互联网技术的迅速发展也带动了数字电视、网络视频点播等宽带多媒体服务的广泛 应用。在视频节目的后期制作过程中人们往往采用视频编辑等手段来增加一些视频信 息，比如在原始视频中插入一些文字或图像，并使插入的内容尽量自然的融入实际场景。 采用这种策略，我们可以在电视节目中实现虚拟广告的无缝插入，从而降低真实广告的 制作成本。使用者根据现场直播的地理环境，预先设计虚拟广告的插入位置，在视频播 出或后期制作中，将虚拟广告无缝地融合到视频或图像中，并使添加的虚拟广告随视频 中场景的变化而同步变化，给观众以现场实物的真实感觉。为了使虚拟图像的插入具有 真实感，插入的虚拟图像就不能遮挡视频序列中的运动物体。因此，视频运动对象的有 效分割便成了其中的关键的技术。 视频图像分割根据低层的视觉信息提取序列图像中的目标，为后续的目标识别、目 标跟踪和图像理解等高层处理提供必要的依据。视频图像中运动物体的分割直接关系计 算机视觉处理、基于内容的视频编码和视频检索以及多媒体服务的质量和效率，有着广 阔的应用前景，研究视频图像分割具有非常重要的现实意义和应用价值。 1 2 课题的研究现状 视频对象分割技术应用广泛，人们对这一领域的研究也不断深入。基于内容的视频 编码标准和检索功能提出后，视频对象分割成为多媒体应用的研究热点。目前，国内外 学者针对不同问题提出了不同的分割方法，并取得了大量成果。但由于视频序列的场景 2 硕十论文 视频序列中运动物体分割的研究 和内容千差万别，不同应用中的需求也各不一样，因此到目前为止还没有一种有效通用 的运动物体分割方法，即使对分割所使用方法和技术的分类也没有统一的标准。 根据方法使用的主要信息，视频运动对象分割大致可分为两类：主要基于运动信息 的分割和联合时空信息的分割【4 1 。基于运动信息的分割主要利用视频序列中运动物体的 运动信息，比如通过计算运动物体的运动参数或检测视频序列中由物体运动引起的变化 等来提取运动目标。基于时空信息的分割算法综合利用视频序列的时间特性和空间特 性，通常使用序列图像中的运动信息获得粗略的运动物体区域，再联合区域、边缘等空 间信息来增强和修正分割结果。基于时空信息的分割算法结合了视频序列时间上的帧间 连续性和空间上的帧内相关性，分割结果比基于运动信息的分割结果精确，目前这种思 想也得到广泛的研究和应用。 根据分割过程中人工参与的方式和程度，运动对象分割可分为自动分割和半自动分 割两判5 1 。自动分割在分割的整个过程中完全由计算机自动地从视频序列中提取运动对 象；半自动分割方式则需要在人的交互下，或者在运动物体分割之前人工给出粗略的分 割，或者结合人的主观分析指导分割过程或修正分割结果。自动分割无需人的参与，可 以自动提取运动物体，工作效率较高，但由于视频场景多样，运动物体与所处环境的纹 理、颜色、运动条件等各不相同，自动分割的结果随场景的变化较大；半自动分割在用 户的交互下，结合人的主观认知，可以大大改善分割效果，但人的参与也导致其实时性 能严重下降。目前，在实时传输、视频监控等实时系统中，自动分割己经成为首选的方 向。 根据视频分割是否借助数学模型实现来看，可将运动物体分割方法分为非模型化的 分割方法和模型化的方法【2 】。模型化的分割方法通过建立视频序列的时域或空域上的数 学模型，利用数学模型，并结合能量函数提取语义物体。目前，研究较多的有高斯背景 模型，贝叶斯统计模型，时空域的马尔可夫随机场模型，g i b b s 随机场模型等。在利用 背景差分检测运动物体时，高斯背景模型是常用的一种背景建模方法；部分学者还通过 贝叶斯模型学习，计算像素或区域分割标记的后验概率，依此判断像素或区域的所属类 别。还有的利用马尔科夫随机场或g i b b s 随机场建立视频序列的空间和时间联系，通过 学习确定分割结果。对视频序列建立合适的数学模型，可以为运动物体的分割提供良好 的理论基础，从而得到符合要求的语义物体。但为不同的应用提供合适的数学模型还需 要进一步探索，而且常用的数学模型相对也比较复杂。 根据分割的目的不同，运动物体分割可以分为用于视频编码的分割和用于内容交互 的分割。在视频编码中，为了提高视频的编码质量和效率需要分割出各个视频对象，但 对分割的精度要求不是很高，因此分割主要基于图像的较低层次特征来实现；后来，随 着人们对多媒体应用的要求越来越高，尤其是第二代编码标准提出后，基于内容的视频 交互和检索提供对语义物体的操作，这就要求分割出的对象要是准确且有意义的物体。 1 绪论硕十论文 因此，用于内容交互的视频对象分割要充分利用视频序列的各种特征信息，分割出精确 的物体对象以满足实际需要。 多年来，视频对象分割都是人们研究的一个热点。在不断的研究过程中也取得了大 量成果，并在实际中解决了很多问题。但由于应用环境的复杂多样和应用要求的变化， 在视频序列中分割运动对象仍是一项极具挑战性的任务，也还存在一些亟待解决的难 占 ( 1 ) 在视频序列中进行物体分割时要求提取出有意义的语义物体，但在不同的应用场 景和需求下，人们对有意义的语义物体这一概念的理解是不同的。在复杂的场景中明确 定义语义物体更是困难。因此，在不同的应用中，如何让计算机理解有意义的语义物体 是我们面对的首要问题。 ( 2 ) 实际应用中，视频序列是多种多样的，其中的场景也千变万化。加之图像分割本 身的病态性，我们很难得到用于视频序列中运动物体分割的通用算法。 ( 3 ) 视频场景中，光照、亮度等变化对现有的运动物体分割算法影响较大，在背景复 杂、摄像机旋转、物体运动突变等情况下，分割效果也不尽理想。同时，场景中物体的 投射阴影也极大地影响了运动物体分割的精度。 ( 4 ) 对视频的处理通常要求具有实时性，视频序列中的运动物体分割往往是视频处理 系统的基础，这就要求运动物体的分割要在较短的时间内完成。然而，为了得到精确的 分割结果，分割算法通常要综合利用多种信息来提取目标。因此，算法一般都比较复杂， 需要经过多步处理过程，相应地就要增加处理时间，从而限制了算法的实时处理能力。 如何在实时处理的要求下提高分割精度需要我们进一步研究。 ( 5 ) 一种算法或一个系统的处理结果在质量、效率等方面都需要进行客观的评价，并 为我们进一步改进算法提供帮助。然而，在运动物体分割方面，目前还没有一个有效通 用的评价标准，实际中人们较常用的就是将分割结果与给定的参考模板进行比较。 视频中运动物体的分割为视频序列的广泛应用奠定了基础，在特定的应用中也提供 了较好的分割结果，然而在其他一些场景下的分割效果还有待提高，因此视频序列中运 动物体的分割还需要进一步的研究和探讨。 1 3 本文的主要研究内容 在学习和总结已有的运动物体分割方法基础上，本文针对视频序列背景静止的情 况，联合背景差分和多尺度边缘信息来实现视频序列中运动物体的分割，最后对实验结 果进行了比较分析，并将分割结果应用在真实视频场景与虚拟图像融合中。 为得到准确有效的参考背景，本文研究了背景初始化和背景更新机制。首先，利用 前景分离的方法，基于改进的k m e a n s 聚类算法构造初始背景。在背景更新时，针对背 景差分算法对亮度突变极其敏感这一难题，提出了一种背景亮度补偿机制；同时，对通 4 硕上论文视频序列中运动物体分割的研究 常的自动背景更新算法进行改进，根据背景区域各像素的变化程度选择不同的背景更新 因子，以适应不同程度的变化。在实际场景中，往往会有物体的移出或侵入。为将变化 后新的背景信息更新到背景模型中，本文借助帧差累积标记和背景累积标记，提出了长 期背景更新的方法。然后，利用得到的背景信息，通过背景差分得到运动物体的大概区 域。 由于噪声和运动物体与背景的对比度的影响，仅仅利用背景差分通常不能得到完整 或精确的物体。文中充分利用多尺度金字塔图像的优势，利用多个尺度下的物体边缘信 息，指导物体的边缘连接进而得到比较完整的物体边缘。最后，联合背景差分和物体边 缘分割出完整的运动物体区域。 视频序列中，物体的阴影随物体一起运动，同时阴影使其所投射到的表面变暗。因 此，在前期的运动物体分割中往往会将阴影作为运动物体提取出来。为了分割出精确的 物体部分，我们对检测出的前景区域进行阴影检测。根据阴影的性质，在h s v 空间根 据各像素颜色分量与对应背景的颜色分量差异来判断前景像素是否属于阴影，从而去除 物体阴影的影响。最后，通过后处理得到精确的运动物体。 最后，利用视频序列对算法进行验证，并根据视频中的运动物体分割结果，在场景 中插入虚拟的图像。 1 4 本文的结构安排 本文主要研究了视频序列中的运动物体分割方法，全文共有六章，其主要内容如下： 第一章为绪论，概要阐述了本文课题的研究背景和意义，目前课题的研究现状和研 究难点。最后介绍了本论文的主要工作和结构安排。 第二章详细介绍了目前一些典型的运动物体分割方法，主要介绍了基于光流法的运 动物体分割及其原理、基于变化检测的运动物体分割方法和联合时空信息的分割方法， 最后简单介绍了交互式的运动物体分割。 第三章详细阐述了基于背景差分的运动物体分割。首先介绍了几种常用的背景模 型。然后着重讨论了基于改进的k m e a n s 建立背景的方法以及背景更新机制，包括背景 亮度补偿算法、短期背景更新和长期背景更新机制。最后，利用o t s u 算法分割背景差分 图像得到初步的运动物体模板。 第四章主要研究了联合背景差分和物体的多尺度边缘信息提取运动物体的过程。在 讨论目前常用的图像分割算法基础上，针对物体与目标对比度低的情况，提出了联合多 尺度图像信息提取物体边缘的方法，并联合背景差分和物体边缘信息提取出边缘精确的 物体区域。最后根据阴影的特性，在h s v 颜色空间，对检测出的运动前景像素进行阴 影判断，从而排除物体阴影的影响。 第五章主要利用视频序列对提出的算法进行验证，并对实验结果进行分析。同时， 5 1 绪论硕上论文 6 根据运动物体的分割结果，指导视频序列中虚拟图像的融合。 第六章对全文总结，并对今后的研究方向进行展望。 硕上论文视频序列中运动物体分割的研究 2 运动物体分割算法介绍 作为计算机视觉、基于内容的视频编码和检索以及多媒体应用的基础，一直以来视 频序列中的运动物体分割这一课题就受到人们的广泛关注。由于所要解决的问题的多样 性，人们提出了多种不同的分割方法。但总的来说，要提取出视频序列中的运动物体需 要经过以下几个主要的处理过程：( 1 ) 简化图像，对获得的每帧图像进行滤波如采用中 值滤波，高斯滤波等去除噪声影响；( 2 ) 判断视频场景是否改变，镜头是否切换，背景是 否运动。如果镜头发生切换，首先要分割镜头。如果背景运动就要对背景进行全局运动 补偿。( 3 ) 根据实际情况，选择用于分割运动物体的特征如运动场、图像差分、边缘纹理 等信息，并按某种准则综合利用各特征分割出运动物体。( 4 ) 对分割出的运动区域进行后 处理，比如利用形态学操作去除噪声毛刺、填补空洞、提取运动物体边界等。 在对运动物体分割的长期研究过程中，人们提出了大量用于各种场景的运动物体分 割算法。从用于分割的信息和分割方式来看，目前主要采用的有基于运动信息的分割方 法，结合时空信息的分割方法和一些交互式分割方法等【6 1 7 1 。 2 1 基于运动信息的物体分割 运动信息是运动对象的一个重要特征。一般而言，视频序列中的运动物体无论是在 运动方向上还是运动速度上都与背景相差很大，对不同的运动物体而言，他们的运动方 向和速度也各不相同。然而，各个物体内部的像素点通常具有比较一致的运动方向和速 度。因此，根据视频序列中各像素或区域的运动差异情况可以区分出各个不同的物体。 由于物体的运动，运动物体在前后帧中的位置发生改变，这必然使序列前后帧中属 于运动物体及其附近范围内的像素的亮度、颜色等发生明显变化。同时，场景中的运动 物体与它所覆盖的背景区域的颜色、亮度等也不一样。根据运动物体引起相邻帧的变化 和当前帧与相应背景的差异，也可以分割出场景中的运动物体。 由此可见，运动物体的运动一致性和运动引起的变化都可作为运动物体分割的依 据。根据分割标准的侧重点不同，基于运动信息的分割主要有基于光流的分割方法【8 】和 基于变化检测的分割方法【9 】【1 0 1 。 2 1 1 基于光流法的运动物体分割 视频场景中，运动物体与背景在运动方向、速度上常常有较大差异，根据物体运动 在图像空间的投影差异可以区分不同的物体。然而，现实中物体真实投影的运动场难以 得到，相比之下图像中像素的变化比较容易获得。因此实际中往往根据图像随时间的变 化来估计像素位移，并以此来近似运动场，这也就是利用光流法分割物体的基本思想。 7 2 运动物体分割算法介绍硕士论文 光流i 是描述视频序列中像素在帧间的位移的一种方式，像素在相邻帧间的光流近 似于场景中各物体对应的运动场的二维投影，通过光流来估计物体运动参数也是一个普 遍方法。1 9 8 1 年，h o r n 和s c h u n c k 提出了光流场的计算方法【1 2 l ，它基于运动物体表面 上各点的灰度梯度或亮度在一个较小的时间范围内恒定不变这一假设来建立光流约束 方程并依此估计像素的运动。 若t 时刻图像在( x ，y ) 处的像素值为i ( x ，y ，t ) ，经出时间后点( x ，y ) 运动到 ( x + a x ，y + 缈) 。由假设条件得： i ( x + 缸，y + a y ，t + f ) = l ( x ，y ，) ( 2 1 ) 在血_ 0 时，得到光流基本方程 一o l d x 4 r 塑立+ o s ：o ( 2 2 ) 瓠d l 却d t a t 令l = 罢，= 而o r ，= 石o r ，“= 石d x ，忙d 出y ，则 l + v + = 0 ( 2 3 ) 1 1 、v 分别为该点在x 、y 方向上的光流分量，厶，分别为x 、y 方向上的梯度。由 式( 2 3 ) 可见，光流约束方程实际上建立了图像内各点的空间梯度与该点运动速度之间的 一种约束关系。但要计算出各点的光流分量仅仅依赖一个光流约束方程还无法实现。为 了达到这一目的，实际应用中通常需要增加一些辅助的约束条件，比如认为像素的一个 局部邻域内的光流场平滑过渡，即邻域内像素的运动基本一致，然后结合邻域内多个像 素的信息利用最小二乘估计求解。 光流估计面临的一个主要问题是物体遮挡和孔径效应，在这种情况下估计的光流场 往往不确定，为解决这一问题，人们常构造一些模型来模拟运动场的结构。目前，主要 的有参数模型和非参数模型两种。 ( 1 ) 参数模型 对运动场建立模型可以大大简化光流估计过程。参数模型通过把物体的运动投影到 二维图像平面上来构造物体运动的参数模型，再通过求解模型中的参数来估计光流，这 样每个光流矢量对应一组投影参数，也就是场景中一个物体的运动投影。根据物体运动 的一致性，可以得到同一物体具有相同或相似的投影参数，而独立运动的不同物体对应 不同的投影参数。因此，通过不同的投影参数可以分割出不同的运动物体。 目前，常用的参数模型有正交投影下的六参数仿射模型和透视投影下的八参数透视 模型。 仿射变换模型如下： 8 硕士论文视频序列中运动物体分割的研究 x = q x + 口2 j ，+ 口3y = a 4 x + a s y + a 6 ( 2 4 ) 透视变换模型如下： x 。= a l x + a y + a 31 ，= a 4 x + a s y + a 6( 2 5 ) 口7 x + a s y + 1a 7 x + a s y + 1 通过一些参数估计方法计算出变换模型的各个参数，根据求得的参数选择符合运动 模型的像素或区域，进而按一定准则合并相似的区域分割出不同的运动物体。 利用参数模型进行运动估计是一种有效的解决方案。在参数估计过程中，通常结合 多个像素的特征信息来求解模型中较少的几个参数，由此提高了估计的准确性和鲁棒 性，对物体间的遮挡现象也有一定适应性，但利用参数模型进行运动估计只适用于刚体 运动的场景。 ( 2 ) 非参数模型 非参数模型也是常用的一种运动估计方法，主要有基于块运动估计模型和基于贝叶 斯估计模型。基于块运动估计模型是将整个帧图像分为小的图像块，分别对各个图像块 的运动进行估计。这种方法实现较简单，对噪声有一定抑制作用，但在物体出现旋转或 变形时，估计效果不佳。而且分割的块大小直接关系运动估计的精度。基于贝叶斯的估 计方法根据随机平滑度约束条件，在给定光流数据的条件下搜索分割标记的最大后验概 率。由于贝叶斯法同时进行分割和运动估计，分割效果较好，但运算量大，这在实时处 理系统中成为一大瓶颈。 基于光流法的运动分割主要是利用图像中的像素位移或光流进行运动参数估计，求 出各区域的运动模型，通过合并具有相似运动的区域来分割运动前景。 文酬1 3 1 提出了一种基于运动相似性的运动对象分割算法。该算法首先根据光流方程 估计运动矢量。为了提高运动矢量的稳定性，算法将前后几帧的运动矢量叠加，并对邻 域内累加后的运动矢量进行中值滤波。然后根据局部运动矢量的方差判断运动的相似程 度，对运动前景进行初次分割，再结合空间相关性进行二次分割，最后采用贝叶斯法对 边缘区域进行细化。文献【1 4 】中提出了一种有效的光流计算方法。对光流约束方程采用二 阶泰勒展开以减小光流估计误差，并利用双向策略使计算复杂度不会显著增加。为了弥 补传统的基于局部亮度一致建立的光流约束方程对亮度变化敏感这一不足，算法基于局 部结构一致性来建立模型，采用可以提供更多空间结构信息且对亮度变化不敏感的局部 张量来建立约束方程。屈有山掣”1 将隔帧差分的思想用于光流场计算中。首先计算多帧 间的光流，再进一步利用图像灰度信息求取目标的边缘。将隔帧差分光流场算法用于运 动检测中，可以识别出帧间位移小于一个像素而多帧之间位移大于一个像素的运动，弥 补了传统的连续帧间光流场计算不能识别帧间位移小于一个像元的运动目标的不足。 光流法是一种重要的运动对象检测方法，它采用运动目标随时问变化的光流特性， 9 2 运动物体分割算法介绍 硕上论文 在摄像机运动且不知道场景任何信息的情况下也能检测出运动目标，对发生突变的运动 也有较好的检测效果。近年来，人们提出了一些鲁棒的光流估计算澍1 6 1 ，但一些光流算 法固有的不足仍然难以克服。比如由于存在孔径和遮挡问题，许多仅用光流法估计的二 维运动场尤其是在物体边界处的运动场往往不够准确。同时，由于光流估计方法是建立 在运动物体表面上的每一点亮度至少在一个较小的时间范围内保持不变这一假设的基 础之上的，因此亮度变化和噪声对光流估计的结果影响很大，而在运动物体和背景纹理 不丰富或对比度低的情况下，光流估计也会失效。利用参数模型能弥补传统光流估计的 部分不足，但当运动物体为非刚体时，对同一物体经常会估计出多个不同的运动方向。 另外，基于光流估计的运动物体分割方法计算复杂度高，应用于实时场景时通常都需要 有特殊的硬件支持。 2 1 2 基于变化检测的运动物体分割 视频序列由连续的图像组成，其前后帧之间有很大相关性。在摄像机静止不动或进 行全局运动补偿之后，可以根据当前帧与背景或相邻帧间的像素点差异检测运动物体区 域。 基于变化检测的分割方法主要就是通过检测因为运动引起的场景和图像变化来分 割运动物体的。一般，运动物体在亮度、纹理等方面都明显不同于背景。如果对视频序 列中的每一帧都能建立准确的背景图像的话，就可以很容易地利用背景差分提取出运动 物体。同时，根据运动物体在运动过程中使连续帧的亮度纹理等发生变化这一特性，可 以利用帧差图像检测出相邻帧间的这种差异，进而得到变化区域。 2 1 1 1 基于背景差分的运动物体分割 背景差分是常用的一种运动物体分割方法，它的主要思想是用包含前景的当前帧减 去其相应的参考背景，得到各像素的变化幅度，再根据变化幅度判断像素所属类别。当 像素变化超过一定值时，就认为当前帧中该像素为前景像素，否则为背景像素。假设当 前背景图像为b ( x , y ) ，当前帧为i ( x ，y ) ，背景差分图像为d ( x ，y ) ，则 d ( x ，y ) = l i ( x ，少) 一b ( x ，少) l ( 2 6 ) 由于在图像获取或背景计算过程中不可避免地受到噪声影响，因此，非运动物体区 域的背景差分值不可能完全为o 。为了去除小的噪声，对背景差分图像阈值化。若二值 化阈值为t ，运动物体的二值化模板为d m ( x ，y ) ，则 d m ( x , y ) ：f ，d ( 墨力m ( 2 7 ) 【u e l s e 当像素差值小于阂值t 时就认为该点是噪声，否则认为是运动物体。 利用背景差分检测运动物体的核心是要建立合理的背景模型并采用适当的背景更 l o 硕士论文 视频序列中运动物体分割的研究 新策略。目前已有大量文献采用这种方法来解决实际问题，它们的主要区别就是建立的 背景模型和背景更新方式不同。比如用一段图像序列的像素均值或出现频率最大的像素 值来近似背景像素值并采用这种方式不断更新背景。这种方式比较简单，但需要足够长 的一段视频序列并要求背景在一段时间内可以明显观察到，而且按这种方式建立的背景 容易受到运动物体和噪声的影响，尤其在物体运动很缓慢甚至静止时建立的背景图像误 差较大。 c h r i ss t a u f f e r 掣1 7 1 用一个混合高斯函数对背景图像的每个像素点建立模型，并从中 确定b 个最能代表背景过程的高斯分布，通过判断输入像素值与背景高斯分布是否匹配 来判断像素属于背景或前景。首先，对任一像素点x ，将其最近的n 个观测值用k 个加 权高斯分布建模。某时刻t ，对输入帧的x 处像素值和它对应的背景高斯模型进行匹配 检验。如果像素值与某个背景分布g 的均值的距离小于g ，标准差的2 5 倍，就认为像素 值与该高斯分布匹配；否则，认为不匹配。然后，按相应规则更新各高斯分布的参数。 之后，对象素点x ，从k 个分布中确定b 个能最好表达其背景的分布。考虑到静止场 景在图像序列中的像素值比较稳定，产生的方差较小，容易与已有分布匹配，而运动前 景引起的像素值变化较大且会产生较大的方差，难以找到匹配的分布或者会使分布的方 差显著增大的情况，算法按各高斯分布的权重和方差情况选择b 个能最好表达背景的分 布。对输入该像素点的新值，从其背景分布中寻找一个与之最好匹配的分布。如果从中 找到与之匹配的分布则该点为背景点，否则为前景点。最后对检测出的所有前景点进行 连通性分析和后处理，从而获得完整的物体区域。这种方法原理简单，实现速度较快， 能适应复杂背景中缓慢的光照变化并可用于场景中存在多个运动物体的情况，但建立准 确的背景需要足够的视频图像序列来建模，且对场景中光照突变的适应能力不够。 r i d d e r 等【1 8 】基于卡尔曼滤波器自适应地对背景建立模型。该方法对每个像素用一个 卡尔曼滤波器描述，用来适应场景中的光照变化。算法还根据不同情况改进了卡尔曼增 益以防止运动缓慢或运动不连续的物体更新到背景中，同时动态调整前景分割阈值以减 少阴影等的影响。r i d d e r 等人提出的方法提高了系统的鲁棒性，能较好地反映背景中的 光照变化。 文献【1 9 】提出了一种基于动态背景构造的视频运动对象自动分割算法。首先，通过多 帧差分将前景和背景初步分离，利用前后多帧相邻图像的背景信息构造当前帧的背景图 像。然后通过减背景从当前帧中消除背景得到背景差图像，再利用显著性检验对差异图 像进行二值化，从而提取出运动前景。为克服对象的不规则运动对分割准确度的影响， 算法还利用时序关系对帧间的静态前景区域进行检测并将其合并到已分割出的运动区 域上，从而获得完整的对象区域。最后，以对象区域的边缘为初始位置，以彩色梯度为 外部能量，采用活动轮廓算法获得进一步精确的对象轮廓。 基于背景差分的分割方法实现简单，能够获得较好的分割效果，但前提是要建立有 2 运动物体分割算法介绍硕十论文 效的背景模型并确定合理的背景更新机制以适应背景的变化。通常，基于背景差分的方 法需要较长的视频序列以建立有效的初始背景，在背景变化很大或场景中存在复杂的干 扰时，建立的背景效果会严重下降；尤其是在场景亮度突变时，利用背景差分算法检测 的运动前景像素往往包含大量由亮度突变而误判为前景的背景。如何快速更新背景来反 映场景的亮度变化成为背景更新的一个难点。同时，在物体运动缓慢甚至停止时，需要 相应的方法估计背景并防止前景融合到背景中去。 2 1 1 2 基于帧差的运动物体分割 视频序列中，由于物体的运动，物体及其周围区域在相邻帧间会发生明显变化。因 此利用相邻帧的差异可以区分帧间改变的和没改变的部分，进而提取出运动前景。 假设当前帧和前一帧分别为( x ，y ) 和，一。( x ，y ) ，两帧的差分图像为f d ( x ，y ) ，则 f d ( x ，y ) = k ( x ，y ) - i , 一l ( x ，y ) l ( 2 8 ) 帧差图像f d ( x ，y ) 经过合适的阈值二值化后，去除一部分噪声，从而得到变化区域模板 f d m ( x ，y ) ，则 删( 训) ：j 1 i ff d ( x , y ) 丁 ( 2 9 ) 【0 e l s e 模板中l 表示变化像素，0 表示没发生变化的像素。根据运动物体引起的帧间差异进行 运动对象分割也是人们常采用的一种方法。 文献【2 0 1 通过对相邻两帧差分图像的显著性检验来提取运动物体。算法假设在相邻两 帧间没发生变化的位置上的帧差服从零均值g a u s s i a n 分布。对相邻两帧作差后，根据背 景噪声方差利用显著性检验技术对帧差图进行二值化，以确定运动区域。为了利用有效 的背景噪声方差进行假设检验，作者首先通过直方图拟合获得准确的背景噪声方差。二 值化后的差分图像包括大致的运动物体轮廓和显露背景以及一些噪声，再利用对称差分 和形态学处理消除显露背景和噪声，从而获得初始运动对象。最后，以图像梯度向量流 场作为外力，初始运动对象轮廓曲线为初始轮廓，利用改进活动轮廓算法得到运动对象 精确的轮廓边缘。这种算法可以获得较精确的运动物体轮廓，但需要迭代处理且迭代次 数与初始物体轮廓有关。在背景复杂的序列中，背景边缘很可能影响轮廓精确化过程的 迭代次数和结果的精度。 a n e f f 掣2 1 1 通过比较帧间差分图像的局部4 阶矩和根据背景区域估计的高斯噪声 方差来确定运动对象的位置。首先计算帧差图像的局部4 阶矩，再选择一些帧差小于某 一阈值的图像边界像素作为背景像素，并根据背景像素估计背景的高斯噪声方差。然后， 根据像素的局部4 阶矩与背景高斯噪声方差之间的关系提取变化区域，检测得到的变化 区域通常包括运动前景区域和显露的背景。再采用块匹配方法确定变化区域内各像素的 位移，根据位移大小确定各像素的归属性，从而排除背景像素，得到运动物体区域。最 后利用形态学处理去除噪声，平滑物体边缘，分割出前景物体。这种方法较简单，但无 1 2 硕士论文视频序列中运动物体分割的研究 法检测出部分运动物体中的静止区域，在背景变化剧烈的情况下很可能会将背景检测为 运动物体而物体区域无法检测到。 李申等【2 2 俐用图像序列的帧间差分和隔帧差分进行运动前景分割。该方法首先累计 临帧差分和隔帧差分，再将两类累积差分的交集聚类，获得运动前景的初步轮廓。然后， 采用l h s ( 1 e a s t h a l fs a m p l e s ) 方法获得最佳分割门限，对图像二值化。二值化处理后，采 用形态学操作去除噪声，再扫描填充即可得到图像序列中的运