（计算机应用技术专业论文）基于块匹配的视频图像分割算法研究.pdf

浙江i 。业大学坝1 。学位论文基于块匹配的视频鹄像分刨f 卅允 基于块匹配的视频图像分割算法研究 摘要 随着多媒体技术的发展，视频监控技术已经越来越多的应用于人 们的生产生活中，而在视频监控中实现自动目标识别则有助于进一 步增强视频监控系统的功能。本文研究了运动物体识别中的一项关 键技术一视频分割技术。 本文在对现有的算法进行了研究和分析的基础上，提出了应用运 动块矢量预测的块匹配法进行视频分割的算法；重点论述了算法中 涉及的视频图像空域分割，时域分割和分割结果后处理等技术，其 中，作为时空域结合进行分割视频图像的算法中，空域分割是不可 缺少的重要的一步，它的分割效果如何直接影响算法整体的效果和 效率；时域分割是本算法的核心部分，它利用块匹配法对时域信息 进行分割；将图像树形结构子块划分技术应用到视频分割算法中以 消除块匹配的缺点；提出基于矢量预测的帧间块匹配法具有较好的 匹配准确性和实时性；在视频分割图像后处理阶段，运用数学形态 学图像处理方法对时空域分割结果作了进一步完善；通过设计仿真 实验对算法进行验证；论文结束部分针对算法中存在的一些不足， 提出了今后工作的方向。本算法有效消除了突现背景、孔洞和毛刺， 分割效果使人满意，并具有良好的实时性。 关键词：视频图像分割，时域分割，矢量预测，树形结构子块划分 渐江丁业大学硕 学位论文毕于块匹配的批频例像分割算法训冗 r e s e a r c ho fv i d e 0s e g m e n l a t i o n b a s e d0 nb l o c km a t c h i n g a b s t r a c t w i t ht h e i m p r o v e m e n to ft h em u l t i m e d i a ，t h ev i d e om o n i t o r i n g s y s t e mh a sb e e nm o r ea n dm o r ea p p l i e db yt h ep e o p l ei nt h ep r o d u c e a n dl i f e t h ea u t o r e c o g n i t i o no ft h eo b j e c tc a ni m p r o v et h ef u n c t i o no f t h ev i d e o m o n i t o r i n gs y s t e m v i d e os e g m e n t a t i o n a st h e i m p o r t a n t t e c h n o l o g yi nt h eo b j e c tr e c o g n i t i o ni sr e s e a r c h e d i nt h i sp a p e r i nt h eb a s eo ft h er e s e a r c ho ft h ee x i s t i n ga l g o r i t h m so ft h ev i d e o s e g m e n t a t i o n ，a na l g o r i t h m o fv i d e o s e g m e n t a t i o n b a s e do nb l o c k m a t c h i n gw a sp r o p o s e d t h ee x p e r i m e n t sw e r ed o n et o v a l i d a t et h e a l g o r i t h m f i r s t l y , a n u m b e ro ft h e e x i s t i n ga l g o r i t h m s o ft h ev i d e o s e g m e n t a t i o na r er e s e a r c h e da n da n a l y z e d ，t h e n ，an e wa l g o r i t h mo f t h e v i d e os e g m e n t a t i o nu s i n gt h eb l o c k m a t c h i n gb a s e do nv e c t o rp r e d i c t i o n i nt h ep r o p o s eo f e x p l a i n i n g t h ea l g o r i t h m ，t h es p a t i a ls e g m e n t a t i o n ，t h e t e m p o r a ls e g m e n t a t i o na n d t h ep o s th a n d l i n go f t h e p i c t u r ea r ed i s c u s s e d a st h em o s ti m p o r t a n tp a r t so ft h ep a p e r i nt h ea l g o r i t h mo ft h ev i d e o s e g m e n t a t i o n b a s e do n s p a t i o t e m p o r a li n f o r m a t i o n ，t h es p a t i a l j 1 浙f l 工业人学硕士学位论文 持于块匹配的 见频图像分割算法f i f 究 s e g m e n t a t i o ni s a ni m p o r t a n ts t e pw h i c hc a na f f e c tt h el a s t s e g m e n t a l e t f e c ta n de f f i c i e n c y t h et e m p o r a ls e g m e n t a t i o ni st h ec o r ep a r to ft h e a l g o r i t h m m a n yt e c h n o l o g i e s s u c ha st h e t e c h n o l o g y o ft h e t r e e - s t r u c t u r e db l o c kp a r t i t i o n ，t h eb l o c k m a t c h i n gb a s e do nt h ev i c t o r p r e d i c t i o na n dt h ed i f f e r e n c eo f t h ed i f f e r e n tf r a m e sa r ea p p l i e di nt h i s s t e p f o r t h er e s u l to ft h e s p a t i o t e m p o r a ls e g m e n t a t i o n h a ss o m e s h o r t a g e s ，t h et e c h n o l o g yo f t h ep i c t u r ep o s th a n d l ei sa p p l i e da tl a s t i n t h i sp a p e rt h em a t h e m a t i c a lm o r p h o l o g yi su s e dt op e r f e c tt h er e s u l t f u r t h e rm o r e ，al o to ft h e e x p e r i m e n t a lr e s u l t s o fa r es h o w nt o v a l i d a t et h ea l g o r i t h m k e yw o r d s ：v i d e os e g m e n t a t i o n ，t e m p o r a l s e g m e n t a t i o n ，v i c t o r p r e d i c t i o n ，t r e e - s t r u c t u r e db l o c k - 1 1 i n 门i 业入学顾l 学位论文 基r 块匹配的视频蹦像分剖算法蚓究 第一章绪论 视频图像分割技术在视频图像编码、视频图像检索和视频分析等技术中都 有着非常重要的应用。视频图像分割算法的好坏，直接影响视频图像压缩编码 的效率，视频图像检索系统的检索效率和视频分析的准确性。分割的准确性直 接影响后续任务的有效性。 本章中简要介绍一下与课题密切相关的技术及领域的发展历程及最新研究 状况。 1 1 视频图像分割概述 i 1 1 关于视频 所谓“视频”是指活动图像序列，比如电影、电视，或数字电影，它通常在 时间轴上具有内容的连贯性。因为时间是连续的，为了记录现实世界中的活动 场景，我们必须在时问轴上进行采样，般采用固定间隔。考虑到人跟的视觉 暂留效应，一股每秒采样2 4 帧以上就可以在人眼中得到连续的重现效果。p a l 制电视2 5 帧秒，n t s c 制电视采用3 0 帧秒，电影为2 4 帧秒。 为了用计算机处理视频信息，必须经过数字化处理，然后以一定的格式存 储到计算机的存储设备中。本质i 二讲，视频是由一幅幅图像组成的，但通常并 不是一一幅幅图像单独存储，而是把视频的所有帧统一存储在一个文件中，比如 a v i ，m p g ，v o c 等格式的文件。这是因为除了图像本身之外，视频还包括其它的 整体描述信息。比如帧率信息、声音同步等。对于压缩格式，帧间还存在参考 关系。 因此视频和图像既有明显的区别又有密切的联系，图l - i 表达了本文肘视频 的理解 v i d e o = i m a g e s ，t i m e r o r v = f ( x ，y 0 图1 - 1 视频概念图 i m a g e s 表示图像集，每一幅图像代表某一时刻的场景，是一个= 维空间甲 而信息；t i m e r 是定时信息，它直接或间接规定了每幅图像的展示次序和时i h j 问 一1 一 浙江t 业人学硕l 学位论文 基于块匹配的视频图像分割箅敬乱 究 隔。也有人用后式子表示。其中x , y 表示空间坐标，t 表示时间坐标，九代表 不同的图像分量( 比如r ，gb 或者yu ，v ) 。总之，视频是种包括空间和时问 在内的三维信息形式。 视频文件有压缩格式( 例如m p e o ) 和非压缩格式( a v r ) 。为r 对视频进行低 层分析，通常需要对非压缩格式进行处理。本文中实验所涉及的视频图像一般 采用4 ：2 ：2 的y u v 格式存储，用i ( x ，y ) 来表示一幅图像或( 在不引起歧义的情况 f ) 表示图像中的个点。 1 1 2 视频图像分割 近年来，随着多媒体技术的发展，视频图像得到了广泛应用。而视频分割 技术更是为视频理解，视频编码等领域中广泛应用。所谓视频分割就是把视频 中重要的或人们感兴趣的物体或称对象，( v i d e oo b j e c t ，v o ) 与背景分割开来， 或者说就是要划出分别具有一致属性的一个个区域，同时区分背景区域和前景 ( 对象1 区域。视频图像可以看作一类3 - d 图像，换句话说，视频图像是由一系 列时间上：连续的2 一d 图像组成的。如果从空间分割的角度看，视频图像分割主 耍是希望把其中独立运动的区域( 目标) 逐帧检测出来。可以同时利用时域信 息( 帧间灰度等的变化) 和空域信息( 帧内灰度等的变化) 。视频对象将作为场 景中防问和操纵的实体，要尽量符合现实生活中的实际视觉习惯，比如桌子、 人、汽车等，也就是说尽量具有一定的“语义”。对象( 区域) 的划分可以根据其独 特的纹理、运动、形状、模型和高层语义为依据。 视频对象是一个具有一定生存周期的、在时间轴上连续的概念，属于包含 n t f u l 轴在内的三维空间。视频对象在某一时刻( 某一帧中) 的表象称为视频对缘 q 面( v i d e oo b j e c tp l a n e ，v o p ) ，具体分割时，到底哪些部分重要，人们又对哪些 部分感兴趣，要看具体的应用而定。如果是为了对场景进行分析和理解，则分 割的目标通常应具有一定的语义概念，与现实中的实际物体具有对应关系，比 如人，桌子等。对于压缩编码的应用来说，目的是尽量用较少的数据表示较多 的信息，要发现图像间的相关性从而消除这种相关性，这时分割的目标不要求 具有语义概念，甚至可能什么东西都不是( 任意的区域) ，只要它具有运动的一 致性，能够通过运动补偿大量消除帧间的相关性就可以。对于视频监控系统， 人们感兴趣的是运动的人物( 或物体) ，而对于可视电话系统人们关心的则是图 像i 1 的人脸区域。视频分割往往不是独立应用的，它通常是为了给后续模块提 供对图像或视频的高层次描述，以便更方便地对视频进行分析处理。通过视频 分割，使视频内容得到初步的划分，为进一步的场景分析和目标识别奠定基础， 分割的准确性直接影响后续任务的有效性他们的关系如图1 2 所示。 浙江t 业大学硕士学位论史 基十块匹配的观频幽像分割笄法研究 i厂_ ，_ 【 f q 堡墨堡 叫视翌里堡竺型卜 视频分析理解、视獭编码卜+ l 图l - 2 视频图像分割在视频处理中的作用图 视频对象的分割提取是基于对象的视频处理的第一步、也是灭键的一步。 因而，视频分割技术的研究是非常有意义的。 1 1 3 视频图像分割与图像分割技术 视频图像和视频图像是两个既有联系又有区别的概念。视频图像是序列图 像，视频图像不仅指序列图像，更是指在序列中有目标在运动，即在序列中目 标位置相对发生变化的图像。也有人认为视频图像是时间间隔比较短序列图像， 期问目标本身形状尺寸的变化很小。视频图像的分割对基于目标的图像压缩编 码和对运动目标的识别与提取都至关重要i l l 。 视频图像分割则是要根据时域和空域的信息进行分割，现有的算法很多， 有仅仪利用时域信息的，有仅仅利用空域信息的，更多的是同时利用时域和空 域信息进行分割，如利用视频图像的时空信息灰度和梯度信息进行分割，或者 在两帧视频图像间估计光流场，然后基于光流场进行分割。但是如果桃频图像 分创要分割出人们感兴趣的运动对象，那就一定要用时域信息进行分割，因为 单帧的空域分割是不能确定出一个区域是否运动的。 静止图像是根据图像的颜色、灰度、纹理等信息在单帧图像中进行的。静 止图像的分割算法是视频图像分割的基础，许多用于分割静止图像的方法也可 调整以分割视频图像，例如有人尝试将二维最大熵闽值法推广到时州域束分割 视频图像，还有马尔可夫随机场的方法也可以用来分割视频图像以提取人脸嘴 唇。 1 2 研究意义 随着计算机处理能力的提高，利用计算机来分析、模拟人体运动已经越来 越多的受到注意。人体运动分析遇到的第一个问题就是运动对象分割。基寸二视 频或者图像的人体运动目标检测或识别，目前已经在多种多样的场合中得到应 用。 1 视频监控系统中对某个目标进行运动检测和分割，进而分析运动同标的 些特征，从而为运动目标识别提供判别依据。对目标进行跟踪则是在此基础 堂坚! 些生兰些主兰堡堡墨 基于块匹配的视频图像分苫l 辩沾研究 f j 作的进一步更为实用的技术。在有些场合由于客观原因，人类可能不力便或 者根本不可能亲自到现场进行查看，这时只有通过其他方式，如计算机进行实 时监控来完成需要的工作。而更为普遍的是应用于一般安防、生产管理等的视 频监控上，这不仅可以节省大量的人力物力，而且比容易疲劳的人员监控更为 可靠。 2 见频分割技术在视频压缩已也得到了重要应用。由于m p e g 一4 标准的提 出，为了实现该标准所提出的面向对象编码和基于内容可操作两个方面的目的， 视频分割技术被提到一个紧要的r 程上来。视频对象分割按用途来看可分为用 于编码目的和基于内容可操作两大类。 过去传统的图像编码方法依据信源编码理论的框架，将图像作为随机信号， 利用具随机特性来达到压缩的目的，而现在是从轮廓一纹理的思路出发，从基 于象素的传统编码向基于对象和内容的现代编码方法进行转变，支持基于视觉 内容的交互功能。 出于在m p e g 4 编码中提出了面向对象的概念，编码器需对图像序列中具 有任意形状的v o 进行编码，因此视频对象分割技术对于该标准的实现非常重 要。m p e g 4 标准需要应用视频对象分割技术来提取出任意形状视频对象，以 便实现m p e g 4 视频压缩编码框架中针对面向对象所提出的一些应用框架。对 于m p e g 4 面向对象地视频编码来说，只有利用先进的视频对象分割技术精确 地分割提取出视频对象，才能针对任意形状的视频对象进行压缩编码以及高级 扩展编码，实现各种速率、分辨率地视频输出。m p e g 4 标准为了确保能对任 意形状地视频对象进行编码，主要进行了三个部分的编码：形状编码、运动编 码、纹理编码。在该标准中第一次引入了形状编码，以便能够确定好分割后任 意目标形状的具体轮廓，运动编码中，m p e g 一4 则引入了图像填充( i m a g ep a d d i n g ) 技术和多边形匹配( p 0 1 y g o nm a t c h i n g ) 技术；纹理编码中则引入了形状自适应 d c l 的技术。 3 对于基于内容可操作方面来说，在互联网领域的w e b 技术中，我们需 要提取视频对象以对静止、活动态场景进行查询和交互。例如：依靠视频分割 技术，我们可以在网上任意查询特定视频，或可以自行对视频进行编辑、改变 场景等，达到灵活的交互效果。另外，随着m p e g 4 标准提出了面向对象、基 于内容的概念，同样在多媒体其它应用领域也提出了相关地面向对象的要求， 因此视频对象分割技术在模式识别、计算机视觉、视频检索等领域也得到了广 泛的需求和应用，例如：在自动目标识别系统( a t r s a u t o m a t i c t a r g e t r e c o g n i t i o ns y s t e m ) 中，图像分割是其关键部分，其目的是将目标和背景分离， 为同标识别、精确定位等后续处理提供依据，其结果直接影响到其后的信息处 理过程。 浙江工业人学顿上学位论文 基j ：块匹配的视频图像分割算法研究 而且长期以来，基于内容检索的研究者们困扰于诸如镜头分割、对象与特 征提取之类的经典难题之中，这实际上也是图形界几十年来一直在研究却又未 解决的问题。这一困难的本质在于，所处理的数据本身不包含任何语义内容。 丽在这种数据中处理基于内容的查询，大部分情况下只能采取非基于内容的、 问接的、费解的、经验的算法，查询结果常常差强人意。相反，如果我们处理 的数据是以某种反映内容的方式编排的，也许就会轻松得多。m p e g 一4 皋丁内 容的编码方式给我们带来了希望。可以想象，如果未来几年媒体创作者们习惯 于用对象的层次描述方法来进行制作，并且成千上万的对象供应商按照统一的 标准生产对象，使各种各样标准化的对象库层出不穷，而在网络上流动的都是 关于对象的引用、基于内容的运动估计运动补偿系数等反映内容的信息。那么， 基于内容的检索相对于今天来说将会容易的多，会涌现出许多直接的、易于理 解的方法。 从上来说，视频对象分割技术对未来几十年的多媒体领域的研究，将起着 重要的基石作用。因为，如果视频对象分割提取的技术没有得到很大提高，那 么其它的那些面向对象、基于内容的设想都将是空谈。 1 3 本文的任务 本文的算法面向视频监控系统中运动对象识别系统。在视频监控系统传输 过来的数据的基础上，对其进行处理，为目标识别提供谚 别的对象数据。本算 法是针对静止背景单目标的视频图像进行分割，对于运动背景的视频图像分割， 本算法不适用。本文的工作主要体现在： ( 1 ) 在现有的分割算法基础上，提出一套鲁棒的，实时的运动分割算法。 ( 2 ) 在时域分割上，采用运动一致性矢量预测的块匹配算法，有效消除暴 露背景，提高分割的实时性和精确性。 ( 3 ) 在图像的分块上，采用树形结构子块划分，以提高块匹配的准确，阵， 以消除物体扭曲，非刚体运动引起的块匹配失败，进而提高块匹配的准确性， 和分割的精确性。 1 4 仿真实验介绍 本文进行的仿真实验环境为：c p u ：c e l e r o n1 7 g1 6 9 g h z ，内存：3 8 4 m ， 操作系统：w i n d o w sx p 。测试图像序列为s i l e n t 序列，s a l e s m a n 序列，m o t h e ra n d d a r t e r 序列和c a r p h o n e 图像序列等。 浙江工业人学硕上学位论文 基于块匹配的视频图像分割算法研究 1 5 本文章节安排 第二章概述了视频分割技术基础，首先介绍和评价现存的一些视频分割技 术，然后在此基础上，简单介绍我们的算法，并给出算法结构框架图。 第三章介绍算法的第一步一图像预处理。首先引出图像预处理的原冈，然 后针对具体原因，我们给出一些处理方法。 第四章介绍视频图像分割技术中的空域分割部分。首先介绍静态图像分割 基础，然后具体地介绍本算法中采用的空域分割技术。 第五章是本文的重点，介绍时域分割。首先列举了现有的时域分割技术， 并对其进行分析比较，然后提出我们的时域分割算法，接下去针对算法中的每 个步骤我们详细讲述其中的主要技术，最后给出仿真实验结果。 第六章介绍通过数学形念学的方法进行视频分割结果后处理。首先介绍了 数学形态学图像处理的基础，然后应用它来处理我们的分割结果，最后给出仿 真实验模拟结果。 第七章是本文的总结部分，对所作的工作进行了总结，提出了研究的不足 之处并对后续的研究工作进行了展望。 浙江t 业人学硕士学位论文 基于块匹配的视频剧像分削算沾研究 第二章视频分割技术研究 视频分割技术是近年来才发展起来的研究领域。在自然图像和视频分割中， 物体没有一个固定的形状和结构信息，分割就变得非常困难。视频分割的效果 如何直接影响后续工作的进行。随着m p e g 一4 提出了基于对象的视频压缩编码 的思想，国内外众多的研究学者在视频分割领域f | 夜奋战。尽管人f f j 对图像的 分割技术进行了深入的研究，但是视频图像分割技术并不是很成熟。算法的实 删性、鲁棒性、精确性等要求不能同时满足应用需要。而且现在的视频分割技 术，一般是针对某个领域的分割算法，缺少通用的分割算法。 本章着重介绍国内外的研究现状，分析各种算法的优缺点和他们的适_ j 情 况，然后提出我们的算法实现框架，并对算法的整体思想进行阐述。 2 1 国内外研究现状 由于视频分割技术在视频理解、视频编码等领域具有相当重要的作用，所 以国内外有大量的科研工作者对其进行研究。而近年来，随着多媒体技术的发 展，m p e g 专家组提出了m p e g 4 视频编解码框架，首次提出视频对象和场景 的概念，并把基于对象的视频压缩、传输、操纵作为该标准的一个重要方面， 再次激发了人们对视频分割技术的研究兴趣。 国际上目前的研究现状是：一方面新的方法和思路不断的涌现，每年都有 大量的相关论文发表，但另一方面，至今尚没有通用的实用化方案，也就是说 各个方法都不理想，要么应用范围很狭窄，要么分割的效果不理想。人类通过 视觉系统可以轻而易举地认识和理解自然景物，但依靠计算机提取视频对象的 技术还处在不成熟的发展阶段1 2 j 。 视频图像分割技术根据应用领域的不同，对其的分割效果要求也不一样。 侄一般的视频分析中，只要分割运动区域就可以了，而在m p e g 一4 中要求对图 像进行分割出具有语义的视频对象，因此就必须剔除一些不属于视频对象的运 动信息，因此它对分割算法的要求就高得多。 目前涌现的大量分割算法主要是应用在视频处理和视频编码领域中，对分 割：萍法进行分类的标准也很多，在此我们根据图像的分割中所使用的分割信息 进行分类，大体上分为基于时域分割的视频图像分割和基于时空域联合分割的 视频图像分割两种。 浙江工业太学彤! 士学位论文 基于块匹配的视频图像分割算法刨e 宄 2 , 1 1 基于时域信息的视频图像分割 基于时间特征的视频分割方法主要是利用两帧或多帧图像在时间域上的差 异性来获取运动的目标。如何检测出运动的区域是基于时间特征的分割的关键， 也是基丁时空联合分割的基础。国内外有很多专家学者在研究这个算法，并取 得了很多优秀的分割算法。 文献 1 】给出了一种利用累积差图像的时域分割算法。在序列图像中，通过 逐象素比较可以直接求取前后两帧图像之i h j 的差别。假设照明条件在多帧图像 间基本不变化，那么差图像的不为0 处表明该处的象素发生了移动。换句话说， 对时间一卜相邻的两幅图像可以将图像中目标的位露和形状变化突出出来。如图 2 1 所示，设目标的灰度比背景亮，则在差分的图像中，可以得到运动前方为m 值的区域，而在运动后方为负值的区域。这样可以获得目标的运动矢量，也可 得到目标上的一定部分的形状。如果对一系列图像两两求差，并把差分图像中 值为正或负的区域逻辑和起来就可以得到整个目标的不同部分，将各次结果组 合起来，就得到完整的椭圆目标。 图2 - 1 利用累积差分图像提出目标 基于时域分割也可以通过检测出帧间变化差，得到序列中的视频对象的_ 值模板，然后跟踪其在各帧中的运动来完成分割。文献【3 】对帧差图像取闽值进 行变化检测，对变化区域估计其运动模型，用假设检验来评判估计的合理性， 如果不合理，则分裂到下层次，再重复上述过程。文献【4 对帧差图像采用高阶 统计检验，确定对象位置，自动分离出运动与背景区域，然后进行跟踪。高阶 统计量的门限是根据背景的变化和受低速运动物体出现的影响而自适应调整。 文献 5 】将由运动引起的和由噪声引起的灰度变化都建模为高斯分布，则每一块 图像帧差变化服从x 2 分布，用f 统计来计算似然比，检验假设是否成妒。文献 【6 将图像分为若- = = p 4 , 块，对每一块的狄度值建模为坐标的二阶多项式，用束描 述运动的变化，将每个块内的剩余灰度变化假定为噪声，且噪声在各帧中是互 相独立变化的。这就把变化检验和假设检验联系起来，因此人们可用置信度来 确定闽值。变化检测的方法大都对背景静止的序列较有效，而对背景与剥象同 时在做不同运动时，很难取得满意效果。 浙江工业人学碗上学位论文基十块匹配的视频图像分割算法训究 2 1 2 基于时空域信息的视频图像分割 近年来，大部分的视频对象分割算法都集中于该类方法的研究。基十时空 联合的分割算法即利用时域分割得出运动区域，空域分割将图像分割为具有准 确边界语义区域，然后将时域分割与空域分割的结果进行信息融合，最终得出 精确的运动对象。常见的算法有可以划分为先空域分割获得初始模板后时域j | 1 6 踪的方法，以及同时进行空间分割和时域分割的方法。如图2 2 所示为时窄域 分割信息相结合的视频分割基本流程图： 图2 - 2 时空域分割信息相结合的视频分割基本流程图 初始对象模板可以通过变化检测或者模糊聚类等方法自动获得，也1 ，j 以通 过用户交互人工指定。基于变化检测的方法只要通过对连续两帧或多帧之问的 帧差图像处理，得到变化区域和不变区域，将与背景不同运动的前景对象与背 景分离，最后根据当前真的边缘图像调整分割结果获得初始对象模板。文献 7 1 对帧差图像简单二值化，将结果投影到边缘检测得到的边缘图上，获得二值对 象的边缘图，对应于不连续的边缘点集。然后利用运动连通元素的性质，将得 到的边缘图上大于特定闽值的连通区域标记为运动对象。最后采用h a u s d o r f f 距离匹配跟踪。文献 9 】是方法的推广。基于边缘检测的方法计算简便，但是缺 点是受噪声影响较大，通常需要再结合形态处理或者边界统计松弛等后处理方 法彳能获得较好的分割结果。另外受遮挡及孔径问题影响，只有遮挡区域和恢 复区域被标记为变化的，而对象的内部区域为未变化的，为此形成了内部的孔 洞需要填充。 文献9 1 0 l 在分割之初由用户通过用户图形界面进行交互，利用用，o 输入的 信息确定初始分割的限制条件，如给出初始轮廓，指定对象区域的个数等，然 后用自动跟踪方法获得其余各帧的分割结果，这种方法避免了自动分割算法的 视频对象的模糊性，得到用户感兴趣的明确的视频对象。在此基础上，人们义 提出了很多相关的算法。对初始帧分割所得边缘进行跟踪的方法主要有边缘跟 踪法和区域跟踪法。文献1 0 l 通过对前初始帧轮廓进行运动跟踪，在当前帧得 到预测轮廓，然后根据当前帧边缘进行轮廓凋整。文献 9 】将图像划分为颜色均 浙江d 大学硕上学位论文摹 块匹配的视频图像分割舅泣酬宄 匀的区域，由用户交互合并区域，然后利用运动、颜色、纹理等相似性特征对 区域进行跟踪 g u o i 是应用块匹配法进行视频分割。首先使用m e a n s h i f t 彩色聚类自适应 算法获得图像在y u v 空问上的分割。m e a n s h i f t 彩色聚类自适应算法呵以自动 的估计图像中主要彩色( d o m i n a n tc o l o r ) 的个数，使用叠代的方法获得最终的 图像区域的分割。当前帧的颜色的个数可以作为下一帧初始分割的个很好的 猜测，这样可以降低彩色分割时的计算量。在时域分割上，g u o 使用了基j ：高 阶统计模型( h o s ) 的运动检测方法。通过运动检测可以将通过彩色分割得剑 的区域进行判断，如果一个空间区域的8 5 的点是运动的点，该区域才被认为 是运动的区域。只有被判定为运动的区域才对其进行6 参数a f f i n e 模型估计。 通过对每一个运动区域所进行的运动估计允许对其进行跟踪到下一帧，这样n j 以建立起所提取的e t 标的一致性。 文献 1 2 1 从输入的初始区域开始自动检测组成景物的目标，初始输入的区域 是通过分析图像的三个彩色分量( r g b ) 所得到的。它首先计算两个区域之问 的时空的相似性，然后使用这些时间空间的相似性建立一个图，表示区域之涮 的关系。使用该图可以迭代合并初始输入的区域在每一个迭代合弗的过程中都 要更新图，计算新生成的区域的时间空间特征。该迭代过程直到没有新的区域 牛成时停止。在最后一步，那些比较小的区域根据时间上的特征合并到大的目 标一起。 2 2 基于块匹配的快速视频分割算法 本文提出一种基于矢量预测块匹配的视频图像的分割技术，在时空域联合 的视频分割的基础上，运用矢量预测法搜索块匹配搜索起始点来增强算法的实 时性和准确性，并且应用基于树形结构子块划分的块匹配技术以得到更加准确 的分割对象。本算法暂且只是适用背景静止的视频图像。 算法思想：首先对图像进行预处理，消除噪声，然后对图像进行差分得到 运动区域，然后进行空域分割，得到若干分割块，再对矩形区域中的若f 空域 分割出的子块进行运动估计，根据子块的运动矢量值进行判断该予块是否属于 运动区域，最后对结果进行后处理消除孔洞和毛刺。 算法框图如图2 3 所示。 浙江t 业夫学硕j 学位论文基于块匹配的 见顿图像分割算法研究 2 3 本章小节 图2 - 3 基于块匹配的视频分割算法 本章首先介绍了国内外现存的各种视频分割算法，并分析各个算法所用的 方法和适用视频图像类型，然后提出我们的算法，并介绍了算法总体思想，在 后续的章节中，我们将沿着算法的思路，对算法的各个关键步骤进行详细阐述。 浙江工业人学硕士学位论文基十块匹配的视颇图像分割算浃酬究 第三章图像预处理 一般情况下，各类图像在生成、传输和转换过程中很容易受到噪声的干扰 和影响，使图像质量有所下降，对图像分割的准确性产生了很大的影响。因此， 有必要抑制或消除这些噪声而改善图像质量，即通过图像预处理在分割前玄除 噪声的影响，预处理常采用图像的平滑滤波等操作。 本章在简单介绍图像噪声及其消除的方法的基础上，重点讲述本算法中的 预处理操作。 3 1 图像预处理搋述 3 1 1 噪声的来源 图像滤波是数字图像处理过程中，最经常使用也是最重要的处理过程，冈 为图像在摄取、传送、记录显示过程中总要受到噪声的干扰，反映在图像上， 噪声使原本均匀和连续变化的灰度突然变大或减小，形成一些虚假的物体边缘 或轮廓，使得图像的后续处理容易引入误差。因此，我们要重视图像的滤波处 理。首先分析图像噪声的来源，噪声主要来自下面三个方面： 1 胶片颗粒噪声，记录在胶片上的原始图像总要受到胶片的颗粒噪声的f 扰，胶片颗粒噪声产生的过程如下：由银盐晶粒组成的感光乳剂是悬浮在明胶 中，感光是一个两值过程每个银盐晶粒或是完全感光，或是没有感光。在显影 时，感过光的银盐颗粒被还原成不透明的银颗粒而未感光的颗粒则被洗掉。因 此胶片上各处的灰度由银颗粒的密度决定。由于银颗粒的分布和颗粒本身的人 小的不均匀值性，以及颗粒感光所需要的光子数的不同，形成了胶片颗粒噪声。 2 电子噪声，它是由电阻元件中电子随机热运动产生的。通常这类噪声认 为是均值为零的白色高斯噪声。 3 光电噪声，它是由光的统计热性和图像传感器中的光电转换过程所产乍 的。在低亮度时，这类影响较显著，大致为泊松型噪声；亮度高时，趋近于高 斯型噪声。 消除噪声通常是通过对图像进行平滑滤波操作，以下简单介绍这些操作。 3 1 2 滤波 人们提出了很多算法来对图像进行平滑滤波，下面介绍一些有代表性的滤 沛f i y _ j ：业大学钡士学位论文基于块匹配的视频蚓像分割算f 。训f 冗 波方法： 1 均值滤波法 我们假设图像是由许多灰度恒定的小块组成，相邻象素l 、日j 有很高的空间相 关性。而噪声是统计独立地叠加在图像上的，其均值为o 。因此，可用象素邻 域内的各象素灰度值的平均代表原来的灰度值，实现图像的平滑。在灰度图像 f 中以象素( x ，y ) 为中心的n x n 屏蔽窗口( n = 3 ，5 ，7 ) 内，若平均灰度值为a 时， 无条件的使f ( x ，y ) = a 。这种方法就是对一个噪声点进行模糊，把被处理点的某一 邻域中所有象素灰度值的均值作为该点灰度的估计值。由于参加平均的象素在 原始无噪声图像中灰度值是不等的，但在去噪过程中有象素都进行了平均，所 以这一处理技术可能会使边界模糊。 2 巾值滤波法 这种方法是以局部中值代替局部均值。在灰度图像f 中以象素( x ，y ) 为中心 的n x n 屏蔽窗口( n = 3 ，5 ，7 ，) 内，首先把这n n 个象素点的灰度值按人小进 行排序，然后选取值的大小处于正中位置的那个灰度值使f ( x ，y ) = a 。这样，把被 处理点的某一邻域中象素灰度中值作为该点的灰度的估计值。由于巾值滤波1 i 影响阶跃函数和阶梯函数，而当宽度小于窗口的一半时，冲击函数趋于消失， 。角形函数的顶部则将被削平，因此中值滤波一般不会引起边缘模糊，而能够 达到减小离散的冲击噪声。 3 低通滤波法 从频谱上看，噪声特别是随机噪声是一种具有较高频率分量的信号，平滑 的目的就是通过一定的手段滤去这类信号。一个很自然的想法就是使图像经过 一个二维的低通数字滤波器，让高频信号得到较大的衰减。在空间域上进行的 这种滤波实际上就是对图像和滤波器的冲击响应函数进行卷积。 设图像为f ( x ，y ) ，滤波器的冲击响应函数为h ( x ，y ) ，则卷积表达式为： g ( ”，v ) = 厂( x ，y ) h ( u x + l ，v y + 1 ) ( 3 - 1 ) 叫忡：州卜去 | p z ， 浙江t 业人学硕士学位论文 基于块匹配的视频图像分割算法 卅笕 在一幅图像中，令a ( x ，y ) 的灰度值为f ( x ，y ) ，所谓局部均值和方差是指在以点 ( x ，y ) 为中心的( 2 m + 1 ) ( 2 n + 1 ) 窗n 内估算所得的均值和方差，计算公式为： 毗加两最厕，薹，鲁“力( 3 - 3 ) 盯知归丽1 。薹，渺( j ，伊m c ( 训) f 3 4 w a l l i s 滤波算法 贴川2 m a + 羔南风小m 小棚 。5 5 l e e 滤波算法 g ( x ，y ) = m 。( z ，) + t 【厂( j ，y ) 一m ，( x ，y ) j ( 3 6 ) k 是新的局部标准方差对原方差的比值，这种算法的优点是无需计算 o - 。( 上，y ) 。若k l ，图像得到锐化，类似高通滤波a 若k t t h e n g ( x ，y ) = 1 e l s e g ( x ，y ) = 0 如果直方图呈现多峰，则可以实现多阈值分割。 但当直方图的双峰不明显时，就存在阈值的优化选取问题。二维熵闽值法 是在邻域均值和邻域方差所组成的参数空间中对像素进行二维直方图统计，如 矧4 2 所示。 图禾2 二维熵阈值选取办法 浙 r r 业大学硕上学位论文基于块匹配的视频图像分割鳙法 川究 邻域均值反映了图像的平均特征，而方差反映了图像块的局部细节。区域0 对应于均匀背景区域，区域1 对应于均匀物体区域( 若背景比物体亮，则相反) ， 其余区域则对应边界、噪声和纹理。设均值取值范围为【o ，w - 1 】，方差取值范嘲 为【0 ，s - 1 ，则对应于0 和l 的概率表示： 厂 p o 。，( z ，y ) = 了 l ，i o ，t i ， o ，lj 。 荟荟 悼，、 ， p 。( ，) ：i = i 二二l ，i i t + l ，w l 】，f o ，】 ( 4 _ 2 ) 。 。蚤。萎厂 两个区域对应的熵为： ，。( ，l ) = 一e e p o 口( 7 1 ，) l o g p 。( ，) ( 4 3 ) t = 0j = 0 h ( r ，上) = 一p 。( 7 1 ，l ) l o g p , 。( 丁，上) ( 4 4 ) f ；r + lj = o 于是，最大熵全局分割阈值( t ，) 为： ( 7 ，l ) = a r g m a x m i n ( h o ( 了1 ，) ，h i ( t ，) ) ) ，t 【o ，w 一1 】，l 【o ，s 一1 】 ( 4 5 ) 2 分水岭算法 分水岭变换是一个功能强大的图像分割： 具【”1 。它将梯度图像看作一个乏 维表面，梯度值作为其表面高。在三维表面上，被分割的强度边界往往具有高 的梯度值，即表现为“分水岭”，而区域内部梯度值相对低，认为是三维表面“集 水简”。因此，分水岭就将整个梯度图像分成了多个不同的集水靛，分别代表不 同的均匀区域，并且每一个集水盆对应一个梯度极小值。由此可知，这种基于 分水岭变换图像分割的性能很大程度上与梯度的算法相关。梯度图形建立后就 可进行分水岭变换，分水岭变换的过程实际上就是一个在梯度图像上不断“灌 水”的过程。首先对最低集水盆灌水。设定灌水高度为从对每个相应极小值小r 或等于h 的集水盆分配一个唯一的标记。再检测梯度值为h + i 的象素。如果该 象素周围有已经标记过的象素，则给它分配相同标记；如果该象素周围没有一 个标记过的象素，就给它分配一个新的标记，并作为一个新的集水盆。如此反 复，标记的集水盆数目增加，并不断检测这些新的集水瓮，直到图像中每一个 象素都分配到一个标记。这样就完成了分水岭变换。 分水岭算法对图像分割精细，但是容易引起过分割。 3 分裂合并法 浙ie t _ _ _ l k 人学硕l 学位论文 基于块匹配的视频图像分割算法t i 究 分裂合并的方法则是从整幅图像开始通过一系列的分裂和合并操作得到各 个区域 ”1 。 在这类方法中，常需要根据图像的统计特征设计区域属性的一致性测度， 般是根据灰度统计特征，例如方差。算法根据方差的大小来决定是分裂还是 合并各个区域。 为了得到止确的分割结果，需要根据图像中的噪声水平来选择方差，实际 图像中的噪声很难准确的确定，所以常根据先验知识或对噪声的估计束选定。 另外也可以借助区域的边缘信息束决定是否埘区域进行合并或分裂。 基于四叉树的方法是一种简单但是最常用的分裂合并方法。设r 表示当前 的区域分割状况f r 表示原始图像，v ，表示第一次分裂后的结果，如此类推) ， p ( ) 表示作为分裂合并判据的谓词逻辑。 图4 - 3 四叉树的分裂合并的结构图 从最高层开始，每次把r 分成四等份，直到r 为单个像素。但如果仅仅允 许分裂，有可能出现相邻的两个区域具有一致的属性却没有合成一个区域的情 况。为此，在每次分裂后考察所有相邻的区域r ，r 。如果它们满足p ( r ，ur 。) 则将它们合并起来。算法描述如下： ( 1 ) 对任一区域r i ，如果p ( r 。) = f a l s e ，就将其分裂成不重叠的四等份。 ( 2 ) 对象邻的两个区域r j 和r j 。( 它们的大小可以不同，即不在同层l ) ， 如果条件p ( rur 。) ，就将它们合并。 ( 3 ) 直到没有可以再分裂，也没有任何两个区域可以合并。 一种改进的方法是： 将原图分成一组正方块，进一步的分裂仍按照前面的方法进行，但首先仪 合并属干同一个父节点且满足逻辑谓词的四个区域，如果这种类型的合并不能 再进行了，在整个分割过程结束前再按照满足上述第二步的条件进行一次合并。 注意此时合并的各个区域有可能彼此尺寸不同。 这个方法的主要优点是在最后一次合并前，分裂和合并用的都是同一棵p q 叉耐。 除了以上介绍的各种图像分割算法外还有很多算法，比如基于数学形态学 的分割算法，借助统计模式识别方法的分割方法，利用神经网络的分割技术， 浙江工业人学硕士学位论文基十块匹配的视频图像分割算法研究 借助模糊集合逻辑的分割技术等等，在这罩我们就不介绍。 4 3 空域分割 空域分割是对帧差法确定的大致运动区域进行图像分割，分割的各个子区 域用作块匹配运算的起始块。g u o 等人的算法中用了m e a n - s h i f t 算法对图像进 行分割，但是其运算复杂度较高，不适合实时系统。也有的视频分割算法中没 有用空域分割，而是直接用矩形了块( 如8 8 子块) 划分，我们也对这种方法 进行了模拟实现，并与我们的方法进行了比较。在我们的算法中空域分割的好 坏直接影响视频分割效率和分割精度。 考虑到我们的算法中在后续的步骤中还有树形子块划分的步骤，所以综合 考虑效率和精确度，我们选择了简单快速的阈值分割法。 在实验中，我们所选取的是y u v 格式的图像，为了提高实时性，我们只对