（信号与信息处理专业论文）视频分割和运动目标提取方法研究.pdf

安徽人学坝l 学位论文 摘要 摘要 由于计算机技术的迅猛发展，使得基于内容的视频信息的存取、操作和检索 不仅成为一种可能，更成为一种需要。同时，基于内容的视频编码标准m p e g - 4 和基于内容的视频描述标准m p e g 一7 正在发展和完善。因此提取和描述视频序列 中具有语义的运动目标是一个急需解决的问题。视频序列中运动目标提取技术作 为视频和图像处理领域的重要研究领域，有很强的研究和应用价值。 本文主要研究视频序列中运动目标的提取方法。在提出了基于运动变化区域 检测的运动目标提取系统和时空联合的多运动目标提取系统框架的基础上，本文 主要做了以下工作： ( 1 ) 在时域运动变化区域检测方面，提出一种改进的高阶统计算法检测运动 区域。实验结果表明该方法与原有的高阶统计算法相比，抗噪性更强，从丽能更 精确完整地从复杂背景中提取出运动区域； ( 2 ) 将基于l o g - g a b o r 复小波变换的相位一致性边缘检测算法应用到视频帧 的边缘检测方面，提取出每一帧的单边缘信息。针对各种类型的视频图像，将该 算法和c a n n y 边缘检测、分水岭分割等经典的算法作了充分比较，实验结果证明 该算法不易受对比度低和光照变化的影响，而且检测目标边缘不会产生双边，定 位准确。 ( 3 ) 将改进的高阶统计算法检测运动区域与基于l o g g a b o r 复小波变换的相 位一致性边缘检测算法相结合，建立一种新的时空联合的运动目标提取方法。实 验结果表明本文时空联合的运动目标提取算法无论对于具有简单或是复杂背景 的视频片断，还是对比度较小和噪声较大的视频片断，都可以较精确地提取出运 动目标。 关键词：视频；高阶统计；运动目标提取；时空联合；相位一致性 安徽人学硕j j 学位论文 视频运动目标提取方法研究 a b s t r a c t o w i n gt ot h ef a s td e v e l o p m e n to ft h ec o m p u t e rt e c h n i q u e s ，i tb e c o m e sn o to n l y p o s s i b l eb u ta l s on e c e s s a r yt oa c c e s s ，m a n i p u l a t e ，a n dr e t r i e v et h ev a s ta u d i o v i s u a l i n f o r m a t i o nb a s e do nt h e i rc o n t e n t s a tt h es a m et i m e ，n e ws t a n d a r d sf o r c o n t e n t b a s e d c o d i n g ( m p e g - 4 ) a n dd e s c r i p t i o n ( m p e g - 7 ) o f a u d i o - v i s u a l i n f o r m a t i o na r eb e i n gd e v e l o p e do rf u l f i l l e d t h u s ，i tb e c o m e sa nu r g e n tp r o b l e mt o e x t r a c ta n dd e s c r i b es e m a n t i c a l l ym e a n i n g f u lm o v i n go b j e c t si nav i d e os e q u e n c e a s a ni m p o a a n tr e s e a r c ha r e ai nv i d e oa n di m a g ep r o c e s s i n g ，t h ee x t r a c t i o no fm o v i n g o b j e c t si na v i d e os e q u e n c e sh a sg r e a tv a l u eo f r e s e a r c ha n da p p l i c a t i o n t h ea l g o r i t h m sf o re x t r a c t i n gm o v i n go b j e c t si nv i d e os e q u e n c e sa r es t u d i e di n t h i sp a p e r f i r s t ，t h em o v i n go b j e c te x t r a c t i o ns y s t e mb a s e do nm o t i o na r e ad e t e c t i o n a n ds p a t i o t e m p o r a lu n i o na r ep r o p o s e d l q a em a i nr e s e a r c hw o r kw h i c hh a v eb e e n d o n ei nt h i st h e s i si sd e s c r i b e da st h ef o l l o w i n g ： ( 1 ) i nt h ea s p e c to ft e m p o r a lm o t i o na r e ad e t e c t i o n ，a ni m p r o v e dh i g h - o r d e r s t a f f s t i c s a l g o r i t h mi sp r o p o s e dt o d e t e c tm o t i o na r e at h ee x p e r i m e n t a lr e s u l t s i n d i c a t et h a tt h i sa l g o r i t t m ah a st h es u p e r i o r i t yo fd e n o i s i n gc o m p a r e dw i t ht h e t r a d i t i o n a lh i g h o r d e rs t a t i s t i c sa l g o r i t h m s i tc a nm o r ea c c u r a t e l ye x t r a c tt h em o t i o n a r e af r o mc o m p l e xb a c k g r o u n d ( 2 ) t h r o u g ha p p l y i n gt h ep h a s ec o n g r u e n c ye d g ed e t e c t i o na l g o r i t h mb a s e do n l o g - g a b o rc o m p l e xw a v e l e tt r a n s f o r mt ot h ee d g ed e t e c t i o n o ff r a m ei m a g e ， o n e - p i x e lw i d t he d g e so fe v e r yf r a m ea r ed e t e c t e d f o rd i f f e r e n tk i n do fv i d e oi m a g e s ， t h i sa l g o r i t h mi sc o m p a r e dw i t hs o m ec l a s s i c a la l g o r i t h m si nd e p t h ，s u c ha sc a n n y e d g ed e t e c t i o na n dw a t e r s h e ds e g m e n t a t i o ne t c t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e da l g o r i t h mi si n s e n s i t i v et ol o wc o n t r a s ta n di l l u m i n a t i o nv a r i a t i o n i n a d d i t i o n ，t h ee d g eo f o b j e c t sd e t e c t e di so n e p i x e lw i d t ha n di sl o c a t e da c c u r a t e l y ( 3 ) c o m b i n i n gi m p r o v e dh i g h o r d e r s t a t i s t i c s a l g o r i t h m w i t ha p h a s e c o n g r u e n c ye d g ed e t e c t i o na l g o r i t h mb a s e do nl o g - g a b o rc o m p l e xw a v e l e tt r a n s f o r m ， i i 窒堂查堂塑土兰竺丝兰 垒! ! ! ! 型 an e wa l g o r i t h mf o re x t r a c t i n gm o v i n go b j e c ti sp r o p o s e db a s e do ns p a t i o 。t e m p o r a l u n i o ni n f o r m a t i o n t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mb a s e d o ns p a t i o t e m p o r a lu n i o ni n f o r m a t i o nc a nd e t e c tm o v i n go b j e c ta c c u r a t e l yf r o mt h e v i d e os e q u e n c ew i t hs i m p l e ，c o m p l e xb a c k g r o u n do rw i t hl o wc o n t r a s ta n ds e r i o u s n o i s e k e yw o r d s ：v i d e o ；h i g h o r d e rs t a t i s t i c s ；m o v i n go b j e c te x t r a c t i o n ；s p a t i o t e m p o r a l u n i o n ；p h a s ec o n g r u e n c y ； l i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得墟j 生太学或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：乔蜘镑 签字日期： 。7 年午月万日 学位论文版权使用授权书 本学位论文作者完全了解 嘲缸太学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权l 壶锗，寸、精以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：狳铸筠导师签名： 签字日期：加1 年斗月1 5 日签字日期：多净矽月矿日 学位论文作者毕业去向： 工作单位：电话： 通讯地址：邮编： 安徽大学硕士学位论文 第一章绪论 第一章绪论 1 1 研究背景与意义 信息社会中，人类感知的信息中有百分之八十是可视化信息，其中包括静 念图像和时变图像。静态图像的特点是其信息密度随空间分布，且相对于时间 为常量；而时变图像其空间密度特性是随时间变化的，所以时变图像是一种时 间空间密度模式，通常可表示为f ( x ，y ，t ) ，其中x ，y 是空间变量，t 是时间变 量，本文中的提到的视频就是一种时变图像信息，其空间信息密度特性是随时 间变化的。 数字视频技术的研究起于7 0 年代，视频为我们提供了比静态图像更丰富的 信息。通过对视频信息进行分析和处理，可以获得从单一的静态图像中不可能 得到的信息。视频分析和处理在商业、军事、工业等领域有着十分广泛的应用， 例如：在商业上，视频处理技术广泛应用于数字电视、多媒体、桌面视频图像、 视频会议系统、可视电话和移动图像通信以及其他消费娱乐领域。在工业方面， 视频处理技术用于工业过程控制、机器人视觉、自主运载器导航等。在军事上， 用于对空监视中的多目标跟踪等。其他的应用领域包括重点部门的监视系统、 智能化交通高速公路系统、港口交通控制、航空和飞行控制、远程多媒体教育 系统等。 随着多媒体技术、通信技术、计算机技术的不断发展，图像和视频编码技 术取得了令人瞩目的发展。各种视频压缩标准相继产生，分别针对不同领域的 应用，先后出现了电视电话会议电视的h 2 6 1 标准，用于低码率可视电话的 h 2 6 3 标准，用于活动视频图像压缩的m p e g 1 标准、m p e g 2 标准等。这些 编码标准均采用基于像素的表达方式和块的编码方法。它们把视频序列按时间 先后分成一系列的帧图像，每一帧的图像又被分成宏块以进行运动补偿和编码。 这种基于帧、块和像素的编码方法被称为第一代编码方法。 第一代视频编码方法融合了各种性能优良的传统编码方法，在低或中等压 缩比的情况下可以获得高质量的压缩效果，其核心技术是基于块的离散余弦变 换和块运动估计和补偿，所以压缩图像不可避免地出现方块效应，尤其在低比 安徽人学倾f 。学位论文视频分割和运动目标提取方法研究 特率环境下压缩效果不理想。另外它采用了基于像素的表达方式，每一个像素 没有实际的含义，不能直接描述场景的内容，所以不能支持用户的交互，不能 对图像的内容进行查询、编辑等操作。 为了克服第一代视频编码方法的缺点，更好地对视频图像数据进行压缩和 传输，m p e g 组织提出了第二代视频编码标准1 1 2 1 1 3 1 。第二代视频编码技术推动 了运动目标分割研究的发展。它与第一代编码方法区别在于：第一代编码方法 采用传统的规范形式，将像素或像素块理解为基本编码单元：第二代编码方法 采用基于人类视觉机理的图像描述，将图像理解为目标的合成，这些目标有颜 色、形状和纹理定义，而不是由空间上规则排列的像素定义。其中基于目标的 编码方法成为新的视频编码标准m p e g - 4 的基础。所谓目标是指图像中具有一 定物理的、视觉的或语义的区域。例如将视频图像分为运动目标和静止不动的 背景目标，然后，通过对各个目标采用不同压缩方法和压缩比，从而在一定编 码效率的要求下提供更好的图像。正式的视频目标是在m p e g - 4 标准中提出的。 它兼容了m p e g 1 2 标准，同时扩展了新的功能：基于内容的交互性；极低码 率下的数据压缩；对恶劣的差错条件下的鲁棒性及基于内容的可分级性。 基于内容是m p e g - 4 的主要特征。它依赖于按内容对视频场景进行表示， 即在编码之前首先将视频场景分割成若干区域，每一个区域对应着一个语义上 有意义的视频对象( v i d e oo b j o c t ，v o ) ，然后根据各个视频对象的特征对不同 的视频对象采取不同的编码方法。m p e g - 4 还引入了视频对象平面( v i d e oo b j o c t p l a n e ，v o p ) 的概念，主要用于视频对象的分割和合成。视频对象和视频对象 平面都是码流中用户可以存取和操作的实体。m p e g - 4 的基于对象或基于内容 的视频编码技术不仅能大大提高编码效率，而且支持用户对多媒体数据按内容 进行操作，例如基于内容的控制和比特流编辑、基于内容的多媒体数据存取、 基于内容的多媒体数据库的高效检索和查询、基于内容的可调节功能等。其中， 按内容对视频场景进行描述或者说视频对象的生成是基于对象的编码和交互式 操作的关键和基础，然而在m p e g - 4 标准中并没有关于视频对象如何自动生成 的方法，所以有必要研究如何进行视频分割以生成有意义的视频对象。另外， 面向对象生成的视频分割技术还在可视场景监控、运动目标的识别与跟踪等许 多领域内有着十分广泛的应用。面向对象生成的视频分割技术是当前多媒体技 2 安徽人学顾i 学位论义 第一章绪论 术研究中的热点和难点之一。 视频运动目标提取并不是一件容易的事，仍是一个具有挑战性的课题。一 方面是由图像分割的局限性决定的。图像分割本身就是计算机视觉和图像处理 领域很难解决的不确定问题，至今尚无统一的理论和评判标准，现有的分割算 法大多是针对具体问题的。另一方面，因为人们感兴趣的视频对象并不是关于 某个低层的特征相似，例如色彩、亮度、光流等。视频对象的分割包含了更高 层次的语义概念，因此，传统的低层次的分割算法不能获得语义上有意义的划 分。视频分割中最主要的困难在于如何将语义概念用恰当的公式表示在分割算 法中，到目前为止，还没有一种算法能自动的对任意的视频序列进行精确和可 靠的分割。 因此，视频序列中运动目标分割提取技术作为视频处理和图像处理领域的 重要研究课题，有很强的研究和应用价值。 1 2 国内外研究现状 近年来，国内外对于视频序列中运动目标分割技术的研究取得了大量的成 果，许多新的方法也相继出现。但分割算法的分类在不同文献中有着不同的分 类标准，不同分类的分割方法中又可能发生重叠。通过参阅近几年提出的分割 方法，本文根据视频分割算法的主要特点将运动目标分割方法分为三类： 第1 类：基于运动的分割方法，主要利用视频序列的运动信息，通常处理 的是有刚体运动的场景； 第1 i 类：基于时空信息的分割方法，不仅利用视频图像的时域信息还利用 空间信息，它使用了运动分割中相同的运动估计技术，但是在时空分割中主要 利用了空间信息来修正和增强时域分割结果： 第1 i i 类：交互式分割方法，主要采用人工交互的方式来确定分割对象的方 法，通过此类分割方法，可以提高视频分割的精度。 1 2 1 基于运动的分割算法 在一般的视频序列中，对象的运动与背景运动不同，各个对象的运动也可 能不相同。但在同一对象内部，各点的运动却具有一致性，所以可以利用这种 安徽天学硕j j 学位论文 视频分割和运动目标提取方法研究 基于运动信息的特点来对视频对象进行分割。 1 光流分割法 由于运动目标通常与背景有着不一样的运动，因此可以从分析目标的运动 特征入手来分割视频序列，运动分割的经典算法是先估算密度运动场，再在此 基础上对场景进行分割。运动场是三维物体的实际运动在图像平面上的投影， 然而我们所能得到的是图像亮度随时间的变化，即所谓的光流场。基于光流场 的分割就是研究光流场，从序列图像中近似计算不能直接得到的运动场，然后 根据运动场的运动特征进行视频分割。光流法是用于估算运动场的一个较普遍 的方法，光流法使用的是与投影位移模型不同的投影速度模型。由于存在孔径 问题和遮挡问题，用光流法估算二维运动场的解是不确定的，需要使用附加的 假设模型来模拟二维运动场的结构。可用的模型分为参数模型和非参数模型。 参数模型是描述曲面的三维运动在图像平面上的正交或透视投影。采用基 于参数模型的光流法进行分割的基本算法思想是：假设有个相互独立的运动物 体，每一个流量矢量对应于单个不透明体的三维刚体运动的投影。那么，每一 个不同的运动可以通过一系列映射参数来正确描述。参数模型需要对视频图像 进行分割，每个区域的运动用一个参数集来描述。运动矢量可以从这些模型参 数来合成。一个由平面的三维剐体运动产生的二维运动场，在正交投影下可以 用6 个参数的仿射模型( 公式1 1 ) 描述，而在透射投影下，则得到8 个参数的透 射模型( 公式1 2 ) ： 工= q 工+ 岛y + 吗y = a 4 x 4 - 吩y + 龟( 1 1 ) x = 等等等y = a 4 x + = a s y i + a 6 ( 1 2 ) a r x + a b y + 1a 7 x + a s y + 1 。 对二次曲面还存在更复杂的模型1 4 。经过适当选择的映射参数可以用来当 作区分不同的三维运动和表面结构之间的特征。在多个运动物体情况下，因为 不能把所有的流量矢量归属于一个物体，因此要求不同的参数集合来模拟与每 一个独立的运动三维物体有关的流量矢量。使用参数模型的分割算法典型的有 参考文献1 5 - 9 】。相对于非参数模型，参数模型受噪声的影响较小，因为参数是由 多个像素结合在起估算出来的，但参数模型的缺点是只适用于刚体运动。 典型的用于运动分割的非参数模型主要有块运动模型和贝叶斯法。块运动 4 安徽人学顾j ：学位论文 第一章绪论 模型主要应用在低码率视频编码应用中。基于平移的块运动模型的运动估算虽 然简单，但处理逐帧的块旋转和变形时却效果不好。现在使用空间变换的网格 ( m e s h ) 模型【1 0 一l 】成为一个积极的研究领域，网格模型可以很好地应用在旋转和 缩放的情况下，但同时运动估算的复杂度也大大增加了。块运动模型的分割精 度由块的大小决定。贝叶斯法是在给定光流数据的条件下，搜索分割标记的最 大后验概率( m a p ) 。它是检测当前的分割符合被观察的光流数据的程度和当 前分割与我们的期望值一致程度的方法。贝叶斯法利用随机平滑度约束条件， 通常采取g i b b s 随机场方法来估算位移场。m u r r a y 和b u x t o n 1 2 1 首先提出了 m a p 分割法。早期的基于光流的分割算法 5 6 】采用非迭代方法，孤立运动分割与 光流场估算之间的关系。近期的研究表明，光流分割的成功与否与被估算的光 流场的正确性紧密相关，反之亦然。文献【m 1 6 】提出光流场的估算和分割同时进 行的贝叶斯法，把运动场描述为参数场和余量场之和，在m a p 形式下，光流 和分割场的相互依赖性通过g i b b s 分布表示。利用最高信度优先( h c f ) 和迭代 条件模式( i c m ) 算法求解最后的优化问题。迭代算法可以得到较好的分割结 果，但也存在两个问题：一是计算量大，二是收敛速度依赖于场景、噪声和运 动。 ， 基于光流场分割的视频分割方法虽然是常用的方法之一，但仍然存在以下 缺点：第一，分割是建立在估计的光流场的基础上的，而光流场的估计对于噪 声极其敏感，因而估计的光流场往往存在较大的误差而影响了最后的分割结果 的精确性；第二，在进行分割之前必须预先设定分类的类别数目，降低了这种 方法的自适应性；第三，光流场估算的过程中计算量巨大，使得这种方法难以 实时实现。 2 基于变化检测的分割 对于背景静止或者场景只有简单全局运动的视频图像，可以使用差分或运 动补偿的变化检测算法，其算法避免了逐点计算光流估计中的光流场，通过区 分时域上相邻两帧图像的变化和未变化区域，再将场景中的像素通过判决归属 为不同的区域就可以分割出运动对象。 文献f f 7 】首先比较相邻两帧图像的变化，用相邻两帧之间的差值以及一个全 局门限值构造变化检测模板，然后利用松弛迭代算法对所得到的变化检测模板 安徽大学硕士学位论文 视频分割和运动目标提取方法研究 进行修正，再利用形态学c l o s e 算子去掉那些小区域从而获得最终的变化检测 模板。通过去除露出来的背景，根据灰度值自适应地调整边缘位置，就可以生 成对象模板。其算法大大地减少了计算量，但是要求运动物体要包含有足够丰 富的纹理细节，而且物体是处于运动之中，不能停止运动一段时间。文献【”冲 也使用了相似的算法，但是其算法消除了静态背景的假设，允许摄像机移动镜 头和变焦。文献1 19 】通过分析累积差分图像从静止摄像机的场景中提取刚体运动 体，它主要利用从图像序列中恢复静态场景分量或整幅图像背景，运动对象的 检测通过比较当前帧与静止背景图像完成。但是在一般场景中由于照明和摄像 机位置的改变，以及摄像机电子噪声都会产生很多错误数据，累积差分图像算 法很难使用，所以它只能用于特定的场景中。文献【2 0 】通过结合像素运动速度和 差分图像来分割包含纹理对象的动态场景，通过差分图像来获得运动区域，并 使用霍夫变化来估计运动区域的运动参数。文献【2 l 】将变化检测和光流结合在一 起，并且利用中值滤波来消除变化模板中的小元素以完成对象分割。文献【2 2 1 提 出了使用m a p 和松弛算法来完成变化检测，其算法通过使用m a p 来修正和 更新变化模板，消除小的分离的区域。 这些方法都具有速度快，可克服一定的噪声的优点，但是在背景噪声估计 不是很精确的情况下，噪声仍有残留。另外如果运动物体本身纹理不丰富，检 测出来的运动信息内部容易出现空洞现象。尽管对此问题可用形态学方法进行 相应处理，但处理的效果与采用的形态学算子很有关系，如果算子使用不当， 分割出运动目标边缘将不够精确。 文献【矧中进一步考虑了空间分割的结果，将依据时间分割得到的区域和依 据形态学算法的空间分割得到的区域进行比较，如果空间分割区域大部分位于 时间分割区域内，则整个空间分割区域可看成前景，否则看成背景。 3 运动跟踪法 一般来说三维空间物体的运动在时间上表现出平滑性，运动跟踪法的思 想是根据视频对象的先前状态来估计它的当前状态，现在采用跟踪物体的运动 轨迹来进行视频分割日益得到人们的重视。 运动跟踪法的基础是视频序列的图像帧上的特征匹配或光流估算以及描述 实时运动进程的动态模型。跟踪算法的性能依赖于它所使用的动态模型的准确 支徽人学坝仁学位论义 第一章绪论 性。动态模型大致可以分为2 类：( 1 ) 代表三维点的图像平面轨迹的二维运动 模型：( 2 ) 代表物理运动的动力学特性的三维运动模型。两类模型都需要依次 完成特征提取、特征匹配、运动分析3 个步骤。分割算法通常从提取对象的特 征开始，可以用来跟踪的特征包括点【2 4 2 5 】、亮度边缘【2 6 】、纹理口，】和区域 2 s - 3 t 等。 其中每一种模型又可以进一步分为刚体和非刚体运动模型。非刚体运动在现实 生活中更具有普遍性。h u a n g 3 2 将非刚体运动划分为3 类：有关节运动、弹性 运动和流体运动。k a m b h a m e t t u 等t 3 3 1 , l j 对非刚体运动做了更细的划分。其中，有 关节运动【3 4 】和弹性运动 3 5 成为当前非刚体运动研究领域的热点。 跟踪法有基于两帧的算法 3 6 。3 9 和基于多帧 2 7 ，2 8 , 3 9 - 4 1 的算法，利用较多的帧数 进行跟踪可以降低噪声对系统的影响。区域跟踪可以产生更稳定的结果和检测 遮挡的新方法。m e y e r 和b o u t h e m y 2 s 提出的区域跟踪算法在每一个区域内利 用密度流场的仿射模型来进行运动分割和区域边界传播。算法中使用了两个 k a l m a a 滤波器，一个用来跟踪仿射模型参数的运动滤波，另一个用来跟踪区域 边界的几何滤波。 在不易提取特征的对象跟踪中，通常检测对象的轮廓作为模板进行跟踪。 t h o m a s 等 ，e 】的首先定义运动连接组件的概念在颜色或亮度变化区域中自动检 测出运动对象，接着，把得到的视频对象的二值化模板按照h a u s d o r f f 距离检测 【4 2 】在后继帧中寻找相匹配的模板。为了适应模板的形状改变，每帧都对模板进 行更新。在更新时，考虑视频对象包含的不同运动特性，将视频对象区分成运 动较慢的区域和运动较快的区域两部分分别进行更新处理。这种分割方法在视 频对象运动量较大时也能达到较好的分割效果。 1 2 2 基于时空信息的分割方法 在m p e g - 4 和m p e g 一7 的应用中，要求分割出来的对象在语义上是有意义 的。但是单纯使用空间分割技术，即利用亮度、色度或者纹理等方面的空间域 特性对视频图像中具有某种相似性的区域聚集，这些区域可能只是物体的一部 分，单独的一部分往往是没有什么语义的，往往不符合语义上的对象。对于视 频序列，还可以利用对象的运动信息，在一个自然场景中，对象的运动基本上 是平稳的，相邻帧之间的对象具有某种相似性，同一对象各个部分的运动基本 7 安徽大学硕- i = 学位论文 视频分割和运动目标提取方法研究 相同。因此，如果相邻帧运动相同，就认为它们属于同一对象，从而分割出运 动对象。这样的分割主要就是利用了空间和时域上的特性同时进行分割的方法。 1 基于时域信息的运动目标分割 时域分割主要是利用视频图像相邻帧之间在时域上的连续性和相关性来划 分区域，估计出图像的运动场，将具有相似运动的区域聚类，形成运动目标的 方法。并没有考虑空域信息的作用。如光流场分割和变化检测方法中的许多算 法都利用了时域信息进行运动目标分割1 1 2 , 4 3 1 1 4 。这种方法分割得到的运动目标轮 廓不是很精确。 2 基于时空域联合的运动目标分割 时空联合分割方法是将视频看作像素的时空块，同时考虑时间和空间维。 近年来，大部分的视频对象分割算法都集中于利用时域和空域信息的时空联合 分割方法研究【4 5 ，蛔。常见的算法有：i 先空间分割获得初始模板，再时域跟踪； i i 同时进行空间分割和时域分割的方法。 第1 类方法：先对图像空间域采用传统的图像分割技术，按照一定的空间 信息( 包括颜色、灰度、边沿、纹理等) 、变换域信息( d c t 、d w t ) 、统计信 息、模型和先验知识( 对特殊类图像) 等对图像中的一致区域进行分割，然后 在帧间进行对象的跟踪。 第1 i 类方法：通过时域分割定位图像中的运动区域，再利用空域分割将图 像分割为具有准确边界的语义区域，最后结合空间分割和时域分割的结果产生 鲁棒性较好的分割结果，获得边缘定位精确的分割对象。在此类方法中空域分 割对提取目标边缘精度是非常重要的。常用的空域分割方法有：基于并行边界 分割算法、基于串行边界分割算法、基于并行区域分割算法、基于串行区域分 割算法、基于边缘与区域相结合的分割算法和结合特定理论工具的分割算法。 1 2 3 交互式分割方法 在基于对象的可操纵视频分割中，为了从视频序列中提取出语义上有意义 的视频对象，采用基于空间信息和运动信息的自动分割技术是很困难的。因为 语义上的对象往往具有几种不同的颜色、灰度和运动，所以在视频分割中利用 人工监督或与用户交互是非常必要的。交互式分割中，用户通过图形用户界面 安徽大学顾e 学位论文第一章绪论 对视频图像进行初始分割，然后对后继帧利用基于运动和空间的信息进行分割。 采用人工交互方式确定分割对象，可以降低分割的难度，提高分割的精度。 在m p e g - 4 的建议【4 7 冲，用户通过鼠标描绘出视频分割的大致轮廓，然后 使用分水岭算法自动找到视频对象的真正边界，对于刚体对象后继帧的分割使 用基于参数模型的运动跟踪方法，而对于非刚体对象后继帧的分割使用边界跟 踪方法。m a r q u e s 和m o l i n a 【4 8 1 提出了基于形态学的两次交互式分割方法，通过 人机交互选定感兴趣的视频对象，按颜色、灰度将视频对象分割成不同区域， 使用分水岭算法进行区域增长得到下一帧的分割结果，为了改善时域上的连续 性，使用变换检测模板防止静止区域的增长覆盖运动区域。c h a l o m 等人【叫提出 了一种需要部分监督的分割方法，通过对用户选择的图像数据进行训练，建立 一个图像区域的多模式统计模型。对每一个图像单元，抽取一个特征矢量然后 为每一个特征矢量建立一个参数化的概率分布函数，但这种概率分布的先验知 识是未知的，因此需要用户提供一系列的训练数据来获得这些概率分布的近似 形式。利用得到的概率分布近似形式，就可以把余下的像素归类到用户指定的 区域集合中的某一个，但是为了考虑视频对象的连通性，还需要用户的再次参 与。近来k _ r l l s e 等人f 5 0 】提出了利用活动轮廓( a c t i v ec o n t o u r ) 来进行视频对象分 割，这种方法属于基于边界的交互式视频对象分割方法。m a r c o t e g u i 等人【5 l 】在 直接使用了连通性概念的同时，允许用户勾画出一个粗糙的边界从而得到视频 对象的形状，使基于区域的用户交互式视频对象分割方法得到了扩展。 1 3 本文所作的工作及内容安排 本文对视频序列中运动目标分割方法进行了研究，其中包括三个主要方面： 第一，视频运动目标时域分割方面的研究，对原有的高阶统计o t o s ) 运动区域检 测方法进行了改进，并得到了更好的检测效果：第二，空域图像分割方面，使用 基于l o g - g a b o r 复小波变换的相位一致性算法提取图像边缘，发现对不同的视频 片断，其抗噪效果更好，对于对比度小的图像，该方法定位边缘更准确，且不会 产生双边现象；第三，将上述两方面融合，提出一种新的时空信息联合的运动目 标提取方法，对对比度较小和噪声较大的视频片断，都可以较精确地提取出运动 目标。 安徽人学坝i ：学位论文视频分割和运动目标提取方法研究 本文的主要内容分为六章，安排如下： 第一章，绪论。介绍论文研究的背景和意义及国内外研究现状等，同时介绍 了本文的研究内容和改进创新之处； 第二章，介绍了视频分割理论与模型，包括：视频分割系统一般模型、基于 运动变化区域检测的视频运动目标提取系统模型和时空联合的多运动目标提取 系统模型； 第三章，介绍了基于时域信息的常用的运动检测方法，如阈值法和高阶统计 算法等，提出了改进的高阶统计运动检测算法，实验证明效果更好； 第四章，首先介绍了常用的空域图像边缘检测和分水岭分割算法。经实验发 现利用基于l o g g a b o r 复小波变换的相位一致性边缘检测算法可以精确提取出每 一帧的单边缘信息，对于对比度小或有光照变化的视频图像定位更准确，且抗噪 性更好； 第五章，基于上两章中改进的高阶统计检测得到的运动区域和基于 l o g g a b o r 复小波变换的相位一致性边缘检测得到的空域图像边缘特征，提出一 种新的时空信息联合的运动目标提取方法，对于噪声大或对比度低的视频，其鲁 棒性更强，分割更精确； 第六章，是全文的总结与展望。 1 0 安徽大学顾十学位论文第二章视频分割理论与模型 第二章视频分割理论与模型 2 1 视频分割系统一般模型 在视频序列中，人们注意及感兴趣的主体，一般是具有自主运动的物体。 因此我们定义视频对象为视频序列中具有自主运动的物体，如行走的人、行驶 的汽车、船只等。而背景通常是不具有自主运动的，它的变化是由于摄像机或 外界光照条件变化引起的。视频对象的共同特点是：其内部各组成部分具有较 相似的运动特征且各组成部分在空间上连通。这样一个特点是视频分割的基础， 也是我们后面将要讨论的一些具体的视频分割方法的出发点。 视频分割系统的基本任务是对输入的视频序列进行处理，输出视频对象。 它可表示为： 输 视频 入 对象 视 _ -分割 系统 频 图2 1 视频对象分割系统基本任务 f i g 2 1b a s i ct a s k so f v i d e oo b j e c ts e g m e n t a t i o ns y s t e m 基本的视频分割系统的方程可表示为： o f ( x ，y ；f ) 】l c = m o i m 0 2 m o n ( 2 1 ) 式( 2 1 ) 物理意义是：在视频对象定义的约束条件c 下，对输入的视频序列 f ( x ，) ，；f ) 按算子o 】进行处理，最后得到各个运动物体m o , ( i - 1 2 n ) 。 根据视频对象的特点，式( 2 1 ) 中的约束条件c 可以表示为两点： l l 安徽大学颂七学位论文视频分割和运动目标提取方法研究 ( 1 ) 若区域置( x ，y ) m o , ，区域恐( 茗，力m o j ，则e ：，兰艺， 其中一：。和墨，分别表示区域墨( z ，j ，) 和区域足( x ，y ) 的运动特征。 ( 2 ) 若0 见( 石，y ) = m o , ，其中“u ”表示联合，则也( x ，y ) ( k = l 2 n ) 在空 t = l 间上连通。 根据上述两点，我们得到视频序列中运动对象提取一般模型为： 基于运 运动动相似 输特征 运动 性和空莲 入_ 提取 相似 - - - +间连通 斗 动 视和描 性度性的判对 频述量决象 图2 2 视频序列中运动对象提取一般模型 f i g 2 2ag e n e r a lm o d e lo f m o v i n go b j e c te x t r a c t i o ni nv i d e os e q u e n c e 2 2 基于运动变化区域检测的运动目标提取系统 运动目标分割是在静态图像分割的基础上发展起来的，它不同于静止图像 的分割在于运动信息的引入。因为运动是人眼从一个景物中发现感兴趣的目标 时一个非常有用的线索。而基于变化区域检测算法是运动检测的常用方法。基 于变化区域检测是通过检测序列图像帧的变化区域与不变区域，来将运动物体 与静止背景进行分离的。实际的成像过程中，相邻两帧之间的时间间隔很小， 通常可以认为在相邻两帧之间的时间间隔内外界环境光照条件无变化或变化很 小，因此在相邻两帧之间的时间间隔内外界环境光照条件无变化的假设是可行 的。但是，在实际成像过程中却常常存在着摄像机的运动( 如摄像机的旋转、 平移等) ，这就造成了相邻两帧之间的对应位置上的背景区域存在着变化。由摄 像机的运动而造成的视频场景的运动是一种全局运动，它具有运动一致性的特 点，如果我们能对这种全局运动做出估计，并对当前帧进行补偿，则能消除由 于摄像机运动而带来的相邻两帧之间的背景变化的影响。 进行全局运动补偿后，基本消除了由于摄像机运动引起的相邻两帧之间的 背景变化，那么相邻两帧之间的差分图像只有噪声区域和运动变化区域两部分 安徽大学硕：学位论文 第二章视频分割理论与模型 了。但运动变化区域并不就是运动对象，从后面的3 1 节的视频运动特性分析 中可知，运动对象存在于运动变化区域中。所以，提取出运动变化区域是基于 运动变化区域检测的视频分割系统中的关键一步。在检测出运动变化区域后， 按照一定的空间信息( 包括颜色、灰度、边沿、纹理等) 、变换域信息( d c t 、 d w t ) 、统计信息、模型和先验知识( 对特殊类图像) 等对图像中的一致区域 进行分割，最后可以结合这些空域图像的信息分割出视频对象。 根据以上分析，建立基于运动变化区域检测的运动目标提取系统如下： 输 全局相邻 划分运动 噪声变化 视 入 运动两帧 区域区域 频 视 估计 的差 和变生成对 与补分运 频化区对象象 a ￥ 算 域 模板 图2 3 基于运动变化区域检测的运动目标提取系统 f i g 2 3t h em o v i n go b j e c te x t r a c t i o ns y s t e mb a s e do nm o t i o na r e ad e t e c t i o n 2 3 时空联合的多运动目标提取系统 具有多运动目标的视频图像序列，可用集合的形式表示为： ( z ，y ；f ) ) = u ( z ( x ，y ；0 )( 2 2 ) o u ( f ( x ，_ y ；f ) ) 为输入视频图像序列f 的集合描述，其余分别为背景五和运动目 标图像，i ( 1 ，n ) 。 假设输入图像序列已经过全局运动估计和补偿，我们设计了时空联合的多 运动目标提取系统框架，如图2 4 所示。 系统的输入为视频序列，同时进行时域检测运动区域和空域边缘图像检测。 时域检测得到每个运动目标轮廓，可分别生成运动模板，结合空间图像边缘， 分别得到每个目标的精确边缘，从而生成精确的模板，提取出运动物体。 安徽大学碗卜学位论文 视频分割和运动目标提取方法研究 图2 4 时空联合的多运动目标提取系统 f i g 2 4m o v i n go b j e c te x t r a c t i o ns y s t e mb a s e do i ls p a t i o - t e m p o r a lu n i o n 1 4 安徽大学硕士学位论文 第三章基于时域信息的运动检测方法 第三章基于时域信息的运动检测方法 视频对象的生成在许多方面都有着重要的应用，它不仅是基于内容的视频 编码的基础，而且也是视频图像跟踪识别系统中的一个重要环节。由于视频对 象( 运动对象) 存在于运动变化区域之中，因此视频对象生成的一种重要方法 就是先检测出运动变化区域，然后在运动变化区域中结合其他特征生成视频对 象，其中运动变化区域的准确检测是这类方法的关键。 3 1 视频运动特性分析 对于视频序列图像来讲，最有用的信息是相邻两帧之间图像信号的变化信 息，如果两帧之间无任何变化，则序列图像的信息量将大大降低，而帧间图像 信号的变化往往又包含了丰富的目标运动信息，这恰恰是我们利用运动信息对 视频进行分割的基础。真实目标的运动投影到图像平面中表现为平移、旋转等 运动形式中的一种或几种形式的组合。分析目标运动在序列图像中引起的变化 是非常重要的，从简便考虑，我们在分析目标运动时暂不考虑成像场景环境的 变化( 例如外界光线的突然改变) 和由摄像机运动带来的背景的变化。 ( a ) 第k 帧( b ) 第k + 1 帧( c ) 运动变化区域 图3 1 目标运动示意图 f i g 3 1t h eo b j e c tm o v e m e n ts k e t c hm a p 图3 1 是目标运动的示意图。其中图( a ) 表示视频序列的第k 帧，图( b ) 表示 第k + l 帧，比较图( a ) 和图( b ) 可以看出，由于目标运动，它在第k 帧和第k