（计算机软件与理论专业论文）基于变化模板检测的视频对象分割算法研究.pdf

基于变化模板检测的视频对象分割算法研究 摘要 目前视频编码正在从第二代基于宏块的方法向第二代基于内容、对象的方向 发展。基于对象、内容的新理念，对数字视频的压缩、检索等方面的应用产生了 深远的影响。但是这一切功能的实现都必须先将视频对象从视频序列中分割提取 出来 本文深入研究了现有对象分割算法，对各自的优点和不足进行了探讨并在 此基础上提出了一些新的算法和改进，主要内容如下： 在背景静止的情况下，本文利用对称差分的方法提取运动对象的轮廓，并 提出了一种相对简单的差分图像自适应阈值选取方法和模板轮廓闭合的方法。较 好的解决了背景的显露与遮挡阻题。 提出了一种结合c a n n y 边缘检测与对称差分的视频对象分割算法。实验结 果表明该算法提高了视频对象的分割精度 深入研究了全局运动估计与补偿技术，并提出一种全局运动下的视频对象 分割算法，从运动背景中准确分割出视频对象 实验结果表明，本文提出的算法能精确、鲁棒地分割出视频对象。且算法复 杂度低，无须人工干预，适合于实时性运用。 关键词：视频对象分割，对称差分，边缘检测，变化检测模板，全局运动估计， 全局运动补偿 本文工作受江苏省自然科学基金项目“基于内容的视频分层编码传输体系与 算法研究”( 编号：b k 2 0 0 3 0 2 9 ) 及“铁路信息科学与工程”部级开放实验室基 金“基于内容的数字水印算法”( 编号；t d x x 0 5 0 1 ) 及国家自然基金( 编号： 6 0 6 7 3 0 9 2 ) 资助 a b s t r a c t n o w a d a y s ，t h ev i d e oe n c o d i n gm e t h o di sd e w c l o p i n gf r o mt h ef w s tg e n e r a t i o n ( m a r c ob l o c k - b a s e d ) t ds e c o n dg e n e r a t i o n ( c o n l e n t - b a s e da n do b j e c t - b a s e d ) o b j e c t - b a s e da n dc o n t e n t - b a s e d ，a san e wm e t h o d ，d e e p l ya f f e c tt h ed i 舀t a lv i d e oe n c o d i n g a n dr e t r i e v a l b u tf i r s to f a l l ，w em u s tr e a l i z et h ef u n c t i o no f s e p a r a t i n gt h ev i d e o o b j c 歧f r o mb a c k g r o u n d t h i st h e s i ss t u d i e dt h ee x i s t i n gv i d e oo b j e c ts e g m e n t a t i o na l g o r i t h ma n da n a l y s i s 也c i re x c e l l e n c e sa n dw e a k n e s s e s s o m ei m p r o v e m e n ta n dn e w a l g o r i t h mh a sb e e n p r e s e n t e d t h ei m p o r t a n to 删龇a sf o l l o w s ： o nt h ec o n d i t i o no f s t a t i cb a c k g r o u n d t h ep a p e ru s y m m e t r i c a ld id a l g o r i t h mt og e tt h ec o u n t e ro f m o v i n go b j e c t , a n das i m p l ea d a p t i v eb i n a r yt h r e s h o l d a p p r o a c ha n dc o u n t e rf o l dm e t h o dh a sb e e nb r o u g h tf o r w a r d f i n e l ys o l v et h e u n v e i l e da n ds h e l t e r e dd i s c i c to f b a c k g r o u n d t h e p a p e r p r e s e n t s a n e w a l g o r i t h m c o m b i n e d w i t h c a n n y e d g e d e t e c t i o n a n ds y m m e t r i c a ld f d t h ee x p e r i m e n ti n d i c a t e st h i sa l g o r i t h mh a sa g o o d p e r f o r m a n c eo ns e g m e n t 跚a l r a 睇 s t u d yt h eg l o b a lm o t i o ne s t i m a t i o na n dc o m p e n s a t i o nt e c h n o l o g y 。p r e s e n t sa n e wv i d e oo b j e c ts e g e m e n ta l g o r i t h mu n d e rg o l b a lm o t i o n , a n da c t u a l l ys e g m e n tt h e o b j e c tf r o mt h em o v i n gb a c k g r o u n d e 姆圮r i | 鼬lr e s u l t ss h o wt h a tt h ea l g o r i t h mc 锄a c c u m m l ya n dr o b u s t l y s e g m e n t t h e v i d e o o m e c ct h e a l g o r r h m h a s a l o w c o m p l e x i l y , a n d d o n t n c o d m a n u a l i n t e r v e n t i o n , s u i t a b l ef o ru s ei i lr e a l - t i m e k e y w o r d s ：v i d e o 删o c ts e g m e n t a t i o n ，s y m m e l z i c a ld f d ，c d g ed e t e c t i o n ，d m g e d c t 蒯o nm a s k ，g l o b a lm o t i o ne s t i m a t i o n ，g l o b a lm o t i o nc o m p 础q a t i o n t h i sp a p e rw a ss u p p o r t e db yt h ej i a n g s un a t i o n a ls c i e n c ef o u n d a t i o no fc h i n a u n d e rg r a n tb k 2 0 0 3 0 2 9a n db yt h ef u n do fs c i e n t i f i cr e s e a r c ho ft h eo p e nk e y l a b o r a l o r yo nr a i l w a yi n f o r m a t i o ns c i e n c ea n dt e c h n o l o g yo fr a i l w a ym i n i s t r y u n d e rg r a n tt d x x 0 5 0 1a n dt h en a t i o n a ls c i e n c ef o u n d a t i o no f c h i n au n d e rg r a n t 6 0 6 7 3 0 9 2 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文 不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏 州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本 声明的法律责任。 研究生签名：超 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论 文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论 文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的 保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：筮整垂日期：翌军绝出多 导师签名：蜷日期：2 釉 基于变化模板检测的视频对象分割算法研究 第一章绪论 第一章绪论 1 1 研究背景与意义 数字视频如果不经过压缩的话，其空间和时间冗余是相当大的。由于数据存储介 质容量以及传输带宽等客观条件的限制，必须对视频数据进行压缩处理。为此国际电 信联盟i t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 与国际标准化组织i s 0 ( i n t e m a f t o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 制定了一系歹目相关的视频压缩编解码标 准。u 组织制定的标准主要针对实时视频通讯的应用，如视频电话、视频会议等， 主要包括h 2 6 x 系列( h 2 6 1 ，h 2 6 2 , h 2 6 3 , h 2 6 4 等) ；而i s o 方面主要由其中的m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 专家组制定标准，主要针对视频数据的存储，如d v d 、 数字广播电视、流媒体技术等方面的应用，主要包括m p e g - x 系列( m p e 0 - l ，m p e c 汜， m e p g - 4 ，m p e g - 7 ，m p e g - 2 1 等) 这两个组织也共同制定了一些标准，h 2 6 2 标准 等同于m p e g - 2 标准，而最新的h 2 6 4 标准则被纳入m p e g - 4 的第1 0 部分。 我国近期也根据国内信息产业的需求制定了先进音视频编码a v s 标准。a v s 是基 于我国创新技术和部分公开技术的自主标准，编码效率比m p e g - 2 高2 - 3 倍，与h 2 6 4 相当，而且技术方案简洁，芯片实现复杂度低国内一些厂商如华为、中兴、l r r 斯 达康等已开始从事基于a v s 的产品开发，但离全面商用还有不短的路要走。 上述几种编码标准主要都属于第一代编码标准，其最基本的特点是基于宏块。而 随着视频技术的发展，特别是m p e g - 4 标准的提出，使得结合人眼视觉特性的第二代 编码标准成为视频领域的研究热点。其主要特点是编解码的基本单元从毫无语义特征 的像素宏块发展为了具有语义特征的视频对象而且传统的视频检索也从基于文本特 征视频检索向基于视觉特征和语义内容的视频检索发展( m p e 0 7 ) 要实现基于对象的编码和检索需要一个前提条件，那就是如何准确、实时的将视 频对象从视频帧中分割出来。但对象的分割是一个技术难点，涉及对视频内容的分析 和理解，这与人工智能、图像理解、模式识别还有神经网络等学科有着密不可分的联 系。因此在m p e c 珥标准中没有提供标准的视频对象分割解决方案，而是将这部分公 开，让全世界对此感兴趣的人们一起研究自从m p e g - 4 标准提出后，视频对象分割 技术一直都是图像视频领域的研究热点，但是至今为止还没有一个m p e g 组织认可 第一章绪论 基于变化模板检测的视频对象分割算法研究 的通用的视频对象分割算法。那什么是视频对象呢? 1 1 1 视频对象的概念 视频对象v o ( v i d e oo b j e c t ) 是一个具有一定生存周期的、在时间轴上连续的概 念，属于包含时间轴在内的三维空间。视频对象在某一时期或某一帧中的表象称为视 频对象平面v o p ( v i d e oo b j e c tp l a n e ) 图1 1 对象示意图 基于对象的视频编解码系统从现实世界的角度来理解视频序列。如图l 一1 所示， 它把一个视频片段分解成视频、音频或其他形式的。对象”，然后以场景的概念来组 织这些对象。图中显示的是n e w s 序列中的第1 2 0 帧。在该帧中男女播音员本身的图 像信息可以视为两个不同的视频对象，而他们的声音信息又可以当作两个不同的音频 2 基于变化模板检测的视频对象分割算法研究 第一章绪论 对象，其视频对象和音频对象又可以复合成播音员对象。此外该帧中还有背景对象， 文字对象等等。而在该帧中显示的都只是这些对象的对象平面( v o p ) 。 每一帧的场景当作由不同视频对象平面( v o p ) 所组成的，而同一对象连续的 v o p 构成视频对象v o ( v i d e oo b j e c t ) 。v o 可以是视频序列中的人物或具体的景物， 也可以是计算机图形技术生成的二维或三维图形。对于输入视频序列，通过分析可将 其分割为若干个v o p ，对任意v o p 编码后形成该v o p 的数据流。 1 1 2 视频对象的应用 i 基于对象的视频编码( m e g _ 4 ) m p e g - 4 与以往视频编码标准的主要区别在于对象的概念以及由此所带来的一系 列新功能第二代视频编码技术要求利用人眼的视觉特性去除帧内和帧间的数据冗 余，用更低的码率传输更高质量的视频图像。在基于内容的视频编解码系统中，输入 的视频不再是一堆像素，而是视频对象以及视频对象按照时空关系组成的场景。 ： m p e g - 4 采用基于对象的编码，突破了传统的以矩形或方形块处理图像的方法，7 即把视频序列看成由不同的视频对象v o 组成的，视频对象可以是任意形状的视频内 容，也可以是传统的矩形视频帧。每个v o 在特定时刻的实例成为视频对象平面v o p ( v i d e oo b j e c tp l a n e ) ，编码器根据实际的矩形帧作为编码对象，与以往的编码标准 对应，m p e g - 4 支持3 种图像帧模式；i - v o p ( 帧内预测) 、p - v o p ( 帧间预测) 和 b - v o p ( 帧间双向预测) ，其中b - v o p 可单独编码 m p e g - 4 标准与i t 2 6 x 系列以及m p e g - 1 ，m p e g - 2 标准不同，它更多定义的是一种 格式、一种架构，而不是具体的算法。此外，要实现基于内容的视频对象编码必须首 先从视频帧中分割出视频对象 2 基于内容的视频检索( g p e g - 7 ) 准确来说，m p e g - 7 标准并不是一种视频压缩编码标准，而是一个多媒体内容描述 接口随着网络信息的不断增长，人们获得感兴趣的信息的难度越来越大。传统的基 于关键字或文件名的检索方法，显然已经不适于数据量庞大又不具有天然结构特征的 声像数据。于是实现基于内容的检索与访问成为肝e g 组织新的研究方向。g f e g - 7 应 运而生成为m p e g 家庭的新成员，它将为各种类型的多媒体信息规定一种标准化的描 述，这种描述与多媒体信息的内容本身一起，支持用户对其感兴趣的各种内容进行快 第一章绪论 基于变化模板检测的视频对象分割算法研究 速、有效的检索。 m p e g - 7 应用范围广泛，既可应用于存储，也可以用于流式应用，还可在实时或非 实时的环境下应用，i d p e g - 7 规定一个用于描述各种不同类型多媒体信息的描述符标 准集合，还将对定义其他描述符及其结构( 描述方案) 和它们之间关系的方法进行标 准化。这种描述将内容本身关联起来，以便对用户感兴趣的素材进行快速高效的搜索。 1 2 研究现状 视频对象分割没有通用的算法，也没有一个统一的分类标准。m e i e r l l i 认为视频 对象分割算法可以分为3 - d 分割、基于运动信息分割、时空域分割、联合运动估计分 割这四大类；国内的刘党辉、沈兰荪等 2 1 认为视频对象分割是从图像分割技术的基础 上衍生出来的一项新技术，可以分为基于帧内的分割技术和基于帧间的分割技术两大 类。 帧内分割主要利用传统的静态图像分割技术，其中最典型的方法就是边缘检测 和分水线算法。边缘检测方法【柚l 例能较精确的给出对象的轮廓，但是容易受到噪声 等外界因素的影响。而且在复杂背景下，对象以及背景中具有轮廓形状的部分的边界 都会被检测出来，而这些背景中的部分轮廓边缘相对于对象的轮廓而言可以视为噪 声，这对视频对象的分割很不利。但边缘检测提取得边界相对比较精确，因此在后文 中利用边缘检测来对视频对象分隔结果进行紧凑 分水线算法有一个严重的缺陷，就是对噪声非常敏感。图像中自然背景、噪声、 物体边缘以及物体内部的细小变化都会产生过分割现象。为此必须对分水线算法进行 必要的改进 6 1 1 7 s ，其中最直接的就是对过分割的部分进行区域合并，但这个过程往 往需要经过很多条件判决的过程，增加了算法开销，而且分割结果也不是非常精确。 帧间分割主要利用视频序列图像的空间信息与时间信息，最典型的方法是光流 法，但是光流法存在“孔径”问题1 4 3 ，必须对其进行约束，虽然有很多学者其进行了 改进，在某些情况下可以提高光流场估计的精度，但这都无法克服光流场本身的限制， 极大限制了光流场估计方法的实际应用 另一种相对简单的方法是计算对象的变化检测模板通过差分的方法可以得到变 化检测模板进而分割出视频对象，m e i e r 1 1 1 4 5 1 、k i m 3 0 1 、w a n g ( n 、m e 甜蛔、n e f f 4 7 l 等通过相邻帧差分，获得变化检测模板，这些方法利用了时空运动信息，效果较好 基于变化模板检测的视频对象分割算法研究第一章绪论 但是这些方法这些算法都要求背景静止、光照条件恒定，而且只利用两帧差分，容易 受到噪声的影响。此外在全局运动情况下，背景随着摄像机的运动也产生运动，因而 无法通过帧差的方法获得变化检测模板。为此m e c h 5 、韩军【3 6 1 等提出了利用全局运 动估计与补偿技术来解决背景运动导致的问题，但并没有给出具体的全局运动估计与 补偿算法。而且目前视频对象分割算法的研究大多集中在背景静止的头肩视频序列分 割上【3 7 】f 3 明嗍，对全局运动下的视频对象分割的研究还不多见。 全局运动估计算法的关键在于全局运动特征点的选取方法和运动矢量的估算方 法。s m o l i c 嘲、贺玉文嘲f 3 1 1 、k o n r a d 3 4 等对全局运动估计与补偿技术进行了一定的 研究，但现有的算法还都比较复杂，而且主要都是针对m p e g - 4 的s m t c 编码，很少 用于视频对象分割。 1 3 本文主要研究内容和创新点 在本文中我们使用变化检测模板的方法分割视频对象。首先在背景静止前提下， 采用对称差分的方法来获得变化检测模板，并提出一种差分图像二值化和模板轮廓断 裂闭合的新方法。同时提出一种结合边缘检测的方法对变化检测模板进行紧凑，获得 更加精确的视频对象。另外针对全局运动的情况，通过全局运动估计与补偿技术解决 背景运动的问题。具体研究内容包括： 深入研究了现有的视频分割算法。并分析了各自的优点和不足。 在背景静止的情况下，本文利用对称差分的方法提取运动对象的轮廓，并提出 了一种相对简单差分图像自适应阙值选取方法和轮廓闭合方法，较好的解决了背景的 显露与遮挡问题。 考虑到边缘检测能较精确的得到物体的轮廓，本文提出了一种结合c a n n y 边缘 检测与对称差分的视频对象分割算法实验结果表明，该算法较大的提高了分割精度。 现实生活中，由于为了捕捉某个镜头，摄像机往往会产生平移、旋转等运动， 这直接导致了全局运动的发生。在全局运动下，相邻帧之间的背景不能保持静止，这 不能满足对称差分算法的要求。为此，本文结合全局运动估计与补偿技术，对背景的 运动进行校正，并精确的分割出视频对象。 实验结果表明本文中的算法具有很好的精确性和鲁棒性。且算法复杂度低、不需 要人工干预，适合实时性运用。 第一章绪论 基于变化模扳检测的视频对象分割算法研究 1 4 论文安排 第一章：主要介绍现视频对象的概念、研究背景与意义、研究现状、论文的安排、 研究内容等 第二章；重点研究和分析了几种典型的视频对象分割算法，总结了各自的优缺点 并给出部分实验结果。 第三章：主要介绍在静止背景下利用对称差分求取变化检测模板提取视频对象的 方法；并介绍了结合c a n n y 边缘检溺算法提高视频对象分割精度的方法 第四章：主要介绍全局运动的概念和影响，研究了刚体的运动模型，并对模型参 数进行了推导，为全局运动估计算法的研究做理论铺垫。 第五章：主要研究全局运动估计与补偿技术，并提出结合全局运动的视频对象分 割算法 第六章：结束语。主要总结本文的研究成果，并对下一步的工作进行了展望。 6 基于变化模板检测的视频对象分割算法研究第二章视频对象分割理论基础与分析 第二章视频对象分割理论基础与分析 m p e g - 4 及其后续标准中提出了基于对象的视频编码和基于内容的视频检索等功 能实现这些功能的前提条件是从视频序列中分割出具有语义特征的视频对象但是 在这些标准中并没有明确给出具体的分割算法，而是将这部分公开，让全世界对此感 兴趣的人们共同研究本章分别从帧内分割和帧间分割的角度对现有的视频对象分割 算法进行深入研究与分析，总结了各算法的优缺点并确定在后续的研究工作中采用 变化检测梗叛的方法分割视频对象 2 1 帧内分割技术 正如前文所言，帧内分割技术主要以传统的静态图像分割为基础，不考虑视频序 列中图像帧之间的时间连续性，仅利用其空间信息，大致可以从边缘、区域两方面考 虑 2 1 1 基于边缘的视频对象分割 在图像中两个具有不同灰度值的相邻区域之间总存在灰度边缘，边缘是灰度值不 连续的结果，通常利用一阶导数局部最大值和二阶导数过零点来检测边缘。实际使用 时常用模板对图像进行遍历卷积对导数或微分进行近似计算下面介绍几种常用的微 分算子。 1 。梯度算子 梯度对应一阶导数，梯度算子是一阶导数算子，适用区域边缘灰度变化较大且噪 声较小的图像。对一个连续函数，o ，力，它在以力位置上的梯度g ( x ，力可以表示为 一个矢量： o ( x , y ) ；v f ( x , y ) _ 【g j ，g ，r ：【要，参r ( 2 - 0 。 倪卵 其中q 和q 分别代表沿x 方向和y 方向的梯度。其幅度和方向角分别为： m a g ( v f ) = q + 嘭( 2 - 2 ) 口= ( q q )( 2 - 3 ) 以上各式中的偏导数需对每个像素位置计算，在实际中常用小区域模板进行卷积 7 第二章视频对象分割算法理论基础与分析基于变化模板检潮的视频对象分刳算法研究 来近似计算。对q 和q 须各用一个模板，所以需要两个模板组合起来构成一个梯度 算子。根据模板的大小和其中元素数值的不同分布，人们提出了许多其他算子，最简 单的梯度算子是罗伯特交叉算子( r o b e r t s c r o s s ) ，比较常用的还有p r e w i t t 和s o b c l 算子，这几种算子的模板如图2 - 1 所示： 田10 团0 1 圈- 1 0 1 圜圈圜 r o b e r t s 算子p r i w i t t 算子 s o b d 算子 图2 1 几种梯度算子 2 拉普拉斯算子 拉普拉斯( l a p l a c i a n ) 算子是一种二阶导数算子，对一个连续函数- ，u ，力，它在 图像中任意一点 ，力的拉普拉斯值为： v 2 讹力= 警芬 圈圈冈 ( 2 哪 、laplacian算予 图2 - 2 拉普拉斯算子 拉普拉斯算子是无方向性的算子，只需一个模板就能计算出拉普拉斯值，拉普拉 斯模板要求对应中心像素的系数为正，邻近像素的系数为负，且所有系数之和为零， 这样就不会产生灰度偏移。图2 - 2 中是几种常用的拉普拉斯算子模板 3 c a n n y 算子 c 锄n y 算子把边缘检测问题转换为检测单位函数极大值的问题嗍。在高斯噪声中， 一个典型的边缘代表一个阶跃的强度变化分割质量的好坏，主要取决于以下三个标 准： 0 基于变化模扳检铡的视频对象分割算法研究 第二章视频对象分割理论基础与分析 1 低错误概率，即要尽量少将边缘像素漏掉，同时也要尽量少将非边缘点误判为 边缘点。 2 检测位置精度高，即检测出的边缘点位于真正的边界上。 3 每个边缘点的响应是唯一的，即得到的边缘宽度为单像素。 为此，c a n n y 提出了判定边缘检测算子的三个准则： ( 1 ) 信噪比准则 信噪比越大，提取的边缘质量越高。这里信噪s n r 定义为： + 嘭 iig ( - x ) h ( x ) d xi 5 ：凇= ( 2 - 5 ) 其中g o ) 代表边缘函数，| i ( 力代表带宽为w 的滤波器的脉冲响应，盯代表高斯 噪声的均方差。 ( 2 ) 定位精度准则 边缘定位精度l 如下定义： + 矿 if g ( 功 ( 功出i 三= ( 2 - 6 ) 一万f 擎l - g 忉 沙 冲j 9 f 第二章视频对象分割理论基础与分析基于变化模板检铡的视须对象分割算法研究 可导出一个由边缘定位精度和信噪比乘积组成的表达式。 c a n n y 算子实现主要通过以下5 步：图像高颠滤波、计算图像梯度、抑制梯度非 最大点、搜索边界起点、跟踪边界，其具体实现细节将在第三章中详细介绍。 如图2 - 3 显示的是m o t h e r _ d a u g h t e r 序列第l 帧的边缘检测结果。图2 - 3 ( a ) 是原 图像，2 - 3 ( b ) 是r o b e r t sc r o s s 边缘检测结果，2 - 3 ( c ) 是p r i w i t t 边缘检测结果，2 - 3 ( d ) 是s o b e l 边缘检测结果，2 - 3 ( e ) 是l a p l a c i a n 边缘检测结果，2 - 3 ( f ) 是c a n n y 边缘检测结果 ( a ) 第1 帧原图像 ( c ) p r i w i t t 边缘检测结果( d ) s o b e l 边缘检测结果 基于变化模板检测的视频对象分割算法研究第二章视频对象分割理论基础与分析 ( e ) l a p l a c i a n 边缘检测结果 ( oc a n n y 边缘检测结果 图2 - 3m o t h e rd a u s h t c r 边缘检测示意图 p r e w i t t 算子、s o h e l 算子和r o b e r t 算子，都是一阶微分算子，用于检测图像冉骟 阶跃型边缘，算法简单，编程方便，效果较好，但对于屋顶型边缘效果不明显。c a n n y 算子也是一阶算子，其方法的实质是用一个准高斯函数作平滑运算，然后以带方向的 一阶微分算子定位导数最大值，它可用高斯函数的梯度来近似，在理论上它很接近四 个指数函数的线性组合形成的最佳边缘算子但在实际工作应用中编程较为复杂，且 运算偏慢。l a p l a c i a n 算子属于二阶微分算子，其零交叉点也可作为图像的阶跃型边 缘点，而其极小值点可作为图像的屋顶型边缘。l a p l a c i a n 算子极小值算法用于检测 屋顶型边缘的效果不错，但对噪声敏感性较大。而其过零点算法若直接用于检测阶跃 型边缘，则不仅过零点的阈值难于选择，而且检测精度一般较低。 边缘检测算法能较精确的提取边界信息，但提取的边界容易产生断裂。因此在实 际运用中常需要通过h o u g h 变换等方法进行断裂连接。此外在复杂背景下，背景中的 物体边缘也往往会被检测出来，这些信息对于视频对象分割而言可以视为噪声，这对 视频对象分割很不利 2 1 2 基于区域的视频对象分割 基于区域的视频对象分割就是将视频帧分割成若干个互不相交的小区域的过程， 这些区域在某种意义上是具有共同属性的像素的连通集合。文献嗍借助集合的概念， 令集合r 代表整个图像帧，对r 的分割可以看作将r 分为n 个满足以下条件的非空 子集属，恐，： 第二章视频对象分割理论基础与分析基于变化模板检测的视频对象分割算法研究 u 足= r ； - 2 i 对于所有的f 和_ ，当f _ ，时，满足墨n r , = ； 对i = l ，2 ，有尸( 足) = t r u e ； 对于j ，有烈焉u 弓) = f a l s e 对f _ l ，2 ，忍是连通的区域； 其中，p 为对所有集合置中元素的逻辑谓词，代表空集通过定义可知：对所 有子区域的并集能包括图像中所有像素；各子区域互不重叠。每个像素不能同时属于 不同区域；同于区域的像素具有某种相同的属性，不同区域的像素具有不同属性；同 一予区域内的像素是连通的。 基于区域的分割主要有阈值分割、分水线算法、区域生长、分裂合并、聚类算法 等。 1 阈值分割算法 阈值法是一种常用的图像分割技术，比较简单直观，易于实现。其基本原理是利 用图像帧中对象的灰度分布与背景的灰度分布具有差异的特点，选取合适的阙值，将 图像划分为若干灰度存在明显差异不同区域，进而将对象从背景中分离出来。如图2 - 6 显示了m p e g 标准测试序列m o t h e r _ d a u g h t e r 第1 帧的阈值分割结果。 首先整理出当前图像帧灰度分布直方图，若整体灰度分布偏低、偏高或集中于某 个局部，则还需做灰度拉伸处理；然后从直方图中选择能明显区分前后分布曲线的谷 点，将其对应的灰度值作为分割的阈值；最后根据选取的阈值从原图像帧中分割出对 象区域和背景区域。 考虑一副图像f ( x ，力，假设对象灰度大于背景灰度，利用上述方法选择阈值t ， 如果是单阈值时利用下式获取分割掩模分割对象； 占似力- 孑嬲舅 q - 其中0 和1 分别标识背景区域和对象区域。 如果是多阈值，假设图像帧内有两个对象，则把t i ，瓴力 t 2 的部分视为对象 l ，把t 2 ，似力 2 5 5 的部分视为对象2 ，把o 厂( 毛力threshold,(5-s) 其中，分别为x 方向和y 方向的图像灰度梯度值，为图像对时问的偏微 分，在实际计算中可用四次有限差分来代替： = 骂产* 扣矗咖似州+ l ( x 4 - l ，y , k + 1 ) 一，o + 1 弘d + ，( x ，y + l ，七+ 1 ) 一j ( 毛j ，+ 1 ，| | ) + ，( x 4 - 1 y + 1 ，七+ 1 ) 一i ( x + 1 ，y + l ，七) )弋5 - 9 公式( 5 8 ) 表示这些特征点的选取必须满足两个条件，第一个条件是该点梯度 值必须大于一个预先设定好的阈值，这是因为在起全局运动估计运算中都涉及梯度运 算，而图像梯度运算容易受到噪声的影响。而且梯度值如果比较小，该点梯度值受噪 声影响就大，这些点的梯度值就不可靠，如果让它们参与运算，不仅增加计算量而且 计算结果也受噪声的影响，因此要取梯度值比较大的点；第二个条件绝对值必须大 于预先设定的阈值，这是由于如果全局运动方向和该点梯度方向垂直，那么即使该点 梯度很大，但该点的亮度变化仍然很小，这说明该点反映不了运动信息，只有运动方 向和梯度不垂直时，运动才能引起该点的亮度变化，只有利用这些点才能正确估计运 动信息，所以称满足公式( 5 8 ) 的这些点为运动边界点。 5 2 4 全局运动参数估计 按上一节的方法构造图像金字塔，然后对每一层的金字塔图像进行高斯平滑，可 通过调用第三章中的g - a u s s i a n s m o o t h ( ) 函数实现，具体见第三章介绍。 第一步，首先对金字塔的第2 层进行全局运动估算。利用新三步法估计平移参数 ( 公式4 1 8 中的b l ，b 2 ) ，这主要是针对大平移运动，然后根据计算结果用残差直方 第五章基于全局运动的视绠对象分割基于变化模板检测的视频对象分割算法研究 图去除10 9 6 的残差大的点，对剩余像素点进行参数估计计算。 第二步，将计算结果映射到第1 层金字塔( b l 和b 2 扩大1 倍) ，并根据计算结果用残 差直方图方法去除1 0 残差大的点。然后利用公式( 5 - 8 ) 选取一定数量的全局运动特 征点( 其d p t h r e s h o l d 鲫d 蛐取平均空间梯度值的1 2 5 倍，t h r e s h o l d t 为平均时间梯度值) ， 估算全局运动参数。 第三步，将计算结果映射到第0 层金字塔( b l 和b 2 再扩大1 倍) ，用残差直方图方法 去除10 9 6 外点，然后对第一层剩余像素点选取合适的特征点进行参数估计计算，获得 最终参数集。 5 2 5 全局运动补偿 设磊栅魄力为参考帧，一伍力为当前帧，估算出全局运动参数后就可以得 到这两帧之间的全局运动矢量，对当前帧的图像进行校正，设校正后得图像帧为 乙 ，力，匕、o 分别为水平和垂直方向的全局运动矢量。则在厶删伉力中 某点以力经过全局运动补偿后在删( 五力中的对应位置应该为o + 心，y + b ) ， 但由于估算出来的运动矢量一般不会是整数，因此也无法设置该点在 k o + 匕，) ，+ ) 处的灰度值。因此本章从另一个角度考虑，采取向后映射的方 法。即删“力中点o ，力在厶。( 薯力中的对应位置应该为点o k ，y 一彤) 与点o + 匕，j ，+ v y ) 一样，点o 一叱，夕一b ) 一般也不会是整像素位置，因而无法获 得乙 一匕，y 一) 处的灰度值因此这里必须通过插值的方式进行调整 常用的插值算法主要有两种： 最近邻域插值( n e a r e s tn e i g h b o