（通信与信息系统专业论文）视频对象分割算法的研究.pdf

山东大学硕十学位论文 中文摘要 从视频序列中分割出视频对象对于第二代编码标准而言是一个非常重要的 步骤，是基于内容的视频应用的基础，这些应用包括基于内容的视频检索、面 向对象的视频压缩和编辑、智能人机交换等方面。视频对象分割效果的好坏将 直接影响后续的视频应用。 尽管人们对基于对象的视频编码做了大量的研究工作，但到目前为止，还 没有一种通用的方法能够有效地将物体模型从景物中分割出来。 本文通过对现有的视频序列中运动对象分割算法的研究，提出了一种灵活 可变的算法来实现视频序列中运动对象的自动分割。 首先，在时域分割中获取单帧图像的运动区域，摒弃了直接用帧差或者二 次帧差图做变化模板的做法。其基本思想是：利用二次帧差求交集得到单帧的 运动信息；阈值化得到帧差掩模图像；为了得到紧凑的结果，利用二次扫描及 形态学操作来修正仿真结果作为单帧运动区域，该运动区域是带有部分不精确 边缘的掩模图像。其中阈值化过程所需要的阈值可以通过l h s ( 最小1 2 抽样法， l e a s t h a l f s a m p l e s ) 方法得到，该方法可以及时地产生自适应阈值，是实现自动分 割的关键部分。 然后，空域分割中采用形态梯度算子获取单帧边缘信息。帧图像经形态梯 度处理后，物体边缘附近的像素点强度提升并抑制了非边缘的像素点强度，从 而使图像帧中的边缘完整提取出来。 最后，将时域分割与空域分割结果结合，可以消除运动区域中多余的部分。 经二次扫描得到准确的运动对象掩模图像，进行填充即可得到分割出的运动对 象。 该算法的重点集中在时域分割上，摒弃一些常用的计算量较大的方法，就 降低算法的复杂度、节省运算时间以及提高算法通用性、灵活性等方面做了一 定的探索，并取得了一定的进展。总结而言，该算法具有以下突出特点： ( 1 ) 较好的灵活可变性，这是本算法一个最突出的特点。根据视频序列的 背景复杂度的不同，可以采用部分或者整个算法过程来实现运动对象的分割。 对于背景简单的视频序列，完全可以只利用算法中的时域分割部分来进行 运动对象的提取即使在只使用时域分割方法的情况下，对于运动区域的获得 山东大学顾t 学位论文 也是灵活的。其方法是根据疗幅二次帧差图求逻辑“与”，灵活就表现在行的取 值上( 萨l ，2 ，3 ) 由多次仿真实验比较，一般情况下 1 取3 可以取得理想的 实验结果而且算法的时间优越性不受影响。 而对于相对复杂的序列，整个算法可以保证分割结果的质量。 ( 2 ) 逻辑简单、运算时间短。对于时域信息的分割，采用了最常用的变化 检测的思想，利用二次帧差图求逻辑“与”的方法将运动区域较为精确地提取 出来。而对于空域信息，采用形态梯度大大降低了计算的复杂度，赢得了运算 时间，而且完整的边界有效地保证了分割对象的质量。 ( 3 ) 对头肩型序列的通用性较好二次扫描可以保证掩模图像的完整， 本文在叙述过程中采用了大量的头肩型序列做范例，均取得了满意的仿真结 果。 利用本文提出的视频对象分割算法对大量的视频序列进行了仿真。结果表 明该方法简单易行，具有较快的分割速度、较好的分割结果以及对噪声的鲁棒 性。 关键词：运动对象；掩模；分割；帧差；扫描 v 坐奎查堂堡：! ：竺堡堡塞 a b s t r a c t t h es e g m e n t a t i o no fm o v i n go b j e c t si nv i d e os e q u e n c e si sv e r yi m p o r t a n tf o r s e c o n dg e n e r a t i o nc o d i n ga n di sab a s i cp r e r e q u i s i t ef o rc o n t e n t - b a s e dv i d e o a p p l i c a t i o n s ，w h i c hc o n t a i nv i d e os e a r c h e s ，c o m p r e s s i o na n do b j e c t o r i e n t e de d i t i o n , a p t i t u d eh u m a n - m a c h i n ee x c h a n g e ，e t c t h er e s u l t so fo b j e c t ss e g m e n t a t i o nw i l l a f f e c ts u b s e q u e n ta p p l i c a t i o n sd i r e c t l y a tt h ep r e s e n tt i m e ，t h e r ei sn oc u r r e n tm e t h o d ，w h i c hc a ns e g m e n to b j e c t m o d e l sf r o mt h eb a c k g r o u n de f f i c i e n t l y , t h o u g hag r e a td e a lo fr e s e a r c hw o r kh a s b e e nd o n ef o rv i d e oc o d i n g b a s e do nr e s e a r c ho nm e t h o d sf o rt h es e g m e n t a t i o no fm o v i n go b j e c t si nv i d e o s e q u e n c e s ，an e wf l e x i b l em e t h o di sp r o p o s e dt oa c h i e v ea u t o m a t i cs e g m e n t a t i o n f r o mv i d e os e q u e n c e s f i r s t ，m o v i n gr e g i o n s 盯ea c h i e v e dt h r o u g ht e m p o r a ls e g m e n t a t i o n ，g e r i n gr i d o fm a k i n gf r a m ed i f f e r e n c eo rt w i c ef r a m ed i f f e r e n c ei m a g ea sm o d e l s t h eb a s i c i d e ao ft h em e t h o di s ：f r a m em a s ki m a g ec a nb ea c h i e v e dw i t hat h r e s h o l df r o m m o v i n gi n f o r m a t i o ng o tb y i n t e r s e c t i o n so ft w i c ef r a m ed i f f e r e n c ei m a g e s i no r d e r t om a k ea c o m p l e t er e s u l t ，m o v i n gr e g i o n sw i t hp a r to f i n e x a c te d g e sc a nb er e a c h e d b yt w i c es c a na n dm o r p h o l o g i c a lo p e r a t i o n s t h et h r e s h o l dr e q u i r e db yt h e t h r e s h o l dp r o c e d u r ec a nb eg o tb yl h s ( 1 e a s th a l fs a m p l e s ) m e t h o d w i t hl h s m e t h o d ，w eg e tat h r e s h o l di nt i m e a n dt h i s i sak e yp a r tf o ra u t o m a t i c s e g m e n t a t i o n t h e n ，am o r p h o l o g i c a lg r a d i e n to p e r a t o ri sn s c df o rs p a t i a ls e g m e n t a t i o nt o f i n de d g e so fi m a g e s a f t e rb e i n gp r o c e s s e d ，i n t e n s i t i e so f p i x e l sn e a ro b j e c t se d g e s a r eu p g r a d e d ，w h i l ei n t e n s i t i e so fo t h e rp i x e l sa r es u p p r e s s e d s o ，t h ee d g e sa r e e x 仕a c t e dc o m p l e t e l y a t l a s t ，c o m b i n i n gt e m p o r a l a n ds p a t i a ls e g m e n t a t i o nc a nr e m o v e t h e r e d u n d a n tp a r to f m o v i n gr e g i o n s t h e nm a s ko fm o v i n go b j e c t s ，g o tb yt w i c es c a n , i sf i l l e dt ob cas e g m e n t e dm o v i n go b j e c t t h ee m p h a s i so ft h i sm e t h o di so nt e m p o r a ls e g m e n t a t i o n , w h i c ha v o i d su s eo f 山东大学硕卜学位论文 c o m m o nm e t h o d sw i t hah i g hc o m p u t a t i o n a ll o a d i ti ss u p e r i o ri n r e d u c i n g c o m p l e x i t ya n dr u n t i m e ，i n c r e a s i n gc u r r e n c ya n df l e x i b i l i t y i ng e n e r a l ，i th a s c h a r a c t e r sa sf o l l o w s ： f i r s t l y , f l e x i b i l i t y i sa no u t s t a n d i n gc h a r a c t e r a c c o r d i n gt ot h ev a r y i n g c o m p l e x i t yo ft h eb a c k g r o u n di nv i d e os e q u e n c e s ，w ec a r tc h o o s ep a no ra l lo ft h i s m e t h o dt or e a l i z es e g m e n t a t i o n f o rs e q u e n c e sw i t has i m p l eb a c k g r o u n d i ti sf e a s i b l et ou s eo n l yt e m p o r a l s e g m e n t a t i o n e v e ns o 。m o v i n gr e g i o n sc a r tb eg o tf l e x i b l yb y “a n d o f ，lt w i c e f r a m ed i f f e e n c ei m a g e s t h ev a l u eo f 开i sf l e x i b l e = 1 ，2 ，3 ) a c c o r d i n gt ot h e r e s u l t so fs i m u l a t i o n s ，i ti sn o t i c e dt h a t ，t h em e t h o di so p t i m a lf o rr e s u l t sa n dt i m e s u p e r i o r i t yw h e n 甩e q u a l s3 a sf o rs e q u e n c e sw i t hac o m p l e xb a c k g r o u n d ，t h em e t h o dc a l lg u a r a n t e et h e r e s u l t sw i t hg o o dq u a l i t y s e c o n d l y , t h i sm e t h o d h a s s i m p l el o g i c a n ds h o r t r u n t i m e t e m p o r a l s e g m e n t a t i o ni sa c h i e v e db yt h ei d e ao fc h a n g e - d e t e c t i o n m o v i n gr e g i o n sa r e e x t r a c t e de x a c t l yb y a n d ”o ft w i c ef r a m ed i f f e r e n c ei m a g e s a tt h es a m et i m e s p a t i a ls e g m e n t a t i o nr e d u c e sc o m p u t a t i o nc o m p l e x i t ya n dr u n t i m e ，e d g e sf r o m s p a t i a ls e g m e n t a t i o nc a n e n s u r et h eq u a l i t yo f s e g m e n t e do b j e c t s t h i r d l y , b e t t e rc u r r e n c yf o r h e a d s h o u l d e rs e q u e n c e s t w i c es c a ne l 塔u r e s i n t e g r i t yo fm a s ki m a g e t h i sa r t i c l ec o n t a i n sm a n yh e a d - s h o u l d e rs e q u e n c e st o e x a m i n et h er e s u l t s ，w h i c ha r es a t i s f a c t o r y p l e n t yo fs i m u l a t i o n sh a v eb e e nc a r r i e do u tb yt h i sr m e n t a t i o nm e t h o d a n d r e s u l t ss h o wt h a tt h i sm e t h o di ss i m p l ea n df e a s i b l e i l 。# g r e a t e rs e g m e n t a t i o n 删b e t t e rr e s u l t sa n ds t r o n g e rr o b u s t n e s st on o i s e 、 k e yw o r d s ：m o v i n go b j e c t ；m a s k ；s e g m e n t a t i o n ；d i f f e r e n c ef r a m e ；s c a n v u 山东大学硕十学位论文 专业术语及符号表示 1 专业术语 i t u - t ( h l t e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n - t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o o ： 国际电信联盟电信标准分会 i s o ( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) ：国际标准化组织 i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i a lc o m m i s i o n ) ：国际电工委员会 i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) ：综合业务数字网 p s d n ( p a c k e t s w i t c h i n g d a t a n e t w o r k ) ：分组交换数据网 j 、吓( j o i n tv i d e ot e a m ) ：视频联合工作组 a v c 一( a d v a n c e dv i d e oc o d i n g ) ：先进视频编码 m p e g ( m o v i n g p i c t u r ee x p e r tg r o u p ) ：活动图像专家组 m p e g - 4s p ( m p e g - 4s i m p l ep r o f i l e ) ：m p e g - 4 简级 m p e g - 4a s p ( m p e g - 4a d v a n c e ds i m p l ep r o f i l e ) ：m p e g - 4 先进的简级 a v s ( a d v a n c e dv i s u a ls y s t e m ) ：数字音视频编解码技术标准 w m 9 ( w i n d o w sm e d i a9 ) ：互联网时代的d v 视频标准 j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) ：联合图像专家组 j b i g ( j o i n tb i - l e v e li m a g ee x p e r t sg r o u p ) ：二值图像联合专家组 j p e g l s ( p e gl o s s l e s sa n dn e a r - l o s s l e s sc o d i n go fc o n t i n u o u st o n es t i l l i m a g e s ) ：j p e g 的无损、近无损压缩标准 2 符号表示 v 2h 算子：g a u s s l a p l a c i a n 算予 o ：腐蚀 0 ：膨胀 n ：两模板图像的交集。即在两图像中像素值都为“1 ”的点的集合 u ：两模板图像的并集，即在任一图像中像素为“l ”的点的集合 ，( x 奶f ) ：视频序列中t 时刻的图像帧 ，艺i 上b 1 ( 劬：视频帧k 和帧k i l 之问的帧差图像 磊b l ( f ，力：帧差掩模图像 v i l l 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：盘盔殓 日期：2 丝主：蔓：墨 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：堑鸯硷导师签名：乏鱼墨互日 期：蜊石 山东大学硕l 学位论文 第一章绪论 1 1 视频对象分割研究的社会背景 1 1 1 高速发展的多媒体技术 近年来，随着信息社会需求的急剧增加和信息社会功能的显著变化，作为 信息革命重要发展方向的多媒体技术的研究取得了飞速的进步，并在实际工作 中得到了广泛的应用。 多媒体硬件系统、操作系统平台、窗口系统、多媒体创作工具等正日趋成 熟，而且多媒体技术在广播电视工作中的应用也越来越普遍，从办公、文字处 理、财务管理到字幕、动画、音视频前期摄制、后期制作、编辑、绘画特技等 许多方面都广泛采用了多媒体技术。 多媒体( m u l t i m e d i a ) 是融合两种以上媒体的人机交互式信息交流和传播 媒体，该词译自2 0 世纪8 0 年代初创造的英文词。包含以下含义；多媒体是信 息交流和传播媒体；多媒体是人机交互式媒体，“机”目前主要指计算机，或 者由微处理器控制的其他终端设备；多媒体信息都是以数字信号的形式( 而不 是模拟信号的形式) 存储和传输的；传播信息的媒体种类很多，如文字、声音、 电视、图形、动画等。虽然融合任何两种以上的媒体都可以称为多媒体，但是 通常认为多媒体中的连续媒体( 声音和电视) 是人与机器交互的最自然的媒体。 1 1 2 视频编码技术的发展 多媒体技术的高速发展，使作为多媒体技术核心的视频技术、音频技术、 信息压缩和解压技术、图像技术、高密度存储技术等日臻完善。 1 i t u - t 的相关标准 i t u t 与i s o i e c 是制定视频编码标准的两大组织”，i t u - t 的标准包括 h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于实时视频通信领域，如会议电视；m p e o 系 列标准是由i s o h e c 制定的，主要应用于视频存储( d v d ) 、广播电视、因特网 或无线网上的流媒体等。两个组织也共同制定了一些标准，h 2 6 2 标准等同于 山东大学硕士学位论文 m p e g 2 的视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g - 4 的第1 0 部分 ( 1 ) h 2 6 1 协议 h 2 6 1 是l t u - t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电 话、视频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c f 两 种图像格式进行处理，每帧图像分成图像层、宏块组( o o b ，g r o u po fb l o c k s ) 层，宏块( m b ，m a c r ob l o c k ) 层、块( b l o c k ) 层来处理。 h 2 6 1 是最早的运动图像压缩标准，h 2 6 1 采用了预测、变换、熵编码，并 集中了它们各自的优势，同时充分利用视觉特性，是一种成功的混合编码方案 另外，h 2 6 1 对图像格式、视频数据流的层次化结构、彩色空间的选定等一系 列问题做出了规定。h 2 6 1 技术方案的基本框架和主要内容成为后来许多视像 国际标准的基础。 ( 2 ) h 2 6 3 协议 h 2 6 3 协议是i t u t 推出的面向低码率多媒体通信的协议，它是在h 2 6 1 基础上发展起来的，其最初的目的是为在p s d n ( 分组交换数据网) 上运行 6 4 k b i t s 以下码率的新的视频压缩标准。由于低码率下实现多媒体通信，在技术 上更为困难和复杂，因此h 2 6 3 采用多种先进技术以降低码率，提供各种业务 服务，最近又推出h 2 6 3 + 、h 2 6 3 抖和h 2 6 l 等。 ( 3 ) h 2 6 4 协议 t ( j o i n t v i d e ot e a m ，视频联合工作组) 于2 0 0 1 年1 2 月在泰国p a t t a y a 成立”，它由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合组 成。j 、，t 的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比， 高图像质量、良好的网络适应性等目标。目前j v t 的工作已被i t u t 接纳，新 的视频压缩编码标准称为h 2 6 4 标准，该标准也已经被i s o 接纳，称为a v c 标准，是m p e g - 4 的第1 0 部分。 h 2 6 4 的主要优点：在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g 4 s p ( m p e g - 4s i m p l ep r o f i l e ，m p e g 4 简级) 减小5 0 码率；对信道时延的适应住 较强，既可工作于低时延模式以满足实时业务( 如会议电视) ，又可工作于无时 延限制的场合( 如视频存储) ；提高网络适应性，采用“网络友好”的结构和语 法，加强对误码和丢包的处理，提高解码器差错恢复能力；在编解码器中采用 复杂度可分级( s c a l a b l e ) 设计，在图像质量和编码处理之间可分级，以适应不 同复杂度的应用。 2 山东大学项 学位论文 相对于先前的视频压缩标准，h 2 6 4 引入了很多先进的技术，包括4 x 4 整 数变换、空域内的帧内预测、1 4 像素精度的运动估计、多参考帧与多种大小 块的帧间预测技术等。新技术带来了较高的压缩比，同时大大提高了算法的复 杂度。h 2 6 4 标准引入了去块效应滤波器，对块的边界进行滤波，去块效应滤 波器在提高压缩效率的同时，改善了图像的主观效果。 除上述i t u - t 的视频压缩标准外，还有一些标准也比较流行，如m p e g 4 , a v s 、w m 9 。h 2 6 4 也称为m p e g 4a v c ，而目前业内所说的m p e g - 4 一般是 指s p ( 简级) 或a s p ( 先进的简级) ，主要针对低码率应用，如因特网上的流媒体、 无线网的视频传输及视频存储等，其核心类似于h 2 6 3 。 2 m p e g 标准 m p e g ( m o v i n g p i c t u r ee x p e r tg r o u p ，于1 9 8 8 年成立) 标准是活动图像专 家组开发的电视图像数据和声音数据的编码、解码和它们的同步等标准。 ( 1 ) m p e g - 1 标准 m p e g - 1 是m p e g 专家组的第一个成果p 1 ，1 9 9 1 年底被i s o i e c 采纳， 1 9 9 2 年下半年正式成为国际标准，其中文名称叫做“具有1 5 m b i t s 数据传输 的数字存储媒体运动图象及其伴音的编码”( c o d i n go fm o v i n gp i c m r e sa n d a s s o c i a t e da u d i of o rd i g i t a ls t o r a g em e d i aa tu pt oa b o u t1 5 m b i t s ) m p e g l 包括 三个主要部分( 系统、视频和音频协议) 以及测试和软件实现等。它主要面向 数字存储媒体，应用于多媒体计算机、教育与训练、演示与咨询服务、创作与 娱乐、数字视听系统v c d 以及v o d 、电子出版物、交互式电视i t v 等广泛领 域在技术上，m p e o 1 比h 2 6 1 在图像类型、预测、运动估值及随机存取、 节目编辑、码流操作、系统控制等方面都有重大改进和发展 ( 2 ) m p e g - 2 标准 m p e g - 2 是m p e g 专家组的又一个成果p ，中文名称为“活动图像及其伴 音信息的通用编码”。m p e g - 2 包括系统、视频、音频、测试等几个方面内容， 与m p e g 1 向后兼容，视频编码部分的码率为4 - 1 0 m b i t s ，图像质量接近演播 室质量m p e g 2 在技术，功能、语法结构，选择项、可分级性和应用范围等 方面比m p e g - i 、h 2 6 1 有重大改进发展，因此成为一种从多媒体计算机到家 用消费数字影像电子产品、从宽带数字通信到数字视频广播以及高清晰度数字 电视的通用关键技术。m p e g 2 从技术上促进了计算机、广播电视和数字通信 三大领域的交汇融合，已经并且仍在发挥巨大的作用 山东大学碗士学位论文 第一代编码方法( m p e g 1 2 、h ，2 6 x ) 是基于方块的p 1 ，它的固有的缺点 就是没有考虑到视频景物的实际内容，人为地将它们分割成固定大小8 8 的方 块进行处理。因而在甚低码率下，译码的重建图像会出现另人讨厌的“方块效 应”、边缘模糊等现象。此外基于方块的编码技术不支持基于内容的新功能，比 如基于内容的多媒体数据存取等。 ( 3 ) m p e g - 4 标准 m p e g - 4 标准从1 9 9 4 年开始工作，完成了从基于像素的第一代编码向基于 对象和内容的现代编码( 第二代编码) 的转交，旨在通过建立更符合景物内容 的模型来解决第一代编码的问题。顺应了现代图像压缩编码的发展潮流，必对 未来的广播电视领域产生深远影响。 m p e g - 4 的编码方法中，首先从视频景物中提取出运动物体，每个物体用 形状、运动及纹理兰组参数来表示，然后对三组参数进行编码、传输，接收端 的解码器根据接收到的参数用图像合成技术重建图像。运用景物中物体形状的 有关知识可以改善重建图像的主观质量，尤其是物体的边缘恢复图像不会再 出现方块效应等视觉敏感的误差，取而代之的是一种几何误差，不容易被人眼 察觉。因此，主观质量明显提高。 m p e g 4 利用人眼的视觉特性，抓住图像信息传输的本质，从轮廓一纹理 的思路出发，支持基于视觉内容的交互功能，而此功能关键在于基于视频对象 的编码，为此m p e g 4 引入了视频对象面v o p ( v i d e oo b j e c tp l a n e ) 的概念。在 这一概念中，我们根据人眼感兴趣的一些特性如形状、运动、纹理等，将图像 序列中每一帧的场景，看成是由不同视频对象面v o p 所组成，而同一对象连续 的v o p 称视频对象( v i d e oo b j e c t , v o ) ，即v o p 是v o 在某一时刻的采样。 m p e g - 4 标准将广泛运用于数字电视、动态图像、万维网( w w w ) 、实时 多媒体监控、基于内容存储和检索的多媒体系统、基于计算机网络的可视化合 作实验室场景应用、基于面部表情模拟的虚拟会议、互联网上的视频流与可视 游戏、d v d 上的交互多媒体应用、演播电视等，它将推动电信、计算机、广播 电视三大网络的最终融合，从而成为今后一段时间压缩标准的主流。 ( 4 ) m p e c 一7 标准 m p e g 7 的全称是“多媒体信息内容的描述接口”( 它的由来是l + 2 “：7 ， 因为没有m p e g 3 、m p e g - 5 、m p e g 6 ) 准确说来，m p e g - 7 并不是一种压 缩编码方法。继m p e g - 4 之后，要解决的矛盾就是对日渐庞大的图像，声音 4 山东大学硕l ：学位论文 信息的管理和快速搜索，m p e g 7 就是针对这个矛盾的解决方案。m p e g 7 力 求快速有效地搜索出用户所需的不同类型的多媒体影像资料，比如在影像资料 中搜索有长江三峡镜头的片段。 图l lm p e g - 7 标准的范围 图1 1 是一个高度抽象的m p e g 7 处理链框图”处理链包括三个方框： 特征提取( f e a t u r ee x t r a c t i o n ) 、标准描述( s t a n d a r dd e s c r i p t i o n ) 和检索工具( s e a r c h e n g i n e ) 。特征的自动分析和抽取对m p e g - 7 是至关重要的，抽象程度越高，自 动提取越困难，而且不是都能自动提取的，因此开发自动的和交互式半自动提 取的算法和工具是很有用的尽管如此，特征提取和检索工具都不包含在 m p e g 一7 标准中，而是留给众多的科研开发者去竞争，以便得到最好的算法和 工具 ( 5 ) m p e g - 2 1 标准 m p e g 2 1 标准由m p e g - 7 发展而来，m p e g 2 1 主要规定数字节目的网上 实时交换协议。制定m p e g 2 1 标准的目的是：( a ) 将不同的协议，标准、技术 等有机地融合在一起；( b ) 制定新的标准；( c ) 将这些不同的标准集成在一起。 m p e g - 2 1 标准其实就是一些关键技术的集成，通过这种集成环境就对全球数字 媒体资源进行透明和增强管理，实现内容描述、创建、发布、使用、识别、收 费管理、产权保护、用户隐私权保护、终端和网络资源抽取、事件报告等功能。 1 2 视频对象分割的意义和现状 第二代编码技术强调要充分利用人的视觉系统特征去除帧内、帧间的冗余 数据在第二代编码技术中，基于对象( o b j e c t - b a s e d ) 编码是一种最有发展前 景的方案 由上述编码标准可以看出，从视频序列中分割出视频对象对于第二代编码 标准而言是一个非常重要的步骤，虽然它并没有包含在这些标准的具体规定中 视频对象的提取是基于内容的视频应用的基础，这些应用包括基于内容的视频 ， 山东大学硕1 二学位论文 检索、面向对象的视频压缩和编辑、智能人机交换等方面。视频对象提取效果 的好坏将直接影响以后的视频应用”1 使用物体模型能够更好地描述图像视频 的内容，因此运动对象的分割是基于对象的视频编码系统中不可缺少的重要组 成部分。 另外，尽管人们对基于对象的视频编码做了大量的研究工作，但仍有几个 难题阻碍它的发展，使其整个编码系统的性能还不能明显地超过基于方块的经 典编码技术其中一个最大的困难就在于如何有效地将物体模型从景物中分割 出来。 视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理解、 模式识别和神经网络等学科有密切联系。提取语义对象的过程实际上是一个特 征提取与分割过程，图像分割本身就是计算机视觉和图像处理中很难解决的一 个不确定性病态问题，虽然已经进行了几十年的研究，但至今尚无统一的理论 和评判标准，现有的算法大都是针对具体问题。另外，缺乏一种明确的适合视 频对象分割算法的语义表达和语义均匀标准。要对视频对象分割，首先要求对 视频对象的属性有一明确的规定，即组成它的区域满足某种均匀一致性，比如 通过它的纹理信息、运动信息、形状信息甚至是模型和高层语义信息划分。但 是这些信息又需要利用分割结果来精确获取，这样就陷入了一个循环之中截 止到目前，人工智能的发展还不够完善，计算机还不具备观察、识别、理解图 像的能力：同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更 高层次上对视频内容进行理解。因此，尽管m p e g 4 框架已经制定，但至今仍 没有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是一 个具有挑战性的难题，基于语义的分割则更加困难。 在视频序列的处理中，运动对象的提取是一个关键性部分，吸引了众多的 研究力量。 1 3 论文的安排 本文的主要目的是通过对视频序列中运动对象分割算法的研究，提出一种 改进算法在介绍算法之前，在第二章中主要介绍了算法中所用到的数字图像 处理的有关概念与解释。第三章中讲述了视频分割的基础知识，包括关于运动 估计、补偿和检测、场景分割方法以及阈值法等，这些都是进行视频运动对象 分割的基础理论，并在本章最后对已经提出的视频运动对象的典型算法进行简 6 山东大学硕i 。学位论文 单总结。第四章介绍了涉及本文算法的一些数值计算的相关知识第五章是作 者在视频序列中运动对象的分割方面所做的主要工作，也是本文的核心内容。 文章最后对该课题的研究进行了总结，同时指出视频编码标准的发展前景以及 在视频运动对象分割领域中期待解决的一些问题。 7 山东大学碗士学位论文 第二章数字图像处理基础 在包括图像传输、电视电话、电视会议等的重要通信领域中，视频信息占 7 5 - - 8 5 ，视频归根到底是用图像来描述的。数字图像处理( d i g i t a li m a g e p r o c e s s i n g ) 就是利用计算机的计算，实现与光学系统模拟处理相同效果的过程 通俗地说，就是利用计算机对图像进行去除噪声、增强、复原、分割、特征提 取等操作的理论、方法和技术。目前数字图像处理技术已经得到了广泛应用， 并已经成为计算机科学、信息科学、生物学、医学等学科研究的热点，不仅促 f m 进人类的进步，而且带来巨大的经济和社会效益”根据本文的需要，本章将 简述相关数字图像处理的基础知识。 2 1 图像的特征与描述 2 1 1 位置和方向 1 位置 图像中的物体通常不是一个点，因此，用物体的面积中心作为物体的位置。 面积中心就是单位面积质量恒定的相同形状图形的质心。因二值图像质量分布 是均匀的，故质心和形心重合。若图像中物体对应的像素位置坐标为( 五，只) ( - - - 0 ，1 ，川- l ；j - - o ，1 ，m - 1 ) ，则可以用下式计算质心位置坐标： i = 去善n - i 丢m - i x ，歹= 磊l 备n - i 缶m - 1 y 。 ( 2 - 1 ) 2 方向 我们不仅要知道图像中物体的位置，而且还要知道物体在图像中的方向。 确定物体的方向有一定的难度。如果物体是细长的，则可以把较长方向的轴定 为物体的方向，如图2 - 1 所示。通常，将最小二阶矩轴嘲( 最小惯量轴在二维 平面上的等效轴) 定义为较长物体的方向。也就是说，要找出一条直线，使( 2 - 2 ) 式定义的e 值最小： e = f f r 2 厂( x ，y ) d x d y ( 2 - 2 ) 山东大学硕i - 学位论文 式中，是点0 ，力到直线的垂直距离。 2 1 2 面积 圈2 - 1 物体方向可由最小惯量轴定义 面积是物体总尺寸的一个方便的度量。面积只与该物体的边界有关，而与 其内部灰度级的变化无关。一个形状简单的物体可用相对较短的周长来包围它 所占有的面积。通常有三种方法可以计算面积： 1 像素计数面积 这是一种最简单的方法，就是统计边界内部( 也包括边界上) 的像素的数 目。在这个定义下面积的计算非常简单，求出域边界内像素点的总和即可，计 算公式如式( 2 3 ) 所示。 m a = ( ，j ，) ( 2 3 ) j - ly = l 对二值图像而言，若用1 表示物体，用0 表示背景，其面积就是统计鲰力= 1 的个数。 2 由边界行程码或链码计算面积 由各种封闭边界区域的描述来计算面积也很方便，可以是如下情况： ( 1 ) 已知区域的行程编码，只要把值为1 的行程长度相加，即为区域面积； ( 2 ) 若给定封闭边界的某种表示，则相应连通区域的面积应为区域外边界包 围的面积与内边界包围的面积( 孔的面积) 之差。此处不再详细举例说明。 3 用边界坐标计算面积 g r e e n ( 格林) 定理表明，在x - y 平面中的一个封闭曲线包围的面积由其轮廓 积分给定，即 一= 毒，( 功一y d x ) ( 2 q 9 山东大学硕七学位论文 其中积分沿着该闭合曲线进行将其离散化，式( 2 q 可以变成式( 2 5 ) ： 月 a = o 州一y , ) - y ，( x ，+ ，一t ) 1 ( 2 - 5 ) 1h = 妄艺【t j ，j + l x i + i y 。】 式中，为边界点的数目。 2 1 3 邻接和邻域 对于任意像素( f ，力，把像素的集合 ( f + p ，p q ) ) p ，q 是一对适当的整数) 叫做 像素( f ，力的邻域。直观上看，这是像素( f ，d 附近的像素形成的区域。最经常使用 的是4 邻域和8 - 邻域。 1 4 - 邻域与4 一邻接 像素p 。的上、下、左、右4 个像素 p 。，p ，p ，p ， 称为像素p 。的4 邻域， 如图2 2 ( b ) 所示互为4 邻域的两像素叫做4 一邻接( 或4 连通) ，如图2 - 2 ( a ) 中p o 和p i ，p 。和p 2 等均为4 - 邻接。 r _ * 。， i r f 誓 ( f 力 k _ ( f ，d ( a ) b ，t c ) 圈2 - 2 邻域图a ) 像素的编号；( b ) 4 - 邻域；( c ) s - 邻域 2 8 一邻域与8 一邻接 像素p 。上、下、左、右4 个像素和4 个对角线像素p ，p 。称为像素p o 的 8 邻域，如图2 - 2 ( a ) 和( c ) 所示。互为8 一邻域的两像素叫做8 - 邻接( 或8 - 连通) ， 如图2 2 ( a ) 中p o 和p 2 ，p l 和p ，等均为8 邻接。 在对二值图像进行处理前，是取8 邻接还是4 邻接方式进行处理，要视具 体情况而定。在处理斜线多的图形中，宜采用8 邻接方式。用户选择的邻域类 型直接会影响图像中所能找到的对象数目和对象边界。 如图2 3 所示，如果对象是4 连通的，那么就不能认为这些数值为1 的像 l o 山东丈学硕f 学位论文 素构成了一个对象，就是4 条直线；如果对象是8 连通的，那么数值为l 的像 素将构成一个环形对象，这就使得图像不但包含环形对象，还包括两个分离的