（通信与信息系统专业论文）立体视频帧估计与内插技术及立体视频编解码系统研究.pdf

摘要 近年来，随着计算机和显示技术的进步，立体数字电视将会逐步取代h d t v ， 成为下一代的数字视频主流和未来多媒体通信中的一个重要组成部分。但是传输 或存储立体视频的数据量将是单通道视频的两倍以上。因此，在带宽有限的信道 中，如何利用双耳流之间的相关性以整体地提高两路视频信号的编码效率，就成 为当前立体数字电视的重要研究方向。 与单视视频序列相比，在立体视频序列中由于增加了另一个流的图象帧，使 得立体图象序列中还增加了大量的冗余度。根据这样的事实以及人眼的立体视觉 掩蔽特性，允许立体视频流中的许多帧无需进行编码传输而直接在解码端进行恢 复。这样可提高立体视频的编码速度和压缩率，降低用于传送立体视频流的附加 带宽。因此本文主要从提高立体视频帧估计的失真性能和重建帧速度的角度研究 立体视频帧估计和内插算法，相应地做了一些改进和创新的工作。 本文首先对影响帧估计和内插的各种因素加以分析，对当前的立体视频帧估 计和内插算法一基于固定块匹配的f s b m 算法中存在的各种问题进行了实验和讨 论，指出了提高重建帧估计精度的关键在于解决重建帧中运动区域的运动匹配以 及运动遮挡问题，而提高重建速度的关键在于提高运动估计的速度。因此提出了 一种基于运动和亮度信息的不规则四叉树运动估计和分割方法( 简称i m r q t 法) 。 在运动估计的同时进行分割，在分割时综合了运动和图象亮度信息，使得分割位 置发生在与尖锐的运动不连续的地方最接近的位置( 如物体的边缘) ，避免了块运 动估计中存在的块状可视干扰，保留了运动细节。在进行运动估计和分割时，还 使用多分辨率结构以降低计算负担。 在基于i m r q t 的运动估计和分割结果上，又提出了新的立体视频帧估计方 法，将被重建的图象分为运动匹配区域和运动失匹配区域，给出了对于这两类区 域进行预测和填充的方法。与当前算法相比，基于i m r q t 的立体视频帧估计方法 比f s b m 方法帧重建的速度提高了约2 0 倍，图象信噪比提高1 2 7 d b 一3 d b ，并具 有较好的估计精度和主观观感。 在帧估计和内插时如果利用被编码传输的参考帧的运动和视差矢量场，就可 以避免在解码端重做运动视差搜索估计。为此本文利用立体透视投影几何模型， 推导出立体视频中邻接帧之间视差矢量场与运动矢量场之间的对应关系，并将这 种关系应用于立体视频的帧估计之中，提出在立体视频的两个邻接立体图象对中， 当其中一幅图象未知时，可以通过其余3 幅图象以及它们之间的视差和运动场来 准确估计该未知图象的的方法：对于非视差遮挡区域中的象素点，利用视差和运 动矢量之间的对应关系获得该内插点的映射位置和映射强度；对于视差遮挡区域 中的象素点，可根据视差遮挡的特性及其约束条件，定义一个合适的置信度检验 方法构造代价函数，利用其邻域中非视差遮挡区域象素点所对应的运动矢量来估 计其对应的运动矢量并进行映射，以得到该象素点的位置和强度估计值。本文称 这种方法为基于运动视差方程及最小代价方程的立体帧估计与内插方法( 简称 m d r l c f 方法) 。 为了提高帧估计的鲁棒性，综合利用在解码端已获得的运动和视差矢量场以 及前后参考图象帧进行帧估计，提出了基于混合m d r l c f ( 简称c m d r _ l c f ) 的帧估计方法。 使用c m d rl c f 方法的一个前提条件是在视差矢量场中显式标记出视差遮 挡区域和非遮挡区域并对它们分别进行处理。因此本文针对立体视频编码时用基 于块的视差估计算法得到视差场后进行帧估计的情况，又提出了无遮挡检测的帧 估计方法一改进c m d rl c f 方法。 实验结果表明，对于重建帧的p s n r ，c m d rl c f 方法比基于f s b m 方法提高 了2 5 d b 左右，而改进c m d rl c f 方法则提高了将近3 d b 左右 且由于直接使 用解码端获得的运动和视差矢量，避免了运动视差估计带来的计算量，使得这两 种方法的帧估计速度比f s b m 方法提高了约6 0 倍。 结合本文的前期研究结果，本文还提出了与单视编码序列标准相兼容的高效 立体视频编解码系统。该系统对其中的辅视流，仅对少数的参考帧进行预测编码 和传送，其余帧则完全“跳过”，而在解码端通过帧估计和内插进行恢复。实验结 果表明，本文提出的立体数字视频系统的总比特流仅是通常单视数字视频传输比 特流的1 1 5 1 3 倍左右，且具有良好的3 d 立体视觉效果。 由于立体图象预单视图象有质的区别，仅用p s n r 测试重建立体图象的质量是 不充分的，为此本文提出了一种测试重建立体图象对的视差相似性检测的评价方 法。该方法立体图象对与原始图象对在的视差场之间的差异程度来反映帧估计算 法的性能。因目前国际上尚没有更好的立体图象的客观评价标准，此方法可用来 衡量各种立体视频帧估计算法的优劣。 本文提出一种与区域分割技术相结合的视差场校正技术，对含有大量误匹配 的视差场进行校正，不仅可以对整个视差场进行平滑还可以在检测出具有较大误 差匹配的视差矢量值的同时对错误视差矢量进行校正，并具有简单易行的特点。 作为立体视频帧估计的扩展，本文研究了图象分割技术在中间视生成和内插 中的应用，提出了一种快速合成中间视图象的方法。该方法具有低的计算复杂性 和良好的内插视觉效果。 关键词：立体视频编码，帧估计和内插，四叉树分割，中间视内插 a b s t r a c t w i t ht h ea d v a n c eo fc o m p u t e ra n dd i s p l a yt e c h n o l o g i e so ft o d a y , s t e r e od i g i t a l v i d e ow i l lt a k et h ep l a c eo fi i d t va n db e c o m et h em a i ns t r e a mo fn e x td i g i t a lv i d e o g e n e r a t i o na n do n ei m p o r t a n tc o n t e n ti nm u l t i m e d i ac o m m u n i e a t i o ni n s o o nf u t u r e h o w e v e r , t h e d a t an e e d e dt ob et r a n s m i t t e da n ds t o r e do f s t e r e ov i d e oi sm u l t i - f o l dm o r e t h a nt h a to fm o n o s c o p i cv i d e o i no r d e rt ot r a n s m i ts t e r e ov i d e os i g n a li nl i m i t e d b a n d w i d t h ，t a k i n ga d v a n t a g e so fc o r e l a t i o n s h i pb e t w e e n t h es t e r e os t r e a m st oi m p r o v e t h ec o d i n ge 伍c i e n c i e sb e c o m e st h em a j o rs t e r e ov i d e or e s e a r c hd i r e c t i o no f t o d a y c o m p a r i n gw i t ht h em o n o s c o p i cv i d e os e q u e n c e s ，m u c hm o r er e d u n d a n c i e sa r e a d d e ds i n c ea n o t h e rv i d e os t r e a mi sa d d e d w i t h 也i sf a c ta n dt h es t e r e om a s kc h a r a c t e r s o fh u m a nv i s u a ls y s t e m ，i ti sp o s s i b l et h a tm a n yf r a l n e si nt h es t e r c ov i d e os e q u e n c e s a r en e i t h e rc o d e dn o r 打a n s m i t t e da tt h ec o d e ra n da r er e c o n s t r u c t e da tt h ed e c o d e r d i r e c t l y t h i sw i l lg r e a t l yi m p r o v et h ec o d i n gs p e e da n dc o m p r e s s i o nr a t eo fs t e r e o v i d e o ，a n dt h ea d d i t i o n a lb a n d w i d t hn e e d e dt ot r a n s m i tt h ea u x i l i a r ys t r e a mi sa l s o d e c r e a s e ds i g n i f i c a n t l y i nt h i sd i s s e r t a t i o n ，w e s t u d y t h ef r a m ee s t i m a t i o na n d i n t e r p o l a t i o na l g o r i t h m si nt h ea i mo fi n c r e a s et h ei m a g ed i s t o r t i o np e r f o r m a n c ea n d r e c o n s t r u c t i o ns p e e d ，s o m ei m p r o v e m e n t sa n dc r e a t i v e n e s sa r em a d e c o r r e s p o n d l y w e f i r s t l ya n a l y z e v a r i o u sf a c t o r st h a ta 扛b c tt h ef r a m ee s t i m a t i o na n di n t e r p o l a t i o n p e r f o r m a n c e ，e x p e r i m e n t a l r e s u l t sa n dd i s c u s s i o n s g i v e ! i it ot h e c o n v e n t i o n a l a l g o r i t h m - - b l o c k b a s e d a l g o r i t h m ( b m a ) i n d i c a t et h a t ，t h ek e y o f i m p r o v i n g e s t i m a t i o np r e c i s i o ni st os o l v et h em o t i o n m a t c h i n ga n do c c l u s i o ni s s u e si nt h em o v i n g a r e a s ，t h ek e yo fi m p r o v i n gr e c o n s t r u c t i o ns p e e di st oi m p r o v et h em o t i o ne s t i m a t i o n s p e e d a c c o r d i n g l y , ac o m p u t a t i o n a t l ye f f i c i e n ti r r e g u l a rm u l t i - r e s o l u t i o nq u a d t r e e d e c o m p o s i t i o n b a s e dm o t i o ne s t i m a t i o na n d s e g m e n t a t i o n s c h e m ei s d e v e l o p e d ( i m r q t ) ，t h i st e c h n i q u ed os e g m e n t a t i o nj o i n t l yw i t hm o t i o ne s t i m a t i o n ，m o t i o na n d i m a g ei n t e n s i t i e sa r ec o n s i d e r e dt o g e t h e r ，w h i c hm a k e st h ed i v i s i o n st a k ep l a c ea tt h e p e r m i t t e d1 0 c a t i o nt h a tl i e sc l o s e s tt oas h a r pm o t i o nd i s c o n t i n u i t y , w h i c ha v o i d st h e b l o c k d i s t u r b i n gg r e a t l y ，a n d t h em o t i o nd e t a i l sa r em a i n t a i n e d a sw e l l m u l t i r e s o l u t i o ns t r u t sa r eu s e di nt h ep r o c e s s i n gt or e d u c et h ec o m p u t a t i o nb u r d e n s i g n i f i c a n t l y , b a s e do nt h er e s u l t so fi m r q t ，an o v e ls t e r e of r a m ee s t i m a t i o na n di n t e r p o l a t i o n m e t h o dt h a tt r e a tt h er e c o n s t r u c t e di m a g e sa sm o t i o nm a t c ha r e a sa n dm o t i o nm i s m a t c h a r e a sd i s t i n g u i s h l yi s p r o p o s e d ，d i f f e r e n tp r e d i c t i o na n df i l l i n gm e t h o d sa r eg i v e nt o t h e s et w ok i n d so fa r e a sa c c o r d i n g l y c o m p a r e dw i t hb m a a l g o r i t h m ，a b o u t2 0 f o l d so f r e c o n s t r u c t i n gs p e e d sa r ei m p r o v e da n d t h ep s n ri sa b o u t1 2 7 d b 3 d bh i g h e r tw h a t s m o r e ，b e t t e re s t i m a t i o np r e c i s i o na n df i n e rv i s u a lp e r c e p t i o n sa r ea c h i e v e du s i n go u r n o v e la l g o r i t h m m o t i o na n d d i s p a r i t ye s t i m a t i o nw i l lb e a v o i d e dt o t a l l yi f t a k ea d v a n t a g e so f t h o s e c o d e da n dt r a n s m i t t e dm o t i o na n dd i s p a r i t yv e c t o rf i e l d so fr e f e r e n c ef r a m e sa tt h e r e c e i v e r tt h u si nt h i s d i s s e r t a t i o n ，a c c o r d i n g t ot h es t e r e o p e r s p e c t i v ep r o j e c t i o n g e o m e t r y , t h em a p p i n gr e l a t i o n s h i pb e t w e e nd i s p a r i t yv e c t o rf i e l d sa n dm o t i o nv e c t o r f i e l d so f n e i g h b o rf r a l t l e si nas t e r e ov i d e os t r e a m si sd e d u c e d t h i sr e l a t i o n s h i pi su s e d i nt h ef r a m ee s t i m a t i o nt e c h n i q u e sa n di n d i c a t et h a ti nt w on e i g h b o rs t e r e oi m a g e p a i r s ， w h e no n ei m a g ei si n a c c e s s i b l e ，w ec a r lg e ti t sa c c u r a t ee s t i m a t i o nw i t ht h eo t h e r3 i m a g e sa n d t h em o t i o na n d d i s p a r i t yv e c t o rf i e l d sb e t w e e n t h e m t h em a p p i n gl o c a t i o n a n di n t e n s i t ye s t i m a t i o n so ft h o s ep i x e l si nt h eu n d i s p a r i t 、h o c c l u d e da r e a sc a nb e a c q u i r e dw i t ht h er e l a t i o n s h i po f m o t i o na n dd i s p a r i t yv e c t o r s ：t h eo t h e r sa r es e e m e dt o b ei nt h ed i s p a r i t yo c t l u d e df i e l d s a n dac o s tf u n e t i o ni sc o n s t r u c t e dw i t has u i t a b l e r e l i a b l ed e t e c t i o nm e t h o da s s o c i a t ew i t ht h ef e a t u r e sa n dc o n s t r a i nc o n d i t i o n si nt h e d i s p a r i t yo c c l u d e df i e l d s ，t h ec o r r e s p o n d i n gm o t i o nv e c t o r so fp i x e l si no c c l u d e da r e a s a r ee s t i m a t e dw i t ht h o s ev e c t o r sa c q u i r e di nt h en e i g h b o ru n o e c l o u d e da r e a s ，a f t e r m a p p i n g w i t hs e l e c t e dm o t i o nv e c t o r s ，i n t e n s i t ye s t i m a t i o no f d i s p a r i t yo c c l u d e dp i x e l s a r ea c h i e v e d t h i sa l g o r i t h mi sc a l l e ds t e r e of l a m ee s t i m a t i o na n di n t e r p o l a t i o nb a s e d m o t i o n d i s p a r i t yf u n c t i o na n d t h el e a s tc o s tf u n c t i o n ( m d rl c f l i no r d e rt oi m p r o v e dt h er o b u s to ff r a m ee s t i m a t i o n ，a n dm a k eu s eo ft h o s ec o d e d a n dt r a n s m i t t e dm o t i o na n d 击s d a r i t yv e c t o rf i e l d sa s s o c i a t e dw i t hr e f e r e n c ef r a m e sa t t h ed e c o d e r , a n o t h e r t e c h n i q u ec a l l e dc o m b i n e d i v l d rl c f ( c m d rl c f ) a l g o r i t h mi s p m p o s e d o n e p r e c o n d i t i o no fu t i l i z i n gc m d r l c fi si ti sn e c e s s a r yt ol a b e lt h ed i s p a r i t y o c c l u d e da n du n o c c l u d e da r e a sp r e m e d i t a t e d l ya n d p r o c e s s e st h e md i s t i n g u i s h l vs oa s t ot h o s ed i s p a r i t yf i e l d sa c h i e v e dw i t ha l g o r i t h m sb a s e db l o c k ，w ep r o p o s eas t e r e o f l a m ee s t i m a t i o n a l g o r i t h m w i t h o u to c c l u s i o nd e t e c t i o n a d v a n c e dc m d rl c f a l g o r i t h m e x p e r i m e n t a lr e s u l t ss h o wt h a t ，a st ot h ep s n rr e s u l t so fr e c o n s t r u c t e di m a g e s ， c o m p a r e d w i t ht h ef s b ma l g o r i t h m ，2 5 d bi s i m p r o v e du s i n g t h e c m d r _ l c f a l g o r i t h m ；3 d bi si m p r o v e du s i n gt h ea d v a n c e dc m d r _ l c fa l g o r i t h m ，m o r e o v e r ， s i n c et h ec o m p u t a t i o no f m o t i o na n dd i s p a r i t yc a nb ea v o i d e dt a k i n gu s eo f m o t i o na n d d i s p a r i t yv e c t o r sa tt h ed e c o d e lr e c o n s t r u c t i o ns p e e d sc a nb ei m p r o v e da b o u t6 0f o l d s c o m p a r e d w i t hf s b m a l g o r i t h m c o o p e r a t i n g w i t ht h ep r e v i o u sw o r k so fo u rr e s e a r c hp r o j e c t i o n ，ah i g he f f i c i e n c y s t e r e ov i d e oc o d i n d e c o d i n gs y s t e mc o m p a t i b l ew i t ht h em o n o s c o p i c c o d i n gs t a n d a r d i sc o n s t r u c t e d i nw h i c ho n ev i d e os t r e a mi sc o d e di nah i g h e ri m a g eq u a l i t ya n di s c a l l e da sm a i ns t r e a m ；t h eo t h e rv i d e os t r e a mi sc a l l e da u x i l i a r ys t r e a ma n do n l yaf e w f r a m e so fi ta r ec o d e da n dt r a n s m i t t e d t h eo t h e r s a r e “s k i p p e d ”a tt h ec o d e r , a n d r e c o n s t r u c t e da tt h ed e c o d e rw i t has t e r e of r a m e e s t i m a t i o na n di n t e r p o l a t i o na l g o r i t h m s e x p e r i m e n t a lr e s u l t ss h o wt h a t ，t h es t r e a md a t an e e d e dt ob et r a n s m i t t e di nt h es t e r e o d i g i t a l v i d e oi sa b o u t1 5 - 1 3f o l d so v e rt h a to fm o n o c u l a rd i g i t a lv i d e oa n dh a v e f a v o r a b l c3 d v i s u a lp e r c e p t i o n t h ee s s e n t i a ld e f e r e n c eb e t w e e nt h es t e r e oa n dm o n o c u l a ri m a g e sm a k e st h e e v a l u a t i o no fas t e r e oi m a g ep a i ru s i n go n l yp s n rb ei n s u f f i c i e n t t h u sad i s p a r i t y s i m i l a r i t yd e t e c t i o ne v a l u a t i o nb e t w e e nr e c o n s t r u c t e ds t e r e oi m a g ep a i r sa n do r i g i n a l p a i r si sp r o p o s e di nt h i sd i s s e r t a t i o n p e r f o r m a n c e so fd i f f e r e n ts t e r e of r a m ee s t i m a t i o n a n di n t e r p o l a t i o na l g o r i t h m sa l er e f l e c t e dt h r o u g ht h ec o m p a r i s o no f s i m i l a r i t yd e g r e e b e t w e e nd i f f e r e n td i s p a r i t yf i e l d sa s s o c i a t ew i t hr e c o n s t r u c t e da n do r i g i n a ls t e r e op a i r s s i n c en ob e t t e ro b j e c t i v ee v a l u a t i o ns t a n d a r do ft h es t e r e oi m a g ep a i r sp r o p o s e di n r e c e n tp a p e r s ，t h i se v a l u a t i o nr i l e t h o dc a nb eu s e da sac o m p a r i s o no f t h ed i f f e r e n ts t e r e o f r a m ee s t i m a t i o na n di n t e r p o l a t i o na l g o r i t h m s a d i s p a r i t yc a l i b r a t i o n j o i n t e d w i t ha r e as e g m e n t a t i o nt e c h n i q u ei sa l s op r o p o s e di n t h e1 a t e ro ft h i sd i s s e r t a t i o n w h i c hc a ne m e n dd i s p a r i t yf i e l d sc o n t a i n i n gal o to fe r r o r m a t c h i n g t “st e c h n i q u e c a r ln o to n l ys m o o t ht h et o t a ld i s p a r i t yf i e l d s b u ta l s od e t e c t t h ed i s p a r i t yv e c t o r sw i t hl a r g e re r r o r sa n dd oe m e n d a t i o nw i t ht h e m a sa l le x p a n d i n go fs t e r e of l a m ee s t i m a t i o na n d i n t e r p o l a t i o n ，t h em i d v i e wi m a g e c r e a t i o na n di n t e r p o l a t i o nc o m b i n e dw i t hi m a g es e g m e n t a t i o nt e c h n i q u e si ss t u d i e di s t h i sd i s s e r t a t i o n t h i st e c h n i q u ec a ns y n t h e s i z em i d - v i e wi m a g e sr a p i d l y , a n dh a sl o w c o m p u t a t i o nc o m p l e x i o na n df a v o r a b l ei n t e r p o l a t i o nv i s u a le f f i c i e n c y k e yw a r d s ：s t e r e o v i d e o c o d i n g ，f r a m e e s t i m a t i o na n d i n t e r p o l a t i o n ，q u a t r a t r e e s e g m e n t a t i o n ，m i d - v i e wi n t e r p o l a t i o n v 上海大学博士学位论文 第一章绪论 随着通信及信息技术的发展，二维( 2 d ) 图象通信技术走向成熟，基于诸如 j p e g 、m p e g 1 2 或h 2 6 x 等标准的实时视频通信的各种商业系统名目繁多。然而， 以平面图象描述的2 d 视频远未满足人们日益增长的对场景更真实、自然再现的需 求，而基于3 d 视觉1 1 , 2 的立体多视点视频技术越来越受到重视。为适应新的发展 需求，新一代多媒体通信编码标准m p e g 4 和视频检索标准m p e g 7 也以支持多 视点并发数据流的编码以实现对象的环视和立体视频的传输作为其特色之一 。“2 ”“。立体视频技术的应用前景非常看好，将在3 d 可视化、3 d 远程医学、3 d 可视通信、3 d 高清晰度电视、3 d 影院以及虚拟现实等众多领域得到广泛应用。 1 1 问题背景 进入信息时代，计算机、通信和显示技术得到迅猛发展。模拟电视经过数十 年的发展和应用，如今将被数字电视取代，高清晰度电视( 玎) t v ) 通过增加图像显 示的分辨率，进一步提高了视觉的真实性。然而，以平面图象描述的2 d 数字电视 技术远未满足人们日盏增长的对场景再现更真实、自然描述的需求f 5 】【6 】。图1 1 示 意了不同时代视频技术的特点以及今后视频技术的发展方向【7 1 ，从图中可以看到今 后的数字视频将向着提高视觉真实感，提高交互性和模型化方向发展，而3 d 数字 电视将会取代h d t v ，成为下一代的数字视频技术的主流【8 1 。 在3 d 数字电视中使用的立体成像以及立体显示的原理及方法已经讨论了一 个多世纪。与静止立体图象相比，立体视运动图象和视频并没有获得人们的广泛 接受。这主要由于技术和心理上的原因，其中有闪烁( f l i c k e r ) ，低空间分辨率( 1 0 w s p a t i a lr e s o l u t i o n ) ，左右视之问的交叉影响( c r o s s t a l kb e t w e e nl e ra n dr i g h te y e s ) ， 不正确的透视投影( i n c o r r e c t p e r s p e c t i v e ) ，由于头部运动造成的非自然的场景旋转 变化，需要佩戴特殊的眼镜，不正确的成像几何以及长时间的观看会造成眼睛过 度的疲劳等。最近在成像和显示领域的技术进步提高了空间分辨率，降低了闪烁， 上海大学博士学位论文 图1 1 视频技术发展趋势及特点 并使得左右视之间的交叉影响( c r o s s - t a l k ) 降到了最低限度。最新的无需佩戴偏振 眼镜的自动立体显示系统可以提供多个观看区域，在有着多个观众的情况下，戴 上针对每个区域特定分配的眼镜，就可以对每一个观众同时提供正确的投影【9 】【1 0 】。 通过进一步的研究开发，立体数字电视显示可以跟踪眼睛或头部的运动，为 观众提供正确的几何投影。这不仅可以大大降低由于头部运动造成的非自然的场 景旋转变化，而且可以被加以利用，为观看者提供运动视差( m o t i o np a r a l l a x ) 或 环视( 1 0 0 k i n ga r o u n d ) 效果。日益提高的计算机处理能力可以实时地校正场景视 差以适应观看者的口味，这样可以消除不必要的眼睛疲劳。因此，对于立体电视 ( 或3 d 电视) 来说，绝大多数的严重障碍可以被克服，并即将在观众中获得广泛 接受。 但是与立体电视传输伴随的主要问题在于图像视频传输与存储的数据量比普 通的单通道图像，视频加倍。另外，一个传统的立体视图象对仅在特定的视点提供 了一个场景3 d 视觉，为了获得前述的环视效果或适应众多的观众，需要多视区域 以及对应的多视点图象。这将使得传输带宽成多倍地提高。这样大的带宽在实际 应用中是不可接受也是不实际的。 通常解决数据量增加的方法有：( 1 ) 高效的协议改进信道利用率。( 2 ) 增加 信道带宽。( 3 ) 高效的数据压缩编码技术减少信源的比特。上述方法中，仅用增 加网络信道或带宽的办法是不现实的，信道利用率的提高也是有限的，行之有效 2 上海大学博士学位论文 的是使用图象视频压缩技术。在数字视频传输中，通过利用空间和时间冗余度， 以及人类的视觉系统特性，使得单视视频序列获得了高度的压缩性能。为适应新 的发展需求，新一代多媒体信号编码标准m p e g - 4 和视频检索标准m p e g 一7 也支 持多视点并发数据流的编码以实现对象的环视和立体视频的传输。因此，与独立 编码每一个视的序列相比，为了使得压缩性能获得显著提高，需要仔细考虑和利 用在立体视序列中存在的附加特性，并在图象质量与带宽之间进行合理平衡。因 此，高效立体压缩编码技术在三维技术中起到重要作用，近几年来立体图像对和 立体运动图像序列编码方法的研究也获得了广泛重视。 目前3 d 成像系统已开始在众多领域中得到应用，例如电信、地球科学、机器 人科学、无人导航、医学图像、军事监测和娱乐等。在多媒体通信中，3 d 图像通 信将成为一个重要的发展方向。立体视频技术将在3 d 可视化、3 d 远程医学、3 d 可视通信、3 d 高清晰度电视、3 d 影院以及虚拟现实等众多领域得到广泛应用。 1 2 研究现状及存在的问题 1 2 1 立体图象编码 类似于其它的编码方法，立体图像的压缩编码除了考虑由信源数据中空间和 统计冗余性来实现对每个单通道图像进行压缩外，还可同时考虑左右视图之间的 相关性来进一步压缩。在七八十年代美国的m i c h a e le l u k a e e s 研等就对三维立体图 象编码方法进行研究，并取得了较大进展，近年来，随着各种二维图像编码的进 步和三维立体成像和显示技术的发展，三维立体图像编码技术也取得了巨大的进 步，提出了很多编码方法屯6 1 。 1 2 2 立体视频编码 由于使用立体图象提取深度信息在计算机视觉领域中是一个常用的技术，从 7 0 年代中期开始，就有许多基于图象亮度和特征的方法用于解决对应性问题。但 是，通常说来，这些方法计算量要求很大，不能用于实时编码。 m i c h a e le l u k a c e s 是立体视频编码的早期研究者，他的论文 2 7 】探索了将视差 补偿( d c - b a s e d ) ( 一指使用双目视视差关系在两幅图象之间建立对应) 用于从立 上海大学博士学位论文 体视频序列中的一个视频序列预测另一个视频序列，并提出了多种基于视差补偿 的方法。p e r k i n s 2 8 】将基于视差补偿的方法归纳为一种条件编码方法，对于无损编 码来说是最优的，对于有损编码则是次优的。他首先倡导了混合分辨率编码，即 立体视频的两个流中一个流的分辨率相对较差。d i n s t e i n t 2 9 1 也提出了类似的方法。 t a m t a o u i 和l a b i t 3 0 l 提出了一种基于会聚相机矫正图象对的约束运动和视差估 计的方法，还提出一个一致方程来验证两个立体帧对之间的运动和视差参数。l i u 和s k e r j a n c e 3 2 】提出了一种基于动态规划( d y n a m i cp r o g r a m m i n g ) 的视差估计方法， 用以在物体边界之间建立视羞对应关系。t z o v a r a s 3 3 】1 3 4 】等人提出了视差估计的分层 块匹配以及运动，视差双向补偿方法，称之为聚合估计。另外f r a n i c h 3 刀还提出了基 于通用块匹配算法的视差估计方法，并引入一种平滑检测手段来评价视差匹配好 坏。 在先进的基于物体编码方法的研究中，z i e g l e r 和p a n i s 3 羽描述了立体视频编码 的一种基于物体方向性的编码器。但是这种方法仅在没有摄像机运动以及场景中 没有太多对象时有用。t z o v a r a se ta 1 【3 5 】【3 叼等人也提出了基于物体方向性编码的方 法，试图将对象描述成运动和视差结合的对象：根据从视差映射得到的深度信息 提取物体的3 d 运动模型，然后根据深度和运动对图象帧进行分割。一个对象就是 具有相似运动和深度参数的区域。首先，利用分离融合方法将图象分割成为具有 均一运动的区域，这里的运动由6 个参数描述( 仿射变换和旋转) 。每一个区域分 割成为一个预先定义的尺寸。然后对这些块施加融合处理以形成具有常量视差的 区域，即深度区域。每一个深度区域定义为z ( x ，y ) = a x + b y + c 。因此，每一个对 象由一套运动参数和一套视差参数所确定。但是他们并没有给出对于一般场景的 结果。i g r a m m a l i d i s 【3 9 】提