（电路与系统专业论文）基于视差的立体图像处理与可靠性传输[电路与系统专业优秀论文].pdf

基于视差的立体图像处理与可靠性传输 摘要 摘要 在过去的几十年里，视觉数据如图像、视频等信息的压缩编码技术，已经 得到了快速的发展。与此同时，随着同轴电缆、光纤等通信新技术的普及，信 息传输速率不断提高，使多媒体通信成为可能，从而为人类提供更多的感官感 觉。然而，现有的二维成像技术在表现自然和真实的场景上仍然有很多的局限 性。由于人类的视觉系统对3 d 比2 d 的反应更加强烈，立体视觉就成为最有发 展前景的方向，而且新出现的自动立体显示技术也为立体视觉技术的广泛应用 提供了先决条件。3 d 成像系统有很多潜在的应用，例如，显像( c a d 医学图像) 、 远程通信( 远程医疗、远程展示) 、远程控制、娱乐( 交互h d t v 、电子游戏) 和虚拟现实等随着真实的3 d 成像的需求的增加，立体图像、视频也会变得越 来越流行 目前的立体成像系统多是通过为人类的双目视觉系统提供立体图像对 ( s t e r e oi m a g ep a i l s ) 来实现的实现上述的立体技术的代价很明显，就是使 数据量至少增加了一倍。直到现在，现有的存储介质的容量和通信信道带宽仍 然是有限的，立体图像的存储和传输的方法也就成为立体技术能否得到实际应 用的关键，因此立体图像、视频的压缩算法引起了广泛的注意。现有的立体图 像编码技术，采用的策略大多是在现代的二维图像编码技术的基础上采用视差 ( d i s p a r i t y ) 估计补偿的思想来去除立体图像对之间的冗余，以达到高压缩比 的目的。 我们在国内外立体图像编码研究的基础上，提出一个新的、适合于立体图 像压缩编码的视差估计快速匹配算法。利用立体图像中视差矢量的连续性，通 过逐步减少的匹配位置的搜索，得到最佳的视差矢量，从而大大降低了视差估 计匹配算法的计算复杂度。同时在对视差估计后的残差图像的编码方法进行了 研究后，提出了一个基于该算法的静态立体图像压缩编码方案。并提出了基于 立体视差的图像分割算法，该算法根据立体图像对中包含的视差信息对图像进 行粗略得分割，再结合边缘提取和数学形态学方法得到精细的分割。最后，为 了使立体图像得到较为可靠的传输，针对图像视频在分组交换传输中的分组丢 失问题，提出了一种低复杂度的、基于变换域的图像差错掩盖算法。 关键词：图像压缩，立体图像对，视差矢量，视差估计，目标分割，数学形态学 差错掩盖 基于视差的立体图像处理与可靠性传输摘要 a b s t r a c t i nt h el as tf e wd e c a d e s ，e m e r g i n gm u l t i m e d i as e r v i c c sh a v eh a da s t r o n gi m p a c t o ns o c i a la n dc u l t u r n ll i f e m e a n w h i i e w i t ht h e p o p u l a r i z a t i o no fc o m m u n i c a t i o nt e c h n 0 1 0 9 y ，s u c ha sc o a x i a 卜c a b l e ， o p t i c a lf i b e r ，a n d s o o f t ，t h e t r a n s m iss i o n b i tr a t ei n c r e as e s s i g n i f i c a n t l y w h i c hm a k e st h ec o m m u n i c a t i o no fm u l t i m e d i ap o ss i b l ea n d p r o v i d e sh u m a nw i t hm u c hm o r es e n s o r yp e r c e p t i o n b u t s t i l lt h e r e s 1 0 tso fl i m i t a t i o ni nc u r r e n t2 d i m a g i n gt e c h n i q u e 3 di m a g i n gl l s i n g s t e r e oi m a g eisb e i n gs t u d i e da c t i v e l yd u et oi ts c a p a b i l i t yi np r o v i d i n g s t e r e o s c o p i cp i c t u r e s w i t h h i g h r e s o l u t i o na n d g r e a t s c n s a t i o no f r e a l i t y a n d t h ea d v a n c e m e n tsi nt h e d e s i g n o f a l l t o s t e r e o s c o p i c d is p l a y so f f e rt h es t e r e o s c o p i ca p p l i c a t i o ng o o dp r e c o n d i t i o n i tc a n b eu s e f u ii nm a n ya p p l i c a t i o n s ，s u c ha si m a g ed is p l a y ( c a d 。m e d i c a li m a g e ) t e i e c o m m u n i c a t 6 o n ( v i d e oc o n f e r e n c i n g r e m o t e e x p o s i t i o n ) ， r e m o t e c e n t i o l ，e n t e r t a i n m e n ts ( i n t e r a c t i v eh d t v ，c o m p u t e rg a m e s ) a n dv i r t u a l r e a l i t y ，e t c r e c e n t l y ，t h ed e m a n df o r3 di m a g i n gh a sb e e ni n c r e as i n g ， w h i c hr e s u l tsi nt h a tt h e3 dt e c h n 0 1 0 9 yw i l lb em o r ea n dm o r ep o p u l a r jnt h er o c e n tf u t u r c i t st h ea b i l i t yo fo u rb r a i nt of u s et o g e t h e rt w oi m a g e ss e e nb yt h e e y e sc a l l e ds t e r e oi m a g ep a i rs c u r r e n t l y ，m o s t2 di m a g i n gs y s t e m $ a r e b u i l ta c c o r d i n gt ot h isp r o p e r t yo fh u m a nv is i o ns y s t e m t h ep r i c ef o r t h is s y s t e m isa t1 e a t tt h ed o u b l i n go fd a t a u n t i in o w t h ec a p a c i t y o fs t o r a g em e d i aa n dt h eb a n d w i d t ho fe x is t i n gc o m m u n l c a t i o nc h a n n e l s iss t i l ll i m i t e d ，s ot h em e t h o do fs t e r e oi m a g es t o r ea n dt r a n s m iss i o n wl l lb et h ek e yp r o b l e ma n dt h es t e r e o i m a g e a n dv i d e oc o m p r e s s i o n a l g o r i t h ma t t r a c t s1 0 t so fa t t e n t i o n d is p a r i t y c o m p e n s a t i o nm e t h o dis w i d e l yu s e di nst e r e oi m a g ec o d i n gt o e 1i m i n a t et h ec r o ssr e d u n d a n c i e s t h a tc x is tb e t w e e nt h es t e r e oi m a g ep a irs 基于视差的立体图像处理与可靠性传输摘要 a f t e rr e s e a r c h i n go i lt h ec u r t e l l t d e v e l o p m e n ts t a t u so fs t e r e oi l n a g e c o d i n g w ep r e s e n ta f a s t m a t c h i n gf t 1 9 0 t i t h m f o rd i s p a r i t ye s t i m a t i 0 1 1 _ i ns t e r e o i m a g ec o d i n g t h ec o m p l e x i t y o ft h ed i s p a r i t y _ m a t c h i n g a l g o t i t h m9 8 , $ r e d u c e ds i g n i f i c a n t l yb yu s i n g t h ed is p a r i t yv e t ：t o t s c o n t i n u i t ya n ds t l c , c e ss i v e l ye l i m i n a t i n gt h es e a r c hp o s i t i o i l s a n dt h e n t a k i n gr e $ i d u a li m a g ec o d i n g w ep r o p o s ea s t e r e oi m a g e c o d i n gs c h e m e b as e do i lj p e g a 1s o a n o b j e c ts e g m e n t a t i 0 1 3a l g o r i t h m b a s e do i l _ s t e r e o s c o p i c d i s p a r it y w as p r e s e n t e d w h i c hu s e dt h ed i s p a r it y i n f o r m a t i o nc o n t a i n e di nt h es t e r e oi m a g ep a ir st og e tr o u g hs e g m e n t a t i o n a n d t h e n g o t e x a c t s e g m e n t a t i o i lc o m b i n e dw i t h e d g e d e t e c ti o i la n d m a t h e m a t i c a lm o r p h 0 1 0 9 yf i l e t h o d f i n a l l y ，t o - - p r o v i d eam o r er e l i a b l e t t a n s m iss i o i lf o rs t e r e oi m a g ea n dd e a lv i t ht h ep a c k e tsl o s tp r o b l e mi r t p a c k e ts w i t c hl i e t w o r ki ni m a g et r a r l s l n i ss i o n ar l o v e la l g o t i t h mo fi m a g e e r r o tc o l l c e a i m e n to nd c td o m a i nw i t hl o wc o n l p l e x i t yis p r o p o s e d e y w o r d s ：i m a g ec o r a p r e s s i o n s t e r e o i m a g e d is p a r i t y e s t i m a t i o n ，o b j e c ts e g r n e n t a t i o n ， e r r o rc o r t c 6 & l n l e n t p a i r ，d i s p a r i t yv e c t o t ， i l i a t h e m a t i c s m o r p h 0 1 0 9 y ， 基于视差的立体图像处理与可靠性传输序言 序言 人的大脑可以处理左右两眼观察到的外部三维( 3 d ) 世界的两幅图像之间 的细微的差别，这种能力就叫做立体视觉。立体图像对就是在同一场景下左 右两只眼睛分别看到的图像。物体在这两幅图像中的相对位置差称为立体视 差( d i s p a r i t y ) ，我们的大脑能测量这种立体视差，经过大脑视神经的融合，从 而产生深度感觉。目前的立体成像系统多是通过为人类的双目视觉系统提供 立体图像对( s t e r e oi m a g ep a i r s ) 来实现的。 因为人类的视觉系统对3 d 比2 d 的反应更加强烈，立体视觉就成为最有 发展前景的方向，而且新出现的自动立体显示技术也为立体视觉技术的广泛 应用提供了先决条件。随着真实的3 d 成像的需求的增加，立体图像、视频也 会变得越来越流行。 目前的立体成像系统多是通过为人类的双目视觉系统提供立体图像对 ( s t e r e oi m a g ep a i r s ) 来实现的。实现上述的立体技术的代价很明显就是使 立体图像的存储和传输数据量至少增加了一倍，尤其是传输。目前立体图像 传输的主要的瓶颈仍在于现有的通信信道带宽是有限的。为了缓和这个瓶颈 带来的压力，立体图像的压缩算法引起了广泛的注意。现有的立体图像编码 技术，采用的策略大多是在现代的二维图像编码技术的基础上采用视差 ( d i s p a r i t y ) 估计补偿的思想来去除立体图像对之间的冗余，以达到高压缩 比的目的。视差估计补偿的思想最早是由l u k a c s 1 1 3 提出来的。在这之后， 很多研究人员在此基础上发展了立体图像的压缩编码技术。 我们对目前立体图像编码研究的发展情况进行了研究，包括静态立体图 像的压缩编码方法，利用视差进行图像分割以及如何提供较为可靠的立体图 像传输。首先在第一章，将介绍技术的背景以及立体成像的模型和原理。接 着在第二章，在立体图像编码研究的基础上，尝试更有效、复杂度低的视差 估计算法，研究如何对两帧图像更有效的量化、编码，并提出一个有效的基 于j p e g 的立体图像压缩编码的方案。然后在第三章提出了利用视差作为图像 分割的一个特征，并验证了其可行性和有效性。最后在第四章，阐述通过d c t 域的图像差错掩盖算法来进一步改善传输的可靠性。 基于视差的立体图像处理与可靠性传输 立体视觉的基础 第一章立体视觉的基础 i 1 3 d 的简史 在公元前3 0 0 多年，欧几里德意识到当两只眼睛同时观察两个相近的图 像的时候就能感知到深度，早在十九世纪3 0 年代，w h e a t s t o n ev i e w e r 就用 两幅手画的场景来构造三维的感觉。接着在1 8 3 9 年照相机的发明为立体照相 提供了必要的技术手段。在十九世纪的晚期，三维照相已经得到了广泛的接 受。在二十世纪初期，三维的流行程度达到了巅峰，至此，三维已经成为照 相和电影里是不可或缺的一部分。第一个3 d 电影在1 9 1 5 年于纽约公演。后 来，在二十世纪的3 0 4 0 年代3 d 的成像再一次地获得了新生；在1 9 3 3 年 t r u v u e 公司在3 5 m m 的电影里引入了立体视镜，在1 9 3 9 年c h r y s l e rm o t o r s 通过使用一种没有颜色偏差的极化材料展示了一场3 d 电影，为全彩色的3 d 电影的上映铺平了道路。随着电视1 9 3 9 年在伦敦被发明，3 d 的电子版本很快 在1 9 4 2 年就出现了，采用的技术是彩色立体图的同内容有两个略为不同的 视点，颜色迥异，相互叠加，用两个有色滤色镜观看时可产生三维立体效果。 但是，在5 0 年代，由于上述方法的缺点，3 d 更多是出现应用在电影中，而不 是电视。可是，3 d 电影好景不长。因为观众不得不带一个不舒服的专用的眼 镜并且会带来头疼等不良感觉。 在二十世纪9 0 年代，由于自动立体显示系统的发明( 1 4 3 ，立体应用又重 新引起了广泛的研究兴趣。几十年来，人们作了各种各样的努力试图开发一 个实际的3 d 系统，但是现有的3 d 技术，包括全息摄影技术，仍然无法满足 实际显示的要求。大部分的努力都集中于使用专用眼镜的双视点立体系统， 这个系统己被证实在一些科学应用和3 d 宽屏幕电影上是很有效的，但是这个 系统在图像质量和舒适感上有很多局限性。同时，在二十世纪末，在3 d 显示 技术和其它一些相关领域的迅速发展为不需专用眼镜的3 d 显示开辟了一条新 的道路。 特别的是，一些3 d t v 方案同时考虑了信号处理和人类自身的特点。工业 上的研究组织，像n h k ，h h i ，d e r a ，p h i l i p s ，s a n y o ，s h a r p ，x e n o t e c h ， r e a l i t yv i s i o n ，d t i ，n uv i s i o n 等等，以及学院的研究机构m i t ，c a m b r i d g e ， d em o n t f o r t ，c u r t i n ，t s u k u b a 等大学都在致力于开发未来的立体图像显示 技术的研究。世界上很多其他组织也在试图开发支持立体成像的相关技术， 例如捕获、存储、编辑、和传输等。在欧洲，已经开始了一些3 d t v 的一些 基于视差的立体圉像处理与可靠性传输 立体视觉的基础 方案的提出，像c o s t 2 3 0 和d i s t i m a ，这些方案旨在捕获、编码、传输和展示 数字立体图像序列。此外值得一提的还有p a n o r a m a 和n h k 的3 dh d t v 。 最新的可编程的多媒体数字处理器，高速的数字网络的引入，日益增长 的计算能力都会不断地推动3 d 技术的发展。 1 2 立体成像的原理 人的大脑可以处理左右两眼观察到的外部三维( 3 一d ) 世界的两幅图像之 间的细微的差别，这种能力就叫做立体视觉。立体图像对就是在同一场景下 左右两只眼睛分别看到的图像。物体在这两图像中的相对位置差称为视差 ( d i s p a r i t y ) ，我们的大脑能测量这种视差，经过大脑视神经的融合，从而产生 深度感觉。可以自己做个实验：先闭上左眼睁开右眼，将任何一件物体放在 手上进行观察，然后睁开左眼，闭上右眼，再观察这个物体。会发现这个物 体的位置已经后移了一段距离并且横向向右移动了，这就是3 d 成像的原理。 获得立体场景的两个不同视点的投影图像的过程叫做立体成像，它为在 3 d 场景里捕获相对的深度信息提供了一个简单方便的方法。立体成像模仿了 人类的视觉系统，被称作立体图像对的两个投影图像是通过把3 d 场景成像到 两个适当放置的成像传感器来获得的。通过两个相隔一定距离的成像镜头的 线段称为相机基准线。合适的相机基准线就是人类两眼之间的距离。立体成 像在计算机视觉系统中也是很有用的，可以基于成像几何结构的知识和左右 视图相应点之间的视差用立体图像对计算场景中的深度信息。但是，这些系 统通常使用更宽的相基准线来增强深度估计的精确度。 图卜1 人眼视觉3 d 成像的原理 3 基于视差的立体图像处理与可靠性传输立体视觉的基础 1 3 立体视觉原理及模型 视差对立体视觉的形成起着非常重要的作用，可以基于成像几何结构的 知识和左右视图相应点之间的视差用立体图像对计算场景中的深度信息。在 实际应用中，主要有两类成像模型：会聚型双视觉成像模型( 图i - 2 ) 和平行 轴双视觉成像模型( 图卜3 ) 。 会聚型双视觉成像模型会产生梯形畸变等3 d 失真，左右图像的亮度由于 与光源照射方向夹角不同可能存在偏差，而且平行轴双视觉成像模型中，左 右两幅图像对应的像素所在的内极线( e p i p o l a rl i n e ) 是平行的，这样就可 以在视差匹配时把搜索限制在一维的范围内，降低匹配的复杂度，因此目前 大多数的研究采用的是平行轴双视觉成像模型。 平行轴双视觉成像模型( 见图1 ) ，其中0 1 ，0 2 分别代表左右焦点，两者间 距为b ，光轴与z 轴平行，焦距为f 。 左 p ( 1 ，hz j 知b ：， 一。 ，l 图i - 2 会聚型双视觉成像模型图卜3 平行轴双视觉成像模型 平行轴双视觉成像模型需满足两个条件： 1 、左右两个相机的光轴相互平行。 2 、左右两个相机的成像平面共平面。 3 、左右两幅图像的底边共线。 如果两个相机是相同的，那么在上述的模型中就有： 一 l 、 平行于成像平面的长方形在两个相机上的成像也都是长方形。 2 、 左右两个图像中的长方形有同样的大小和同样的方向。 3 、 左右两幅图像中的长方形的中心到图像底边的距离都相等。 4 基于视差的立体图像处理与可靠性传输立体视觉的基础 l 、 2 、 3 、 4 、 捕获得到的立体图像对满足下面的约束条件 立体图像对中的对应点在同一条直线上( e p i p o l a rl i n e ) 。 立体图像对中的对应点有相同的亮度值。 一幅图像中的一个点唯一的对应另一幅图中的一个点。 在光滑物体表面的假设下，大部分情况下视差的变化也应该是连续 的，除了在物体边缘和遮盖区域。 左右成像平面与x y 平面平行，假设三维空间任一点p ( x ，y ，z ) ，在左、右 成像平面分别成像为p ( 一，y 。) 、p a x ：，_ ) ，：) ，b 是只在左成像平面中的匹配点， 点p 的视差孑为只指向p 的矢量。理想情况下厅的垂直矢量为霉，水平矢量以 为x l x 2 。如果z 是p 点到成像平面的距离，那么有：z 2 高 由上式可以看到，当物体距离眼睛越远，即z 越大时，视差d 就越小。当物 体距离眼睛太远时，视差变得非常小，就没有深度感了。同时，增大基线b ，也 会增加深度z 的精确度。但是这样会减少两幅图像的公共区域。 1 4 立体显示系统 通过上述对人眼视觉的分析，我们知道：只要人的左右眼能分别看到有一 定视差的图像对，那么通过人的视神经的处理和融合，人们就能得到该图像对 的立体视觉效果，当然该图像对之间的视差要符合三维视觉习惯。立体显示 系统可以分为三类：立体眼镜显示、头盔显示和自动立体显示。前两种需要 观察者配戴专用的光学仪器，自动立体显示则融合了眼睛定位技术。 一立体眼镜显示 1 、 颜色复用法( a n a g l y p h ) ：这个方法是观看立体图像最原始的方法 之一。采用的技术是左右两眼的图像通过互补色过滤，用两个有色滤色镜观 看时可产生三维立体效果。但是，颜色的竞争效应和彩色适应上存在的视觉 上短暂的偏移限制了这种方法的使用。 2 、 时间复用显示法( t i m em u l t i p l e x e dd i s p l a y s ) ：这个显示方法利 用了人类视觉系统能够融合小于5 0 毫秒时间延迟的立体图像对的特点。左右 基于视差的立体图像处理与可靠性传输立体视觉的基础 眼的视图快速地交替显示并且用液晶快门同步，这个快门总是轮流地对一只 眼睛打开同时对另一只眼睛关闭。只要当这种“交替”频率足够高，人感觉到 的效果就和双眼同时看的效果相仿。两个图像都是由同一个显示器以全分辨 率产生的，因此克服了几何和颜色上的差别。但是刷新频率要足够的高，否则 将产生“闪烁”，令人感到不舒服。 3 、 极化眼镜法( p o l a r i z a t i o ng l a s s e s ) ：使用极化眼镜( 线性极化 和环形极化) 观看在两个显示器上显示的正交极化的图像可以解决在颜色复 用法中存在的颜色的竞争效应。但是，在通过滤波器时会有超过6 0 的光损失 掉，尽管这样，极化技术仍然在立体视频投影屏幕上广泛应用。 4 、 时间序列控制极化法：是时间和极化复用的结合。思想是用改变显 示器上的液晶面板的极性来控制左右眼的转换。它有两个特点，液晶面板由 多个部分组成，这些部分在屏幕上的活动区域独立工作，因此能够保证每只 眼睛只接触指定的图像内容，减少相互干扰。多个显示矩阵可以无需额外的 同步电路工作。 在使用立体眼镜显示时，需要一个处理卡辅助实现。用一个c a b l e 来连 接显卡与p c i 卡的，连接方式，有点像早期p c 的v o o d o o 卡连接于显卡与显 示器之间；p c i 卡是为了从主板接取电源，再就是将显卡要显示的画面进行拦 截，做一下倍频处理。显示器也必须支持d d c ( d i s p l a yd a t ac h a n n e l ) 。 二头盔显示 图1 - 4 立体镜显示系统 头盔显示普遍应用在虚拟现实和三维视觉应用上。头盔的两个镜片其实 就是两块显示屏。配上立体声耳机以后，“现场”气氛已经非常浓厚。装有类 6 基于视差的立体图像处理与可靠性传输立体视觉的基础 似传感器之类的装置，它可以3 6 0 度实时跟踪使用者头部的运动自动产生转 弯、仰俯视等3 d 动作信号。不仅不需任何适配卡可直接与串口连接，它更 可以直接与家用电视机、录像机等一切视频源相连。头盔显示除了有重量问 题、分辨率、计算复杂度和用户舒适感上的一些小缺憾，可以满足大部分的 需要。 三 自动立体显示 有关立体成像和显示的概念已经出现一个多世纪了。和静态立体图像相 比，立体运动图像和视频没有得到广泛的认可是因为技术和心理上的原因， 包括闪烁、空间分辨率低、左右眼视觉干扰、错误透视、由于观察者头部运 动而带来的不自然的场景旋转、需要专门的眼部装置、不正确的成像几何原 理和增加的视觉疲劳等。最近在成像和显示领域的进步提高了空间分辨率、 降低了闪烁、使左右视觉的干扰最小。新的自动立体显示技术提供了多个视 觉区域，能够使多视觉方案中的每个观察者都得到正确的透视，考虑到用户 接受的特殊因素还可以分配给专用的眼部装置。 自动立体显示技术主要分为三类，电子全息显示、基于体积测定的显示、 方向复用的显示。 l 、 全息技术：它是一种再现物体的空间形象的方法。在底片或版片上 记录由分裂的激光束干扰下的图案，然后再用普通光或激光显示出该图案。 全息技术的方法具有存储和复制光波的特性，精确性很高，比较适合全视角 的3 d 显示。但是，在显示以及记录复制的过程中需要的是相干光。只能用在 立体场景是在特殊的条件下得到的情况，这是主要的缺点。 2 、 基于体积的方法：主要分为两类， 1 ) 利用自发光体或反光介质长时间地占据某一体积的空间或定期地 进行扫描。 2 ) 多层面显示：图像中的不同深度的层次按时间的顺序依次显示在 c r t 上，而观察者则透过一个变焦距的球面镜来观看监视器。由于空间中某一 点的光是无法被他前面的点所吸收，所以基于体积的方法显示的物体是透明 的。因此，这个方法实际的应用限制在描绘的物体比较易于符号化或用线框 基于视差的立体图像处理与可靠性传输立体视觉的基础 模型来表述。 3 、 方向复用系统：主要有以下四种方法 1 ) 基于衍射的方向复用 2 )基于折射的方向复用 3 ) 基于反射的方法复用 4 ) 基于遮盖的方向复用 8 基于视差的立体图像处理与可靠性传输静态立体图像压缩编码 第二章静态立体图像压缩编码 2 1 基本思想 在过去的几十年里，视觉数据，像图像、视频等的压缩编码得到了快速 的发展，通信技术也相对地成熟了许多，因此有很多标准，例如j p e g 、m p e g l 、 m p e g 2 、h 2 6 x 等，来支持实时的二维的视觉数据的通信，而且已经在商业的 场合得到了广泛的应用。事实上，各个领域的技术快速地汇聚在一起以得到 更自然的多媒体通信。新的标准，像m p e g 4 、m p e g 7 等，也被开发以实现交互 多媒体的通信。那么下一步是什么呢? 主要的发展趋势是获取更多的感官感 觉。从照相机一 黑白彩电一 彩色电视一 高清晰度电视的发展的过程就是不断 丰富人类感官感觉的过程。一个很有前景的方向就是在图像、视频里加上深 度的信息。这是因为人类的视觉系统多3 d 比2 d 的反应更加强烈。一个实现 在图像、视频里加入深度信息的有效的方法就是为两只眼睛同时提供立体图 像对。 随着立体图像应用需求的日益增加，建立立体图像的压缩标准也提到了 日程上来。去除立体图像对的冗余的最有效的方法，也是用得最多的方法是 选择一幅图像( 以下假设为右图) 为参考图像，右图独立编码，然后估计两幅图 像之间的视差矢量场以去除立体图像对之间的冗余，第一个提出这个视差估 计补偿方法的是l u k a c s 卜1 。y a m a g u c h i 2 - 7 后来又提出了对视差估计补偿 得到的误差帧进行编码，并传输以得到更好的图像质量。d i n s t e i n 2 2 等人 提出，根据视差补偿的精确度确定左图的每个图像块是用视差补偿的方式编 码还是独立编码的方法。 现有的立体图像编码技术，采用的策略大多是在现代的二维图像编码技 术的基础上采用视差( d i s p a r i t y ) 估计补偿的思想来去除立体图像对之间的 冗余，以达到高压缩比的目的。在静态图像压缩标准j p e g 的基础上，利用立 体图像对之间的交叉视觉冗余，提出了一个静态立体图像的基本压缩方案( 如 图2 - 1 ) 。方案的基本思想如下： 首先、以左图( 或右图) 为参考图像，独立于右图( 左图) 用5 p e g 编码。 其次、右图被分为8 * 8 或1 6 1 6 的子块，为右图中每个子块进行视差估计 得到视差矢量。 9 基于视差的立体图像处理与可靠性传输静态立体图像压缩编码 第三、基于在左图中的匹配块的d c t 变换，对右图中的每个子块的d c t 变 换进行预测，相减得到变换域的预测误差。 最后、对需要传输左图的视差矢量用d p c m 编码，对预测误差进行量化、扫 描，和左图的码流一起传输。 j 一型j 7 早广 习 - 多 路 复 用 图2 一l 静态立体图像的基本压缩方案 这一章将在前面介绍的静态立体图像压缩编码的基本思想的基础上，分 别并对视差估计算法和视差估计后的残差图像的编码方法进行研究，并提出 了进一步改进的算法。下面将对这两方面的改进分别进行阐述。 2 2 视差估计算法的改进 由于是基于视差估计补偿的思想，视差估计算法的好坏就会对整个立体 图像编码的效果起到决定性的作用，因此目前大部分的研究也都集中于如何 实现快速准确地估计视差。在这一节中，提出一个新的、适合于立体图像压 缩编码的视差估计快速匹配算法，利用立体图像中视差矢量的连续性，通过 逐步减少匹配位置的搜索，得到最佳的视差矢量，从而大大降低了视差估计 匹配算法的计算复杂度。模拟结果显示，该算法的性能与全搜索匹配算法相 近，但计算量却显著降低。 2 2 1 视差估计算法概述 立体图像最简单的编码方法是用传统的编码方案对两幅图像分别独立编 码，f o r m a n 2 小 等提出了基于混合d p c m d c t 的3 dd c t 编码方案。利用立体 图像对之间内在的冗余可以得到高性能的编码，第一个提出立体图像压缩算 法的是p e r k i n s h 一2 ，它使用的方法是分别对两幅图像的和、差进行编码。 0 基于视差的立体图像处理与可靠性传输 静态立体图像压缩编码 y a m a g u c h i 对这个方法进行了改进，他把一幅图像水平的平移到与另一幅图像 的互相关最大的地方，然后相减，对差进行编码。这个方法使假设场景中的 所有物体都有相同的视差。后来他又提出用行块来取代整个图像来进行匹配。 立体图像中的视差估计在某种程度上与运动估计很相似，二者都是利用 了两幅图像之间的相似性来降低传输比特率。但是，如果把平行轴双视觉成 像的几何结构的约束考虑进去，视差估计和运动估计又有不同之处。例如， 视差矢量的方向总是水平的，而运动矢量可以是二维平面上的任意方向。这 个特性可以简化视差估计的过程。而立体图像的其它特征，像遮盖、噪声、 和3 d 失真，又严重的影响了估计补偿的效率。此外，由于立体图像是由两 个相机成像得到的，两幅图像的亮度值会有轻微的不同。在视频编码中遮盖 是由于运动物体产生的，而立体图像中场景中的任何物体都会产生遮盖，视 差补偿的误差图像会有不同的能量分布和更高的能量。因此，视差补偿编码 的效率可能由于立体图像的固有特征而大大降低。 为了得到一个精确的视差估计，人们提出了各种的解决方案，可以分为 几大类： 法 第一类、基于区域( r e g i o n b a s e do ra r e a b a s e d ) 匹配的视差估计算 这一类算法是利用一个区域内的像素的亮度或色彩值的相关性进行搜索 得到最佳的匹配来估计视差。 最原始的算法是基于像素匹配( p i x e l b a s e d ) 的视差估计算法，为左图中 的每一个像素在右图中找到对应的像素。尽管有自适应窗口 2 _ 1 2 ( 每个像素 用不同的窗口大小搜索匹配点，窗口的大小根据亮度和视差的局部变化估计 而得) 、动态规划 2 8 等改进方法，仍然无法很好地解决这种方法的计算量太 大的缺点，因此后来就发展成了基于块匹配( b l o c k b a s e d ) 的视差估计方法。 因为现有的二维图像的编码方法都是基于块操作的，因此目前应用最多 的是基于f s b m ( f i x e d s i z eb l o c km a t c h i n g ) 的预测编码，将左图分成互不重 叠的大小相等的子块，并为每个子块在右图中沿着在视差矢量范围内的每个 矢量按照亮度值的最小均方差或最大似然准则 2 9 搜索最佳的匹配块。尽管 基于视差的立体图像处理与可靠性传输静态立体图像压缩编码 f s b m 用起来既简单又有效，但是它也有几个众多周知的缺点： 1 、 视差估计不精确； 2 、重构的图像有明显的失真。 总的来说，视差估计的不精确是因为： 1 、各种噪声、遮盖、缺少或重复的纹理结构 2 、 视差估计仅仅有一个像素的精确性： 3 、一个块内使用同一个视差矢量。 不精确的估计会增加视差场的比特。基于f s b m 的预测编码的效率可以通 过改善视差估计补偿来提高。改进的方法有块重叠视差补偿 2 一l o ，用和相邻 块相关的多个矢量对每个块进行估计视差，消除了传统方法的块效应；使用 均衡滤波器以改进视差估计的准确性 2 1 3 ；基于马尔可夫随机场的模型 2 1 4 来计算视差场的方法以使编码的效率大大提高：根据计算得到的视差估计的 误差方差的分布来选择参考的图像块 2 _ 1 5 ，以使视差估计的结果误差的方差 最小等。 另一个改进的思想是使用基于v s b m ( v a r i a b l e s i z eb l o c km a t c h i n g ) 的方法。在 2 _ 1 6 里介绍了四叉树分解的方法，当匹配失败时自适应地降低块 的大小，这种方法简单而有效。 第二类、基于特征匹配( f e a t u r e b a s e d ) 的视差估计方法 把局部的特征作为匹配对象用于视差估计。这个方法能够得到一个可靠 的视差场，因为这些特征比原始的亮度信息更能代表图像的特性。现在应用 的特征有特征点 2 一1 7 、边缘元素 2 一1 8 、角 2 1 9 、线段 2 2 0 、曲线 2 2 17 、圆、 椭圆、多边形( 使用区域生长法检测) 等。 在基于特征的匹配方法里，立体图像对先由一个检测算予进行处理以提 取不受视角影响的特征，然后对特征的属性值进行匹配处理。边缘元素、角 1 2 基于视差的立体图像处理与可靠性传输静态立体图像压缩编码 比较容易检测，但是在有遮盖的情况下就会出错。线段、曲线的检测计算量 大，但不会完全被遮盖。圆、椭圆、多边形则是用在工业、医学等特殊的场 合，但是计算量很大。基于特征匹配的方法只能在那种可以提取特征的图像 中应用而且需要使用插值的方法来得到整个视差场，因为只有在特征位置才 能使用这个方法得到视差估计。 基于相位( p h a s e b a s e d ) 的方法 2 一z 3 2 一z 4 是在f r e e m a h 2 2 2 等人关于 眼睛的视觉生理特性的研究基础上发展起来的，用g a b o r 等函数描述双目视 觉细胞的响应，这个响应是局部相位的函数。局部相位与局部视差有d ：兰竺 的关系，双目输出最大时得到调谐视差。相位匹配具有较强的抗透视畸变能 力 2 2 5 ，视差估计无需内插就可达亚像素级精度，且能生成稠密的视差图。即 相位匹配结合了灰度匹配与传统特征匹配的优点，是一种性能稳定、简单高 效、能得到稠密视差图的特征匹配方法。 第三类、基于物体( o b j e c t b a s e d ) 的视差估计算法 2 2 6 2 2 7 在立体图像编码中使用基于物体的编码方法可以进一步地和新的标准例 如m p e g 4 相结合。目前大多数的图像视频编码方法都是集中在第一代的编解 码器上。而第一代的编解码器主要是利用图像数据的统计冗余并且是基于块 操作。j p e g 、h 2 6 x 、m p e g l 2 都属于这一类。但是这一类方法的压缩性能已 经达到了极限。由于有明显的块效应，特别是在低比特率的情况下，他们无 法提供一个令人满意的质量。因此就需要更灵活的方法来解决这个问题，基 于物体分割的编码方法就提供了一个解决问题的新方向。这类算法先对左右 两帧进行图像分割，然后对提取出的物体进行轮廓匹配，并对物体和背景以 不同的方式和质量进行编码。这一类方法由于图像分割等技术上的限制还不 是很成熟，目前一般用在视频会议等图像的前景、背景结构清楚的领域。 多分辨率匹配是一个应用广泛的改善图像编码效率的方法。这个方法对 立体图像对进行降采样或通过低通滤波器生成多级具有不同分辨率的图像 对，原立体图像对在分辨率的最高级。首先对最低级的图像对进行视差估计， 然后在低级图像对问得到的视差基础上对较高级的图像对进行视差估计，一 直到最高级。使用多分辨率匹配的方法不仅可以降低匹配过程的计算复杂度， 而且抗噪声、减少了误匹配。此外多分辨率匹配还能够和小波变换结合起来， 得到基于小波变换的多分辨率的视差估计算法 2 2 8 。 基于视差的立体图像处理与可靠性传输静态立体图像压缩编码 2 2 2问题的提出 在立体图像对的左右两幅图像之间，存在着大量的交叉视觉冗余，在压 缩编码时可以通过视差估计补偿的方法去除，其效率依赖于视差匹配的有效 性和精确度。在整个立体图像压缩算法中，为了实现最大限度地去除交叉视觉 冗余，视差匹配的计算占用了大量的时间，尤其是在室内近距离拍摄、视差 范围比较大的情况。 目前，立体图像视差估计算法的研究，大部分集中在从左右两幅图像中 分别寻找空间某一视点的精确对应点，其算法设计的基础是为了便于立体重 构建模，并不是为了进行数据传输。因此，根据得到的视差矢量，进行视差 补偿，其残差图像的压缩并不能达到最佳压缩的目的。另一方面，在进行视 差匹配时，尽管全搜索的匹配算法在压缩效率上最优，但计算量太大。如果 采用其他一些应用在视频运动估计上的匹配算法，例如二维对数搜索 2 3 z 、 三步搜索法 2 3 3 、交叉搜索法 2 _ 3 4 等，虽然其计算量比全搜索法小，但它们 都建立在一个假设前提下，即最佳匹配点周围的匹配代价函数单调递增；因 此，如果存在局部最小点，其匹配准确性将下降；此外与运动估计相比，视 差估计有其自身的特点：在如图二所示的平行轴双视觉成像模型中，左右两幅 图像对应的像素所在的内极线( e p i p o l o rl i n e ) 是平行的。在视差匹配时， 可以利用这一特点，把搜索限制在一维的范围内，而上述的基于二维搜索的 匹配算法并不适合进行一维搜索。在 2 _ 3 5 】中提出了视频运动估计的逐步排除 法，利用一个数学不等式逐步排除那些不可能成为最佳匹配的图像块。这个 算法在视频运动估计的应用中很好地克服上述的基于匹配准则单调递增的算 法的缺点，能够在较少的计算量下逼近全搜索算法的性能。 结合上述逐步排除算法的优点，提出了一个立体图像压缩编码中视差估 计的快速匹配算法，利用立体图像视差矢量的连续性，预测搜索的起点位置， 结合不等式预判断和加速算法，提高搜索速度。模拟结果显示，这个快速匹 配算法的性能和全搜索匹配算法的性能是相差无几的，却大大降低了计算量。 2 2 3 视差匹配准则与约束 立体图像对的左右两幅图像之间的交叉视觉冗余，在压缩编码时可以通 过视差估计补偿的方法去除。立体图像视差估计算法的研究，大部分集中在 从左右两幅图像中分别寻找空间某一视点的精确对应点。基于块的视差匹配 的目标是在左图中为右图的当前块在搜索的范围内寻找最相似的匹配块。以 4 基于视差的立体图像处理与可靠性传输 静态立体图像压缩编码 相似性为目标的视差匹配的