（计算机应用技术专业论文）立体视频编码与显示相关技术研究.pdf

硕士论文 立体视频编码与显示相关技术研究 摘要 在下一代视频技术中，立体视频作为一种比普通视频提供更多信息内容和具有更多数 据量的数字媒体，因其具有强烈的立体感和纵深感特性越来越受到人们的关注。立体视频 蕴含了景物的深度信息，在自然场景的表征上更具有真实感，在3 d 电视、具有临场感的 可视会议及虚拟现实等领域展现了广阔的应用前景。然而立体视频具有两倍于单目视频的 数据量，这给存储和传输带来困难，必须对其进行高效的压缩。在立体视频中，除了各个 视频流内具有很强的空间和时间相关性，各视点间也具有一定的交叉相关性，如何有效地 利用这些相关性是立体视频走向实际应用的关键。为提高多视点视频的压缩效率，本文根 据人眼视觉系统的隐藏特性，对非对称立体视频压缩编码中的关键技术进行了研究。 论文首先对基于h 2 6 4 的立体视频编码技术和其相关参考模型j m v m 进行深入研究， 并分析了三种传统编码方案的优缺点。在对结果分析的基础上，得出了视差估计、运动估 计及联合估计的不同应用环境。得出运动补偿主要是发生在不运动的背景区域和运动缓慢 的前景区域以及相邻两帧中的遮挡区域，视差补偿主要是用于运动引起的遮挡、变形区域。 联合补偿预测主要是发生在物体的边缘区域。 在根据人眼视觉特性的基础上，分析了非对称视频编码应用的可能性。并指出了现有 的非对称立体视频编码算法中右视角图像在参考左视角图像时存在的问题，引出了一种快 速的匹配算法一参考帧直接预测模式，该算法与已有算法中对左视角参考帧进行动态下 采样相比，降低了编码的复杂度。同时论文分析了非对称立体视频编码过程中的右视角下 采样图像编码失真度原因，引出了一种更有效的非对称立体视频压缩编码算法，并能够根 据目标码率来动态的选择采样尺度，在失真度和码率之间寻找一个最优点。 最后，本论文在现有立体视频采集系统的基础上，研究了实时立体视频显示技术。设 计并实现了一个基于b u m b l e b e e 2 双目视频摄像机的立体视频实时采集和显示系统，该系 统采用最新的d i r e c t x3 d 渲染技术，将摄像机采集来的立体视频数据以分色或者是分时方 式实时显示在普通c r t 显示器上，用户可以根据不同需要欣赏到具有深度感的立体视频， 同时可以将采集的立体视频保存为a v i 格式的视频流，便于进一步的研究。 关键词：立体视频联合补偿预测非对称编码立体显示 硕士论文立体视频编码与显示相关技术研究 a bs t r a c t i nt h en e x tg e n e r a t i o no f v i d e ot e c h n o l o g i e s t h es t e r e ov i d e o 笛ad i g i t a lm e d i u mw h i c hc o n t a i n sm o r e i n f o r m a t i o na n dd a t at h a no r d i n a r yv i d e o ，h a sa t t r a c t e dm o r ea n dm o r ea t t e n t i o nb e c a u s e o fi t si n t e n s e c h a r a c t e r i s t i c so fd e p t ha n dt h j r dd i m e n s i o n s t e r e o s c o p i cv i d e oi n c l u d e st h ed e p t hi n f o r m a t i o no fs c e n e s w h i c hi sm o r er e a l i s t i ci nt h ec h a r a c t e r i z a t i o no fn a t u r a ls c e n e s ，a n dh a su n f o l d e dt h eb r o a da p p l i c a t i o n p r o s p e c ti nt h e3 dt e l e v i s i o n ，3 dv i d e oc o n f e r e n c ew i t hs o u n d s u r r o u n da m b i a n c ea n d v i r t u a lr e a l i t y h o w e v e r , t h r e e d i m e n s i o n a lv i d e oh a st w i c e 私m u c hd a t a 雒t h em o n o c u l a rv i d e o w h i c hc r e a t e sd i f f i c u l t i e sf o rs t o r a g e a n dt r a n s m i s s i o n t h e r e f o r e ，h i g h l ye f f e c t i v ec o m p r e s s i o nm u s tb ec a r d e do n t h ep a p e rf i r s tc o n d u c t sa t h o r o u g hr e s e a r c hb a s e do nt h ee n c o d i n gt e c h n i q u e so ft h eh 2 6 4s t e r e ov i d e oa n di t sa s s o c i a t e dr e f e r e n c e m o d e lj m v m ，a n dt h e na n a l y z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h r e et r a d i t i o n a le n c o d i n gs c h e m e s o n t h eb a s i so ft h er e s u l ta n a l y s i s ，i tc o n c l u d e sd i f f e r e n ta p p l i c a t i o ne n v i r o n m e n to ft h ep a r a l l a xe s t i m a t i o n ，t h e m o v e m e n te s t i m a t i o na n dt h eu n i o ne s t i m a t i o n i ta l s om a k e st h em a i nc o n c l u s i o nt h a tt h em o t i o n c o m p e n s a t i o nm a i n l yo c c u r si nt h em o t i o n l e s sb a c k g r o u n da r e aa n ds l o w - m o t i o nf o r e g r o u n da r e aa n d o c c l u d e da r e a sb e t w e e nt w oa d j a c e n tf r a m e s ；p a r a l l a xc o m p e n s a t i o ni s a p p l i e dm a i n l yi no c c l u s i o n , d e f o r m a t i o na r e a s ；j o i n tc o m p e n s a t i o np r e d i c t i o nm a i n l yo c c u r si nt h ee d g eo fo b j e c t s t h ep a p e rf i r s tc o n d u c t sat h o r o u g hr e s e a r c hb a s e do nt h ee n c o d i n gt e c h n i q u e so ft h eh 2 6 4s t e r e ov i d e o a n di t sa s s o c i a t e dr e f e r e n c em o d e lj m v m , a n dt h e na n a l y z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h r e e t r a d i t i o n a le n c o d i n gs c h e m e s o nt h eb a s i so ft h er e s u l ta n a l y s i s ，i tc o n c l u d e sd i f f e r e n ta p p l i c a t i o n e n v i r o n m e n to ft h ep a r a l l a xe s t i m a t i o n , t h em o v e m e n te s t i m a t i o na n dt h eu n i o ne s t i m a t i o n i ta l s om a k e st h e m a i nc o n c l u s i o nt h a tt h em o t i o nc o m p e n s a t i o nm a i n l yo c c u r si nt h em o t i o n l e s sb a c k g r o u n da r e aa n d s l o w m o t i o nf o r e g r o u n da r e aa n do c c l u d e da r e a sb e t w e e nt w oa d j a c e n tf l a m e s ；p a r a l l a xc o m p e n s a t i o ni s a p p l i e dm a i n l yi no c c l u s i o n , d e f o r m a t i o na r e a s ；j o i n tc o m p e n s a t i o np r e d i c t i o nm a i n l yo c c u r si nt h ee d g eo f o b j e c t s i na c c o r d a n c ew i t hh u m a nv i s u a lc h a r a c t e r i s t i c s ，t h et h e s i sa n a l y z e st h ea p p l i c a t i o np o s s i b i l i t yo ft h e a s y m m e t r i c a lv i d e oe n c o d i n g ，a n dp o i n t so u tt h eq u e s t i o n sw h i c ha r i s ew h e nt h er i g h tp e r s p e c t i v ei m a g er e f e r s t ol e f tp e r s p e c t i v ei m a g ei nt h ee n c o d i n ga l g o r i t h mo ft h ec u r r e n ta s y m m e t r i c a lt h r e e d i m e n s i o n a lv i d e o ，a n d t h e np r o p o s e saf a s tm a t c h i n ga l g o r i t h m - ad i r e c tr e f e r e n c ef l a m ep r e d i c t i o nm o d e ，w h i c hr e d u c e st h e c o m p l e x i t yo ft h ec o d ew h e nt h ed y n a m i cs a m p l i n go fl e f tp e r s p e c t i v ef r a m ei sc a r r i e do n , c o m p a r e dw i t ht h e e x i s t i n ga l g o r i t h m s i m u l t a n e o u s l y ，t h et h e s i sa n a l y z e sd i s t o r t i o nf a c t o r so ft h er i g h tp e r s p e c t i v es a m p l i n g i m a g e i nt h ec o d i n gp r o c e s so fa s y m m e t r i c a lt h r e e d i m e n s i o n a lv i d e o ，a n dp r o p o s e sam o r ee f f e c t i v e c o m p r e s s i o ne n c o d i n ga l g o r i t h mo fa s y m m e t r i c a lt h r e e d i m e n s i o n a lv i d e o ，w h i c hc a nd y n a m i c a l l yc h o o s e s a m p l i n gs c a l e sa c c o r d i n gt ot h eo b j e c tc o d er a t ea n df i n da no p t i m u mp o i n tb e t w e e nt h ed e g r e eo fd i s t o r t i o n a n dt h ec o d er a t e 1 1 1 et h e s i sa l s os t u d i e st h er e a l - t i m et h r e e - d i m e n s i o n a lv i d e od i s p l a yt e c h n o l o g yo nt h eb a s i so ft h e e x i s t i n gs t e r e ov i d e o c o l l e c t i o ns y s t e m ，d e s i g n sa n di m p l e m e n t sar e a l t i m es t e r e ov i d e oc o l l e c t i n ga n d i i i a b s t r a c t 硕士论文 d i s p l a y i n gs y s t e mb a s e do nt h eb i n o c u l a rv i d e oc a m e r ab u m b l e b e e 2 ，w h i c hb yu s i n gt h el a t e s td i r e c t x3 d r e n d e r i n gt e c h n o l o g y , d i s p l a y ss t e r e ov i d e od a t ac o l l e c t e db yac a m e r ao nt h eo r d i n a r yc r tm o n i t o rb yt h e c o l o rs e p a r a t i o no ri nt h et i m e s h a r i n gm o d e ，s ot h a tu s e r sc a na p p r e c i a t et h ed e p t ho fs t e r e ov i d e ot om e e t d i f f e r e n td e m a n d s a n da l s oc a ns a v et h r e e - d i m e n s i o n a lt h ea c q u i s i t i o na sa v i - f o r m a tv i d e os t r e a m sf o r f u r t h e rs t u d y f i n a l l y , t h et h e s i ss u m m a r i z e st h ew o r ko f t h es u b j e c ta n ds h o w st h ed i r e c t i o no ff u r t h e re f f o r t s k e yw o r d s ：t h r e e d i m e n s i o n a l s t e r e ov i d e o j o i n tc o m p e n s a t i o np r e d i c t i o n a s y m m e t r i ce n c o d i n g s t e r e o s c o p i cd i s p l a y i v 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名：年月日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：年 月日 硕士论文立体视频编码与显示相关技术研究 1 引言 1 1 研究背景 随着计算机、通信及网络技术的发展，实时的2 d 视频可视通信己经走向成熟，基于 各种国际标准( 如j p e g 、m p e g x 、h 2 6 x 等系列) 的视频产品己经进入了人们的生活、学 习、工作等各个方面。然而，随着对于数字视频要求的日益提高，人们希望看到表征自然 景物的数字视频能够更加地清晰、更加地真实，而2 d 视频在真实性上存在很大的局限。 相反具有立体感的图像和视频由于具有强烈的真实感，正受到人们的欢迎。立体视频是利 用人眼睛的双目视差原理，双目各自独立地接收来自同一场景的特定摄像点的左右图像【i 】， 左眼看偏左的图像，右眼看偏右的图像，形成双目视差，大脑能得到图像的深度信息，使 欣赏到的图像有强烈的深度感、逼真感，观众能欣赏到超强的立体视觉效果。在许多实际 应用中有时也需要增加更多的真实性【2 】，例如，如果用户能够在虚拟的三维空间漫游，那 么人们的虚拟访问将变得更加真实，对危险环境的遥控作业也将更加安全。同时，人们也 已不满足于被动地观看和欣赏电视等视频节目，而是需要具有更加灵活性和更好交互性的 视觉媒体。近年数字电视技术的发展推进了三维视觉的发展，随着数字电视变成现实，可 以预见数字三维电视将是电视工业的下一个飞跃【3 1 。 在立体视频系统中，由于双眼各自独立接收信息，因此与单目视频相比，它在给人们 带来真实感受的同时，也带来了一系列问题，最为明显的就是数据量和处理复杂程度的成 倍增加，使得立体视频在远程通信、信息存储、信息处理等应用领域面临巨大考验。在有 限带宽的条件下，不采用任何技术处理的立体视频信息远程传输几乎是不可能的。因此， 高效的立体视频信息编码技术是立体视频走向实际应用的关键。 多年来，人们在不断提高立体视频压缩编码效率的同时，也在致力于各种不同的立体 显示技术的研究和开发，先后制造出立体图片、立体电影、立体电视等等。立体显示是虚 拟现实的关键技术之一，它是一个基本的虚拟现实系统必须具备的条件。没有深度层次的 立体视觉效果就不可能有身临其境的感觉，也就不可能实现虚拟现实的基本目标。立体视 频技术是未来视频技术的发展方向之一【4 】，在影视娱乐、医学诊断、战场实时仿真、远程 教育和训练、科学可视化等领域有广泛应用前景。 1 引言硕士论文 1 2 国内外的研究现状 能够观赏高质量、有强烈深度感、逼真感的立体视频是人们的一个梦想，但每一种新 技术的应用必然要求具有成熟的相关技术，目前对于立体视频的研究还处于探索阶段，但 己得到了全世界学者的关注，下面简要描述国内外立体视频领域的研究现状和发展动态。 1 国外的研究现状和发展动态 国外在立体视频方面的研究起步早，投入大，m i c h a e le l u k a c e s 是立体视频编码的早 期研究者，在他的论文里【5 】探索了将视差补偿用于立体视频序列编码的技术，并提出了多 种基于视差补偿的方法。当人类的历史迈入了2 1 世纪，随着数字电视技术的日趋成熟， 人们对立体视频的研究也取得了巨大的进步。2 0 0 1 年1 2 月，v c e g ( v i d e oc o d i n ge x p e l s g r o u p ) 与运动图像专家组( i s o m p e g ) 合作，成立了联合视频小组j v t ( j o i n tv i d e ot e a m ) ， 开始致力于制定新的视频编码标准h 2 6 4 a v c 6 。与先前的标准相比较，h 2 6 4 有更高的 压缩比，更好的信道适应性，应用前景更为广泛，它的制定标志着有限失真数字视频编码 技术开始走向成熟。并为立体视频编码提供了良好的平台，也促进立体视频编码研究的进 一步发展。2 0 0 2 年m p e o ( m o v i n gp i c t u r ee x p e r tg r o u p ) 组织提出了3 d t v 的探索性草案， 向全世界征集实现3 d t v 的方案及核心实验【7 - 9 ，3 d t v 的研究对立体视频编码的发展起 到很大的推动作用。3 d a v 主要支持三类应用场景：全角度视频、自由视点视频f v t ( f r e e v i e w p o i mv i d e o ) 和交互式立体视频。以此为契机，各国的大学和研究单位纷纷加快了在立 体视频方面的研究步伐，比较著名的有斯坦福大学的l i g h t f i e l d 系统【lo 】、德国h h i 研究所 的基于模型的自由视点视频方案【l l 】。更为重要的是2 0 0 4 年初欧洲提出了一个为期4 8 个月 3 d t v 的计划【1 2 1 ，而厂商如p h i l i p s 的介入也使3 d t v 实现并不遥远。进入2 0 0 6 年，m p e g 组织明显加快了立体视频的步伐，j v t 0 0 i n tv i d e ot e a m ) 组织也将多视点视频编码( m v c ， m u l t i v i e wv i d e oc o d i n g ) 作为其h 2 6 4 的一部分，并设计出多视点视频编码的参考软件 j m v m 1 3 】，每年定期在全球各地召开国际会议，讨论多视点视频编码的最新研究成果。两 大组织的齐头并进使我们有理由相信立体视频的广泛应用并不是很遥远的事情。 2 国内的研究现状和发展动态 国内在立体视频领域的研究起步相对较晚，到目前为止，仅在立体视频编码、校正及 虚拟视点合成等方面取得了一定的研究成果。其中，宁波大学蒋刚毅教授领导的团队对立 体视频的研究开展得较为深入，一直走在国内的前列，提出了包括光线空间数据压缩和插 值 1 4 , 1 5 】、立体视频编码【1 6 , 1 7 】，立体视频颜色校i - f 1 1 8 , 1 9 1 等方面的一系列算法。西安电子科技 2 硕士论文立体视频编码与显示相关技术研究 大学的杨海涛博士等，参与了t 多视点视频小组的核一i , , i 式验( c o r ee x p e r i m e n t ) ，提出了 多视点视频编码的基于深度特征的图像区域分割【2 0 1 和多视点视频色度补偿算法【2 l 】。在立体 显示方面，南京航空航天大学对真三维显示技术的研究取得了一定的成功，提出了真三维 立体显示系统的旋转体和平移体扫描技术口2 1 。 1 3 论文的结构安排 全文分六章，具体结构如下： 第一章：引言。首先介绍本文的研究背景，截至就立体视频在国内外研究的现状及进 展等进行了交待，最后介绍了本文的组织结构。 第二章：立体视频基础。本章首先介绍了立体视频的成像原理和立体视频获取技术， 随后介绍了立体视频编码的必要性和理论基础，包括常用的立体视频编码方法和立体视频 编码分类，最后介绍了立体视频编码的评价准则。 第三章：基于h 2 6 4 标准的立体视频编码方案。本章首先就基于h 2 6 4 标准的传统立 体视频编码方案进行了分析。并对最新的立体视频编码模型m m 参考模型中采用的 编码方案进行了详细的分析，最后在j m v m 参考模型上进行测试，通过实验证明联合补偿 预测的多模式立体视频编码方案的优越性，并分析了视差估计和运动估计应用的不同环 垃 嘎。 第四章：非对称立体视频编码算法的研究与实现。本章首先分析了非对称立体视频编 码算法的理论基础并提出了非对称立体视频编码系统的框图；然后就非对称立体视频编码 算法中从左视角重构图像去预测右视角图像所出现的问题进行了分析，并提出和实现了一 种快速的匹配算法一参考帧直接预测模式；然后分析了下采样图像编码失真度的原因， 并在此基础上提出了一种更有效的非对称视频编码算法，使图像在相同的重建质量下具有 更高的压缩效率。 第五章：立体视频实时采集与显示系统的编程实现。本章首先介绍了立体视频显示系 统的关键技术，包括流行的立体视频显示技术，系统设计设涉及到的进程间的通信机制和 多线程的同步方法、d i r e c t x3 d 显示技术以及a v i 视频压缩技术。在此基础上对整个系统进 行了全面的设计，介绍了各模块的实现方法。最后，描述了系统仿真结果。 第六章：总结与展望。总结了本文所作的工作，并对该课题进一步研究的重点方向进 行展望。 3 2 口体视频基础 2 立体视频基础 立体视频一般由两个或两个以上的视频通道纽成，在播放时通过显示从略微不同的角 度采集到的同一场景的两个视图，分别对应人的两只眼睛，形成双目视差，并依靠人的大 脑将这些视图融合成一幅有意义的三维图像，从而形成立体感。 2 1 立体视频的成像原理和获取方式 ；挈套 ( 曲平行鲒构f b l 汇聚结构 酣2 - 1 立体视频的摄像机结构 平行结构的成像系统【2 4 】中的左右摄像机和世界坐标位于相同的) y 平面。在此系统中， 左右摄像机得到的图像问存在着视差。所谓视羞是指空间景物在左右相机平面上所成像的 位置差异。在理论研究上，通常把视差分为4 种类型：零视差、正视差、负视差、发散视差， 如图2 - 2 所示。当立体对图像之间不存在任何差别即为零视差的情况，相当于看无限远处的 景物图像：当视差小于或等于瞳距且视线不交叉时，产生正视差，融合后的立体图像位于 显示器后面：两眼视线交叉时产生负视差，成像位于眼睛和显示器之间；发散视差是视差 取值大于两眼瞳距的情况，相当于两眼向外斜视，两个视网膜图像没有重叠部分，在现实 中一般不会出现发散视差的现象。 硕士论文立体视频编码与显示相关技术研究 风风碌围 零视差正视差负视差发散视差 图2 - 2 视差类型 光轴平行的平行相机系统的几何结构如图2 3 所示，其中点尸r x ，】，刁为空间景物中的 一点，z 为景物与相机透镜间的垂直距离，伪相机的焦距，6 为透镜间的基线。尸( ，x ，】，刁 点分别投影到左右成像平面上，对应的点分别为e l ( x l ，y l 夕、p r ( x r ，黝。点n 到n 的视 差矢量d v 为： d ( 或，或) = 置( x l ，虼) 一最( ，k ) ( 2 - 1 ) 其水平和垂直分量分别为： 矾= 五一，或= 艺一乓( 2 - 2 ) 在平行相机系统中，因为y l = y r ，故巩= 0 ，即视差矢量只有水平方向的分量。由三 角关系，得到视差矢量与深度之间的关系为： 以= ( x + 尹b ，置= 吾( x 一尹bzzz上 d h ：xl x r ：一垒( 2 - 3 ) 式( 2 3 ) 表明三维点尸f ，x ，】，刁的视差矢量值枷蹦坐标不相关，并且与z 的值成反 比，即物体越靠近摄像机，视差矢量的值就越大，视差矢量值的范围随着基线b 和焦距肭 增大而增加。 r 蕊 l c 弋 下 ，i 移阢w 图2 - 3 平行相机系统 目前常见的双目立体摄像机有一体机和组装机两大类。一体机是专门为立体摄像设计 制作的摄像机，摄像机本身就有两个镜头，其特点是两个镜头位置校准的比较精确，采集 的立体图像对在垂直和纵向上的偏移误差比较小。而组装式摄像机采用的摄像机在类型上 2 立体视频基础硕士论文 没有限制，可以是监控摄像头，也可以是d v ( d i g i t a lv i d e o ) 摄像机。但是，要求摄像机的 体积比较小，因为人眼双目距离为6 2 7 6 m m ，为了模拟人眼的视觉系统，两个摄像机镜头 中心的距离，即基线b ，必须和人眼双目距离相近。组装机的优点是价格便宜，但是采集 的立体图像对精确度不高。另外，由式( 2 3 ) 可得，视差除了跟物体深度有关系外，与摄像 机的焦距以及基线距离也有直接关系，为了符合人眼视觉系统的特点，深度和视差倒数之 间应保证线性对应关系，即摄像机的焦距和基线距离之间的乘积6 厂应为常量。那么，双目 平行立体摄像机要实现变焦功能，必须同时调节基线距离，目前有些一体化双目立体摄像 机已经实现变焦的功能，而组装的立体摄像机不容易实现变焦功能。 2 2 立体视频编码基础 2 2 1 立体视频编码的必要性 对于单目视频来说，编码前的视频数据非常庞大，比如：- - n6 4 0 x 4 8 0 的彩色图像( 2 4 比特像素) ，其数据量约为0 9 2 m b ，如果以每秒3 0 帧的速度播放，则视频信号的数码率 高达2 7 6 m b p s 。如果存放在6 5 0 m b 光盘中，在不考虑音频信号的情况下，每张光盘也只 能播放2 4 秒钟。而立体视频具有强烈的真实感与深度感，与此同时带来最明显的代价是 至少比单通道视频加倍的数据量，如果不进行有效的视频压缩，在现有的技术条件下立体 视频几乎不可能被广泛应用于实际。通常人们用以下几种方法来解决数据量增加的问题： 1 增大信道带宽； 2 采用高效的协议以改进信道利用率； 3 压缩信源数据量。 和单通道视频系统一样，有限的信道带宽是实现立体视频系统的瓶颈，消除立体数据 源中的信息冗余非常必要，必须研究切实有效的立体视频压缩技术。视频图像的立体感将 会带来视频数据的急剧增加，使得视频数据的存贮和传输变得困难。特别是在将来的立体 视频实时传输中，对网络带宽将会有更高的要求。同时，随着人们最终对图像质量要求的 提高，高分辨率、多视图点对点的图像通信可能是未来网络拥塞的“杀手 。因此，如何 进行高效的数据压缩编码将是未来重要研究领域。尽管现在平面图像的压缩在理论和实践 上都已经取得了巨大的进步，但在立体效果和多视图传输方面还不成熟，都还要作进一步 的研究。如何高效的对立体视频图像进行编码压缩，降低立体视频的数据量将是未来立体 视频走向实用化的关键。可见研究立体视频的压缩编码是非常有意义的。 6 十论i体祝频编码与显示相关技术研究 22 2 立体视频编码方法 立体视频数据的冗余信息包括单通道内视频冗余信息和通道间存在的空间冗余信息。 立体视频采集系统常用的采集方法是从两个视角对同一景物进行拍摄，我们所针对的是其 中常用的双目平行相机系统。该系统捕获的视频包括左右两个通道，两个通道的图像对之 日j 存在很强的双目相关性，如图2 - 4 所示，b a l l r o o m 立体视频序列左右眼图像非常相似。 ( a ) b a l l r o o m 序，性眼图像图2 4 立体图像对( b ) b 悯1 1 序列右日日图像 通过一定的编码方法减少表示某一图像序列的数据量，这些编码方法我们称为视频溷 像1 压缩编码。压缩编码的理论基础是信息论，从信息论的角度看，压缩就是去掉信息中的 冗余，即保留不确定的信息，去掉确定信息。对于立体视频编码来说，并不是对左右通道 分别采用高效的单通道视频码，就可以达到很好的压缩效果。因为立体视频编码除了要考 虑每个通道内图像的空间冗余度和帧间图像之间的时间冗余度外，还要考虑左右通道像之 间的空间、时间冗余度。现有的方法中基本有以下几类： 1 基于各种标准的立体视频编码方法 如基于m p e g - 4 、h2 6 4 等标准的立体视频编码方法口”。此类方法基本利用各标准的 时域分级特性，可以对立体视频进行编码。时域分级涉及到两层：基本层和增强层，二者 分别对应立体视频信号的左右通道。编码方案常采用运动补偿预测( m o t i o nc o m p e n s a t e d p r e d i c t i o n ，m c p ) 与视差补偿预钡4 ( d i s p a r i t yc o m p e n s a t e dp r e d i c t i o n ，d c p ) 相结合的方法。左 通道作基于各标准的简单编码，对右通道中的每个图像块通过m c p 和d c p 两种方式进行 预测，从中选择误差较小的一种作为预测结果。本文研究的内容采用基于h2 6 4 标准的立 体视频压缩编码技术，具体算法将在后文中讨论。 2 基于小波的立体图像编码方法 随着j p g e 2 0 0 0 标准的问世，许多学者开始把小波变换用于立体图像编码 州。此种方 2 立体视频基础硕士论文 法提出了小波变换结合正交投影的立体静止图像编码方案，它先对图像进行一级正交可分 离小波分解，然后在小波域内用亮度差平方和进行立体匹配。最后，对右图像用质量可分 级的子空间正交投影法压缩。这种利用小波变换的压缩方法与j p e g 2 0 0 0 兼容，压缩比较 高。 3 基于分层视差估计的立体图像编码方法 此方法基于立体视频数据压缩的目的，提出了一种基于分层视差估计补偿的立体图像 编码方案口7 1 。该方案是采用j p e g 标准独立编码参考图像，并利用视差估计辟 、偿技术编码 目标图像。应用分层马尔可夫随机场唧) 模型、率失真( r d ) 模型以及交叠块匹配的混合 视差估计件 、偿算法，可得到光滑准确的视差场。 4 基于d e l a u n a y 三角形网格的立体图像编码方法 此方法首先对参考图像进行自适应的三角形网格剖分，然后对三角形顶点在目标图像 中进行视差矢量估计【2 8 】。利用三角形模型和6 参数仿射变换计算三角形内部各点的视差矢 量，并产生残差图像。结合实验统计对文中算法产生的残差图像进行了分析，采用嵌入式 d c t 算法编码残差图像。从实验结果看，该算法视差矢量估计的准确性较传统算法提高了 1 0 左右。 5 基于立体补偿的遥感立体象对编码方法 此方法从视差补偿和亮度补偿两方面来讨论遥感立体图像对的压缩系统【2 9 1 。基于立体 补偿的立体像对压缩算法的基本流程如下：以左通道图像作为基准图像，把右通道图像当 作左通道图像的投影。采用块匹配算法计算右图像和压缩以后重建的左图像之间的视差和 灰度差，采用自适应重叠块视差补偿和亮度补偿生成右图像的预测图像，并用右图像减去 其预测图像得到残差图像。这样左、右图像经过单独图像对相对定向和立体去相关后变成 了3 部分：左图像、残差图像、视差和灰度差矢量。残差图像可用高性能整数小波编码器 进一步压缩，视差和灰度差矢量则先用四叉树编码，再用熵编码器进一步压缩。 2 2 3 立体视频编码的分类 与单通道视频编码方法相类似，立体视频的编码也可以分为基于块的方法和基于对象 的方法。 1 基于块的立体视频编码方法 基于块的立体视频编码方法主要使用基于块匹配的视差估计算法，它把左图像当作参 考图像，对它进行单独编码；对于右图像，先分块，块的大小可以是固定尺寸的，也可以 r 硕士论文立体视频编码与显示相关技术研究 是可变尺寸的，右图像中的每个块以某种准则在左图像中找到其最佳的匹配块，两者之间 的位置差异就是视差矢量。基于块的立体视频编码最重要的环节是视差的匹配估计算法， 视差估计的准确程度直接影响整个编码的精度和效率。按照视差估计使用的匹配块尺寸是 否可变把这类算法又细分为固定块尺寸匹配( f s b m ) 算法、可变块尺寸匹配( v s b m ) 算法两 种。基于块的编码方法的优点是算法简单、稳健性高，易于硬件实现，但会出现块效应， 在低比特率下重建图像的主观视觉效果很差。h 2 6 4 的去块效应滤波器可以很好的去除块 效应，所以本文采用基于块的立体视频编码算法。 2 基于对象的立体视频编码方法 作为m p e g - 4 独有特色的基于视频对象的编码【3 0 】，其核心思想是：将用户感兴趣的视 频对象( v o ) 从场景中分割、提取出来进行单独编码、分配给较多的码流，对其余不重要的 部分给予较少的码流，以显著提高编码效率。主观测试表明，人眼对立体图像中的视觉干 扰比单通道图像更敏感。和基于块算法的立体图像编码相比较，基于对象的算法利用了立 体图像对中隐含的3 d 深度( d e p t h ) 信息，通过建立和编码物体的三维模型来有效提高编码 效率，减轻了方块效应的影响，提供了一种更自然的场景表述，尤其是在低码率下有较好 的重建图像质量。基于对象技术首先在单通道视频编码中得到深入的研究，在立体视频编 码中的研究还很有限。因为这种方法需要复杂的图像分析过程，其中的许多环节，如：物 体分割、物体建模等还不成熟，目前只能适用于一些运动简单、背景单一的图像【3 1 1 。视频 对象的分割和提取是基于对象法的关键问题，但这在单通道基于对象编码中就是一个未得 到很好解决的问题，对于立体视频编码来说更是新兴的研究课题。 2 3 立体视频编码的评价准则 立体视频与单通道视频编码评价准则相似，只是需要进行双通道视频间各种性能指标 的迸一步比较。 2 3 1 图像质量 在图像编码中要以尽可能少的比特数来传输或存储一幅图像，同时必须保证的图像质 量。图像质量又可分为图像逼真度和图像可懂度。图像逼真度描述所处理的图像和原始图 像之间的偏离程度；而图像可懂度则表示人或机器能从图像中抽取有关信息的程度。前者 往往讨论被处理的图像和原始图像之间小范围的差别；后者则一般涉及两者之间大的差 9 2 立体视频基础 硕士论文 别，人对图像逼真度和可懂度的定量描述，是设计和估算图像系统的基础。本节主要讨论 图像的逼真度。 1 主观评价 判断图像质量最常用和最可靠的方法是作为观察者的人的主观评价【3 2 】。评价电视图像 质量的常用尺度有两种：一种叫品质尺度，一种叫妨碍尺度。前者由一些未受过训练的、 对图像质量不内行的观察者来判断。这使得到的图像质量代表平均观察者的一般感觉；而 后者则由训练有素的“内行来进行。他们在图像处理方面是很有经验的，并能在图像质 量方面提出严格的判断。内行的观察者往往具有注意细小程度图像质量下降的能力，而这 些正是外行的观察者所缺少的。i t u rb t 5 0 0 1 1 规定了一些主观标准的测试程序，常用的 一种是d s c q s ( d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ) t 3 3 1 测试程序。 2 客观评价 视频压缩和视频处理的开发人员主要依靠的是客观标准，峰值信噪比p s n r ( p e a k s i p n o i s er a t i o ) 是最常用的方法，见公式( 2 4 ) ，它是原图像与处理图像之间均方误差相 对于的对数值，n 是每个采样值的比特数，是信号最大值的平方。它是原图像与处理图像 之间均方误差相对于( 2 n 1 ) 2 的对数值( 信号最大值的平方，n 是每个采样值的比特数) p s n r 抬= 1 0 l o g l o 等( 2 - 4 ) 峰值信噪比的计算简单而快速，因而它在视频压缩和解压缩的质量评估方面广受欢 迎。本文也采用峰值信噪比的方法来衡量编码以后重建图像的质量。 2 3 2 压缩比 衡量压缩程度的指标之一是压缩比c r ( c o m p r e s s i o nr a t i o ) 。到目前为止，关于压缩比 的定义尚无统一的方法。一种计算压缩比的公式如公式( 2 5 ) 所示1 3 4 1 ： c r - - 直接编码总比特数压缩编码总比特数( 2 5 ) 在信息论中，压缩比定义为压缩前后数据的熵之比。这种定义方法基于对缩数据的统 计分析结果而提出。而现在所使用的许多压缩技术并不依赖据的统计结果。因此采用这种 定义方法有相当的局限。为与实际的概念一致，我们拟采用公式( 2 6 ) 定义压缩比【3 5 】： 压缩比= 堂鼍鬻产枷。 ( 2 - 6 ) 其含义是被压缩掉的数据占源数据的比例。例如，若压缩后的代码长度与源数据相同， 1 0 硕士论文立体视频编码与显示相关技术研究 则压缩比为o ；若压缩后的代码长度为0 ，则达到1 0 0 的压缩；若压缩后的代码长度是源 数据的3 0 ，则表示被压缩了7 0 ，即压缩比为7 0 。从数据压缩的目的来说，我们希望 压缩比越大越好，但是实际上，压缩比是有上限的。对基于统计的编码方法而言，这个上 限与信息的熵有着密切的联系。如果压缩比超过了这个上限，还原时将无法恢复原状，出 现失真。 2 4 本章小结 本章首先介绍了立体视频的成像原理和立体视频获取技术，从而对立体视频的形成有 了初步的认识。随后介绍了立体视频的编码的必要性和理论基础，包括常用的立体视频编 码方法和立体视频编码分类。最后介绍了立体视频编码的评价准则，为下文实验结果的分 析提供了理论依据。 3 基于h 2 6 4 标准的立体视频压缩编码算法 硕士论文 3 基于h 2 6 4 标准的立体视频压缩编码算法 与普通单目视频相比，立体视频利用两个视角