（通信与信息系统专业论文）立体视频编码中的码率控制算法研究.pdf

摘要 码率控制是视频编码中的一个重要组成部分，它可以控制编码器的输出码流， 使其适应信道传输带宽的要求，同时又保证了解码图像的质量。本文先介绍了立 体视觉的基本原理，并对现有的立体视频编码方案进行了归类总结，然后介绍了 现有的2 d 码率控制算法，在此基础上设计了一种基于h 2 6 3 标准的立体视频编码 方案，并在此实验平台上实现了一种基于p 域的均分码率的立体视频码率控制算 法，实验结果表明该算法的控制精度较高，误差比特数不超过总比特数的1 。最 后，对非均分码率的立体视频码率控制算法进行了初步探讨。 关键词：立体视觉立体视频编码码率控制视差估计 a b s t r a c t r a t ec o n t m lp l a y sac i l j c a lm l ei nv i d e oc o d j n gs y s t e m ，j tc a nr e g u l a t eo u t p u tb i t s t r e a mt om e e tt h ec h a n n e lr a t e ，w h i l ek e e p i n gg o o dd e c o d e dp i c t u r eq u a l i t yt h e t h e o r j e so fs t e r e ov i s i o na n d2 dr a t ec o n t r o lm e t h o d sa r ei n t m d u c e d 矗r s t ly ，t h e ns t e r e o v i d e oc o d i n gm e t h o d sa r es u m m a r i z c d ，a i l dt h e nap l a t f b 皿f o rs t e r e ov i d e oc o d i n gi s d e s i g n e d b a s e do nh 2 6 3 ac o m m o na i l o c a t i o nr a t ec o n t r o lm e t h o db a s e do n p d o m a j ni sr e a l i z e do nt h ep m p o s e dp l a t f b 舯，t h er e s u l t ss h o wt h a t ，i tc o n t r o l st h eb i t s t r e 唧v e r yw e l l ，a n dt h ee r r o rc o n t r o lb i t sa r en om o r ct h a n1 o ft o t a lb i t s f i n a l l y ，a d i s c u s s i o no nn 伽ec o m m o na l l o c a t i o nr a t ec o n t r o lm e t h o di sp m p o s e d k e y w o r d ： s t e 瑚v i s i 帆s t e l r e ov i d c o d i n gm t ec 伽t r o i珊s p a t ye s h m a t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 贡谨 r 期 硎f 。产 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍是西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公开论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位沦文属于保密，在年解密后适用本授权书。 本人签名： 导师签名 璜瘥 雄 黾甄 2 叼l j ，- ，# 日期望垡! ! 兰 第一章绪论 第一童绪论 1 1 课题背景、目的和意义 近年来，图像和视频通信技术得到了飞速发展，特别是随着一系列视频编码 标准，如：h 2 6 3 ，h 2 “，m p e g 一2 ，m p e g 4 等的制定，使得人们可以享受到很 多以前无法想象到的服务，如：视频会议，电话会议，视频点播，远程教育等。 互联网技术的飞速发展，又将视频通信技术引入了一个广阔而有前景的应用和研 究领域。 随着计算机硬件飞速发展以及宽带多媒体技术的广泛使用，人们对视频图像 的要求也会越来越高，网络购物时，普通视频无法生动而真实的表现商品；远程 网络诊断时，普通视频也无法提供医生所需要的多视角的、有深度信息的图像信 息；视频点播时，普通视频无法提供真实场景的逼真感受。因此，如何满足人们 日益增长的需求，是今后视频编码技术研究的重点。 人眼视觉系统对3 d 视觉信息很敏感，若图像数据能提供3 d 信息，那么它产 生的视觉质量和逼真度将会大大提升。一种有效的提供3 d 信息的方法是立体图像 对( s t e f e o s c o p i c ) 的方法，它模拟的人眼的双目视觉系统，给双目提供不同视角的图 像，通过不同视角的图像来产生3 d 信息。与普通视频相比，立体视频增加了场景 的深度信息，使其更具有真实感。立体视频技术有广阔的应用前景，如：工业控 制、远程教育、远程医疗会诊和手术、数字电视、视频会议、自动导航等领域。 欧洲的d i s n m a 项目组指出：“在未来的1 0 1 5 年，新的多媒体服务将极大地影 响社会和人们的生活，到2 0 1 0 年左右，目前在网络、通信系统以及电视系统中使 用的传统图像将被淘汰。作为新的媒体数据，立体视频图像在以上方面有很大的 应用前景j 。” 在立体视频的实用化的过程中，遇到了一系列的问题。早期，由于立体显示 技术的限制，人们需要佩戴特殊的眼镜才能立体图像序列的立体感，这延缓了立 体视频技术的推广和应用。后来随着电子显示器材的发展，产生了利用视差栅栏 屏幕和透镜显示技术的立体显示器材，这种显示器材不再需要人们佩戴特殊的眼 镜，而且随着集成电路技术和电子元器件的发展，它的成本也越来越低廉。另外， 由于立体图像对( s l e r e o s c o p j i ：) 需要提供左、右眼的图像数据，其数据量比普通视频 数据大得多，如何有效地对立体图像数据进行传输、存储是一个很关键的问题。 增加传输信道的带宽会增加成本，因此研究立体视频的压缩方法、去除信号之间 的冗余，具有很重要的现实意义。 三 兰堡望塑塑型主塑堡垩塑型篁鲨塑塞 随着互联网技术的广泛应用和发展，视频编码技术不可避免的要面向互联网 进行传输，而网络通信的信道的带宽是不稳定的，这就要求编码器能够针对信道 的带宽自适应的调整输出码流，保证编码端和解码端的缓冲区既不出现上溢也不 出现下溢，同时解码图像的质最又不会受到影响。这就是码率控制要解决的问题。 码率控制是视频编码技术中的非常重要的一部份，它能够规范编码输出码流， 使它能适应信道传输的要求，同时保持的好的图像质量。 目前，很多学者和公司致力于立体视频压缩方法的研究，国际光学年会侣p 膪) 每年都举办一次这个领域的专题会议，推动了立体视频技术的发展。本文就是在 这些应用和需求的背景出发，建立适合立体视频编码的编码平台，并提出适合立 体视频的码率控制方案。 1 2 匿内外研究现状 1 2 1 立体视频编码的研究现状 在立体视频编码的研究初期，人们把立体视频序列中的左、右图像当作两个 不相关的图像对，用已有的视频编码方法进行编码，其编码方案的框图如图1 1 所 不n 协倒硎卜- 4 编懈l 一4 解黜卜1 编鬻左卜， l j ! j 1 一j 在图像序列l 广一 广一 一一1 一绷器卜4 艄器卜j 编鬻右 图1 1 早期立体视频编码方框图 这是一种比较简单的立体视频编码方法，可以看出，它只是对经典的2 d 视频 编码方法的简单移植，并没有考虑到立体视频序列对之间的联系，因此得到的压 缩比较小。随着研究的深入，人们发现，立体图像对的左、右图像之间存在着冗 余信息，这个冗余信息可以用视差矢量( d i s p a r j t yv c c t o r ) 来描述。视差矢量表示的 是同一点在不同通道图像上投影点的位置差，它与普通视频编码中的运动矢量类 似。利用视差矢量可以找到左、右图像对之间的冗余，从而可以得到更高的压缩 比，这种利用视差估计和视差补偿的编码方案如图1 2 所示。左通道图像为参考图 像，对它进行运动估计和运动补偿，然后编码输出；右通道图像的编码是以左通 道图像作为参考的，先在同一个立体图像对的左图像中进行视差估计得到视差矢 量，再将左通道编码的图像进行局部解码，以它为参考得到重建的右图象，然后 第章绪论 九图像厅， 右罔像f 列 h 远功f | i 计 - - h 税差欠量l一编码器 l 残差数槲i叫 j 部船! 码h t ：剧像j r 列一 一叫编码| ”i 一三一犁：一曹辨霾! ，厂二商f 图穆p 一一l一痞；磊i 一 j i 划一天昂编 图1 _ 3 运动估计联合视差估计编码方框图 现有的立体视频编码平台大多是以上面介绍的三种方案为基础的。近几年来， 国内外很多学者在这一领域做了很多工作，欧洲已经资助了两个计划来开展立体 视频编码的研究，它们是：d l s t i m a 计划和p a n 0 1 u m a i l j 计划。d i s t i m a 计划 已经基本完成，并且实现了方案的硬件化，从硬件报告【2 】来看，结果比较好。国内 也有一些公司和学术机构投入这方面的研究，如微软亚洲研究院的多媒体组，天 津的三维公司等。三维公司在立体显示和采集设备方面开发了很多产品a 立体视频编码中的码率控制算法研究 1 2 2 码率控制的研究现状 视频编码和传输的目标是在给定的网络条件f ，在接收端能够得到最好的图 像质量。若要尽量保证图像的质量，那就意味着解码端重建图像的失真度要最小。 码率控制要做的，就是在给定的码率的条件下，使得编码输蹬的码流能够适应信 道传输的要求，同时保证整个图像的失真度最小，即图像的质量最好。码率控制 算法是通过给编码器选择合适的量化因子( q ，) 来控制输出码流的，使其与目标码 率一致。码率控制的关键点是要估计视频编码器的率失真函数f r a t e d i s t o n j o n f u n c t i 彻) ，它包含两个部分：码率- 量化函数( r a t e q u 卸t i z a t i o n ) 和量化失真函数 ( d i s t o n i o n - q u a n t i z a t i o n ) 。要准确的描述r d 函数是比较困难的，通常的做法是用 经验公式去近似它。现有的码率控制算法，基本上都是基于经典的率失真函数的 估计的，其中比较典型的有m p e g 2 的t m 5 算法f 列、h 2 6 3 的t m n 8 f 4 j 算法以及 m p e g 4 的v m 8 州算法等。 现有的这些码率控制算法基本上都是针对2 d 视频编码系统设计的，不能直接 用在立体视频编码系统上。因此，结合立体视频序列的特点，设计针对立体视频 编码系统的码率控制算法具有很重要的意义。从现有的资料来看，国外在这一领 域的研究成果非常少，而国内的研究成果几乎没有。到目前为止，针对立体视频 编码并没有提出相应的编码标准，因此，对不同的编码方案，应该有不同的码率 控制方案，现将现有文献的方法归纳如下：( 1 ) 基于新的率失真模型的方法： 6 】针 对3 d h d t v 设计了一套多视角的立体编解码方案，并在这个方案的基础上提出了 一种适应3 d h 聊的码率控制方法。它根据3 d 多视角图像序列的特点重新设计 了3 d 率失真模型，用逼近率失真模型的方法来达到控制的目的。( 2 ) 基于小波的方 法：7 1 提出了一种基于小波的3 d 立体视频编码方案，并且设计了一种面向a r m 网络传输的码率控制方法，该算法是基于帧组层( g m u po ff r 枷e s ) 的控制算法，它 给那些场景变化大的帧组层分配较多的比特数，保证了编码器输出码流的比特率 满足由其码率定义的漏桶算法( 1 e a k yb u c k e t ) ，但这只是一种在帧层的比较粗略的算 法。f 8 1 提出一种基于小波的恒定质量的码率控制方法，它也是在漏桶算法的基础 上发展而来的，它在服务器端和客户端都设有帧层的缓冲区，这样可以保证在客 户端解码图像的显示的连续性；它还在客户端和服务器端设有反馈机制，可以反 馈的调整服务器端缓冲区的内容，并保证客户端和服务器端图像的帧速率是一致 的。 因此，针对立体视频编码的码率控制算法的研究远远不够，其中的很多环节 部不够成熟，本文就是在这一背景下，对基于h 2 6 3 的立体视频编码系统的码率 经制方法进行了一些探讨。 第一章绪论 1 3 论文的主要工作和内容安排 本文搭建了一个基于h 2 6 3 标准的立体视频编码系统，能够实现立体视频序 列的编码及解码，并在此平台的基础上提出了一种基于p 域的左右通道均分码率的 码率控制算法，在分析立体视频的特点之后，对左右通道非均分码率的码率控制 算法进行了探讨，该算法与均分码率的算法相比，能提高左通道解码图像的质量， 同时右通道解码图像的质量不会有明显的下降。 本文各章的内容具体安排如下： 第一章：阐明了立体视频编码以及码率控制的研究背景和意义，并归纳了该领域 国内外的研究现状。 第二章：介绍了立体视觉的几何结构以及基本原理，归纳了现有的较为成熟的立 体视频编码的方案，以及立体视频编码中的几个关键环节。 第三章：分析了码率控制的意义和原理，并介绍了几种常用的码率控制算法。 第四章：介绍了p 域码率控制的思想，并在分析立体残差图像的基础上提出了基于 口域的左右通道均分码率的码率控制算法，在此基础上，结合立体视频的 特点，对基于p 域的左右通道非均分码率的码率控制算法进行了探讨，并 给出了实验结果。 第五章：总结全文工作，提出今后的研究方向。 立体视频编码中的码率控制算法研究 第二章立体视觉与立体视频编码 立体视频序列的采集和显示在很多领域都有应用。在工业领域，立体显示可 以用于机器人在复杂危险的环境下进行物体的处理和检查。在医学应用领域，立 体显示可以提供更逼真更真实的图像信息，它推动了远程手术和远程诊断的发展。 传统的立体视频序列是以模拟的形式进行采集、存储和显示的。近年来，随着数 字电视技术的研究深入，三维技术得到进一步的发展。随着电子元器件和半导体 的发展，三维采集、显示设备也日趋完善，很多国家都投入了大量的人力物力进 行立体视频方面的研究，欧洲支持了很多3 d 研究项目，其中的d i s t i m a 项目的 目标是要开发出一套立体视频序列豹采集、传输、表述和编码的系统，这个项目 已经基本完成。它导致了另一个项目b n o m m a l l j 的产生，它的目的是要进一步 增强立体电视更人们带来的立体感受和视觉质量。在2 0 0 2 年的日韩世界杯中，带 有立体显示的3 d 广播系统也作为一项建议被提出“。日本的n h k 机构在 3 d h d t v 方面也做了很多研究工作“。 大量的研究成果3 都证明，立体图像比普通单视角图像有着很多的优点。其 中最重要的一点是，使用立体图像，物体会变得更加清楚、更有真实感。这是因 为，立体图像隐含的深度信息可以使人眼更为清楚地感知物体的轮廓。然而，这 种“逼真感”的直接代价就是两倍于普通视频图像的数据量，这给立体图像的传 输和存储带来了一定的困难。因此研究立体视频图像序列的编码压缩方法具有很 重要的意义。本章首先介绍立体视觉的一些基本原理，再对现有的较为成熟的立 体视频编码方案进行归纳，最后探讨了立体视频编码中的几个关键环节以及存在 的问题。 2 1 立体视觉的几何结构和基本原理 2 1 1 立体成像原理1 2 】 立体成像和显示系统是模拟人类的立体感觉而设计的，通常的做法是用两台 稍微移动了位嚣的摄像机采集三维场景图像，然后将采集到的图像分别送到左、 右眼。通常立体成像系统按照摄像机位置来分，有平行结构和汇聚结构两种，如 图2 。1 所示。目前大部分文献郝采用平行结构的立体图像做为研究对象，且本文实 验所采用的大部分立体图像序列也都基于平行结构的，所以本节以平行结构为例 进行介绍。平行结构的成像系统中的左右摄像机和世界坐标位于相同的x y 平面， 第二章立体视觉与立体视频编码 如图2 2 所示。设左、右摄像机的坐标石，；陋，k ，z 和石，。暇，z ，r ，世界坐 标为j ，陋，l ，z r 。两台摄像机之间的距离称为基线距离，用b 表示。当b 近似等 于人的两眼的距离时，这种摄像机配置就可以近似的模拟人的双目成像系统。若 我们把世界坐标的原点设在两台摄像机之间的中点，并假设两台摄像机有相同的 焦距，用f 表示，那么摄像机坐标与世界坐标之间的关系为： 五。x + 要，足，盖一要，k ，。l z j z ，。z ( 2 1 ) 进而可以得至4 左右图象坐标k ，y f 】7 和k ，n 】7 ： ”，半一- f 孚m ，； 仫：， 由于是平行结构，因此视差矢量只有水平方向的分量，它与深度之蚓的关系为： 以。却一_ ，譬 ( 2 - 3 ) i - 一b _ ! 图2 2 平行摄像机结构各坐标之间的芙系 x 。 正体视频编码中的码率控制算法研究 式( 2 3 ) 表明三维点( x ，y z ) 的视筹矢量值与x 和y 的坐标不相关，并且与z 的 值成反比，物体越靠近摄像机，视差矢量的值就越大，视差矢量值的范围随着基 线b 的增大而增加。我们可以用这些图像坐标按照式( 2 4 ) 恢复三维坐标： 工；掣，y ；譬，z 。譬 ( 2 _ 4 ) z 口4 4 0 这些公式构成了由视差信息导出深度信息，进而导出三维结构信息的基础。 2 1 2 立体视觉的基本原理 平行结构的立体成像系统应该满足以下几个约束条件： ( 1 ) 极线约束条件：在立体成像系统中，假定左、右两个摄像机采集到的图像 分别为，和j ，若空间中的某一点p 在这两个图像上的投影点分别为毋和只，则 毋、只相互称为对称点。那么，由计算机视觉的理论可以知道，b 的对称点一定 位于，上的由只与两个摄像机的几何位置决定的某一直线上，这条直线就称为毋 在，上的极线。若知道摄像机的投影矩阵，就可以用求解极线方程的方法来得到 这个极线约束条件，它是进行视差估计的重要参考条件。 ( 2 ) 相似约束条件：空间中的某一点p 在左右两个图像平面上的投影点的亮度 值应该近似。 ( 3 ) 唯一性约束条件：空间中的某一点在左右两个图像平面上的投影点若存在 的话，必定是唯一的。若已知空间中某一点在一个图像平面上的投影，那么它在 另一个平面上至多有一个投影点与之对应。 ( 4 ) 连续性约束条件：视差矢量的变化应该具有连续性、光滑性，但在边缘处 和遮挡区域除外。 以上这些约束条件是理想情况下，立体视觉应当满足的基本约束，这是我们 进行视差估计和遮挡检测等的基础，在实际的立体视觉系统中还会有遮挡点等较 为复杂的因素存在，本文所傲的工作都是在未考虑遮挡点的理想情况下进行研究 得出的。 2 2 立体视频编码方案简介 随着立体视频编码技术的发展，人们认识到，不仅在立体视频序列各通道图 像内存在时间上的冗余信息，在各通道图像之间还存在着空间上的冗余信息，这 个冗余信息可以用视差矢量来描述。视差矢量的引入，使得编码的压缩比大为提 高，总结现有的较为成熟的立体视频编码的研究成果，大致可以把目前较为成熟 的立体视频编码方案分成三大类：基于块的方法、基于对象的方法、基于网格的 第二章立体视觉与立体视频编码 方法。 2 2 1 基于块的立体视频编码方案 基于块的立体视频图像编码技术比较成熟，是3 d 立体电视拟采用的主要方法 之一。受欧洲p a n 0 m w a 计划的资助，在这一领域目前已有实时的硬件系统出现 【。这套硬件系统主要是面向3 d 视频会议，其主要模块有视差估计、立体的m p e g 2 编码器、视差矢量编码器等。它可以实时地压缩立体图像序列，并能合成两个摄 像机基线上任何一点上的视图。该计划促进了立体电视系统的进一步研究。 基于块的立体视频编码方案，主要是利用了分块编码的思想，其编码的方框 图如图2 3 所示。 图2 2 基于块的编码方案 立体视频序列中存在着两个冗余信息：运动矢量和视差矢量。运动矢量描述 的是单通道图像序列的帧间时域的相关性；视差矢量描述的是同一时刻同一场景 在两个不同通道图像上投影的空间相关性。基于块的立体视频编码方案，对左通 道图像先进行分块编码，然后对相应的右图像也进行分块，并在对应的左图像中 按照某种匹配准则进行块匹配，寻找视差矢量。常用的匹配准则有均方误差准则 ( m s e ) 和绝对差准则( m a e ) 。按照分块的大小可以分为：可变块匹配方法和固定块 匹配方法。固定块匹配方法是把右通道图像分为固定大小的块，然后按照扫描的 顺序在左图像中搜索最佳匹配块，然后可以得到视差矢量，再进行视差补偿或者 运动补偿，再将立体残差图像数据和矢量编码输出。而可变块匹配方法中，右图 像的分块大小是不固定的，它随着一些因素自适应的调整，因此得到的结果更好。 早期的基于块的立体视频编码方案对左通道采用经典的2 d 标准编码，右通道 单一的使用运动估计或者视差估计中的一个，这两种方法比较简单，易于硬件实 现，但却没有充分利用立体视频的冗余信息。因此很多学者在此基础上进行了改 立体视频编码中的码率控制算法研究 进，1 1 3 】提m 了一种优化的选择视差估计和运动估计的方法，它对 ：通道图像序列 采用m p e g 编码，然后对右通道图像的每一帧分别进行运动估计和视差估计，比 较两种估计产生的预测图像，选择预测图像和原始图像误差最小的作为估计方式。 这种方法优化的选择一种估计方式，使残差图像能量最小，结果优于传统方法， 但它只是在两个冗余信息中选择一个，没有联合考虑两者。【1 4 】提出了种联合使 用视差估计和运动估计的方法，它对右图像分别进行视差估计和运动估计，然后 线性组合视差预测图像和残差预测图像，得到最终的预测图像。这种方法的思想 有点类似于单目视频编码中的b 帧的双向预测，联合考虑了两种冗余信息，提高 了编码效率。 2 2 2 基于对象的立体视频编码方案 2 0 世纪9 0 年代后期，图像编码界开始研究基于对象( o b j e c l ) 的编码算法【1 5 】， 并围绕这种思想准备拟定新的编码标准( m p e g 4 ) 。这种方法的性能和效率均优 于基于块的编码方法，在低比特率下没有方块效应，而且以一种更自然的方式来 描述一幅场景。结合这种思想，m g s t i i n t z i s 等开始研究基于对象的立体图像序 列编码方法。 对于输入的立体视频序列，编码器1 1 5 l 首先进彳亍物体分割和物体的运动和结构 的联合估计，然后对每个物体的结构、运动和纹理参数进行编码，而不是编码各个 图像帧，编码结构如图2 4 所示。在解码器中，基于结构、运动和纹理信息合成所期 望的视图。该方案的重点是物体的运动和结构的联台估计，难点是物体的提取。 该方案利用了立体图像对中隐含的3 d 深度信息，通过建立和编码对象的三维模型 提供了一种更为自然的场景描述，减轻了方块效应的存在，有效的提高了编码的 效率。但是这种方法需要进行复杂的图像分析，其中很多环节，如：物体分割和 建摸等，都不太成熟，有待进步的研究。 1 6 。1 7 】中提出了一种物体提取和进行运动、结构联合估计的方法：先利用可 分级的动态编程技术进行视差或深度估计，利用视差和深度信息进行初始物体的 初始提取，并利用运动和亮度信息进行改进；其次利用三角形网格建立三维物体 的模型；最后对三维物体模型的每一部分进行3 d 运动估计。基予物体的立体视频 编码方法比二维运动估计视差估计联合的方法更有潜力。首先，它运用更直接、更 简单的形式来约束三维运动和结构参数，适当的使用这些约束将可得到更精确的 三维运动和结构的估计。其次，用从立体图像对中导出的三维信息，可以生成任 意的中间视图。最后，编码的三维信息能实现成像物体和场景的控制，这是交互 式多媒体通信的重要特征。 第一二章立体视觉j 立体视频编码 图2 4 基于对象的编码方案 2 2 3 基于网格的立体视频编码方案 网格( m e s hs 咖c t u r e ) 是一种很有效的数学工具，近年来，网格在视频编码领域 有着很广泛的研究和应用，它主要用于图像的表述以及基于网格模型的运动描述。 通俗地说，一个网格就是把一个图像域分割为一个多边形区域，常见的网格有三 角形网格和四边形网格。d e l a u n a y 三角形网格( d t 网格) 是网格的一种，它可以用于 描述图像平面。它根据图像的内容自适应地产生一些符合一定规则和特征的三角 形，这些三角形的顶点可以作为特征点来进行图像的匹配。这些三角形之间的连 接关系也描述了三角形的顶点和其内部的点之间的关系，这样，就可以利用三角 形的变换方式来实现顶点以及对其它点的视差矢量的估计。这些有一定特征的三 角形就实现了图像平面的有效描述了。基于d t 网格的方法已经在视频编码使用了， 它的编码效率高，而且图像主观质量也较好，目前已被m p e g 一4 标准采纳。【1 8 】提 出了一种基于d t 网格的立体图像编码方法，其方框图如图2 5 所示，对其稍加变化 就可以用于立体视频编码。 首先，它对左图像采用改进的自适应d 丁网格描述来进行图像描述，形成三角 型结构。然后，根据提取得三角形顶点的亮度信息使用双线形插值方法得到一个 重构图像，用原图像减去重构图像就得到了立体残差图像，再编码三角形的节点 信息和立体残差图像。由于左图像中的三角形顶点信息在右图像中要到，因此必 须保存这些信息。右图像，以左图像为参考进行基于d 丁网格的视差估计、视差补 偿，然后编码残差图像以及用d p c m 编码视差矢量。 羔兰笪塑塑璺堕型奎辇型塑垫塑壅 图2 5 基丁网格的编码方案 2 3 立体视频编码中的几个关键环节 2 3 1 视差估计 i 信道 - 传输 与运动估计类似，视差估计在立体视频编码中占有极其重要的地位。视差估 计的准确与否，直接影晌着整个编码系统得效率与整体性能。视差估计的关键是 找到空阃中的点在左右通道图像上的投影点的匹配关系，现有的视差估计方法有： ( 1 ) 基于块匹配的视差估计算法。 基于块匹配的视差估计算法可以分为两类：固定尺寸块匹配算法i 1 9 - 2 1 】和可变 尺寸块匹配算法【2 2 掰】。这种方法把左图像作为参考图像，对右图像进行分块，块 的大小可以是固定的，也可以是可变尺寸的。对右图像的每个块以某种匹配准则 f m a d 、m s e 等) 在左图像中找到其最佳的对应块，两个块的位置差就是视差矢量。 固定尺寸块匹配算法简单易于实现，但是得到的视差矢量却不太精确，而且有明 显的方块效应。 2 3 】提出了一种自适应块匹配算法，它建立了匹配窗口中视差分布 的数学模型，这种模型考虑了亮度变化和视差变化对视差估计的影响，引入因子盯 来衡量视差估计的准确性并控制匹配窗口的大小。f 2 4 】根据前一块视差矢量估计的 准确性和局部视差图的变化情况自适应的调整匹配窗口的大小。这两种自适应块 方法估计出的视差矢量准确度远远高于固定块匹配方法，但是计算比较复杂，编 码效率较低。f 2 6 】在此基础上提出改进，提出了一种基于亮度自适应块匹配视差估 计方法，并用r d 优化的方法来判断某一区域是否应进行自适应块匹配，这种混 合块匹配立体视频编码算法结合了固定尺寸块算法的高效性和自适应块算法的准 确性。 f 2 ) 基于特征点的视差估计算法【2 2 0 7 七引。 图像中一般都有一些特殊的点，如：边缘点、轮廓点等。基于特征点的方法， 先在参考图像中提取出一些特征点，然后在目标图像中寻找对应的点，根据对应 第，：章立体视觉与立体视频编码 特征点的匹配情况来判断两区域是否匹配。文献f 2 9 的实验结果表明，基于特征点 的视差估计方法较基于块匹配的方法准确，但是复杂度较高，而且它依赖与特征 点提取算法的准确性。 ( 3 ) 基于网格的视差估计算法。 和运动估计中类似，基于网格的方法也可以用于视差估计。【3 0 】中给出了基于 网格的视差表示模型，先在左图像中应用网格，并利用该模型在右图像中找到对 应得节点位置，每对二维网格可认为是一个三维表面小块在左右图像上的投影。 d e l a u n a y 三角形( 叫网格是近年来比较流行的一种网格，在图像及视频编码中有广 泛的应用，它根据图像内容自适应的产生一些符合定特征的三角形，这些三角 形顶点可咀作为特征点在图像中进行匹配。【3 1 3 2 】给出了d t 网格在立体图像编码 中的几个应用，其中【3 3 】提出了一种带极线约束条件的d t 网格视差估计算法，它 将左图像作为参考图像，用d t 网格进行描述，然后用极线约束条件在右图像中估 计出各三角形顶点的对应点，然后计算出视差矢量，再用仿射变换估计出三角形 内部点的视差矢量，这种算法的估计结果较传统的块匹配算法准确，而且物体的 轮廓清晰，有利于进一步分割。 2 3 2 遮挡检测 由于左、右摄像机的几何位置不同，场景中的些点的只在某一个通道的图 像上有投影点存在，我们把图像中的这些点称为遮挡点。遮挡点常出现在物体的 边缘处或者图像场景不连续处，它有助于提高对象分割和视差估计的准确性。 遮挡闯题时立体视频领域的一个特有的经典问题，也是立体视频研究领域里 最难解决的问题之。遮挡点和遮挡区域的存在，是立体残差图像数据的一个重 要来源，对遮挡区域进行视差估计，不但会增加计算的复杂度，而且会影响算法 的有效性，因此进行遮挡点和遮挡区域的检测很有必要。 3 4 总结了现有的遮挡检测算法，它把现有算法大致归为如下五类： ( 1 ) 视差双峰特性检测方法：在平行结构的采集系统中，视差图中对应于遮挡 区域的边界点，其直方图的分布具有双峰特性。 ( 2 ) 匹配度的阶跃检测方法：当点在两个图像中都有投影点存在的时候，匹配 器的匹配度比较高。若有遮挡点或遮挡区域存在时，匹配度就会降低，这样就会 产生阶跃变化，通过检测阶跃可以达到检测遮挡点的目的。 ( 3 ) 左右检测法：假定在没有遮挡点的情况下，左右图像中对应点的亮度值应 该只有符号的差别，那么那些符号不相反的投影点对应位置就是遮挡点。 ( 4 ) 顺序一致检测法：若在左图像中点a 出现在点b 的左边，那么在右图像中， 点a 也应该出现在点b 的左边。如果不满足这种顺序一致的条件限制，那么该点 r 体视频编码中的码率羟制算法研究 就是遮挡点。 ( 5 ) 遮挡致检测法：若在左图像中视差图像出现不连续，那么在右图像中的视 差图像中的该区域就是遮挡区域，反之亦然。 这些算法大多是组合的运用了立体视觉的几个基本原理，算法较为复杂。 3 6 提出了一种适合三角形网格编码的遮挡检测算法，这种算法的检测效果不如前面 五类算法，但计算复杂度低，可用于实时编码系统中。 2 3 3 残差图像数据编码 残差图像是由右图像的原始图像和经过视差或者运动补偿后的重建图像的差 值形成，它和视差或运动矢量一起被传送到解码端，以提高解码图像的质量。目 前常用的残差图像编码方法有： n ) 基于d c t 变换的方法f 3 6 。7 】。 目前大部分的立体视频编码方案对残差图像的处理都是采用基于d c t 的方 法。类似于经典的平面编码，它先对残差数据进行d c t 变换，然后进行z i g z a g 扫描，再量化，查码表，输出码流。这种方法去相关性好，而且有很多现成的结 果可用。 f 2 1 基于小波变换的方法。 基于小波的方法【3 8 4 1 】利用了小波变换后图像的相关性和小波变换在熵编码 方面的优越性，可以在任意比特位解码，产生嵌入式码流，适合网络传输环境。 但这些方法都只是对小波在静止图像编码算法的移植和扩充，并没有结合立体残 差数据自身的特点。f 4 2 4 3 】分析表明，立体残差数据不同于普通静止图像，其垂 直方向上的相关性要远大于水平方向上的相关性。【4 4 】在此基础上提出用垂直扫描 代替原有z j g 一2 a g 扫描，取得了较好的结果。【4 5 】从实验角度比较了d c t 和小波对 立体残差数据的处理结果，认为d c t 变换更适合立体残差数据。 第二章码率控制 第三章码率控制 3 1 码率控制简介 3 1 1 码率控制的背景及意义 在多媒体通信中，压缩编码的视频码流需要在带宽需求不一致而且是时变的 通信网络上进行传输，为了充分利用通信网络的带宽资源，同时又能保证在解码 端的用户能够得到最佳的图像质量，在视频编码中必须要引入流量控制机制。视 频编码器输出的码率过高可能会导致网络的拥塞，相反，若对编码器的输出码率 一味的减少，也会导致图像质量的降低和网络带宽资源的浪费，引入流量控制机 制可以调整并且控制视频编码器的输出比特率，并达到网络带宽利用率和解码图 像质量的最佳平衡点。这种流量控制机制就是码率控制( i 锨ec o n t r 0 1 ) 。 视频编码按照输出码流速率的不同的可以分为可变速率视频编码和固定速率 视频编码。若对视频编码器的量化参数采用固定的值，那么每帧图像编码的码流 速率是可变的i 保持固定的量化参数值，也可以使解码图像的质量保持稳定。而 对每帧或每个宏块采用不同的量化参数值，可以得到固定的码率，但是这样会导 致解码图像质量的波动。它们之间的关系如图3 1 所示。 h 寸 图3 1 比特率与图像质量关系图 可交比特率除了可以得到稳定的解码图像质量外，还有利于动态的分配网络 立体视频编码中的码率控制算法研究 的带宽资源。通常的视频编码产生的码流都具有这种可变比特率的特征，这是因 为： ( 1 ) 视频序列中冗余信息的存在。视频信号中包含了大量的时间和空间上的冗 余信息，视频编码器的编码效率取决于是否能够对视频序列中的冗余信息进行有 效的检测和压缩，而这些冗余量使得输出的比特率是随着时间动态变化的。 ( 2 ) 运用h u m n a l l 编码。在视频编码算法中，引起比特率变化的另外一个原因 就是采用了h u f ! f ：m a n 变长编码。h u 凰n a n 编码是更据某事件的产生概率来设计码 字的，事件发生的概率越大，其编码码字越短，反之亦然。很多视频编码算法都 根据其语法语义规定的一些参数设计了相应的h u 嘶a n 码表，保证每个编码的视 频参数的最佳平均比特数。由于视频数据存在空间相关性，不同的区域可以用不 同的压缩比来编码，从而有不同的比特数。 由于视频编码器输出码流具有可变速率这种特性，因此，若要动态的适应网 络信道带宽的需求，必须对它进行码率控制。 3 1 2 码率控制方法分类 码率控制虽然是视频编码中的一个重要部分，但视频编码标准并没有将其写 入，我们可以通过以下一些方法来实现； ( 1 1 调整编码参数的码率控制方法。 在编码器中，我们可以通过调整四个编码参数来控制输出的比特率，它们是： 帧率、编码系数的数目、量化因子、运动检测的阂值。帧率与视频信号的时域冗 余相关，调整帧率可以影响输出比特率。只对编码系数进行部分编码，虽然降低 了图像的质量，但是可以使其产生的比特数减少，为了保证图像的视觉保真度， 应该保证直流( d c ) 系数的编码。量化因子绑可阻控制量化输出的码字，q p 越大。 在游程编码前得到的零系数就越多，编码的比特数就越少，反之亦然。量化因子q p 可以在帧层和宏块层进行调整。运动检测的闽值表示编码器对运动的敏感度，阈 值提高，则编码器对运动的敏感度降低，从而编码的宏块数就会减少，进而减少 了编码所需要的比特数。 f 2 ) 基于缓存器的码率控制方法。 经典视频编码技术提供了时变的，波动的输出码率，为了输出稳定的数据流， 需在编码端和解码端添加缓存器。这种基于缓存器的码率控制技术也称为可伸缩 的码率控制方法( s r c ) ，被m p e g 4 采用。它假定编码器的率失真函数( r d f u n c l i o n ) 可以用如下模型来表示： 月- z l s q 一1 + x 2 + s4 q 一2 ( 3 1 ) 其中，r 是编码比特数，s 是编码复杂度，q 是量化参数，戤和x ：是模型参 第二章码率控制 数。 该方法主要分四步来实现：初始化、编码前的目标比特率计算、编码前量化 参数的计算、根据当前帧编码的结果更新模型参数。除s r c 外，在m p e g 2 视频 编码器中采用的t m 5 i j j 方法也是基于缓存器的码率控制方法。 口) 基于感兴趣区域( r o i ) 编码的码率控制方法。 在视频编码中，可以通过对场景的感兴趣的区域比其它区域进行更精确的编 码，利用场景内容的先验知识来提高编码效率。比如在视频会议应用中，主要是 以头肩图像为主，对谣部等重点区域分配更多的比特，以进行更精确的编码，而 其它不太重要的部分则进行比较粗糙的编码。r o l 编码通常需要采用图像分割技 术来确定感兴趣的区域的形状和位置，对它进行码率控制，可以先采用较小的量 化步长对感兴趣区域编码，而其它区域采用粗糙的量化参数编码。这两个量化参 数的值通过对q ，加减一定的数值得到。在编码过程中，若编码产生的比特率低于 目标比特率，那就应该降低q ，以产生更多的t 匕特数。反之则应该增加q ，的值。 基于r o i 的码率控制方法可以保证图像的视觉质量，同时编码的码率又和目标码 率相近。 ( 4 ) 分优先级丢弃的码率控制方法。视频编码器输出的码流由几组定长码和变 长码( c ) 组成，每一组v u c 码字代表了视频序列的特定的信息片断，当网络发 生拥塞时，延迟码字就会从缓冲器中随机被丢弃。但是各个码字对解码图像质量 的影响不一样，比如，童流( d c ) 系数包含了视频图像块的大部分能量，丢弃它们 是不太明智的做法，而丢弃交流( a c ) 系数则对解码图像的质量影响较小。因此， 可以对各视频编码参数根据丢失敏感度和对图像质量的影晌分配一定的丢弃优先 级，保证信息的丢失对图像质量产生的影响最小。 岱) 多层编码的码率控制方法。为了适应i i l t e m e t 网的收发端之间带宽的可变 性，通常借助于多层编码方法来实现。多层视频编码输出的比特流由不同的比特 率、帧率组成，通常可分为基本层和若干个增强层，基本层对视频序列的重建是 很关键的，而增强层有助于提高视觉质量。多层编码技术在h 2 6 3 和m p e g 一4 中 都有应用，其码率控制的关键是根据网络的拥塞情况对增强层进行控制，调整其 量化参数，空间分辨率等，以保证质量和压缩效率之间的均衡。 3 2 常用的码率控制算法介绍 虽然视频编码标准中没有将码率控制写入，但在其参考模型中都有其采纳的 码率控制算法，下面就对h 2 6 3 的t m n 8 和m p e g 一2 的t m 5 算法做一下介绍。 1 8 立体视频编码中的码率控制算法研究 3 2 1h 2 6 3t m n 8 1 4 j 在实时的视频通信中，视频传输信号的端到端的延迟应当很小，通常不能超 过1 0 0 m s ，特别是在双向的交互式应用中，如视频电话、电话会议等。h 2 6 3 是一 种基于d c t 变换的视频编解码标准，它主要是针对低比特率应用而设计的，h 2 6 3 标准只是对解码器的设计做了一些规定，而在编码端需要设计码率控制策略来合 理的分配比特，编码图像的质量与码率控制策略的有效性有着很重要的联系。 4 提出了一种面向低延迟通信的d c t 视频编码的码率控制方案，它设计基于d c t 的 视频编码的率失真模型，并用拉格朗日( l a g r a n g e ) 优化方法，得到了选取在保证码 率符合信道要求下图像失真最小的量化参数的模型，该方法被h 2 6 3 编码器采纳作 为码率控制的工具。 i 基于d c t 变换的视频编码器的率失真模型 在经典的基于块的视频编码器中，当前图像编码帧被分解为1 6 x 1 6 大小的宏 块，而对每个宏块中的4 个8 x 8 大小的块的像素值用d c t 变换，得到一系列的d c t 系数。这些系数被量化，然后进行变长编码。宏块的编码比特数取决于它的量化 因子的大小，而量化因子又决定了用于d c t 变换的量化步长的大小。在h 2 6 3 编 码器中，量化因子q p 是量化步长q 的一半。量化步长和码率以及失真度之间的关 系，称为率失真模型，它由率模型和失真模型构成。 ( 1 ) 率模型( r a t cm o d e l ) 假定运动补偿后的残差图像数据经过d c t 变换后的系数是近似呈方差为a 2 的拉普拉斯分布。d c t 系数用统一的量化步长q 进行量化，那么该帧的编码码 率( 比特像素) 为月。h ( q ) ，其中h ( q ) 为用q 量化后的系数的经验熵，它可以近 似的用下面的公式来表示： h ( 口) - j 刚扫2 争一 三 l n 2 口2 仃21 旷知( 3 2 ) 盯1 。歹i ，当q 较小时( 低失真高码率) ，吾会大于刍而当q 较大时( 高失真低码率) ， 素会小于等于土。实验表明，在高鸹率时，码率曲线呈凸起状，可以用对数函数 来近似，而在f 匠鸹率时，码率曲线呈凹状，能近似的用二次方程表示。由于h 2 6 3 面向的是低码率的应用，因此，我们只研究低码率时的情形。 假定5 。表示的是一个由运动补偿后的宏块的集合，它们的标准差为a ，o 在 一6 ，矿+ 6 1 的范围内。对s ，中的所有宏块采用一个固定的量化步长g 进行量化， 由上面的公式，我们可以得到s ，中的d c t 系数的编码码率r 。的模型