（信号与信息处理专业论文）多视点视频编码中的码率控制.pdf

除了 表或 任何 签名： 查堑幽日期：五出三，f j 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) i i 多视点视频编码中的码率控制 姓名：李振纲 导师：安平 学科专业：信号与信息处理 上海大学通信与信息工程学院 二零一零年一月 一令一苓，牛一月 i i i 上海 c o d i n g m d c a n d i d a t e ：l iz h e n g a n g s u p e r v i s o r ：p r o f a np i n g m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s c h o o lo fc o m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g s h a n g h a iu n i v e r s i t y j a n u a r y , 2 0 1 0 i v 上海大学硕士学位论文 摘要 码率控制是视频编码中的一项关键技术。对于视频通信来说，由于通信带 宽有限，必须将码率控制在一定的范围，以达到在给定目标码率的条件下，尽 可能达到解码图像的高质量。多视点视频编码( m v c ) 是三维立体电视与任意 视点电视等多种新兴媒体通信方式中的关键技术，在多视点视频编码中同样存 在着如何使压缩后的多视点视频数据适应信道传输的码率控制问题，因此码率 控制也是多视点视频编码器不可缺少的部分，码率控制算法的优劣也成为衡量 多视点视频编码器好坏的重要指标之一。本文对多视点视频编码中的码率控制 进行了深入研究，主要研究工作以及创新成果如下： 简要介绍了码率控制的基本原理，概括了2 d 视频码率控制经典算法 j v t - g 0 1 2 的实现步骤。通过分析总结得出：该算法只针对i 帧和p 帧进行控制， 对b 帧不进行码率控制，只是简单的根据相邻的i 帧与p 帧或相邻的两个p 帧 的q p 值确定b 帧q p 值。多视点视频编码为提高编码效率，设置了更多的b 图像，因此多视点视频编码的码率控制应当考虑增加对b 帧的码率控制。 研究了多视点视频编码中多个视点连续编码的问题。在分析当前多视点视 频编码中存在的几种预测结构的基础上，对比发现h h i 提出的预测结构在编码 效率和复杂度方面优于其他几种方法，因此我们选择h h i 的预测结构作为我们 进行多视点视频编码码率控制的基本预测结构，并在此基础上建立了多个视点 连续编码的框架。 针对恒定比特率码率控制中存在的视频质量波动较大的问题，本文实现了 一种二次编码的多视点视频编码码率控制方法。通过利用第一遍编码产生的码 率、实际消耗比特数、量化参数、失真、图像复杂性以等信息，在第二遍编码 的过程中进行有效的比特分配调节以及主观效果控制，从而实现在一定程度上 减小视频质量的波动性，获得较为恒定的图像质量，能够满足一些要求图像间 质量波动尽可能小的实际应用，如d v d 存储等，实验结果表明，该方法能显 著降低视频质量的波动性，并提高解码图像的质量。 v 上海大学硕士学位 针对视频 降的问题，研究了多视点视频编码中b 帧的码率控制问题。多视点视频编码的 码率控制是对逐个视点g o p 进行的，而视点g o p 所采用的编码结构与 h 2 6 4 a v c 可分级扩展标准j s v m 类似，均采用的是分层b 帧的编码结构。因 此多视点视频编码码率控制必然要考虑分层b 帧的码率控制策略，为此我们在 帧层码率控制上采用了一种视点g o p 比例因子自适应更新的分层b 帧码率控 制方法。 在分析总结的基础上提出了一种多视点视频编码的宏块级码率控制方法。 采用j v t - g 0 1 2 的分层比特分配和码率控制的思想，将码率控制分解为g g o p 层、g o p 层、f r a m e 层和m a c r o b l o c k 层四层来执行。首先根据视点数目和g o p 大小进行g g o p 层比特分配和码率控制；然后根据相关性函数在视点间合理分 配码率，实现g o p 层的比特分配；其次根据分层b 图像比特分配策略实现帧 层的比特分配；最后根据拉普拉斯率失真模型实现宏块层的码率控制。实验结 果表明所提出的方法计算复杂度较低，码率控制的误差在1 之内，并有平均 0 1 d b 左右的解码图像p s n r 增益。本方案在视点间进行了合理的比特分配， 其视点编码图像的均衡性较好，具有实际操作性。 关键词：多视点视频编码，二次编码码率控制，b 帧码率控制，视点间比特分 配 v i c o m m u n i c a t i o n s ，w em u s tc o n t r o lt h eb i tr a t ei nac e r t a i nr a n g e t oi m p r o v et h eq u a l i t y o fd e c o d e dp i c t u r e su n d e rt h ep r e d e f m e dt a r g e tb i tr a t e m u l t i v i e wv i d e oc o d i n g ( m v c ) i so n eo ft h et e c h n o l o g i e s t h a ts e r v ev a r i o u se m e r g i n gm u l t i m e d i a c o m m u n i c a t i o n a p p l i c a t i o n si n c l u d i n g t h r e ed i m e n s i o n a lt e l e v i s i o n a n d f l e e v i e w p o i n tt e l e v i s i o n i nm u l t i v i e wv i d e oc o d i n g , t h e r ee x i s t st h ep r o b l e mo l lh o w t om a k et h ec o m p r e s s e ds t r e a ma d a p tt ot h ec h a n n e lt r a n s m i s s i o n , s or a t ec o n t r o li s a l s oap i v o t a lp a r ti nac o d e rf o rm u l t i v i e wv i d e oc o d i n g ，a n di t sa l s oa ni m p o r t a n t i n d e xo fac o d e rf o rm u l t i v i e wv i d e oc o d i n g t h em a i nc o n t r i b u t i o n so ft h i s d i s s e r t a t i o na r ea sf o l l o w s ： w e b r i e f l yi n t r o d u c et h eb a s i cp r i n c i p l e sf o rr a t ec o n t r o l ，s u m m a r i z et h ec l a s s i c r a t ec o n t r o la l g o r i t h mf o r2 dv i d e oc o d i n gc a l l e dj v t - g 0 1 2 ，a n dc o n c l u d ea sf o l l o w s ： t h ea l g o r i t h mo n l yc o n s i d e r si n t r a - c o d e df r a m ea n di n t e r - c o d e df r a m ew i t h o u t i n c l u d i n gb i - d i r e c t i o n a lp r e d i c t i o nf r a m e t h eq u a n t i z a t i o np a r a m e t e r so f bf l a m e sa r e o b t a i n e dt h r o u g ht h ea d j a c e n ti - f r a m ea n dp - f r a m eo rt h ea d j a c e n tt w opf r a m e sb a s e d o nl i n e a ri n t e r p o l a t i o n t oi m p r o v et h ec o d i n ge f f i c i e n c y , m u l t i v i e wv i d e oc o d i n g c o n t a i n sm o r eb - f r a m e s ，s or a t ec o n t r o lf o rm u l t i v i e wv i d e oc o d i n gs h o u l dc o n s i d e r s a d d i n gt h er a t ec o n t r o lf o rb f r a m e s s u c c e s s i v ee n c o d i n gf o rm u l t i p l ev i e w sh a sb e e ns t u d i e di nm u l t i v i e wv i d e o c o d i n g b ya n a l y s i n go fs e v e r a le x i s t i n gp r e d i c t i v es t r u c t u r e so fm u l t v i e wv i d e o c o d i n g , w ef i n dt h a tt h ep r e d i c t i v es t r u c t u r ep r o p o s e db yh h ii ss u p e r i o rt oo t h e r m e t h o d so i lc o d i n ge f f i c i e n c ya n dc o m p l e x i t y t h e r e f o r e ，w es e l e c th h ip r e d i c t i v e s t r u c t u r ea st h e b a s i si no u rr a t ec o n t r o ls h e m ef o rm u l t i v i e wv i d e oc o d i n ga n d f r a m e w o r ko fs u c c e s s i v ee n c o d i n gf o rm u l t i p l ev i e w s v i i a l g o r i t h mc 孤b es u i t a b l ef o ra p p l i c a t i o n sw h e r et h ei m a g eq u a l i t yi sv e r ys t a b l e ， s u c ha sd v d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h em e t h o dc a ns i g n i f i c a n t l y r e d u c et h ef l u c t u a t i o no fv i d e oq u a l i t y , a n di m p r o v et h eq u a l i t yo fd e c o d e dp i c t u r e s f o rt h ed e c l i n ei na c c u r a c yc a u s e db yn e g l e c t i n gb - f r a m e sr a t ec o n t r o li sv e r y s e r i o u s ，w ea l s oi n v e s t i g a t et h eb f r a m e sr a t ec o n t r o l f o rm u l t i v i e wv i d e oc o d i n g t h er a t ec o n t r o lf o rm u l t i v i e wv i d e oc o d i n ge n c o d e se a c hv i e wg o p ( g r o u po f p i c t u r e s ) o n eb yo n e ，w h oa d o p t s s i m i l a rc o d i n gs t r u c t u r ea sj s v m ，t h a ti s ， p r e d i c t i o ns t r u c t u r ef o rh i e r a r c h i c a lbp i c t u r e s t h e r e f o r e ，w ee x t e n dt h er a t ec o n t r o l s t r a t e g yf o rj o i n ts c a l a b l ev i d e om o d e li n t om u l t i v i e wv i d e oc o d i n g , t h a ti s i na f r a m el e v e l ，w ed e s i g nar a t ec o n t r o lm e t h o df o rh i e r a r c h i c a lbp i c t u r e sw h i c h a d a p t i v e l yu p d a t et h es c a l i n gf a c t o r so fv i e wg o p s a tl a s t ，an o v e lr a t ec o n t r o la l g o r i t h mf o rm u l t i v i e wv i d e oc o d i n gi sp r o p o s e d i nt h i sd i s s e r t a t i o n ，w h i c hc o n s i s t so ff o u rl e v e l sf o rm o r ea c c u r a t eb i t sr a t ec o n t r o l ， i n c l u d i n gg g o pl e v e l ，g o pl e v e l ，f r a m el e v e la n dm a c r o b l o e kl e v e l i nt h eg g o p l e v e l ，b i t sa r ea l l o c a t e db a s e do nt h en u m b e ro fv i e wa n dt h es i z eo fg r o u po fp i c t u r e i nt h eg o pl e v e l ，r e a s o n a b l eb i ta l l o c a t i o na m o n gv i e w si sp e r f o r m e db a s e do n c o r r e l a t i o nf u n c t i o n i nt h ef r a m el e v e l ，b i t sa r ea l l o c a t e db a s e do nt h eh i e r a r c h i c a l b - p i c t u r eb i ta l l o c a t i o nm e t h o d i nt h em bl e v e l ，r a t ec o n t r o li sa c t i v a t e dt op r o v i d e m o r ea c c u r a t er a t ec o n t r o lb a s e do nt h e l a p l a c i a nr a t e - d i s t o r t i o nm o d e l t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dr a t ec o n t r o la l g o r i t h mc a ng a i nap s n r o fo 1d bc o m p a r e dt ot h ee x i s t i n gj o i n tm u l t i v i e wv i d e oc o d i n g ( j m v c ) ，w h i l et h e m i s m a t c ho ft a r g e tb i tr a t ea n dr e a lb i tr a t ed o e sn o te x c e e dl ，a n dt h eq u a l i t y c o n s i s t e n c yo fa l lv i e w sp i c t u r e si sg o o dd u et op e r f o r m i n gam o r er e a s o n a b l eb i t v i i i i x 上海大学硕士学位论文 摘要v a b s t r a c t v i i 目录x 第一章绪论l 1 1 课题来源l 1 2 课题研究的背景和意义1 1 3码率控制方法分类。2 1 4 国内外研究概况4 1 4 1 基本情况4 1 4 2 研究方法分类5 1 5 论文的主要研究内容及结构安排7 第二章码率控制的基本原理及方法9 2 1 码率控制模式9 2 2码率控制基本原理1 1 2 3 码率控制关键技术1 3 2 3 1 率失真理论。1 3 2 3 2 信源模型1 5 2 4 码率控制算法分级1 6 2 5码率控制算法的选择1 7 2 6二维视频的码率控制算法1 8 2 6 i 相关概念和模型1 8 2 6 2 码率控制算法步骤2 0 2 6 3 码率控制算法实现2 0 2 6 4 实验结果及分析。2 5 2 7 本章小结2 7 第三章多视点连续编码框架2 8 x 4 3 4f r a m e 层码率控制3 7 4 3 5m a c r o b l o c k 层码率控制3 8 4 4 实验结果及分析：3 9 4 5本章小结4 3 第五章多视点视频编码的多级码率控制方法4 4 5 1 算法总体描述4 4 5 2 g g o p 层码率控制4 6 5 3g o p 层码率控制4 6 5 3 1 相关系数。4 7 5 3 2 相关系数在多视点视频编码中的应用4 7 5 4 f r a m e 层码率控制5 0 5 4 12 d 视频编码中的b 帧码率控制5 0 5 4 2 可分级视频编码的b 帧码率控制5 l 5 4 3 多视点视频编码中的b 帧码率控制5 4 5 5 m a c r o b l o c k 层码率控制5 5 5 6实验结果及分析5 7 5 7本章小结6 3 第六章总结与展望6 4 x i 上海大学硕士学位论文 6 1总结6 4 6 2展望6 5 作者在攻读硕士学位期间公开发表的论文7 4 作者在攻读硕士学位期间所作的项目7 5 致谢7 6 i 码标准，如：h 2 6 3 ，h 2 6 4 ，m p e g 2 ，m p e g - 4 等的制定，使得人们可以享受 到很多以前无法想象到的服务，如：视频会议，电话会议，视频点播，远程教 育等。互联网技术的飞速发展，又将视频通信技术引入了一个广阔而有前景的 应用和研究领域。 随着计算机硬件飞速发展以及宽带多媒体技术的广泛使用，人们对视频图 像的要求也会越来越高，目前的二维平面视频在表征自然场景深度信息方面的 局限性已使其不能满足人们对场景真实和自然再现的需求【。例如，立体电视 和立体电影所表现的3 d 显示效果；在进行可视电话或者远程可视会议时，用 户的临场感；远程网络诊断时，医生需要病人全方位的视频信息；网上购物， 人们也希望能够看到物品在多个视角的描述。这些都是传统二维图像视频无法 提供的视觉效果。为满足人们的这种需求，能够提供3 d 视觉的立体多视点视 频技术越来越受到学术界和工业界的重视，并且成为视频领域的研究热点之 一【2 】。立体多视点视频系统增加了图像中景物的深度信息，在自然场景的表征 上更具真实感，具有广泛的应用前景，例如3 d 电视【3 1 、自由视点电视【4 1 、具有 临场感的可视会议【5 1 、3 d 远程通信、远程医学诊疗、自动导航及虚拟现实【6 】等。 立体视频技术和自由视点视频技术( 3 d 显示技术) 是两种典型的获得立体 视频信息的方式。立体视频技术利用人眼视觉系统对3 d 视觉信息的敏感特性， 上海大学硕士学位论文 通过模拟人眼的双目视觉系统，将立体图像对的左右图像分别呈现给人的左右 眼。而自由视点视频技术一般先通过若干相机从不同角度对同一场景进行采集， 然后经过压缩、传输和显示为观看者提供“运动视差 和“环视的效果，即 随着观看者位置的移动，所看到的画面也会随之改变。立体多视点视频尤其是 多视点视频会带来视频数据的急剧增加，使得视频数据的存贮和传输变得十分 困难，必须对立体多视点视频进行高效的压缩。在过去的十几年中，全世界很 多学者致力于该领域的研究【7 1 。为得到高效的编码效率，他们提出的方案除了 利用视频通道内的空间与时间相关性外，还利用了不同视频通道之间高度的相 关性( 称为交叉相关性) 。近几年来，由于多视点视频应用前景的逐渐明朗，多 视点视频编码成为该领域学者们的研究重点，在这种情况下，由m p e g 与r r u t 的视频编码专家组( v i d e oc o d i n ge x p e r tg r o u p v c e g ) 所组成的联合视频小组 ( j o i n tv i d e ot e a m ，j v t ) 从2 0 0 6 年开始制定h 2 6 4 a v c 的一个扩展方案一 多视点视频编码( m u l t i v i e wv i d e oc o d i n g ，m v c ) 。为了便于各种基于 h 2 6 4 a v c 的m v c 技术的研究实现并对它们进行公平的比较，j 、，t 提供了 联合多视点视频编码模型( j o i n tm u l t i v i e wv i d e om o d e l ，j m v m ) 【8 】及相应的参 考软件 9 1 ，并规定了m v c 的通用测试环境【1 0 , 1 1 】。 在多视点视频压缩中，存在如何解决压缩后的多视点视频数据适应信道的 编码码率控制问题，只有这一问题得以解决，多视点视频编码器才能够针对信 道的带宽自适应地调整输出码流，保证编码端和解码端的缓冲区既不出现上溢 也不出现下溢，同时解码图像的质量又不会受到影响。但是当前针对多视点视 频编码码率控制的研究才刚刚起步，有许多亟待解决的问题，为推进多视点视 频编码的应用，需要研究合适的码率控制算法。本文正是在这些应用和需求的 背景下，探索适合多视点视频编码的码率控制方案。 1 3 码率控制方法分类 以下简要介绍几类比较典型的码率控制方法。 ( 1 ) 调整编码参数的码率控制方法 在编码器中，我们可以通过调整四个编码参数来控制输出的比特率，它们 2 上海大学硕士学位论文 是：帧率、编码系数的数目、量化因子、运动检测的阈值。帧率与视频信号的 时域冗余相关，调整帧率可以影响输出比特率。只对编码系数进行部分编码， 虽然降低了图像的质量，但是可以使其产生的比特数减少。为了保证图像的视 觉保真度，应该保证直流( d c ) 系数的编码。量化因子q p 可以控制量化输出的 码字，q p 越大，在游程编码前得到的零系数就越多，编码的比特数就越少，反 之亦然。量化因子q p 可以在帧层和宏块层进行调整。运动检测的阈值表示编 码器对运动的敏感度，阈值提高，则编码器对运动的敏感度降低，从而编码的 宏块数就会减少，进而减少了编码所需要的比特数。 ( 2 ) 基于缓存器的码率控制方法 经典视频编码技术提供了时变的、波动的输出码率，为了输出稳定的数据 流，需在编码端和解码端添加缓存器。这种基于缓存器的码率控制技术也称为 可伸缩的码率控制方法( s r c ) ，被m p e g 4 采用。它假定编码器的率失真函数 ( r df u n c t i o n ) 可以用如下模型来表示：t r = 五木s 木q 叫+ 置幸s 木q q ( 1 1 ) 其中，r 是编码比特数，s 是编码复杂度，q 是量化参数，五和置是模型参 数。 该方法主要分四步来实现：初始化、编码前的目标比特率计算、编码前量 化参数的计算、根据当前帧编码的结果更新模型参数。除s r c 外，在m p e g 2 视频编码器中采用的t m 5 方法也是基于缓存器的码率控制方法。 ( 3 ) 基于感兴趣区域( r o i ) 编码的码率控制方法 在视频编码中，可以通过对场景的感兴趣区域比其它区域进行更精确的编 码，利用场景内容的先验知识来提高编码效率。比如在视频会议应用中，主要 是以头肩图像为主，对面部等重点区域分配更多的比特，以进行更精确的编码， 而对其它不太重要的部分则进行比较粗糙的编码。r o i 编码通常需要采用图像 分割技术来确定感兴趣区域的形状和位置，进行码率控制，可以先采用较小的 量化步长对感兴趣区域编码，而其它区域采用粗糙的量化参数编码。通过对q p 加减一定的数值得到这两个量化参数值。在编码过程中，若编码产生的比特率 低于目标比特率，那就应该降低q p 以产生更多的比特数；反之则应该增加q p 上海大学硕士学位论文 的值。基于r o i 的码率控制方法可以保证图像的视觉质量，同时编码的码率又 和目标码率相近。 ( 4 ) 分优先级丢弃的码率控制方法 视频编码器输出的码流由几组定长码和变长码( v l c ) 组成，每一组v l c 码 字代表了视频序列的特定的信息片断，当网络发生拥塞时，延迟码字就会从缓 冲器中随机被丢弃。但是各个码字对解码图像质量的影响是不一样的，比如， 直流( d c ) 系数包含了视频图像块的大部分能量，丢弃它们是不太明智的做法， 而丢弃交流( a c ) 系数则对解码图像的质量影响较小。因此，可以根据丢失敏感 度和对图像质量的影响对各视频编码参数分配一定的丢弃优先级，保证信息的 丢失对图像质量产生的影响最小。 ( 5 ) 多层编码的码率控制方法 为了适应i n t c r n e t 网的收发端之间带宽的可变性，通常借助于多层编码方法 来实现。多层视频编码输出的比特流由不同的比特率和帧率组成，通常可分为 基本层和若干个增强层。基本层对视频序列的重建是很关键的，而增强层有助 于提高视觉质量。多层编码技术在h 2 6 3 、m p e g 4 和h 2 6 4 a v c 扩展部分 s v c t l 2 】中都有应用，其码率控制的关键是根据网络的拥塞情况对增强层进行控 制，调整其量化参数、空间分辨率等，以保证质量和压缩效率之间的均衡。 1 4 国内外研究概况 1 4 1 基本情况 视频编码和传输的目标是在给定的网络条件下，在接收端能够得到最好的 图像质量。若要尽量保证图像的质量，那就意味着解码端重建图像的失真度要 最小。码率控制要做的，就是在给定码率的条件下，使得编码输出的码流能够 适应信道传输的要求，同时保证整个图像的失真度最小，即图像的质量最好。 码率控制算法通过给编码器选择合适的量化因子( q p ) 来控制输出码流，使其与 目标码率一致。码率控制的关键是要估计视频编码器的率失真函数 ( r a t e d i s t o r t i o nf u n c t i o n ) ，它包含两个部分：码率量化函数( r a t e q u a n t i z a t i o n ) 4 上海大学硕士学位 和量化失真函 做法是用经验 真函数估计的，其中比较典型的有m p e g - 2 的t m 5 算法【1 3 】、h 2 6 3 的t m n 8 1 4 1 算法、m p e g - 4 的v m 8 1 5 1 算法、z h e 等人提出的基于p 域的码率控制算法【1 6 】 以及h 2 6 4 的将线性m a d 预测模型与流量往返模型相结合的码率控制方法 j v t - g 0 12 1 7 】等。 现有的这些码率控制算法基本上都是针对2 d 视频编码系统设计的，不能 直接用在多视点视频编码系统上。因此，结合多视点视频序列的特点，设计针 对多视点视频编码系统的码率控制算法具有很重要的意义。目前国外有很多研 究组织从事自由视点视频技术码率控制的相关研究： 1 )日本k d d i 研究所 2 )韩国延世大学 3 )德国的h h i 研究所 4 )美国的斯坦福大学 5 )美国俄亥俄州立大学 国内多视点视频技术的研究起步相对较晚，近些年来一些科研团队开始进 入到多视点视频码率控制领域的研究，主要有：清华大学，中国科学院，上海 大学，宁波大学，浙江大学，西安电子科技大学等。 1 4 2 研究方法分类 立体视频编码仅仅局限于两路视频，因此不能提供给用户多角度的欣赏效 果，也不能够实现交互性。多视点视频编码技术是建立在两路视频编码技术基 础上的，因此立体视频编码的一些研究成果可以应用到多视点视频编码中，对 于码率控制来说也是如此。针对不同的编码方案，应该有不同的码率控制方案， 现将文献的方法归纳为如下几类： 第一类是基于新的率失真模型的方法。l i m 等针对3 d h d t v 设计了一套多 视角的立体编解码方案【l 引，并在这个方案的基础上提出了一种适应3 d h d t v 的码率控制方法，根据3 d 多视角图像序列的特点重新设计了3 d 率失真模型， 上海大学硕士学位论文 用逼近率失真模型的方法来达到控制的目的。朱仲杰等在分析了现有视频码率 控制中率失真模型的不足和立体视频编码的特点后，提出了新的率失真模型【1 9 1 ， 新的率失真模型具有更高的准确性，能更好地进行码率预测。陈建乐提出了一 种基于h 2 6 4 的多视点视频编码的码率控制算法【2 0 】，适合于多视点视频编码方 案，该算法根据每个视点图像的编码复杂度来分配图像的目标编码比特数并且 为每个视点的图像建立独立的二次信源模型。 第二类是基于小波的方法。林刚等提出了一种基于小波的3 d 立体视频编码 方案【2 l 】，并且设计了一种面向a t m 网络传输的码率控制方法，该算法是基于 帧组层( g r o u po f f r a m e s ) 的控制算法，给那些场景变化大的帧组层分配较多的比 特数，保证了编码器输出码流的比特率满足由其码率定义的漏桶算法( 1 e a k y b u c k e o ，但这只是一种在帧层的比较粗略的算法。b a l s t e r , e j 提出一种基于小 波的恒定质量的码率控制方法【2 2 1 ，也是在漏桶算法的基础上发展而来的。该方 法在服务器端和客户端都设有帧层的缓冲区，可以保证在客户端解码图像的显 示的连续性；还在客户端和服务器端设有反馈机制，可以反馈地调整服务器端 缓冲区的内容，并保证客户端和服务器端图像的帧速率是一致的。 第三类是基于缓冲区的方法。n a i t o 等提出一种基于m p e g 2 多视点档次 的立体视频编码的码率控制算法【2 3 1 ，首先根据一个公共虚拟缓冲区确定编码图 像的参考量化参数，然后使用t m 5 算法进行有差别的比特分配，并结合虚拟缓 冲区占用量最终确定出编码图像的量化参数。自适应码率控制结合有差别的比 特分配的方案使左右通道图像之间的图像质量差别能保持在一个非常小的水 平，而与输入图像的特点无关。 此外，w o ow 等人基于率失真理论研究了立体视频编码中的最佳比特分配 问题，提出了最优比特分配的基本思想和相关算法【2 4 1 ，但由于该算法非常复杂、 计算量大，在实际应用中不具有可操作性。j v t 的j m v m 2 5 】参考软件采用的码 率控制算法相对简单，采用视点内图像分层的方法，为每一层图像指定一个固 定的量化参数，各视点之间无比特分配和码率控制算法。这种码率控制算法过 于简单，视点内各层图像的比特分配方法过于粗糙，同时没有充分利用各视点 之间的交叉相关性进行比特分配和码率控制。 6 基础理论与关键技术 和“3 d a v 中的多视点视频编码及解码端视点绘制研究 等的研究内容，在分析多视点视频编码码率控制的研究意义、研究现状以及单 视点视频编码码率控制所存在问题的基础上，探索适合多视点视频编码的码率 控制方案。主要的工作成绩如下： ( 1 ) 对多视点视频编码中多个视点连续编码的问题进行了研究，在分析当 前多视点视频编码中存在的几种预测结构的基础上，发现h h i 提出的预测结构 在编码效率和复杂度方面优于其他几种方法，因此选择h h i 的预测结构作为进 行多视点视频编码码率控制的基本预测结构，并在此基础上建立多个视点连续 编码的框架，为多视点视频编码码率控制奠定了基础。 ( 2 ) 针对恒定比特率码率控制中视频图像质量波动较大的问题，以所建立 的多视点连续编码框架为基础，实现了一种适合于多视点视频编码的二次编码 码率控制算法，适合于对实时性没有要求并可进行离线处理的应用。实验结果 表明该方法能在一定程度上减小视频质量的波动性，获得较为恒定的视频质量。 ( 3 ) 针对视频编码中因缺乏对b 帧的码率控制而很容易造成码率控制精 度严重下降的问题，研究了多视点视频编码中b 帧的码率控制问题。多视点视 频编码的码率控制是逐个视点g o p 进行编码控制的，而视点g o p 所采用的编 码结构与h 2 6 4 a v c 可分级扩展标准j s v m 类似，均采用的是分层b 帧的编码 结构，因此多视点视频编码码率控制必然要考虑分层b 帧的码率控制策略。据 此，我们把可分级视频编码中的分层b 帧码率控制方法引入到多视点视频编码 中，实现了一种视点g o p 比例因子自适应更新的分层b 帧码率控制方法。 ( 4 ) 提出了一种多视点视频编码的宏块级码率控制方法。主要采用 j v t - g 0 1 2 的分层比特分配和码率控制的思想，将码率控制分解为g g o p 层、 g o p 层、f r a m e 层和m a c r o b l o c k 层来执行。实验结果表明所实现的方法复杂度 较低，计算量较小，码率控制的误差在1 之内，并有平均o 1 d b 左右的解码图 像p s n r 增益。 7 上海大学硕士 论文共分六章，内容安排如下： 第一章介绍课题的来源、目的、意义、国内外研究现状以及所取得的工作 成绩。 第二章描述了视频编码中的码率控制基础知识。阐述了码率控制的基本原 理和关键技术，包括率失真理论和信源模型。最后详细介绍了主流h 2 6 4 码率 控制算法j v t - g 0 1 2 ，给出了该算法的实现流程图。 第三章讨论当前多视点视频编码中几种典型的预测结构，在编码效率和复 杂度折中的原则下，采用h h i 提出的预测结构建立八个视点连续编码的框架。 第四章实现了一种适合于多视点视频编码的二次编码码率控制算法，并通 过实验验证了该方法的性能。 第五章提出一种多视点视频编码的宏块级码率控制方法，并通过实验验证 了所提出方法的可行性与有效性。 第六章为全文的总结以及对未来工作的建议和展望。 上海大学硕士学位论文 第二章码率控制的基本原理及方法 本章从码率控制模式、码率控制的基本原理、率失真理论、信源模型、码 率控制算法分级以及码率控制算法选择等方面系统地介绍了码率控制的基础知 识，然后详细阐述了二维视频编码典型码率控制方法j v t - c - 0 1 2 。多视点视频编 码码率控制是二维视频编码码率控制的扩展，因此二维视频码率控制的一些方 法和研究成果可以拓展应用到多视点视频编码码率控制。 2 1 码率控制模式 对于视频通信来说，由于通信带宽有限，必须将码率控制在一定的范围， 以达到在给定目标码率的条件下，尽可能达到高质量的解码图像。因此，码率 控制是编码器不可缺少的组成部分，码率控制算法的优劣也成为衡量编码器好 坏的重要指标之一。码率控制算法就是动态调整编码器参数，为视频序列中的 图像组、图像或者子图像( 条带s l i c e 或宏块) 分配一定的比特，使得输出码率 接近目标码率。现有的码率控制算法主要是通过调整d c t 变换的量化参数 ( q u a n t i z a t i o np a r a m e t e r , q p ) 的大小来调整目标码率。实际上，q p 反映了空间细 节压缩情况，q p 小，则大部分的细节都会被保留；q p 增大，一些细节丢失， 码率降低，但图像失真加强，质量下降。也就是说，q p 和比特率成反比的关系， 而且随着视频源复杂度的提高，这种反比关系会更明显，如图2 1 所示。 5 5 5 0 4 5 4 0 3 5 3 0 2 5 2 0 1 5 1 0 5 o 2 02 22 42 6 2 83 03 23 43 63 8 4 04 2 q p 图2 1q p 与比特率的关系 码率控制有两种模式：v b r 和c b r ，即可变比特率控制和恒定比特率控制。 9 上海大学硕士学位论文 可变比特率控制在图像画面运动比较剧烈或画面纹理结构较复杂时使用较高的 输出码率，而在图像内容变化不大或纹理结构不是很复杂时使用较低的输出码 率进行编码。图2 2 显示了变比特率码率控制的工作流程：输入为两个关键输 入参数( 未进行编码压缩过的信源和某个量化参数的值) ，使用这个固定的量化 参数进行编码。 图2 2 可变比特翠控制 恒定比特率控制就是无论当前图像内容如何变化都使用同样的码率。在恒 定比特编码的情况下，码率控制算法的目标是在保持输出比特率恒定的同时， 获得给定码率情况下的最佳图象质量。恒定比特率控制算法的输出码率保持恒 定，便于信道的传输控制，但它忽略了图像活动性差异，容易造成图像画面质 量的波动。在实际应用中，由于解码器缓冲区尺寸和传输网络带宽的限制，一 般采用恒定比特率码率控n ( c b r ) 。 如图2 3 所示，c b r 模式是一种闭环处理，输入为视频源和目标比特。采 用恒定比特率码率控制时，必须估计预测出未编码图像帧的复杂度并动态设置 其量化参数。输入为未进行编码压缩过的信源和编码后的目标码率，根据对信 源复杂度的估计、解码缓冲的大小及网络带宽估计动态调整量化参数，得到符 合要求的码率。 1 0 上海大学硕士学位论文 图2 3 恒定比特率控制 2 2 码率控制基本原理 1 9 4 8 年，s h a n n o n 提出了信息的定义【2 6 1 ，认为信息量的大小与信源发生的 概率有关，在此基础上提出了信息熵的定义，指出了数据压缩的理论上限，从 而奠定了信息论的基础。后来，又经过j e l i n e k 、g a l l a g o 和b o g e r 等人的发展， 建立了限定失