（计算机应用技术专业论文）h264视频编码标准码率控制算法的优化.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 h 2 6 4 a v c 是由国际电信联盟和国际标准化组织共同制定的新一代视频 编码标准。在编码效率、网络适应性等诸多方面都超越以往的视频编码标准。 因此曰益收到业界的关注。但是其中有些新技术又会为编码带来一定的难度。 例如将量化参数同时用于码率控制算法和率失真优化导致了蛋鸡悖论，给 h 2 6 4 码率控制带来困难。对此，学者们提出了一些有效解决蛋鸡悖论的方 案。 目前经典的码率控制解决方案，当图像运动剧烈或场景切换时，存在着 码率分配不合理以及线性预测m a d 值不准确等缺陷。 针对以上问题，本文提出基于运动剧烈及场景切换检测的流控算法。当 检测到图像运动剧烈或发生场景切换时，在编码过程中利用图像信息优化 m a d 值，从而优化编码参数；并根据同一复杂度区域内码率相似性的特点 优化目标码率分配； 通过研究发现，目前h 2 6 4 采用的码率控制算法，复杂度高，并且在低 码率传输时误差较大。 因此，本文提出基于查表的非零系数码率控制算法，根据非零系数与码 率的关系，利用己编码帧的非零系数调节当前帧用于编码的目标码率，结合 量化参数一码率关系表得到量化参数，从而进行码率控制。 试验结果表明，针对运动剧烈以及场景切换的图像，基于运动检测的码 率控制算法与j v t - g 0 1 2 的算法以及m i n g q i n gj i a n g 等人提出的根据运动剧 烈程度分配码率的算法相比，p s n r 有显著提高；基于查表的非零系数码率 控制算法，与j v t - g 0 1 2 相比，在高码率情况下p s n r 值明显提高，在低码 率情况下克服了j v t - g 0 1 2 码率控制不准的问题。本文提出的基于查表的非 零系数码率控制算法更适合低码率传输。 关键词：h 2 6 4 ：码率控制；量化参数：率失真优化；p 域模型；非零系数； a b s t r a c t h 。2 6 4v i d e oc o d i n gs t a n d a r di sp r o v i d e df o r m a l l yb yi t u u i s o t h e f r a m e w o r ko fh 2 6 4i ss i m i l a rw i t ha l lv i d e oe n c o d i n gs t a n d a r d s 。a n dm a n yn e w t e c h n o l o g i e s ，s u c h a s s p a t i a lp r e d i c t i o n i n t r ae n c o d i n g ，a d a p t i v eb l o c ks i z e m o t i o nc o m p e n s a t i o n ，4x 4i n t e g e rt r a n s f o r m a t i o n ，m u l t i p l er e f e r e n c ep i c t u r e sa n d c o n t e n ta d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ( c a b a c ) ，a r eu s e d i ni t t h e s i g n a l n o i s er a t i o no b v i o u s l y r a i s e di ns a m eb i tr a t ei nt h i ss t a n d a r d s oi to b t a i n s m u c ha t t e n t i o nf r o ma c a d e m i ca n di n d u s t r i a lf i e l d s a n dt h e r ea r ed i f f i c u l t i e so fe n c o d i n gb e c a u s eo ft h en e wt e c h n o l o g y f o r e x a m p l e r a t ec o n t r o lo fh 2 6 4b e c o m e s d i f f i c u l tb e c a u s eo ft h ec h i c k e na n de g g d i l e m m aw h i c hb r o u g h tb yt h eq u a n t i z a t i o np a r a m e t e ru s e df o rr a t ed i s t o r t i o n w h i c hd e t e r m i n e st h eb e s tc o d i n gm o d ea n dt h er a t ec o n t r 0 1 s ot h en e wr a t e c o n t r o la l g o r i t h m sa r ed e s i g n e dt od e a lw i t h t h i sp r o b l e m a n dt h e r ea r ed e f a u l t so fn e wa l g o r i t h m sf o rh 2 6 4r a t ec o n t r o lf a c e dt ot h e m o v ef a s ts e q u e n c e s ，s u c ha sa v e r a g ea l l o c a t i n gb i tr a t e a n di n a c c u r a t em a d p r e d i c t i o n s ot h i sd i s s e r t a t i o np r o p o s e sa ni m p r o v e dr a t e c o n t r o la l g o r i t h mf o r h 2 6 4b a s e do nt h ed e t e c t i o no fs c i e n c ec h a n g ea n dm o v e m e n t t h ec o m p u t i n g o f r a t ec o n t r o lm o d e le x p l o i t e db yh 2 6 4i sc o m p l e x a n dt h ei m p r e c i s e r a t ec o n t r o l i sb r o u g h tb yi t t h e r e f o r ean o n z e r oc o e f f i c i e n tb a s e do nam a p i sp r o p o s e dt o d e a lw i t ht h e s ed e f a u l t s f i r s t l ya ni m p r o v e dr a t e c o n t r o l a l g o r i t h m i s p r o p o s e d b a s e do nt h e d e t e c t i o ns c e n ec h a n g ea n dh i g hm o t i o n t h ei m p r o v e dr a t e c o n t r o la l g o r i t h m o p t i m i z e sl i n e a rm a dp r e d i c t i o nm o d e li ne n c o d i n gp r o c e s s w h e nt h es c e n e c h a n g eo rh i g hm o t i o np i c t u r e sa r ed e t e c t e d a n dt h e n ，t h i so p t i m i z e d m a dw i l l b eu s e dt oc o m p u t i n ga no p t i m i z e dq u a n t i z a t i o n a n d b i tr a t ea l l o c a t i n gi s a c c o r d i n gt ot h ec o m p a r a b i l i t yo f f r a m e si nas a m ec o m p l i c a t i o n l a s t l v an o i 屹e r or a t ec o n t r o lb a s e do nam a pi sd i s c u s s e d t h er e l a t i o n s h i p b e t w e e nn o n z e r oa n db i tr a t e i ss t u d i e dt oo p t i m i z er a t e t oc o n t r o lb i tr a t e ， c o m b i n e dw i t haq u a n t i z a t i o na n dr a t er e l a t i o n s h i pm a p t h es i m u l a t i o ns h o w st h a tt h ep s n ro fi m p r o v e dr a t ec o n t r o la l g o r i t h m b a s em o t i o nd e t e c t i o ni so b v i o u s l yi m p r o v e df o rt h ep i c t u r e sw i t hh i g hm o t i o nb y c o m p a r e dt oj v t g 0 12 a n dt h ep s n ro fn o n z e r or a t ec o n t r o lb a s e do nam a pi s o b v i o u s l yi n c r e a s e dw h e nt h e b i tr a t ei s h i g hb yc o m p a r e dt o j v t - g 012 f u r t h e r m o r e ，t h i sa l g o r i t h mc o n q u e r e d t h ei n a c c u r a t er a t e c o n t r o l l i n g o f j v - t - g 012w h e nt h eb i tr a t ei sl o w s ot h i sa l g o r i t h mi ss t r o n g e rt h a nj v t - g 0 12 w h e nt h eb i tr a t ei sl o w k e yw o r d s ：h 2 6 4 ；r a t ec o n t r o l ；q u a n t i z a t i o np a r a m e t e r ；r a t e d i s t o r t i o n o p t i m i z a t i o n ；pd o m a i ns o u r c em o d e l ；n o n z e r oc o e f f i c i e n t ； 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保 存和汇编本学位论文。 本学位论文属于 i 保密 2 不保 年解密后适用本授权书； 使用本授权书。 ( 请在以上方框内打“ ) - 学位论文作者签名：厍老鸥 指导老师签名： 气 日期：c ) 8 工- 厂6日期：p 巷厂么否 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作 所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 数字视频技术在通信和i n t e r n e t 和移动通信的迅猛发展，视频信息和 多媒体信息在i n t e r n e t 和移动网络中的处理和传输技术成了当前我国信息 化的热点。 众所周知，视频信息有一系列优点，如直观性、确切性、广泛性等。但 是视频信息的信息量太大，要使视频得到有效的应用，必须首先解决视频压 缩编码的问题，其次解决视频压缩后视频质量保证的问题。这两者是相互矛 盾的。为此，人们付出了巨大的辛勤劳动，从1 9 8 4 年c c i t t 公布第一个视频 编码国际标准以来至今已有2 0 年了。但是总体来讲，视频压缩和质量之间的 矛盾不能很好解决，视频通信和数字电视广播这两大领域的发展仍不尽如人 意。2 0 0 3 年3 月，i t u t i s 0 公布了h 2 6 4 视频压缩标准，与以往的h 2 6 3 和m p e g - 4 相比，在同样质量下，其码率能降低一半左右；或者说在同样码率 下，其信噪比明显提高。由于具有比以往标准更出色的性能被称为新一代的 视频压缩编码标准。 1 1 多媒体通信系统 在概念熵可以认为面向网络的多媒体通信系统具有分层的系统结构【3 】， 最顶层是应用层( a p p l i c a t i o nl a y e r ) ，然后是压缩层( c o m p r e s s i o nl a y e r ) ，传 输层( t r a n s p o r tl a y e r ) 和发送层( t r a n s m i s s i o nl a y e r ) 瞄j 。 按照不同的传输方式在传输层可以分为两类：单点的流传输( u n i c a s t ) 和 单点对多点传输( m u l t i c a s t ) 。u n i c a s t 是每一个用户和服务器建立一条数据连 接，用户接受的视频数据流是相互独立的。u n i c a s t 用于视频点播、数字视频 图书馆等应用。m u l t i c a s t 则为点播同一个节目的多个用户建立一个地址组， 只是向网络发送节目的一份拷贝，i n t e r n e t 现场直播就是这种应用。 此外，在压缩层，出现了由j v t 提出的新的编码标准h 2 6 4 ，这使得视 频的压缩率大大提高，进一步加快了多媒体通信应用的发展。 西南交通大学硕士研究生学位论文第2 页 1 2 码率控制技术简介 为了适应时延抖动和网络资源( 如带宽和缓冲区) 有限对视频质量的影 响，在两个不同的系统层面上流量成形和码率控制两种技术，其中流量成形 技术属于传输层的方法，流量成形技术就是在视频编码码流在送往网络传输 之前，码流的一些参数已经经过了一些限定，这样就可以通过配置网络传输 路径上的相关部分达到了一定的q o s 。而码率控制技术属于压缩层方法，根 据应用需求和可用带宽压缩原始图像序列。新出现的网路视频流媒体传输、 无线信道传输、m p e g 一4 的对象编码传输、信噪比精细可分级编码传输等实 际应用要求抗误码能力强且执行效率高的码率控制算法来满足视频实时传输 的需要，相应的码率控制算法已成为近几年的研究热点。在这篇论文里，主 要关注的是压缩层的码率控制问题。 码率控制的目标就是在实际传输比特率的限制下，在视频序列的各编码 单位如图像组( g o p ) 、帧( f r a m e ) 、条( s l i c e ) 、宏块( m a c r o b l o c k ) 和块( b l o c k ) 间 进行适当的码率分配，以最小的计算复杂度，获得尽可能好的图像质量。设 计码率控制系统时一般需要设计目标码率计算、信源与信道模型建立、视频 编码方法、率失真估计、码率分配、跳帧、实时性传输环境和系统性能评估 等诸多方面而其中的编码参数，如帧模式、宏块模式、运动矢量、量化步长 等，直接关系到编码产生比特数，关系到重建视频的质量，关系到视频编码 器的复杂程度。此外，编码比特率、计算复杂度和重建图像质量之间的关系 随着输入视频不同而编码，如是“有噪声 的还是“干净”的、是多细节的 还是少细节的、是复杂运动的还是简单运动的序列。 为了有效地保证视频编码信息的互通，大多数视频编码标准( 如h 2 6 3 、 m p e g 2 4 、h 2 6 4 a v c 等) 仅规定了编码的基本方法、比特流的语法结构和 标准的解码过程。而对于具体的编码过程则充分开放，允许实现者灵活地处 置1 4 j 。视频压缩编码中起重要作用码率控制技术的实现方法也是开放的。在 m p e g 系列标准中，有经典的m p e g 2 标准下的t m 5 算法，它是基于图像 内容与人眼视觉特性先对图像进行预分析或预处理而后再进行相应的码率控 制，其算法的多样想主要体现在对各编码单位的自适应量化上。而m p e g 4 的s r c 码率控制方法则基于视频对象( v o ) 做复杂控制。在h 2 6 x 系列标准中， 最经典的码率控制方案是h 2 6 3 标准下的t m n 8 。新出现的h 2 6 4 标准下的 西南交通大学硕士研究生学位论文第3 页 码率控制算法的研究也已取得了很多成果。 码率控制算法作为视频编码器中的关键部分1 ，直接影响到视频编码器 的效率和视频质量。作为新一代的视频压缩编码标准，h 2 6 4 对多编码模式、 编码参数自适应选择、上下文自适应熵编码、多参考帧的灵活选择、高精度 预测、去方块滤波以及抗误码能力等方面进行了精雕细刻，采取了一系列切 合实际的技术措施，大大提高了编码效率和网络自适应能力h 1 。但是h 2 6 4 的码率控制方案将量化参数同时用于码率控制算法率失真优化，导致以往经 典的码率控制算法均不能直接应用。因此，h 2 6 4 的码率控制研究及其优化 成为视频压缩算法的研究热点。 通过对h 2 6 4 目前采用的j v t 6 0 1 2 模型的深入研究，人们发现，该模 型复杂度高，并且在低码率是控制码率不准确。因此，如何简单的解决“蛋 鸡 悖论，并能有效的进行码率控制成为目前码率控制研究领域的必然趋势 i s o 综上，本文就h 2 6 4 的码率控制、率失真优化以及简单、有效的解决“蛋 鸡”悖论进行了有益的探讨和深入的研究。 1 3 论文的主要内容 本文对h 2 6 4 视频编码标准【5 】和码率控制算法进行了深入的研究，通过 运动剧烈以及场景切换图像的检测优化已有码率控制算法的目标码率分配， 并且在编码过程中利用图像信息对码率控制参数进行优化，提高了运动剧烈 以及场景切换图像的质量。最后，针对j v t - g o l 2 码率控制模型的复杂性， 本文提出了一种易于调节的，基于查表的非零系数码率控制算法。论文结构 如下： 第一章绪论：阐明了多媒体系统分析码率控制技术的重要性，简述了 码率控制技术，结合国内外研究现状提出自己的研究内容和策略。 第二章h 2 6 4 视频编码标准：对h 2 6 4 编码标准进行简要介绍，分析了 其框架结构和核心技术。并分析了h 2 6 4 所采用的码率控制策略的意义，对 其原理进行了详细的描述。 第三章提出了一种基于运动检测的码率控制算法：本文针对j v t - g 0 1 2 针对运动剧烈图像的不足，提出了一种基于运动检测的码率控制算法，优化 西南交通大学硕士研究生学位论文第4 页 了目标码率分配。并且在h 2 6 4 的编码过程，充分利用图像信息优化码率控 制参数，从而更准确的进行码率控制。通过实验验证本，针对运动剧烈图像， 本文算法相比h 2 6 4 目前采用的j v t - g 0 1 2 码率控制算法，有效提高了图像 质量。 第四章提出基于查表的非零系数码率控制算法：根据p 与码率的关系【6 】 分析得出非零系数与码率之间的关系，根据已编码帧的非零系数调节当前帧 用于编码的目标码率，结合量化参数一码率关系表，得到与目标码流与之对 应的量化参数，从而达到控制码率的目的。试验证明，本文算法性能优于 j v l - g 0 】2 。 西南交通大学硕士研究生学位论文第5 页 第2 章h 2 6 4 视频编码技术 h 2 6 4 是由i t u t 的视频编码专家组( v c e g ) 及i s o i e c 的移动图像专 家组( m p e g ) 大力发展研究的适应于低码率传输的新一代视频压缩标准。它的 主要目标是发展一种简单直接的高压缩性能视频编码设计，提供更加适于网 络传输的方案。由于它支持广播视频能在互联网上以小于1 m b i t s 的速率进 行高质量传输，因此将使得计划采用h 2 6 4 技术的m p e g 4 在低码率视频传 输上取得突破性进展【7 j 。 2 1h 2 6 4 视频编码标准的框架 与前期的其他编码标准( m p e g l ，m p e g 2 ，m p e g 4 ) - - 样，h 2 6 4 协议并 没有定义明确的编解码器j ，但是新标准定义了编码和解码的视频流标准语 法。实际应用中，符合语法的编码器和解码器需要包括一些必需的模块，但 除此之外，标准对具体编解码器的实现留有很大的余地。h 2 6 4 协议中，基 本的模块( 如预测、变换、量化、熵编码等) 与之前的协议( m p e g l 、m p e g 2 、 m p e g 4 、h 2 6 1 、h 2 6 3 ) 是一致的，关键的区别在于每个模块的细节上，也 是h 2 6 4 之所以可以提高编码质量、降低码率的要点所在。 2 1 1h 2 6 4 编码器框图 编码器包括了两个数据流分支如图2 1 所示，分别是前向( 从左至右，虚 线) 和后向( 从右至左，实线) 的重建分支。 在编码的前向通路中，而表示输入的视频帧，每一帧是以宏块( 1 6 x1 6 个象素点) 为单元进行处理的。每个宏块以进行帧内或者帧间的模式进行编码 的选择，生成一个预测宏块尸。当宏块以帧内模式进行编码时，当前帧e 已 编码的重建得到尸。当宏块以帧间模式进行编码时，宏块经对前一个或多个 参考帧进行运动补偿得到预测宏块p 。图2 1 中，参考帧用一表示，并且 预测宏块所参考的可能是当前帧之前的，或当前帧之后的参考帧。预测宏块 西南交通大学硕士研究生学位论文第6 页 p 和当前宏块相减，得到了宏块的残差见，这一结果经过块变换、量化，得 到组系数zx 经过重新排序和熵编码，就完成了一个宏块的编码过程。 经过熵编码的码流，加上宏块解码所需的一些信息( 如宏块预测模式、量化步 长、描述宏块运动补偿的运动矢量信息等) ，构成压缩后的码流，然后再通过 网络适配层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) 进行传输。 图2 1h 2 6 4 编码 一颦 量化后的宏块系数兄为了后续宏块编码时重建帧的需要而被解码。将 系数x 反量化( q 一) 和反变换( 一) 后，生成残差宏块砭。但由于量化过程是 有损的，或与原始的残差宏块见并不完全相同，而是受损重建后的见。将砭 与预测宏块p 相加后生成了重建宏块( 原始宏块重建后的失真宏块) 。使用 滤波器来减低块失真，从而构成参考帧。 2 1 2h 2 6 4 解码器框图 解码器从n a l 中接收到压缩比特流【9 1 。对数据元素进行熵解码和重新排 西南交通大学硕士研究生学位论文第7 页 序后产生一系列的量化系数x 。这些系数被反量化和反变换后赋值给砭。使 用比特流中的已解码的包头信息，解码器生成了与编码器中完全相同的预测 宏块p 。将d ：与预测宏块p 相加后生成了重建宏块，再经过滤后得到己 解码宏块。 图2 2h 2 6 4 解码器 从图2 2 中可以看到，编码器重建通道的作用是为了保证编码器和解码 器端可以使用完全相同的参考帧来创建预测块p 。如果没有重建通道，在编 码器和解码器的预测块p 可能不同，这将导致错误的发生，产生编解码器之 间的“漂移”。 2 2h 2 6 4 视频编码标准的核心技术 无可厚非，h 2 6 4 在压缩性能优于其他标准。m p e g 4 ( 2 ) 最大的特点就 是面向对象的编码【1 0 】，对象概念的提出是具有先进性的，在对象已经提取出 来的前提下能够获得优秀的压缩性能】，但是至今仍没有很好解决方案来提 取对象。正因为如此，m p e g 4 面向对象编码的思想过于超前。i t u t 的v c e g 放弃了对象这一超前的概念，根据目前科学技术的发展水平，提出了h 2 6 4 视频编码标准，而且它同样实现了m p e g 一4 面向对象编码的目标之一一高压 缩比【12 1 。h 2 6 4 保留了一些先前标准的特点【1 3 。1 7 】，如不受限制的运动矢量 西南交通大学硕士研究生学位论文第8 页 ( u n r e s t r i c t e dm o t i o nv e c t o r s ) ，运动矢量的中值预测( m e d i a np r e d i c t i o n ) 等。以 下介绍的技术使得h 2 6 4 比之前的视频编码标准在性能上有了很大的提高， 这个提高不是单靠某一项技术实现的，而是由各种不同技术带来的小的性能 改进而共同促成。由于h 2 6 4 码率控制技术主要牵涉到编码模式选择以及量 化过程，因此本文以下只对这两个部分进行介绍，对于其他技术不再详述。 2 2 1帧内预测 为了利用空间相关性，h 2 6 4 引入了帧内预测以提高压缩效率。简单地说， 帧内预测编码就是用周围邻近的像素值来预测当前的像素值，然后对预测误 差进行编码。这种预测是基于块的，对于亮度分量( 1 u m a ) ，块的大小可以在 16 16 和4 4 之间选择，1 6 1 6 块有4 种预测模式，4 4 块有9 种预测模 式；对于色度分量( c h r o m a ) ，预测是对整个8 8 块进行的，有4 种预测模式。 除了d c 预测外，其他每种预测模式对应不同方向上的预测。 1 、4 4 亮度预测模式 ， 4 4 子块的预测。1 6 个子块a - p 组成了预测块p 。当左边和上边的采样 点a l 已经重建好后，它们就能作为预测的参考子块。有9 种预测模式 2 、16 16 亮度预测模式 1 6 1 6 宏块的预测分为4 种方法：( 1 ) 垂直预测：宏块上方各子块采样 值被用作宏块对应一整列的预测值。( 2 ) 水平预测：宏块左边各子块采样值 被用作宏块对应一整行的预测值。( 3 ) 均值预测：宏块上方与左边各子块采 样值的均值被用作宏块预测值。( 4 ) 平面预测：宏块预测值右上方和左边各 子块采样值按左下到右上的方向插值得到。 3 8 8 色度预测模式 由于采用4 ：2 ：0 采样，色度的分辨率只有亮度的一半，所以色度以8 8 为单位预测，也有4 种预测模式，但它的预测模式的顺序与1 6 1 6 有 些不同，分别是：m o d e 0 直流分量d c 、m o d e l 水平、m o d e 2 垂直、m o d e 3 西南交通大学硕士研究生学位论文第旦亟 平面。所有的色度块都具有相同的预测模式。 2 2 2 帧间预测 h 2 6 4 支持宏块的7 种分区模式，从1 6 x1 6 直到4 4 ，可根据图像内容 的不同而进行选择。与仅使用1 6 x1 6 块进行预测相比，使用不同大小和形状 的块可以使码率节省1 5 以上。 2 2 3 量化与反量化 量化是指通过预先定义一个码本( c o d e b o o k ) ，将一个连续范围内的值都 表示成码本中的一个码字，并只编码和传输此码字的序号，来极大地提高压 缩效率。显然，量化是一种对信息有损失的压缩方法，但它可以获得很高的 压缩比。其逆过程( 反量化) 比较简单，解码器只需要根据接收到的序号， 从与编码器一致的码本中找出该序号对应的码字，实现对原数据的近似重现。 2 2 4 z i g z a g 扫描与可变长( v l c ) 编码 块在经过d c t 和量化后，大部分高频系数都变为了0 。而为了增加连续 的“0 系数的个数，需要对量化后的系数重新编排。由于量化后的高频系 数多集中在块的右下角，因此在编码前对系数按z 字形进行排序，这就是 z i g z a g 扫描，如图2 - 3 所示。 7厂7厂7厂夕 。 1 。 。) 。 1 。 。 ) 。 。 。1 。 。) z 么z么 图2 - 3 z i g z a g 扫描 对于扫描后产生的6 4 个系数，由于其中存在大量的零系数，为了进一 西南交通大学硕士研究生学位论文第一1 旷更 步提高压缩效率，使用了一种形如( l a s t ，r u n ，l e v e l ) 的三元组来进 行编码，其中l a s t 是最后一个非零系数的说明，l a s t 为“o 表示块中还 有更多的非零系数，“l 表示这是块中的最后一个非零系数。系数之前的零 的个数用( r u n ) 来表示，而系数的非零值用( l e v e l ) 来表示。对游程编 码产生的三元组，进一步使用了h u f f m a n 编码来压缩。由于h u f f m a n 编码产 生的码字长不固定，因此也称为变长编码，即v l c ( v a r i a b l el e n g t hc o d i n g ) 。 2 3 码率控制技术 码率控制是视频编码器的重要组成部分【l 引，因为在视频编码过程中，输 出的视频质量和码率是相互影响的：当要求视频质量越好，则输出的比特数 就应越高。但由于受带宽或存储容量大小的限制，因此在视频编码器中需要 将输出的比特数控制在定的范围内，以便在满足带宽或存储容量限制的同 时，尽可能获得最好的视频质量。这里所采用的控制策略就是码率控制算法。 可见，码率控制策略视频编码器成功与否的关键因素之一。 经典的码率控制技术【1 9 3 0 】一般采用基于缓冲区反馈的控制法，如图2 - 4 所示。码率控制器负责收集码率、延时和缓冲区状态信息并调节编码参数， 使得性能指标维持在给定水平上。缓冲区起平滑码率波动的作用。在编码端， 数据输入缓冲区的码率是变化的，而输出码率则取决于码率控制的模式。在 恒定码率c b r 模式下，输出码率维持不变；在可变码率模式v b r 下，输出 码率允许在一定的范围内波动。理论上，当缓冲区无限大时，可保持恒定的 输出码率。然而实际解码器缓冲区大小是有限的。缓冲处理引入一定的延时， 延时长短和缓冲区大小成正比。对实时视频通信系统而言，延时要求比较苛 刻，延时越小越好。 缓冲区 图2 4 传输信道 西南交通大学硕士研究生学位论文第ll 页 2 3 1码率控制原理 在编码过程中采用固定的量化步长，可以保证解码后视频序列有稳定的 图像质量。然而，对于固定帧率的模拟视频信号，在经过a d 转化后如果对 这些视频图像使用固定量化参数编码，将会产生速率可变的码流。相反，在 帧或宏块基础上，改变量化值却能获得恒定的输出比特率，但是这可能会导 致解码后得到的图像质量不断变化。图2 5 中的三幅图说明了视频通信中在 恒定和变化比特率编码两种情况下，图像输出比特率与图像质量随时间变化 的关系。接下来将分析对于固定帧率的数字图像，采用固定量化步长压缩后 输出码率变化的原因。 时 域 活 动 性 质量 比特率 时间 ( a ) 图像不同时刻下的时域特性 时问 ( b ) 恒定速率( - f 变质量) 西南交通大学硕士研究生学位论文第1 2 页 质量 比特率 l 八几 时间 ( c ) 可变速率( 恒定质量) 图2 5 质量和比特率间的关系 数字视频信号包含了大量的依赖于序列的时域和空间冗余，视频编码器 的压缩效率取决于视频序列中检测并压缩的时域和空间的冗余量。首先，图 像编码输出比特数随着时间冗余的变化而变化。例如，假设当前要编码的宏 块( m a c r o b l o c k ) 相对于参考帧中的相应宏块保持静止，在这种情况下，编码器 不对该宏块编码，而是采用s k i p 模式，在编码过程种跳过该宏块，于是导致 编码这一宏块产生的比特数很少。由此可见，一副图像编码后比特数的多少 由该图像与视频序列中其他不同时刻上的图像在时间上相关性的大小决定： 当固定的帧率较大，场景切换较慢，图像内容变化不大时，输出的比特数少， 相反，如果固定帧率较小，场景切换速度快，图像内容变化较大时，输出的 比特数大。其次，一幅图像的空间相关性也决定了图像编码后输出比特数的 多少。当图像空间相关性大时，经过变换和量化之后的数据大部分为o ，当 采用熵编码时，会根据图像空间相关性做较大程度的压缩，此时输出的比特 率会较少，相反，输出的比特数就会较多。同时，为了达到较好的压缩比， 一般熵编码会采用变长编码，如h 2 6 4 中的c a v l c 或c a b a c ，这会加剧输 出比特率变化。 在包交换网络中，网络吞吐量是不断变化的，如果在码率变化的视频传 输中加入流控机制，根据网络条件动态分配带宽，将大大提高带宽的有效利 用率。 视频通信中的码率控制系统可用图2 - 6 来概括，视频信源送入编码器进 行编码，在第f 帧编码结束后相应的压缩码流r i 被输入到缓存器，与此同时 用户网络接1 ：3 选择适当的信道率c i 或c ，c i 为可变码率，c 为恒定码率，将 西南交通大学硕士研究生学位论文第1 3 页 经编码端缓存器平滑后的码流输送到网络，视频压缩码流经网络传输到解码 端缓存器，最后经过l 帧的系统延时后，第i 帧的编码码流被送入到解码器 进行重建。不失一般性，假定网络传输延时可忽略不计，则端端延时为编码 端缓存器延时之和，l 帧的延时意味着在任意给定的时间内有l 帧的编码码 流存储在编码端缓存器或解码端缓存器中，对于一个实时通信系统，l 通常 由系统预先确定。视频通信过程中，编码器与解码器必须严格保持同步，如 果在规定时间内某帧未能达到解码器则该帧信息将被舍弃。 图2 - 6 码率控制系统 根据用户网络接口选择的信道码率是否恒定，视频码率控制算法可分为 恒定码率c b r 与可变码率v b r 两类，c b r 常用于电路交换网，v b r 则适 用于包交换网如口网、a t m 网。有研究表明经a t m 传输的v b r 码流比经 电路交换网传输的c b r 码流具有更好的图像质量和更短的延时，但获得这些 优点的前提条件是必须由适当的信源与信道码率控制来满足a t m 对v b r 的 约束。对于c b r 码流来说，由于码流的输出速率是恒定，通常只需要根据给 定的信道码率进行相应的信源码率控制算法，相对比较简单。为了获得固定 速率的视频传输可以采用两种方法实现。一种方法是在视频编码器和信道间 采用了缓存器来平滑比特率的波动。显然，在传输前缓存压缩的视频流会有 一定量的延迟。当缓冲区较小的时候，只能调整比特率变化较小的视频序列， 对于比特率变化较大的视频序列则需要较大的缓存来调整比特率，使进入信 道的比特率保持恒定，但这种情况下，延时比较大，这在实时视频业务中应 尽量避免，因为在很多视频序列中，比特率波动会较大，所需缓冲区也较大， 这种情况下产生的时延很可能是不可容忍的，所以除了借助于开辟一块缓冲 区来平缓输出码率之外，还需要借助于其他技术手段，常用的方法就是根据 缓冲区的饱和程度调整编码参数。 西南交通大学硕士研究生学位论文第1 4 页 根据码率控制策略是否需要参考视频信息源信息，视频码率控制算法可 分为前向控制和后向控制两类。后向控制方法主要根据缓冲器状态和信道速 率来调整编码单位的码率，由此保证编码器输出与信道速率相适应。这种方 法简单易行但在低码率传输时图像质量通常会出现较大波动。前向控制方法 则往往先对各编码单位输出码率进行预测。这种方法在进行码率分配时一般 需要考虑图像的具体内容和统计特性，甚至还有人眼视觉特性，因此计算量 较大，但得到的图像质量通常高于后向控制算法。图2 7 描述的码率控制机 制利用当前图像活动性作为前馈信息，利用缓存器饱和度作为反馈信息，这 样能更好的实现码率控制。 缓存器状态 图2 7前馈和反馈相结合的码率控制 根据发送端估计发送码率方法，视频码率控制算法可分为两种：基于探 测的方法与基于模型的方法。基于探测的方法是一种由发送方发起的算法， 发送方接收用户方反馈的时延、丢包率信息，自动调整视频流的发送码率。 基于模型的方法是直接根据建立的网络传输模型来估计网络带宽，然后根据 估计的结果改变视频编码器的各种参数，从而控制输出码率的码率。这种实 时码率控制的手段很多，可以改变视频编码的帧率、调节宏块的编码模式和 调整量化参数来实现，而最简单的方法是调整量化参数妒。 2 3 2 视频码率控制算法分类 编码器在完成对输出比特的控制时都要考虑到质量和码率的均衡。比特 率的减少会付出质量代价。在块变换编码器中，可调整以下四个编码参数来 控制输出比特率。 西南交通大学硕士研究生学位论文第1 5 页 首先极少的编码参数是每秒编码帧数，即帧率，可以通过调整帧率使编 码器输出码率达到指定要求。帧率控制方法是针对视频信号时域冗余，而不 是空间冗余，通常用在对单个图像质量要求高，不能通过减小每帧的编码比 特数来达到降低码率的情况。 另一个调整输出比特率的可行方法是，只对每个图像块的部分像素编 码，如对角线系数。或者只对图像的低频系数编码。由于d c 系数的能量在 整个像素块中占有较大比例，为了保持一定的图像质量，必须对像素块中的 d c 系数进行编码，而a c 系数可少编码或免编码，这样可以大大减少输出 比特率。在图像细节较少，空间相关性较大时，可以在低码率下获得较好的 图像质量，然而当图像细节比较多试，如果丢到太多的a c 系数，会大大降 低图像质量。 第三个可调整的参数是量化参数妙。当视频序列中有剧烈运动，为了 获得较高的时域视频质量，只能通过增加q p 值，对每个图像的空间细节采 用粗量量化，降低空间视频质量来实现码率控制。妒值越大，d c t 系数经 过量化后的取值范围越小，在游程编码之前可获得的零系数编码越多，熵编 码后压缩程度越高，输出的比特数小；相反，眇值越小，量化后的取值范 围越大，编码后的比特率就越高。在h 2 6 4 编码器中，可以通过对调整帧、 片或者宏块的量化参数来实现不同级别的码率控制。 第四种控制输出比特率的编码参数是运动检测门限，设置这个门限是用 来确定预测帧( p 帧) 中的宏块是编码还是跳过。如果门限值提高，编码器 对运动敏感度降低，编码宏块的数目将减少。相反，对较低的运动门限，运 动敏感性提高，将有更多数目的宏块被编码，从而比特率也提高。同样， i n t r a 或i n t e r 判决门限的提高或降低也可用来控制p 帧中编码宏块的输 出比特率。更多的i n t r a 编码宏块是比特率增加，但可以提高编码质量， 这主要是由于在这种编码模式下没有采用预测。 上述四种编码参数的调整可能会引起图像质量的变化，但是在编码过程 中调整它们的取值可以有效的控制视频编码器的输出比特率，以达到当前码 率控制的要求。 目前已有的经典码率控制模型都是通过对上述四种编码参数进行调整 来控制码率。下面介绍h 2 6 4 码率控制算法的具体过程。 西南交通大学硕士研究生学位论文第1 6 页 2 4 h 2 6 4 码率控制算法 在视频编码中，码流控制模块根据网络信道环境调节视频编码器端的输 出码率，并尽可能地提高视频质量。码率控制和率失真优化的一个主要目标 是为视频编码分析和建立率失真模型，在给定的约束条件下，提供高质量的 压缩视频。下面介绍h 2 6 4 码率控制模型( j v t - g 0 1 2 ) 。 2 4 1 h 2 6 4 的码率控制基础 在介绍h 2 6 4 码率控制算法前，先介绍以下基本概念： 2 4 1 1 基本单元( b a s i cu n i t ) ： 假设一帧由帆毓个宏块组成，一个基本单元定义为一组由帆加。豇个邻近 宏块组成，其中卅。豇是虬毓的一部分。如果一帧的基本单元的个数是肼虚， 则有： 心血= ( 2 一1 ) j vm b u n t 一个基本单元可以是一个宏块、一片、一场或一帧。例如，假设有一个 q c i f 大小的视频序列，虬幻记为9 9 。依照定义，以蛔n 可以是l 、3 、9 、i i 、 3 3 或9 9 。相应的l 。豇为9 9 、3 3 、1 l 、9 、3 和1 。在码率控制中使用基本单 元作为码率控制的最小单元。 需要注意的是，如果使用一个大的基本单元，可以取得高p s n r 值，但 是比特波动也大；如果使用一个小的基本单元，比特波动相应减少，但是 p s n r 会明显降低。 2 4 2 2 流量往返模型 流量往返模型用来计算当前编码帧的目标码率。用表示一个图像组 ( g o p ) 总共的帧数，吩( f = 1 ，2 ，_ ，= l ，2 ，n g o p ) 表示第i 个图像组的第， 帧，e ( 刀“) 表示编码第帧以后虚拟缓冲区的占用情况。可以得到如下关系： 西南交通大学硕士研究生学位论文第1 7 页 b e ( 。) = j 召c ( n i , j ( 叫一掣 眈( 以) = b s 8( 2 - 2 ) b c ( ，l f + l ，o ) = b c ( n ) 其中b ( n i ，) 为第i 个图像组中第j 帧得到的比特数，u ( n i ，) 为v b r 或者 c b r 的可用信道带宽，f 为预先确定的帧率，口，为缓冲区大小。 注意，这里初始缓冲区中的比特数量可以设置成曰，8 ，或其他的值。曰。 是缓冲区的尺寸，它的最大取值是根据不同的p r o f i l e 和l