（通信与信息系统专业论文）h264视频编码码率控制技术研究.pdf

h 2 6 4 视频编码码率控制技术研究 摘要 近年来，数字视频应用产品正迅速渗透到人们日常生活的各个领域，给人们的生产和生 活带来了强大的冲击力。另一方面，视频应用的不断拓展，对视频压缩标准提出了更高要求。 h 2 6 4 作为最新的视频压缩标准无论在编码效率、质量还是网络接入性能上都取得了巨大 提高。同时，随着通信技术和网络技术的发展，视频传输不再局限于传统的固定带宽信道， 基于i n t e m e t 网络的多媒体业务成为当前非常重要的应用领域。这些应用环境的不同给视频 编码的码率控制研究提出了更大的挑战。本文的研究工作是从h 2 6 4 出发，围绕不同应用环 境和要求下的码率控制问题展开。在深入分析h 2 6 4 码率控制的难点后，针对c b r 信道的 实时比特分配码率控制技术误码信道下联合误码抵抗的码率控制和v b r 视频的联合信源 信道码率选择提出自己的见解。 本文首先介绍了h 2 6 4 中采用的先进编码技术和算法特征，重点描述了h 2 6 4 中与整数 类d c t 变换相结合的新型量化策略；然后分析了信源编码的率失真基本理论和量化失真的 理论模型，由此引出了码率控制中常用和比较经典的码率一量化( r - q ) 计算模型和失真一量 化( d - q ) 计算模型，并阐述了率失真理论在视频压缩编码领域的编码参数选择和码率控制中 的应用；最后对码率控制的一般问题进行描述并介绍了h 2 6 4 现有的两种主要的码率控制 策略，分别为基于t m 5 的和基于二项式率失真模型的方法，为后文系列的对比实验提供 了依据。 然后，针对c b r 信道的应用环境，对h 2 6 4 提出一种基于直方图码率模型的c b r 码率 控制方法。先结合h2 6 4 的编码特点提出一种新颖的码率模型，此模型使用前后两帧图象直 方图对应位置值的平均绝对差( m a d ) 作为帧编码复杂度的测量准则，重点解决了h 2 6 4 中 由于采用了率失真优化模式判别而给码率控制带来的困难。接着分析了目前流行的帧级比特 分配方法，并提出基于虚拟缓冲区的帧级比特分配和基于图像活动性的宏块条比特分配方 法，在此基础上进行宏块条级的量化级调整和基于感兴趣区域的宏块量化级确定。为了提高 算法的有效性和可靠性，避免在场景切换处发生码率控制的失效，此算法加入了对场景切换 的检测；同时，为了更好的实现算法，将率失真优化模式判决中的拉格朗日乘子的计算进行 改进，井结合到上面的码率控制算法中，最终的实验结果证明了此方法的有效性。 接着，针对i n t e m e t 包丢失误码信道的环境，提出基于低码率视频传输的一种联合误码 抵抗的h 2 6 4 比特分配和码率控制方法。首先根据i n t e m e t 包丢失信道的统计分布特征，基 于b e m o u l l i 信道模型，在编码端宏块率失真编码模式判决时，考虑信道失真，这种方法能 有效提高视频流在包丢失环境下的抗误码鲁棒性。接着，为了在误码抵抗的同时进行码率控 制，提出另一种基于运动补偿残差的码率模型，它的提出是针对理想信道的，但是通过分析， 只要经过少许改动，这种码率模型也能用于考虑信道失真的率失真优化帧内模式判决的误码 信道中，而且这种码率模型在理想信道和菲理想信道具有相同的形式。码率控制的关键是要 估计每帧的编码复杂度，于是针对误码信道提出一种快速的宏块编码模式判决方法，阻此来 作为码率控制的依据。最后，为了提高整个视频的解码质量，本方法还采用基于率失真优化 的帧级比特分配方法，并提出宏块条级的量化级计算方法。针对理想信道和非理想信道的对 比实验证明了本方法可以将码率准确地控制在目标码率附近，并且接收端的解码质量明显高 于常用的随机帧内宏块刷新方法。 最后，提出分离码率约束的v b r 压缩视频的联合信源信道码率控制方法。首先分析了 v b r 几种不同的工作模式，指出其各自的特点和适用情况在编解码端缓冲区和网络约束 下提出受限v b r ( c v b r ) 下的联合信源信道码率控制的问题；引入网络漏桶模型( l b ) ， 对h 2 6 4 提出简化高效的v b r 视频信源信道码率控制方法，这种方法的关键是对编解码缓 冲区和漏桶模型对联合信源信道码率选择的约束进行了分离和简化，使得码率控制更加合 理。利用前面推导出的h 2 6 4 码率模型，根据获得一致失真的准则先进行信源码率控制，力 求获得稳定的视频质量；再根据平滑码率和提高统计复用能力( s m g ) 的要求进行信道传 输速率选择。最后，对典型视频测试序列和包含频繁场景切换序列进行实验，实验结果证明 在相同的编码端缓冲区容量下，这种v b r 视频编码方法可以比c b r 编码获得更高的p s n r 和质量稳定性。特别对于场景切换的情况，此方法在场景切换处和不同复杂度的片断中均能 获得较好的性能。 关键词： 视频编码，码率控制，比特分配，率失真优化，场景切换，误码抵抗 s t u d yo nr a t ec o n t r o lf o r h 2 6 4v i d e oc o d i n g a b s t r a c t i nt h er e c e n ty e a r s ，d i g i t a lv i d e op r o d u c t sh a v ep e n e t r a t e dv a r i o u sf i e l d so fd a i l yl i f er a p i d l y , a n di n f l u e n c ep e o p l e sp r o d u c t i o na n dl i f es t r o n g l y o nt h eo t h e rh a n d ，t h ed e v e l o p m e n to f v i d e o a p p l i c a t i o nh a sb r o u g h tf o r w a r dm o r er e q u e s t so nv i d e oc o d i n gs t a n d a r d b e i n gan e wv i d e o c o d i n gs t a n d a r d ，h 2 6 4a c h i e v e sm u c hi m p r o v e m e n ti nc o d i n ge f f i c i e n c y , q u a l i t ya n dn e t w o r k a c c e s sp e r f o r m a n c e a tt h es a m et i m e ，w i t ht h ed e v e l o p m e n to fc o m m t n i c a t i o na n dn e t w o r k t e c h n o l o g y , t h ev i d e on a n s m i s s i o ni sn o tc o n f i n e di nt h et r a d i t i o n a lc o n s t a n tb a n d w i d t hc h a n n e l a n dt h em u l t i m e d i ao p e r a t i o nb a s e do ni n t e r n e th a sb e e na ni m p o r t a n ta p p l i c a t i o nf i e l d t h e d i f f e r e n ta p p l i c a t i o ne n v i r o n m e mb r i n g su pm o r ec h a l l e n g e si nv i d e oc o d i n gr a t ec o n t r 0 1 t h i s t h e s i sf a c e sh 2 6 4a n df o c u so nt h er a t ec o n t r o ld o m a i nu n d e rd i f f e r e n te n v i r o n m e n ta n dr e q u e s t a f t e ra n a l y z i n gt h ed i f f i c u l to fh 2 6 4r a t e c o n t r o l ，t h et h e s i sm a i n l ym a k e sr e s e a r c ho nb i t a l l o c a t i o na n dr a t ec o n t r o lm e t h o df o rc b rc h a n n e l ，j o i n te f t - o rr e s i d e n tr a t ec o n t r o lf o rp a c k e t l o s sc h a n n e l ，a n d j o i n ts o n r c ea n dc h a n n e lr a t es e l e c t i o nf o rv b rv i d e o f i r s t l y , t h e a d v a n c e dc o d i n gf e a t u r e sa d o p t e d b yh 2 6 4 a r ei n d u c e da n dt h en o v e l q u a n t i z a t i o ns t r a t e g yw h i c hi sc o m b i n e dw i t hi n t e g e rd c t - l i k et r a n s f o r mi sd e s c r i b e d b a s e do n t h ea n a l y s i so ft h er a t ed i s t o r t i o nt h e o r ya n dq u a n t i z a t i o nd i s t o r t i o nm o d e li nv i d e oc o d i n g ，s o m e c l a s s i c a lr o t e q u a n t i z a t i o n ( r - q ) c a l c u l a t e dm o d e la n dd i s t o r t i o n - q u a n t i z a t i o n ( d q ) c a l c u l a t e d m o d e lu s e di nr a t ec o n t r o la r ee d u c e d ，a n dt h ea p p l i c a t i o no fr a t ed i s t o r t i o nt h e o r yi nc o d i n g p a r a m e t e r ss e l e c t i o na n dr a t ec o n t r o li ss e tf o r t h t h eg e n e r a lp r o b l e mi nr a t ec o n t r o li sd e s c r i b e d ， a n dt h ec u r r e n tt w or a t ec o n t r o lm e t h o d sf o rh 2 6 4a r ei n d u c e dt op r o v i d ef o u n d a t i o nf o ras e r i e s o f e x p e r i m e n t s ，i n c l u d i n gt m 5 b a s e da n db i n o m i a lr a t ed i s t o r t i o nm o d e lb a s e da l g o r i t h m s s e c o n d l y , b a s e do nc b rc h a n n e le n v i r o n m e n t ，ac b rr a t ec o n t r o lm e t h o di sd e v e l o p e d c o m b i n e dw i t l lt h e h 2 6 4c o d i n gf e a t u r e an o v e lr a t em o d e lw h i c hu s e st h em e a na b s o l u t e d i f f e r e n c e ( m a d ) o fo r i g i n a li m a g eg r e yh i s t o g r a mo fc o n t i n u o u st w of r a m e sa sm e a s u r e m e n tt o e s t i m a t et h ef r a m ec o d m gc o m p l e x i t yi sp r e s e n t e d t h em o d e ls o l v e st h er a t ec o n t r o ld i f f i c u l t y i n d u c e db yt h er a t ed i s t o r t i o no p t i m i z a t i o nm o d es e l e c t i o n a f t e ra n a l y z i n gt h ep o p u l a rf r a m e l a y e rb i ta l l o c a t i o n ，t h ev i r t u a lb u f f e rb a s e df r a m el a y e rb i ta l l o c a t i o n a n di m a g ea c t i v i t yb a s e d s l i c el a y e rb i ta l l o c a t i o na r ep r o p o s e d t h e ns l i c el a y e rq u a n t i z a t i o np a r a m e t e ra d j u s t m e n ta n d i n t e r e s t e dr e g i o nb a s e dm a c r o b l o c kq u a m i z a t i o np a r a m e t e rd e c i s i o na r ed e v e l o p e d i no r d e rt o i m p r o v ev a l i d i t ya n dr e l i a b i l i t y , $ c c l 2 ec h a n g ed e t e c t i o ni sp e r f o r m e d t oa v o i dr a t ec o n t r o lf a i l u r e a tt h es a l n et i m e ，t h ec o m p u t a t i o no fl a g r a n g em u l t i p l i e ri nr a t ed i s t o r t i o no p t i m i z a t i o nm o d e s e l e c t i o ni sm e n d e da n dt h en e wa l g o r i t h mi su s e di nt h er a t ec o n t r o lm e t h o d t h ee x p e r i m e n t s s h o wt h ev a l i d i t yo f o u rm e t h o d t h i r d l y , a i m e da tp a c k e tl o s sh a t e m e tc h a n n e l ，a j o i n te r r o rr e s i l i e n th ，2 6 4b i ta l l o c a t i o na n d r a t ec o n t r o ls c h e m eb a s e do nl o wb i tr a t ev i d e ot r a n s m i s s i o ni sd e v e l o p e da c c o r d i n gt ot h ep a c k e t 1 0 s ss t a t i s t i c sf c a t o r e so v e ri n t e r a c ta n db e r n o u l l ic h a n n e lm o d e l ，t h e c h a n n e ld i s t o r t i o ni s c o n s i d e r e dw h e np e r f o r m i n gm a c r o b l o c kc o d i n gm o d es e l e c t i o n t h ec o d i n gm o d es e l e c t i o n a l g o r i t h mc a l lr e s u l ti nb e t t e re r r o rr o b u s t n e s s 。a n o t h e rr a t em o d e li sp r e s e n t e dt o 如j o i n te r r o r f e s i l i e n tr a t ec o n t r 0 1 t h em o d e li sa i m e da ti d e a lc h a n n e la n di ti sa l s oa p p l i e dt ot h ee r r o rp r o n e c h a n n e lw h i c hu s e st h eu p p e re r r o rr e s i l i e n tm e t h o d i na d d i t i o n ，t h er a t em o d e lh a st h es a m ef o r m i nt h et w ot y p ec h a n n e l s t h ek e yp o i n to f r a t ec o n t r o li st op r e d i c tt h ec o d i n gc o m p l e x i t yo f e a c h f r a m e af a s tm a c m b l o c kc o d i n gm o d ea d j u s t m e n tm e t h o di sp r o p o s e dt op r o v i d er e f e r e n c ef o r r a t ec o n t r o l + i ao r d e rt oi m p r o v et h ed e c o d e dq u a l i t y , af r a m el a y e rb i ta l l o c a t i o nb a s e do nr a t e d i s t o r t i o nc h a r a c t e ra n ds l i c el a y e rq u a n t i z a t i o np a r a m e t e rc a l c u l a t i o ns c h e m ea r ei n t r o d u c e d t h e e x p e r i m e n t sa r ec a r r i e do u to v e ri d e a lc h a n n e la n dn o n i d e a lc h a n n e l t h er e s u l t sd e m o n s t r a t et h a t t h eb i tr a t ec a l lb ec o n t r o l l e da c c u r a t e l ya n dt h ev i d e oq u a l i t yi nt h er e c e i v e ri sb e t t e rt h a nt h e r a n d o mi n c ab l o c ku p d a t em e t h o d ， f i n a l l y , aj o i n ts o u r c ea n dc h a n n e lr a t ec o n t r o lm e t h o df o rv b rv i d e oi sd e v e l o p e d tt h e s e v e r a lv b rd i f f e r e n tm o d e so fo p e r a t i o na r ea n a l y z e d ，a n dt h e nt h e i rc h a r a c t e r sa n da p p l i c a t i o n o c c a s i o na r ei n d i c a t e d t h ej o i n ts o l n c ea n dc h a n n e lr a t ec o n t r o li s s u eo fc o n s t r a i n e dv b r ( c - w r ) c o n s t r a i n e db ye n c o d e r 、d e c o d e rb u f f e ra n dn e t w o r ki sp o i n to u t b yi n t r o d u c i n gl e a k y b u c k e t ( l d m o d e l , as i m p l ev b r v i d e or a t ec o n t r o lm e t h o df o r h 2 6 4i sp r o p o s e d t h i sm e t h o d c a nm a k er a t ec o n t r o lp r o c e s sm o r er e a s o n a b l eb ys i m p l i f y i n gt h ec o n s t r a i n t so ns o n r c ea n d c h a n n e lr a t ei m p o s e db yb u f f e ra n dl b t h es o u r c er a t ec o n t r o li sp e r f o r m e du n d e rt h eg u i d a n c e o fo b t a i nc o n s i s t e n td i s t o r t i o na n dt h u sc o n s i s t e n tv i d e oq u a l i t y ；t h ec h a n n e lr a t es e l e c t i o ni s p e r f o r m e du n d e r t h eg u i d a n c eo f s m o o t h i n gb i t st r e a ma n di n c r e a s i n gs t a t i s t i c a lm u l t i p l e x i n gg a i n ( s m g ) b ys i m u l a t i o ne x p e r i m e n t so nt y p i c a lt e s ts e q u e n c e sa n ds e q u e n c ew i t hs e v e r a ls c e n e c h a n g e s ，t h ev b rv i d e oe n c o d i n gs t r a t e g yc a na c h i e v eh i g h e rp s n ra n ds m o o t h e rv i d e oq u a l i t y c o m p a r e dt oc b rv i d e ot m d e rt h es a m ee n c o d i n gb u f f e rs i z e e s p e c i a l l y , t h i ss t r a t e g yc a no b m i n b e t t e rp e r f o r m a n c ea ts c e n ec h a n g ea n ds e q u e n c ew i t hd i f f e r e n tc o m p l e x i t y k e yw o r d s ：v i d e oc o d i n g ，r a t ec o n t r o l ，b i ta l l o c a t i o n , r a t ed i s t o r t i o no p t i m i z a t i o n ，s c e n ec h a n g e ， e i t o rr e s i l i e n t 上海交通大学学位论文答辩决议书 申请者李蔷 所在学科( 专业) i | 通信与信息系统 论文题目h 2 6 4 视频编码码率控制技术研究 答辩日期 2 0 0 5 0 3 一0 1 0 答辩地点 i i 上海交通大学浩然大厦 答辩委员会成员 担任职务姓名职称 所在工作单位各注签名 上海大学通信及信息工程学 螂 主席张兆杨教授 无 院 委员刘允才教授上海交大图像所 无 a j 曹毋 委员王治钢研究员中国航天集团第8 0 9 研究所无 - 4 懒 委员宋文涛教授上海交大电子工程系 无生文渊 委员许鹤群教授东华大学计算机系无彳 上海交大电子工程系图象通 委员 周源华 教授无 闭承矧 信所 上海交大电子工程系图象通 恻 委员方向忠教授 无 信所 评语和决议： h 2 6 4 的视频编码和传输技术是当前研究热点之一，论文选题有重要的理i ：仑意义和应用 前景。 论文霓点研究了h2 6 4 视频编码的码率控制技术，取得了以下创新性成果：论文针对 c b r 信道提卅了一种基于直方图的码率模型，在此基础上，提出了- - 帷i 一对c b r 信道的码 率控制方法，包括基于虚拟缓冲区的帧级比特分配基于编码复杂度的宏块务比特分配和量 化级计算等，并结合了场景变换检测：针对i n t e m e t 信道，提出一种基于运动补偿残差的码 率模型，在此基础上捉出了结合误码抵抗的码率控瓤方法：针对h2 6 4 ，提出一种分离码率 约束的v b r 编码联合信源信道码率控制方法，对场景切换序列获得高和稳定的视频质量。 该论文理论分析正确，条理清楚，实验数据可靠。论文体现作者已掌握了本学科及相关 领域呸实宽广的理论基础与系统深入的专门知识，独立从事科研工作的能力较强。 ： 在答辩过程c h 叙述清楚，有条理，并能正确回答各答辩委员韵提问，经答辩委员会： ，无记名投票，一致通过李蔷同学的博士学位论文答辩，建议校学位评定委员会授予李蔷同学 工学博士学位。 f nj ， 答辩委员会主彩 7 删( 签名) 洲碑夕少日 h + t n w v l wz s ( ，h n ( ) ! si t u ，e d uc n 0 l d s i t e n e w p r i n t c o n c l u d e p a p e ti a s p ? 2 0 0 5 2 2 8 参考变量和缩略语表 应。：p 帧类型加权系数 k 口：b 帧类型加权系数 n j , ：当前g o p 中剩余的未编码的p 帧个数 n s ：当前g o p 中剩余的未编码的b 帧个数 蜀：i 帧编码复杂度 x p ：p 帧编码复杂度 以：b 帧编码复杂度 r g ：当前g o p 所分配的比特数 r s ：编码的目标比特率或者信道速率 m ：上一编完帧的实际比特数 f ：编码的目标帧率 ：为一个g o p 中的帧数或整个序列的帧数 月：上一个g o p 编码后剩下的比特数 q p f 一第j - 1 个宏块的量化参数 q p j ：第个宏块预测的量化参数 r ：响应参数 当前虚拟缓冲区的充溢度 j r 。：当前图像帧已编码宏块所产生的实际比特数 m ：一帧图像中的宏块数目 r s ( f ，”) ：第i 个g o p 第”帧编码前的信道可利用码率 s ( i ，n 一1 ) ：第i 个g o p 第一帧的实际生成码字； r g ( f ，1 ) ： 第i 个g o p 的预分配码率； b 。( f ，”) ：第i 个g o p 第n 帧编码前的缓冲区状态 b 5 ：缓冲区大小 t b ( i ，n + 1 ) ：预期第i 个g o p 第n 帧编码完成后的目标缓冲区充溢度 x p ( f ，n ) ：当前第i 个g o p 第 帧编码前最新的p 帧复杂度测度 肖b ( f ，n ) ：当前第i 个g o p 第h 帧编码前最新的b 帧复杂度测度 h 。：前一编码帧的头信息所产生的实际比特数 h i 一1 ，力：前一编码帧中宏块，的头信息比特数 d ( m ，iq p ) ：量化级为q _ p 时宏块以m 。模式编码引起的失真 r ( m ，| 璺i p ) ：量化级为q p 时宏块以脑模式编码所用的总比特数 z f t i ：当前编码帧的灰度直方图 z f t i ：上一帧的灰度直方圈 m a d e ：基于直方图的当前编码帧编码复杂度测度 r ：当前帧的目标比特数 ：编码缓冲器的充盈度 毋 。：前一编码帧实际花费的比特数 既。：编码前一图像时缓冲器的充盈度 见：图象序列编码剩余的比特数 疋：视频序列时间长度 见：第。个i 帧编码产生的比特数 ：视频序列剩余的编码帧数 月。：每个p 帧图像的平均可用编码比特数 b ：缓冲区的大小 d ：目标比特和实际产生比特之间的差值 ，。：滑动窗的长度 z ；滑动窗的目标比特数 置：当前帧第i 个宏块条的预测编码复杂度 马，：第i 帧第，个宏块条的实际比特数 q ，：第i 帧第，个宏块条的实际量化级 互。：第i 帧第，个宏块条的目标比特数 札：一帧中宏块条的个数 q o ：第一个g o p 的i 帧量化级 q g 0 尸：上一个g o p 中所有帧的平均量化级 q ，：当前i 帧的量化级 q 。：上一帧的平均量化级 m a d 妒一p 。：上一帧的m a d 卵 a 纠一。：当前帧的m a d 珈 q 。：当前帧前i 个宏块条的平均量化级 ：当前编码帧 上象素点i 的原始值 z ：当前帧”编码端象素点f 的重建值 z ：当前帧”解码端象素点i 的解码重建值 b ：量化失真 d ，：信道失真 p ，：包丢失概率 ，：丢失包的数目 ，：正确接收的包的数目 歹2 ，：当前象素点的最佳运动匹配参考点 ：当前象素点运动估计后的残值 口：考虑信道失真每帧i n t r a 宏块的个数 风：不考虑信道失真每帧i n t m 宏块的个数 d ( q ) ：量化失真函数 r ( q 1 ：码率函数 b 五：第i 帧快速宏块模式判别产生的第 个宏块条的编码比特数 r j ：第i 帧快速宏块模式判别产生的帧的比特数 q j ：第i 帧的量化级 兄：第i 帧的编码比特数 e ：平均输出码率 。：漏桶的容量 e ：第f 帧图像编码期间的信道传输速率 彤：在第f 帧图像编码后编码端缓冲器充溢度 b ：。：编码端缓冲器的容量； 影：在第f 帧图像编码后解码端缓冲器充溢度 b ：。：解码端缓冲器的容量； ：端到端的延迟 c b r ：恒定比特率 v b r ：可变比特率 l d ：漏桶模型 v l c ：变长编码 c a b a c ：基于上下文的算术编码 c a v l c ：基于上下文的变长编码 v c l ：视频编码层 n a l ：网络适应层 q p ：量化级 m a d ：平均绝对误差 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“ 厂”) 学位论文作者签名： 孝篙 日期：艇年3 月7 日 指导魏食删l 日期：灯年 月神 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中巴经注明引用的内容外，本 论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 毒薷 日期：2 一f 年3 月7 日 上海交通大学博士学位论文 2 0 0 4 年1 1 月 1 1 引言 第一章绪论 近年来计算机和通信技术的发展使得数字视频压缩编码技术取得了令人瞩目的进展， 其应用己渗透到通信、多媒体、广播电视和计算机等各个领域，并在这些领域中引起了巨大 的变化。 视频压缩技术标准化是实现产业化的前提和基础。二十世纪九十年代以来，盯u t 和i s o 4 定了一系列视频压缩编码的标准和建议，这些标准和建议的制定极大地推动了视频通信技 术的实用化和产业化。u t 推荐委员会制定的大多数标准都是为实时视频通信应用的，例 如h 2 6 1 和h 2 6 3 t 2 】：另一方面，i s o 的m p e g 标准大多是为视频存储、广播视频和视频 流应用而制定的标准，包括m p e g 1 3 、m p e g _ 2 4 , 5 和m p e g 4 t 6 3 1 等等。 个人视频电话是数字视频压缩标准所瞄准的第一个应用。h ，2 6 1 发布于1 9 9 0 年一距j u l e s v e m e 写下视频电话思想有1 0 1 年，比它预测的提前了8 9 9 年【8 】。h 2 6 1 的主要应用是对以 6 4 k b p s 和2 m b p s 之间的速率在 s d n 线上传输的视频会议进行视频编码。h 2 6 3 扩展了 h 2 6 1 ，并且增加了许多特性，因此使编码视频能够以低于5 6 k b p s 的速率在模拟电话线上传 输。m p e g - 1 也源于h 2 6 1 ，它增加了半象素运动补偿、b 图像的双向预测以及其他的改善， 以便满足大约12 m b p s 速率的编码视频以及c i f 分辨率的c d r o m 上的消费视频豹需求。 m p e g - 2 是第一个能以全电视和h d t v 分辨率编码隔行视频的标准，它主要应用于火约 4 m b p s 速率的t v 广播以及1 5 m b p s 的高质量视频方面。基于m p e g 2 和h 2 6 3 的m p e g 。4 视频编码标准引入基于对象的功能，不仅用运动和纹理，而且用形状来描述视频对象。 由于终端的计算能力不断增加，标准化组织一直在寻求更好的标准。近年来1 1 u t 和 i s o 两大组织共同合作，在2 0 0 1 年成立联合视频工作组( y v t ) ，开发了新一代的视频压 缩标准h 2 6 4 t 。h 2 6 4 吸收了以往各种编码方案，特别是m p e g - 2 和h 2 6 3 + + 的优点，并在 语法结构、编码预测算法、数据变换输出方式等方面进行了很大改进，在编码效率和质量上 都取得了巨大提高。同时h 2 6 4 标准可以支持各种视频应用，如低延迟模式的视频会议、高 清晰度电视广播、高处理延迟模式的视频存储等。由于采用了数据划分，该标准还具有较强 的容错能力。可以这样说，h 2 6 4 a v c 标准已经超越了现有的所有视频编码标准，在工业 界得到广泛应用已经成为大势所趋，因此本文就针对h 2 6 4 这一标准进行深入研究。 t t 2 6 4 视频编码码率控制技术研究第一章绪论 码率控制技术是视频压缩领域的一个重要课题。视频压缩标准中并没有对码率控制部分 进行定义，而且针对各种应用环境的不周，码率控制的任务也不尽相同，因此本文针对h 2 6 4 在不同应用下的的码率控制技术展开研究。 1 2 视频压缩编码技术的发展 1 2 1 视频压缩编码的基本原理 数据压缩的目的就是用尽可能少的数据来表达信息，节省传输和存储的资源。研究表明， 视频数据中存在着大量的冗余，也就是说视频数据在亮度和色度信息方面存在极强的相关 性。如果我们采取一些技术手段去除这些冗余能极大减少原始的视频数据量。而且，许多 应用领域通常允许有一定的失真，再加上利用人眼特有的视觉特性，就可以在保证重建图像 质量的前提下，进一步提高压缩比。视频数据主要存在以下形式的冗余旧： ( 1 ) 空间冗余：视频图像序列中的某帧图像的某一象素的亮度和色度信息，与同一 帧的另一象素之间存在着相关性。例如同一景物表面相邻象素问的亮度和色度值往往存在空 间连贯性。 ( 2 ) 时间冗余：视频序列中的某帧图像的某一象素的亮度和色度信息，与其在时间 轴上相邻帧相应位置的象素之间存在相关性。例如对于某一帧图像上的背景和活动物体，在 它相邻帧图像上也存在，只是活动物体的空间位置有所改变而已。 ( 3 ) 结构冗余：在某些图像的纹理区，图像的象素值存在着明显的分布模式。例如， 方格状的图案等等。已知分布模式，可以通过某一过程生成图像。 ( 4 )知识冗余：有些图像的理解与某些知识有相当大的相关性。例如人脸的图像有 固定的结构，这类规律性的结构可由先验知识和背景知识得到。 ( 5 ) 视觉冗余：这是从人眼的视觉特性方面考虑产生的冗余。比如人眼对亮度的敏 感度要远远大于对色度的敏感度；随着空间变化频率的提高，人眼对细节分辩能力下降等等。 从信息论的角度看，压缩就是去除信息中的冗余，保留不确定的信息，去除确定的、可 推知的信息，用一种更接近信息本质的描述来代替原有冗余的描述。压缩编码的理论基础就 是信息论，它充分利用图像本身固有的统计特性和人的视觉系统特性来减少图像信息的冗余 度并获得满意的图像重建质量。图1 - 1 是视频压缩编码的基本原理框图。 塑蜜坠型耋丝堡_ 一：。：些型望 图i l 视频压缩编码原理图 f i g 1 1f r a m e w o r ko f v i d e oc o m p r e s s i o n 首先对输入的原始数据进行时间或空间预测，然后再将预测后得到的误差进行正交变 换，获得一系列变换系数。在变换过程中，使变换系数能量相对集中，再对其变换系数进行 区域量化，按其所舍能量大小分配不同的数据量去描述，这样可以提高压缩比。最后用熵编 码器进行二进制编码，其目的在于寻找一种编码方法最大限度地去除量化后数据的符号冗 余度，输出最终的压缩数据。这种压缩方法是所有国际视频压缩标准的核心，它主要应用了 视频图像的统计特性。当然，按照压缩冗余信息的机理不同，视频压缩编码方法可以分成好 几类，下节将详细说明。 1 2 2 视频压缩编码方法回顾 压缨编弱静发展嚣程是 美番农壤崽德凳窭发熹，不戮宠蒋静过程，编羁方法大致分为 以下三类f l j ： ( 1 )着眼于信源的统计特性，主要有预测编码、变换编码、矢量量化编码、熵编码、 子带- b 波编码等等： ( 2 )麓眼予a 疆程觉特性，主要寄基于方向滤波翦豳像缡码方法帮基予翻像轮辩一 纹瑾瓣编磷方法等等； ( 3 )着眼于图像传输的内农特征，主要有分形编码、基于内容的编码方法等等。 第一搬方法的基本思路是将圈像信号看成不规则的统计信号，从象素之间棚必性这一图 像信号统计模型出发，也有人将农们视为第一代图像编码方法，这是低层次的压缩方式；第 二粪帮第三粪方法考虑蔗惠接受毒黪生鼹特莲翻视频菠镪客懿攀 警本身静具体禽义，也毒a 将它们橇为第二代匿像编码方涟f 2 l ，也可以称为模型编鹦。模型编码方法代表麓新一代的 压缩方式，是近年最活跃的研究锁域 1 3 , 1 4 。下面对以上撼别的各种压缩方法进行简要回顾。 预测编码c 1 5 - 1 7 1 叉称为差分脉冲编码调制p p c m ) ，熊理论基础是高阶m a r k 。v 过程和 w i e n n e r 线性滤波理论。预测编码中，编码嚣对当翦样本德辎预测值之间韵差值信芍避芎亍p c m 壤筠著黄翰；瓣玛器将姨鹫夔羁字躺辑并与颈瓣蓬程热，樽到震建撵本篷。臻涮缡鹨之辑基 能够达到聪缩数据的目的，源于这样个事实：预测信母的标准差要远小于原始鞠像数据的 h2 6 4 视频编码码率控制技术研究 第一章绪论 标准差。因此，对误差信号进行可变长编码便可达到压缩数据的目的。对于视频信号而言， 利用前后帧之问在时间轴上的相关性进行帧间预测，再辅助以运动估计和运动补偿技术，则 可进一步压缩数据。预测编码的特点是算法简单，易于硬件实现，但是编码压缩比不太高， 而且误码易于扩散，抗干扰能力差。 变换鳊诵f 8 r 2 是将骧始盈豫转换 变换域，再对变换域巾的变换系数避 亍萋诧缡稻。一 般来说，在变换域中能量总是比空间域更为集中，而且能萤往往集中于少量几项系数，因而， 只要在变换域中保留少数几项系数，繁弃包含能量少的系数，则经反变换后仍能得l 舯好的 重建图像。考虑到图像中像素间的相共性，变换编码通常对予像块进行。显然，变换编码器 熬挂瞧取决予赞翔静基函鼗，一个好瓣嶷换应该壤好豹去狳欲鲎纯接号匏翅关戆，蜀蠢要把 原始象素块的能黄尽量集中耐少数的几个系数上。在这些礁刘下最好的变换是k l t ，它是均 方误差最小激义下的晟佳变换。但避，因为k l t 取决于信号的二阶统计特性且难以计算，因 此几乎所有的熬于变换的图像编码器都用性能最接近k l t 的d c t 变换。 矢量爨纯”不仅是作为量化器设计两提出的，更重豢的是 乍为压缩编码