（信号与信息处理专业论文）h264avc中自适应宏模块编码和码率控制算法的研究.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 视频压缩编码的主要目标就是在比特率受限条件下，尽量使编码失真最小。为了取得 最优化的压缩效率，确保编码数据在信道成功传输，并在接收端获得最佳的视频质量，率 失真优化和码率控制技术具有重要的地位。h 2 6 4 a v c 宏块编码采用率失真优化策略，在 多种编码模式中众里挑一，使得编码效率取得了最优。然而，h 2 6 4 a v c 定义的宏块类型 较多，各种精细预测技术的采用加上率失真技术的自身特点导致计算复杂度成倍增长，编 码时间大大增长。另外，实验证明同一帧的宏块之间具有显著差异性，这类差异的宏块采 用相同量化参数编码显然不是最理想的。 本文实验统计多种q c i f 测试序列的编码结果，分析发现不论图像类型是i 、p 还是b 帧，图像编码的宏块类型在空间域都具有极强的相关性。为更好地分析宏块类型的相关性， 本文分别引入方差度量i 帧宏块的空域复杂性，绝对差分牙i ( s a d ) 度量p b 帧宏块的时域 活动性。然后根据宏块的活动性或复杂性制定出宏块类型预侧的准则。依照这些预测准则， 本文基于宏块类型空域预测，对率失真算法进行改进，并在h 2 6 4 止w c 验证模型j m 8 6 上 实现了改进后的自适应算法。大量的实验表明，改进后的自适应算法不仅大大提高了图像 编码的速度，而且图像编码质量和压缩效率基本不受太大影响。从而使率失真优化算法的 缺陷得到了改善，极大提高了编码器的工作效率。另外，为了进一步提高码率分配的合理 性，根据p 帧宏块活动程度的显著差异性，本文提出在宏块级采用自适应量化策略，对j m 8 6 码率控制算法做出了改进。最终的实验结果表明，宏块的自适应量化改进了图像的编码质 量，而且使得输出的码率更加接近目标比特率。 关键词：视频压缩编码；视频质量；率失真优化；码率控制；宏块类型；预测编码；h 2 6 4 a v c 堕型塑堡堡娑塑堕一一 竺型 i l c i 一一 u 5 u a b s t r a c t t h em a i no b j e c to fv i d e oc o d i n gi st om i n i m i z et h ed i s t o r t i o ns u b j e c tt oa c o n s t r a i n tb i tr a t e r a t e - d i s t o r t i o na n a l y s i sa n dr a t ec o n t r o l p l a yak e yr o lei nv i d e oc o d i n ga n dc 0 1 1 1 1 1 u n i c a t i o n 8 y s t e m sb yp r o v i d i n gt h er a t e d i s t o r t i o n o p t i m i z e dc o m p r e s s i o np e r f o r m a n c e ，a s s u r i n gt h e 8 u c c e s s f u ln e t w o r kt r a n s m i s s i o no ft h ec o d e d v i d e od a t a ，a n da c h i e v i n gt h eb e s tv i s u a lq u a l i t va t t h e r e c e l v e r a m o n gv a r i o u sm a c l o b l o c kt y p e s ，h 2 6 4 a v co b t a i n st h eb e s te o m d r e s s i o n p e r f o r m a n c eb yt h er a t e d i s t o r t i o n o p t i m i z a t i o n ( r d o ) a l g o r i t h m h o w e v e r , d u e t ot h e c h a r a c t e r i s t i co fr d o a l g o r i t h ma n dt h eu s eo fs o m er e f i n e dm o t i o ne s t i m a t i o nm e t h o d s t h e c o m p u t a t i o nc o m p l e x i t yi n c r e a s e sl i n e a r l yw i t ht h en u m b e ro fm a c r o b l o c k ( m b ) t y p e ，a 1 1 dt h e v i d e op r o c e s s i n gt i m ei n c r e a s e s g r e a t l y i na d d i t i o n ，m ba c ，t i v i t yc h a r a c t e r i s t i ci s d i s t i n c t l y d l f f e r e n ta m o n gt h em b si nt h es a m ef r a m e t h es a m eq u a n t i z a t i o np a r a m e t e ri su s e df o ra 1 1t h e m b s ，a p p a r e n t l yi ti sn o tp e r f e c t i nt h i st h e s i s ，f r o mt h ee x t e n s i v ee x p e r i m e n tr e s u l t so f v a r i o u sq c i fv i d e ot e s ts e q u e n c e ，i t 1 sc i e a rt h a tt h e s t r o n gc o r r e l a t i o no fm bt y p ee x i s t si ns p a t i a ld o m a i n ，n om a t t e ri n t r aif r a m eo r i n t e rp bf r a m e i no r d e rt oa n a l y z et h em b t y p er e l a t i o n s h i pb e t w e e nt h en e i g h b o rm b s m e a n o fs q u a r e dd i f f e r e n c ea n ds u mo fa b s o l u t ed i f f e r e n c e ( s a d ) a r e i n t r o d u c e dt om e a s u r ec h e c o m p l e x i t yo fm bi nif r a m eo rt h ea c t i v i t yo fm bi np bf l a m e ，r e s p e c t i v e ly t h e nt h es t r i c t p 。e d l c t l o nr u l ei ss e td o w n f i n a l l y , a na d a p t i v em be n c o d i n ga l g o r i t h mi s p r o p o s e db a s e do n m bt y p es p a t i a ld o m a i np r e d i c t i o n a n dt h e a l g o r i t h mi si m p l e m e n t e do nh 2 6 4 a v ct e s tm o d e l j m 8 6 e x t e n s i v ee x p e r i m e n t a lr e s u l t ss h o wn o to n l yv i d e oc o d i n gt i m e d e c r e a s e sg r e a t ly b u t a l s ov i d e oq u a l i t ya n dc o m p r e s s i o n p e r f o n n a n c er e t a i nn ow o r s i ：a c c o r d i n g l y , t h ed i s a d v a n t a g e o fr d o a l g o r i t h mi sl e s s e n e ds ot h a tt h ee n c o d e rw o r ke f f i c i e n c yi s i m p r o v e de f i f e c t i v e lv i n a d d i t i o n ，d u et ot h ed i s t i n c td i f f e r e n c ea m o n gt h em b si nt h es a m e f r a m e ，i no r d e rt oi m d r o v eb i t a l l o c a t l o n ，o n em b l a y e ra d a p t i v e q u a n t i z a t i o ns t r a t e g yi sp r o p o s e db a s e do nj m 8 6r a t ec o n t r o l a l g o r i t h m t h ee x p e r i m e n t a lr e s u l t ss h o wt h em o d i f i e da l g o r i t h m i m p r o v e st h ev i d e oq u a l i t ya n d e n s u r e st h eo u t p u tb i ts t r e a mm o r ec l o s et ot a r g e tb i tr a t e i ( e yw o r d s ：v i d e 。c o d i n g ；s l l a lq u a l i t y ；r a t e d i s t 。r t i ( ) n o p t i m i z a t i 。n ；r a t ec o n t r ol ： m a c r o b l o c kt y p e ；p r e d i c tc o d i n g ；h 2 6 4 a v c i i 南京邮电大学硕士研究生学位论文第一章绪论 1 1 课题背景和研究意义 第一章绪论 2 0 世纪9 0 年代以来，数字视频技术在i n t e m e t 、通信等众多领域获得了广泛的应用。 2 1 世纪是一个数字信息化时代，随着社会的发展及科技的进步，视频信息的应用范围越来 越广泛。比如视频会议、远程视频监控、基于网络的流媒体的传播等，这些都需要用到大 量的视频信息。数字信息化进程几乎已经渗透到全世界的各个角落，它改变了人们的工作 与生活方式。信息化时代的一个主要特点就是广泛的融入了多媒体技术，随着多媒体业务 和移动通信的迅猛发展与不断拓展，视频信息技术与多媒体技术已经成为当前我国信息科 学的一个研究热点。 技术的发展和人们的需求总是相辅相成的，近年来多媒体通信业务的发展离不开两大 因素：宽带网络的迅速发展和视频压缩技术的快速进步。在有限的网络带宽资源下，视频 压缩技术的发展成为获得更高视频质量和传输速度的重要保证之一。 众所周知，多媒体信息包括文字、声音、图像等内容，而视频信息作为多媒体信息的 重要组成部分具有一系列优点，如直观、准切、形象、高效、广泛等。因为视觉是人们获 取信息最为重要的途径，整个世界各式各样的信息很大部分都是通过视觉而感知的。但 是视频信息的信息量太大，未经压缩的数字视频基本上没有什么实用的价值。为了使视频 得到有效的应用，必须首先解决视频压缩编码的问题，其次解决视频压缩后如何保证视频 一、一一一一一一一 质量的问题。而这二者又是相互矛盾、相互制约的。为此，人们付出了巨大的劳动。从1 9 8 4 年c c i t t 公布的第一个视频编码国际标准以来，至今已经过2 0 多年。经过世界众多专家 和学者的共同协作和刻苦钻研，多媒体视频压缩技术取得了巨大的发展。但是总体来讲， 视频压缩和质量之间的矛盾还不能很好的解决，视频通信和数字电视这两大领域的发展仍 不尽如人意。2 0 0 3 年3 月，i t u 。t i s o 公布了t t 2 6 4 视频压缩标准，由于其具有比以往标 准更出色的性能，被称为新代视频编码标准。与以往的h 2 6 3 和m p e g 4 相比，在同样 质量下，其码率能降低一半左右；或者说在同样码率下，其信噪比明显提高。 作为新一代的视频压缩编码标准，h 2 6 4 对多编码模式、编码参数自适应选择、上下 文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤波以及抗误码能力等方面 进行了精雕细刻，采取了一系列切合实际的技术措施，大大提高了编码效率和网络自适应 能力。 南京邮电大学硕士研究生学位论文 1 2 压缩编码技术的发展历程 第一章绪论 1 2 1 发展背景 1 9 4 8 年，香农( s h a n n o n ) 等人联合发表了对电视信号进行脉冲编码调制( p c m ：p u l s e c o d em o d u l m i o n ) 的论文，标志着数字图像压缩编码技术的开始。 1 9 5 2 年，贝尔实验室的c c c u l t e r 取得了差分脉冲编码调制( d p c m ：d i f f e r e n t i a lp u l s e c o d em o d u l a t i o n ) 系统的专利，奠定了预测编码系统的基础。 1 9 6 8 年，h c a n d r c w s 等人基于大多数自然图像的高频分量相对幅度可能较低，可完 全舍弃或只用少数码字编码而失真不是很大的认识，提出了：不对图像本身进行编码，而是 对其二维离散傅立叶变换( 2 d d f t ) 系数进行编码和传输。此后，相继出现了性能更佳的沃 尔什一哈达玛( w a l s h h a d a m a r d ) 变换、k l ( k a r h u n e n l o e v e ) 变换、二维离散余弦变换( d c t ： 等。其中，1 9 7 4 年，n a h m e d 等人提出的二维离散余弦变换( d c t ) 奠定了当前视频标准变 换编码的基础。 1 9 6 9 年，在美国召开的首届“图像编码会议”表明图像编码以独立的学科跻身于学术 界。接下来的时间里，对图像编码技术的研究进入了高峰。7 0 年代开始了对帧间预测编硅j 的研究；8 0 年代开始了对运动补偿( m c ：m o t i o nc o m p e n s a t i o n ) 所用的运动估计( m e ：m o t i o n e s t i m a t i o n ) 算法进行研究等等。 1 9 9 0 年，正式通过了国际电话电报咨询委员会( c c i t t ，现已并入国际电信联盟i t u ) 在1 9 8 8 年形成草案的i t u th 2 6 1 建议。h 2 6 1 建议是运动图像编码技术4 ( ) 年研究的结 晶，标志着图像编码技术开始走入应用。随后出现的m p e g 一1 、m p e g 一2 、h 2 6 3 、m p e g 一4 、 h 2 6 4 a v c 等视频标准都是建立在h 2 6 1 的基础上发展和改进的。 1 2 2 一些相关技术 除了在时域和空域上存在大量冗余外，视频还存在信息熵冗余( 或称编码冗余) 、视觉 冗余、知识冗余和结构冗余等。 视频编码的主要目的是在保证一定重构质量的前提下，以尽可能少的比特数来表征视 频信息。整个处理过程的核心思想是去相关：即降低视频信息的冗余度，实现对视频的压 缩编码。 视频压缩编码是以香农( s h a n n o n ) 信息论为基础的。一般而言，信源编码的方法按照 堕室堂皇查兰婴主塑壅圭兰焦笙苎茎二望丝望 压缩数据能否被准确恢复分为两：大类：无损压缩和有损压缩。所谓无损压缩，是利用数据 的统计冗余进行压缩，可完全回复原始数据而不引起任何失真，但压缩率是受到数据统计 冗余度的理论限制，十分有限。常用的无损压缩方法有s h a n n o n f a n o 编码，h u f f m a n 编 码，游程( r u n - l e n g t h ) 编码，l z w ( l e m p e l 。z i v w e l c h ) 编码和算术编码等。有损压缩是 利用了人类对图像或声波中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信 息：虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像的影响缩小，却换来 了大得多的压缩比。有损压缩广泛应用于语音，图像和视频数据的压缩。在实际应用中通 常都是将二者结合使用，视频压缩编码也不例外。 视频压缩编码的方法主要有以下几种： f 1 ) 预测编码 预测编码方法是较为实用且被广泛采用的一种压缩编码方法，其理论基础主要是现代 统计学和控制论。它的原理是从相邻像素之间相关性特点考虑，不是对一个像素直接编码， 而是用同帧( 帧内预测编码) 或相邻帧( 帧间预测编码) 中的像素值来进行预测，然后对预 测残差进行量化、编码、传输。预测编码实际是利用了视频信息的时空域冗余。预测编码 一般分为线性预测和非线性预测两种。预测编码中主要的压缩方法有脉冲编码调制 ( p c m ：p u l s ec o d em o d u l a t i o n ) 、差分脉冲编码调制( d p c m ：d i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n ) 、自适应差分脉冲编码调制( a d p c m ：a d a p t i v ed i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n ) 等，它们较适合于声音、图像数据的压缩，因为这些数据由采样得到， 相邻样值之间的差相差不会很大，可以用较少位来表示。 ( 2 ) 统计编码 数据压缩技术的理论基础是香：衣( s h a n n o n ) 的信息论。根据s h a n n o n 信息论的原理， 数据压缩的理论极限是信息熵。如果要求在编码过程中不丢失信息量，则要求保存信息熵。 这种信息保持的编码就是熵编码。它是建立在随机过程的统计特性基础上的。图像编码中 应用最广的有基于概率分布特性的哈夫曼编码( h u f f m a nc o d i n g ) 和算术编码，以及基于相 关性的游程编码等。 ( 3 ) 变换编码 变换编码通常是将空域相关的像素点映射到另一个矢量空间，使得图像的能量集中在 低频区域，表示图像中缓慢变化的内容；而图像的边缘、细：节的纹理等细节部分集中在变 换域的高频区，然后对这些变换系数进行量化、编码处理。i 一l 变换是均方误差下的最佳 正交变换，但实现困难。当图像相邻像素间的相关系数接近1 时，k 。l 变换的基函数接近 d c t 变换的基函数。而且d c t 存在快速算法，易于硬件实现。因此被广泛应用于多种图 气 南京邮电大学硕士研究生学位论文 像视频编码国际标准中。 第一章绪论 变换编码除了采用正交变换编码外，还有子带编码和小波编码。子带编码则是将图像 分裂成几个不同频段的子带( s u b b a n d ) ，对不同的子带设计不同的编码参数，提高图像质 量。小波变换编码充分的利用了小波分析在时域和频域同时具有良好的局部化特征，与人 眼视觉特性相符的多分辨率能力，分解系数分布平稳，自然分级的金字塔式数据结构等优 点，在视频压缩领域引起广泛的关注。 上述预测编码、统计编码、变换编码的组合可形成混合编码，是目前m p e g 系列和 h 2 6 x 系列视频标准的基础。这些编码方法都是依照视频图像固有的特性进行压缩的。伴 随着感知生理一心理学的发展，人们越来越清楚地认识到：人的视觉感知特点和统计意义 上的信息分布不一致。统计上需要更多的信息量才能表征的特征，对视觉感觉可能并不重 要。从感知角度而言，无需详细表征这部分特征，这时压缩技术的研究就突破了传统信息 论的框架。 随着数学理论，女h i j , 波变换、分形几何理论、数学形态学等以及模式识别、人工智能、 生理，心理学等学科的发展，高效、新型的压缩编码方法相继产生，如分形编码、基于模型 的编码、基于对象的编码等。 如何客观地度量视频编码失真，并且使客观度量结果和人的视觉感受一致，是视频处 理的一个重要问题。一般来说，视频质量评价方法分为客观评价和主观评价两种。 1 ) 客观评价方法 客观评价是用重建图像与原始图像的误差来衡量。常用的有均方误差( m s e ：m e a n s q u a r ee r r o r ) 和峰值信噪i ：g ( p s n r ：p e a ks i g n a lt on o i s e r a t i o r ) 。 均方误差( m s e ) 定义为：m 踞= 赤杰n m 萃- i 莓n - i 【厂( i ，) 一厂( z ，州2 ( 1 1 ) 其中：m ，n 表示图像宽和高的像素点数；f ( i ，j ) 表示原始图像的像素值，( f ，) 表示重 建图像的像素值。 ，) ：1 6 和8 8 的正方形块( 8 s 的块大小是在h 2 6 3 和m p e g 4 中定义的) 。但是由于视频图像的复杂性，在较大的块中可 能包含多个具有不同运动状态和不同形状的对象。特别是在运动剧烈的局部区域中，用4 个f 8 8 1 运动矢量并不能准确地描述一个宏块全部的运动细节。 因此，为了更为准确地描述宏块的运动细节，h 2 6 4 a v c 定义了8 种不同尺寸和形状 的宏块划分，如图2 - 9 所示，一个1 6 x1 6 亮度块可以按以下四科，方式划分：- 1 6 16 ，1 6 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 a v c 标准及关键技术 8 ，8x16 ，8x8 ：一个8 8 的图像块又可以分为：8 8 ，8 4 ，4 8 ，4 x4 。 1 6 r8 1 6 1 6 8 8 1 6 44 o 1 图2 - 9 帧间预测分块模式 8 8 01 23 1 6 1 6 1 6 8 8 1 68 8 沁m 一 幽2 1 0 帧间坝测的宏块划分模式 这种将宏块划分成多种块大小的运动补偿子块的方法称作树结构运动补偿。这种多模 式的灵活和细致的划分，可以更好的实现运动隔离，大大提高运动估计的精确程度。 在这种方式下，每个宏块中可以包含1 ，2 ，4 ，8 或1 6 个运动矢量。对于每个分割或 子分割都需要个独立的运动向量，每个运动向量必须被编码和传输，同时宏块类型也要 编码传输。选择一个大的分割尺寸意味着需要少量的比特来表示运动信息，但是预测的粗 糙使得残差值较大。选择小的块模式，运动估计更准确，残差值更小，但是需要要更多的 比特来表示运动信息。因此宏块类型的选择对于编码压缩性能具有重要的影响。总的来说， 较大尺寸的块模式适宜于运动程度低的区域，而精细的分割适宜于细节丰富的区域。 对于宏块中每个色度分量x ，y 采用亮度分量的一半采样精度。每个色度块分割方式 1 7 南京邮电大学硕士研究生学位论文 一 笙三童里：! 竺! 型g 堡丝垄羞堡垫查 一- _ - _ 一 与亮度块相同，只是水平和垂直的大小各一半。 2 3 41 4 像素精度运动估计 运动估计的基本思想是将图像序列的每一帧分成互不重叠的宏块，并认为宏块内 所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一 定的匹配准则找出与当前块最相似的块( 即匹配块) ，匹配块与当前块的相对位移即为 运动矢量。视频压缩时，只需保存运动矢量和残差数据就可完全恢复当前：块。因此运 动矢量的精度越高，运动估计的残差越小，在降低码率的同时又能提高重建视频质量。 从h 2 6 1 到m p e g 一4 ，运动矢量的精度也从整像素提高到了1 4 像素。h 2 6 4 a v c 采 用运动估计精度为1 4 像素，并详细定义了相应分数像素的插值实现算法。如图2 1 1 所示， 其中空白方块位置为亮度整像素位置( 如a ，b ，c ，d ，e ，f ，g ，h 等) 。两个整像素位 置之间是1 2 像素位置( 图中的横线填充和竖线填充方块a a ，b b ，c c ，d d ，e e ，f f 等) 。 图圉圜圈斟 口口 口口 田国田 e 匡日口口 叵匡曰口口 幽2 111 1 2 像素运动估计插值方法 c ：二簪： h e g ：1 f 二 一n t _ 一 p r m 一一p 一一 n 幽2 。1 21 4 像素运动估计插值方法( a ，c ，i 等为1 t 4 像素差值位置) 团圆田 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 a v c 标准及关键技术。-。_。_-_。_-。_-。_。_。_-_。_-_。_。_。 i 2 像素由相邻的整像素利用6 抽头滤波器( 1 3 2 ，5 3 2 ，5 8 ，5 8 ，一5 3 2 ，1 3 2 ) 获得。 l 4 像素由相邻的1 2 像素和整数像素线性插值产生。详细的计算方法和色度小数像素相关 内容可以参阅相关文献。 2 3 5 多参考帧技术 多参考帧技术：h 2 6 4 a v c 允许编码器使用多于帧的参考帧进行运动估计，这就是 所谓的多参考帧技术。如图2 1 3 为多参考帧示意图。 pb pbp 图2 1 3 多参考帧不葸图 与过去标准中的单参考帧不同，h 2 6 4 a v c 支持多参考帧预测。通过在多个参考帧中 进行运动估计，寻找出当前编码块的最佳匹配。编码器利用己经编码结束的参考帧对当前 编码块分别进行预测，并从中选择预测最好的帧作为参考帧，可以有效消除不可补偿区域 造成的预测误差。同时由于采用多参考帧进行预测，运算复杂度增大，而且需要额外的缓 冲区来存储这些参考帧。 2 3 6 基于d c t 的4 4 整数变换 在以往的标准中，广泛使用的8 8d c t 变换。因为该变换是浮点运算，所以在变换 和反变换之间必然存在误差偏移。而在帧间预测的时候，这种由变换引起的误差将不断的 积累和放大。当误差积累达到一定程度时，必将引起编码质量的迅速下降。所以，在通常 情况下，采用强制帧内更新来解决这个问题。 预测技术在h 2 6 4 a v c 当中运用地非常普遍。不但采用帧间预测编码，而且帧内编码 也使用了预测技术。因此，h 2 6 4 a v c 对预测残差变换前后的误差更加敏感。变换带来的 误差将会由帧内预测带给i 帧其他宏块，从而为后续的p 帧带来更大的误差。另外，8 8 的块变换，大大降低了相邻块之间的相关性，很容易产生令人讨厌的块效应。因此， 9 堕墨塑! 皇查兰堡主堕茎皇堂篁笙苎 塑三兰旦：! 垒! ! 型曼堡堡墨茎堡堇查 h 2 6 4 a v c 中使用了基于d c t 的4 4 的整数变换。这样的变换和反变换都是整数运算， 因此避免了浮点操作带来的四舍五入误差，使得变换与反变换能够准确的相匹配。此外， 采用小尺寸的块有助于降低块效应和明显的人工处理痕迹，而且整数运算能大；k 减少运算 量和运算复杂度。 如下为h 2 6 4 a v c 所采用的变换公式： y = ( h x 1 7 ) o e = ii 21 1一l 12 l1 12 1l 21 2l l一1 一l一1 21 日2 以 a 2 口 口 乃么 臼 6 么 以 6 么 以 6 么 ( 2 1 ) 其中：以= 1 2 ，b = 小万，o 表示a r x i t 7 矩阵中每一个元素与e 矩阵对应位置的元素 相乘。而o e 部分可以移入量化阶段的常系数矩阵q p ，可以通过查表执行。这样就获得了 一种高性能的且计算非常简单的4 4 整数变换。 h 2 6 4 a v c 定义了3 种不同的变换操作类型： f 1 ) 4 4 残差值 变换公式为：设残差值为a ，变换后系数为b ，则有b = h a h 7 ，其中变换矩阵h 为： h = 1 1 2 1 11 12 l 1 一l一2 11 21 ( 2 2 ) ( 2 ) 1 6 x1 6 预测残差按第“一种变换方式进行变换，得到1 6 个4 x 4 亮度子块的d c 系数 构成一个4 x 4 的系数矩阵，记为a 。将a 进一步变换，变换系数记为b ，则b = h a h 7 。 其中变换矩阵如下： 日=( 2 3 j ( 3 ) 8 8 色度块的残差按第一种变换方式进行变换，得到4 个4 4 色度二严块的d c 系 数构成2 x 2 的系数矩阵，记为a 。j , q - a 作进一步变换，变：涣系数记为b ，则 b = 】二， 4 二， c 2 4 ， 。，l r 熏室塑皇奎兰堡圭堡塑生堂垡丝窒箜三兰坚：! ! 兰竺曼堡垄墨茎堡垫查 为了进一步提高码率控制能力，量化步长变化的幅度控制在1 2 5 左右，而不是以不 变的增幅变化。变换系数幅度的归化被放在反量化过程中处理以减少计算的复杂性。通 过使用精确的量化步长，更加能够改进色度部分的精度。量化变换的系数对应不同的频率， 一个对应d c 值，其余的分别对应不同的频率值。v c l 将所有的变换系数放在个数组中， 通过之字形扫描和双扫描对数组中的数据进行读取，双扫描只用于使用较小量化级的块 内。由于它的步长较小，从而有助于提高编码效率。 2 3 7 两种可选择熵编码c a b a c 和c a v l c 以往的视频压缩标准大都采用哈弗曼( h u f f m a n ) 编码与变长编码相结合的方法进行熵 编码。虽然哈弗曼( h u f f m a n ) 编码是一一种非常好用的熵编码方法，但是它的编码效率并不是 最高的。而且，哈弗曼( h u f f m a n ) 编码的抗差错性能非常低。h 2 6 4 a v c 提供两种自适应熵 编码方法，即基于上下文自适应二进制算术编码( c a b a c ：c o n t e x t a d a p t i v eb i n f i r v a r i t h m e t i cc o d i n g ) 矛h 基于上下文自适应可变长编码( c a v t ，c ：c o n t e x t a d a p t i v ev a r i a b l e l e n g t hc o d i n g ) 。c a b a c 充分发挥了算术编码压缩效率高的特点，而且其基于上下文的特 点使它可以充分利用不同视频流的统计特性和符号间的相关性，自适应调整不同符号( 或消 息) 出现的概率。因此，c a b a c 的编码效率更高，与c a v l c 比较，在相同图像质量下， 编码电视信号使用前者将会使比特率减少1 0 1 5 。不过后者更为简单，易于实现。这 两种方法各有优缺点，针对不同的应用领域，合理选择不同的编码方法。 2 3 8 环路解块滤波器 环路解块滤波器是用于消除预测引起的块效应。在h 2 6 4 a v c 中采用环路滤波器对 1 6 1 6 的宏块和4 4 的块边界进行滤波。对于宏块，滤波器被用来消除相邻宏块之问因 预测类型不同引起的边界噪声。对于块，滤波器被用来消除相邻块之问由于整型变换和量 化以及运动矢量差别引起的边界噪声。环路滤波器用一个非线性的滤波器对边界两旁的象 素进行修改，当边界有块失真的可能性较大时，滤波的参数也相应增强。滤波时根据两个 相邻块的类型判断是否存在块效应，确定滤波器参数，进行滤波，如果相邻块用的是同一 参考帧，同样的运动矢量，则认为无明显的块失真。 环路滤波器在编码时用在宏块的重建和存储之前，反变换之后，在解码时用在重建和 显示之前。h 2 6 4 a v c 把去方块效应滤波引入m c 预测环路中，一举两得既能去除方块效 应，又能保护图像的细节与边缘，很好地改善了图像的丰= 、客观质量。 7 1 南京邮电大学硕士研究生学垡鲨塞 蔓三垩里：! 竺! 坐竺堡堡墨茎壁垫查 i _ _ - 一- _ _ _ - _ _ i _ _ _ _ - _ _ _ _ - _ _ - _ _ - _ _ - _ - _ _ _ - _ _ _ _ _ - - _ - - _ _ - _ i i _ _ _ - - _ - _ _ _ _ - - _ 一一 环路解块滤波器对图像处理的效果如图：2 1 4 所示。 图2 1 4 环路滤波器主观图像质量比较 基于块的视频编码系统在低码率时无法f 回避的一个问题就是令人讨厌的方块效应。块 效应的存在极大地降低了重建视频的主观威量。自适应去块效应滤波是一种改进视频主观 质量的有效方法。h 2 6 3 中首次出现了去块效应滤波器。对于h 2 6 4 a v c ，首先它的压缩 比远高于h 2 6 3 ，更容易导致强烈的块效应。其次，由于图像的空间相关性较小，帧内预 测的使用非常容易产生块效应，最后帧内预测和帧间预测导致块效应产生积累，而且块效 应产生的失真容易累积，使得图像主客观质量下降。为了缓解这个问题，h 2 6 4 a v c 在反 变换之后，图像重构前使用了环路去块效应滤波器。h 2 6 4 a v c 把去方块效应滤波引入 m c 预测环路中，一举两得既能去除方块效应，又能保护图像的细节与边缘，很好地改善 了图像的主、客观质量。 2 3 9 差错恢复技术 差错恢复方法包括在编码器端采用具有抗差错的编码方式及在解码器端侦测到传输 错误后采用的差错掩盖方法。 h 2 6 4 a v c 继承了以前的一些常用方法：图片分割，强制帧内编码更新，参考帧检测 数据分割等。此外，为了更好地提高抗误码能力，h 2 6 4 a v c 引入了新的抗误码方法，主 要有： ( 1 ) 参数集：参数集的设计提供了头信息传输的鲁棒性和有效性。 ( 2 ) n a l 单元：每个n a l 单元是一数据包，包含一个字节的头信息，以及若干整数字 节的负荷数据。 ( 3 ) 可变宏块排序( f m o ：f l e x i b l em a c f o b l o c ko r d e n n g ) ：它允许将宏块分配到不按扫描 顺序的片中。具体的分配策略由宏块分配映射图( m b a m 印) 规定。如图2 1 5 所示，黑白宏 块分别属于不同的片( s l i c e ) 中。当白片丢失时，利用空域相关性，黑片宏块的某种加权可 用来代替白片相应宏块。这种得益于f m 0 的空域差错掩盖技术可明显提高抗误码性能。 南京邮电大学硕士研究生学位论文第二章h 2 6 4 a v c 标准及关键技术 2 3 1 0 其他相关技术 图2 1 5f m o 示意图 其他的相关技术有： ( 1 ) 加权预测； ( 2 ) 改进的s k t p 编码模式； ( 3 ) b 帧的d i r e c t 编码模式； ( 4 ) s p s i 图像的同步交换：它允许有些解码器的解码处理和其他解码器产生的视频流 准确同步，而不产生因传送为图像的效率损失。它使在不同数据速率的视频内容之间切换 解码器，恢复数据的丢失或解码；以及使用如快速前向，快速后向等特殊功能。s p s i 可 用于流切换、流拼接，随机接入以及错误恢复。 2 4 小结 本章简要地论述了h 2 6 4 a v c 视频标准的产生、应用、编解码结构和一些新的重要特 性及其关键技术。简言之，h 2 6 4 作为一种新的视频编解码标准，虽然与其他以前的编解 码标准相比，没有结构上的重要革新。针对不同视频内容，h 2 6 4 a v c 对多编码模式、编 码参数自适应选择、上下文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤 波以及抗误码能力等方面进行了精雕细刻，h 2 6 4 a v c 采取了一系列自适应的预测和编码 算法，大大提高了编码效率。另外，为了适应各类网络的应用，增加对各种网络的抗误码 能力，h 2 6 4 a v c 采取不少自适应策略，以增加网络亲合力。 2 3 南京邮电大学硕士研究生学位论文 一一 笙三主奎叁塞垡些垦墼垄! ! 塑 一一一 第三章率失真优化及改进算法 3 1 视频编码的率失真概念 1 9 5 9 年，n 农( s h a n n o n ) 确立了率失真理论，奠定了信源编码的理论基础。率失真理论 研究的是限失真编码问题：能使限失真条件下比特数最少的编码为最佳编码。 设信源为a 。= 和，a ：，口，口。) ，经过编码后，信宿为b 。= 6 。，6 z ，岛，b ) ，定义信源、 信宿概率空间分别为p p ( a ，) ，p ( a ：) ，p ( a ，) ，p ( a 。) ) 、q q ( b ，) ，q ( b z ) ，q ( b 3 ) ，q ( b 。) 。 定义平均失真函数d ( q ) 如下： d ( q ) ：芝主d ( 口，仇) p ( ，坑) = 芝窆d ( a j , 吼) p ( ) q ( 巩la j ) ( 3 - 1 ) 其中，d ( a j , 玩) 为失真度，度量准则可以是均方误差( m s e ：m e a ns q u a t ee r r c l r ) 、绝对差 哆) 0 , i 1 ( s a d ：s u mo f a b s o l u t ed i f f e r e n c e ) 或差分平方；f f l ( s s d ：s u m o f s q u a r ed i f f e l e l l c e ) 。由 此可见，若信源概率分布p ( ai ) 己知，平均失真仅仅取决于条件概率q ( 玩la j ) ，从而必然 存；舀三这样一个条件概率q ( 瓯ia j ) 使得d ( q ) d ，可记为：q d2 q ( d ( q ) d ) ( 3 2 ) 即鳊为保证平均失真d ( q ) 在允许范围d 内的条件概率集合。 进一步，定义i ( x ，y ) 为接收端获取的平均信息量： 从蹦) = 善喜酬驯以川。g 掣 b 3 ) 同样，在给定尸f a y ) 的前提下，i ( x ，y ) 的大小也只取决于q ( b 。i a j ) 。现在，率失真 函数r ( d ) 定义为在q d 范围内寻找最起码的信息量，即：r ( d ) 2m o 。i n ，i ( x ，) ( 3 4 ) 公式f 3 4 ) 的含义为：在允许的失真度为d 的条件下，信源编码给出的平均：互信息量的 下界，也就是数据压缩的极限数码率。当数码率r 小于率失真函数r ( d ) 时，无论采用什么 编码方式，其平均失真必大于d 。 视频压缩是典型的限失真编码，率失真理论同样适应于视频编码。视频编码率失真优 化策略的主要内容是在限比特率为r 的条件下，即r 的值不能超过信道传输率r 。，怎样 选择最佳编码模式，使得失真d 最小，归结为下式：r a i n d ，约束条件为：尺r 。 ( 3 ! i ) 堕塞塑皇奎兰堡主竺窒竺兰垡堡苎笙三兰童叁塞垡垡墨整垄簦鳖 要实现上述目标，在比特率r 和失真d 之间必须选择一个恰当的折中。 在实际解决问题的过程中，可用一编码参数集对视频序列进行编码，得到相应的编码 比特率( r ) 和解码图像质量( 或失真d ) 。两者结合，即可形成一个r d 点。通过用多组编 码参数集重复上述编码过程，可获：得不同的r - 一d 点。众多的r d 点拟合成率失真曲线 ( i 卜d 曲线) ，如图3 1 所示。如果给定一个目标码率r ，与其对应的最小失真d 点必然 在这一曲线上。视频编码的率失真优化目标正是寻找一合适的编码参数集，这一参数集代 表的i 卜d 点尽可能地位于或接近这条曲线。 d r 图3 - 1视频编码的率失真曲线 约束条件下的极值求解常用拉格朗日乘予法。拉格朗同乘子法能够找出一个或数个最 好性能的编码参数集，这些参数即可被用于视频编码器以获得最佳的编码性能。不过如果 编码参数组合的数目很大，率失真计算的复杂性常常比编码算法本身还高，要使率失真优 化方法更实用，可以对编码参数简化。 3 2 率失真优化算法 3 2 。l 率失真理论( r a t ed i s t o r t i o nt h e o r y ) 在具体传输环境中，特别是在涉及图像、视频、数据的高速率业务中，信息量所涵盖 的内容是极其巨大的。从信道带宽为最大平均互信息量而言，允许引入一定的失真度d ， 研究此时数据压缩速率r 的极限问题，或者说最小平均互信息量，即构成率失真理论。 码率控制问题本质上也就是一定约束下的率失真问题。编码比特数和编码质量一直是 j ! 堕塑皇盔堂堡主堕墅竺堂篁笙墨 兰三量垩叁塞垡些垡整垄兰鲨 图像和视频编码中的一对矛盾，要得到满意的编码质量，在一般情况下需要增加图像的编 码比特数。即提高图像的编码码率。因此，一个良好的码率控制策略应该是针对这对矛盾 的折衷策略，即能够在编码比特数