（电子科学与技术专业论文）h264avc中cavlc编码器的硬件设计与fpga实现.pdf

中南大学硕士学位论文 a b s t r a ( 了r a b s t r a c t h 2 6 4 a v c ，t h en e x t g e n e r a t i o nv i d e oc o d i n gs t a n d a r d ，i sj o i n t l y d e v e l o p e db yt h ei t u ta n dt h ei s o a e c i th a sh i g h e rc o m p r e s s i o n e f f i c i e n c y a n db e t t e r n e t w o r k - a d a p t a b i l i t y t h a n p r e v i o u s s t a n d a r d s c a v l ci so n eo fs i g n i f i c a n tt e c h n o l o g i e st or a i s et h ep e r f o r m a n c eo f h 2 6 4 a v c ，b u ti t ss o f t w a r er e a l i z a t i o ni sh a r dt os a t i s f yt h er e q u i r e m e n t o fh dv i d e or e a l t i m ec o d e c t h i st h e s i ss t u d i e st h ep r i n c i p l ea n d t e c h n i c a lc h a r a c t e r i s t i c so fc a v l c ；t a k e sa d v a n t a g eo ft h ef e a t u r e so f h i g hs p e e da n dr e a lt i m eo ff p g a ；m o d i f i e st h es e r i a le n c o d i n gm o d e lo f s o f t w a r ea n dd e s i g n sah a r d w a r ec a v l ce n c o d e r t h ed e s i g n i n gs y s t e m a d o p t st h ep a r a l l e l a n dp i p e l i n ep r o c e s s i n ga r c h i t e c t u r et oe n c o d ea l l s y n t a c t i ce l e m e n t sc o n c u r r e n t l y ；p r o c e s s e st h el e v e le n c o d i n gm o d u l e ， w h i c hh a st h eb i g g e s tc o m p l e x i t ya n dt h el o n g e s td e l a yo fc a v l c e n c o d i n gm o d u l e s ，i np a r a l l e lw i t ht h ee f f i c i e n c yo fe n c o d i n g2l e v e l v a l u e sp e rc l o c kc y c l e ；a n di n t r o d u c e st h es i g n a lo fe f f e c t i v et a ga n d c o d e w o r dl e n g t ht oc o n t r o lt h es u b - m o d u l ea n dc o d e w o r dr e s p e c t i v e l y t h ec i r c u i ti sg e n e r a t e dt h r o u g hv e r i l o gh d l ，s i m u l a t e di nm o d e l s i ms e 6 0 ，i m p l e m e n t e da n dv e r i f i e db yv i r t e xi vx c 4 v 5 5f p g a o fx i l i n x t h e r e s u l ts h o w s ：t h es a m eo u t p u ta sj m16 2w i t ht h es a m ei n p u t ，c o s t i n g 2 6 2 - 2 7 6c l o c kc y c l e st oe n c o d ea16 x16m a c r ob l o c ka n ds u p p o r t i n gt h e r e a l t i m ec a v l ce n c o d i n go f19 2 0 x10 8 0 6 0 f p sv i d e os t r e a m i n ga t 3 7 2 2m h zw i t hl i m i t e dr e s o u r c e sc o n s u m p t i o n i th a sp r a c t i c a lv a l u ei n e n g i n e e r i n ga p p l i c a t i o n k e y w o r d s ：h 2 6 4 a v c ，c a v l c ，f p g a ，p a r a l l e lp r o c e s s i n g i i 中南大学硕士学位论文第一章绪论 第一章绪论 1 1 引言 视觉是人类获取外部信息最为重要的途径，科学实验表明，人类通过视觉获 取的信息占总信息量的7 0 8 0 【。视觉信息给人们直观、准确、生动的形象。 视频信息的数字表示带来了再生中继、易于加密、抗干扰能力强等诸多优点。然 而数字化后的视频信息，数据量十分惊人，对于当前有限的传输带宽或存储空间 都是难以承受的。视频压缩编码，视频技术的关键，是在保证一定重构质量的前 提下，用尽量少的比特数来表征视频信息【2 】。 数字视频技术广泛应用于通信、计算机、广播电视等领域，如数字电视、视 频电话、视频会议、互联网流媒体和远程监控等。而一系列的应用促使了许多视 频编码标准的产生。以国际电信联盟( i t u t ) 和国际标准化组织( i s o i e c ) 为 代表的机构和组织，分别制定了一系列面向各种应用的视频编码标准，如h 2 6 1 h 2 6 3 h 2 6 4 a v c ，以及m p e g 1 2 4 等【3 1 ，这些标准极大的推动了数字视频应 用领域的发展。 数字视频应用中，至今为止比较成功的是m p e g 2 及h 2 6 3 标准，目前的数 字电视广播、数字机顶盒和d v d 影碟的应用都是建立在m p e g 2 基础上的； h 2 6 3 特别适合于p s t n 网络、无线网络与英特网等环境下的视频传输。随着现 代超大规模集成电路技术、数字信号处理技术、计算机技术、通讯技术的飞速发 展，硬件处理能力的不断提高，人们对音视频多媒体信息的需求也不断提高。 m p e g 一2 及h 2 6 3 已不能满足人们对高清实时视频信息传播。h 2 6 4 a v c 标准是 目前i t u t 和i s o i e c 联合提出的最新的视频压缩编码国际标准，它集成扩展了 很多视频压缩新技术，比以往任何标准具有更好的网络适用性和更高的比特压缩 率，在同等的视频质量上，h 2 6 4 a v c 的数据压缩率h 2 6 4 a v c 比特压缩率分 别是m p e g 一4 、h 2 6 3 及m p e g 2 的3 9 、4 9 及6 4 t 4 1 ，但其代价是编码运算 复杂度的大幅度增加，如何减少运算量提高处理速度是h 2 6 4 a v c 视频编码标 准能否得到广泛应用的关键。 1 2 视频信息的冗余特性 视频压缩对多媒体信息存储、网上传输等应用是必须的，也是可行的。根据 香农信息论的观点，数据的信息由其信息熵来表征，其余信息均为冗余。而视频 信息中包含着一定的冗余，通过肖l j 减这些冗余使原始的视频信息得以压缩。这种 中南大学硕士学位论文第一章绪论 冗余一般可以分为统计冗余和心理可视冗余【5 6 1 。 1 2 1 统计冗余 视频的统计冗余又可分为空间冗余、时间冗余和信息熵冗余。前两种冗余是 视频帧中像素之间的冗余，既视频帧中像素间的光亮度保持着一定程度的相关 性，它们之间不是统计独立的；信息熵冗余则是指从编码技术的角度看，视频信 息中含有多余的冗余。 ( 1 ) 空间冗余 空间冗余是指在同一帧画面中像素间光亮度的统计相关性。在一个视频帧 内，除了边缘区域外，一般每一行( 列) 上大多数相邻像素光亮度的变化会保持 着一种趋势，相邻像素间存在着很高的自相关特性，这种自相关性即为空间冗余 特性。空间冗余性意味着一个像素的光亮度值可以通过其相邻像素的光亮度值预 测得到，而没有必要对每个像素进行独立表示。 ( 2 ) 时间冗余 时间冗余也被称为帧间冗余，是指视频序列中连续帧像素间的统计相关性。 对于一个视频序列，只要两个连续帧间的时间间隔足够小，相邻两帧的相似度很 高。利用这种时间冗余特性，可以沿着时间轴通过一帧对其相邻帧进行预测，从 而削减视频信息中的相关信息。 ( 3 ) 编码冗余 编码冗余也称信息熵冗余，是指码字出现概率的不均匀所产生的冗余度。通 常采用可变长编码或算术编码来消除信息熵冗余。 1 2 2 心理可视冗余 由于人眼视觉的非均匀性，使得人眼视觉对于某些空间频率感觉迟钝，视频 中不同频率成分的内容对于人眼系统的重要性不同，也就是说存在频域冗余。一 方面，人眼视觉系统对亮度信号变化的敏感高于色度信号变化，因此可以对色度 分量进行下采样，同时可保持主观视觉质量不变。另一方面，对信号频域的各个 分量可以采取不同的量化步长，将人眼视觉不敏感的分量去除，而不会引起主观 视觉质量的下降。 1 3 主要视频压缩技术 根据冗余的不同，人们提出了多种视频编码方法，经典的有三大类：熵编码、 变换编码和预测编码【 】。 2 中南大学硕士学位论文第一章绪论 1 3 1 熵编码 熵编码是一种无损压缩编码方法，所能达到的比特率下界就是视频信息的熵 值，常用的熵编码有霍夫曼编码、算术编码和游程编码。 霍夫曼编码是一种变长编码( v l c ，v a r i a b l el e n g t hc o d i n g ) 。霍夫曼编码将 信源符号按概率大小重新排序，通过二叉树算法，依次将两个概率最小的节点合 并，直至根节点。完成树的构造后，给所有的树枝分配0 和l ，这样就可以给高 概率符号分配短码，概率小的符号则分配较长的码子，去除符号间的统计冗余。 霍夫曼编码在已知信源符号概率时，可以给出极好的编码性能，但它严重依赖信 源的统计特性，编码前必须有信源概率分布的先验知识，对于复杂的视频来说， 只能用对大量数据统计后获得的近似分布来代替，因此实际应用时无法达到最佳 性能。 算术编码的基本原理是用【o ，1 】之间的一个概率区间来表示数据序列，将信源 x 的一个给定状态x = x l ，x n 与【o ，1 f n - 的一个大概率p 和小概率q 限定的概 率子区间相联系，区间的长度等于序列的概率p ( x ) 。编码器从n = i 开始，逐位 处理输入的符号流。每输入一位，更新当前符号的条件概率，并以此调整p 和q 限定的概率子区间。随着n 的增加，和输入符号序列相联系的概率子区间就变 得越来越小。最后用这个表示概率子区间的小数给符号序列编码。理论上，算术 编码和霍夫曼都是最佳的，但在信源概率分布未知的情况下，算术编码优于霍夫 曼编码。 游程编码( r l c ，r u n l e v e lc o d i n g ) 是将符号值相同的连续符号串用一个 符号数和值来描述。这样可以用更紧密的序列代替原来的相同符号串。在视频压 缩中，量化后的数据常常出现大量的连零系数，利用游程编码可以有效的降低表 示零码的比特数。 1 3 2 变换编码 绝大多数图像都有一个共同的特征：平坦区域和内容变化缓慢的区域占大部 分，而细节区域和内容变化剧烈的区域占小部分。这个特征在频率域表现为：图 像中直流和低频信号占大部分，而高频信号占小部分。利用这个特征，通过正交 变换，将空间域的图像变换到频率域上，就会产生相关性很小的一些变换系数， 将这些变换系数量化、压缩编码后传输就实现了对视频信号频域冗余的消除，这 就是变换编码。变换系数量化后，在低频和直流区域有少量较大的值，高频区域 有少量不大的值，系数大部分为零，为了更有效的进行编码，通常根据该统计特 性采用熵编码进一步压缩码率。 自1 9 6 8 年利用快速傅立叶变换( f f t ) 进行图像编码以来，出现了多种正 3 中南大学硕士学位论文第一章绪论 交变换编码方法，例如哈尔( h a a r ) 变换，沃尔什( w 射s h ) 变换，k l 变换和 离散余弦变换( d c t , d i s c r e t ec o s i n et r a n s f o r m ) 等。其中k - l 变换以图像本身的 特征向量作为变换的基，与图像的统计特征完全匹配，性能最理想，但k l 变 换的变换矩阵随图像而异，缺乏快速算法，不利于应用。d c t 变换具有和k - l 变换接近的性能，变换矩阵与图像无关，有各种快速算法，实现复杂度相对低， 因此被广泛的应用于图像编码中，被多种视频压缩标准所采用。 1 3 3 预测编码 预测编码是利用图像时间和空间的相关性，通过时间或空间相邻像素进行预 测编码，从而有效降低图像时空冗余度的一种压缩技术。根据时间相关性和空间 相关性，预测编码可分为帧间预测和帧内预测两类。 帧间预测编码利用连续图像之间的数据相关性，降低时间上图像信息的冗余 度。当前编码帧中的像素以参考帧像素作为参考，通过运动估计和运动补偿，得 到预测值和实际值的残差值，只需要编码传递残差值和预测信息，可以有效地去 除帧间的数据冗余。 大量统计表明，同一幅图像的邻近像素之间有着很强的相关性，即邻近像素 值之差很小。图像相邻像素的差值信号的方差和原始像素本身的方差相比较小， 如果对差值进行量化编码，其量化器的动态范围可以缩小，这样每个像素的编码 比特数就可以得到显著降低。帧内预测就是使用这样的方法来降低空间冗余度。 1 4 视频编码标准的发展 标准化是产业化的前提，i t u t 和i s o i e c 是制定视频编码标准的两大标准 化组织。i t u t 制定的h 2 6 x 系列标准主要应用于实时的视频通信领域，如视频 会议、可视电话等；i s o i e c 制定的m p e g x 系列标准主要应用于视频存储 ( d v d ) 、广播电视、因特网或无线网上的流媒体等方面【1 1 1 1 。图1 1 表示了视 频编码标准的发展历程【1 2 】。 ( 1 ) h 2 6 1 1 1 3 1 6 】 i t u t 于19 9 0 年7 月通过h 2 6 1 建议“p x 6 4 k b i t s 视听业务的视频编码器”， 其中p 的范围是1 3 0 ，覆盖了整个窄带i s d n 基群信道速率。该标准的应用目标 是会议电视和可视电话。p = 1 ，2 时适用于可视电话，p 6 时可以用于会议电视业 务。 在诸多视频压缩的国际标准中，最早颁布的h 2 6 1 建议具有非常重大意义。 它综合了图像编码4 0 多年的研究成果，首次采用d c t 加帧间运动补偿预测的混 合编码模式；规范的数据格式、开放的编码控制与实现策略、编码器结构模块、 4 中南大学硕士学位论文 第一章绪论 编码输出码流的层次结构等技术，对后来制定的视频标准产生了深远的影响。同 时，h 2 6 1 建议的颁布为不同生产厂商的设备互通打下了基础，促进了视频通信 的产业化发展。 i s o i e c蝴e ( 广lm p e ( 广4 年份：1 9 8 41 9 8 81 9 9 2 1 9 9 6 图1 - 1 视频编码标准发展过程 ( 2 ) h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + h 2 6 3 t 1 7 】建议是i t u t 于1 9 9 5 年为低于6 4 k b i d s 的窄带通信信道制定的极低 码率视频编码标准。h 2 6 3 最初是针对极低比特率应用设计的，但实际上在任意 速率范围内，h 2 6 3 都取得了惊人的压缩效果，成为当时最成功的视频编码标准。 h 2 6 3 采用了诸如半像素精度的运动补偿、非限制的运动矢量、基于语法的算术 编码、高级预测模式等一系列新的视频编码技术，从而达到了进一步降低码率和 提高编码质量的目的。h 2 6 3 建议不仅着眼于利用公共交换电话网络( p s t n ， p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 传输，而且兼顾移动通信等无线业务。 在h 2 6 3 之后，i t u t 又于1 9 9 8 年发布了修订的h 2 6 3 标准的第2 版本， 非正式的称为h 2 6 3 + 标准【1 8 】，它在保证了原h 2 6 3 标准的核心语法和语义不变 的基础上，增加了若干选项以拓宽应用领域、提高压缩效率。 2 0 0 0 年制定的h 2 6 3 + + 【1 9 】在h 2 6 3 + 的基础上增加了3 个选项，主要是为了 增强抗误码能力、提高压缩效率。 ( 3 ) m p e g 1 【2 眦1 j m p e g 1 是i s o i e c 的动态图像专家组( m p e g ，m o t i o np i c t u r ee x p e r tg r o u p ) 于1 9 9 3 年制定的，针对1 5 m b p s 以下数据传输率的数字存储媒体图像及其伴音 的压缩编码标准，包括系统、视频、音频、一致性和参考软件五个部分。m p e g 1 可提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) 家用录像系统质量的图像，是为c d r o m 光盘 的视频存储和播放所制定的。m p e g 1 核心技术仍为混合编码，但是增加了双向 帧间预测技术，半像素精度运动估计以及非线性量化等技术。 ( 4 ) m p e g 2 1 2 2 1 m p e g 2 标准是有i s o i e c 的m p e g 专家组和i t u t 的第1 5 研究组于1 9 9 4 5 中南大学硕士学位论文第一章绪论 年共同制定的，全称为“动态图像及其伴音的通用编码”，视频编码部分和i t u t 的h 2 6 2 标准等同。m p e g 2 主要针对数字电视和高清晰度电视所需的视频及伴 音信号，传输率为3 lo m b p s 。m p e g 2 在m p e g 1 的基础上进行了改进和扩充， 制定了不同的档次( p r o f i l e ) 和级别( l e v e l ) ，档次和级别的组合可以定义一个 编解码器所支持的具体特性。这样不仅有利于同一标准下不同产品之间的相互操 作而且有助于m p e g 2 的推广和应用。m p e g 2 是目前应用最为广泛和成功的标 准。 ( 5 ) m p e g 一4 【2 3 2 4 】 1 9 9 9 年，i s o i e c 制定了m p e g 4 标准。该标准与m p e g 1 和m p e g 2 标 准最根本的区别在于采用了基于对象的方法。简单地说，m p e g - 4 规定了各种音 频和视觉对象的编码，除了包括自然的音频视觉对象以外，还包括图像、文字、 2 d ，3 d 图形以及合成话音和音乐等。它通过描述场景结构信息，即各种对象的 空间位置和时间关系等，来建立一个多媒体场景，并将它与编码对象一起传输。 由于通过对各个对象独立编码，可以实现较高的压缩效率，同时可实现基于内容 的交互功能，满足了多媒体应用中人机交互的需求。m p e g 。4 编码系统是开放性 质的，可随时加入新的有效的算法模块。由于基于对象的视频编码在技术方面还 存在一些困难，m p e g 一4 的专利收费方式也比较复杂，实际上该标准并没有得到 广泛的应用。 ( 6 ) h 2 6 4 a v c a s z t h 2 6 乱a v c 是i t u t 和i s o i e c 组成的联合视频工作组( t ，j o i n tv i d e o t e a m ) 于2 0 0 3 年共同推出的新一代视频编码标准，其官方名称分别为i t u t h 2 6 4 a 、，c 和i s o i e cm p e g 4a v c ( 或i s o i e cm p e g 一4p a r t10 ) 。h 2 6 4 a 、，c 引入了一些新的技术使其具有更高的压缩效率和更好的网络适用性。h 2 6 4 a v c 是视频编码技术和图像工程的最新研究成果，其性能超越了以往所有的视频编码 标准，具有光明的应用前景。关于h 2 6 4 a v c 编码标准的一些具体内容将在本 论文第二章中进行介绍。 1 5 论文的研究内容及结构安排 h 2 6 4 a v c 比特压缩率分别是m p e g 4 、h 2 6 3 及m p e g 一2 的3 9 、4 9 及 6 4 ，具有更好的网络适用性，是一种高压缩比的新标准。c a v l c 是h 2 6 4 a v c 中关键技术之一，主要应用于h 2 6 4 a v c 的基本档次和扩展档次对亮度和色度 残差数据块进行编解码，编码效率高，抗误码和纠错能力强。h 2 6 4 a v c 取得高 效率的代价是计算复杂度大，用软件编码难以满足高清视频实时性要求；又因为 h 2 6 4 a v c 编码过程不涉及任何浮点数运算，所以h 2 6 4 a v c 编码器采用硬件 6 中南大学硕士学位论文 第一章绪论 实现方式是一种很好的选择。基于此，本文主要针对h 2 6 4 a v c 中的c a v l c 熵 编码进行研究分析，对原有的软件参考模型进行改进，充分利用f p g a 高速实时 的特点，并行处理和流水线相结合，设计了一种有效地c a v l c 编码器硬件实现 结构，并用v e r i l o gh d l 语言进行r t l 级描述【2 v 2 9 1 ，在m o d e l s i ms e6 0 进行仿 真，使用x i l i n xi s e9 1 i 选择v m e xi v 系列的x c 4 v 5 5f p g a 器件完成综合实现 过程，并对设计的c a v l c 编码器性能进行。 论文的结构安排： 第一章概述视频编码理论； 第二章介绍h 2 6 4 a v c 标准的主要特点及应用前景； 第三章研究分析了c a v l c 编码原理； 第四章提出c a v l c 的整体结构，并对各子模块进行设计，仿真； 第五章对c a v l c 的顶层进行仿真分析，并对整个c a v l c 电路进行综合、 实现和分析； 第六章总结与展望。 7 中南大学硕士学位论文第二章h 2 6 4 a v c 标准 第二章h 2 6 4 a v c 标准 h 2 6 4 a v c 的主要目的是为了提供更高的编码效率和更好的网络适应性，其 主要特点体现在t 3 0 - 3 2 ：采用分层结构；划分档次和级；引入先进的视频编码技 术。 2 1 分层结构 h 2 6 4 a v c 标准一个显著的特点是将系统分为独立的两层蚓：视频编码层 ( v c l ，v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) ， v c l 的主要任务是高效的表示视频数据，也就是对视频数据进行压缩；n a l 则 根据网络的特性对数据进行封装，使其适用于网络传输。h 2 6 4 a v c 编码器分层 结构如图2 1 所示。为了提高挂2 6 4 删c 的n a l 在不同特性的网络上定制v c l 数据格式的能力，在v c l 和n a l 之间定义的基于分组的接口、打包和相应的信 令也属于n a l 的一部分。这样，视频编码和网络友好性分别由v c l 和n a l 来 完成。 控 一税频编码层c v c l ， 制 数 l宏块 据 叫 数攒分区 tl 条玢嚣 阏络摄取层( n a l ) h - 3 2 0 卜3 2 4l h 3 2 3 i p l h 3 2 4 m le t e 图2 - 1h 2 6 4 a v c 标准层次结构 2 2 档次和级 为了实现不同公司的软件和设备之间在不同应用中进行相互操作，针对不同 的应用，h 。2 6 4 a v c 标准中定义了一套一致性规则，即档次( p r o f i l e ) 和级( l e v e l ) 。 档次定义了一组编码工具或算法。级则设定了对比特流某些关键参数的设定。所 有档次都使用同一组级定义，每个档次支持的级不一样。每种档次侧重于不同的 应用场合，采用不同的技术p 4 ，3 射，如图2 2 所示。 8 中南大学硕士学位论文 第二章h 2 6 4 a v c 标准 基本档次 灵活的宏块顺序 任意片顺序 可冗余的图片数据 扩展档次 l p 片 、 1 4 像素精度运动补偿 多参考帧预测帧内预测 c a c 环路去块滤波器 s i s p 片 数据分割 主要档次 图2 - 2h 2 6 4 a v c 三个档次采用的技术 ( 1 ) 基本档次( b a s e l i n ep r o f i l e ) ：利用i 片和p 片支持帧内和帧间编码， 支持利用基于上下文的自适应的变长编码进行的熵编码( c a v l c ) 。主要用于可 视电话、会议电视、无线通信等实时视频通信。 ( 2 ) 主要档次( m a i np r o f i l e ) ：支持隔行视频，采用b 片的帧间编码和采 用加权预测的帧内编码；支持利用基于上下文的自适应的算术编码( c a b a c ) 。 主要用于数字广播电视与数字视频存储等。 ( 3 ) 扩展档次( e x t e n d e dp r o f i l e ) ：支持码流之间有效的切换( s p 和s i 片) 、 改进误码性能( 数据分割) ，但不支持隔行视频和c a b a c ，主要应用于流媒体 中。 2 3h 2 6 4 a v c 视频编解码结构 同以往的视频编码标准相同，h 2 6 4 a v c 依然采用预测和变换的混合编码方 法，编码结构【3 6 ，3 7 1 如图2 3 所示。编码器以宏块为单位处理输入的帧或者场。视 频编码的基本流程主要分为两条路径：前向路径( 从左到右) 和重构路径( 从右 到左) 。 前向路径：首先将视频序列的每一帧划分为固定大小的宏块，之后以宏块为 单位进行编码。每个宏块都以帧内或帧间方式进行编码。如果采用帧内预测编码， 其预测值p 是由当前已编码帧，解码和重建帧( 图2 3 中标注为心n ) 获得，如 果采用帧间预测模式，预测值p 是由一帧或几帧参考帧经过运动估计或运动补偿 得到，参考帧图中标注为f n 1 。预测值与当前块相减后，便得到残差块d n ，残 9 中南大学硕士学位论文 第二章h 2 6 4 a v c 标准 差块经过块变换、量化后产生一组量化后的变换系数x ，最后进行重排序和熵编 码，与解码所需的一些参数信息( 如预测模式、量化参数、运动矢量等) 一起组 成压缩码流，经n a l ( 网络提取层) 供传输和存储用。 f n ( 当前帧) f n 1 ( 参考帧) f t n ( 重构帧) 图2 - 3h 2 6 4 a v c 的编码框架图 重构路径：为了提供进一步预测用的参考图像，编码器必须有重建图像的功 能。量化宏块系数x 必须经过反量化和反变换，得到残差块d n ( d n 与先前的 残差块d n 不同，因为d n 在量化过程中引入了失真) 。d n 与预测值p 相加后得 到j _ t f n ( 未经滤波的帧) ，为了去除编解码环路中产生的噪声，提高参考帧的图 像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出f n 即 为重建图像，作参考图像用。 2 4 先进的编码技术 从图2 3 看出h 2 6 4 a 、，c 的基本功能单元仍然是变换、量化、预测和熵编码 等，其主要区别在于h 2 6 4 a v c 标准一方面吸收了以前视频编码标准中的一些 行之有效的算法，另一方面采纳了视频编码、图像处理领域的最新研究成果，如 1 2 , 3 8 l 基于空域的帧内预测、多模式的帧间预测、多参考帧预测、整数变换与量化、 去块效应滤波、基于上下文自适应可变长编码( c a v l c ，c o n t e x t b a s e d a d a p t i v e v a r i a b l el e n g t hc o d i n g ) 和基于上下文自适应二进制算术编码( c a b a c ， c o n t e x t b a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 等。从而提高了编码效率。 2 4 1 帧内预测 在以往标准中，帧内编码图像一般直接将图像分成像素块，分别进行d c t 变换和量化，这样实际上并未充分利用各像素块之间的相关特性，导致帧内编码 1 0 中南大学硕士学位论文第二章h 2 6 4 1 a v c 标准 图像压缩效率不是很高。在h 2 6 3 + 和m p e g 4 中曾提出了一种先进帧内预测编 码模式，但由于受限于原有语法结构，也只能对图像经d c t 变换后的部分d c 和a c 系数进行预测编码。h 2 6 4 a v c 标准则打破了原有的语法约束，充分利用 相邻像素之间的相关特性【3 9 1 ，利用位于当前像素块左边和上边的已编码重建像素 进行预测，只对实际值和预测值的差值进行编码，从而实现了一种更为高效的帧 内空间域预测编码模式。 在h 2 6 4 a v c 标准中，帧内预测编码模式可以基于4 x 4 和1 6 x 1 6 两种不同 尺寸块进行【4 0 l ，其中1 6 x 1 6 块更适用于存在大面积缓慢变化的图像。按照预测方 向不同，h 2 6 4 a v c 针对4 x 4 块提出9 种帧内预测模式，对于1 6 x 1 6 块提出4 种 帧内预测模式，另外，8 x 8 色度块所具有的4 种模式与亮度的1 6 x 1 6 块的4 种模 式相同。 2 4 2 帧间预测 帧间预测主要是利用视频信号的时域相关性，通过运动估计和补偿把视频信 号的时域冗余信息去掉，从而达到压缩视频数据的目的。由于视频信号的时域相 关性远远大于其空域相关性，所以，通过采用帧间预测可以更大的降低编码码流。 与以往标准的帧间预测相比，h 2 6 4 a v c 标准的帧间预测主要有四个显著的特 点： ( 1 ) 预测块的尺寸大小可变 根据一般物体移动的特性可知，绝大多数物体都是以刚性移动方式进行移动 的，即在一定的范围内所有像素的移动方向和距离都是相同的。上面的假设就是 以块的运动预测为基础的，但是当运动比较剧烈或者当前块处在运动边缘处时这 种假设条件与实际条件已经不符，这时就会出现运动预测不准确以及码率上升的 情况。为了更好的避免这一情况，h 2 6 4 a v c 为帧间预测提供了不同大小的块模 板。当运动较快或者当前块在运动边缘时，选择较小的块尺寸能够精确的预测当 前块的运动方向和快慢。另外，块尺寸越小，h 2 6 4 几w c 编码后产生的块状效应 也会越小，但是块尺寸太小会导致编码时间过长，影响编码的实时性。 h 2 6 4 a v c 将每个宏块按4 种方式进行分割：1 个1 6 x 1 6 ，或2 个1 6 x 8 ，或 2 个8 x 1 6 ，或4 个8 x 8 ，其运动补偿也相应有4 种。每个8 x 8 子宏块还可以进一步 以4 种方式进行分割：1 个8 x 8 ，或2 个8 x 4 ，或2 个4 x 8 ，或4 个4 x 4 。这种分 割下的运动补偿称为树状结构的运动补偿，好处是：更切合图像中实际运动物体 的形状，可提高运动估计的精确程度和图像传播效果。实验结果表吲4 l l 与仅采用 1 6 x 1 6 宏块预测相比，使用7 种不同大小和形状的块可以节省码率1 5 以上。 对于不同的分割方式j 每个宏块都具有独立的运动矢量( m v ) 和运动补偿 中南大学硕士学位论文 第二章h 2 6 4 a v c 标准 残差值。每个m v 都必须被编码、传输，宏块的分割方式也必须编码传输。大小 不同的分割尺寸适用于不同的情况，大尺寸分割需要的运动矢量和分割类型的数 据量都比较小，但是当图像细节比较多时，大尺寸分割方式需要的运动补偿残差 值会比较大。小尺寸分割则恰恰相反，其需要的运动补偿残差佰较小，但是需要 的运动矢量和分割类型的数据量都比较大。分割尺寸的选择会影响整体的压缩性 能。总体而言，大尺寸分割适合平坦区域编码，而小尺寸分割适合多细节区域编 码。 帧问预测时色度分量不进行单独的预测和计算，色度分量的运动矢量也是根 据相应的亮度运动矢量得到的，只不过色度m v 的水平分量和垂直分量是亮度 m v 相应分量的一半。 ( 2 ) 运动矢量具有更精细的预测精度 以往的视频压缩格式，如m p e g 2 或h 2 6 3 等，都仅仅使用整像素作为运动 矢量搜索的基本步长。但由于块匹配算法中查找最优匹配点需要的搜索步长不一 定满足像素整数倍的要求，所以采用此种方式得到的运动估计向量与实际相比可 能会出现较大的偏差，尤其是低清晰度视频，因为低清晰度在运动估计时不容易 找到准确的运动矢量。采用亚像素预测可以大幅度提高预测精度【4 3 1 ，但付出的代 价是搜索算法的复杂性增加，如采用1 2 像素精度预测，搜索点的总数是整像素 搜索情况下的4 倍。由于编码时既要考虑编码复杂度又要考虑搜索精度，所以 h 2 6 4 a v c 对亮度分量( l u m a ) 使用1 4 像素精度，色度分量( c h r o m a ) 使用 1 8 像素精度。 ( 3 ) m v 预测 在以往的编码标准中，宏块运动矢量的计算都是利用块匹配直接计算得到 的，而且一般是从图像中心开始进行匹配计算，该方式没有考虑宏块之间的空间 相关性。一般临近的已编码宏块对当前待编码宏块有着较强的影响，因此当前宏 块的m v 可由邻近已编码的宏块的m v 预测而得。h 2 6 4 a v c 利用这种特性， 通过相邻已编码宏块的m v 计算出运动矢量预测值( m v p ) ，将m v p 与当前宏 块的m v 的差异( m v d ) 进编码传输。 ( 4 ) 多参考帧运动估计 与以往的h 2 6 3 标准和m p e g 系列标准的帧间方式预测方式不同， h 2 6 4 a v c 采用了前向与后向多个参考帧的预测方式，最多可采用1 6 个参考帧 进行预测，而以往的标准都只能采用一个或两个参考帧作为p 帧或b 帧的参考 帧。利用已编码的多个帧作为参考帧，可以对当前编码宏块进行预测，并从中选 择包含预测效果最好宏块的帧作为最佳参考帧。但是参考帧并非越多越好，因为 如果参考帧数目过大，则需要的计算量就会大大增加，会严重影响编码的性能。 1 2 中南大学硕士学位论文第二章h 2 6 4 a v c 标准 考虑到缓冲区的容量和编码过程的计算复杂度，目前在h 2 6 4 a v c 中一般使用 3 5 个参考帧对p 帧和b 帧进行帧问预测。 在选择合适参考帧数目的情况下，多参考帧运动估计预测算法比单参考帧预 测算法有更高的编码效率，能够获得更高的压缩比( 使用5 个参考帧与单个参考 帧相比可以节省5 - 1 0 的码率) ，而且有助于码流的恢复，提高了容错能力1 2 7 , 4 2 1 。 2 4 3 整数变换和量化 由于d c t 的性能十分接近统计意义上的最优变换k l t ,而且具有快速算 法，所以d c t 被广泛地应用于各种视频编码标准中。但是，传统的d c t 是实数 运算，存在大量的无理数和乘法运算，无论在运算精度还是复杂度上都存在明显 的不足。 h 2 6 4 a v c 在变换编码技术上改进较大，它摒弃了在多个标准中传统的8 x 8 浮点d c t ，而采用一种4 x 4 整数变换来对帧内预测和帧间预测的差值数据进行 变换编码。选择4 x 4 整数变换【删，一方面是为了配合帧间预测中所采用的变尺寸 块匹配算法，以及帧内预测编码算法中的最小预测单元的大小，而尺寸的减少也 相应能够减少块效应和振铃效应等不良影响；另一方面，这种变换是以整数为基 础的空间变换，其算法中只需加法与移位运算，因此运算速度快，并且在反变换 过程中避免了失配，不会出现“反变换误差”。 对变换残差系数的量化使用5 2 级步长的量化器，可选3 2 种不同的量化步长， h 2 6 3 标准只有3 1 级。h 2 6 4 a v c 中，步长是以1 2 5 的复合率递进的，而不是 一个固定常数。量化步长范围的扩大使得编码器能够更灵活、精确地进行控制， 在比特率和图像质量之间达到比较理想的效果【4 5 】。 2 4 4 去块效应滤波 在h 2 6 4 a v c 中，编解码器反变换量化后图像会出现块效应。产生块效应 的主要原因是基于块的帧内和帧间的预测残差的d c t 变换。其变换系数的量化 过程相对粗糙，因而反量化过程恢复的变换系数带有误差，会造成在图像块边界 上的视觉不连续。还有一个原因是来自于运动补偿。运动补偿块可能是从不同帧 的不同位置上的内插样点数据中复制而来的。运动补偿块的匹配不可能是绝对准 确的，所以就会在复制块的边界上产生数据不连续。尽管h 2 6 4 a v c 采用较小 的4 x 4 变换尺寸可以降低这种不连续现象，但仍需要一个去方块滤波器，以最大 限度提高编码性能。首先，引入环路滤波m 】能够提高预测效果，因为使用滤波后 的帧做参考，虚假的块边界不会被累积到后面的帧中，后续帧不需要对这些并不 存在的高频分量进行补偿和编码。从而提高了预测效果，同时也降低了后续帧的 1 3 中南大学硕士学位论文第二章h 2 6 4 a v c 标准 编码比特率。其次，引入环路滤波能够提高主观质量。 同后置滤波相比，环路去块滤波有以下优点：环路滤波器可以保证不同水平 的图像质量；在解码器端没有必要再为滤波器准备额外的帧缓存；环路滤波比后 置滤波更能增加视频流的主客观评价的质量水平，同时有效降低了解码器的复杂 度。造成环路滤波高复杂度的原因主要有：它需要对方块边界及样点量化值进行 条件判断和处理，在算法的主要内部循环中不可避免的出现条件分支；另外一个 原因是残差编码的尺寸。使用去块滤波器可以提高0 7 d b 信噪比，同时节约码率 6 左右，显著的改善主观质量。去块效应滤波在算法优化方面的空间很小，目 前在这方面的研究主要集中在硬件实现方面的优化。 2 4 5 熵编码 熵编码是无损压缩编码方法，它生成的码流可以经解码无失真地恢复出原数 据。在以前的视频编解码标准中，控制信息、运动信息和量化后的变换系数多采 用h u f f u m a n 编码，使用静态的概率估计码表，这样就忽略了不同视频流在统计 特性上的区别，也忽略了待编码符号之间的相关性。h 2 6 4 a v c 中采用了两种熵 编码1 4 。7 j 方法：c a v l c 和c a b a c 。 c a v l c 是用于对亮度和色度残差数据的编解码，它利用4 x 4 块残差数据经 过预测、变换、量化后，零系数集中在高频段，直流系数附近的非零系数幅值较 大和相邻块间非零系数的个数相关等特性进行压缩，可进一步减少数据中的冗 余，提高压缩比。 h 2 6 4 a v c 相对于以前基于块运动补偿的混合视频编码技术的一个重要进 步在于引入c a b a c ，c a b a c 采用一系列新技术，合理利用视频流特有的统计 特性以及相关性，还采用了高效的算术编码方法。在编码过程中，c a b a c 根据 当前所要编码的内容以及先前已编码好的内容，动态地选择概率模型来进行编 码，并实时更新相对应的概率模型。因此，c a b a c 在计算量和编码速度上继续 进行了优化，用了量化查表、移位、逻辑运算等方法代替复杂的概率估计和乘法 运算。实际应用中，c a b a c 与其他主流的熵编码方法相比有更高的编码效率， 输出码字的信息量可以逼近符号的熵率。但是在提高效率的同时，c a b a c 在内 存容量和计算复杂度方面要比c a v l c 付出更大代价，不利于实现【4 8 1 。 2 5h 2 6 4 1 a v c 的应用 h 2 6 4 a v c 标准的技术特点可以归纳为三个方面： ( 1 ) 注重实用，采用成熟的技术，追求更高的编码效率，简洁的表现形式； ( 2 ) 注重对移动和i p 网络的适应，采用分层技术，从形式上将编码和信道 1 4 中南大学硕士学位论文 第二章h 2 6 4 a v c 标准 隔离开来，实质上是在源编码器算法中更多地考虑到信道的特点； ( 3 ) 在混合编码器的基本框架下，对其主要关键部件都做了重大改进，如 基于空域的帧内预测、多块模式的帧间预测、多参考帧预测、整数变换与量化等。 由于h 2 6 4 a v c 视频编码标准具有更高的压缩率和更好的网络适应性，国 外的许多公司投入大量的人力物力进行了研究，目前已有一些成熟的产品问世。 例如：挪威的t a n d b e r g ( h 2 6 4 a v c 标准制定小组中的一员) 己经率先推出 支持h 2 6 4 a v c 的产品，随后美国和日本的公司也推出了支持h 2 6 4