（通信与信息系统专业论文）h264avc视频帧内解码的vlsi实现研究.pdf

摘要 摘要 随着2 1 世纪的到来，人类进入了一个全新的多媒体时代。作为多媒体中最重 要、最具表现力和最复杂的数字视频处理，也随着时代的发展取得了长足的进步。 新的h 2 6 4 m p e g 一4p a r t1 0 a v c ( 以下简称h 2 6 4 a v c 或h 2 6 4 ) 视频编码标准在编 码质量和压缩比上比原有的视频编码标准都有了明显的提高。在相同的视觉感知 质量上，编码效率比h 2 6 3 ，m p e g - 2 和m p e g 4 提高了5 0 左右，并且有更好的 网络友好性。h 2 6 4 a v c 标准，标志着视频压缩技术的最新进展。 h 2 6 4 在混合编码器的基本框架下，对其主要关键部件都做了重大改进，如多 模式运动估计、帧内预测、基于内容的变长编码、4 4 二维整数变换等，这使得 其实现难度要显著高于以往的视频编码标准。从总体上说，h 2 6 4 性能的改善是以 增加复杂性为代价而获得的。 本文介绍了h 2 6 4 a v c 视频压缩编解码标准以及作者在h 2 6 4 a v ch d t v 视 频实时解码器硬件实现方面的研究，主要对h 2 6 4 a v c 标准中的变换系数解码( 包 括变换系数逆扫描、系数逆量化逆变换和去方块滤波前的图像恢复与重建过程) 和帧内反预测部分进行了深入研究，提出了一种使用流水线结构和并行化操作的 v l s i 实现结构，变换系数解码过程包含的三部分采用流水线结构，帧内反预测与 变换系数逆扫描、系数逆量化逆变换等过程采用并行结构，这样大大节省了处理 时间，提高了处理速率，使得帧内部分处理一个宏块的时间最多只需8 7 7 个处理 周期，完全可以达到实对解码的要求。作者用v e r i l o g i - i d l 语言实现了这些模块， 并成功地在a l t e r a 的s 认1 1 x i if p g a 器件e p 2 s 6 0 f 1 0 2 0 c 5 上实现了该方案， 获得了很好的实时性能。 关键词：h 2 6 4 a v c ，帧内解码，v l s i a b s t r a ( 了 i i i a b s t r a c t w i t ht h ec o m i n go ft h e2 1 s t c e n t u r y , m a ni se n t e r i n gi n t o ab r a n d - n e w m u l t i m e d i aa g e d i # t a lv i d e op r o c e s s i n g ，a st h em o s ti m p o r t a n t ，e x p r e s s i v ea n d c o m p l e xo n ei nm u l t i m e d i a ，h a sp r o g r e s s e dq u i t eal o t t h en e wv i d e oc o m p r e s s i o n s t a n d a r dh 2 6 4 m p e g 一4p a r t1 0a v e 阻2 6 4 a v co rh 2 6 4f o rs h o r tb e l o w ) h a s s i g n i f i c a n ti m p r o v e m e n to v e ra l lp r e v i o u so n e si nc o d i n gq u a l i t ya n dc o m p r e s s i o nr a t i o w i t ht h es a m ev i s u a lp e r c e p t i v eq u a l i t y , h 2 6 4 a v cp r o v i d e sg a i n si nc o m p r e s s i o n e f f i c i e n c yo fu pt o5 0 o v e raw i d er a n g eo fb i tr a t e sa n dv i d e or e s o l u t i o n sc o m p a r e dt o p r e v i o u ss t a n d a r d s a n dh 2 6 4 a v ca l s oh a sb e t t e rn e t w o r k - f r i e n d l ys p e c i a l i t yt h a nt h e o t h e rs t a n d a r d s t h eh 2 6 4 a v cs t a n d a r di n d i c a t e st h el a t e s tp r o g r e s si nv i d e o c o m p r e s s i o n h 2 6 4 a v ci m p r o v e st h ek e yc o m p o n e n t so fc o d i n gs t r u c t u r eb a s e do nh y b r i d v i d e oc o d i n gf r a m e w o r k f o re x a m p l e ，i ta d d sm u l t if r a m em o t i o ne s t i m a t i o n ，i n t r a p r e d i c t i o n ，c o n t e x t - b a s e da d a p t i v ev a r i a b l el e t i g t hc o d i n g , 4 x 4i n t e g e rt r a n s f o r m ，e t c a s aw h o l e ，t h ei m p r o v e m e n ti np e r f o r m a n c el e a d st or e m a r k a b l yh i g h e rc o m p u t a t i o n a l c o m p l e x i t yi nt h en e w s t a n d a r d i nt h i st h e s i s ，t h eh 2 6 4 a v cv i d e oc o m p r e s s i o ns t a n d a r di si n t r o d u c e d ，a n dt h e r e s e a r c ho nt h eh a r d w a r ei m p l e m e n t a t i o no fh i 曲d e f i n i t i o nh 2 6 4 a v cv i d e o r e a l t i m ed e c o d e ri sa l s or e p r e s e n t e d t h i st h e s i s m a i n l y f o c u s e so nt r a n s f o r m c o e f f i c i e n td e c o d i n gp r o c e s s ( i n c l u d i n gi n v e r s et r a n s f o r mc o e f f i c i e n ts c a n n i n gp r o c e s s ， i n v e r s eq u a n t i z a t i o n ，i n v e r s et r a n s f o r ma n dp i c t u r ec o n s t r u c t i o np r o c e s sp r i o ft o d e b l o c k i n gf i l t e rp r o c e s s ) a n di n t r ap r e d i c t i o np r o c e s s ，t h e np r e s e n t sa v l s ia r c h i t e c t u r e w i t hp i p e l i n ea n dp a r a l l e lo p e r a t i o n s t h et h r e ep a r t so ft r a n s f o r mc o e f f i c i e n td e c o d i n g p r o c e s sa r ed e a l e dw i t hp i p e l i n eo p e r a t i o n ，a n di n t r ap r e d i c t i o nw o r k si np a r a l l e lw i t h i n v e r s es c a n ，i n v e r s eq u a n t i z a t i o na n di n v e r s et r a n s f o r m t h u s ，i tc o u l ds a v eal o to ft i m e a n de n h a n c et h ep r o c e s s i n gs p e e d t h ew o r s tc a s eo fi n t r ad e c o d i n go n em a c r o b l o c ki s j u s t8 7 7e l k ，w h i c hc o u l dm e e tt h e r e a lt i m er e q u e s t t h e n ，t h i sm o d u l e sa r ea l l a c t u a l i z e db yv e f i l o g h d l f i n a l l y , t h es c h e m eh a sb e e ns u c c e s s f u l l yi m p l e m e n t e do n a l t e r a ss t r a t i xi if p g ad e v i c ee p 2 s 6 0 f 1 0 2 0 c 5 ，a n dt h es y s t e mh a sg o tv e r y g o o dr e a l t i m ep e f f o r m c e k e y w o r d ：h 2 6 4 a v c ，i n t r ad e c o d i n g ，v l s i 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 、本人签名： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文： ( 保密的论文在解密后遵守此规定) 本人签名： 导师签名： 街、覆 日期：夕力# 、l 、1 0 第一章绪论 第一章绪论 1 1 引言 未来的人类社会将是信息化社会，图像是多媒体中携带信息极其重要的媒体， 统计资料表明，人们获取信息的7 0 来自图像。数字化后的信息，尤其是数字化 后的视频和音频信息，具有数据海量性的特点，它给信息的存储和传输造成很大 的困难，成为阻碍人类有效获取和使用信息的瓶颈问题之一。因此，研究和开发 新型有效的多媒体数据压缩编码方法，以压缩的形式存储和传输这些数据将是晟 好的选择。 在许多应用领域，都会遇到需要对大量图像数据进行传输与存储的问题。例 如，在传输方面：数字电视、遥感照片、军事侦察图像、可视电话、会议电视和 传真照片等；在存储方面：教育、商业、管理等领域的图文资料、医用图像、天 气云图等等，海量图像数据几乎涉及各个行业。为了在最短的时间传递尽可能多 的图片，或者为了利用有限的存储容量存储更多的图像信息，或者为了在有限的 带宽条件下传输尽可能多的活动图像，就要研究怎样才能最大限度的压缩图像数 据，并且保证压缩后的重建图像能够被用户所接受，这就是图像编码所要解决的 问题。 1 2 视频编码原理及方法 视频编码的目的是实现对视频的压缩，其核心思想是去相关。通过减少视频 序列间的相关性，降低视频内容中的冗余，用较少的比特数来表示视频内容，从 而实现对视频的压缩。视频序列中的冗余主要有以下几个方面。 空间冗余 空间冗余是指在同一帧画面中，相邻的像素间存在的相关性，特别是当这些 相邻像素位于同一个视频对象中时，相关性极强。例如在图像的背景区域。 时间冗余 通常对视频序列而言，除非发生场景切换，否则相继帧在时间上都是连续的。 在前后两帧中往往包含与当前帧相同的背景和对象。只是由于镜头的转动或对象 的移动使得空间位置发生交化。运动越缓慢，位置的变换越小。因此视频序列在 时域存在极强的相关性。 编码冗余 2 里：! ! ! 塑竺型塑塑塑塑璺盟! ! 塑壅翌翌塞 对于编码符号，其平均码长高于所表示信息的信息熵，这个差值就形成了编 码冗余。编码冗余、空间冗余和时间冗余都依赖于图像数据的统计特性，可以统 称为统计冗余。 人眼视觉冗余 由于人眼视觉的非均匀性，使得人眼视觉对某些空间频率感觉迟钝。因此视 频中不同频率成分的内容对于人眼系统而言其重要性是不同的。也就是说存在频 域冗余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。因此可 以对色度分量进行降采样，同时保持主观视觉质量不变。y u v 4 ：2 ：0 色差格式就是 对色度分量在水平和竖直两个方向进行2 ：1 的降采样。另方面对信号频域的各 个分量可以采取不同的量化步长，将人眼视觉不敏感的分量去除，而不会引起主 观质量的下降。 结构冗余和知识冗余 图像的某些区域存在非常强的纹理结构，图像像素值有明显的分布模式，形 成结构冗余，或者图像中包含的信息与某些先验知识有关，例如人的五官位置对 于人脸而言就是一种先验知识，这种冗余构成知识冗余。 信源编码的方法按照压缩数据能否被准确恢复分为两大类：无损编码和有损 编码。虽然无损编码可以无失真的恢复原始数据，但其压缩效率十分有限。因此 在视频压缩中都是将无损编码和有损编码结合使用。视频编码中主要压缩技术有 以下几种。 预测编码 预测编码不是对一个像素童接编码，而是用同一帧( 帧内预测编码) 或相邻帧 ( 帧间预测编码1 中的像素值来进行预测，然后对预测残差进行量化和编码。显然 预钡4 编码实际是利用了图像数据中的空间和时间冗余。线性预测编码又称为差分 脉冲编码调制d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，由于算法简单，易于硬 件实现，已被各种视频编码标准采纳。 帧间预测编码的主要方法有帧重复法、帧内插法和运动补偿法等。其中运动 补偿法在视频编码中使用的最为广泛。运动补偿预测通常可以采用单向预测( 一个 参考帧) ，双向预测( 两个参考帧) 和插值预测( 取两个参考帧预测值的平均) 来实现。 由于运动补偿预测可以有效的减少视频序列的时域冗余，因此成为构成当前主要 视频编码标准最基本的技术之一。 变换编码 变换编码是构成当前主要视频编码标准的另一项最基本技术，用来消除图像 的频域( 变换域) 冗余。 正交变换编码通常是将空域相关的像素点映射到另一个正交矢量空间，使得 变换后的系数之间相关性降低。常见的正交变换有，k - l ( k a r h u n e n - l o e v e ) 变换、 第一章绪论 离散傅立叶变换d f t ( d i s c r e t ef o u r i e rt r a n s f o r m ) 、离散余弦变换d c t ( d i s c r e t e c o s i n et r a n s f o r m ) , 沃尔什哈达 6 f w a l s h h a d a m a r d ) 变换和哈尔( h a r r ) 变 换。k l 变换是均方误差准则下的最优变换，但实现困难。在现行视频编码标准 中几乎都采用了性能最接近k - l 变换的d c t 。 变换编码除了采用正交变换编码外，还有子带编码和小波编码。由于正交变 换编码使得图像的能量集中在低频区域，表示图像中缓慢变化的内容，而图像的 边缘、细微的纹理等细节部分集中在变换域的高频区。为了实现压缩，通常采用 同一个量化器进行量化，这样就牺牲了图像的细节部分，造成解码图像模糊。在 高压缩比时，基于块的正交变换编码还会产生块效应( ( b l o c ke f f e c t ) ，降低图像质 量。而子带编码则是将图像分裂成几个不同频段的子带( s u b - b a n d ) ，对不同的子带 设计不同的编码参数，提高图像质量。小波多换编码充分的利用了小波分析在时 域和频域同时具有良好的局部化特性，与人昨视觉特性相符的多分辨率能力，分 解系数分布平稳，自然分级的金字塔式数据结构等优点，在视频压缩领域引起广 泛的关注。它利用与正交分解完全不同的小波分解，以原始图像f 不是原始图像中 的块) 为初值，不断的将上一级图像分解为4 个子带：上级图像中的低频信息、 垂直方向、水平方向和对角线方向的边缘信息。从多分辨率分析出发，一般每次 只对上一级的低频予图围像进行分解。将整个图像而非其中的块作为整体进行传 送，因此不会产生块效应。由于小波变换的金字塔式数据结构的每一层都包含整 个图像的信息，只是其中的分辨率不同，因此可以选择传送部分或全部，非常简 单，自然的实现可分级视频编码。 统计编码 根据香农信息论的观点，信源冗余度来自信源本身的相关性和信源内部事件 概率分布的不均匀性。统计编码主要有基于概率分布特性的霍夫曼编码和算术编 码，以及基于相关性的游程长度编码三类。 霍夫曼编码( h u f f m a nc o d i n g ) 是一种变长编码v l c ( v a r i a b l el | c n g , hc o d i n g ) 霍 夫曼编码将信源符号按概率大小重新排序，通过二叉树算法，依次将两个概率最 小的节点合并，直至根结点。完威树的构造后，给所有的树枝分配0 和1 ，这样 就可以给高概率符号分配短码，而概率小的符号则分配较长的码字，去除符号问 的统计冗余。在已知信源符号概率时，可以给出极好的编码性能。但霍夫曼编码 严重依赖信源的统计特性，编码前必须有信源概率分布的先验知识。对于复杂的 视频来说，只能用对大量数据统计后获得的近似分布来代替，因此实际应用时无 法达到摄佳性能。另一方面v i c 提高了编码效率，但不利于硬件实现。 游程长度编码r l c r u n i 七n g t hc o d i n g ) 是将符号值相同的连续符号串用一个 游程长度( 符号数) 和一个代表值( 值) 描述。这样可以用更紧密的序歹d 代替原有的相 同值符号串。在视频压缩中，量化后的数据常常出现大量的连零系数，利用游程 生 坚：兰堡苎竺兰竺塑塑塑查堑里塑! 坚! 塞婴塞 长度编码可以有效的降低表示零码的比特数。 算术编码( a r i t h m e t i cc o d i n g ) 是2 0 世纪8 0 年代发展起来的，理论上，算术编 码和霍夫曼编一码都是最佳的，但在信源概率分布未知的情况下，算术编码优于 霍夫曼编码。算术编码的基本原理是用1 0 , 1 之间的一个概率区间来表示数据序列。 将信源x 的一个给定状态x - x 1 ，x n 与【0 ，1 】间的一个由大概率p 和小概率q 限定的概率子区间相联系，区间的长度等于序列的概率p ( ) 【) 。编码器从n = 1 开 始，逐位的处理输入的符号流。每输入一位，更新当前符号的条件概率，并以此 调整p 和o 限定的概率子区间。随着n 的增加，和输入符号序列相联系的概率子 区间就变得越来越小。最后用这个表示概率子区间的小数给符号序列编码。 分形编码和模型基编码 本文的主要集中于基于块匹配的编码框架中，因此分形编码和模型基编码超 出了本文的讨论范围，不再详述。 1 3 现有的视频编码标准及其介绍 自8 0 年代以来，由于数字存储媒体、电视传播及通信等应用中对运动图像编 码方法需求的日益增长，i t u ，i s o 等国际组织都成立了专门的机构，致力于制订 运动图像压缩编码的国际标准。到目前为止，已经开发和正在开发的运动图像压 缩标准有：h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g - 2 、m p e g 一4 、m p e g - 7 、h 2 6 4 、和 m p e g 2 1 。下面对这些标准分别做一简单介绍。 c c r r r ( 目o 后来的r r u ) 第1 5 研究组于1 9 8 4 年成立了“可视电话专家组”，经过 1 9 8 5 1 9 8 8 三年的研究，提出了视频编解码器的的h 2 6 1 标准草案，以覆盖i s d n 基群信道，满足会议电视和可视电话业务b 益发展的需要。1 9 9 0 年7 月通过了该 标准，定名为“p x 6 4 k b p s 视听业务的视频编码器”，其中p = l 3 0 。为了满足近年来 在普通公用电话网或移动电话网上进行可视电话通信的需要，即视频压缩率低于 6 4 k b p s ，在诸如2 8 8 k b p s 等速率的信道上进行可视电话通信，n u - t 在h 2 6 1 标准 基础上进行了改进，于1 9 9 5 年提出了h 2 6 3 标准“甚低码率通信的视频编码”。 m p e g 1 制定于1 9 9 2 年，可适用于不同带宽的设备，如c i ) - r o m 、v i d e oc d 。 他的目的是把2 2 1 m b p s 的n t s c 图像压缩到1 2 m b p s ，压缩率为2 0 0 ：1 。传输速率 为1 5 m b p s ，编码速率最高可达4 - 5 m b p s ，但随着速率的提高，其解码后的图象 质量有所降低。m p e g - 1 主要是针对数字存储媒体，但它也被用于数字电话网络上 的视频传输，如非对称数字用户线路( a d s l ) ，视频点播和教育网路等。 m p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图象质量以及更高的传 输率。它所提供的传输速率在3 m 1 0 m b p s 。m p e g - 2 技术就是实现d v d 的标准技 术，现在d v d 播放器已经在家庭中普及起来了，除了用于d v d 外，还可以为广 第一章绪论 播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 m p e g - 4 旨在将众多的多媒体应用集于一个完整的框架内，为不同性质的视 频、音频数据制定通用的编码方案，提出基于内容( c o n t e n t b a s e d ) 的视频对象 ( v i d e oo b j e c t ) 的编码标准。它不仅针对一定比特率下( 4 8 0 0 - - 6 4 0 0 b p s ) 的视频、 音频编码，更加注重于多媒体系统的交互性和灵活性。为了达到这个目标，m p e g 4 引入了对象基表达( o b j e c t b a s e dr e p r e s e n t a t i o n ) 的概念，用来表达视听对象 r a u d i o v i s u a lo b j e c t s ，a v o ) ；m p e g 4 扩充了编码的数据类型，由自然数据对象扩 展到计算机生成的合成数据对象，采用合成对象自然对象混合编码 ( s y n t h e t i c n a t u r a lh v b r i dc o d i n g ，s n h c ) 算法；基于内容的压缩编码是m p e g 研 究的热点。m p e g 一4 的编码系统是开放的，为各种多媒体应用提供一个灵活的框架 和一套开放的编码工具，不同的应用可选取不同的算法。 m p e g - 7 的工作于1 9 9 6 年启动，名称叫做多媒体内容描述接( m u l t i m e d i a c o n t e n td e s c r i p t i o ni n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型的 多媒体信息及它们之间豹关系，以便更快更有效地检索信息。这些媒体材料可包 括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它们之间的 组合关系。m p e g 7 的应用领域包括：数字图书馆( d i g i t a ll i b r a r y ) ，例如图像目录、 音乐词典等：广播媒体的选择，例如无线电频道，t v 频道等；多媒体编辑，例如 个人电子新闻服务，多媒体创作等等。 h 2 6 4 ( m p e g 4 的p a r t l 0 ) 发布于2 0 0 3 年，它是由i t u t 和i s o 共同制定的 新一代图像压缩标准，能提供比m p e g 4 和h 2 6 3 更高的压缩性能，使图像的数据 量减少5 0 ，有利于有限的空问存储更多的图像数据；对网络传输具有更好的支持， 引入面向数据包编码，有利于将数据打包在网络中传输，支持流媒体服务应用： 具有较强的抗误码特性，以适应在噪声干扰大、丢包率高的无线信道中传输；对 不同应用的时延要求具有灵活的适应性：编码和解码复杂度具有可扩展性，支持 编码和解码复杂度的不等分配和扩展。h 2 6 4 中引入了一些新的压缩方法，以提高 压缩效率，它具有如下特点：增强的运动补偿性能，采用更小块进行变换编码，采用 块间滤波器提高性能，高性能的熵编码，采用s p 和s i 帧支持视频流间切换等。 1 4 论文内容及作者所完成的工作 本文简要介绍了视频压缩编码的原理和基本的压缩方法，并在此基础上重点 研究了h 2 6 4 a v c 视频压缩编解码的标准。本文作者参与了h 2 6 4 a v ch d t v 视频实时解码系统方案的设计，主要负责h 2 6 4 a v c 标准中的变换系数解码( 包 括变换系数逆扫描、系数逆量化、逆交换i d c t l h a d a m a r d 和去方块滤波前的图像 恢复与重建过程) 和帧内反预测等帧内模块的硬件设计。通过对这些模块的实现 坚：堑型型曼望塑塑塑坚坐塑! 坚! 窭墨婴窒 原理和实现过程的深入研究，提出了一种使用流水线结构和并行化操作的v l s i 实现结构，并用v e r i t o g t t d l 语言实现了这些模块，而且成功地在a l t e r a 的 f p g a 器件e p 2 s 6 0 f 1 0 2 0 c 5 上实现了该方案，获得了很好的实时性能。 论文章节安排如下： 第一章绪论对图像压缩编码的原理及方法和现行的图像压缩编码标准作了简 要的介绍，并介绍了作者的主要工作。 第二章介绍了h 2 6 4 a v c 视频编解码的国际标准，详述了h 2 6 4 a v c 视频编 解码器的基本结构和特点。 第三章详细介绍了h 2 6 4 a v c 解码系统中帧内模块的硬件实现原理，详细说 明了各个组成部分的功能。 第四章详细介绍了h 2 6 4 1 a v cm a i np r o f i l e 解码器帧内模块的硬件实现，详细 讨论了变换系数解码( 包括变换系数逆扫描、系数逆量化、逆变换i d c t i h a d a m a r d 和去方块滤波前的图像恢复与重建过程) 和帧内反预测等模块在f p g a 中的设计 实现，由此提出了基于硬件实现的h 2 6 4 1 a v c 视频帧内解码系统的v i s i 实现方 案。 塑三兰坚：堑型型竺塑塑塑堑塑堡堡塑垄 2 m p e c _ , ( m o v = i n gp i a u i ee x p e t t sg r o u p ) 和v e c g ( v i d e oc o d i n ge x p e r t sg r o p ) 酬 合开发了个比早期醪f 发的m p e g 和h 2 6 3 性能更好的视频踹码标准，这就是被命名 为a v c ( a d v a n e c d v i d c x ) c o a i u g ) 的，也被称为i t u - t h 2 6 4 建议和m p e g 4 自匀第1 0 部分的 标准。在、趄，就简舵为h 2 6 4 a v c 或1 t 2 6 4 。这爪国际标准已于2 0 0 3 3 正式被i r u - t 所通过并正式颁布。应该说，h 2 6 4 的颁布是视频压缩编码学科发展中的件大事，彦优 异的压缩性能也将在数字电 呢广播、视频实时通信、网络视频流煤体传递以及多媒体短信 等各个方面发挥重要作用。m p e g - 4 技术的重点是灵活，而1 - 1 2 6 4 着重于解决压缩的高效 率和传输的可靠性，因而其匣时面十分广l 泛。具体来说，h 2 6 4 支持三? 卜1 i 同档次的应用： ( 1 ) 基本档次：主要用予视频匀著，如会l ；【电视、可视电话、远程医疗、远程教学 等； ( 2 ) 主要档次：主要用于消费电子应用，如数字电视广播、数字视频存储等； ( 3 ) 扩张档次：主要用于网络的视频流，如视频点播。 j v t 开发的新代的低比睁率视频标准i - i 2 6 4 具有出色的编码效率和压缩性能。其 基本框架和已有的视顿编码标准剡以，但它包含许多特有的重要的技7 i 沸 征，h 2 6 4 对于 研究多媒体通信和新代的网络业务有着重要的意义。 h 2 6 4 的技术特点可以归纳为三个方面，一是注重实用，采用成熟的技术，追求更高 的编码效率，简洁的表现形式；二是注重移动和p 网络的适应，采用分层技术，从形式上 将编码和信道隔离开来，实质e 是在源编码器算法中更多地考虑至蚱揽的特点；三是在混 合编码器的基本幅架下，对其主要关键部1 牛都做了重大改进，如多模式粼计、帧内预 测、多帧预测、基于内容的变长编码、4 x 4 二维整数变换等。在关注h 2 6 4 的优越性能的 同时必然需要衡量其实现难度。从总体上说，h 2 , 6 4 性能的改进是以增加复杂性为代价而 获得的。 与之前的各个协议相比，h 2 6 4 有以下的几个重要优势： 1 高质量的视频函像。h 2 6 4 协议在各种情况下提供了稳定的视频质量，尤其是在 低比特率的情况下，也能保持较高的图像质量。 2 与h 2 6 3 + + 或m p b g 4 相比，在近似的图像质量上，h 2 6 4 的比特率喇氐大约5 0 。 3 l 2 6 4 既可以应用于吲刚蜒自匀场合，如在实唧通信系统中的应用，也可用j 耐 8旦：! ! 型竺! 塑塑塑塑塑堕些! 堡! 塞! ! 里塑 延迟没有限制的场合，如视频存储、基。于服务器的视频流应用等等。 4 h 2 6 4 对于丢失的信恩提供了错黼的工具。 5 h 2 6 4 分为视频编码层n l a ) 和网络抽象层( n a l ) 。j v t 在开发h 2 6 4 视频编 码规范的时候，为它设计了很广的应用层面，从窄带的视频电话业务到宽带互联 网视频服务再到无线应用和视频的存储。这些应用所涉及到的传输和存储媒介差 别很大，为了增加灵箨 性和可扩展性，j 、丌定义了视频编码层( v a ，v i d e oc o d i n g l a 删网络抽象层( n a ln e t w o r k a b s w a s f i o nl a y e r ) ，视频编码层用于 黾供高品 质的视频编码，而网络抽象层提供在不同媒介上的数据表现形式，使其适用于不 同的传输层或存储介贡。目前，传输和存储系统主要分为两大类面向字节流 的系统以及面向包粼系统，j v t 定义了n a l 单元到这两类系统之间的映射 关系。如图2 1 示 2 2 1 名词解释 图2 l 嘲分层结构 2 2h 2 6 4 编解码器的结构 1 场和帧 视频的场蔚呻舸用来产生懈图像。通鞔视鼬删嗣啊鲤：翊：续或 隔行测弛。在电视中，为碗蚓湎积闪卿掾，把- 蚴喊两爪隔行自q 场。显然，这时 场内邻行之间的时间相关性轼强，而帧内相邻行的空间相关性跤强，困懒量较小或静 止的图像宜采用帧编码方式，对活动量较大的运动图像图像宜采用场编码方式a 2 宏块、片、片组 宏块 一个编码图像通常翅盼瞎擎f 个宏蜘个宏块由个1 6 x1 6 亮魔豸嘟附加的一 苎三童坚：垄! 坐丝塑塑塑塑塑堡堡塑堕 2 个8 x 8 ( y o 和个8 x 8 q 彩色象素块组成。每个图像中，若干宏块被排列成片的形式。 片 一个视频图像可编码成一个或更多个片，每片包含整数个宏块( m b ) ，即每片至少一 个m b ，最多时每片包含整个图像的宏块。总之，一幅图像中每片的宏块数不一定固定。 设片的目的是为了限制误码的扩散和传输，应使编码片相互间保荆虫立。某片的预测 不能以其他片中的宏块为参考图像，这样某片中的预测误差才不会传播到其他片中去。 n n r ；贿5 种不同的类型：i 片、p 片、b 片、s p 片和s i 片。 i 片只包含i 宏块，p 片可包含p 和i 宏块，而b 片可包含b 和i 宏块。 i 宏块利用从当前片中已解码的象素作为参考进行帧内预测( 不能取其他片中的已解 码象素作为参考进行帧内预测) 。 p 宏块利用前面已编码的图像作为参考图镯揪间预测，撇间编鳓日宏块司进 穆作宏块的，分害虬即分成1 6 1 6 、1 6 8 、8 x 1 6 、8 x 8 剜蔓勇嗉块( 以及附带的彩色 象素) ：如果选了8 8 的子宏块，贝i j 可再分割成各种子宏块，其尺寸为8 x 8 、8 x4 、4 x8 、 4 x 4 亮度象素块( 以及附带的彩色象素块) 。 b 宏块贝蜊用双向的参考图像( 当前和未来的已编码图像帧) 避彳亍帧间预测。 s p ( 切换p ) 是用于不同编码流之间的切换，它包含p 祀喊i 宏块，是扩展档次中必 须具有的。s i 包含了种特殊类型的编码宏块，叫做s i 宏块，s i 也是扩展档次中的必备 功能。 片的句法结构如图22 所示。其中，片头规定了片的类型、该片属于哪个图像、有关 的参考图像系片的黼含一系列的编码砌- ，和别粥鹇( 不编码) 数据。每吟m b 包含头单元和残差数据。 片组 片组是个编码图像中若千m b 的吟啥集，它司包含个或若干个片。 在个片组中，每片的m b 按光栅扫描次序进行编码，如果每幅图像仅取一 个片组，贝恢醮中所有的m b 均按煳脏黼脚葶编码( 蒯 住朔a s o ，即任意的片 次序，即卟编码帧中的片之后可跟随任懈码程序的片) 。 固翔中片组，叫灵活宏堋牖( f 啪) ，哲刑黾灵_ 舌的方法，捣岛码m b 序歹0 映射 到解码图像中。m b 的分配用m b 到片组之间的映射来确定，它表示每个m b 属于嘲p 个 1 q坚：! 型曼塑塑塑塑坚里塑! 塑塞望塑窒 片组。 2 2 2i - i 2 5 4 的编码格式 制定h 2 6 4 的主要目标有两个： 1 1 得到高的视频压缩比。当初提出的指标是与i - l 2 6 3 、m p e g - 4 相比，约为它们 的2 倍。现在都己基本实现。 具有良好的网络亲和性，即可适用于各种传输网络。 为此，h 2 6 4 的功能分为两层，即视频编码层( v c l n e d i o c o d i n 咂n g l a y e r ) 和i 网络提取 层( n a i c n e t w o r k a b s w a c t i o n l a y e r ) 。v c l 数据即编码处理后的输出，饿示被压缩编码 后的视黼序列。在v 乱数据传输翔筝储之前，遨蝴的v 旺数据，先i 陂晚捌浏 装进n a l 单元中。 每个n a l 单元包挣睬始字节序列负荷( 砌鼎) 、一组对应于视燃解掰嘏的n a l 头信息。n a l 弹- 元序列的结构图如图23 所示。 匿鋈塑鋈翌受题鎏翌霞鋈 图z 3 n a l 黼0 在有物体移动蒯聂1 8 钡绩头移动的隔彳亍 习描帧中，与逐尉j i 喇湘比，l 黼的两行的 统计依赖性下降。在这种情况下，也许对每个场单独进行压缩的效率更高。为此2 6 4 的 设计中歹嗽犏码器盔对_ 叫i 娥! f ：j 犏码啼断亍女下决定： 两个饧绪鲢1 难檄俐虫立的嗡拼黼( 巾贞撇) a 两个场结合，对其按单独的场独立进行编码( 场模式) 。 将两个场结合在起，并将其作为个单独的帧压缩，但编码时需要首先将垂直 相邻的两个宏块分成两场或两帧中的对宏块。 对个序列中的每帧都可以自适应地选捐嘲酬选项中的种。图像自遁越p 回濒 ( p a f f ) 编码只在前两个选项之间进行选择。当帧作为两场编码时，每场也被分成宏 块，其编码方式与帧十分类似，t 蝴以下主要的不同之处： 运动牢懒参考场，而不是参考帧。 变烁数的z l g - z a g 扫描方式不同。 不再使用去方块滤波过滤场内宏块问的水平边界，因为场内的行闯隔是帧的两倍， 滤波器覆盖的空间更大了。 篁三童望兰竺坐曼望塑塑塑塑塑堡塑垄 u 某些视频序列使用p a f f 编码比只用帧编码模式降低e b 特率大约1 6 - 2 0 a 如果某帧包含了既有运动部分也有静止部分的混合区域，则通常将静止区域按帧模式 编码，活动区域揆场瘫皂式，这样编码效率更高。因此，对叫9 贞中的每侮直龛j 块对( 个 1 6 3 2 的亮度区域) 都可独立进行炀编码模式的选择。编码选择被称为宏块自适应防 场( m b a f f ) 编码。对帧模式下编码的宏块对，每个宏块包芒沌目行；对场编码漠式下的宏 块对，项宏块包含顶场行，底宏块包含底场行。 和m p e g2 不同，h 2 6 4 对于使用帧饧的决定是在宏块对层面而非在宏块内。这是为 了保持基本的宏块处理结构完整，而且可以允许运动补偿区域和宏块大小相同。 场宏块对的每个宏块的始里方法与p a f f 编码的场宏块十粥皂以不同之崦于卟 m b a f f 帧里很可能既有帧宏块对又有场宏块对，为此，需要做如下几处修改： z i g - z a g 扫描。 运动矢量的预测。 帧内预测模式的预测。 帧内预捌采样精度。 去方块滤波。 熵编码中的上下文模式。 主要思想是尽可能保留多的空间一致性，m b a f f 帧的空间相邻的规范相当复杂，下 面讲到的空间相邻都是指非m b a f f 帧。 m b a f f 和p a f f 的另一个主要区别在于，在m b a f f 中，场不允许使用同帧中其 它场的宏块作为其运动预测的参考( 因为场中的某些区域在其它场的场宏块编码时还不可 用) 。这样，葡些时候p a f f 编码比碉狐f f 编码效率更高( 尤其唇蝴的全局运动，场 景变换，或帧内图像更新等隋况下更为适用) ，当然大部分时候是m 队矸编码效率更高。 在开发m b a f f 标准期间，据报道，采用i t 0 - 6 0 1 分辨率，m 融师编码技术比伴皿7 相比可减少码率1 4 到1 6 。 2 3h 2 6 4 编解码器的特点 h 2 6 4 并不明确地规定个编解码器如何实现，而是规定了个编了码视频比特流的 句法，和该蝴的解码方法，各个厂商的编码器和解码器臼吲垂架下应能够互通，在实 现上具有鞍大的；l 活性，而且有利于相互竞争a h 2 6 4 编码器和解码器的功能组成分别如图z4 和图2 5 所示。 从图24 和图25 中可见，h 2 f ) 4 和基于以前的标准( 如i 王2 6 1 、h 2 6 3 、m p e g - 1 、 m p e g - 4 ) 中的编解码器功能块的组成并没有什么区别，主要的不同在于各功能失的细节。 由于视频的内容时刻在变化，有时空间细节很多，有时大面积的平坦。这种内容的多变性 就必须采 用相应的自适应的技术措施；由于信道胡：境恶劣下也是多变的，例如互联网，有时畅通， 有时不畅，有时阻塞；又如无线网络，有时发生严重衰落，有时衰耗很小，这就要求采取 相应的自适应方法来对抗这种信道畸变带来的不良影响。这两方面的多变带来了自适应压 图2 5 h 2 6 4 角觥 缩技术的复杂性。h 2 6 4 就是利用实现的复杂性获得压缩性能的明显改善。由于大规模集 成电路技术和工艺的迅猛进步，今天已完全具备了实现的可能性。 2 3 1i - l 2 6 4 编码器 编码器( 前向路径) 在编码端，f 表示当前输入帧。帧咀宏块为单位进行处理( 列倒承始图像的1 6 x1 6 个象素) 。每个宏块耆瞵撇内或帧间模式进行编码。在任何种情况下，都由重建帧得到一 个预测宏块p 。在帧内模式下，p 是由当前帧第n 帧中己逮行编码、解码和鲢的采 样点构建的( 在图z4 中用“l | f i n ，表示，使用未滤波的采样点构建玢。在帧间模式下， 预测宏块p 由个或多个参考自熔蘑过运动卒心颥濒| 趟行构建。在i 圈中参考帧是作为i l 编码 的帧f 出现的。每个宏块可由吟或多个已经进行编码和重构的前帧或后帧( 以时间为 塑三童坚：! ! 型些曼塑塑塑坚塑壁堡塑垄 1 3 顺序) 预授0 得到。 将预测宏块p 从当前宏块中减去，得到一个残差宏块现并对它进行变换、量化，得 到x 。对变换系数x 重新排市而舌进行熵编码。熵编码后的系数与附加信息用来从压缩的 懒中解出宏块( 比如宏块的预测模式、量陟长、运动矢量信息等等) 。这些荆日黼交 给网络提取层( n a i 渊科专输或存储。 编码器( 重建路径) 耋靴后的宏块系数x 棚，用来萤建叶帧，进而对下个宏眄斯亍翁| 5 码。系数x 经过