（通信与信息系统专业论文）h264分级编码技术的研究.pdf

摘要 在过去不n - 十年的时间里，网络技术和多媒体技术得到了迅猛的发展。人们 在网络上实时获取多媒体数据，特别是视频和音频内容的浏览，已经成为人们同常 生活中必不可少的重要组成部分。 随着科技的进步，越来越多的用户希望用p c 和非p c 设备通过互联网和无线 网络来进行视频通信和服务，但是网络的异构性、用户设备的多样性说明传统的视 频很难在网络上进行传输。解决问题最终的方法是采用可分级的视频编码技术。 h 2 6 4 是i t u t 和i s 0 联合制定的新一代视频编码国际标准，它提供更高的压 缩性能，提高了存储空间利用率。它同时有很强的抗干扰能力，大大提高了视频传 输的可靠性。在基于h 2 6 4 视频编码标准的基础上，论文对h 2 6 4 视频编码分级性 进行研究。 本论文主要就以下问题进行了比较深入的探讨： 1 、简要介绍了h 2 6 4 视频标准，全面了解h 2 6 4 视频标准的关键技术，对h 2 6 4 进行分级编码的必要性进行阐述。 2 、基于传统的视频分级编码的相关技术，提出对h 2 6 4 视频进行分级编码的算 法。 3 、对h 2 6 4 视频编码算法进行仿真实验，h 2 6 4 和m p e g 一2 标准相比，编码 性能提升了5 0 左右。论文对h 2 6 4 帧内预测和帧间预测方法进行了深入的研 究。 4 、分级编码算法仿真实验，实验结果和m p e g 一2 分级编码性能进行对比。从 实验可以看出，h 2 6 4 在进行时间分级和空间分级后，编码效率比m p e g 一2 分 级编码高1 0 2 0 左右，但是和未分级h 2 6 4 性能比较，其编码效率下降了 2 0 。 关键词：h 2 6 4 、分级编码、时域分级、空域分级 a b s t r a c t i nt h ep a s tl e s st h a nt w e n t yy e a r s ，n e t w o r ka n dm u l t i m e d i at e c h n o l o g y d e v e l o p e dv e r yr a p i d l y p e o p l ec a nc a p t u r er e a l t i m em u l t i m e d i ad a t af r o m t h en e t w o r k ，v i d e oa n da u d i 0v i e w i n gf r o mt h en e t w o r kh a v ea b s o l u t e l ya n d n e c e s s a r i l yb e c o m ep a r to fo u r 1 i f e w i t ht h ep r o g r e s so ft e c h n o l o g y 。m o r ea n dm o r eu s e r sh o p et ou s ep ca n d n o n - p ce q u i p m e n t st oc o m m u n ic a r ew it hv i ai n t e r n e ta n dw i r e l e s sn e t w o r k h o w e v e r ，t h ed i f f e r e n c eo fn e t w o r k sa n dt h ev a r i e t yo fu s e r s e q u i p m e n t s d e c i d et h et r a d i t i o n a lv i d e ni sd i f f i c u l tt ob et r a n s m i t t e do nt h en e t w o r k t h ef i n a le f f e c t i v es o l u t i o ni st oa d o p ts c a l a b l ev i d e oc o d i n gt e c h n o l o g y h 2 6 4i st h en e wg e n e r a t i o r o fi n t e r n a t i o n a lv i d e oe o d i n gs t a n d a r d e s t a b l i s h e db yb o t hi t u ra n di s o ，w h i c hp r o v i d eh i g h e rc o m p r e s s i b i l i t ya n d c a ni m p r o v et h eu t i l i z a t i o nr a t i 0o fs t o r a g e a tt h es a m et i m e ，h 2 6 4h a s s t r o n ga n t i - j a m m i n gc a p a b i l i t y ，a n dc a ng r e a t l yi m p r o v et h er e l i a b i l i t yo f v i d e ot r a n s m i s s i o n b a s e do nh 2 6 4v i d e os t a n d a r d ，t h i sd i s s e r t a t i o nf o c u s e s o ns c a l a b l ev i d e oc o d i n g t h em a i nf o e u s e so ft h i sd i s s e r t a t i o ni n c l u d e s ： 1 、b r i e fo fh 2 6 4v i d e ns t a n d a r d 。k e yt e c h n o l o g i e so fh 2 6 4a n dt h e n e c e s s i t vo fs c a l a b l ec o d i n g 2 、a r i t h m e t i co fh 2 6 4s c a l a b l ev i d e ec o d i n gb a s e do nt r a d i t i o n a l s c a l a b l ev i d e ec o d i n g 3 、e m u l a t e ro fh 2 6 4v i d e oc o d i n ga r i t h m e t i c c o m p a r e dw i t hm p e g 一2 s t a n d a r dt h ec o d i n gc a p a b i l i t yo fh 2 6 4h a s a n d5 0 i m p r o v e m e n t t h e d i s s e r t a t i o ng o e sd e e pi n t ot h ef o r e c a s tm e t h o d so fi n t r af r a m ea n di n t e r f r a m e 4 、t h er e s u l t so fs c a l a b l ev i d e nc o d i n ga r i t h m e t i ce m u a t o ra n dt h e c o m p a r i s o n b e t w e e nt h ee m u l a t o rr e s u l ta n dm p e g 一2s c a l a b l ec o d i n g c a p a b i l i t y 。t h er e s e a r c hr e s u l t i st h a tt h e e f f i c i e n c y o fh 2 6 4i s 1 0 一2 0 h i g h e r t h a nm p e g - 2a f t e r t e m p o r a ls c a l a b i l i t y a n ds p a t i a l s c a l a b i l i t y a f t e rs c a l i n gt h ec o d i n ge f f i c i e n c yd e s c e n d s2 0 。 k e yw o r d s ：h 2 6 4 、s c a l a b l ee o d in g 、t e m p o r a ls c a l a b i l i t y 、s p a t i a ls c a l a b i i i t y 第1 章引言 1 1 课题选择背景及研究的意义 近年来，国际电信联盟v c e g ( 视频编码专家组) 和i s o 的m p e g ( 活动图像 专家组) 的专家们组建了j v t ( 联合视频小组) 共同研究视频图像的高效压缩编码。 他们制定的标准被分别称为h 2 6 4 和m p e g 4 高级视频编码( m p e g 4a d v a c e dv i d e l c o d i n g ) 。近二十年以来，i t u t 和i s o 制定了多个视频压缩编码国际标准，如图 1 1 所示。m p e g 一4a v c h 2 6 4 ( i s o i e c1 4 4 9 6 1o i t u th 2 6 4 ) 是i t u t 和i s o 联合制定的新一代视频压缩编码国际标准。 i t u t 和 肿嚣台广盯厂百r 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 0 2 0 0 22 0 0 4 i 兰li l | t u t 和i s o i e c 视频编码标准 h 2 6 4 标准在视频编码效率和图象质量上有了很大的提高，能够满足更广泛的 应用的需要。h 2 6 4 视频编码正是基于这样的要求，在前面几个视频编码国际标准 基础上发展起来的。 更高的编码效率必然使h 2 6 4 具有更新更广的应用领域和更大的商机。目前可在 x d s l j 2 传播1 m b p s 的p a l 质量的视频数据流。h 2 6 4 产品在卫星的电视广播方面将具 有更强的竞争力，利用8 p s k ，t u r b o 码与h 2 6 4 结合的卫星转播系统，每颗人造卫星 能传播电视节目套数是现有利用m p e g 一2 的d v bs 系统的3 倍。“ 同时，h 2 6 4 可用于d v b t 的传输，以德国的传输参数( 8 k 模式，1 6 q a m 调制， 2 3 格栅编码，1 4 交织) 举例1 3 ，1 7 m b p s 的视频数据流可在8 m h z 的模拟信道上传送。用 m p e g 2 每个信道只能传送四套电视节目，而利用h 2 6 4 每信道能传送的电视节目数量 为1 0 套以上，这不仅是因为h 2 6 4 拥有更高的编码效率，而且还与她对不同节目可以 采用不同传送比特率有关。此外，如果将q p s k 和1 2 格栅编码与h 2 6 4 结合，就能在 中山大学硕十论文 保持每个信道传送四套电视节目的基础上减小1 5 的传送功耗。“7 1 由于h + 2 6 4 编码比现有编码算法的压缩比高一倍，这将使其在移动通信领域也将 占领一席之地并扮演重要的角色。由于3 g 系统的频段十分昂贵，降低传输码率、提 高信道利用率将显得尤为重要。 h 2 6 4 对于高清晰度电视的传输和存储也有重要的价值。现在人们将一部高清晰 度节目方便地存储在一张d v d 上，这将极大促进和推动家庭影院的市场，人们不必 再等待更为昂贵和不可靠的蓝光光盘的推出。同时，h 2 6 4 使得在卫星或者有线电缆 上，每信道能传送四路高清晰度节目。其运行费用比基于m p e g 一2 系统低的多，这 对于有线电视投资者无疑具有巨大的吸引力。 h 2 6 4 标准的推出是视频编码标准的一次重要的进步，它比现有的由于h 2 6 4 编码比h 2 6 3 和、m p e g 一2 具有明显的优越性。特别是在编码效率上的提高使得 它能用于许多新的应用领域。尽管h 2 6 4 的算法在编码端比m p e g 4 复杂4 5 倍 在解码端比其复杂2 3 倍，但由于m p e g 一2 诞生后芯片处理能力的巨大进步， h 2 6 4 的复杂程度完全可以被人们接受。更为关键的是h 2 6 4 标准在制定过程中， 接受了2 0 余家大型公司的1 0 0 余项建议，因此它是一套公共和开放的标准，但每 个制造商的产品都应该可以兼容，但这将使其产品的价格快速下降而是大多数消费 者能够承担，相信制造商能也会获得令他们满意的利润。“” 通过网络传输连续的媒体数据已经成为大势所趋，同时越来越多的用户希望用 p c 和非p c 设备通过互联网和无线网络来进行视频通信和服务，这种随时随地的视 频通信和服务对当前视频编码技术提出了更大的挑战，视频流的传输的完整性、正 确性和实时性已经成为视频编码所要解决的关键问题。 传统视频编码不适合网络传输，首先是由于网络的异构性，视频服务器与用户 终端之间的网络连接既可能是宽带网络也可能是象电话线和无线信道等这样的窄 带网络，即使同一个用户的连接速度也会由于网络状态的变化而经常发生变化，这 要求视频服务器能够根据用户的连接速度提供最好质量的服务：其次，由于用户所 使用的设备的多样性，为了方便携带一些非p c 设备所用的显示屏幕尺寸小，分辨 率低，这要求视频服务器能够同时提供不同分辨率的视频服务：最后由于视频服务 要求用户终端设备具备足够的计算能力来解码压缩的视频数据，而大多数的非p c 设备的计算能力都比较弱，这要求视频服务器提供的视频服务能适应用户设备的不 同计算能力。 解决这些问题最终的方法是可分级的视频编码技术，通常情况下单一的可分级 的视频编码很难满足上面的所有要求，因此非常希望有一个技术能同时提供图像质 量、时域、空域和解码复杂度的可分级的视频编码。 2 第1 章引言 1 2 论文工作和成果 本论文主要研究了h 2 6 4 视频分级编码技术，在论文期问，查阅了大量的资料 和文献，主要对h 2 6 4 视频基本层和增强层的编码提出作者的意见和建议。 本论文主要就一下问题进行了比较深入的探讨： 1 、简要介绍了h 2 6 4 视频标准，全面了解h 2 6 4 视频标准有关解码部分的主要 内容和h 2 6 4 视频标准的关键技术，对h 2 6 4 进行分级编码的必要性进行阐述。 2 、基于传统的视频分级编码的相关技术，提出对h 2 6 4 视频进行分级编码的算 法。 3 、对h 2 6 4 视频编码算法和分级编码算法进行仿真实验，结果和m p e g 一2 分 级编码的结果进行性能对比。 4 、对仿真结果进行分析。 通过对h ，2 6 4 分级编码仿真实验结果分析，主要得到以下成果： 基于传统的视频分数编码的相关技术，提出支持h ，2 6 4 标准的视频分级编 码的基本方案。 对h 2 6 4 视频编码算法进行仿真实验，并和m p e g - - 2 进行了比较，h 2 6 4 的性能明显超过了m p e g 一2 。编码效率比m p e g 一2 提升了5 0 左右，这 为后面对h ，2 6 4 的分级奠定了一个良好的基础。 对h 2 6 4 分级编码算法进行仿真实验，从结果可以看出，进行时间分级和 空间分级后，编码效率比m p e g 一2 分级编码高1 0 2 0 左右，h 2 6 4 进行分级编码后和未分级，编码效率下降了2 0 。 由于增强层使用了高帧率和高分辨率的帧图，编码性能的好坏很大程度上 影响整个编码效率。 1 3 论文结构安排 论文的内容安排如下： 第l 章引言。论述了选体的背景与研究的意义，目前h 2 6 4 发展状况作了简 单的介绍；并列明了论文的主要工作成果和内容安排。 第2 章h 2 6 4 视频编码技术。首先对h 2 6 4 视频标准作了简单的介绍，然后介 绍了h ，2 6 4 视频编码的关键技术。 第3 章h 2 6 4 视频编码分级性及其相关技术。首先分析了h 2 6 4 分级编码的必 要性，并就分级编码使用到的帧内预测和帧间预测等相关作了详细的介绍。 第4 章h 2 6 4 视频编码分级编码研究。提出了h 2 6 4 分级编码的基本方案，并 对基本层和增强层算法进行了阐述。 第5 章h 2 6 4 视频分级编码仿真实验。首先对h 2 6 4 视频编码算法进行仿真实 3 ! 些查堂堕主笙苎 验，对h 2 6 4 的性能明显超过了m p e g 2 进行了研究。然后是h 2 6 4 分级编码算法 进行仿真实验，并和m p e 9 2 进行了比较。本章给出了实验参数和实验结果，并对结 果进行了分析讨论。 第6 章总结。总结了论文的工作，提出了不足之处和今后研究的方向。 最后是参考文献、致谢和声明。 4 第2 章h 2 6 4 视频编码技术 随着网络和多媒体技术的发展，越来越多的数字视频业务不断涌现，h 2 6 4 标准 的制订正是为适应各种业务增长对于运动图像压缩率的更高要求，并使得编码后的 视频数掘能够在各种网络环境下传输。h 2 6 4 标准的应用领域包括有线电视( c a t v ) ， 卫星直播( d b s ) 中的视频服务，基于数字用户线( d s l ) 的视频服务，数字电视广播 ( d t t b ) ，互动存储媒体( 光碟等) ( i s m ) ，多媒体信件( m m m ) ，包括网络上的多媒 体服务( t s p n ) ，实时会话业务( 视频会议，视频电话等) ( r t c ) ，远程视频监督( r v s ) ， 以及串行存储媒质( 数字v t r 即磁带录像机) 等。因此，对h 2 6 4 标准的研究具有重 要的意义，它将有助于我们进行视频压缩方法、多媒体通信以及网络性能优化等研 究。 2 1 h 2 6 4 标准简介 h 2 6 4 标准与已经得到广泛应用的标准类似，基本编码框架采用基于块的运动 补偿和变换编码，然而h 2 6 4 标准采用了一些先进的技术，这些技术大大他提高了编 码性能。 h 2 6 4 标准中一个显著的特点是将系统分为两个独立的层，即视频编码层( v c l ： v i d e oc o d i n gl a y e r ) 和网络适配层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) ，视频 编码层的主要任务是用高效的方式表述视频数据，也就是进行视频数据的压缩；网 络适配层则根据网络的特性对数据进行封装打包，使其适用于网络传输。 h 2 6 4 标准中还支持数据分割( d a t ap a r t i t i o n ) ，将各个宏块中的同种类型数 据集中放在一起进行传输。例如可以将一个切片( s 1 i c e ) 中所有宏块的直流系数 放入一个包，所有运动矢量放入另外一个包，剩余的数据放入一个包，这样，在传 输出错的情况下，有利于误码端进行误码掩盖。 h 2 6 4 标准详细内容参照文献。 2 2 h 2 6 4 编码对传统视频编码技术的继承性 h 2 6 4 是在i t u t 和i s o i e c 等组织先前制定的编码标准的基础上提出的，从 技术上讲它并没有推翻早期标准的总体框架和结构，其整体框架和结构与h 22 6 3 的 编解码十分相似。 相似点主要表现在以下几方面：“ 将每- - n 图像画面分为像素块，这样对图像画面可以进行块处理。 - 利用图像画面存在的空间冗余，对一些原始的块进行变换、量化和熵编码 5 中山人学硕士学位论文 ( 或者变长编码) 。 利用连续画面间存在的时间相关性，只需对连续画面有变化的部分进行编 码。这可以通过运动估计和运动补偿实现。对于任何块，将先搜索先前一 帧或多帧画面的运动矢量，然后编码器和解码器对其进行块预测。 利用帧间存在的任何空间冗余对残留块进行编码。 h 2 6 4 对于变换后的系数矩阵的扫描方式基本与先前的标准相同，都是根 据变换后的矩阵高频系数比较接近于”，主要参数集中在低频的特点，采用 了“之”字型扫描。 2 。3h 。2 6 4 视频编码关键技术 由于h 2 6 4 标准采用的是一种新型的编码技术，它的高的压缩效率是现在的任 何一种编码标准所无法比及的。 h 2 6 4 标准的主要特点包括： - 运动估计和变换编码基于多种尺寸的块，运动矢量的预测具有多种模式。 一 具有帧内预测( 空间预测) ，即利用当前编码块周围的像素值来预测当前块， 并有多种模式，大大提高了i 帧的编码效率。 - 采用了d c t 整数变换，量化和后滤波也都用整数来实现，即降低了计算复 杂度。 - 采用后滤波处理去除块效应，同时提高运动补偿的效率。 - 可以有两种熵编码器：统一的变长编码器和基于内容的自适应二进制算术 编码。 随着h 2 6 4 编码标准的制定，我国制定某些视频标准采用了h 2 6 4 标准中关键 技术，越来越多的产品也采用了h 2 6 4 标准，h 2 6 4 得到更加广泛的使用。 2 3 1 运动预测和帧内预测 h 2 6 4 以可变块大小增强运动估计和补偿以及增加变换的压缩效果。 h 2 6 4 中进行预测的块的大小有多种选择。以亮度信号为例，亮度信号的每一 个宏块( 1 6 1 6 ) 可以有4 种划分形式( 如图2 一1 ) ：1 6 1 6 ，1 6 8 ，8 1 6 或8 8 。如果采用8 x 8 的模式，则每一个块还可以进一步划分为( 即亚宏块划分，如 图2 1 ) ：8 8 ，8 4 。4 8 或4 4 。 h 2 6 4 以可变大小的块来适应不同应用环境和要求。从图2 1 可见，对每个 1 6 1 6 宏块的运动补偿可以根据需要由不同尺寸的宏块来执行。个别的运动矢量可 以用小到4 4 的块传输，这样某一个宏块可以用1 6 个运动矢量传送。更小的运动 补偿块的引入可以提高在一般和特殊情况下的预测质量，它可以处理好需要更多运 6 第2 章h 2 6 4 视频编码技术 动细节的场合，从而提高主观视觉效果。 f 2 6 4 中的运动矢量具有亚像素精度，对于亮度信号来说可以达到1 4 像素精 度。亚像素精度比整像素精度的性能要好，代价是增加了运算复杂度。 另外，h 2 6 4 中允许使用多个参考帧( 最多可达到5 个) ，以提高编码效率，这 在很多自然场景的周期变换阻及镜头在两个场景中交替转换等情况下尤其有效。 如果个宏块或者一个块采用t 帧内编码的形式进行编码，则可根据本帧已编码 重建的块形成一个预测块，进行帧内预测。 宏块类型 8 8 类型 1 6 1 61 6 88 1 68 8 8 8 2 3 2 整数变换 4 8 图2 一l 宏块和宏块划分 为做进步的压缩处理，从运动估计和补偿出来的结果将被从空间域转换为频 率域。在h 2 6 4 中则采用了4 4 的整数变换，避免了浮点操作带来的四舍五入误 差，保证了精度。 离散余弦反变换i d c t 在h 2 6 4 中有详细描述，从而使编码器和解码器之间都 不会出现不匹配的情况。变换的核心算法是没有乘法的，只进行加法和移位操作， 可以提高运算速度。变换过程中的乘法操作集成在量化过程中，这样减少了整体的 乘法操作。 输入数组x 的4 4d c t 变换表示为： j ，= 彳a 二4 。 = 7 曰帆目 c 山6 吖 口 叫 叫 口 6 c 吖山 ( ( c c 卜山k b x 一 淞 一 口山 口 吖 口 吖 叫6 d c 硼为 y = ( c x c 7 ) o e 中山人学硕十学位论文 c o s ) ，c ： 8 口 a b 2 口 a b 2 上式可近 l1l l2 1 i 11 i12 a b 2 b 21 4 a b 2 b 4 其中，口= 丢，6 = 詈，c = 丢。 反变换表示为： x = c t ( y e 扣、j 8 ) 。 口 a b t 2 a a b 2 a b 2 b i | 4 a b 2 b 4 a b b 2 a 6 b 2 其中，+ _ 1 2 可以不失精确性地用右移实现。 2 3 3 量化 1 2 2 1 1l1 1 2 1 21 一l一11 11一l 2 基本的量化过程可以表示为： 驴删坝去， 其中，y 。是上述变换后的系数，是量化步长值，z 。是量化后的系数。 量化的步长共有5 2 种，每个宏块的量化步长由量化参数决定。量化参数每增 8 o 0 2 。o 之 r 1llllj 2 1 扎， 一 一 鹏，一o 2 压魏舻跚，一2 行 i | 进 口 于 ， 便中了其为 1，lj 2 ， 佗 一_ - ，他 ”i o i 0 舭 o o扩曲，矿曲 2他而铲如铲 。他m o 如矿曲矿 l l 1 1 口 日 a a ril r，；llilllll 0iill c p 一 箜! 里坚：! 竺塑婴塑里垫查 加1 ，量化步长就增加1 2 5 。由于把变换和量化融合在一起，因而有效地减少了 压缩编码的运算量。 首先，输入x 变换为：形= c x c 7 。接下来每一个系数w i j 在同一步中完成尺 度变换和量化，即： p f z f = r o u n d ( 丢l ) 蟛s t e p 其中，当位置为( o ，0 ) ，( 2 ，0 ) ，( 0 ，2 ) ，( 2 ，2 ) 时，p f = a ：，当位置为( 1 ， 1 ) ，( 1 ，3 ) ，( 3 ，1 ) 或( 3 ，3 ) 时，p f = b ! 4 ：在其它位置时p f = a b 2 。 h 2 6 4 还提供了自适应块变换( a b t ) ，它能够根掘分块的尺寸调整变换和量化 的参数。 2 3 4 系数扫描 经过d c t 变换后，产生的是一个4 4 的二维数组，为了进行传输，还必须将 其转换为一维的排列形式( 扫描方式) 。 采用传统的z i g z a g 扫描，i n t r a 块在量化系数较低的情况下，非0 系数较多， 此时编码效率就比较低。 鉴于这种情况，h 2 6 4 提供了一种双扫描的方法。当i n t r a 块在量化步长o s t e p 小于2 4 时，采用双扫描的方法：在其它情况下，仍旧采用z i g z a g 扫描，如图2 2 所示。1 2 3 5 去方块滤波 ，r ，1 | | i 、 哆： 。、 幽2 - - 2z i g z a g 扫描和双扫描 i - 1 2 6 4 中使用一个环路使用一个环路滤波器对1 6 x1 6 宏块和4 4 块的边界迸 9 中山火学硕士学位论文 行去方块滤波。在编码端反变换后，也就是在此宏块重建和存储用于预测其他宏块 之前，应用去方块滤波；在解码端，在重建和显示此宏块之前也要应用去方块滤波。 在宏块中，首先对竖直的1 6 个采样的四条边缘进行滤波处理，然后处理水平 的4 条边缘；对于色度块，处理8 个采样的两条边缘，如图2 3 所示，其中亮度 边界如实线所示，色度边界如虚线所示。 1 6 术1 6 m a c r o b l o c k 1 6 水1 6 m a c r o b l o c k l i i i i i i i i l l i 终 ii 1 l 一： 幽2 3 滤波处理宏块中的边界 h o r iz o n t a le d g e ( 1 u m a ) h o r i z o n t 8 1e d g e ( c h r o m a ) 去方块滤波有两个优点：一是平滑了块边界，尤其是在高压缩率的情况下，去方 块滤波可以获得非常可观的主观质量改进；二是经过滤波后的宏块用于运动补偿预测 可以使预测后的差值信号减少。1 2 3 6 熵编码 h 2 6 4 默认的熵编码模式，采用统一变长编码u v l c ( u n i v e r s a lv a r i a b l el e n g t h c o d i n g ) 。码字采用以下的方式形成： l 此外，h 2 6 4 标准还提供了两种熵编码方法。 当e n t r o p y c o d e _ m o d e 被设为0 的时候，剩余块中的数据使用自适应的可变长编码 c a v l c ( c o n t e x t a d a p t i r ev a r i a b l el e n g t hc o d i n g ) 进行编码，c a v l c 用于对z i g z a g 1 0 黧 v (躲 v x 期x 瓢托轧轧 1 1 l l o o o o o o o o oo 笕2 章h 2 6 4 视频编码技术 扫描之后的4 4 或者2 2 块中的变换系数的编码。它利用了4 4 块的一些特点来提高 编码效率： ( 1 ) 在预测、变化和量化之后，块中的数掘是十分稀疏的，存在大量的零。c a v l c 使用游程编码高效的对这些零串进行编码。 ( 2 ) z i g - z a g 扫描之后的最高频系数常常是l ，c a v l c 将这些高频的l 系数表示 为t r a i l i n g1 或者t 1 。 ( 3 ) 相邻块中非零系数的个数是相关的。系数的个数用查表来编码，表的选择 取决于相邻块中非零系数的个数。 ( 4 ) 非零系数的大小在扫描后的开始( 也就是靠近直流系数附近的位置) 是比 较大的，而在高频位置较小。c a v l c 利用这一特点，根据最近编码的大小值自适应的 选择v l c 表。 当e n t r o p yc o d e m o d e 被设为l 的时候，h 2 6 4 使用一种基于内容的自适应算术编 码c a b a c ( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 对其语法元素进行编 码和解码。这种算术编码根据语法元素的内容为其选择概率模型，根据本地的统计数 字自适应地进行概率预测，并使用算术编码。 编码的步骤为：首先进行二值化，然后选择内容模型，再通过算术编码器进行算 术编码，最后更新概率。 h 2 6 4 定义了编号为o 到2 6 6 共2 6 7 种不同的内容模型，有些模型会根据视频帧的类 型不同而采用不同的用法。内容模型会在视频帧的开始阶段根据量化参数初始化。 h 2 6 4 的算术编码器在从6 4 种不同的概率状态之一转化到最不可能符号( l e a s t p r o b a b l es y m b 0 1 ) 的阶段完成概率估计。 2 3 7s p 和s is 1 i c e s 为了使视频信息能够更好地适应不同的传输环境，在视频通信中，解码端常会需 要在多个视频流之间进行切换，从而最大限度地利用现有资源而不出现因缺少参考 帧引起的解码错误。例如同样的视频内容被变成了多个比特流，在i n t e r n e t 上进行传 输，解码端去解它接收到的比特率最高的一个流，当这个流的吞吐量下降时，解码端 就需要自动切换到另一个比特率较低的流。 s p 和s is 1 i c e s 是两种特殊编码的s 1 i c e s ，可以用于在多个视频流间的切换和解 码端的随机接入。切换帧s p 的思想是在两股视频流的基础上再进入一股视频流，这股 视频流中的帧能够从源视频流的帧预测得到，同时能够预测目标视频流中的帧。 从a 流切换到b 流的过程为：已经解码重建的p - s i i c ea 。为参考帧接触p s 1i c ea ；， 切换s p - s l i c ea b 。以重建的 。为参考帧解出s p s 1 i c eb 。，以已经解码重建的& 为参考 帧解出吼，则实现了从a 流到b 流的切换，如图2 4 所示。“ 中山大学硕士学位论文 留一酲一留一留一留 设 曰一留一留一汐一曰 图2 4 利用s p s li c e s 进行码流间切换 2 3 8h 2 6 4 的分层结构 a 流 b 流 h 2 6 4 是新一代的视频压缩编码标准，它不仅注重编码效率的提高而且在编 码结构方面采用了一些新的特性，这些新特性的采用大大提高了自身对网络环境的 适应能力。 h 2 6 4 采用分层的方法，将编解码器分为两层：即视频编码层v c l ( v i d e o c o d i n gl a y e r ) 和网络适配层n a l ( n e t w o r ka d a p t a t i o nl a y e r ) 。v c l 负责高效率 的视频内容表示。n a l 负责以网络所要求的恰当的方式对数据进行打包和传送。 1 、视频编码层v c l h 2 6 4 的v c l 层包括基于块的运动补偿混合编码、系数的转换编码和熵编码等 工具对视频信号进行高效表示的表示方法。在v c l 中，运动补偿的过程不同于先前 的标准，它支持多种块的形状和尺寸，支持小数取样内插滤波，支持小至4 x 4 的块尺 寸和多参考帧图像。运动位移的精度通常为1 4 ，也支持1 8 精度。它除了支持i 帧、b 帧和p 帧外，还支持s p 帧。在编码器预测环路采用了去方块效应滤波。 2 、网络适配层n a l n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定 时信息的利用或发序列结束信号等。n a l 从v c l 获得数据，包括自己的头部信息、 段结构信息和实际载荷信息( 如果采用数据分割技术，数据可能由几个部分组成) 。 n a l 的任务是提供适当的映射方法将头部信息和数据映射到传输协议上，这样，在分 1 2 第2 章h 2 6 4 视频编码技术 组交换传输中可以消除组帧和重同步丌销。n a l 的引入大大提高了卜l2 6 4 适应复杂 信道的能力。 幽2 - 5h 2 6 4 的分层结构 h 2 6 4 编码器分层结构如图2 5 所示。n a l 下面是各种具体的协议，如h 3 2 0 、 h 3 2 4 等。在v c l 和n a l 之间定义了一个基于分组方式的接口，打包和相应的信令 属于h 2 6 4 的一部分。因此高效率编码和网络适应性的任务分别由v c l 和n a l 来完 成。 第3 章h 2 6 4 视频编码分级性及其相关技术 3 1 视频分级编码的必要性 2 0 世纪9 0 年代，网络技术的迅猛发展，为广大的用户提供了丰富的信息内容， 并日益成为人们通信、娱乐、交通和工作的重要工具。随着i n t e r n e t 的飞速发展， 人们在网络上实时获取多媒体数据，特别是视频和音频内容的浏览，已经成为人们 日常生活中必不可少的重要组成部分，h 2 6 4 视频编码正是基于这样的要求，在前 面几个视频编码国际标准基础上发展起来的。 通过网络传输连续的媒体数据已经成为大势所趋，同时越来越多的用户希望用 p c 和非p c 设备通过互联网和无线网络来进行视频通信和服务，这种随时随地的视 频通信和服务对当前视频编码技术提出了更大的挑战，视频流的传输的完整性、正 确性和实时性已经成为视频编码所要解决的关键问题。 传统视频编码不适合网络传输，首先是由于网络的异构性，视频服务器与用户 终端之间的网络连接既可能是宽带网络也可能是象电话线和无线信道等这样的窄 带网络，即使同一个用户的连接速度也会由于网络状态的变化而经常发生变化，这 要求视频服务器能够根据用户的连接速度提供最好质量的服务：其次，由于用户所 使用的设备的多样性，为了方便携带一些非p c 设备所用的显示屏幕尺寸小，分辨 率低，这要求视频服务器能够同时提供不同分辨率的视频服务；最后由于视频服务 要求用户终端设备具备足够的计算能力来解码压缩的视频数据，而大多数的非p c 设备的计算能力都比较弱，这要求视频服务器提供的视频服务能适应用户设备的不 同计算能力。 解决这些问题最终的方法是可分级的视频编码技术，通常情况下单一的可分级 的视频编码很难满足上面的所有要求因此非常希望有一个技术能同时提供图像质 量、时域、空域和解码复杂度的可分级的视频编码。 分层可扩展性编码目前已经被许多现行的国际压缩标准接纳，例如h 2 6 3 + 矛t l m p e g 一4 。而h 2 6 4 视频编码采用了和以前视频编码类似的方法，继续沿用了以前 的优秀的编码技术，这就为继承传统视频编码分级技术提供相应的坚实基础；同时， h 2 6 4 也采用了新的编解码思想，为h 2 6 4 分级编码技术提供新的思想和活力，从 而满足更多用户终端对网络传输视频的要求。 分层可扩展编码主要有三种：时域可扩展性、空域可扩展性和质量可扩展性。 本论文在对h 2 6 4 视频编码进行分级编解码，使其适应网络传输的特点，在目前这 个通信技术和网络现状条件下，解决现有存在的视频传输中遇到的问题，在新的分 级编码技术产生之前继续得到比较广泛的应用。 3 2 视频分级编码技术介绍 1 4 第3 章h 2 6 4 视频编码分级性及其相关技术 3 2 1 时域分级编码 时域分级是指视频的i 帧率或者时删分辨率随时州变化的分级方式，不同的分层 具有不同的帧率。 一般来说，时域分缎分级编码通常是在码流中添加b 帧和p 帧来实现。b 帧是 使用与它在时间上最近邻的前后两个i 帧和p 帧来预测的，压缩率是最高的，而b 帧并不作为任何其它帧的参考图像，因此在传输中通过丢弃b 帧的方法可以降低帧 率，而不会影响其它帧的质量。 3 2 2 空域分级编码 空域分级定义为空域分辨率或图像尺寸交化的一组视频，通常来说，第一层( 基 本层) 提供较低分辨率的解码图像，第二层( 增强层) 以上为重建的较大的图像， 图像的分辨率也较高。 因此，空域分级编码是通过为视频中的每一帧都创建多分辨率的表示来实现 的。当进行空域分级编码时，原始视频首先通过下采样得到低分辨率的视频，编码 得到基本层码流；然后编码原始视频和基本层视频的差生成增强层码流。 ( a ) ( b ) ( c ) 幽3 一l 空域和时域分级视频流 3 3 j ( a ) 原始视频帧 ( b ) 空域分级视频帧( 】4 原始图像尺寸) ( c ) 时域分级视频i 帧 曰口曰u 口u 中山大学硕士学位论文 3 3h 2 6 4 视频编码器和解码器 3 3 1 h _ 2 6 4 帧图像的类型 h 2 6 4 支持5 种类型的帧图像：i 帧、p 帧、b 帧、s p 帧和s i 帧。 i 帧( i n t r a p i c t u r e s ，帧内图像) 是利用图像自身的相关性压缩，提供压缩数据 流钟的随机存取的点，采用基于d c t 的编码技术，编码不需要其它帧的图像作参 考，这些帧图像为译码器提供随即存取点，是预测图像( p 帧) 和双向预测图像( b 帧) 的参考图像，通常压缩率不高。 p 帧( p r e d i c t e dp i c t u r e s ，预测图像) 是参考过去的帧内图像或者过去预测得到 的图像用运动补偿预测技术进行编码，这些预测图像通常作为进一步预测的参考， 预测图像的编码效率较高。 b 帧( b i d i r e c t i o n a lp r e d i c t i o n ，差补图或双向预测图像) 在预测时，既可以使用 前一个图像作参照，也可以使用下一个图像作参照或同时使用前后两个图像作为参 照图像( 双向预测) 它的压缩率最高，但双向预测图像不作为预测的参考图像。 s p 帧和s i 帧是两种特殊编码的帧，可以用于在多个视频流间的切换和解码端 的随机接入。 3 3 。2h 2 6 4 视频编码器 h 2 6 4 的视频编码采用基于块的混杂编码方法，通过复杂的帧问预测来减少运 动图像时域上的相关信息，通过对预测残差进行离散余弦变换d c t 转换来减少运 动图像空间上的相关信息。另外，还使用多种优于以往压缩算法的方法来提高整体 的压缩性能。 l 2 6 4 编码器和解码器框图分别如图3 2 和图3 3 所示。 1 6 第3 章h2 6 4 视频编码分级性及其相关技术 幽3 - - 2h 2 6 4 编码器框图 匝3 留” 幽3 - - 3h 2 6 4 解码器框幽 在h 2 6 4 中，每一帧图像的编码和解码过程都以1 6 1 6 的宏块为基本单元进 行的。 h 2 6 4 支持帧内和帧间两种模式。帧内模式使用当前帧内已编码的宏块进行预 测；帧间模式使用以往一个或多个帧作为参考进行运动预测。 编码时，首先把当前帧f n 划分成宏块。 帧内预测和帧间预测预测，对预测值和原始值的差值进行变换、量化、重 新排序和熵编码。 对量化系数x 进行逆量化、逆变换后，与预测系数相加，得到未经滤波的 u f 帧。 对u f 帧进行块问滤波，得到当前重构帧f n 。 解码过程相对比较简单，对应于编码器的各部分进行逆向操作，即可输出 重构图像数据。 1 7 中山人学硕士学位论文 3 3 3 h 2 6 4 视频编码中帧内预测和帧间预测算法 、帧内预测算法 帧内预测用于减少空域和频域的冗余度，包括i n t r a4 4 和i n t r a1 6 1 6 两种类型。与以往的压缩协议不同，预测始终是通过参照邻近己编码块在空域范围 内进行。当使用1 n t r a 4 4 类型时，每个4 4 的亮度块可以按照最贴近原始数据 的原则，选择9 种模式( 模式0 到模式8 ) 中的一种，包括模式2 d c 预测和8 种方向预测，如图3 4 所示的标号为1 到8 ，其中邻近块的像素a 到i 已经