（通信与信息系统专业论文）h264帧内帧间模式选择快速算法.pdf

北京邮电大学硕士学位论文h 2 6 4 帧内帧间模式选择快速算法 h 2 6 4 帧内帧间模式选择快速算法 摘要 h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 是i t u t 和m p e g 合作制定 的视频编码标准，该标准同时作为m p e g - 4 的第1 0 部分，是目前最 新的视频编码标准，与以往标准相比，h 2 6 4 在帧内编码，帧间预测， 变换量化和熵编码等方面采用了多种新技术，大幅度提高了编码效 率。与h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g 一4s i m p l ep r o f i l e 相比，h 2 6 4 a v c 在使用与上述编码方法类似的最佳编码器时，在相同比特率下视频质 量提高一倍以上。 在h 2 6 4 中，主要采用了基于率失真理论的率失真最优化算法来 在不同的模式中进行取舍。选择最优模式的算法称为率失真优化 r d o ( r a t ed i s t o r t i o no p t i m i z a t i o n ) 。虽然h 2 6 4 采用r d o p t 算法可以 明显改善s n r 和比特率，但同时也导致了运算复杂度的急剧上升。 从编码时间来看，采用r d o p t 使时间急剧增加。在帧内预测模式下， 为了确定一个宏块的帧内预测模式，要执行5 9 2 种r dc o s t 计算。而 帧间预测模式下，由于涉及到多参考帧的选取，因此会带来更大的运 算复杂度。 本文首先介绍了h 2 6 4 编码标准中所使用的关键技术，简要介绍 了率失真优化算法的原理及在h 2 6 4 模式选择算法中的应用，并基于 j m 平台进行了说明。着重研究和分析了帧内以及帧间模式选择算法， 并针对模式选择部分进行算法级的优化，降低模式选择算法复杂度， 提高编码的速度。 本文的创新点在于两个方面：一是在帧内模式选择中利用图像宏 块本身的空间相关性进行预运算，得出预测方向，减少预测模式数目； 二是在帧间模式选择中利用边缘检测算子对宏块的边缘强度进行统 计，利用统计的方法对各种模式之间进行划分，从而有效地减少了帧 间模式选择算法运算复杂度。 关键字h 2 6 4 率失真优化空间相关性边缘检测 北京邮电大学硕士学位论文h 2 6 4 帧内帧间模式选择快速算法 f a s ti n t ra i n t e rm o d ed e c i s i o n a l g o i u t h m sf o rh 2 6 4 a b s t r a c t h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) i st h el a t e s tv i d e oc o d i n g s t a n d a r dd e v e l o p e db vi t u ta n dm p e g , w h i c ha tt h es a m et i m ea st h e m p e g - 4p a r t1 0 h 2 6 4u s eav a r i e t yo fn e wt e c h n o l o g i e si nt h e i n t r a - c o d i n g ，i n t e r f r a m ep r e d i c t i o n ，t r a n s f o r mq u a n t i z a t i o na n de n t r o p y c o d i n g ，s u b s t a n t i a l l yi n c r e a s e dt h ec o d i n ge f f i c i e n c y h 2 6 4 a v cm o r e t h a nd o u b l e dt h ev i d e oq u a l i t yi nu s ew i t ht h em e t h o ds i m i l a rt ot h eb e s t c o d e ri nt h es a m ev i d e ob i tr a t e sc o m p a r e dw i t hh 2 6 3 v 2 ( h 2 6 3 + ) a n d m p e g 4s i m p l ep r o f i l e i nh 2 6 4 m a i n l yu s er a t e d i s t o r t i o no p t i m i z a t i o na l g o r i t h mb a s e do n t h er a t e d i s t o r t i o nt h e o r yt od e c i s i o nd i f f e r e n tm o d e s r a t e d i s t o r t i o n a l g o r i t h mw h i c hc h o o s e st h eb e s tm o d ec a l l e dt h er d o ( r a t e d i s t o r t i o n o p t i m i z a t i o n ) 、枷i l eh 2 6 4u s i n gr d o p ta l g o r i t h mc a ns i g n i f i c a n t l y i m p r o v et h es n ra n db i tr a t e ，b u ti ta l s ol e dt ot h es h a r p l yr i s i n go f c o m p u t i n gc o m p l e x i t y j u d g i n gf r o mt h ee n c o d i n gt i m e ，t h er d o p t a l g o r i t h mt i m ei si n c r e a s i n gd r a m a t i c a l l y i ni n t r a - p r e d i c t i o nm o d e ，i n o r d e rt od e t e r m i n eam a c r o b l o c k si n t r a p r e d i c t i o nm o d e 5 9 2k i n d so f r d c o s tn e e dt oc a l c u l a t e i tw i l lb r i n gg r e a t e rc o m p u t i n gc o m p l e x i t yi n t h ei n t e r - f r a m ep r e d i c t i o na si tr e l a t e st ot h e s e l e c t i o no fm u l t i p l e r e f e r e n c ef r a m e s t h i sp a p e rf i r s ti n t r o d u c e dt h e k e yt e c h n o l o g i e su s e di nh 2 6 4 e n c o d i n gs t a n d a r d b r i e f l y i n t r o d u c e dr a t e d i s t o r t i o n o p t i m i z a t i o n a l g o r i t h mp r i n c i p l ea n dt h em o d ed e c i s o na l g o r i t h mi nh 2 6 4a p p l i c a t i o n b a s e do nj m r e s e a r c ha n da n a l y s i sf o c u s i n go nt h ei n t r a - i n t e r - f r a m e m o d ed e c i s o na l g o r i t h ma n dd e s c r i b et h eu t i l i z a t i o no fm o d ed e c i s i o n a l g o r i t h m ，w h i c hr e d u c et h ec o m p u t i n gc o m p l e x i t y , i m p r o v et h ee n c o d i n g s p e e d i i 北京邮电大学硕士学位论文h 2 6 4 帧内帧问模式选择快速算法 t h i si n n o v a t i o nl i e si nt w oa s p e c t s ：f i r s ti ni n t r a - m o d ed e c i s i o n d e v e l o pap r e c o m p u t i n ga l g o r i t h mw h i c hu s eo ft h es p a t i a lc o r r e l a t i o no f m a c r o b l o c ki t s e l ft of o r e c a s tt h ep r e d i c t i o nd i r e c t i o n t h e nr e d u c i n gt h e n u m b e ro fd e c i s i o nm o d e s ；t h es e c o n di ni n t e r - f r a m ed e c i s i o n ，u s eo f e d g e d e t e c t i o n o p e r a t o r t oc a l c u l a t e t h e e d g ea m p l i t u d ea n dt h e m a c r o b l o c ki sc l a s s i f i e da st w ok i n d ，e a c hk i n dh a sd i f f e r e n tm o d e ss e t 。 w h i c he f f e c t i v e l yr e d u c e st h ec o m p u t i n gc o m p l e x i t yi ni n t e r - f r a m em o d e d e c i s i o n k e yw o r d s ：h 2 6 4r a t e d i s t o r t i o n o p t i m i z a t i o n s p a t i a l c o r r e l a t i o n e d g ed e t e c t i o n i i i 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：翌蔓：z ： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 适用本授权书。 日期：竺蔓：l 日期： 幺雯乒曼：! 北京邮电大学硕士学位论文 h 2 6 4 帧内帧间模式选择快速算法 第一章引言 随着数字技术的迅猛发展，人类社会已经步入了数字时代，各种技术层出 不穷，极大地改变了人类的生活。数字视频技术就是其中一项重要技术，它在 视频监控、可视电话、视频会议到视频传播、数字电视广播等各个领域得到广 泛应用。科学实验表明，人类从外界获取的知识之中有8 0 都是通过视觉感知 获取的。然而，数字视频中包含的数据量十分庞大，例如中分辨率( 6 4 0 x 4 8 0 ) 下， 全屏幕显示( f u l ls c r e e n ) ，真彩色( t r u ec o l o r2 4 位) ，全动作( f u l l m o t i o n , 2 5 3 0 帧秒) 的图像序列，播放1 秒钟的视频画面数据量为6 4 0 x 4 8 0 x 9 0 = 2 7 ，6 4 8 ，0 0 0 字 节，相当于存贮一千多万个汉字所占用的空间。如此庞大的数据量，给图像的 传输、存贮以及读取造成了难以克服的困难。因此，如何有效地对图像进行压 缩一直是研究的重点和热点，图像压缩编码日益成为一个越来越活跃的研究领 域。图像编码技术的发展和广泛应用也促进了许多有关国际标准的制定。 在现有的视频压缩标准中，最新制定的h 2 6 4 能取得最高的编码效率，但 也带来了极大的运算复杂度。为了进行实时的运用，就必须对现有的h 2 6 4 编 码器进行优化。各种编码算法优化能在基本保持图像质量的基础上，显著地降 低运算复杂度。 本章首先概述了视频压缩编码的技术和标准演进，然后介绍了编码技术的 实现，最后提出了本文的主要工作。 1 1 视频压缩编码技术简介 多媒体视频信号可以压缩的主要根据为：一、视频信号上存在大量的冗余 度并且这种冗余度在编解码后可以无失真地恢复；二、可以利用人的视觉特性， 在图像变化不被觉察的条件下减少量化信号的灰度级，以一定的客观失真换取 数据压缩。从信息论观点来看，视频作为一个信源，描述信源的数据是信息量( 信 源熵) 和信息冗余量之和。数据压缩实质上是减少冗余量，冗余量的减少是减少 数据量而不是减少信源的信息量。多媒体视频信号的冗余度存在于结构和统计 两方面。统计冗余就是在视频信号中，各符号出现概率不等造成的冗余。结构 上的冗余度表现为很强的空间( 帧内) 、和时间( 帧间) 相关性。一般情况下画面的 大部分区域信号变化缓慢，尤其是背景部分几乎不变。因此，视频信号在相邻 像素间、相邻行间、相邻帧间存在强相关性，这种相关性就表现为空间冗余和 时间冗余。 北京邮电大学硕士学位论文h 2 6 4 帧内帧间模式选择快速算法 人眼对图像的细节分辨率、运动分辨率和对比度分辨率的感觉都有一定的 界限，致使对图像处理时引入的失真不易察觉，仍会认为图像是完好的或足够 好的。因此可以在满足对图像质量一定的要求的前提下，减少表示信号的精度， 实现数据压缩。 一个视频编码器，有三个主要的功能模块组成，时间模块、空间模块，熵 编码器，如图1 1 所示。无压缩的视频作为编码器输入，时间模块利用相邻帧 的相似性来去除时间冗余，通常采用运动补偿压缩，时间模块的输出是残差( 当 前图像值与预测值之差) 及一系列参数，典型的如运动矢量等。空间模块利用相 邻象素之间的相关性去除了空间冗余，通常采用变换、量化方法将输入的残差 转换成一系列量化系数。时间模块输出的一系列参数和空间模块的系数将被熵 编码器去除统计冗余，压缩成一个比特流，以便传输或者存储f l 】。 由此可见，视频编码的基本技术是：预测、变换以及熵编码，见图1 1 。 v i d e o 岍 e n ( x ) d e d 瑚螂 图卜1 编码器框图 除了上述三种技术外，又出现了基于模型的编码技术【2 】【3 1 ，基于对象( o b j e c t b a s e d ) 的编码技术，可分级的编码技术【4 】等一系列技术。模型编码的关键是对特 定的图像建立模型，并根据这个模型确定图像中景物的特征参数，如运动参数、 形状参数等。基于模型的编码方法，适合于特定视频内容的编码，如视频压缩 标准m p e g 4 中引入的人脸编码部分，它对运动的人脸编码效果很好。基于对 象( o b j e c tb a s e d ) 的编码技术是m p e g 4 的最大特色，它把对象作为视频压缩的 基本单位，可以提供给用户更多的交互性功能，就使用的编码技术而言，主要 是任意形状的图像块的压缩，比如利用空间分辨率较好的小波变换进行基于对 象的视频压缩【5 】，或者使用形状自适应的d c t 变换等等【6 1 【7 】。 我们知道，视频的编解码需要一定的资源的支持，比如计算资源、带宽资 源、采集回放资源等，当用户拥有的资源达不到完全实现编码或解码的时候， 可分级技术可以使用户同样实现编码或解码的目的，只是服务的质量差一些【8 】。 按照可分级的资源的不同，可以分为：采样率可分级、复杂度可分级、带宽可 分级等等。以上三种方法中，模型编码由于不可能为自然界中所有物体建模， 2 北京邮电大学硕士学位论文h 2 6 4 帧内帧问模式选择快速算法 所以并不适用于通用的视频压缩。后两种技术都属于功能性的技术，与原有的 编码技术相结合，可以用来提供给用户更多的功能。 1 2 视频压缩编码标准简介 目前世界上最广泛使用的数字视频编码标准主要源自两大标准体系，其一 是i t u - t ，该组织制定的视频编码标准为h 2 6 x 系列( h 2 6 1 、h 2 6 2 、h 2 6 3 和 h 2 6 4 ) 主要用于实时视频通信，如可视电话、视频会议。另一个主要的视频编 码标准组织为i s o i e c ，其标准主要是m p e g 系列( m p e g 1 、m p e g 2 、m p e g - 4 、 m p e g - 7 和m p e g 2 1 ) 侧重于视频存储( v c d 、d v d ) 、视频广播( 电视广播) 以及视频流的应用。而在网络的视频流传输中，则活跃着r e a lv i d e o ，w m v , q u i c k t i m e 等，此外还有o n 2 的v p 5 ，v p 6 以及我国自主研制的a v s 等。总的 来说，m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用，其 视频编码的基本框架是和h 2 6 x 一致的，只不过h 2 6 x 致力于高效率的视频编 码技术，而m p e g 更侧重系统和框架。具体来说，从h 2 6 1 到h 2 6 2 3 ， m p e g 1 2 4 等都有一个共同的不断追求的目标，即在尽可能低的码率( 或存储 容量) 下获得尽可能好的图像质量。h 。2 6 x 与m p e g - x 视频编码标准演进如图 1 2 所示： 1 9 9 0 年r r u t 公布的h 2 6 1 ，是最早出现的视频编码标准，用于规范i s d n 网上的会议电视和可视电话应用中的视频编码技术。它采用混合编码方法，帧 间预测采用1 6 x 1 6 的宏块和整数像素的运动搜索，用来消除图象序列的时间冗 余；帧内编码采用8 x 8 的d c t 变换，用以消除空间冗余。 l 品i 嘲， b 罗卜撇i 拖貅l 乩勰舢b 纩 卜m p e 础g1 m p 兰e 。g 量- i1 ：泓。 够毪锈簪矽 1 9 8 41 9 8 61 9 8 8 1 9 9 01 9 9 21 9 9 41 9 9 61 9 ) 82 0 0 0 2 0 0 2 2 0 0 4 图1 - 2i t u t 建议及m p e g 标准的开发过程嗍 h 2 6 3 标准1 9 9 6 年3 月公布，是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充，支持码率小于6 4 k b i t s 的应用。 北京邮电大学硕士学位论文h 2 6 4 帧内帧间模式选择快速算法 在图象格式上，除了h 2 6 1 定义的c i f 和q c i f 外，还支持s u b q c i f ， 4 c i f 和1 6 c i f ： h 2 6 3 采用半像素精度进行运动估计，取值范围为( 1 6 0 ，+ 1 5 5 ) ，运 动矢量是以差分预测的方式进行编码传输的，h 2 6 3 采用双线性内插获 得预测值，不具备环路滤波功能； 运动矢量采用二维预测与v c l 相结合的方式对预测值残差进行编码传 输；d c t 系数采用三维编码表示( l a s t ，r u n ，l e v e l ) 4 个可选模式：非限制运动矢量模式、高级预测模式、p b 帧模式、和 基于语法的算术编码模式。 在此基础上，1 9 9 8 年1 1 r u - t 推出h 2 6 3 + ，即h 2 6 3 版本二，它提供了1 2 个新的可选模式和其它特征，进一步提高了压缩编码性能。h 2 6 3 + 允许更多的 源格式、图象形状和时钟频率，拓宽了应用范围；它允许多速率及多分辨率， 增强了视频信息在易误码、易丢包的异构网络环境下的传输；1 2 个可选模式不 仅提高了编码性能，而且增加了应用的灵活性。2 0 0 0 年i t u t 又推出了 h 2 6 3 + + ，增加了一些新的特征从而适应于各种网络环境，并增强差错恢复能力。 m p e g 1 标准视频编码部分的基本算法与h 2 6 1 h 2 6 3 相似，也采用运动补 偿的帧间预测、二维d c t 、v l c 游程编码等措施。此外还引入了帧内帧( i ) 、 预测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。 在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视等 方面做了一些改进，例如它的运动矢量的精度为半像素；在编码运算中( 如运 动估计和d c t ) 区分“帧”和“场”；引入了编码的可分级性技术，如空间可分级 性、时间可分级性和信噪比可分级性等。 m p e g 4 标准引入了基于视听对象( a v o ：a u d i o v i s u a lo b j e c t ) 的编码， 大大提高了视频通信的交互能力和编码效率。m p e g - 4 中还采用了一些新的技 术，如形状编码、自适应d c t 、任意形状视频对象编码等。 从压缩编码的发展史可见，h 2 6 1 标准是视频编码的经典之作，h 2 6 3 是其 发展，并将逐步在实际上取而代之，主要应用于通信方面，但h 2 6 3 众多的选 项往往令使用者无所适从。m p e g 系列标准从针对存储媒体的应用发展到适应 传输媒体的应用，其核心视频编码的基本框架是和h 2 6 1 一致的，其中引人注 目的m p e g 4 的“基于对象的编码”部分由于尚有技术障碍，目前还难以普遍应 用。而在此基础上发展起来的新的视频编码标准h 2 6 4 克服了两者的弱点，在 混合编码的框架下引入了新的编码方式，提高了编码效率，大大加强了“网络友 好性”。同时，它是两大国际标准化组织共同制定的，应用f j f 景十分看好。h 2 6 4 标准的这些优点使得它在视频监控、视频通信等领域将有着广泛的应用。 4 北京邮电大学硕士学位论文h 2 6 4 帧内帧间模式选择快速算法 1 3 本文的工作 本文首先介绍了h 2 6 4 编码标准中所使用的关键技术，着重研究和分析了 帧内以及帧间模式选择算法，并针对使用率失真优化判决算法的模式选择部分 进行算法级的优化，降低模式选择算法复杂度，提高编码的速度。下面简单介 绍本文的主要工作： 第二章中首先简单介绍了h 2 6 4 视频压缩编码标准的关键技术。首先简要 的介绍h 2 6 4 的编码流程，针对h 2 6 4 中使用的关键技术，逐一展开进行说明。 第三章主要介绍了率失真优化的理论基础。简要介绍了率失真优化算法的 原理及在h 2 6 4 模式选择算法中的应用，并基于j m 平台进行了说明。 第四章介绍了在j m 中快速高复杂度r d o 模式下模式选择算法的研究与优 化工作。在帧内主要利用图像自身相关性，对图像进行预运算，达到缩减模式 选择范围的目的，而在帧间模式选择中利用图像边缘检测算子，对图像进行预 运算，利用统计的方法对不同模式的选择范围进行划分，达到缩减模式选择范 围的目的，并给出帧内实验结果。 第五章将使用r d o 算法的编码算法、使用快速高复杂度r d o 的编码算法 以及在快速高复杂度下对帧内帧间的优化算法进行了实验对比。 下面，将分章节详细介绍这些具体的工作情况。 5 北京邮电大学硕士学位论文h 2 6 4 帧内帧问模式选择快速算法 第二章h 2 6 4 标准及关键技术概述 h 2 6 4 是由i s o i e c 与i t u - t 组成的联合视频组( j v t ) 制定的新一代的视 频压缩编码标准。事实上h 2 6 4 标准的开展可以追溯到8 年前，当1 9 9 6 年对 h 2 6 3 视频编码标准制定后，r r u - t 的视频编码专家组( v c e g ) 开始了两个方面 的研究：一个是短期的研究计划，在h 2 6 3 的基础上增加选项( 之后产生了 h 2 6 3 + 与h 2 6 3 + + ) ；另一个是长期的研究计划，制定一种新的标准支持低码率 的视频通信。长期的研究计划产生了h 2 6 l 标准的草案，在压缩效率方面与先 期的1 1 r u t 视频压缩标准相比具有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织 认识到h 2 6 l 潜在的效益，随后i s o 与u 开始组建了包括来自i s o i e cm p e g 与兀u tv c e g 的联合视频组( j v t ) ，j 的主要任务就是将h 2 6 l 草案发展 成为一个国际性标准。这样，在i s o i e c 中该标准命名为a v c ( a d v a n c 励v i d e o c o d i n g ) ，作为m p e g 4 标准的第1 0 个选项；在1 1 r u - t 中正式命名为h 2 6 4 标 准。 2 0 0 3 年，国际电联关于数字视频编解码的技术建议h 2 6 4 被国际标准组织正 式接受，成为正式的国际标准。 2 1 h 2 6 4 的应用 h 2 6 4 的颁布是视频压缩编码学科发展中的一件大事，它优异的压缩性能 也将在数字电视广播、视频实时通信、网络视频流媒体传递以及多媒体短信等 各个方面发挥重要作用。 数字电视的优越性已是公认的，但是它的广泛应用还有赖于高效的压缩技 术。例如利用m p e g 2 压缩的一路高清晰度电视( h d t v ) ，约需2 0 m b i t s 的带 宽，有人作过初步试验，如利用h 2 6 4 进行一路h d t v 的压缩，大概只需5 m b i t s 的带宽。众所周知，美国已公布在2 0 1 0 年( 我国约在2 0 1 5 年) 停止模拟电视 广播，全部采用数字电视广播，如果那时h d t v 要获得迅猛发展，必须要降低 成本。以传输费用而言，采用h 2 6 4 ，可是传输费用降为原来的1 4 ，这是一个 十分诱人的前景，h d t v 必将呈现在人们的眼前，一个高质量的压缩性能优异 的h 2 6 4 视频编码技术和设备的市场前景是可以想象的。 视频通信是h 2 6 4 又一个重要应用领域，2 0 世纪9 0 年代初以来，会议电 视在我国获得了迅速发展，主要是召开行政会议，其优点是可节约大量旅途出 差时间，节约出差费用，还争取了时间并能及时作出重大决策。其不足之处为： 6 北京邮电大学硕士学位论文h 2 6 4 帧内帧问模式选择快速算法 ( 1 ) 不方便：必须到电信局专门的电视会议时才能参加会议；( 2 ) 价格昂贵： 当时采用h 2 6 1 作为视频压缩编码标准，压缩比不高，而且图像质量也不够好， 设备价格昂贵，传输费用也昂贵。可视电话是视频通信的另一个重要应用，可 是直到今天，尚未很好地广泛得到应用，其中一个重要原因是视频质量不理想， 这与视频压缩技术有密切关系。特别是，由于互联网在2 0 世纪9 0 年代的迅猛 发展，人们希望利用口技术传输视频，现在人们已可看到，在网络流量不大时， 人们看到的可视电话质量尚能接受。由于坤数据流的突发性，当流量大时，网 络会发生拥塞，这时经常发生丢包、误码，看到的图像中带有不少方块，这样 的视频质量是无法让人们接受的。于是对视频编码技术的要求，不仅仅要压缩 比高，而且应在恶劣的传输条件下( 包括移动网络的衰落) 具有抗阻塞、抗误 码的健壮性。 h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性，这对实时 的视频通信是十分重要的。现在已有基于d s p 的采用h 2 6 4 编码的可视电话出 现在市场上，进一步说明了在视频通信中h 2 6 4 的重要应用价值。 h 2 6 4 还有一个重要应用，即网络的流媒体。众所周知，应用流媒体技术 的视频点播( v o d ) 最近有了迅速发展，韩国的宽带上网的应用中v o d 占据 了第二位。我国宽带上网用户已达到1 0 0 0 万户以上，而且还在继续发展，v o d 的迅速发展也是可以期待的。 多媒体短信息也是h 2 6 4 的重要应用之一，我国的短信市场正方兴未艾， 相信多媒体短信也将有巨大的发展潜力。 h 2 6 4 着重于解决压缩的高效率和传输的高可靠性，因而其应用面十分广 泛。 2 2h 2 6 4 编解码器框图 与早期的视频编码标准( h 2 6 1 、m p e g 1 、m p e g 2 、h 2 6 3 、m p e g - 4 ) 类 似，h 2 6 4 标准也是基于块的混合编码。基本算法是通过帧间预测和运动补偿消 除时域冗余，经过变换编码消除频域冗余。但是定义了编码视频比特流的语法及 解码此比特流的方法。如图2 1 和2 2 所示。除了去块效应滤波器，大部分的基本 功能元素( 预测，变换，量化，熵编码) 在前期标准中( m p e g 1 ，m p e g 。2 ，m p e g 4 ， h 2 6 1 ，h 2 6 3 ) 已经包含了，但是在h 2 6 4 中最重要的变化发生在每一个功能块的 细节上。 编码器( 图2 1 ) 包含两个数据流路径，一个前向路径( 从左至右) 及一个 重建路径( 从右至左) 。解码器( 图2 2 ) 中的数据流路径从右至左阐述了编码器 和解码器之间的相似点。在描述h 2 6 4 的细节前，我们先描述在编码和解码视频 7 北京邮b 大学碰十学位论文 h2 6 4 帧内帧目横r 选# 快速算* 帧( 或场) 的主要步骤。 肇 ， = = n ：厂 r 司厂订 图2 - 1h 2 6 4 编码器 1 1 编码器( 前向路径) ： 一个输入帧或场e 以一个老块为单位做处理。每一个宏块被编码成帧问或帧 内模式，并且对于宏块中的每一个块，形成一个基于重建图像样点的预测p r e d ( 图2 一l 中标记为p ) 。在帧内模式中，p r e d 形成于当前片的样点，这一片已 经编码解码及重建过( 圈中驴l _ ；注意未滤波的样点用来形成p r e d ) 。在帧问模 式中，p r g d 的形成足通过从一幅或两幅参考罔像的运动补偿预测，这衅图像从表 o 或表1 中的参考图像中选择出。在图中，参考图像显示为前编码图像f 川，但 是对于每一个宏块分割( 在帧间模式) 的预测参考可能从过去或是未柬图像( 按 显示顺序) 中选择，这些图像已经经过了编码重组和滤波。 预n p r e d 减去当前块来产生个剩余( 差值) 块d 。，d 。变换( 利用块变换) 并且量化成给定的x ，即一组经过重排和熵编码的量化变换系数。熵编码系数， 连同在宏块中的要求解码的每一个块的枝节信息( 预测模式量化参数，运动向 量信息等) ，形成了压缩的比特流，法比特流为了传输和存储商传送到网络提取 层( n a l ) 。 2 1 编码器( 重组路径) ： 与编码和传输每个宏块中的块相同，编码器解码( 重组) 以提供对未来预 测的参考。系数x 的逆量化( q “) 及逆变换( t “) 来产生个差值块d 。预测 块p r e d j f l i ：0 d 中以创建重组盯。( 一个原始块的解码版本u 意味着它未经滤 波) 。滤波器是用来减少块效应的，并且重组参考图像由系列f 块创建。 3 ) 解码器： 解码器收到从n a l 来的压缩比特流，并且熵解码数据元素束产生一系列量化 系数x 。这些被逆量化及逆变换成d 。( 与在编码器中的d 。相同) 。利用从比特流 北京邮屯大学碗l 学位硷ih2 6 4 帻内，帧目模式选# 快速算法 中解码出的首部信息，解码器创建了一个块预测p r e 3 与编码器中形成的原始预 测p r e d 相同。p r e d 加到d 。中以产生驴：- 小：经滤波刨建每一个解码块f 。 目2 - 2 l 2 潞码；”“ 由于视频的内容时划在变化，有时空间细节很多，有时大面积的平坦。这种 内容的多变性就必须采用相应的自适应的技术措施：由于信道在环境恶劣下也是 多变的，例如互联刚，有时畅通，有时阻塞；又如无线网络，有时发生严重衰落， 有时衰耗很小，这就要求采用相应的自适应方法柬对抗这种信道畸变带来的不良 影响。这两方面的多边带来了自适应压缩技术的复杂性。h2 6 4 就是利用实现的 复杂性获得i h 缩性能的明显改善。 h2 6 4 的主要功能f i 标如下： 在相同的重建罔像质量下，h2 6 4 比h2 6 3 + 和m p e g - 4 ( s p ) 节约5 0 码率。 采用简洁的设计方式，简单的语法描述，避免过多的选项和配置，尽量 利用现有的编码模块；对信道时延的适应性较好，既可工作于低时延模 式以满足实时业务，如会议电视等，又可工作f 无时延限制的宽松场合， 如视频存储等。 加强对曝码和丢包的处理，增强解码器的差错恢复能力。 在编解码器中采用复杂度可分级设训在罔像质量和编码处理之间可分 缴，以适应商复杂性和低复杂性的应用。 提高网络适席性，采用“网络友好”的结构和语法，以适应i p 网络、移 动州络的应用。 2 3 h2 6 4 标准分类 h2 6 4 标准可分为4 个类：壁类、主类、扩展类及高类。丛类基本包括了 h2 6 4 的技术特征但投有b 帧、算术编码、帧场切换的编码以及增强帧编码 等：主类则包括r 上向所| 兑的这些内容，可用丁_ s d t v 、h d t v 等；自腱类可 用r 占种网络的视频流传输；向高类主要应用十最高分辨率视频。 h2 6 4 各类的关系： 北京邮电大学硕士学位论文h 2 6 4 帧内帧间模式选择快速算法 所有类的共同部分 一i 片( 帧内编码片) ：只利用同片已解码的采样点预测的编码片 一p 片( 预测编码片) ：利用从已解码的参考图像的帧间预测 - - c a v l c ( 基于内容的自适应可变长编码) 基类 一灵活宏块顺序( f m o ) ：宏块可能不按照扫描顺序排列。映射将宏块分配 到片组中 一任意片顺序( a s o ) ：一幅图像的首片的首宏块地址可能比前面相同编码 图像片中的首宏块地址要小 一冗余片：该片属于以相同或不同编码率得到的冗余编码数据，与相同片 中前编码数据相比较 主类 一b 片( 双向预测编码片) ：利用从已解码参考图像的帧间预测，有最多两 个运动矢量和参考指数来预测每一宏块的相同值 一加权预测：通过在运动补偿预测中应用加权因数的伸缩操作 - - c a b a c ( 基于内容的自适应二进制算术编码) 扩展类 一包含基类的所有部分：f m o ，a s o ，冗余片 - - s p 片：一种用于在视频流间高效切换的特殊编码片，与p 片的编码相似 - - s i 片：切换片，与i 片的编码相似 一数据分割：编码数据位于不同的数据分割中，每一分割放置在不同的层 单元中 一b 片 一加权预测 高类 一包含主类的所有部分：b 片，加权预测，c a b a c 一自适应变换块尺寸：亮度样点4 x 4 或8 8 整数变换 一量化伸缩矩阵：根据特定的频率和量化过程中的变换系数，给出不同的 伸缩以达到主观质量的最优化 h 2 6 4 a v c 的视频编码也采用与m p e g 4 和h 2 6 3 类似的基于块的混杂编 码方法，通过复杂的帧间预测来减少运动图像时域上的相关信息，通过对预测 残差进行d c t 转换来减少运动图像空间上的相关信息。另外，还使用多种优于 以往压缩算法的方法来提高整体的压缩性能。与以前的视频编码标准一样， h 2 6 4 a v c 没有将前处理和后处理等功能包括在草案中，这样可以增加标准的 1 0 北京邮电大学硕士学位论文 h 2 6 4 帧内帧问模式选择快速算法 灵活性。 h 2 6 4 与以前的国际标准如h 2 6 3 和m p e g - 4 相比，最大的优势体现在以 下四个方面： 1 将每个视频帧分离成由像素组成的块，因此视频帧的编码处理的过程可以 达到块的级别。 2 采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化 和熵编码( 可变长编码) 。 3 对连续帧的不同块采用临时存放的方法，这样，只需对连续帧中有改变的 部分进行编码。该算法采用运动预测和运动补偿来完成。对某些特定的块， 在一个或多个已经进行了编码的帧执行搜索来决定块的运动向量，并由此 在后面的编码和解码中预测主块。 4 采用剩余空间冗余技术，对视频帧里的残留块进行编码。例如：对于源块 和相应预测块的不同，再次采用转换、优化和熵编码。 2 4h 2 6 4 关键技术介绍 2 4 1 帧内预测 如果图像中的一个块或者宏块选用帧内预测模式，预测块p 是当前帧中已 编码块的重建块。利用图像中相邻块的相关性，用当前块减去预测块p 去除相 关信息，获得预测残差。通常预测残差的能量很小，再将残差数据进行量化编 码，已得到压缩的目的。 对于亮度值，预测块有基于4 x 4 子块或者基于1 6 x1 6 的宏块两种。对于每 个4 x 4 亮度块总共有9 种预测模式，而对1 6 x 1 6 的亮度块有4 种可选模式；对 于8 x 8 的色度块预测模式通常有四种可选模式。 2 4 1 14 x 4 亮度块的预测模式 4 x 4 的亮度块的帧内预测过程，通过h e a d e r 图像进行说明。图2 3 为h e a d e r 图像序列中的一帧图像，取出其中一个4 x 4 的亮度块。当前块上方和左面的样 点已经进行了编码和重建，可用作编码器的预测参考p 。 北京邮i b 人学碗 位论文 h2 6 4 帧内瑚目模式进掸快逮算 翊 图2 3 原始左块和当前要进行预测4 4 的晃度块 预钡4 块p 通过罔2 _ 4 中标记a m 的样值计算获得。 值得注意的是，有些情况下，不足a 到m 所有样值都是有效的。为了条块 的解码独立性，只有属于当前条块的样值是r u 用的。d c 预测( 模式0 ) 根据a m 巾的有用样值进行修正：当所需的预测样点都可用的情况下，其它模式( 1 8 ) 才可用；当e 、f 、g 、h 不可用的时候，它们的值可以用d 值拷贝。 图2 4 预测样置的标记( 4 x 4 ) 圉2 - 5 是4 x 4 亮度块的9 种预测模式，箭头表示每种模式的预测方向。对 丁模式38 ，预测值由预测像素的加权平均值获得。编码器将选择使得当前块 预测残差晟小的预测模式。 萑 | 匕京邮电 学顽十学位论文 h 2 6 4 帧自，帧m 横式选# 快# 镕 斧驴 旷 圈2 - 54 4 亮度堤预测模式 以图2 - 3 所示的4 4 块的预测为例，分别说明这9 种预测块p 是如何形成 的。图2 - 6 足由备种预测模式产生的预测块p 。每种模式的预测误差用绝对误 差之和( s a e ) 衡量。在这个例子中，模式7 的s a e 值最小，是当前块的晟佳 预测模式。从视觉直观判断，也可以看 这种预测模式的结果和原始4 x 4 块最 相似。 图2 4 x 4 预测块的形成 n 自m 学l 学似论j h2 6 4 * 自，懒r i 模式t # 协算t 2 4 12 1 6 1 6 亮度块预测模式 除了4 4 亮度块的9 种预测模式外，亮度块的预测还町以对整个1 6 1 6 宏 块进行亮度预测，1 6 1 6 亮度块的预钡4 模式有四种，如幽2 - 7 所示。 丽震萨 图2 - 7 帧内1 6 x 1 6 亮度块的预测 模式o ( 垂直) ：用上边的样值推断( h ) 模式1 ( 水甲) ：用左边的样值推断( v ) 模式2 ( d c ) ：左边和上边样值( h + v ) 的均值 模式3 ( 平面) ：线性函数采用左边和上边的样点h 和v 。这种模式适用于 亮度甲缓变化的区域。 图2 8 】6 x 1 6 宏块 罔2 - 8 所示亮度块，上边沿和左边的像素已经进行了编码重建。使用上进 模式对其进行帧内预测，预测的结果如罔2 - 9 所示犀侍预测模式川的是模式3 。 帧内预测1 6 x 1 6 模式工作十图象比较平坦，变化4 、的区域。 24 138 8 色度块预测模式 h2 6 4 的原图像采用4 ：2 ：0 的采样模式，每个宏块巾包含一个8 x 8 的色度块。 老块中色度块的预测也是通过对上边和左边已编码重建的样点进行计算产牛 的。色度预测的四种模式和1 6 x 1 6 亮度块的预测模，非常相似，只是顺序上有 所差别：d c ( 模式0 ) 、水平( 模式i ) 、垂直( 模式2 ) 和平面( 模式3 ) a 墟 常两个色度块( u 和v ) 聚用的预测模式相司。 色度块的预测模式和当前块的亮度预测模式相同，也就是税，如果当前块 的亮度成分是用帧内模式编码的，那么两个8 x 8 色度块也要采用帧内模式编码。 n 京邮电大学确学位论文h2 6 4 帧内撒月模式择快速算n 一 图2 - 9 帧内1 6 x 1 6 亮度块的预洲示例 24 14 帧内预测模式编码 4 x 4 块选用的帧内预测模式需要进行标记传送给解码器。用