（计算机应用技术专业论文）h264帧内预测模式选择快速算法研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 h 2 “是联合视频专家组( j ：j o i n t d c ot e 锄) 于2 0 0 3 年5 月正式推出 的新一代视频编码标准，与现有其他标准相同，都采用了基于块的混合编码模 型。同时h 2 6 4 又使用了许多先进技术：如帧内编码中的空域预测、可变块尺 寸的运动补偿、4 4 整数变换、多参考帧选择和内容自适应的二进制算术编码 等。测试结果表明h 2 6 4 在峰值信噪比和视频质量两方面的性能都远优于现有 其他标准。 为了达到高效的编码性能，h 2 6 4 使用率失真优化( r d 0 ，f 砒e d i s t o n i o n o p t i m i z a t i o n ) 模型为每个宏块选择最佳编码模式和参考帧。但是这种穷举的搜 索算法令h 2 6 4 的计算复杂度远远高于现有其他标准，无法满足实时视频通信 等应用需求，所以必须对算法进行优化以降低复杂度。 而帧内编码作为h 2 “中提高编码性能的一个重要手段，采用了多种预测 模式，这些模式不但在i 帧编码时需要被逐一计算，在p 、b 帧编码时同样也 需要计算，因此对帧内编码进行快速算法优化可以显著地降低整体复杂度。本 文在实验分析基础上提出了2 种帧内预测编码快速算法。 首先通过多个q c i f 测试序列的编码结果统计发现，在i 帧中编码后的最佳 宏块类型在空域上具有极强相关性，且同一宏块的两种宏块类型的编码结果间 也具有很强相关性。基于这一发现，本文提出了帧内宏块类型预判断算法，实 验结果表明，该算法在编码质量和压缩效率基本不受影响的前提下，达到了1 2 左右的时间节省。 同时实验结果也表明，在保证高质量的编码性能的条件下，能够使用预判 断算法进行筛选的具有明确纹理信息的宏块所占比重有限，因此需要对各帧内 宏块类型内部的模式选择进行优化以达到进一步的提高。本文提出了一种改进 的基于边缘方向直方图的快速算法，实验结果表明，该算法在p s n r 和比特率 可接受的波动条件下，时间节省在6 0 左右，有效的提高了编码效率。 关键词：帧内预测；模式选择；快速算法；h 2 “ 西南交通大学硕士研究生学位论文第1 i 页 a b s t r a c t h 。2 6 4h a sb e e na p p r o v c di i lm a y 2 0 0 3b yr r u - ta sr c c o m m e n d a t i o nh 2 6 4 a n db yi s 0 ，ca sh l t e m a t i o n a ls t a n d a r d1 4 4 9 6 - 1 0 ( m p e g - 4p a r t1 0 ) a d v a n c e d v i d e oc o d i n g ( a v c ) t h ee l e m e n t sc o 舳o nt oa l lv i d e 0c o d i n gs t a n d a r d sa r e p r e s e n ti n t h eh 2 6 4 a n ds o m en e wt e c h i l i q u 锚，s u c ha s s p a t i a lp r e d i c t i o ni n i n t r a c o d i n g ，a d a p t i v eb l o c ks i z em o t i o nc o m p e n s a t i o n ，4 4i n t e g e rt r a l l s f o r m a t i o n ， m u i t i p l er e f e r e n c ep i c t l i r e sa n dc o n t e ma d 印t i v eb 缸a r y a r j t h m e t i cc o d i n g ( c a b a c ) ， a r eu s e dmt h i ss t a i l d a r d t h e t e s t i i l g r c s u l t so f h 2 6 4s h o wt h a ti t g r e a t l y o u t p e 咖肌sc x i s t 吣v i d e oc o d i n gs t a n d a i d si i lb o t hp e a l ( s i 印a l - t o n o i s e r a t i o ( p s n r ) a n dv i s u a lq u a l i t y i no r d e rt oa c h j e v et h i s ，ar o b u s tm t e d i s t o n i o no p t i n l i z a t i o n d o ) t e c l l i l i q u ei s e m p l o y e dt os e i e c tm eb e s tc o d i i l gm o d e 趾dr e f e r e n c ef r 锄ef o re a c hm a c o r b l o c k a sar e s u l t ，t h ec o m p u t a t i o n a lb u r d e no ft l l j st y p eo fb r u t ef o r c e s e a r c h i i l ga l g o r i t h m i sf a rm o r ed e m a n d i gt h a na l l ye x i s t i n gv i d e 0c o d i l l ga l g o r i m m t or e d u c et l l ec o m p l c x i t y ，t h i sp a p c rp r e s e n t st w of a s ti n t r a - p r e d i c t i o nm o d e d e c i s i o na l g o r i t h m sf o rh 2 6 4 a 占a i ii n l p o r t a n tp a r to fh 2 6 4 ，t h ei n t r ac o d i n gh a s m a n yp r e d i c t i o nm o d e s a n dt l l e s em o d 髓i s o to n l yc a l c u l a t e di i lh l t r af r a m e s ，b u t a l s on e e d e di npa i i dbf r a m e s ，s ot l l a tt h ef a s ta l g o r i t h mc a ns i 倒丘c a n t l yr e d u c et 1 1 e o v e r a l lc o m p l e x ic y f r o mt h ee x t e n s i v ee x p e r i m e n tr e s u n so fv a r i o u sq c i fv i d e ot e s ts e q u e n c e ，w e o b s e r v e dt h a tas t r o n gc o r r e l a t i o 璐h i po ft h eb e s tm a c r o b l o c k ( m b ) t y p ee x i s t s b e t w e e nt h en e i 曲b o 血gi n t r am b s a n dt l l ec o d i n gr c s u l t so f 铆oi i l t r am b t y p e si n o n em ba l s oh a v es t r o n gc o r r d a t i 0 s h i p b a s e do nt h cr e s u l t s ，w ep r o p o s e da p r e - d e d s i o na i g o r i t l i i i lo fi i l l r am bt y p e a n dt h ea l g o r i t h mi si m p i e m e t e do nh 2 6 4 t e s tm o d e lj m 6 1 e x p e r i m e n t a lr c s u l t ss h o wt h a t 也ep r e d e c i s i o n a 1 9 0 r i t h m c o n t r i b u t e sa b o u t1 2 t i m es a v i gw i t hn 吲i 垂b l c1 0 s so ft l eq u a l i y b u tt h ee x p e r i m e n tr e s u l t sa l s 0s h o wt h a tt h ep r c d e c i s i o na 1 鼬r i t h md o e sn o t c o n l r j b u t et 0 0m u c ht i m es a v i n 岛s 0t h ef a s tm o d ed e c i s i o na i g o r i t h mf o re v e r yi n t r a m bt y p e si sn e c e s s a r yf o r 锄h c ra m e u o r a i i o n i nt h i sp a p e r ，w ep r e s e n t 姐i m p r o v e d f a s ta i g o r i t l l i nu s i gl o c a le d g ei n f o r m a t i o n ，趾dt h i sa l g o r i t h mc o n s i d e r a b l yr e d u c e s t h ea m o u n to fc a i c u l a t i o n sn e e d e df o ri n t r a p r e d i c t i o nw i t ha c c e p t a b i el o s so f d i n g q u a l i ty k e yw o r d s ：i n t r a - p r e d i c t i o n ；m o d ed e d s i o n ；f a s ta 1 9 0 r i t h m ；h 2 6 4 西南交通大学硕士研究生学位论文第1 页 1 1引言 第1 章绪论 多媒体信息主要包括文字、声音、图像等内容，其中视频是最重要的组成 部分之一。这是因为视频信息具有直观、形象、准确、高效和应用广泛等特点， 容易被人类接受，据统计人类通过视觉获取的信息占全部获取信息的6 0 【1 】。 但与文本、语音等数据相比，未经压缩的数字视频因为巨大的数据量而几乎没 有什么实用价值。举例从传输角度来看：一路广播级的彩色数字电视，若按4 ：4 ：2 的分量编码视频格式，用1 3 5 6 ，7 5 ，6 7 5m k 频率采样，每像素( p 趣e 1 ) 用8 位 编码，比特率为2 1 6 m b p s ；另外，一路高清晰度电视，比特率更高达1 3 2 7 m b p s 【2 l 。 这样的数据量，以今天或在不久将来实现时可接受的价格而言，都是不实用的。 显然数字视频必须经过极大的压缩才能具有实际意义，这就使得视频压缩技术 成为多媒体技术的关键所在咧。 可喜的是近二十多年来，经过世界众多的专家共同合作和刻苦钻研，多媒 体数据压缩技术取得了巨大的发展。而且，数据压缩技术取得的科研成果已经 越来越广泛地被应用于可视电话、视频会议、数码相机、数字化视频光盘( d v d ) 、 数字高清电视( h d t h i 曲d e l i l l i t i d n1 e l c v i s i o n ) 等领域。尤其在网络通信技 术高遮发展的今天，对多媒体通信的需求越来越丰富。如此丰富的需求。为多 媒体技术的发展提供了无穷的动力，同时从过去v c d 、v 0 d ( d o n d e n l a n d ) 、电影、电视、电子游戏、卡拉o k 等领域中取得的成功，让全世界 对多媒体技术的发展更加懂憬。 1 2 视频压缩编码原理 1 2 1视频压缩编码技术的发展历史 1 9 4 8 年，s h a n n 蛐等人h l 联合发表了对电视信号进行脉冲编码调制( p c m ， p u l s ec o d cm o d u l a t i ) 的论文，这标志着数字图像压缩编码技术的开端。 1 9 5 2 ，贝尔实验室的c c c m t e r 取得了差分脉冲编码调制( d p c m ) 系统的 专利【2 j ，奠定了真正实用的预测编码系统的基础。 1 9 6 3 年，j j y i u 觚g 等人提出了对相关随机变量先正交变换再分组量化的 方法。使得人们对变换法用于图像数据压缩寄予了很大的期望。1 9 6 8 年 西南交通大学硕士研究生学位论文第2 页 h c a n d r e w s 等人【5 】基于大多数自然图像的高频分量相对幅度可能较低，可完全 舍弃或只用少数码字编码而失真不太的认识，提出了不对图像本身编码，面对 其二维离散傅立叶变换( 2 d d f t d ) 系数进行编码和传输。此后相继出现了性 能更佳的沃尔什一哈达玛( w h l s h h a d 锄a r d ) 变换1 6 】、k l ( 幻吐u n c n l 0 c v e ) 变换、二维离散余弦变换( d c t ) 等r 7 ，8 】。其中1 9 7 4 年，n a h m e d 等人提出的 d c t 奠定了当前视频标准变换编码的基础。 1 9 6 9 年在美国召开的首届“图像编码会议”表明图像编码以独立的学科跻身 于学术界。接下来的时间里，对图像编码技术的研究进入了高峰，7 0 年代开始 了对帧间预测编码的研究：8 0 年代开始了对运动补偿( m c ，m o t i o n c 0 m p e n s a t i o n ) 所用的运动估计( b ，m o t i 0 咀e s t i m a t i o n ) 算法进行研究等等。 1 9 9 0 年r r u - t 正式发布的h 2 6 1 【9 i 是第一个获得广泛应用的视频编码标准， 是运动图像编码技术4 0 年研究的结晶，标志着图像编码技术开始走入实用。 h 2 6 1 是一个完整的视频编码算法，建立了取得巨大成功的基于块的混合编码框 架，并为后来的m e g - 1 、m p e g 2 、h 2 6 3 等一系列视频压缩标准奠定了基础。 m p e g 1 标准于1 9 9 3 年发布，较h 2 6 1 具有更高的压缩性能和更灵活的语 法结构，是v c d 工业标准的核心。p e g 2 【1 0 】标准被广泛应用于卫星广播业务 ( b b s ) 、电缆电视( c a m ) 、数字电视地面广播( d r r b ) 、点播电视( v o d ) 、 数字声音广播( d a b ) 、多媒体终端和网络数据库业务等众多领域，是d v d 工 业标准的核心。 1 9 9 5 年n 月r r u - t 的低码率视频编码标准h 2 6 3 出台1 1 1 】。h 2 6 3 是针对甚 低码率( 低于6 4 k b p s ) 视频会议和可视电话的窄带信道视频编码建议，为了支 持低速率的通信而制定的标准。在完成h 2 6 3 标准的制定工作后，为适应在现 有的窄带网络环境上传输视频信息，r r u t 又通过了h 。2 6 3 标准的第二舨 h 2 6 3 + f “，增加了十二个新的高级模式。2 0 0 0 年1 1 月，又推出了第三版 h 2 6 3 + 斗j ”】，新增3 个高级模式。他们的主要应用方向仍是低码流的视频业务， 用于p s l n 以及无线接入的高误码比的通信环境。由于实现成本较低，h 2 6 3 系列标准以及越来越多地被采用。 m p e g - 4 【1 4 】是i s 咖e g 提出的种极低码率的视音频压缩编码标准。考 虑到低损耗、高性能技术提供的机会和面临迅速扩展的多媒体数据库的挑战， m p e g 一4 提供灵活的框架和开放的工具集，这些工具将支持一些新型的和常规 的功能，m p e g 4 支持逐行扫描和隔行扫描，是基于视频对象的编码标准，通 西南交通大学硕士研究生学位论文第3 页 过对象识别提供了空间的可伸缩性。m p e g _ 4 标准既能够支持码率低于6 4 k b i t s 的视频应用，也能够支持广播级的视频应用。与其他压缩标准相比，m p e g 4 标准在d c t 的基础上引入了图像模型的概念从而具有更高的压缩效率。 2 0 0 3 年5 月，由玎u - t 和i s 0 组成的联合视频专家组共同推出了 h 2 6 舭w c 旧标准，也就是本论文的研究对象。与现有其他标准相同，h 2 6 4 也 采用了基于块的混合编码模型，但同时又加入了许多先进技术：如帧内编码中 的空域预测、可变块尺寸的运动补偿、4 4 整数变换、多参考帧选择和内容自 适应的二进制算术编码等。此外，为了达到较现有标准都更好的编码性能，h 2 6 4 使用率失真优化模型为每个宏块选择最佳编码模式和参考帧。但是这种穷举的 搜索算法令h 2 6 4 的计算复杂度远远高于现有其他标准，无法满足实时通信等 实际应用需求，所以对h 2 6 4 进行快速算法研究具有十分重要的现实意义。 而帧内预测编码作为h 2 6 4 中提高编码性能的一个重要手段，采用了多种 编码模式。这些模式不仅在i 帧编码中需要被逐一计算，在p 、b 帧编码时也同 样需要计算，所以对帧内预测编码技术进行快速算法改进可以显著降低编码复 杂度，具有现实意义。 图1 1 展示了这两大系列视频编码标准的发展历程。 i t u t i i 孔2 6 1 | j i ii 函i 骥攫黪荔。l l s t a i l d a r d i | ；m p e g 。o 一s ”。1 1 s t a n d a r d 凝薹薹鏊i 誊鎏鍪誊：誊誊翱 图1 - 1h 2 6 x 和m p e g 系列标准的发展历程 此外，2 0 0 3 年由数字音视频编解码技术标准工作组( a u d i o d c o d i n g s t a n d a r d w b r k | 那u po f c h i a ，简称a v s 工作组) 提出的我国拥有自主知识产权 的信息技术一先进音视频编码标准( a v s ) 正式出台，标志着我国在视 频编码领域也迈出了关键一步。 西南交通大学硕士研究生学位论文第4 页 1 2 2 不同帧内编码算法简介 1 2 2 1 m ：p e g 2 “的帧内编码 在m p e g 2 4 标准中，没有对帧内宏块进行预测，而是直接将像素值进行 变换、量化和熵编码。由于没能够充分利用图像信息中存在的空域相关性消除 空域冗余，因此帧内编码的压缩效率不高。 1 2 2 2 h 2 6 3 + 的帧内编码 h 2 6 3 + 将帧内预测编码作为可选工具之一写入标准【1 2 l ，用于提高编码帧内 宏块的压缩性能。如图1 2 所示，帧内预测时有三种不同的预测方式可供选择： d c 、垂直d c 和a c 、水平d c 和a c 【1 7 】。在d c 方式下，当其相邻上方和左方 块都为帧内块且在同一数据划分中，就使用这两仓块对d c 系数避行预测。在 垂直d c 和a c 方式下，使用其上方块对d c 系数和第一行的a c 系数进行垂直 预测。在水平d c 和a c 方式下，使用其左方块对d c 系数和第一列的a c 系数 进行水平预测。通过这些帧内预测模式，块就可以使用相邻的帧内已编码宏块 进行预测。这种模式将i 帧的编码效率提高1 0 1 5 【1 8 1 。 图1 - 2h 2 6 3 + 中帧内预测模式 1 2 2 3a 帽的帧内编码 a v s 的帧内预测采用了代表空域纹理方向的多种预测模式，用图像内相邻 块的像素预测当前块，从而减小图像的空域冗余。帧内预测基于8 8 块，共有 西南交通大学硕士研究生学位论文第5 页 5 种亮度预测模式和4 种色度预测模式，使用相邻块中已编码重建且未经过滤波 的像素点作为参考像素【1 9 1 。图1 0 为8 8 亮度块帧内预测模式示意图，在表1 1 进一步给出了这些模式的具体名称。 图l - 38 8 亮度坎帧内预测模式 表1 1a v s 帧内预测模式 模式名称 0 i n h _ 8 8 _ v c m c | 1 1 i n t f l b 8 _ h o r i 珈t a l h t f 吐刀m a p f c d m o 出2 扛t 心缸8 _ d c 3 i n t r a - 8 8 _ d o w i - c 矗 4 i 札8 x 8d o m j g h i 0 k l 缝一a n 1 p c 1i 曲l q m m a - h 妇t a l h t r a o m 丑p n d m o 血 2 i n 岫一c 抽m a v e r i i 喊 3 l n m i 国。盘& 一p l 1 2 3视频质量的评价 如何客观地度量失真，并且使客观度量结果和人的视觉感受一致，是视频 处理的一个重要问题。一般来说，视频质量评价方法分为主观评价和客观评价 两种f 1 4 】。 1 、客观评价是用重建图像与原始图像的误差来衡量，常用的有均方误差 ( m s e ) 和峰值信噪比( p s n r ) 两种。 均方误差定义为： 砸一去w ，( f ，j ) 一，蜘) 】2 ( 1 1 ) 删禽向 、7 其中：m 、n 表示图像宽和高的像素点数：，o ，j ) 表示原始图像的像素值， 西南交通大学硕士研究生学位论文第6 页 ，u j ) 表示重建图像的像素值。 峰值信噪比定义为： 腓= 1 0 x 1 0 岛。篆 ( 1 - 2 ) 可见二者是一一对应的，实际应用中，p s n r 比m s e 更经常被使用。 2 、主观评价方法是由评价者直接对一段视频进行观察，从感觉上去度量其 失真度，给出质量评价级别，对所有评价者给出的分数进行加权平均，所得结 果即为主观评价结果。这种评价结果必然符合人的视觉感受。但人的主观感受 不能用数学模型对其进行描述，无法直接用于视频压缩编码过程中的质量评价 与控制；另外，主观评价容易受到个体因素的影响，如年龄、性格、教育程度、 背景以及评价时的心情等。 本论文中使用式( 1 2 ) 的p s n r 作为客观视频质量的评价标准，在每个实验 结果中都给出了h 2 6 4 原算法和本文提出改进算法的p s n r 对比，通过这些数 据就可以清楚了解算法编码性能的优劣。 1 3论文研究的主要内容及结构 本论文以h 2 6 4 视频编码标准为研究对象，在对帧内预测编码进行深入研 究的基础上，对其进行了优化，共分为五章。 第一章绪论部分介绍图像压缩编码技术发展历史，不同标准中帧内编码算 法以及视频质量的评价标准，论文研究的主要内容和论文结构。 第二章阐述h - 2 6 4 的编解码工作框架，扼要介绍该标准的关键技术：帧内 预测、帧间预测、变换和量化、熵编码等。 第三章首先详细介绍了帧内预测编码的方法和目前测试模型中广泛使用的 全搜索的帧内预测模式选择算法流程，分析了计算复杂度。然后详细分析对比 了几种现有的典型帧内预测快速算法，并阐述其优缺点。 第四章在大量实验基础上，分析了宏块内部两种帧内宏块类型的编码模式 间的相关性，并根据相邻宏块间最佳帧内宏块类型的致性，提出了种帧内 宏块类型预判断算法，在h 2 “测试模型j m 6 1 上实现并给出实验结果。 第五章在对基于边缘检测的快速算法进行实验仿真后，通过科学地改变候 选模式选择方法，提出了一种改进算法，在j m 6 1 上实现并给出实验结果。 最后是全文总结，并对下步工作提出展望。 西南交通大学硕士研究生学位论文第7 页 第2 章h 2 6 4 视频标准 2 1h 2 6 4 的产生及应用前景 盯u t 在1 9 9 6 年初步完成h 2 6 3 视频编码标准后，制定了短期和长期两个 工作目标。短期目标是进一步扩展和增加h 2 6 3 的特色，增强低比特率编码能 力，并产生了h 2 6 3 的增强版，即h 2 6 3 + 、h 2 6 3 + + 。长期目标是制定一种新 的视频编码标准，以更好的质量、更高的压缩比支持视频会议等低比特率应用， 由此产生了h 2 6 l 草案i 刈。与此同时，i s 0 ，m c 也在继续进行m p e g 4 高级视 频编码j w c 的研究。 是近几年来，随着通信技术和电信市场的发展，基于讲的、融合互联网与 电信网络的全新下一代网络( n g n ) 逐渐浮出，这为视频应用的发展创造优越 的条件。但是，进一步提高视频压缩编码效率，在同样带宽的信道中传输更多 路视频信号仍是一个亟待解决的技术难题，而且随着h i 啪e t 和移动通信的迅猛 发展，如何在l p 和无线环境下提高抗误码能力，保证压缩后视频信号的服务质 量( o o s ) ，成为视频通信发展的另一关键技术难题。 2 0 0 1 年，m p e o 对h 2 6 l 草案进行了评估并认识到h 2 6 l 潜在的优越性， 于是m p e g 和v c e g 组成了联合视频专家组，进一步完善h 2 6 l 模型，共同发 展新的视频编码国际标准。新标准于2 0 0 3 年5 月正式颁布1 1 5 ，官方名称分别为： r r u - tr c c h 2 6 4 和1 s 0 ，c m p e g 4 p a i t l o a v c ( 简称为h 2 “) a 与以往视频标准相比，h 2 6 4 虽未做出重大改进，但在多编码模式、编码参 数自适应选择、上f 文自适应熵编码、多参考帧的灵活选择、高精度预测、去 方块滤波以及抗误码能力等方面进行了精益求精，采取了一系列的切合实际的 技术措施，较好地实现了预定的两个主要目标：相对于h 2 6 3 和m p e g 一4 ， 视频压缩比提高一倍，或节约5 0 的码率；对网络特别是口和无线网络具 有良好的抗误码能力。 i t u t 在发展和制定h 2 6 4 韵前身h 2 6 l 时，主要是为甚低比特率编码提 供一种高性能的编码国际标准，但随着m p e g 的加入以及更多新技术的采纳， h 2 6 4 以其卓越的压缩性能在电视、h d l 、卫星电视、存储媒体、无线多媒体 应用等方面显示出了巨大的应用潜力。显然h 2 6 4 这个新世纪制定的面向高质 量到低比特率，从有线到无线各种应用的视频编码国际标准。有望成为新世纪 量到低比特率，从有线到无线各种应用的视频编码国际标准。有望成为新世纪 西南交通大学硕士研究生学位论文第8 页 最为成功的国际标准之一。 2 2h 2 6 4 编解码框架 与以往的标准相同，h 2 6 4 标准中并没有明确的定义编解码器部分。更准确 来说，标准将编码视频比特流的语义和该比特流中的解码的方法一起定义了。 而在实际应用中，一个好的编码器和解码器应当包括图2 1 和图2 2 中所示的功 能要素( 2 1 】。与此同时，在图中展示的功能也是必要的，这为c o d e c 结构的变 化留下了余地。基本的功能要素( 预测，变换，量化，熵编码) 与先前标准并 没有太大出入；在h 2 6 4 中的大改变发生在每个功能元素的细节部分。 解码器( 图2 1 ) 包括两个数据流通道，一个“肓# 向”通道( 从左至右，虚线) 和一个“重建”通道( 从右至左，实线) 。解码器的数据流通道( 图2 - 2 ) 从右至左展 示了编码器和解码器的类似处。 图2 - 1h 2 6 4 编码器 ，一亨j i i t n a l 2 2 1 编码器前向通道 输入帧e 以宏块为单元被编码。按帧内或帧间预测编码的方法被处理。在 这两种情况中，都形成了一个基于重建帧的预测宏块尸。在帧内模式中，p 是 由当前帧只中已编码重建后的像素点得到的( 图中h 为在图像序列中的位置编 西南交通大学硕士研究生学位论文第9 页 号；注意这里用于生成p 的像素点为未过滤前的) 。在帧间模式中，p 由一个或 多个参考帧的运动补偿预测得到。如图所示，参考帧为先前已编码帧。；然而 实际上，每个宏块的预测都可能来自一个或两个已编码重建的前序或后序帧 ( 时间顺序) 。 用当前宏块减去预测宏块得到了残差宏块q ，并将该块经过变换( 使用块 变换) 、量化后赋值给量化变换系数x 。这些系数被重新排列并进行熵编码。熵 编码后的系数，连同压缩比特流中解码宏块时所需的边界信息( 如宏块预测模 式，量化步长，用于描述宏块如何进行运动补偿的运动向量信息，等等) 一起， 发送到网络抽象层0 妣l ) 等待传送和储存。 图2 - 2h 2 6 4 解码器 2 2 2编码器重建通道 量化后的宏块系数x ，为了后序宏块编码时重建帧的需要而被解码。将系 数x 反量化( q 4 ) 和反变换( t 。1 ) 后，生成残差宏块碱。但由于量化过程是有 损的，珥与原始的残差宏块q 并不完全相同，而是受损重建后的见。将或与 预测宏块p 相加后生成了重建宏块m ( 原始宏块重建后的失真宏块) 。使用滤波 器来降低块失真效应，并利用多个宏块一中产生重建后的参考帧。 2 2 3 解码器 西南交通大学硕士研究生学位论文第1 0 页 解码器从n a l 中接收到压缩比特流。对数据元素进行熵解码和重新排序后 产生一系列的爨化系数x 。这些系数被反量化和反变换后赋值给或( 同编码器 中的珑) 。使用比特流中的已解码的报头信息，解码器生成了与编码器中完全相 同的预测宏块p 。将联与预测宏块p 相加后生成了重建宏块酊：，再经过滤后 得到已解码宏块。 从上述图和讨论中可以清楚看到，编码器重建通道的作用是为了保证编码 器和解码器端可以使用完全相同的参考帧来创建预测块p 。若没有重建通道， 则在编码器和解码器端的预测块p 可能不同，这将导致错误的增加和编解码器 之间的“漂移”。 2 3 h 2 6 4 的关键技术 2 3 1 具有网络友好性的分层结构 随着通信技术和计算机技术的飞速发展，特别是互联网和移动通信阏在世 界各地的兴起和普及，编码视频的传输网络也交得越来越复杂。如何增强编码 视频的网络适应性。扩展视频编码标准的应用范围日益成为人们关注的焦点。 为此，h 2 6 4 在设计上将整个编码系统从功能上分为两层：视频编码层( v c l d e oc 0 d i n gl a y e r ) 和网络提取层( n a l n c 押嘲【a b s 妇鲥锄l a y e r ) ，如图 2 3 所示。 据l j 二i 二译片，分割数据 磊卜叫巫细 丁i 躺刖分割麟 kl 昌翟i | h 3 2 0lm n f fil l 3 2 3 爬i 瞪g 2 l 图2 - 3h 2 “的v c l 和n a l 分层示意图【z q v c l 主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、 健壮性、可分级等特性的视频编码码流。这一部分也是整个h 2 6 4 视频编码标 准的核心部分，同时也是本文研究的重点。但如同前面所提到的，编码视频比 西南交通大学硕士研究生学位论文第1 1 页 特流对于不同的传输网络和传输协议并不是具有普遍的适应性。为此h 2 6 4 在 视频编码层的外部定义了k a l o n a l 主要负责将v c l 产生的数据正确地、恰当地映射到不同的传输网络 中去。当v c l 产生的比特流将在某种特定网络中传输时，n a l 针对这种网络 及其传输协议的特性，对v c l 的编码码流进行适合该网络及其传输协议的封装。 这样h 2 6 4 就可以在面向不同的传输网络时，灵活地提供不同的封装方式，增 强了网络的适应性。n a l 的提出不但使h 2 6 4 对目前现存的各种不同网络有很 强的网络友好性，而且使它对未来的网络同样具有很强的适应性嘲【2 4 l 。 2 3 2 帧内预测编码 帧内预测编码是h 2 6 4 标准中的重要改进之一，其基本原理是利用相邻像 素的相关性，根据已解码重建的相邻块像素来实现对当前编码块的预测，并且 对预测块和实际块的预测残差进行变换、量化、熵编码，以消除空域冗余【飙。 通常视频序列空间相邻像素之闻具有强相关性，存在大量的空域冗余，特别是 在变化平缓的背景区域，由于相邻像素值相近，利用帧内预测可以大大提高帧 内编码的效率。 2 3 2 1 4 4 亮度块帧内预测 在4 x 4 亮度预预4 模式中，h 2 6 4 把1 6 x 1 6 宏块划分成1 6 个4 4 的子块，每 个子块用其相邻的上方和左方已编码重建后的像素点来进行预测。4 4 块中像 素及其相邻像素的分布如图2 4 所示。大写字母a _ m 表示相邻块中已解码重建 的像素，小写字母a - p 表示被预测的4 4 亮度块的1 6 个像素。 图2 44 4 块中像素及其相邻像素 h 2 6 4 中的4 4 亮度预测依据预测方向的不同共有9 种预测模式，如图2 5 所示。 西南交通大学硕士研究生学位论文第1 2 页 图2 5 k 虹a j 4 帧内预测模式 9 种预测模式分别为： 模式0 ：垂直预测，使用上方相邻子块的像素点a 、b 、c 、d 分别来预测 各像素所对应列的像素的值。 模式1 ：水平预测，使用左方相邻子块的像素点i 、j 、k 、l 分别来预测各 像素所对应行的像素的值。 模式2 ：d c 预测，使用上方相邻子块的像素点a 、b 、c 、d 和左方相邻子 块的像素点l 、j 、k 、l 这8 个像素值的均值作为当前块中所有像素的预测值。 模式3 ：下左对角线预测，与模式。成4 5 度角。使用上方相邻子块的像 素点a 、b 、c 、d 、e 、f 、g 、h 进行线性插值后对当前块相应方向上的像素 进行预测。 模式4 ：下右对角线预测，与模式1 成4 5 度角。使用相邻予块的像素点 a 、b 、c 、d 、i 、j 、k 、l 、x 进行线性插值后对当前块相应方向上的像素进 行预测。 模式5 ：垂直右斜线预测，与模式o 成2 2 6 度角。使用相邻子块的像素 点a 、b 、c 、d 、i 、j 、k 、l 、x 进行线性插值后对当前块相应方向上的像素 进行预测。 模式6 ：水平下斜线预测，与模式1 成2 2 6 度角。使用相邻子块的像素 点a 、b 、c 、d 、i 、j 、k 、l 、x 进行线性插值后对当前块相应方向上的像素 进行预测。 模式7 ：垂直左斜线预测，与模式0 成2 2 6 度角。使用上方相邻子块的 像素点a 、b 、c 、d 、e 、f 、g 、h 进行线性插值后对当前块相应方向上的像 素进行预测。 模式8 ：水平上斜线预测，与模式1 成2 2 6 度角。使用左方相邻子块的 西南交通大学硕士研究生学位论文第1 3 页 像素i 、j 、k 、l 进行线性插值后对当前块相应方向上的像素进行预测。 需要特别说明的是：上述各种预测模式的选择以相邻块的像素是否可得为 前提。其中模式o 1 2 被认为始终有效，即使实际编码时上方像素或左方像素不 可用( 这种情况下相邻像素值使用1 2 8 代替) ，而其他模式仅当所有需使用的相 邻像素点都可用时才计算( 若e 、f 、g 、h 不可用时，可以用d 值代替) 。 2 3 2 21 6 1 6 亮度宏块帧内预测和8 8 色度块帧内预测 在1 6 1 6 亮度预测模式中，h 2 6 4 把将鼙个亮度宏块作为一个整体来预测， 共有4 种预测模式：模式0 垂直预测、模式1 水平预测、模式2 d c 预测、模式 3 平面预测。图2 6 为m t r l l 6 x 1 6 预测模式示意图，其中a ，b 分别表示相邻 宏块已解码重建的像素。 4 种预测模式具体为： 模式0 ：垂直预测，使用宏块上方相邻块的像素b 分别来预测各像素所对 应列的像素值。 模式1 ：水平预测，使用宏块左方相邻块的像素a 分别来预测各像素所对 应行的像素值。 模式2 ：d c 预测，使用宏块上方相邻块的像素b 和左方相邻块的像素a 的均值作为当前块中所有像素的预测值。 模式3 ：平面预测。利用一个线性平面函数对上方和左方的像素进行外插后 对编码宏块相应像素进行预测。 模式o ( 垂直)模式1 ( 水平)模式2 ( d c )模式3 ( ) 藏凰嘲圃 图2 - 6 h t f a - 1 6 x 1 6 预测模式 色度分量以8 8 块为预测单位，与m r t l 6 1 6 类似，也有4 种预测模式， 只是预测模式的顺序不同：模式0 ( d c 预测) 、模式1 ( 水平预测) 、模式2 ( 垂 直预测) 、模式3 ( 平面预测) 。值得注意的是。色度宏块包含u 、v 两个色度分 量宏块。在进行8 8 色度宏块帧内预测时，对两者需采用相同的预禊0 模式。 西南交通大学硕士研究生学位论文第1 4 页 2 3 3帧间预测编码 2 3 3 1 树状运动补偿结果 与以往的视频编码标准类似，h 2 6 4 也使用了基于块的运动补偿帧间预测以 消除视频序列的时域冗余。主要不同点包括：支持低至4 4 的块尺寸范围和优 良的亚像素精度的运动向量( 亮度分璧中的1 4 像素) 【矧。 为了更为准确的描述宏块的运动细节，h 2 6 4 定义了7 中不同尺寸和形状的 宏块和亚宏块分割【阍，如图2 7 所示，一个1 6 1 6 亮度块可以按以下四种方式 划分：1 6 1 6 ，1 6 8 ，8 1 6 ，8 x 8 i 一个8 8 的图像块可以分为：8 x 8 ，8 x 4 ，4 x 8 ， 4 4 。这些划分和子划分为每个宏块提供了许多种可能的组合，这种将宏块分割 成多种块大小的运动补偿子块的方法称作树状运动补偿。 图2 - 7 帧间预测的宏块划分模式 在这种方式下，每个宏块中可以包含1 、2 、4 、8 或1 6 个运动向量。对于 每个分割或子分割都需要一个独立的运动向量，每个运动向量必须被编码和传 输，同时所选择的宏块类型也要被编码传输。选择一个大的分割尺寸意味着需 要少量的比特数来表示运动信息，但是粗糙的预测使得残差值较大。选择小的 块模式，运动估计更准确，残差值更小，但是需要更多的比特数来表示运动信 息。因此宏块类型的选择对于编码压缩性能具有重要的影响。总的来说，较大 尺寸的块模式适宜于运动程度低的区域，而精细的分割适宜于细节丰富的区域。 图2 8 为一编码后的的残差帧( 无运动补偿) 。编码器为该帧的每个区域选 择了“最好”的划分尺寸，即可将编码残差和运动向量最小化的划分尺寸。可以 看出，在帧中变化平缓的那些区域里( 残差表现为灰色) ，选择了1 6 1 6 块划分； 在细节区域里( 残差表现为黑或白) ，更多的选用小划分。 西南交通大学硕士研究生学位论文第1 5 页 图2 - 8 残差的翅j 分选择( 无m c ) 2 3 3 2 1 4 像素精度运动估计 运动估计是利用视频图像的时域相关性，产生相应的运动矢量，尽可能准 确地描述对象( 块或宏块) 的时域运动，因此运动矢量的精度越高，运动估计 的残差越小，这样在降低码率的同时提高重建视频质量。 h _ 2 6 4 采用l “像素精度的运动估计并详细定义了相应分数像素的插值实 现算法。在亮度分量中，1 2 像素点由相邻的整像素点利用6 抽头滤波器( 1 3 2 ， 5 3 2 ，5 8 。5 8 ，5 3 2 ，1 3 2 ) 得到。1 4 像素点由相邻的1 2 或整数像素点线 性插值产生。 oooooooo a0 o oooo 9自po o ooo囊00 固oo ooo0 囝国o0 o ooo 固。西eo o o0oo o静oo o ooopo0o 0 0 0 0 0 j秘国囝囝 0 ooaoo o 0o 盯o0 0o ooooooooo 0ooo o oo00 ( a ) 当前帧中的4 4 块秭参考块；运动向量( 1 1 )( c ) 参考块：运动向量( o 7 5 ，0 7 5 ) 图2 - 9 整数预测和1 2 像素预测 如图2 - 9 所示是一个使用整像素预测和l 2 像素预测的例子。( a ) 中灰色点表 西南交通大学硕士研究生学位论文第1 6 页 示当前编码帧中通过参考帧预测得到的4 4 子块。若运动向量中的水平和垂直 分量都为整数时，则参考块中的对应像素点是实际存在的( 如( b ) 中的灰色点所 示) 。若运动向量中包含非整数值分量，则参考块中的对应像素点是由相邻的 实际像素点插值得到的( 如( c ) 中的白色点所示) 。 显而易见的，1 2 像素运动补偿的编码性能优于整像素运动补偿，而1 4 像 素精度运动补偿的编码性能则更高，但与之对应的是计算复杂度也大幅增加。 2 3 3 3 多参考帧预测 h 2 6 4 标准吸收了h 2 6 3 + + 中的多参考帧预测技术。通过在多个参考帧中进 行运动估计，寻找出当前编码块( 或宏块) 的最佳匹配。在一些特定的情况下， 主要是快速的周期性运动、快速的场景相互切换、物体存在遮蔽现象等，多参 考帧的使用可以提供更好的预测效果，使得在p 、b 帧预测时预测误差更小1 22 1 。 另外，h 2 6 4 中的b 帧也可以作为其他图像的参考图像。 2 3 4 变换和量化 2 3 4 1 4 4 整数变换 以往标准中，广泛使用的8 8 d c t 变换，由于是浮点运算，因此在变换和 反变换之间存在误差偏移。而在预测过程中，这种由变换引起的误差将不断的 积累、放大。当误差积累到一定