（模式识别与智能系统专业论文）h264视频编码标准算法研究和优化分析.pdf

y6 s 4 3 u h 2 6 4 视频编码标准算法分析及优化研了芒 指导教师：龙建忠研究生，歹马 摘要 本文土要叫沦j 7 目前最新的税频柏、。= 睁i1 1 = b 1 怍为0 f 代：门 m 糊圳解码柏、准，采川j 成熟的坎术，n 一迎j k 更r 洲门绷m i 效半和陶门“上一h 。 u h j 也提供_ ：r ”常好的视频质蝌，址“f 最i ? 放i 由似* l 们j 、i | 利j lc 他视频编角军码标准，h2 6 4 具有史蒯的一川托 i i 2 叫采f l j 了分层结构：视频编码壕( v l ：i 、1l h 0 ( j i d l i i g 】。1j 帆，! 一j j 似 旧m 顺内容表示：规定网络传输规范的恻络抽缘j “、a l 、。l w o ik n - it “。l 】o i i 1 y 1 i ) 负责以网络所型求的恰当的方对数据进仃- ij 也利1 0 送】j 】j 1 内f , ) i ：h ! i l t t i o m 、 衫参考帧的运动估计技术、叫变尺寸块的返z 讪竹汁、 ：# 数| i 变擞、蚪抒滤波 搽、c a b a c 等先进技术是1 42 6 4 良灯爪缩i q - f i e i nj _ l t i i l l ，术 别州趟“投水的i 弹浊进行了详细分析。j 司时，本文还分祈j 利j t j 碑：、l l 1 ) t l f l 噬j f 许浊九芹种编 m 、预洲模式中进行选抒的基本原婵垌i 实施。 j 血吐对h 2 6 4 编码器的深入分析f l l o l 亢，本文抛f uj 7 刈a 种5 _ f ： 的辽倬述嫂 进f j 优化的方案升加以实施。优化的关键机j 确定优化刈缘本文刘确定优化 刑缘的方法雨i 思路进行了介 凡优化过w 的第步烂利川m i xs 虮2 技术刈核心 运算模块进行并行运算，并渊嚣数据也- 内存匕 - f ( , l l l i 删【川川进州数掘的i d i l ( 7 ：然 一通过旧糕利序结构，减少了许多_ ：必一婴的雨数酬川，消除j 这光i 蚋数刘4 c , l l 】4 返ij 速度的影响：最后，本文还提山了一种新的考虑梯l 业l l jt 字优九铺f i 运础 拙豢算法，在不影响编码质草的前提r ，极人的捉l 胄ij 延z 山馊索得效率，经过 优化所的代码较优化前速度有了2 5 - - ： 倍的提肌 关键词视频编码h 2 6 4 s s e 2运动似 象：。 j 鼍乏。溢 j 、一。 一- p i t h e s t u d y a n d a l g o r i t h ma n a l y s i s o f t h eh 2 6 4v i d e o c o m p r e s s i o n s t a n d a r da n dt h e o p t i m i z a t i o n r e s e a r c ho fh 2 6 4e n c o d e r a b s t r a c t 1 1t h i sp a p er ad i s c a s s i o no l 、f i l ee m e r g i n gv i d e oc o d j i l gs l a l l d a t d h2 6 4 i sc a l1l e do u ta san e wv i d e oc o d e cs t a n d a r d ，h2 6 4a p p l i e s m a n ym o s t l 3 l l s c t e c h n o l o g i e s ，i tp l 。o v i d e sf a i r l yg o o dc o d i n gq u a l i t yw h i l ea c h i e v i n gab e t t e l c o d i n g e f f i c i e n c y a n dm o r es i m p l e s y n t a xe x p r e s s i o n a n d ti s t h em o s te l f i c i c n v i d e o c o d m gs t a n d a r da tp r e s e n t c o m p a r i n gt op li orv i d e oc o d e cs t a n d a t d s h2 6 4s e e i n s 、l i ib eu s e di nn l o t ea p p l i c a t i o na r e a si nt h ef u t u r e m eh 2 6 4 a v cd e s i g nc o v e lsav i d e o c o d i n gl a y er ( v c l ) w h i c he f f i c i e n l l y l e p r e s e n t st h ev i d e oc o n t e n t ，a n dan e t w o r ka b s t r a c t i o nl a y e r ( n a l ) w h i c h 1 0 l - i l l a t st h ev c l r e p r e s e n t a t i o no f t h ev i d e oa n dp r o v i d e sh e a d e ri n f o lm a t i o ni na m a n n e r a p p r o p r i a t ef o rc o n v e y a n c eb yp a r t i c u l a rt r a n s p o r ll a y e r so rs t o r a g em e d i a ， ih t e ea r em a n yn e wt e c h n i c a lu s e dt oh 2 6 4c o d e c ：i n t r ap r e d i c t i o n ，m u l t i - p i c t u l e w , o t i o n c o m p e n s a t e dp r e d i c t i o n ，v a r i a b l eb l o c k s i z e dn l o t i o nc o m p e n s a t i o nw i t h s i n a i lb l o c ks i z e ，q u a r t e l 。s a m p l e a c c l i i a t em o t i o nc o l n p e n s a t i o n ，j n l e g e ld c t ij a n s t o r m ，l o o p - f i l t e l ，c a b a cf o re n t r o p ye n c o d i n g ，e t c 、a l lt h e s ef l e wt e c h n i c a l a n di h e i ra l g o r i t h m sw i l lb ed i s c u s s e di nt h i sp a p e r t h es oc a l l e dr a t e d i s t o r t i o n o p l i m i z a t i o ns e l e c t i o nm e t h o db e i n ga p p l i e di nh 2 6 4f o ls e l e c t i n gt i l eb e s tn l o d e b e t w e e nm a n yc h o i c e si sa l s od i s c u s s e di nt h i sp a p e r 1 1 h ew a yt os p e e du dt h ev i d e oe a c o d e li sa l s oi n t r o d u c e di nt h i sp a p e rt h ek e y “，o e l f o r me n c o d e lo p t i m i z a t i o n i s t o m a k es u i c w h i c hp m to l h ee n c o d e r i s t i l e m o s tt h - n e c o n s t l n l p t l o np a r t t h ew a yt ol o c a l ef i l et i m e 。c o n s u l l l p l i o np a t ti s d i s c u s s e df i r s ta f t e rt h a t t h r e ew a y s t op e lt 0 1 1 1 1t h eo p t i m i z a t i o ni si n t l o d u c e d t l fa mt i l ew a yt ou s em m x s s e 2l e c h n t l h l g yt o 、p e c dt i pt h ec o l cc o l n p u i i n gi l a i l i s i n t l o d t t c e d ；s e c o n d l y d i s c u s s i o no nh o w t or e d u c et h et t l l l l l 2 c e s b l l yc a l i su f3 0 l l l c j u n c t i o n si st a k i n gp l a c e ；a tl a s t ，an o v e ll a s tm o t i o ne s t i m a t i o na l g o l i l h n lb a s e d0 1 1 n ( 1 1 ) sa l g o i i t h l ni sp l o p o s e d ，w h i c hi sp l o v i d e d1 1 0 io n l i | 1 0 l ee f f i c i e n ti h a t ln l a 1 v l ! i l l l o t l sf a s tm o t i o ne s t i m a t i o na l g o r i t h m ，b u ta l s oi l l a i l l t a h i sg o o dp c r t j 1 l1 1 1 a l l c c c o i l l l l 3 1i n gt ot h eb a s i cf sa l g o li t h me x p e l i n l e t l t a li c s t l l t 、h o w st h a ta f t c l h t ：i n ； o p t i m i z e d t h en e w e n c o d e ra c h i e v e sa2 5 3s p e e du p 【v e f t i l eo i i g i n a lo l l f ： k e y w o r d s ：v i d e o c o d i n g h 2 6 4s s e 2m o t i o ne s t i n l a t i o n ：堡：望：堑! 望壑堕堡堡堡兰生堕塞墨垡坠一! ! 生 本文的工作和新意 随着中国宽带建设的深入发展，视频通讯技术正被越来越广泛的应用到各 个领域。但是现有的资料表明，与国外发达的视讯业务相比，我国的视讯业务发 展还处于初级阶段。历史教训告诉我们，视讯产业发展的基础是视频编解码标 准。因为标准提供了为不同生产厂商设计的系统之间交互性服务的途径，从而 能促进视频产品的市场发展。所以，在积极参与国际标准制定的同时我国也应 当把握历史机遇打破国外在视频应用领域的垄断建立我国自主知识产权的视频 编解码标准。 视频编解码标准的基础是核心编解码技术，重点在核心编码技术上。h 2 6 4 作为新一代的视频编解码标准，采用了成熟的技术，在追求更高的编码效率和 简洁的表达形式的同时也提供了非常好的视频质量，是当前最高效的视频压缩 方法。相对于其他视频编解码标准，h 2 6 4 具有更广阔的应用前景。因此，对h 2 6 4 编码器开展研究，是非常有意义的事情。 通过收集整理大量资料，以及对数万行官方参考代码j m 7 5 c 地仔细分析、 研究，本文对h 2 6 4 编码器的主要特性以及重要的算法作了分析和说明。为研 究h 2 6 4 视频编解码技术提供了宝贵的资料，并为今后进一步开展工作打下了 良好的基础。 在研究过程中，发现h 2 6 4 编码质量的提高是以大大增加的运算复杂度为 代价的。测试结果表明，当前官方提供的j m 参考代码校验模型的编码速度极 其缓慢，为此笔者在代码优化方面作了大量开拓性工作。 基于本文提出的优化思路，本文主要采用了三种技术对编码器进行优化： 利用m m x s s e 2 指令加快核心运算模块运算速度；调整程序结构以减少不必要 的调用；算法优化。 实验结果表明，通过对核心运算模块采用m m x 、s s e 2 指令进行优化，各模 块的核内运算速度有2 - - l l 倍的提高：通过合理调整程序结构，大大减少了对 某些函数不必要的调用次数，在很大程度上减少了这类函数所耗用的时间。 工作和新意 算法优化方面，本文提出了一种考虑梯度的十字优先钻石搜索算法，实验 结果表明，该算法对运动剧烈和缓慢的视频序列的运动估计都能达到很好的效 果，平均每个宏块的搜索点数在5 点左右，较同等条件下全搜索算法的1 0 8 9 个点，节约了2 1 7 倍，与现有的优秀快速搜索算法如d s 算法，n c d s 算法相 比，也分别节约了4 倍和2 倍的搜索点数。最后的实验数据说明了与其它优秀 的快速算法相比，在减少平均搜索点数的同时，本算法并未降低编码质量，反 而略有提高。 最后的测试结果表明，经过优化后的编码器的编码速度与优化前相比，速 度有了2 5 3 倍的提高。 塑! 童生堡 一土 i 绪论 1 1 引言 在过去十年左右的时间里，人们在多媒体表示和通信领域取得了惊人的进 展。数字多媒体的压缩和通信算法取得了显著进步，使得诸如视频会议、巨量 多媒体数据存储、数字电视广播、基于网络的流媒体的传输和播放等视频多媒 体应用不断普及与发展；反过来，这些多媒体应用的普及与发展也对数字多媒 体的压缩和通信算法提出了许多新的更高的要求。由联合视频小组( j v t ) 制定 的所谓i s om p e g 4 p a r t1 0o f m p e g 4 或者说删- th 2 6 4 ( 以下镩称为h 2 6 4 标准) 正是顺应这一要求的产物。 1 2h 2 6 4 标准的发展历程 本节首先简要回顾了现有的视频压缩编码体系，然后介绍了h 2 6 4 标准的 发展和制定历程，以便明确它在视频压缩编码体系中的位置。 1 2 ，1 现有视频压缩编码体系 为了使各种应用系统实现兼容，同时推进技术的市场化，各企业联盟、标 准组织和专门化标准委员会就新技术的规范化制定了系列的标准。其中，以 下两个组织在其中起了主导作用： 首先，r r u t 的数字视频编码标准主要由第1 6 研究小组( s g l 6 ) 视频编 码专家组( v c e g ) 专门负责，著名的h 2 6 x 系列就是出自该组织之手。 其次，另一个组织就是缔属于国际标准化组织( i s o ) 的j t c l 活动图像专家 组( m p e g ) ，该组织制定了众所周知的m p e g 系列标准。 这两个组织制定的数字视频编码标准的一个主要区别在于m p e g 系列着眼 h2 6 4 视频编码标准算法研究及优化 罗鸣 于视频存储以视频广播及流媒体领域，而h 2 6 x 系列则侧重于实时视频通信( 会 议电视、可视电话) 。 1 2 2h 2 6 4 标准的制定和发展过程 1 9 9 6 年i t u t 推出了针对甚低比特率的视频压缩标准h 2 6 3 建议1 5 j 。h 2 6 3 最初是针对1 0 - 3 0 k b i t s 范围的甚低比特率应用设计的，但实验结果表明，在任 意速率范围内，h 2 6 3 都取得了惊人的压缩效果，成为当时最成功的数字视频 压缩标准。在比特率低于3 0 k b i t s 的应用中，同样的视频质量前提下，h ，2 6 3 的输出码率仅为h 2 6 1 的一半甚至更少。h 2 6 3 采用了诸如可变尺寸块运动补 偿技术、重叠块运动补偿技术、无限制运动矢量技术和运动矢量预测技术等一 系列新的视频编码技术，为混合编码框架的进一步发展奠定了基础。v c e g 在 h 2 6 3 建议推出之后继续对其进行改进，将各种新技术以附件的形式加入到 h 2 6 3 中，并提供相应的测试模型( t e s tm o d e l ) ，使h 2 6 3 不断得到完善。1 9 9 8 年公布的h 2 6 3 + 5 1 和其后的h 2 6 3 + + 分别是改进后的版本，两者也是h 2 6 4 标 准的前身。 早在1 9 9 5 年，在完成h 2 6 3 标准最初的版本后v c e g 就已经开始着手“短 期( s h o r tt e r m ) ”和“长期( 1 0 n gt e r m ) ”的研究工作。短期的工作结果是产生了 h 2 6 3 + 标准，而长期的工作目的是形成一个在性能方面与已经存在的视频编解 码标准有较大区别的视频编解码标准。在标准的初期制定过程中形成的草案被 称为h 2 6 l 。 2 0 0 1 年7 月m p e g 对a d v a n c e dv i d e oc o d i n g 进行招标。同年底在目睹了 基于h 2 6 l 标准的软件编码后的视频流质量远远优于当时基于m p e g - 4 标准的 软件编码后的视频流质量后，i s o i e c 的m p e g 就与i t u t 的v c e g 联合形 成t 小组来共同研究开发这个标准。 2 0 0 2 年5 月，t 形成委员会草案c d ( c o m m i t t e ed r a f t ) 。 2 0 0 2 年7 月j v t 形成了最终委员会草案f c d ( f i r l a lc o m m i t t e ed r a m 。 2 0 0 2 年1 2 月，t 形成了最终国际标准草案f d i s ( f i n a l d r a f t i n t e r n a t i o n a l s t a n d a r d ) 。 第1 章绪论 2 0 0 3 年3 月，标准的最终草案公布，称作 l 2 6 4 a v c 或m p e g 4v i s u a l p a r t1 0 8 1 从图1 一l 中可以清楚看到h 2 6 4 的“出生过程”。 图1 1 视频编码标准的发展历程 在相同视觉感知质量上h 2 6 4 的编码效率比m p e g - 2 和i v l p e g - 4 提高了 5 0 l 右，并且有更好的网络友好性。它面向从高质量到低比特率，从有线到 无线的各种应用。文献 9 】中给出了h 2 6 4 与之前的视频编码标准的比较。 ：! ： 坚：! 竺塑塑堕塑堑堡丝鲨塑塞丝垡些 一一! ! 生 2h 2 6 4 标准综述 本章简要介绍了h 2 6 4 视频压缩编码标准的框架及其主要特点。 2 。1h 2 6 4 的输入图像类型 h 2 6 4 主要针对采用y u v 4 ：2 ：0 采样的视频序列进行压缩编码。其中视频序列 的一帧可以由连续的数据构成，也可以由两个交织场( 奇场和偶场) 来构成。 这一点和h 2 6 3 等标准是一致的。为了统一起见，无论编码数据的组织方式是连 续的还是由交织的两场构成，都统一称为一帧图像( p i c t u r e ) 。在本文的后面 部分中，除非明确指出，否则都将沿用这一规则。 图2 一l 说明了采用y u v 4 ：2 ：o 采样方式时亮度和色度分量的关系。 oo0 ” oo oo o o g u i d e ： = l o c a t i o no f l u m as a m p l e o = l o c a t i o no f c h r o m as a m p l e 图2 1 4 ：2 ：o 采样的一帧图像中亮度和色度分蠢的排列情况 第2 章h2 6 4 标准综述 2 2h 2 6 4 的分层结构 h 2 6 4 算法在概念上可以分为两层：规定视频编码算法的视频编码层( v c l ： v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示：规定网络传输规范的网络抽象 层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的方式对数据 进行打包和传送。这样，高编码效率和网络友好性的任务分别由v c l 和n a l 来完 成。 网络抽象层把数据封装成为若干网络抽象单元，这些网络抽象单元可以在 现有的大部分网络中以包的形式传送。对于解码端，可以认为这些网络抽象单 元或者正确无误，或者在网络中丢失，或者存在位错误。一般，网络抽象单元 头信息中会设有相应标志来指示是否发生位错误，解码器能够识别发生位错误 的网络抽象单元并决定是对其进行解码还是丢弃之。 封装于网络抽象单元中的数据称为原始字节序列载荷( r a w b y t es e q u e n c e p a y l o a d s ) ，简称为r b s p 。根据r b s p 的不同，网络抽象单元中可以分为不同 的类型。 h 2 6 4 中的r b s p 主要分为两种，一种为视频编码数据，一种为控制数据。 视频编码数据可以以片( 每个片由若干宏块组成) 为单位进行组织：也可以对 片进行数据分割，即将每个片中编码后的数据按类型分为三种，同类型的数据 组织到一起，形成三个数据划分( d a t a p a r t i t i o n ) ，视频编码数据以数据划分 为单位进行组织。控制数据是指视频序列参数、图像参数等信息。 h 2 6 4 编码器分层结构如图2 2 所示： 图2 - 2 h2 6 4 编码器分层结构 虽然h 2 6 4 的视频编码层采取的编码框架仍然是传统的混合编码框架，但 h 2 6 4 视频编码标准算法研究驶优化 罗呜 是通过引入多种新技术，进而通过他们所产生的细微的效果积累，结果导致了 h 2 6 4 性能的极大提高。这些新技术包括：多种新的帧内预测方法、可变尺寸块 的运动补偿技术、多参考帧的运动补偿技术、4 4 整数d c t 变换技术、基于上 下文的二进制算术编码技术以及新的环路滤波技术f 9 】。 2 3h 2 6 4 的框架结构说明 下图给出了h 2 6 4 编码器的主要框架结构1 1 】： 第2 章h 2 6 4 标准综述 7 图2 3h 2 6 4 编码框架及其新特性示意 ：! ： 坚：! 坚垫塑塑堡堡堡竺鲨型塞丝垡些! ! 生 虽然h 2 6 4 仍然将宏块作为处理的基本单位，但是由于h 2 6 4 的变换编码是 基于4 4 的块进行的，因此一个宏块( m a c r o b l o c k ) 将包含1 6 个亮度块和8 个色 度块。 图2 - - 4 一个1 6 x 1 6 的宏块中1 6 个4 4 子块的分布图 与h 2 6 3 ，m p e g 使用i 一、p 一、bp i c t u r e 来区分不同的编码方式相对应， h 2 6 4 提出了i 一、p 一、bs l i c e 的概念。所谓“s l i c e ”即“片”，是一个类似于 h 2 6 3 中图像组( g o pg r o u po f p i c t u r e ) 的概念。一个s l i c e 是由一系列按光栅扫 描顺序排列的宏块构成的，它可以包含一帧图像的全部或部分( 在f m o 模式下) 宏块数据。 所谓i s l i c e 指的是该s l i c e 中所有的宏块数据的编码不依赖于其它图像的数 据，而仅仅依赖于它自己本身。它采用的编码方式是帧内编码( i n t r a c o d e ) 方 式。 h 2 6 4 里有两种帧内编码模式：i n t r a l 6 x1 6 和i n t r a 4 x 4 。h 2 6 4 之前的视频编 码标准在进行帧内编码时，仅有经正交变换后的d c t 变换系数可以利用在空间 上与当前编码块相邻的已编码块的结果来预测。在h 2 6 4 中，这种利用空间相邻 数据的相关性来进一步压缩数据的思想得到了进一步的发展：首先在空间域上 利用相邻的编码后的数据( 已编码重建) 对当前块数据进行预测，然后再计算 预测误差最后再进入变换部分。对于使用i n t r a 4 4 的亮度块来说，一共有9 种可 选的帧内预测模式；对于使用i n t r a l 6 1 6 的亮度块来说，一共有4 种可选的帧内 预测模式；无论亮度块采用哪种预测模式，对于8 8 的色度块来说，采用4 种可 选的帧内预测模式中的一种。由于每个块都要传递相应的编码模式信息，为了 减少数据量，对i n t r a 模式的信息也通过预测编码的方式加以传输。 所谓p s l i c e 指的是该s l i c e 中所有的宏块数据的编码可以利用其它已编码图 像的信息。这罩p 的意思是“p r e d i c t i v e ”即“预测”。可见，p s l i c e 的编 码主要在帧问进行，即帧间( i n t e r ) 编码。h 2 6 4 仍然继承了混合编码框架的运 第2 章h2 6 4 标准综述 动补偿思想，通过基于分块的运动补偿算法来利用时间冗余信息压缩数据。 l 2 6 4 的帧间编码有几个新的特性： ( 1 ) 有7 种形状的运动补偿块可供选用( i n t e r 一1 6 1 6 ，i n t e r 一1 6 8 ， i n t e r 一8 16 。i n t e r - 8 8i n t e r 一8 4 ，i n t e r 一4 8 ，i n t e r 一4 4 ) 。 ( 2 ) 可以采用多参考帧进行运动估计。 ( 3 ) 1 4 象素精度的运动估计。 ( 4 ) 运动矢量可以指向图像之外。 b - - s l i c e 与p s l i c e 类似，也主要采用帧间预测技术进行数据压缩。这里r b ” 的意思是“b i - - p r e d i c f i v e ”即双向预测。可见，b - - s l i c e 的预测可以利用时间 轴上先于和后于当前编码帧的图像。在h 2 6 4 中，对b - - s l i c e 的功能进行了扩 展，通过加权，b 帧也可以作为其它图像的参考帧。由于h 2 6 4 帧间编码可以 采用多参考帧，因而b - - s l i c e 需要维护前向和后向两个参考帧列表l i s t 0 和l i s t l ， 与之相对应，有4 种预测模式可供选择：l i s t 0 、l i s t l ，b i - - p r e d i c t i v e ，d i r e c t p r e d i c t i v e 。b - - s l i c e 的运动补偿块形状的选择与p s l i c e 类似，但是增加了一 种采用d i r e c tp r e d i c t i v e 预测模式的d i r e c t 模式。基于d i r e c t 模式的预测不 传递任何运动矢量信息。 另外，h 2 6 4 还提出了两种新的s l i c e 类型：s p ( s w i t c h i n g p ) 和s is w i t c h i n g i ) 。 提供这两种s l i c e 类型的目的是为了有效的在不同码率的码流中切换，以便在较恶劣的 网络环境中传输数据，同时也提供了随机访问视频序列的手段。 为了更有效的在恶劣的网络环境中传输数据，h 2 6 4 提供了一种名为松散宏块排 列( f l e x i b l e m a c r o b l o c k o r d e r i n gf m o ) 的特性。该特性提供了一种将一帧图像中的 宏块分配到多个s l i c e 中的模式，每个s l i c e 都是一个独立的编码单位，无论是帧间还 是帧内编码都不能越界。因此，如果在传输过程中出现数据丢失的情况，可以利用已 接收到的宏块数据来对丢失的宏块数据进行恢复。这是由于空间上相邻的宏块也许并 不属于同一个s l i c e 的缘故。 h 2 6 4 仍然采用对残差信号进行正交变换再量化最后进行熵编码的模式来 压缩空间冗余信息。使用了类似于4 x 4 离散余弦变换d c t ( d i s c r e t ec o s i n e t r a n s f o r m ) 的整数变换而不是象m p e g 2 和m p e g 4 那样采用8 x 8d c t 的浮点 数变换。h 2 6 4 使用的以整数为基础的空间变换具有效果好、计算快( 只需加法 ：! ! ：! ! 笙鲨塑塑塑堡堡薹盗竺塑丝垡垡! ：生 与移位运算) 、反变换过程中不会出现失配问题等优点。i n 时，由于块大小由8 x8 减小为4 4 ，能够减小块效应和振铃效应。不同之处在于h 2 6 4 的正交变 换采用了一种新的4 4 的整数d c t 变换。该变换的正、反变换都是进行的整 数运算，因而不会像采用d c t 变换的标准一样引入误差，同时采用整数运算的 速度比采用浮点数运算速度有较大的提高。在整数d c t 变换后，h 2 6 4 中进一 步对变换结果的d c 系数进行哈达码变换，以便充分压缩空间冗余信息。 量化方面，基于量化参数q 有5 2 种相应的量化步长可供选择。通过设计量 化表，使得q 增加1 对应着量化步长约1 2 5 的增长。量化表的设计与正交变 换相结合，可以保证在1 6 位计算系统中计算结果有最大的精度而不会溢出。量 化后的变化技术根据编码图像的类型不同( 帧图像或场图像) 而采用不同的系 数扫描方式以便使非零系数迸一步集中以提高熵编码的效率。 为了尽量消除块变换造成的块效应现象，h ，2 6 4 采用了一个自适应的环路 滤波器( l o o p - - f i l t e r ) 。这个滤波器根据块边缘信息的不同采用不同的滤波权 重，因而可以在有效消除块效应的同时而不会影响图像的锐度；另外，环路滤 波是作为编码器的部分直接对编码器端的参考图像进行的，与仅仅作为后处 理的解码器端的去方块滤波相比，环路滤波在改善主观质量的同时还可以有效 地提高编码器的编码效率m “。 熵编码方面，h 2 6 4 中的熵编码有两种类型： ( 1 ) 采用基于指数型g o l o m b 码的一致变字长编码( u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ) 来对除了变换系数之外的所有语法流元素进行编码。由 于指数型g o l o m b 码的编码具有简洁、规范的特点，编码可以实时完成 而无需浪费空间来存储映射码表。这种设计避免了对每种语法流元素定 义不同的变长编码表。扫描变换系数采用更灵活的基于上下文的变长编 码( c a v l c ) 。这种编码机制利用了在以往标准种出现过的游程编码( r u n l e n g t h ) 思想。与以往仅仅使用一张从概率分布统计模型导出的码表 不同，h 2 6 4 定义了多个根据语法流元素上下文统计特性而设计的变长码 表( v l ct a b l e ) ，编码时根据待编码数据的上下文来在不同变长码表之 问切换，实验证明，这种编码方式的压缩效率要比之前的编码方式的压 缩效率要高。 第2 章h 2 6 4 标准综述 ( 2 ) h 2 6 4 还提供了一种基于上下文的自适应二进制算术编码( c a b a c ) ，其 编码性能比u v l c 好，但复杂度大大增加。在以前的标准中，控制信息、 运动信息和量化后的变换系数多采用h u f f u m a n 编码，使用静态的概率估 计码表，这样就忽略了不同视频流在统计特性上的区别，也忽略了待编 码符号之间的相关性。c a b a c 通过建立上下文模型并自适应地更新待编 码符号的统计特性解决了这两个问题“”，另外，由于采用了算术编码， 每个符号可以用精确到小数的比特数来表示，能够更有效地逼近符号的 熵。 最后，根据应用范围不同，h 2 6 4 可以分为三档： 基本层次( b a s e l i n ep r o f i l e ) ：该层次使用了h 2 6 4 的除了b s l i c e s ，c a b a c 以及交织编码模式外所有的特性。该层次主要使用于低时延的实时应用场合。 主要层次( m a i np r o f i l e ) ：包含b a s e l i n ep r o f i l e 的所有特性，并包括了b - - s l i c e s ，c a b a c 以及交织编码模式。它主要针对对时延要求不高，但压缩率和 质量要求较高的场合。 扩展层次( p r o f i l ex ) ：支持所有b a s e l i n ep r o f i l e 的特性，但不支持c a b a c 以及基于宏块的自适应帧场编码。该层次主要针对的是各种网络视频流传输方 面的应用。 2 4 本文所涉及的工作及新意 h2 6 4 作为新一代的视频编解码标准，采用了成熟的技术，在追求更高的编 码效率和简洁的表达形式的同时也提供了非常好的视频质量，是当前最高效的 视频压缩方法。相对于其他视频编解码标准，h 2 6 4 具有更广阔的应用前景。 随着中国宽带建设的深入发展，视频通讯技术正被越来越广泛的应用到各 个领域。但是现有的资料表明与国外发达的视讯业务相比我国的视讯业务发展 还处于初级阶段。历史教训告诉我们，视讯产业发展的基础是视频编解码标准。 因为标准提供了为不同生产厂商设计的系统之间交互性服务的途径，从而能促 进视频产品的市场发展。所以，在积极参与国际标准制定的同时我国也应当把 握历史机遇打破国外在视频应用领域的垄断，建立我国自主知识产权的视频编 h2 6 4 视频编码标准算法研究发优化 罗鸣 解码标准。 视频编解码标准的基础是核心编解码技术，重点在核心编码技术上。因此， 对h 2 6 4 编码器开展研究，是非常有意义的事情。 通过收集整理大量资料，以及对官方参考代码j m 7 5 c 地仔细分析、研究， 本文对h 2 6 4 编码器的主要特性以及重要的算法作了分析和说明。同时，本文还 提出了利用i n t e ls s e 2 技术对h 2 6 4 编码器进行优化的途径和方法，并提出了 种新的运动搜索算法，在对编码质量影响很小的前提下大大减少了运动搜索在 编码中所占的比例，使得最终经过优化的编码器在对编码质量没有明显影响的 前提下编码速度提高了2 5 3 倍。 本文的组织如下：第3 章分析了帧内编码的流程和算法；第4 章重点对帧间 预测编码进行了分析，并介绍了本文提出的考虑梯度的十字优先钻石运动搜索 算法。第5 章给出了变换编码以及量化过程的分析和说明，同时对消除块效应的 环路滤波器也作了简要说明。第6 章介绍了熵编码。第7 章特别介绍了 l 2 5 4 中用 于编码模式控制的率失真最优化控制( p d o p t ) 算法，并简要介绍了码率控制 的思想。最后，第8 章对本文中采用的优化技术和关键过程作了详细说明，并给 出测试结果。 第3 章帧内编码 3 帧内编码 帧内编码是传统混合编码框架的重要组成部分。如果对一帧图像进行编码 时没有利用任何其他帧图像的信息，对该图像的编码就称之为帧内编码，相应 的，编码结果被称为帧内编码图像( i n t r ap i c t u r e ) 。一般情况下，视频序列的初 始帧都采用帧内编码形式，同时，采用帧间编码模式时，对某些宏块也可采用 帧内编码的形式。 帧内编码主要是通过消除图像的空间冗余信息来实现对图像的压缩。传统 的帧内编码消除空间冗余信息的手段是采用d c t 变换技术对原始数据进行变 换、并对d c t 交换量化后的系数进行变长编码( v l c ) 以及进行熵编码。在 h 2 6 4 中，利用了一帧图像内部在空间上的相关性，引入了帧内预测的方式来 利用相邻的编码后的数据( 已编码重建) 对当前块数据进行预测，然后再对预 测误差进行正交变换。h 2 6 4 中对一个宏块进行帧间编码的流程如图3 1 所示： 图3 1h 2 6 4 中的帧内编码流程图 。 瓣鬻 nir 唧j赢黼等 一 。 瓣翌 一 擎王未鞫 、 ， 妊嚣!恻雌一 巾、等，缸r犁 ：! ! ： 坚：! 竺鲨塑塑堡堡堡茎鲨! ! 窒墨垡些 一一! ! 兰 注意：上图只是h 2 6 4 中帧内编码的示意图，事实上，率失真控制不光用于选 择预测模式，同时还决定了i n t r a 4 x 4 或i n t r a l l 6 x1 6 模式的选择，因此在实际 实现时，流程略有调整。 由图3 一l 可知，对一个1 6 x1 6 的宏块进行帧间编码时，对于亮度块来说， 有两组预测模式：i n t r a 4 x 4 模式下有9 种预测方式；i n t r a l 6 x1 6 模式下有4 种 预测方式：对于8 8 的色度块来说，也有与i n t r a l 6 x1 6 类似的4 种预测模式。 此外，预测模式的信息也需要传送到解码端，不同的模式传递方式有所差 导i i 。 3 1 亮度信号4 4 块的帧内预测 表3 1 说明了i n t r a 4 x 4 的9 种预测模式： i n t r a 4 x 4 p r e d m o d e 1 u m a 4 x 4 b i k l d x 】 n a m eo f n t r a 4 x 4 p r e d m o d e 【l u m m x 4 b k l d x 】 o i n t r a 4 x 4 v e r t i c a l ( p r e d i c t i o nm o d e ) 1 i n t r a 一4 x 4 一h o r i z o n t a l ( p r e d i c t i o nm o d e ) 2 | n t r a 一4 x 4 c ( p r e d i c t i o nm o d e ) 3 i n t r a _ 4 x 4 _ d i a g o n a l d o w n _ l e f t ( p r e d i c t i o nm o d e ) 4 i n t r a _ 4 x 4 一d i a g o n a l _ d o w n r i g h t ( p r e d i c t i o nm o d e ) 5 i n t r a 一4 x 4 一v e r t i c a l r i g h t ( p r e d i c t i o nm o d e ) 6 i n t r a 一4 x 4h o r i z o n t a l _ d o w n ( p r e d i c t i o nm o d e ) 7 i n t r a 一4 x 4 ) r t i c a ll e f t ( p r e d i c t i o nm o d e ) 8 i n t r a4 x 4 h o r i z o n t a l u p ( p r e d i c t i o nm o d e ) 表3 1t n t r a 4 4 的预测方式 上表中的数字0 ，1 ，3 ，4 ，5 ，6 ，7 ，8 对应着图3 2 中的8 个方向。 第3 章帧内编码 图3 2i n t r a 4 x 4 各预测模式的预测方向。 除了0 ( 垂直) 和l ( 水平) 两种预测方式外，其余6 种( 3 8 ) 预测方式 对应着6 个梯度方向。事实上，通过考虑按空间方向来划分预测模式，预测结 果能够更符合块与块之间的空间相关性。关于块与块之间在空间上的相关性分 析，可以进一步参见文献 1 2 1 。 图3 3 说明了待预测块与空间上相邻块的关系： 图3 - 3 预测块与重建值之间的关系 图3 3 中，a q 代表了在空间上与当前块相邻的块的重建值的象素值： a p 代表了一个待预测的4 x 4 块的象素值。 下面第3 1 1 3 1 3 小节介绍了集中典型预测模式的计算方式，其余模式 的计算可以进一步参考文献 8 】。 1 6 。 h 2 6 4 视频编玛标准算法研究及优化罗呜 3 1 1 预测模式o & l 垂直和水平预测 ( a ) 垂直预测( b ) 水平预测 图3 _ 4 垂直预测与水平预测 垂直预测( i n 垃a4 x 4v e r t i c a l ) ： i f ( a 、b 、c 、d 均有效) t h e n a 。e 2 i 2 m = a b = f = j = n = b c 2 9 2 k 2 0 2 c d 2 h = 1 = p = d 水平预测( i n t r a 一4 x 4 一h o r i z o n t a l ) i f ( i 、j 、k 、l 均有效) t h e na 2b 2c 2 d = i e = f = g = h = j i fk1 2 k m = 1 1 = o = p