（计算机软件与理论专业论文）h264快速运动估计算法的优化.pdf

摘要 h 2 6 4 是一种最新的编码性能优越但计算复杂度较高的视频编码标准其中基于 块的运动估计是运算量最大的模块。运动估计过程包括整像素和分数像素搜索两个阶 段。h 2 6 4 采纳t u m h e x a g o n 8 算法作为整像素的快速运动估计算法，同时采用c b f p s 算法作为分数像素的快速运动估计算法。u m h e x a g o n s 算法和c b f p s 算法大大降低了 运动估计的计算复杂度，同时能保持较好的率失真性能，但还需要作进一步优化。 针对u i v l h e x a g o n s 算法的不足，本文提出了一种改进的整像素快速运动估计增强 e u m h e x a g o n s 算法。增强算法通过增加提前终止阀值3 ( e tt h d 3 ) ，胡整因子阀 值检测和提前终止阀值4 ，使部分搜索点的搜索过程能提前终止。通过动态改变搜索 模板的大小和方向，动态调整搜索策略，大大减少了运动估计整像素搜索的点数。 同时，为了减少分数像素运动估计的计算复杂度，提出了改进的分数像素快速运 动估计增强预测c b f p s 算法。通过增加预测准确性更高的分数像素起始搜索点，并 且引入预测分数像素运动矢量和上一级分数像素运动矢量方向的1 2 像素的起始搜索 点，大大减少了分数像素运动估计的搜索点数。 模拟实验表明，在保持大致一样的率失真性能前提下，e u m h e x a g o n s 算法整像 素搜索点数相对于u m h e x a g o n s 算法减少了1 8 ，0 3 到3 9 4 0 ，增强预测c b f p s 算 法分数像素搜索点数相对于c b f p s 算法减少了3 6 1 1 到7 1 5 8 。 关键词：h 2 6 4 整像素运动估计分数像素运动估计u m h e x a g o n s 算法c b f p s 算法 a b s t r a c t h 2 6 4i st h en e w e s tv i d e oc o d i n gs t a n d a r dw h i c hh a sg o o dc o m p r e s s i o np e r f o n m n c e b u t e x p e n s i v ec o m p u t a t i o r t b l o c kb a s e dm o t i o ne s t i m a t i o n ( m e ) i st h em o s t t i m e - c o n s u m i n gc o m p o n e n ti na l lh 2 6 4v i d e oe n c o d e r t h em ep r o c e s sc o n s i s t so ft w o s t a g e s ：i n t e g e rp i x e ls e a r c ha n df r a c t i o n a lp i x e ls e a r c k h 2 6 4s t a n d a r dh a sa d o p t e d u n s y m m e t r i c a lc r o s sm u l t ih e x a g o ng r i ds e a r c h ( u m h e x a g o n s ) a l g o r i t h mf o ri n t e g e rp e l m o t i o ne s t i m a t i o na n dc e n t e rb i a s e df r a c t i o n a lp e ls e a r c h ( c b f p s ) a l g o r i t h mf o r f r a c t i o n a lp e lm o t i o ne s t i m a t i o n u m h e x a g o n sa n dc b f p sa l g o r i t h m ss h o wv e r yg o o d c a p a b i l i t y i nk e e p i n gt h er a t ed i s t o r t i o np e r f o r m a n c e , a sw e l la sa c h i e v eag r e a t c o m p u t a t i o nr e d u c t i o n b u tt h ea l g o r i t h m sn e e dm o r eo p t i m i z e d i nt h i sp a p e r , w ep r o p o s ea ni m p r o v e de n h a n c e du m h e x a g o n s ( e u m h e x a g o n s ) a l g o r i t h mt os o l v et h ei n s u f f i c i e n c yo f t h eo r i g m a lu m h e x a g o n sa l g o r i t h m t h ee n h a n c e d a l g o r i t h mi n t r o d u c e sa ne a r l yt e r m i n a t i o nt h r e s h o l d3 ( e t _ t h d 3 ) ，a ne a r l yt e r m i n a t i o n t h r e s h o l d4 ( e t _ t h d 4 ) a n dan e wm o d u l a t e df a c t o r 仍t h e n t h es e a r c hp r o c e s so fs o m e s e a r c hp o i n t si st e r m i n a t e de a r l i e r m o r e o v e r , t h ei n t e g e rm o t i o ns e a r c hp o i n t sa r e d e c r e a s e dal o tb yc h a n g i n gt h er a n g ea n dd i r e c t i o no f s e a r c hp a t t e r n sd y n a m i c a l l y m e a n w h i l e ，t or e d u c et h ec o m p l e x i t yo ff r a c t i o n a lp e lm e ，w ep r o p o s ea ne n h a n c e d p r e d i c t i o n - b a s e df r a c t i o n a lp e lm ea l g o r i t h m w eu t i l i z em o r ea c c u r a t ef r a c t i o n a lp e i m o t i o nv e c t o rp r e d i c t i o n sa n di n t r o d u c en e wi 2p i x e lp r e d i c t i v es t a r t i n gs e a r c hp o i n t si n t h ed i r e c t i o no fp r e d i c t i v ef r a c t i o n a lp e lm o t i o nv e c t o ra n dt h eb e s tf r a c t i o n a lp e lm o t i o n v e c t o ro f u pl a y e rb b c kt oa c h i e v eb e t t e rc o m p u t a t i o n r e d u c t i o n s i m u l a t i o nr e s u l t ss h o wt h a tt h ee n h a n c e de u m h e x a g o n sa l g o r h h r nc a nr e d u c em o r e t h a n18 0 3 ( u pt o3 9 4 0 哆6 ) o fs e a r c hp o i n t sw i t hm i n i m a ll o s si nb i t r a t ea n dr e c o n s t r u c t e d q u a l i t yc o m p a r e dw i t ht h o s eo ft h eo r i g i n a lu m h e x a g o n sa l g o r i t i m tc o m p a r e dt ot h e c b f p s s a b - p e lm ea l g o r i t h mp r o p o s e di nh 2 6 4 ，t h ep r o p o s e df r a c t i o n a lp e lm em e t h o d c a nr e d u c e m o r e t h a n 3 6 1 1 ( u p t o7 1 5 8 1 0 f f r a c t i o n a l p i x e ls e a r c h p o i n t sr e s p e c t i v e l y , w i t han e g l i g i b l ed e g r a d a t i o ni nq u a l i t y k e yw o r d s ：h 2 6 4 ，i n t e g r a lp i x e lm o t i o ne s t i m a t i o n , f r a c t i o n a lp i x e lm o t i o ne s t i m a t i o n ， u m h e x a g o n sa l g o r i t h m ，c b f p sa l g o r i t h m 1 1 课题背景与研究目标 1 1 1 课题背景 第1 章概论 随着计算机网络、无线通信、计算机硬件技术、多媒体技术的飞速发展，基 于视频的多媒体应用得到拓展，视频会议系统，3 g 移动通信的可视通信，基于 数字视频的监控系统等都被广泛应用起来。同时，多媒体通信已经成为下一代网 络和3 g 无线通信网络中的焦点。进入信息时代之后，信息的传递成为社会生活 中至关重要的一部分，信息传递的最终可以归结为图像、语音和数据三种。以前， 信息传递主要以语音和数据为主，随着网络通信技术和视频编码技术的发展，在 宽带的网络环境下，图像信息的传递即图像通信技术在电子信息领域占据着 重要的地位。因此，数字视频编码技术的发展显得越来越重要。 随着数字视频编码技术的不断发展和成熟，出现了大量视频编码应用方案。 为了使各种应用系统实现兼容，列时推进技术的市场化，各企业联盟、标准组织 和专门化标准委员会就新技术的规范化制定了一系列的标准。国际电信联盟 ( i t u ) 和i s o i e c 的活动图像专家组( m p e g ) 是对数字视频编码标准贡献较大 的两个组织，多年来它们一直致力于制订各种新的建议和标准，并对已有的标准 进行改进。 h 2 6 4 是i t ut 的视频编码专家组( v c e g ) 和i s o i e c 的运动图像编码组 ( m p e g ) 联合制定的新的视频编码标准，与以前的视频编码标准不同，h 2 6 4 不 仅含有一个规定视频编码算法的视频编码层( v c l ) ，还包括一个规定网络传输 规范的网络抽象层( n a l ) 1 5 j 。h 2 6 4 的视频编码层采取的编码框架仍然是传统 的混合编码框架，h 2 6 4 编码效；簪的提高也不是其中某一种新的编码技术所产生 的决定性的结果，而是多种新技术所产生的细微的效果积累面致。这些新技术包 括1 5 ：多种新的帧内预测方法、可变尺寸块的运动补偿技术、多参考帧的运动补 偿技术、4 x 4 整数变换技术、基于上下文的二进制算术编码技术以及新的坏路 滤波技术。h 2 6 4 提供比h 2 6 3 和m p e g 4 更高的压缩性能，使图像的数据量减少 3 0 - 5 0 t 。 h 2 6 4 目的是为了在低比特率下获得很好的图像压缩效果并能适应不同的网 络环境。与先前的标准相比较，h 2 6 4 的应用前景更为广泛，它允许在因特网中 以l m 酾，s 的速率传送电视质量的视频信号，它可以使8 m h z 的模拟带宽中容 纳两倍于m p e g - 2 编码的数字电视频道，它使无线视频通信成为可能，它对传 统的数字媒体存储技术也将产生巨大的影响。 但是，h 2 6 4 获得优越性能的代价是计算复杂度的增加，因此，近年来，展 开了大量的h 2 6 4 算法优化的研究。 1 1 2 研究目标 h 2 6 4 是目前为止最新和最先进的视频编码标准，但是，标准本身也是比 较复杂的，据估计，其编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度 大约相当于h 2 6 3 的2 倍【1 5 l 。本文的目标就是通过优化算法，尽量减低h 2 6 4 视频编码运动估计的复杂度。 h 2 6 4 视频编码中，基于块的运动估计是运算量最大的模块。实验表明，运 动估计在单参考帧的情况下耗费整个编码过程6 0 的运算量，在5 个参考帧的情 况下耗费整个编码过程8 0 的运算量i ”】。因此，优化运动估计算法对提高h 2 6 4 编码速度起着关键作用。本文选择对h 2 6 4 快速运动估计算法进行研究和优化， 以提高h 2 6 4 视频编码的速度。其中，运动估计包括整像素和分数像素的运动估 计。 以此为目标，需要做的工作如下： 收集具有代表性的先进的h 2 6 4 视频编码技术的论文，特别是有关快速运动 估计算法研究的资料； 跟踪和掌握h 2 6 4 先进运动估计算法的设计方法和技术特点； 分析它们的优缺点和性能特点； 在此基础上提出改进的整像素和分数像素快速运动估计算法。 1 2 面临的挑战 从视频编码技术的发展来看，在实时性上实现了实时采集、实时编码、实时 显示，实时传输：在硬件处理器结构上实现了多结构和可重结构；在图像编码实 现系统结构上实现了以计算机c p u 为中心和以大规模集成系统为中心的系统结 构：在算法上实现了多领域、多层次、多创新的大发展。 视频编码技术的成果应用已遍御多个领域：数字电视、视频会议、可视电话， 数字视频监控存储等。现在的实时图像编码技术，已经取得了理论上、应用上的 突出成果，并步入了大发展时期，但也面临着许多挑战，诸如处理速度问题，价 格成本问题等，归纳起来，这些挑战集中在以下3 个方面： 先进编码理论在实际系统中的应用； 视频编码标准的纯软件或基于d s p ，v l s i 硬件实时编码实现； 处理速度的高速化，实现多通道并行处理； 要解决这些问题，除了要了解相关的专业知识和实际实现应用环境以外，还 需要有很强的综合分析能力，因此包含有综合技术集成的视频编码标准软硬件实 现研究是我们面临的新课题。 2 1 3 本文工作及论文结构 1 3 1 本文工作 本文首先研究了h 2 6 4 视频标准的系统组织结构和基本原理，分析了多种典 型快速运动估计算法和h 2 6 4 标准采纳的u m h e x a g o n s 算法；在分数像素运动 估计方面，分析了分级的分数像素全搜索算法和偏向中心的分数像素搜索 ( c b f p s ) 算法。总结了上述算法的特点及存在的不足，在此基础上提出了改进 的整像素和分数像素的快速运动估计算法，并在论文中实现了改进算法，给出了 算法的结构流程，完成了实验结果分析。本文选取了多种视频测试序列，采用不 同的输入参数，对静态，一般运动场景，和运动变化较大的视频序列进行了测试， 并对得到的实验数据进行了分析，证实了改进算法较原有算法在搜索速度方面有 较大的提高，而编码性能基本保持不变。 本文的主要贡献有： 1 改进的整像素快速运动估计增强e u m h e x a g o n s 算法的提出和实现 在h 2 6 4j m l l 0 参考软件的基础上，实现了改进的整像素快速运动估计增强 e u m h e x a g o n s 算法。增强算法在u m h e x a g o n s 算法的基础上，通过增加提前终 止阀值3 ( e tt h d 3 ) ，芦，调整因子阀值检测和提前终止阀值4 ，使部分搜索点 提前退出搜索过程。通过动态改变u m h e x a g o n s 算法步骤2 和3 一l 模板的搜索 范围，把u m h e x a g o n s 算法步骤3 2 的1 6 个点的六边形模板改为带方向性的8 个点的六边形模板，进入步骤4 前增加局部最优点判断，降低了运动估计中的计 算复杂度。 2 改进的分数像素快速运动估计增强预测c b f p s 算法的提出和实现 在h 2 6 4j m1 1 0 参考软件的基础上，实现了改进的分数像素快速运动估计增 强预测c b f p s 算法。通过增加预测准确性更高的分数像素起始搜索点，并且引 入预测分数像素运动矢量和上一级分数像素运动矢量方向的i 2 像素的起始搜索 点，在保持大致相同的编码性能的前提下，大大减少了分数像素运动估计的搜索 点数，提高了编码的速度。 1 3 2 论文结构 本论文共分六章，各章的内容安排如下： 第l 章概述，介绍本文的课题背景与研究目标、面临的挑战和本文的工作、 贡献和论文结构。本文研究内容主要涉及h 2 6 4 快速运动估计算法的研究和优 化，后续部分的结构如下： 第2 章首先讨论了h 2 6 4 系统组织结构和基本原理。介绍了整数变换、量化 处理、帧内预测编码、帧问预测编码、熵编码和方块滤波等关键技术，然后重点 分析了h 2 “帧间预测编码。 第3 章分析了h 2 6 4 标准采纳的u m h e x a g o n s 算法，针对u m h e x a g o n s 算 法存在的不足，提出了改进的基于块的整像素快速运动估计增强e u m h e x a g o n s 算法，并对新算法进行了实验认证。 第4 章分析了分级的分数像素全搜索算法和偏向中心的分数像素搜索 ( c b f p s ) 算法，在此基础上提出了改进的增强预测c b f p s 算法，有效的提高 了编码的速度。并通过对实验结果的分析，验证了新算法的可行性和有效性。 第5 章是全文总结，列举本文的研究重点与创新点，并在此基础上展望h 2 6 4 编码算法的进一步研究和优化。 4 第2 章h 2 6 4 视频编码标准综述 2 1h 2 6 4 视频编码标准简介 目前主要有两个制定视频编码标准的国际组织：l t u t 和i s 伽e c 。i t u t 的 标准称为建议，以字母排序，视频会议电视编码的标准在h 的子集瞿，如 h 2 6 1 ，h 2 6 2 和h 2 6 3 。i s 伽e c 的标准按序号排列，如m p e g - i 相对应的是11 1 7 2 ， m p e g 2 相对应的是1 3 8 1 8 ，m p e g 4 相对应的是1 4 4 9 6 等。i t u t 的建议标准主要 用于实时视频通信，如视频电视会议、可视电话等。而m p e g 标准主要用于广播 电视、d v d 和视频流媒体。大多数情况下，这两个标准组织独立制定不同的标 准，但在许多方面也有共同之处，例如h 2 6 2 标准和m p e g - 2 的视频编码标准基本 上就是同一个标准。这些视频压缩标准在当i i i 多媒体通信领域内得到了广泛的应 用，如h 2 6 1 在i s d n 视频会议，h 2 6 3 在可视电话、视频会议，m p e g 1 在 v c d ，m e p g 2 在d v d 中的应用等。其中m p e g - 2 是当前公认最成功的视频压 缩标准，虽已历时十余年，但仍在d v d 、数字卫星广播、数字机顶盒等领域得 到广泛应用。 自1 9 9 7 年以来，i t u t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 一直致力于研究一种新的视频编码标准h 2 6 l l “。h 2 6 l 是一种高效的压缩 方法，从核心技术特征角度上讲，与h 2 6 3v 2 ( h 2 6 3 + ) 1 2j 或m p e g 4s i m p l ep r o f i l e 标准1 3j 相比，h 2 6 l 具有如下特性：在使用多数编码方法类似的最佳编码器时， 可节省超过l o 的码率；对包括低比特率在内的所有比特率，h 2 6 l 都能持 续提供较高的视频质量和基于不同的约束条件来完成不同性质的任务。其中低延 时模式包括实时通信的视频会议等，没有延时限制的应用包括视频存储和以服务 器为基础的视频流式应用等：强大的容错处理能力，h 2 6 l 不仅提供往包传 输网中处理包丢失所需的工具，而且提供在易产生误码的无线网中处理比特误码 的工具：网络友好，它将网络层和编码层从概念上进行分离，便于对数据进 行打包处理，实现所编码的视频流在当前所有的协议和复合结构中能够无缝播放 并容易组合。 2 0 0 1 年1 2 月v c e g 和l s o 的运动图像编码组m p e g ( m o v i n gp i c t u r e e n c o d e rg r o u p ) 合作组成了联合视频小组( t ，j o i n tv i d e ot e a m ) ，决定在当前 的h 2 6 l 编码草案基础上，联合制定一种新的视频标准t ( i o i n tv i d e ot e a m ) 标准( 也可以写为j v t h 2 6 l ) i ”，i t u t 组织将这个标准称为h 2 6 4 ，1 s o 组织 称其为m p e g 4p a r t l 0a d v a n c e dv i d e oc o d i n g ( a r c ) 。下图2 1 f i 概括了i t u t 和i s o m p e g 标准的研究发展阶段和不同标准之间的关系： f r j r a 偿e g 玎u 霄 刍砰e g 黔嚣鲫9 29 49 6鳃 0 0 0 2甜 图2 - 1 i t u - t 和i s o - m p e g 标准发展史 h 2 6 4 是在h 2 6 3 和h 2 6 3 + 的基础上发展而来的，基本编码框架仍然采用 基于块的运动补偿和变换编码的混合编码架构。继承了许多优秀的编码技术的同 时又采用了很多全新的编码技术1 5 l ：帧内预测、可变大小的图像分块、多预测参 考帧、1 4 和i 8 像素精度的运动估计、残差图像的整数变换编码、基于上下文 的自适应二值算术编码( c a b a c ) 等，因此，其编码效率得到了大大提高。 2 2h 2 6 4 的系统组织结构 1 t 2 6 4 a v c 的设计方案包含两个层次1 5 j ，视频编码层( v c l ， v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 。视 频编码层主要致力于有效地表示视频内容，网络抽象层格式化v c l 视频表示，提 供头部信息，适合多种传输和存储媒体。 v c l 主要研究基于常规的运动补偿、系数变换编码、熵编码等编码技术来提 高视频信号编码效率，其使用最基本的表示法是切图( s l i c e ) 技术，它将一个待处 理的图像分割成许多宏块束进行处理。v c l 主要包括4 个重要方面的技术p j ： 降低对视频帧的处理时问：通过将每个视频帧划分成由点阵组成的块，将对 视频帧的处理降到对块的处理。 降低视频帧在空间的冗余量：通过变换、量化和熵编码( 或者变长编码) 方式 对原始块进行编码。 在有效帧的宏块之间进行时b j 独立性分析，采用运动估计和补偿的技术只对 那些在有效帧之间变化的数据进行编码。 通过对剩余块的编码来实现对视频帧中所存在和保留的任何空臼j 冗余进行利 用。 除了研究提高编码效率和简化语法形式之外，h 2 6 4 的另一个主要设计目的 是支持“网络友好”。由于网络传输协议在可信度、服务品质保证、数据封装和时 间调度等方面都具有异构性，同时，不同的传输系统提供的内在建立和配置协议 也有区别。为了实现“网络友好”和无缝传输v c l 数据，n a l 将v c l 从具体的 传输层中抽象出来，定义了一个基本的和独立于网络的表示法。虽然h 2 6 4 标准 中并没有提供将编码数据封装传输协议的技术，但是，n a l 概念对将编码数据 组合到现在的网络中提供了更高的灵活性，其特点主要表现在如下几个方面1 7 j ： n a l 对h 2 6 4 标准所传输的所有信息提供了一个抽象的描述。 6 它通过合适的语法规则来完成支持h 2 6 4 的各种必须韵网络功能( 例如，h 3 2 0 系统没有提供封装机制，而基于i p 的网络系统完全是基于包技术等) 。 传输系统可以使用不同q o s 在不同的逻辑通道中传输不同的n a l 单元类型。 作为h 2 6 4 标准的组成部分，v c l 和n a l 之自j 的关系非常密切。例如：v c l 和n a l 都与媒质有关，它们都知道网络低层的属性和约束条件，包括包丢失率、 m t u 长度、传输延迟瓶颈等；同时，v c l 和n a l 都具有自适应特性，特别是 v c l 能够自动通过调整宏块内的速率和切图的尺寸来响应错误恢复。但是v c l 和n a l 之问还存在很大的差异，这主要表现在h 2 6 4 编解码器【5 j 的设计在v c l 和n a l 两个不同层的意义是完全不同的，不同层的接口需要使用不同的传输协 议。在h 2 6 4 编码标准中定义了v c l 和n a l 编解码器的接口标准，并从概念 上对v c l 和n a l 之间的接口进行了合适的区分，它有助于描述v c l 和n a l 不同的任务并且从结构上将它们区分开来。 为了管理大量的编码工具和适应支持灵活的格式与广泛的比特率的需要，与 m p e g - 4 类似州，h 2 6 4 也使用p r o f i l e 和l e v e l 来定义一些一致点( c o n f o r m a n c ep o i n t ) 集合1 5 l 。其中一致点是指在各种应用程序中体现的功能是非常相近的。p r o f i l e 定 义用来产生一个合适比特流的编码工具或算法工具集：l e v e l 是对比特流中某些 关键参数定义约束条件。在这罩，p r o f i l e 主要包括b a s e l i n e ，m a i n 和x 这3 种 工具，用于表达适用于不同应用环境的不同工具集。b a s e l i n ep r o f i l e 由低复杂度 和低隐含技术特征所组成，主要适用于交互应用程序，特别适合容易出现错误的 环境中；b a s e l i n e p r o f i l e 支持的工具可以适用于所有的p r o f i l e ；m a i n p r o f i l e 主要 用于那些需要商效编码的环境中，例如广播应用程序；xp r o f i l e 主要用于流媒体， 包括在比特流之间进行灵活的错误隐藏和错误恢复技术。 2 3h 2 6 4 的基本特点 v c l 的设计1 5 j 同以前的l t u t 和i s o i e cj t c 编码技术一样，采用基于块的 混合视频编码方法。基本的源编码算法是：利用时问统计的相关性，丌发帧i 日j 预测算法；利用预测残留变换编码，开发空间统计的相关性。在提高编码效率方 面，没有一个单一的算法做出特别的贡献，而是大量的小的改善算法综合产生的 结果。其摹本特点p j l 7 j 如f ： 1 h 2 6 4 a v c 相对以前的编码方法，以m p e g 2 为例，在图像内容预测方面提 高编码效率，改善图像质量的主要特点如下： 可变块大小运动补偿：选择运动补偿大小和形状比以前的标准更灵活，最小 的亮度运动补偿块可以d , 至d l4 x 4 。 1 4 采样精度运动补偿：以前的标准最多1 2 精度运动补偿，首次l ，4 采样精 度运动补偿出现在m p e g - 4 第二部分高级类部分，但h 2 6 4 a v c 大大减少了内 插处理的复杂度。 运动矢量可跨越图像边界：在以前的标准中，运动矢量限制在已编码参考图 像的内部。图像边界外推法作为可选技术首次出现在h 2 6 3 中。 多参考图像运动补偿：在m p e g - 2 及以前的标准中，p 帧只使用一帧，b 帧 只使用两帧图像进行预测。h 2 6 4 a v c 使用高级图像选择技术，可以用以前已编 码过且保留在缓冲区的大量的图像进行预测，大大提高了编码效率。 消除参考图像顺序和显示图像顺序的相关性：在以前的标准中，参考图像顺 序依赖显示图像顺序，h 2 6 4 ，a v c 消除了该限制，可以任意选择。 消除参考图像与图像表示方法的限制：在以前的标准中，b 帧图像不能作为 预测图像，h 2 6 4 a v c 在很多情况可以利用b 帧图像作为参考。 加权预测：h 2 6 4 a v c 采用新技术，允许加权运动补偿预测和偏移一定量。 在淡入淡出场景中该技术能极大提高编码效率，该技术还可用于其他多种用途。 改善“跳过”和“直接”运动推测：在以前的标准中，预测编码图像的“跳过”区 不能有运动。当编码有全局运动的图像时，该限制非常有害。h 2 6 4 a v c 对“跳 过”区的运动采用推测方法。对双预测的b 帧图像，采用高级运动预测方法，称 为“直接”运动补偿，进一步改善编码效率。 帧内编码直接空间预测：将编码图像边沿进行外推应用到当前帧内编码图像 的预测。 循环去块效应滤波器：基于块的视频编码在图像中存在块效应，主要来源于 预测和残余编码。自适应去块效应滤波技术是非常著名的技术，能有效消除块效 应，改善视频的主观和客观质量。 2 除改善预测方法外，其他改善编码效率的特性如下： 小块变换：以前的标准变换的块都是8 x 8 ，h 2 6 4 a v c 主要使用4 x 4 块变换， 使编码器表示信号局部适应性更好，更适合预测编码，减少铃”效应。另外图像 边界需要小块变换。 分级块变换：h 2 6 4 a v c 通常使用小块变换，但有些信号包含足够的相关性， 要求以大块表示，h 2 6 4 a v c 有两种方式实现。低频色度信号可用8 x 8 ，；对帧 内编码，可使用特别的编码类型，低频亮度信号可用1 6 x 1 6 块。 短字长变换：所有以前标准使用的变换要求3 2 位运算，h 2 6 4 a v c 只使用 1 6 位运算。 完全匹配反变换：所有以前标准反变换和变换之问存在一定容限的误差，因 此，每个解码器输出视频信号都不相同，产生小的漂移，最终影响图像的质量， h 2 6 4 a v c 实现了完全匹配。 s 基于上下文的熵编码：h 2 6 4 a v c 使用两种熵编码方法，c a v l c ( 上下文 自适应的可变长编码) 和c a b a c ( 上下文自适应二进制算术编码) ，两种都是 基于上下文的熵编码技术。 3 h 2 6 4 a v c 具有强大的纠错功能和各种网络环境操作灵活性，主要特性如 下： 参数集结构：h 2 6 4 a v c 参数集结构设计了强大、有效的传输头部信息。在 以前的标准中，如果少数几位关键信息丢失，解码器有可能产生严重解码错误。 h 2 6 4 ，心，c 采用很灵活、特殊的方式，分开处理关键信息，能在各种环境下可靠 传送。 n a l 单元语法结构：h 2 6 4 a v c 中的每一个语法结构放置在称为n a l 的单 元中，以前的标准采用强制性特定的位流接口。n a l 单元语法结构允许很自由 的客户化，几乎适合所有的网络接口。 灵活的像条大小：在m p e g 2 中，规定了严格的像条结构，头部数据量大， 降低预测效率，编码效率低。在h 2 6 4 a v c 可采用非常灵活的像条大小。 灵活宏块排序( f m o ) ：h 2 6 4 ，a v c 可以将图像划分为像条组，又称为图像 区，每个像条可以独立解码。f m o 通过管理图像区之问的关系，具有很强的抗 数据丢失能力。 任意像条排序：因为每个像条几乎可以独立解码，所以像条可以按任意顺序 发送和接收，在实时应用中，可以改善端到端的延时特性，特别适合于接收顺序 和发送顺序不能对应的网络中，如使用i n t e r n e t 网络协议的应用。 冗余图像：为提高抗数据丢失的能力，h 2 洲a v c 设计中包含一种新的能力， 允许编码器发送图像区的冗余表示，当图像区的主表示丢失时仍可以正确解码。 数据划分：视频流中的编码信息的重要性不同，有些信息( 如运动矢量、预 测信息等) 比其他信息更为重要。h 2 6 4 a v c 可以根据每个像条语法元素的范畴， 将像条语法划分为3 部分，分丌传送。 2 4h 2 6 4 基本原理 v c l 技术研究的主要目的是希望基于兼容当前视频编码的流行标准h 2 6 3 和 m p e g - 4 技术找至4 一种新的标准，用于取代现有任何实现高视频质量的视频编码 标准。与以前的编码方案相类似，v c l 先将每个视频帧分成像素块，以像素块为 单位处理视频帧；接着通过对一些没有帧间相关性的像素块进行变换、量化和熵 编码( 即变字长编码) ，以去除其空问相关性；然后使用运动估值和运动补偿，去除 存在于相邻帧相应像素块之问时问方向的相关性，使得只有相邻帧问两个相应像 素块的变化部分才需要编码。一般而言，v c l 与其他的编码标准的差异主要表现 9 在1 5 l ：v c l 使用不同尺寸的块和形状，高分辨率的亚像素运动估计和选择多 个参考帧来实现运动估计和运动补偿技术。与其他标准采用的d c t 变换不同 的是，v c l 采用基于整数的变换，其优势在于反变换时不存在误匹配的问题。 v c l 中采用的熵编码技术包括一致变长编码u v l c ( u n i v e r s a lv a r i b l el e n g t h c o d e s ) 8 l 或基于内容匹配的自适应二进制算术编码c a b a c ( c o n t e x t - b a s e da d a p t i v e b i n a r ya r i t h m e t i cc o d i n g ) 1 9 1 。v c l 和其他编码标准的差别总结在图2 2 中。 同时，图2 - 2 7 蛤出了h 2 6 4 编码器的主要工作原理1 5 j ，主要包括i n t r a i n t e r 预测和编码、变换、量化处理和与熵编码等关键技术。从编码效率来讲，在这些 关键技术中，使用7 种不同的尺寸和形状的帧间预测可以节省1 5 的码率；使用 亚像素空间精度比使用整数像素空百j 精度可以节省2 0 的码率；使用5 个参考帧 进行预测比只使用一个参考帧可以节省5 ，扣1 0 的码率；使用基于内容的二进制 自适应算术编码可以节省1 0 的码率。下面我们简单叙述这些关键技术1 5 ，7 ，肛“j ： 2 4 1 整数变换 图2 2 h 2 6 4 编码器工作原理图 虽然v c l 采用的变换类似于d c t 的变换，但是它使用的是4 x 4 的整数块，而 d c t 使用的是8 8 的浮点块，这样，由于它使用的是以整数为基础的空日j 变换， 因此其反变换不存在取舍误差的问题，同时能够解决编码器和使用反变换的解码 器之间的误匹配问题。此外，采用小的形状块有助于降低块效应和明显的人工处 理痕迹。 1 0 h 2 6 4 中使用了三种变换方法：第一种为4 x 4 的整数变换，针对亮度信号 和色差信号的差值；第二种为4 4 的h a d a m a r d 变换1 1 3 l ，针对1 6 1 6 的帧内 预测模式下亮度信号经4 4 整数变换后得到的直流系数组成的4 4 矩阵；第 三种为2 2 的h a d a n w d 变换，针对色差信号经4 x 4 整数变换后得到的直流 系数组成的2 2 矩阵。作为h 2 6 4 的一个基本编码单元，每个1 6 1 6 的宏块 需要对2 4 个4 4 的块进行整数变换，并对两个2 2 的块进行h a d a m a r d 变 换，某些情况下还需要再进行一次4 4 的h a d a m a r d 变换，见下图2 3 1 5 1 。 一l ( 1 6 盖1 6 缎内溪满模式 1 6 1 7 淞淞 亮度筋号色薏信号 图2 - 3 宏块中的变换块及其顺序号 2 4 2 量化处理 量化步长是对宏块数掘压缩的一个重要组成部分。类似于h 2 6 3 使用3 1 个 不列的量化步长，v c l 提供了3 2 个不同的鼍化步长，此外v c l 使用非固定宽 度的尺度量化方法对变换系数进行量化，这蝗步长的增加按1 2 5 的混合速率增 加，通过使用精确的量化步长，更能改进色度部分的精度。 量化变换的系数对应不同的频率，一个对应d c 值，其余的分别对应不同的 频率值，v c l 将所有的变换系数放在一个数组中，通过之字形( z i g z a g 内描和双 扫描对数组中的数据进行读取。双扫描只用于使用较小量化级的块内，由于它的 步长小，从而有助于提高编码效率。 2 4 3 帧内预测和编码 h 2 6 4 的帧内预测编码方法一个显著的特征就是帧内预测在空i 日j 域进行，而 不象其他视频编码标准( 如k 2 6 3 + 、m p e g - - 4 ) 一样在变换域。为进一步提高 预测编码效率，对于亮度分量，h 2 6 4 对含有较多空域细节信息的宏块采用4 x 4 预测，而对于较平坦的区域采用1 6 1 6 的预测模式，前者有9 种预测方法，后者 有4 种预测方法。另外还提供了不经预测和变换量化步骤，直接发送像素值的i p c m 模式。 2 4 3 14 x 4 亮度预测模式 努式0 ( 番蠢顿涮，蠢式it 承乎磺辫)身羲皇( 直流颂灏) 身式4 ( 鲥麓籁铡， 宵坟4f 对角麴灏)方式5 ( 疆鞋童镶澍方j 芯6f 隶中下豫辩) y - 式7f 蓬矗纛预搠 方式8 ( 承甲l + 锁粼 图2 - 4 4 x 4 块的帧内预测 4 * 4 子块的预测( 见图2 - 4 1 5 b ，1 6 个子块组成了预测块。当左边和上边的采样 点a - l 已经重建好后，它们就能作为预测的参考子块。有如下9 种预测方法睁j ： ( 1 ) 垂直预测：上方采样点的值被分别用作各列的预测值。( 2 ) 水平预测：左 边采样点的值被分别用作各行的预测值。( 3 ) 均值( d c ) 预测：采样点a l 值的 均值被用作整个2 的预测值。( 4 ) 左下对角预测：各子块预测值由采样点从右上 方相邻像素( a ，b ，c ) 到左下方相邻像素( 1 ，j ，k ) 沿4 5 度方向插值得到。( 5 ) 右下对角预测：各子块预测值由采样点从左上方到右下方沿4 5 度方向插值得到。 ( 6 ) 垂直向右预测。( 7 ) 水平向下预测。( 8 ) 垂直向左预测。( 9 ) 水平向上预 测1 5 o 编码器按照这9 种模式遍历计算出预测子块的值，并与预编码的真实子块像 素对应相减，依掘某种准则( 如最小s a d 准则) ，找至4 残余误差最小的模式，最 后对此残余误差变换编码。 2 4 3 21 6 x 1 6 亮度预测模式 梭式0 ( 垂悫预测)模式i ( 水平预溯) 图2 - 5 1 6 x 1 6 块的帧内预测 如上图2 - 5 1 5 i 所示，1 6 1 6 宏块的预测分为4 种方法【5 】：( 1 ) 垂直预测：宏块 上方各子块采样值被用作宏块对应一整列的预测值。( 2 ) 水平预测：宏块左边各 子块采样值被用作宏块对应一整行的预测值。( 3 ) 均值顶测：宏块上方与左边各 子块采样值的均值被用作宏块预测值。( 4 ) 平面预测：宏块预测值右上方和左边 各子块采样值按左f n 右上的方向插值得到。 2 4 3 3 8 x 8 色度预测模式 色度分量以8 8 为单位预测，也有4 种预测模式，但它的预测模式的顺序有 些不同，分别是：m o d e0 直流分量d c 、m o d e l 水平、m o d e2 垂直、m o d e 3 平 面。所有的色度块都具有相同的预测模式1 5 l o 2 4 4 帧问预测和编码 帧间预测编码是使用运动估计和运动补偿技术，通过利用有效帧之间的时间 冗余来提高编码效率。除了支持其他的视频标准通常使用的i 帧、p 帧和b 帧以 外，v c l 还支持一种新的码流问可转换帧s p 帧。通过使用一个比特流中的 s p 帧，v c l 可以在那些有类似内容但有不同码率的码流之间快速切换，并同时 支持随机访问和快速回放模式。此外，v c l 所支持的运动估计策略具有更多的关 键特征，能够增加帧间预测模式的数量和精度，以及通过增加运动估计的灵活性 和功能来改进运动估计的效率。具体内容包括：v c l 采用不同尺寸和形状的 宏块分割方法形成7 种不同的帧间预测模式，它比使用一个1 6 1 6 的块尺寸可 以降低一定的比特率和改进预测效果，特别是能够处理运动细节和视觉质量。 在使用运动补偿算法中，v c l 采用1 4 或l 8 点亚像素。与使用原始像素和1 2 亚像素的标准以及使用1 4 亚像素的m p e g 4 标准相比，这样可以降低一定的比 特率，运动估值