（计算机软件与理论专业论文）基于h264运动估计算法研究.pdf

华南师范大学硕士学位论文 关键字：视频编码；h 2 6 4 a v c ；块匹配；运动估计；搜索模板 i i a bs t r a c t h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) i san e wg e n e r a t i o nv i d e oc o m p r e s s i o n c o d i n gs t a n d a r da n dah o t s p o ti nt h ec u r r e n ti m a g ec o m m u n i c a t i o nf i e l d ，w h i c hw a s e s t a b l i s h e db yt h ei t u - tv i d e oc o d i n ge x p e l sg r o u pa n dt h ei s o i e cm o v i n g p i c t u r ee x p e l s g r o u p h 2 6 4 a v c h a sa c h i e v e das i g n i f i c a n t i m p r o v e m e n ti n c o m p r e s s i o np e r f o r m a n c ea n da “n e t w o r k - f r i e n d l y ”v i d e or e p r e s e n t a t i o nr e l a t i v e h 2 6 4i sah i g hp e r f o r m a n c e t e c h n o l o g yo fv i d e oc o d i n g ，a n di t sb i g g e s ta d v a n t a g ei s t oh a v eah i g hc o m p r e s s i o nr a t i o t h eh i 曲- q u a l i t yi m a g ei sa l s oi t sa d v a n t a g et h e s a m e 晰mi t s l l i g hc o m p r e s s i o nr a t i o ，h o w e v e r , i ta l s ob r i n g sah i g hl e v e lo f c o m p u t a t i o nc o m p l e x i t y , e s p e c i a l l yi nm o t i o ne s t i m a t i o nm o d u l e n o w a d a y s ，h o wt o m a i n t a i nah i 曲c o m p r e s s i o nr a t i oa n dg o o dv i d e oi m a g eq u a l i t y ，a n dr e d u c et h e c o m p u t a t i o n a lc o m p l e x i t yo fm o t i o ne s t i m a t i o ne f f e c t i v e l y , i so n eo ft h eh o t s p o t s t ob e g i nw i t h ，t h i sa r t i c l ea n a l y s e st h er e s e a r c hb a c k g r o u n d ，s i g n i f i c a n c ea n dt h e c u r r e n tr e s e a r c hs i t u a t i o no fh 2 6 4m o t i o ne s t i m a t i o na l g o r i t h mh o m ea n da b r o a d ， t h e ne x p l a i n st h e b a s i ct h e o r yo fv i d e oe n c o d i n g t h e n ，i ti n t r o d u c e st h es t r e a m s y n t a xs t r u c t u r eo ft og r a s pt h ec o d i n gf r a m e w o r ka saw h o l e ；a n ds t u d y e di t sk e y t e c h n o l o g yi n - d e p t h a f t e rt h er e s e a r c ho nt h eb l o c k m a t c h i n gm o t i o ne s t i m a t i o n a l g o r i t h m s ，t h i sp a p e ra n a l y s e da n dc o m p a r e ds e v e r a lc l a s s i cs e a r c ha l g o r i t h m s l a s t d e e pr e s e a r c ho ne p z sa l g o r i t h m so fm o t i o ne s t i m a t i o n ，g r a s p t h et e c h n o l o g i e si n i i i 脚- iiii- 舢3 华南师范大学硕十学位论文 t h i sa l g o r t h ma b o u th o wt ou s et h ei n i t i a lp r e d i c t i o nv e c t o rs e a r c h ，s t o pa d a p t i v e l y s t r a t e g y , d e t e r m i n et h ef i n a lm o t i o nv e c t o rw i t hs e a r c ht e m p l a t e s w i t ht h ea p p l i c a t i o n o ft h e s et e c h n o l o g i e s ，h 2 6 4w i l l i m p r o v e i t s p e r f o r m a n c e o fv i d e o c o d i n g s t a n d a r d t h u st h o s e st e c h n o l o g i e sm a k et h em o t i o ne s t i m a t i o ne p z sa l g o r i t h me f f i c i e n t h o w e v e r , t h e r ei sa l s od e f i c i e n c yi nt h ea l g o r i t h m w h e nt h i sa l g o r i t h mc a l c u l t e st h e m i n i m u nv a l u eo ft h eb l o c kc o r r e s p o n d i n gt h ev e c o t r , w h i c hi so n eo ft h ei n i t i a l p r e d i c t i o n v e c t o rs e t ，a n dt h em i n i m u mv a l u ei s v e r y c l o s et ot h et h r e s h o l d v a l u e ，w h i c hi su s et os t o ps e a r c h i n gt h eb e s tv e c t o r , t h ea l g o r i t h ms t i l lu s et h es e a r c h t e m p l a t et os e a r c ht h eb e s tm o t i o nv e c t o r , t h e r e b yi n c r e a s i n gt h ec o m p u t a t i o n a l c o m p l e x i t yo fm o t i o ne s t i m a t i o n t h ee x p e r i m e n ts h o w st h a ti m p r o v e m e n tr e d u c e s t h et i m eo fi t sm o t i o ne s t i m a t i o na n dt h et o t a le n c o d i n g ，i nt h ec a s eo f m a i n t i a n i n g t h ev a l u eo fp e a ks i g n a lt on o i s er a t i o s oi th a ss o m ev a l u ef o rt h ea p p l i c a t i o n 、i m h 2 6 4r e a l - t i m ee n c o d i n g k e y w o r d ：v i d e oc o d i n g ；h 2 6 4 a v c ； b l o c km a t c h i n g ； m o t i o ne s t i m a t i o n ； s e a r c hp a t t e r n i i i i v 1 。l 。2 3 5 。5 。6 6 1 4 本文的所做的工作6 1 5 本文的结构安排7 第2 章h 2 6 4 视频标准及关键技术。8 2 1h 2 6 4 概j 苤8 2 1 1h 2 6 4 标准的编码器结构组成1 0 2 1 2h 2 6 4 标准的解码器结构组成1 1 2 2h 2 6 4 标准的分层结构1 2 2 2 1h 2 6 4 a v c 标准的网络提取层( n a l ) 1 2 2 2 2h 2 6 4 a v c 标准v c l 层及关键技术15 2 3 本章小结1 9 第3 章经典运动估计算法分析2 0 3 1 引言2 0 3 2 块匹配运动估计和补偿原理2 l 3 2 1 匹配准则一2 1 3 2 2 图像质量的评判标准2 2 3 3 经典运动估计算法分析2 3 3 3 1 全搜索算法f s ( f u l ls e a r c h ) 2 3 3 3 2 三步搜索法一2 5 3 3 3 新三步搜索法n t s s 2 6 3 3 4 菱形搜索算法2 7 3 4u m h e x a g o n s 算法2 9 3 4 1 初始搜索点预测。3 1 3 4 2 非对称十字型搜索3 2 3 4 3 非均匀多层六边形格点搜索3 3 3 4 5u m h e x a g o n s 算法的具体步骤3 3 3 5 本章小结：3 4 第4 章e p z s 算法及改进3 5 4 1e p z s 算法概述。3 5 4 2e p z s 算法分析一3 6 4 2 1e p z s 算法的初始预测矢量的选取3 6 v 华南师范大学硕士学位论文 4 2 2 自适应提前终止策略3 8 4 2 3 利用搜索模板对最终运动矢量的确定3 8 4 3e p z s 算法存在的一些不足之处及改进。3 9 4 5 改进后的e p z s 算法实验结果分析4 1 4 6 ，j 、结4 2 第5 章总结与展望4 3 参考文献4 4 攻读硕士学位期间公开发表的学术论文。4 8 至i 【谢4 9 v i 基于h 2 6 4 的运动估计算法研究 1 1 研究背景和意义 第1 章绪论 自从上个世纪9 0 年代以来，多媒体信息和互联网技术得到了很大的发展， 并为大数据量的音视频数据的应用奠定了基础。视频信息具有直观性和高效性， 确切性。据人们统计发现，人类获取的信息的7 0 来自视觉，随着多媒体信息技 术的快速发展，多媒体的存储及通信技术也受到人民的广泛重视。如日常生活中 所见的v c d ，d v d ，网络视频、远程教育等都是将视频数据通过一定压缩处理 后才传送给用户终端的。音视频的相关技术在一些行业领域中也得到了很好的应 用。如监控系统中对现场进行音视频的录制，以便存档，查看，取证等。 由于原始视频信息含有巨大的数据，对于信息的存储和传播带来了一定的困 难，阻碍了人类对视频信息资源的获取，传送及使用。例如：存储一幅中等大小 的图像，5 1 2 5 1 2 像素，2 4 位真彩色，需要0 7 5 m b 的存储空间。一秒钟的n t s c 彩色视频需要2 3 m b 的空间。由此无论从经济还是技术角度来考虑，单靠硬件的 支持并不能满足人们的需求。经过压缩后的视频数据可以大量地节省存储空间， 节省c p u 时间，减少传输时间的优点。很显然，这也充分说明了视频压缩编码 的必要性。 视频压缩就是通过计算机的处理去掉视频中的冗余信息，包括空间冗余、时 间冗余、结构冗余和视觉敏感信息冗余等。视频压缩技术是计算机处理视频的前 提条件。视频信号数字化后数据带宽很高，视频编码是指连续图像的编码，与静 态图像编码着眼于消除图像内的冗余信息相比，视频编码主要通过消除连续图像 之间的时域冗余信息来压缩视频 h 2 6 4 n 1 视频压缩编码标准是国际电信联盟( i t u t ) 的v c e g ( 视频编码专家 组) 和国际标准化组织( i s o i e c ) 的m p e g ( 活动图像专家组) 的联合视频组( t ) 所开发的一个新数字视频编码标准。h 2 6 4 视频编码标准具有重大的意义，它不 仅使得视频压缩与以往的编码标准相比压缩效率有着非常明显的提高，而且有着 很好的网络适应性与亲和性，在许多情况下的视频传输性能上有很明显的改善。 华南师范大学硕士学位论文 h 2 6 4 的这种特性不仅适用于视频会议的应用，而且还提供强大的差错隐藏技术， 也支持低时延编解码，同时还可适用于电视应用和延时并不很重要的视频流应 用。 虽然h 2 6 4 标准具有很高的编码效率，但是它也有着高度的计算复杂度。 这对硬件平台的要求很高，在现有的水平下很难实现真正的实时应用。为了能让 h 2 6 4 标准在有限的硬件环境下，在高实时性的系统中得到应用，必须对现行的 编码算法进行一些改进优化，降低它的计算复杂度，但又要同时保证它的编码后 的视频质量及压缩效率。其中运动估计是h 2 6 4 编码器中耗时最长的部分，因此 对运动估计算法的研究成为h 2 6 4 视频编码研究的热点之一。 1 2 国内外研究现状 在h 2 6 4 视频编码标准中，运动估计是视频编码标准中最关键部分之一。如 网络视频直播和视频监控等领域一些实时应用中，我们最关心的问题是编码时间 和图像在解码过程中重构的质量问题。由于运动估计在编码中占用了大部分的时 间，在h 2 6 4 视频标准中，如果当使用1 个参考帧时，运动估计部分约占整个 编码运算量的7 0 。当使用5 个参考帧时，运动估计的运算量约占整个编码运算 量的9 0 ，运动估计的编码时间约占个编码时间的8 0 左右。很显然，在减少运 动估计模块的编码时间的话，从而整个编码的时间会相应的减少很多。运动估计 在当前视频编码器中是计算量最大的一个模块。但它能够有效地降低相邻帧之间 的相关性，从而达到压缩的目的，所以被广泛应用于各种视频编码器中。如 m p e g 1 t 2 | ，m p e g 一2 嘲，m p e g 4 h 1 ，以及h 2 6 1 5 | ，h 2 6 3 嵋1 ，h 2 6 4 等与h 2 6 3 相比， 在重构相同视频质量的情况下，h 2 6 4 的码率可减少到约5 0 h 2 6 4 的帧内预测 和帧间预测是他性能改善的主要来源，尤其是其帧间预测编码起着重要的作用， 它充分利用了连续帧的时间冗余来进行运动估计及补偿。帧间预测具有在预测时 所用的块大小可变，更精细的预测精度，多帧参考等特点。这些特点给h 2 6 4 编 码标准带来了更大的压缩效率，与此同时也大大提高了它的计算复杂度，特别是 运动估计的计算复杂度。由此运动估计算法成为了视频编码算法研究中的热点， 在过去的二十多年间受到了学术界的广泛重视，并得出了大量的研究成果。其中 初始化搜索点，搜索策略，匹配准则是算法改进的三个重要方向。 2 基于h 2 6 4 的运动估计算法研究 y i l o n gl i u 和s o o n t o r no r a i n t a r a 在af a s ta d a p t i v et w o l e v e lm u l t i m o d e s e a r c ha l g o r i t h mf o rm o t i o ne s t i m a t i o n ) ) h 1 提出了一种快速自适应两级多模式的运 动估计搜索算法，其中使用了上方块运动矢量，左边块运动矢量，先前帧对应块 的运动矢量和上层块运动矢量作为初始搜索点的预测集合。他们引入了一种自适 应选择搜索算法和多模式搜索策略，对解决“在不同的视频序列中所包含的不内 内容和运动行为，同一种搜索策略来适应它们，容易陷入局部最优点 的问题， 有着重要的意义。 王慧桥和康南生阳1 在一种运动估计的自适应菱形算法。它在菱形算法的 基础上，首先依据视频序列中的运动矢量的时间和空间相关性和中心偏移性，对 宏块类型的划分，并通过设定阈值，进一步提出初始搜索点的预测。该算法在保 证图像质量的情况下，有着更快的搜索速度。 c h u n h oc h e u n g 和l a i m a np o 1 提出了一种新的十字一菱形一六边形搜索算 法。此算法对视频序列中的运动矢量概率分布的统计特征分析，得出了视频图像 序列在十字中心分的特点。在此基础上，引入了八种不同的搜索模式，分别有大 小十字型，大小菱形，垂直，水平扁平六边形，垂直，水平厚六边形模式。然后 对这些模式的有效组合，得到了一种性能相对较优的十字型，菱形，扁平六边形 的模式。 吕瑞，何小海n 们等在一种用于运动估计的十字六边形搜索算法利用了运 动适量的中心偏移性和相关性，预测初始搜索点，在搜索之前用十字模板结合提 前退出搜索技术优先搜索起始点附近的局部区域，在后期则改用六边形扩大搜索 范围并完成运动估计，使运动估计的复杂度有着显著的下降。 合理利用视频序列的时间和空间相关性，找到最佳的搜索初始点，这种方法 在很多运动估计算法中得到了应用。较优的初始点预判对减少后面搜索点数具有 重要的作用。结合不同的搜索模板进去组合优化，并通过设定合理的阈值进去提 前退出搜索或者切换搜索模板，是一种提高搜索速度的好方法。 1 3 视频压缩原理概述 视频编码的目的是在保持一定的视频质量情况下，用尽可能小的比特位来存 储视频信息。传统的视频编码是基于香农信息理论的概率统计模型对信息源的描 华南师范大学硕士学位论文 述。( 如熵编码n 1 1 ，预测编码n 引，变换编码口3 1 及运动补偿n 们等) 基于数理统计的 传统编码技术，通过去除视频数据间的冗余信息，从而实现对视频信息的压缩。 根据视频信息的特点，帧内与帧与帧间存在高度的相关性，从而决定了视频 序列存在大量的冗余信息。根据此特点，我们可以通过减少或者去除这些冗余信 息来实现对视频数据的压缩。对于静止图像，主要是去除图像的空间冗余口司信息 来达到压缩，而视频序列存在空间冗余和时间冗余的同时，还具有编码冗余口6 1 ， 结构冗余n7 1 ，知识冗余n 7 3 等。分别对这些冗余简单介绍如下： ( 1 ) 空间冗余 对于静止图像或视频序列中的某一帧空间冗余是一种普遍存在的现象。在一 幅图像中，对于规则物体和规则背景的表面物理特征具有一定的相关性，这些相 关性在数字化的图像中表现为数据的冗余。 ( 2 ) 时间冗余 在视频序列中相邻的两帧的图像，前一帧与后一帧图像之间有较大的相关 性。这就反映了视频序列的时间冗余。 ( 3 ) 编码冗余 根据信息论原理可知，如果图像的灰度级在编码时用的编码符号数多于表示 每个灰度级所需的符号数，用这种编码方式得到的图像就具有编码冗余。在编码 时，如果没有充分利用编码对象的统计特性就很可能会产生编码冗余。 ( 4 ) 结构冗余 在数字化图像中，对于有些图像从大体上看存在着非常强的纹理结构。图 像像素值有明显的分析模式，例如布纹图像和草席图像等。形成结构冗余。在处 理图像时，只须把基本形状的像素进行存储或传输，其余可利用坐标描述。 ( 5 ) 知识冗余 视频图像中包含的信息与某些先验知识有关，例如人的眼睛，嘴的位置对于 人脸而言是一种先验知识，这种冗余称为知识冗余。 根据不同的冗余类型，可以采用不同的编码方式，数据压缩算法可分为无损 压缩编码，有损压缩编码。无损压缩编码基于信息熵原理，属于可逆编码，可逆 是指，压缩后的数据可以完全还原成原始数据，但它的压缩比一般不高。典型的 无损压缩编码有：霍夫曼编码n 引，算术编码n9 i ，行程编码乜们等。而有损压缩编码， 4 基于h 2 6 4 的运动估计算法研究 压缩时舍去了部分数据，还原后的数据与原始数据存在差异，有损压缩具有不可 逆性。有损压缩的类型有：预测编码，变换编码，量化与向量量化编码，知识编 码，p c m 编码等。 1 3 1 预测编码 帧间预测编码是根据视频序列相邻帧之间的相关性，即时间相关性，来达到 压缩的目的，广泛用于普通电视，高清电视，视频电话等的压缩编码中。在视频 序列中相邻帧间细节变化不大，即在它们之间存在很强的相关性。根据这一特点 进行帧间编码，可获得比帧内编码更高的压缩比。帧间预测编码的方法以运动补 偿为主，应用也最为广泛。由于运动补偿预测编码能够很大程度上减少视频序列 的时间冗余，成为当前主要视频编码标准的基本技术之一。帧内编码预测能有效 降低视频图像的空间冗余已在h 2 6 4 a v c 标准中被采用。帧间预测编码分为运动 估计和运动补偿两个部分。运动估计的目的，是搜索出像素块或者对象的运动矢 量，并进行编码。运动补偿是运动估计的逆过程，应用于编码器的本地重构与解 码器部分。 1 3 2 变换编码 在预测编码中认为冗余度是数据固有的，通过对信源建模可能精确地预测原 数据，去除图像的时间冗余度。但冗余度与不同的表达方法也存在很大的关系， 而变换编码是奖原始数据“变换”到另一个更为紧凑的表示空间，去除视频图像 的空间，可获得比预测编码更高的数据压缩。在1 9 7 4 年，n a h m e d 等人提出 了离散余弦变换( d c t ) ，d c t 口门常常被认为是图像信号的准最佳变换。d c t 是 一种空间变换，d c t 变换的最大特点是对于一般的图像都能够将像块的能量集 中于少数低频d c t 系数上，这样就可能只编码和传输少数系数而不严重影响图 像质量。离散余弦变换不能对图像直接进行压缩，但对图像的能量具有很好的集 中效果，为下一步的压缩打下了基础。如：一帧图像内容以不同的亮度和色度像 素分布体现出来，而这些像素的分布依图像内容而变，毫无规律可言。但是通 过离散余弦变换，像素分布就有了规律。代表低频成份的量分布于左上角，而 越高频率成份越向右下角分布。然后根据人眼视觉特性，去掉一些不影响图像基 华南师范大学硕士学位论文 本内容的高频分量，从而达到压缩码率的目的。离散余弦变换与其他方式结合进 行压缩编码，已广泛应用于各种视频图像压缩编码标准中。 1 3 3 量化 视频图像的量化作用可以在保持一定的视频图像质量的前提下，舍弃那些对 视觉影响不大的信息。图像的量化将图像变换得到的大量数据取值范围分成若干 个区间，并仅用一个数值代表每个区间的所有值。量化又可分成均匀量化和非均 匀量化一。均匀量化是指量化步长是一个恒定的常数，非均匀的量化是指量化步 长不是一恒定的常数。在视频编码标准中，根据人眼h v s 系统乜2 1 的特点，对在视 频图像中占有较大能量的低频部分，采用较小的步长和较多的比特数进行表示， 以便可以能更准确地表示原有图像的系数值，而对于图像占有能量较小的高频部 分可使用较大的步长和较少的比特数。量化的过程会带一定的误差，且过程不可 逆。视频编码图像经过空域到频域的变换编码以后，低频信息集中在频率坐标轴 的原点附近，可以采用量化的方法将高频信息部分量化为零，形成大块零区，以 更利于下一步进行熵编码 i 3 4 熵编码 利用信源的统计特性进行码率压缩的编码称为熵编码。其特点是一种无损压 缩编码。根据香农信息理论，信源的冗余度来自信源本身的自相关性和信源内部 事件分布概率的不均匀性，对出现概率较小的符号分配较长码字，对出现概率较 大的符号分配较短码字，从而达到编码后的平均码长最小。熵编码主要有霍夫曼 编码、算术编和游程编码三类。 1 4 本文主要工作 本文深入分析了h 2 6 4 视频编码标准的整体结构思想及领域和它的关键技 术，对多种运动估计算法进行深入的分析，尤其深入研究了e p z s 痢运动估计算 法，该算法采用了初始预测矢量的搜索技术，自适应中途停止策略，和利用搜索 模板对最终运动矢量的确定，这些技术的应用提高h 2 6 4 视频标准编码的性能， 6 基于h 2 6 4 的运动估计算法研究 同时使它成为一种高效的运动估计算法。该算法在计算出初始预测矢量集中的矢 量所对应的最小的块残差代价值m i n m c o s t ，当m i n m c o s t 非常接近之前设好的 退出阈值时，仍继续搜索最佳运动矢量，从而增加了运动估计的计算复杂度。本 文对e p z s 算法这点不足之处，提出有效的解决方法，通过实验表明在改进后， 在峰值信躁比( 即图像质量) 基本保持不变的情况下，减少了它运动估计时间， 和编码的总时间。 1 5 论文的结构安排 第1 章绪论。主要概述了h 2 6 4 运动估计的研究背景和意义，国内外研究现状， 及视频编码的一些基本原理。 第2 章h 2 6 4 视频标准及关键技术。主要阐述了h 2 6 4 的视频编码标准的基本 理论和关键技术。 第3 章经典运动估计算法分析。主要分析了运动估计的基本原理和多种经典的 运动估计算法。 第4 章e p z s 算法及改进。深入分析了e p z s 算法及对它的不足之处进行改进。 第5 章总结与展望。总结全文，指出了自己所做的工作以及本文需要完善、改 进的地方。 7 华南师范大学硕士学位论文 第2 章h 2 6 4 视频标准及关键技术 2 1h 2 6 4 概述 h 2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图 像编码专家组) 的联合视频组( t ：j o i n tv i d e ot e a m ) 开发的一个新的数字视 频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 4 的第1 0 部分。 1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个草案，2 0 0 1 年5 月制定 了其测试模式t m l 8 ，2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的f c d 板。 2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的标准一样，也是d p c m 乜4 加变换编码的混合编码模式。但它 采用“回归基本的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩 性能；加强了对各种信道的适应能力，采用“网络友好的结构和语法，有利于 对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不 同传输( 存储) 场合的需求。 h 2 6 4 标准可分为三档瞳5 1 ： ( 1 ) 基本档次：包含除了下述两部分之外的所有h 2 6 4 标准所规定的内容。 这两部分分别是 1 ) b 帧、加权预测、自适应算术编码c a b a c 乜引、场编码及其视频图像 宏块自适应切换场和帧编码( m a a f f ) n3 。 2 ) s p s i ( s l i c e ) 片和片的数据分割( d a t a p a r t i t i o n i n g ) n 1 主要用于可视电话、会议电话、无线通信等实时视频通信它是h 2 6 4 的简单 版本，应用面广； ( 2 ) 主要档次：包含了基本档次中不包括的第一个部分，同时主要档次不包 含基本档次中所包含的灵活宏块顺序( f l e x i b l em a c r o b l o c ko r d e r i n g f m o ) 1 ， 任意片顺序( a r b i t r a r ys l i c eo r d e r i n g ，a s o ) 和可冗余的图片数据。它采用了多项提 高图像质量和增加压缩比的技术措施，可用于标准清晰度的电视( s d t v ) 、高清 8 图2 1h 2 6 4 标准的三个档次 h 2 6 4 a v c 高压压缩效率，扩充了数字视频技术方面现有的应用领域，除此还 可以满足以下一些领域的需要。 ( 1 ) 娱乐视频应用 通常要求传输速率在1 - s m b i t s 以下，延迟时间保持在0 5 0 2 s 。这类应用包 括：有线，卫星，地面，d s l 等广播电视；准高清和高清d v d ；视频点播。 ( 2 ) 流媒体服务 传输速率一般要求在5 0 k b i t s 1 5 m b i t s ，延迟时间在2 s 以上，主要应用到 h 2 6 4 的基本框架和扩展框架。其应用包括：3 g p p 流，3 g p p 规范的扩充部分可 9 对于将要编码的当前输入帧e 这帧以宏块为单元进行处理( 对应于原始图 像的1 6 1 6 像素) 。每个宏块以帧内或者帧间的编码模式进行编码。两种情况下， 对于预测宏块p 是在重构帧的基础上形成的。帧内编码模式中，p 宏块是由当前 帧中e 经过编码，解码，重构得到的。( 注意，在图中，。是未经滤波器的采 样，用来形成预测宏块p ) 。帧问编码模式中，预测宏块p 是在一个或者多个参考 帧中通过运动补偿，预测来得到。在图中所示的参考帧f 是之前已编码过的 帧。然而，对于每个宏块的预测可能由一个或者两个将要显示的帧( 以时间为顺 序) ，它们都是已经经过编码和重构。 对于正在编码的当前宏块减去预测得到的宏块才产一个残差宏块n 。见经 1 0 基于h 2 6 4 的运动估计算法研究 过块变换和量化后得到一个变换系数的集合。这些系数先进行重排，然后进行熵 编码，得到熵编码系数。最后这些系数加上一些对宏块解码所需要的附加的信息 来形成压缩字节流。网络提取层对这些压缩流进行传输或者存储。 ( 2 ) 编码器的重构过程 为以后宏块编码需要重构一个参考帧，对被量化的宏块系数x 进行解码。系 数x 进行逆量化和逆变换后产生一个残差宏块乜。它不同于原始残差宏块见， 这是由于在量化和逆量化的过程中会带来一定的误差，是原始见的一个扭曲版 本见。预测宏块p 加上见创建一个重构的宏块u f n ，它是原始宏块的扭曲 版本。滤波器f i l t e r 被用来减少块扭曲后产生的效映。对于重构参考帧是由一系 列宏块e 来创建的。 2 1 2h 2 6 4 标准的解码器结构组成 h 。2 6 4 标准解码器功能如图： 图2 3n 2 6 4 解码器端组成图 h 2 6 4 的解码器从网络提取层( n a l ) 接收到压缩字节流。数据元素通过熵解 码和重排后得到一个已量化系数的集合x 。系数x 经过逆量化和逆变换得到残差 宏块乜( 这与编码器重构部分的见是一样的) 。根据字节流中解码后得到的 头信息，解码器创建一个预测的宏块p 。p 加到残差宏块或中产生来产生u f n 块，u f n 通过过滤器过滤后来创建一个宏块f n 。 华南师范大学硕士学位论文 通过上面的讨论，从图中我们可以清楚的知道，讨论编码器中的重构路径的 目的是为了确保编码器和解码器使用一样的参考帧来创建预测宏块p 。要不然， 预测宏块p 在编码器和解码器中将会不一样，这会导致编码器和解码器中更多的 错误或者偏差。 2 2h 2 6 4 标准的分层结构 在h 2 6 4 中提出了一个新概念，即提出了两个概念性的编码层的分层结构一 视频编码层乜27 | ( v c l ， v i d e o c o d i n gl a y e r ) 和网络提取层( n a l , n e t w o r k a b a t r a c t i o nl a y e r ) 乜5 2 ”。v c l 可以有效地表示视频内容，而n a l 层作为v c l 层传输的接口，用来对v c l 层的视频内容进行格式化，对v c l 数据进去打包， 序列和图像设置参数，并提供头信息等。使压缩后的数据能在不同网络中传输。 如图 对 苗 q 2 c o o vi d e oc o d i n gl a y e r c o d c dma c r o b i o c k d a t ap a r t i t i o n i n g c o d e dsi i c e p a r t i t i o n ih 3 2 0lm p 4 f fih 3 2 3 i plm p e g 一2ie t c 1 1 图2 4h 2 6 4 a v c 编码器结构 2 2 1h 2 6 4 a v c 标准的网络提取层( n a l ) h 2 6 4 的网络提取层将视频编码数据抽象成n a l 单元，根据不同的传输方式 进行n a l 单元的封装。n a l 主要用来提供视频数据的头部信息，以适合各种媒 体的传输和存储。n a l 可支持v c l 层的数据在不同网络中的应用，其中包括： 1 ) 以m p 4 文件形式进行存储，可提供多媒体信息服务，如视频彩信； 2 ) 提供m p e g 2 系统的视频广播服务； 1 2 基于h 2 6 4 的运动估计算法研究 3 ) 使用r t p i p 协议的实时有线网络和无线网络的互连服务 4 ) 在其他有线网络和无线网络中提供视频服务 ( 1 ) n a l 单元 h 2 6 4 标准将编码的字节流组成n a l 单元乜翻，视频数据放置在网络单元 中传输，每个网络单元包含整个字节，第一个字节是头部信息，标识n a l 单元的 数据类型，其余是净荷。n a l 规定了一种通用的格式，这种格式既适合面向包 传输，也适合流传送。包传输和流传输的方式是一样的，不同之处在于流传输前 面增加了一个起始码前缀。 跟以前的m p e g 一2 标准类似，h 2 6 4 将n a l 单元为有序连续字节或者比特 流进行传送，由数据本身识别n a l 单元边界。在应用系统中，h 2 6 4 标准定义了 字节流格式，每个n a l 单元增加了3 个字节的前缀，即同步字节，在流媒体的应 用中，每个图像则需要增加一个附加的字节作为边界定位。在字节流中增加了附 加数据，用做扩充发送数据量，以实现快速的边界定位，恢复同步。 n a l 单元又可分为v c l - n a l 和非v c l n a l 3 两种。在v c l - n a l 单元中 包含视频图像的采样信息。而在非v c l - n a l 单元中包含了各种有关的附加信 息。如参数集( 头部信息) ，提高性能的附加信息，定时信息等。参数集是很少 变化的信息，用于大量v c l n a l 单元的解码，有两种类型分别为序列参数集和 图像参数集。如图所示。 图2 5 使用可靠的参数交换的参数集表示 序列参数集，用于连续的一串视频图像，即视频系列；图像参数集，用于视 频序列中的一个或者多个个别图像。这种机制减少了重复参数的传送，每个 v c l n a l 单元包含一个指向有关图像参数集的标识，而在每个图像参数集中又 华南师范大学硕士学位论文 包含一个指向有关的序列参数集的内容，这样的好处是用少量的指针信息，即可 引用大量的参数，从而大大减少了v c l n a l 单元的复杂传送的信息。同时，序 列和图像参数集可以在发送v c l - n a l 单元之前进行传输，并可以重复传送，从 中也提高了纠错的能力。 ( 2 ) 存储单元与视频序列乜朝乜7 3 存储单元( a c c e s su n i t ) 是由许多指定格式的n a l 单元组成，并且每个存储 单元对应一幅图像，存储单元包含单元的分隔符，附加的增强信息( s e i ) ，视频 主编码图像数据，冗余编码图像数据，视频序列结束符以及数据流的结束符。如 图所示： 敏耐 a o o e s su n i td e l i m 簟t e r 、 i s e i 一 1r p r i m a r yc o d e dp i t ：t l j r o l1 i r e d u n d a n tc o d e dp i c l u 他 i e n do f8 0 q l a q r l c q e n do fs l t e i m l 图2 - 6h 2 6 4 存储单元结构示意图 1 ) 存储单元分隔符( a c c e s su n i td e l i m i t e r ) ：用来区分不同的存储单元； 2 ) s e i ：包含了诸如视频画面定时等相关信息。一般放在主编码图像数据之前， 在一些应用中可以被省略。 3 ) 视频主编码数据( p r i m a r yc o d e dp i t u r e ) ：由一组v c l n a l 单元构成。这些 1 4 基于h 2 6 4 的运动估计算法研究 v c l n a l 单元是由表示视频图像的像条( s l i c e ) 所组成。 4 ) 冗余编码图像数据( r e d u n d e n tc o d e dp i t u r e ) ：它位于主编码图像数据之后， 是由若干额外的v c l - n a l 单元构成的。主要用于编码图像数据丢失或者损 坏时，可用来编码图像数据进行编码。 5 ) 视频序列结束符( e n do fs e q u e n c e ) ：是一个n a l 单元，可表示一个独立视频 序列的结束位置。 6 ) 数据流结束符( e n do fs t r e a m ) ：如编码图像是全部n a l 单元数据流中的最后 一帧图像，在存储单元中视频数据流已经结束了。 2 2 2h 2 6 4 a v c 标准v c l 层及关键技术 h 2 6 4 中的v c l 层编码集中体现了视频编码方面的各种先进技术，并将它 们结合起来，同以往的标准相比，在同视频质量的情况下可省去约5 0 的码率。 h 2 6 4 a v c 仍然遵循基于块的混合编码。首先对输入图像分割成各钟大小的宏 块，利用时空预测去除冗余信息，然后对残差进行正交变换得到一系列的变换系 数。通过变换残差系数能量相对集中，然后对其进行量化，按其能量的大小用不 同的数据量来表示，最后用熵编码进行二进制编码，最大限度的消除了数据符号 冗余。h 2 6 4 a v c 标准比以前标准多采用一些新的关键技术，如图像分割的时候， 可将其分割的尺寸缩小到4 x 4 块，4 x 4 块的整数变换。c a b a c 和去块效滤波 器等。它们组合一起大大提高了h 2 6 4 的编码效率。视频编码层结构如图所示： 华南师范大学硕士学位论文 图2 - 7h 2 6 4 a v c 编码宏块视频编码层框图 1 ) 帧内预测n 3 在h 2 6 4 中，帧内预测是指可利用当前宏块周围已经重建的像素值对当前块 进行预测来消除空间冗余度。亮度的帧内预测编码分为i n t r a 4 x 4 和i n t r a l 6 x 1 6 两 种。对于i n t r a 4 x 4 有种9 预测模式如图所示，适用于视频图像细节内容区域；而 i n t r a l 6 x 1 6 有垂直、水平、直流和平坦4 种预测模式，适用于平坦变化区域如图 所示。色度的帧内预测编码只用8 x 8 一种，共4 种预测模式，类似于