（通信与信息系统专业论文）h264中块匹配运动估计算法的研究.pdf

摘要摘要h 2 6 4 具有低码率、高画质、高压缩比等特点，但是其高效的压缩是以增加编码算法复杂度为代价的，而在整个编码过程中运动估计所占时间最大，因此h 2 6 4中基于块匹配的快速运动估计算法一直是视频压缩领域的研究热点。本文首先论述了h 2 6 4 视频编码标准的基本原理和关键技术；然后介绍了几种已有的经典块匹配运动估计算法，并分析了它们的优缺点；随后本文针对已有经典块匹配运动估计算法的不足，提出了一种高效的快速块匹配运动估计算法双起点大小正方形搜索算法( d b s s ) ，该算法的其中一个策略是采用预测点和当前分块所在位置两点作为搜索起点，使得在出现相关性预测误差大时，仍能把握运动的方向；另外就是采用大小正方形的搜索模式，根据物体运动情况来确定搜索步长。综合采用了初始搜索中心预测、菱形搜索算法和逐步采样偏差比较等技术。实验结果表明，本文算法与全搜索相比，以极小的视频质量代价换得了计算复杂度的大幅度降低；与h 2 6 4 推荐的运动估计核心算法u m h e x a g o n s 相比，在搜索速度和搜索效果方面，本文算法有明显优势。关键词：h 2 “块匹配运动估计a b s t n l c ta b s t r a c th 2 6 4a c h i e v e sv e r yl o wb i tr a t e h i g hq u a l i t ya n dh i g hc o m p r e s s i o nr a t i o h o w e v e r ,i t sh i g i l t ye f f i c i e n tc o m p r e s s i o ni sa tt h ec o s to fi n c r e a s e dc o m p u t a t i o n a lc o m p l e x i t y m o t i o ne s t i m a t i o no c c u p i e st h em o s tt i m ei nt h ep r o c e s so fv i d e oc o d i n g f o rt h i sr e a s o n , f a s tm o t i o ne s t i m a t i o ni nh 2 6 4h a sa l w a y sb e e nah o ts p o ti nt h ev i d e oc o m p r e s s i o nf i e l d f i r s t l y , t h i st h e s i sd i s c u s s e st h eb a s i cp r i n c i p l ea n dt h ee s s e n t i a lt e c h n o l o g i e si nh 2 6 4v i d e oc o d i n gs t a n d a r d s e c o n d l y , i ti n t r o d u c e ss e v e r a lp o p u l a r l yf a s tb l o c km a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h m sa n da n a l y z e st h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s t h i r d l y , i no r d e rt oc o v e rt h es h o r t a g eo ft h ef a s tb l o c km a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h m s ，t h i st h e s i sp r o p o s e sa l le f f i c i e n ta n df a s tb l o c km a t c h i n gm o t i o ne s t i m a t i o na 1 9 0 r i t h m 抽ed o u b l eb i gs m a l ls q u a r e ( d b s s ) a l g o r i t h m o n es t r a t e g yo ft h i sa l g o r i t h mi st ob e g i ns e a r c h i n gf r o mt w op o s i t i o n st h ep r e d i c t i v es e a r c hc e n t e ra n dt h e ( o ，o ) p o s i t i o n ，w h i c he a r ls t i l lh o l dd i r e c t i o nw h e nt h er e l a t i v e l yp r e d i c t i v ee r r o ri sb 培t h eo t h e rs t r a t e g yi st oa d o p tt h eb i gs m a l ls q u a r es e a r c hp a l t e m ，w h i c hc h o o s e ss e a r c hs t e pa c c o r d i n gt ot h em o v i n gs t a t eo fo b j e c t s as e r i e so fs k i l l s ，s u c ha si n i t i a ls e a r c hc e u t e rp r e d i c t i o n ，t h ed i a m o n ds e a r c ha l g o r i t h ma n ds u c c e s s i v e l ys a m p l e dd i s t o r t i o nm e a s u r e ，a r ea l s oa d o p t e di nt h i sa l g o r i t h m e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ed b s sa l g o r i t h mg a l lh i g h l yr e d u c ec o m p u t a t i o n a lc o m p l e x i t yw i t hl i t t l ev i d e oq u a l i t yd r o p p i n gc o m p a r e dw i t hf s a l s ot h i sa l g o r i t h mi ss u p e r i o rt ou m h e x a g o n si nt e r m so fb o t hs p e e da n dq u a l i t y k e y w o r d ：h 2 6 4b l o c km a t c h i n gm o t i o ne s t i m a t i o n创新性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特j j i j ) j n 以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的晚明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：弘惠i = 1j u j加”弓口关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定即：研究生在校攻读学位期m 论文工作的知识产权单位属西安电子科技火学。本人保证毕业离校后，发表论文和使川论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复印手段保存论文( 保密的论文在解密后遵循此觑定) 。本人签名：弘导师签名f i 期神如r | 期坦z ：! ! 主2第一章绪论第一章绪论1 1 课题背景随着信息技术的发展和社会的不断进步，人类对信息的需求越来越丰富，人们希望无论何时何地都能够方便、快捷、灵活的通过语音、数据、图像与视频等多种方式进行通信。视觉信息给人们直观、生动的形象，图像视频的传输更受到广泛的关注。数字信号处理技术、物理媒体与网络技术、超大规模集成电路技术突飞猛进的发展，使得多媒体通信成为研究和应用的热点。其中，最为关键的技术是数字视频的处理和传输技术。数字视频苛刻的带宽、时延等要求使得它成为多媒体通信发展的瓶颈。近2 0 年来，我们正在经历一场数字化革命。数字化数据和语音通信闯题一直被关注着。近年来具有c d 质量效果的高保真( m f i ) 数字音频技术正迅速地用于各种个人电脑和工作站上。现在全运动数字视频用于桌面设备的技术已经成熟。除了数字信号有更牢固的形式外，数字表示和传输手段的主要优点是在于它很容易在同一网络上提供各种的服务。桌面数字视频技术给计算机和通信均提供了一种真正的“革命性”的方式。而日益纷里的视频压缩方法给视频通信带来曙光，越来越多的研究工作者对视频编码、视频处理提出了新理论和新方法，同时各种国际组织参与视频标准的制定。如i s o i e c 成立了j p e g ( j o i n lp h o t o g r a p h i ce x p e r tg r o u p ) 和m p e g ( m o v i n gp i c t u r e e x p e r t s g r o u p ) 并先后完成t j p e g 、j p e g 2 0 0 0 、m p e g - 1 、m p e g - 2 和m p e g 4标准的制定；1 1 r u t 也先后制定了h 2 6 1 、h 2 6 2 ( 与m p e g 组织合作) 、h 2 6 3 h 2 6 3 +和h 2 6 4 ( 与m p e g t 织合作1 等一系列国际数字视频压缩编码标准。它们为视频编码技术的发展起到了巨大的推动作用。视频压缩编码技术是多媒体通信技术发展中最有活力的研究领域之一，同时也是未来多媒体通信技术领域的研究热点和重点。随着硬件产品的不断发展，处理器及内存的价格的不断降低，支持视频数据传输的网络越来多，视频应用对图像编码效率的要求也越来越高。因此，i s o 的运动图像专家组m p e g 和删- t 的视频编码专家组( v c e g ) 2 0 0 3 年联合推出的h 2 6 4 a v c ( 也称为m p e g 一4 的第1 0 部分) ，用于各种不同的网络环境( 高低码率、有线、无线) 的高效率的视频编码标准。由于其高效的压缩性能和网络友好性，而成为当前多媒体通信中的研究的热点，很多公司都在开发基于h 2 6 4 的视频产品。本文的研究对象就是新一代视频编码标准- h 2 6 4 ，并以h 2 6 4 为基础，重点对块匹配运动估计算法进行了研究，并提出了自己的新方法，大大降低了运动估计的复杂度，提高了编码器编码的速度，为实时应用发挥了积极的作用。h 2 6 4 中块匹配运动估计算法的研究1 2 视频编码的主要标准2 0 世纪8 0 年代中后期以来，视频压缩编码技术得到了飞速的发展。国际标准化组织0 s o i n c ) 和国际电信联盟( r r u d 制定了一系列国际视频编码标准。视频编码标准的发展历程如图1 1 所示。r r u th 2 6 1h 2 6 3h 2 6 3 +h 2 6 3 + 4 -h 2 6 x 系歹ul u tf l s o f l e ch 2 6 纠口e g - 2h 2 6 4f 联合标准1 9 8 4 1 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 4图1 1 视频编码标准的发展历程1 2 1i s o i e c 编码标准( 1 ) m p e g 1 标准【1 】m p e g - 1 标准制定于1 9 9 2 年，标准编号i s o i e c l l l 7 2 ，主要针对1 5 m b p s 以下数据传输率的数字存储媒质运动图像及其伴音编码的国际标准，它用于在c d r o m 上存储同步和彩色运动视频信号码率为1 5 m b s 。该标准包括m p e g - 1 视频、音频和系统三部分。( 2 ) m p e g 2 标准【2 lm p e g 一2 标准制定于1 9 9 4 年，标准编号i s o i e c l 3 8 1 8 ，该标准最初的目的是在与m p e g 一1 兼容的基础上实现低码率和多声道扩展，后来为了适应演播电视的要求开始致力于定义一个可以获得更高质量的多声道音频标准。( 3 ) m p e g 4 标准 3 1m p e g 一4 标准于1 9 9 9 年1 月正式颁布，标准编号i s o i e c l 4 4 9 6 。后来又出现第二版和第三版。由于具有基于内容的编码方法及灵活的组合结构，并采用了工具箱的方法，m p e g 4 能支持各种各样的新功能，因此应用前景广阔。m p e g 一4 的初衷是针对视频会议、视频电话的超低比特率编码、但在调查过程中m p e g 感受了两大变化，并据此立即修改计划，制定现在意义上的m p e g 4 。这两个变化：第一章绪论31 1 物质基础的变化：高性能通用芯片性价比的提高。需求的变化：对多媒体信息，特别是视频流的应用要求由播放型转向基于内容的访问，操作性。为了支持对动态视频的内容访问，m p e g 4 中引入了对象( o b j e c t ) 的概念，实际上就是基于对象方法得到分层区域，因此，基于对象方法是基于内容的压缩编码中的一类主要算法。m p e g - 4 视频标准提供在多媒体环境下视频数据的有效存储、传输和操作方面的核心技术。为了达到这一宽广的目标而不限于某一狭窄的应用，m p e g 4 考虑了应用集的功能。因此m p e g 4 中视频部分以工具和算法的形式提供对各种功能的支持，例如有效的压缩、对象的可扩展性、空域和时域的可扩展性、纠错等功能。要达至i j m p e g 4 的目标，主要取决于基于内容的视频数据表示方法。一个场景可看作又一系列具有各自特性的视频对象组成，其性质包括形状、运动、纹理。这种基于对象的表示是在多媒体应用中实现对象交互的关键，在这样应用中，用户可以访问任意形状的对象以及操作对象。m p e g - 4 b 示准的编码是基于对象的，这样就便于操作和控制对象，而传统压缩方法是基于帧的，显然无法对对象操作。由于传输宽带的限制，必须对压缩比特率进行控制，这样直接影响图像的质量。过去在比特率低的时候，整帧图像的质量都受到影响，没有灵活性可言；而m p e g 4 对比特率的控制可以基于对象，即使在低带宽时，也可以利用码率分配方法，对于用户感兴趣的对象可以多分配一些比特率，而对于用户不感兴趣的对象可以分配少一些比特率，这样图像主观质量就得到保证。m p e g - 4 中的对象操作使用户可以在用户端直接将不同对象进行拼接，得到用户集合成的图。这在传统方法中是无法直接实现的。m p e g - 4 在扩展上具有很好的灵活性，可进行时域和空域的扩展。这在m p e g 2 中也有一些体现，但它并不突出。而在m p e g 4 中，可根据现场带宽和误码率的客观条件，在时域空域进行扩展。时域扩展是在带宽的允许时在基本层之上的增强层中增加帧率，在带宽窄时可在基本层中减少帧率，以达到充分利用带宽，使图像质量更好的目的。空域扩展是指对基本层中的图像进行采样插值，增加或减少空间分辨率。1 2 2i t u t 编码标准( 1 ) h 2 6 1 标准1 4 11 1 r u t 于1 9 9 0 年公布的h 2 6 1 标准，即“p x 6 4 k b s 视听业务的视频编码器( p = 1 3 0 ) ”，具有覆盖整个i s d n ( 综合业务数字网) 基群信道的功能，适用于会话业务的活动图像编码，广泛应用于会议电视和可视电话。h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + 标准【5 14h 2 6 4 中块匹配运动估计算法的研究i t u - t 于1 9 9 5 年7 月推出了低码率视频压缩编码的h 2 6 3 建议，其技术核心仍为混合编码方法，但借鉴了m p e g 2 中的半像素运动估计和运动补偿技术及双向预测技术，可实现比h 2 6 1 更高的压缩比，从而用于实现低于6 4 k b s 的视频压缩编码。1 9 9 8 年r r u - t 推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二版，它提供了1 2 个新的可选择模式，迸一步提高了压缩编码性能。2 0 0 0 年u t 又推出了h 2 6 3 + + ，对h 2 6 3又做了一些新的扩展，增加了一些新的可选技术，从而更加适应于各种网络环境，并增强差错恢复的能力。( 3 ) h 。2 6 4 标准qh 2 6 4 标准是由r r u t 的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o i e c 的m p e g ( m o t i o np i c t u r ee x p e l sg r o u p ) 联合成立的“联合视频组”j y r o o i n tv i d e ot , a m ) 共同制定的新一代视频编码新标准，2 0 0 3 年3 月，公布标准的最终草案，称作h 2 6 4 a v c 或m p e g 一4v i s u a lp a r t l 0 。h 2 6 4 能提供 = h m p e g 一4 和h 2 6 3 标准更高的压缩性能，使图像的数据量减少5 0 ；对网络传输具有更好的支持，引入面向数据包编码，有利于将数据打包在网络中传输；具有较强的抗误码特性，以适应在噪声干扰大、丢包率高的无线信道中传输；对不同应用的时延要求具有灵活的适应性；编码和解码复杂度具有可扩展性。除了上述国际标准之外，中国也在制定具有自主知识产权的音视频编码标准。2 0 0 3 年1 1 月底，中国国家信息产业部“数字音视频编解码标准组”正式发a v s f a u d i ov i d e oc o d i n gs t a n d a r dw o r k i n gg r o u po fc h i n a ) 标准草案。标准草案的视频部分编码效率可以达到m p e g - 2 的2 至1 j 3 倍，而且编码实现复杂度明显降低。1 3 论文结构论文共分六章：第一章绪论，介绍了课题背景，现有的视频编码标准及论文的安排。第二章首先分析h 2 6 4 视频编码标准的基本结构及主要特点，然后详细分析h 2 6 4 的视频编码层，最后给出h 2 6 4 视频编码标准的性能分析。第三章首先分析运动估计的基本思想及理论基础，然后介绍几种在h 2 6 4 视频编码标准中使用的典型运动估计算法，并分析它们各自的优缺点。第四章提出一种新的快速块匹配运动估计算法一双起点大小正方形算法。第五章对几种块匹配运动估计算法进行测试，从而证明本文算法的优越性。第六章总结与展望，对已完成的工作、存在的不足和今后的改进方向作以论述。论文的最后是致谢、参考文献和在读期问的研究成果。其中第二、三、四、五章为本文作者的主要工作。第二章h 2 6 4 视频编码技术第二章h 2 6 4 视频编码技术5h 2 6 4 属于混合视频编码，是一种高效的压缩方法。它在吸收现有标准优点的基础上，首次应用了多个视频编码界的理论和技术成果，从而获得了更高的编码效率，在网络适应性方面也大有改善。本章首先简单介绍h 2 6 4 标准的基本结构和主要特点，然后详细分析h 2 6 4 标准的视频编码层( v c l ) 采用的各种技术，最后给出h 2 6 4 视频编码层的性能。2 。1h 。2 6 4 视频编码标准简介h 2 6 4 的设计涵盖了视频编码层( v c l , v i d e oc o d i n gl a y e r ) 和网络提取层c n a ln e t w o r ka b s t r a c t i o nl a y e r ) 。视频编码层的任务是高效地表达视频内容；网络提取层的任务则是将v c l 提供的数据格式化并提供头信息，使其适用于不同的传输层或存储介质1 7 】【8 】。h 2 6 4 的分层编码结构如图2 1 所示，本文研究的主要内容是视频编码层。- i视频编码层控制i数j 宏块据il数据分割lj 片，分割网络适配层h3 2 4h 3 2 3 1 ph3 2 4 m图2 1t l 2 6 4 的分层编码结构2 1 1h 2 6 4 的视频编解码器h 2 6 4 编码器如图2 2 所示【9 i ，包括了两个数据流路径：前向路径和重建路径。为了突出编解码器的相似之处，解码器的数据流路径由右向左显示。1 、编码器( 前向路径)在编码端，表示当前输入帧。帧以宏块为单位进行处理( 对应原始图像的1 6 x 1 6个象素) 。每个宏块都按帧内或帧问模式进行编码。在任何一种情况下，都由重建帧得到一个预测宏块p 。在帧内模式下，p 是由当前帧第n 帧中已进行编码、解码和重建的采样点构建的( 在图2 2 中用弘表示，使用未滤波的采样点构建p ) 。在帧间模式下，预测宏块p 由一个或多个参考帧通过运动补偿预测进行构建。在图中参考帧是作为已编码的帧爿。出现的。每个宏块可由一个或多个已经进行编码6h 2 6 4 中块匹配运动估计算法的研究和重构的前帧或后帧( 以时间为顺序) 预测得到。将预测宏块p 从当前宏块中减去，得到一个残差宏块见并对它进行变换、量化，得到x 。对变换系数x 重新排序而后进行熵编码。熵编码后的系数与附加信息用来从压缩的比特流中解出宏块( 比如宏块的预测模式、量化步长、运动矢量信息等等) 。这些都被递交给网络提取层( n a l ) 进行传输或存储。网络提取层图2 2h 2 6 4 编码器2 、编码器( 重建路径)量化后的宏块系数x 被解码，用来重建一个帧，进而对下一个宏块进行编码。系数x 经过再次伸缩和反变换，得到残差宏块d ：。它与原来的残差宏块见已经不同，量化的过程带来了精度上的损失，所以d ：较以有失真。预测宏块p 与或相加得到一个重建宏块胪：( 对原宏块的恢复，存在失真) 。用滤波器去除块效应，重建的参考帧由一系列的宏块构建。3 、解码器解码器从网络提取层接收压缩的比特流。对数据元素进行熵解码、重排序，得到一组量化后的系数x 。而后再对x 进行伸缩和反变换，得到珑( 它与编码器中所示的d ：相同) 。解码器用从比特流中解出的头信息，构建预测宏块p ，它与编码器中的预测宏块p 相同。p 与反相加得到肛，再经过去方块滤波得到重建解码宏块。从图2 3 和以上的论述中我们可以看出，编码器中的重建路径是为了确保编码器与解码器使用相同的参考帧构建预测宏块p 。否则，编、解码器中的预测宏块p将会不同，从而导致编解码器之间的误差累积和“漂移( d a f t ) ”现象。此外h 2 6 4 标准中还支持数据分割( d a t ap a r t i t i o n ) ，即将各个宏块中的同种类型数据集中放在一起传输。例如：可以将一个s l i c e 中所有宏块的直流系数放入一个包，所有运动矢量放入另一个包，剩余的数据放入一个包。这样在传输出错的情况下，有利于解码端进行误码掩盖。第二章h 2 6 4 视频编码技术7提取层图2 3h 2 6 4 解码器2 1 2h 2 6 4 的主要特点从上一节的内容可知，h 2 6 4 仍然是一种混合编码方法，其编码过程在以下几个方面与h 2 6 3 等现有标准类似 ”i ：1 视频图像以宏块为单位进行划分，每个宏块独立进行处理；2 运用空间预测、变换、量化以及熵编码技术去除图像的空间冗余度；3 使用运动预测和运动补偿技术，只对相邻帧的变化进行编码，去除相邻帧之间的时间冗余度；4 对于运动补偿后产生的残留块，使用变换、量化以及熵编码进一步去除空间冗余度。与此同时，h 2 6 4 的一些新的特点提高了编码效率。相对于以前的视频编码标准，h 2 6 4 具有如下主要特点：包含小块且大小可变的运动补偿：h 2 6 4 标准比以前的任何标准在运动补偿块的大小和形状的选择上都更为灵活。它最小的亮度运动补偿块大小可达4 x 4 。精确到四分之一象素的运动补偿：以前大多数的标准最多支持运动矢量精确到二分之一象素。在新标准中通过使用四分之一象素精度的运动矢量使之更为精确 i l l 。可超越图像边界的运动矢量：m p e g 2 及其以前的标准，运动矢量只允许指向己解码的参考图像内的点。h 2 6 4 中则采用了图像边界外延技术，使运动矢量可以指向超出图像边界的点。多参考帧运动补偿：在m p e g - 2 及其以前的编码方案中，预测帧( 称为“p ”帧)只允许用前一帧图像来预测下一帧的图像。新设计中扩展了h 2 6 3 + + 中的参考帧选择技术，允许编码器根据运动补偿原则在大量的己解码并存储在解码器的图像中选择参考帧【1 2 l ，来达到高效编码的目的。h 2 6 4 中同样也对双向预测参考帧的参考能力根据双向运动补偿作了扩展。参考顺序与播放顺序可以不同：在以前的标准中，运动补偿的参考帧使用顺序严格依赖于图像播放的顺序。h 2 6 4 标准彻底去除了这些限制，允许编码器灵8h 2 6 4 中块匹配运动估计算法的研究活选择参考图像的顺序和播放图像的顺序，其灵活性只受到存储器的总容量必须确保解码能力的限制。同时，这些限制的去除也消除了以前由双向预测编码带来的附加延时。图像编码方法与图像是否可作为参考帧分离：在以前的标准中，使用某些编码方法生成的图像( 如：双向预测编码帧) 不能用作预测视频序列中其它图像的参考帧。去掉这一限制后，新标准的编码器更为灵活，而且在很多情况下，可以选择与待编码图像更接近的某一幅图像作为参考帧。加权预测：h 2 6 4 中的又一个创新是允许编码器对运动补偿预测信号加权。这使包含淡出效果的图像和其它一些图像在编码效率上有很大提高。改进的“s k i p p e d ”和“d i r e c t ”模式推断：在以前的标准中，已编码图像中模式为“s k i p p e d ”的图像区域的场景内容不能运动，这对包含整体运动的图像是有害的。所以h 2 6 4 对“s k i p p e d ”区域进行运动推断。对双向预测编码区域( bs l i c e s ) ，h 2 6 4 还包含增强的运动推论方法：“d i r e c t ”模式的运动补偿，它进一步改善了h 2 6 3 + 和m p e g - 4v i s u a l 中设计的“d i r e c t ”预测。帧内编码的空间预测：对作为帧内编码的图像，首次采用了空间预测技术，将当前图像中已编码的部分预先解码，将解码区域边缘的象素用于帧内编码区域的空间预测。这一技术增强了预测图像的质量，并允许由邻近区域中非帧内编码的图像预测当前图像。环路去方块滤波：以块为单位进行编码会产生方块效应。解码过程中的运动补偿预测过程和残差信号编码过程都会产生块效应。自适应去方块滤波的应用是一种为人所熟知的改进图像质量的方法，如果设计得当，它对图像的主观和客观质量都有改进呻】。与h 2 6 3 + 的选项中的去方块滤波不同的是，h 2 6 4 的这一设计是在运动补偿预测环路中提出的，所以它对图像质量的改善也可应用于帧间预测，进而增强预测其它图像的能力。除了使用改进的预测方法外，h 2 6 4 的其它设计也提高了编码效率，包括：小的块变换：以前所有主要的视频编码标准都使用大小为8 x 8 的块进行变换，而新的h 2 6 4 的设计主要是采用4 x 4 的变换。这使编码器可以更好的根据当时的场景来表现信号，有效减少了振铃( r i n g i n g ) 效应。( 另外在用前文所提到的技术进行预测时，也可证明使用较小的块效果更好。)分等级的块变换：在大多数情况下，使用大小为4 x 4 的较小的块进行变换就可以了。但有一些信号的相关性很强，这种情况下的变换就可以使用更长的基函数。h 2 6 4 标准对这种情况的处理有两种方法：一是通过使用分级变换来扩充有效的块大小，对频率较低的色度信号，将其组成8 x 8 的数组；二是通过允许编码器在帧内编码时选择特殊的编码类型，使得对频率较低的亮度信号的变换长度扩充到1 6 x 1 6 的块大小，这与色度信号的处理方法很类似。第二章h 2 6 4 视频编码技术91 6 位字长的变换：所有以前标准的编解码器对变换的计算的设计中，处理都较为复杂，所以以前的标准中都采用3 2 比特的处理，而在h 2 6 4 中仅要求1 6比特的计算。精确匹配的逆变换：在以前的视频编码标准中，用于表现视频的变换通常被限定在误差允许的范围内，因为得到精确匹配的理想的逆变换是不现实的。所以，不同的解码器设计解得的视频图像有微小的差异，产生编解码器所表现的视频信号的“漂移”，使视频质量下降。h 2 6 4 是第一个达到解码的视频内容精确等价于编码质量的标准c “l 。算术熵编码：h 2 6 4 包含了一种先进的熵编码方法算术编码。算术编码作为h 2 6 3 的可选项出现过，h 2 6 4 中更为有效地利用了这一技术，提出了功能非常强大的熵编码算法c a b a c 【”1 ( 上下文自适应算术编码) 。上下文自适应熵编码：h 2 6 4 中的两种嫡编码方法分别是：c a v l c ( 上下文自适应变长编码) 和c a b a c ，它们都是用基于上下文的自适应手段来增进性能的。h 2 6 4 还包含了很多新的设计思想，旨在增强鲁棒性和算法灵活性，从而可适应不同的网络环境 t j ：参数集合结构：参数集合的设计为头信息的鲁棒性和高效安全性提供了保障。在以前的标准中如果关键信息丢失了几个比特( 比如序列的头或图像的头信息) 可能严重影响解码过程，在h 2 6 4 中对这些关键信息用更为灵活的方法单独处理。n a l 单元语法结构：h 2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单元。与以前的视频标准强制系统使用特定的比特流接口不同，h 2 6 4 的n a l单元语法结构允许根据特定的网络自定义合适的方法来传送视频内容。灵活的s l i c e 大小：与m p e g - 2 中定义的固定的s l i c e 结构不同，h 2 6 4 中的s l i c e大小与早些的m p e g 1 一样是非常灵活的。灵活的宏块顺序( f m o ) ：提出了一种将图像划分成被称为s l i c e 组的新方法，s l i c e 组中的每一个s l i c e 都可以作为一个单独的解码单位。有效利用了这一点，灵活的宏块顺序就可以显著增强数据丢失的鲁棒性。任意的s l i c e 顺序( a s o ) ：因为编码图像的每一个s l i c e 基本都可以与图像中的其他s l i c e 独立地进行解码，所以在h 2 6 4 的设计中，可以以任意顺序发送和接收图像中的s l i c e 。这种能力可以改善实时应用中端到端的延时，尤其是使用乱序发送的网络。冗余图像：为了增强抗数据丢失的鲁棒性，h 2 6 4 的设计中允许编码器发送图像某些区域的冗余表示，这样当基本表现部分在传输过程中丢失时，仍可以表现图像的某些区域。1 0h 2 6 4 中块匹配运动估计算法的研究数据分割：在表现视频内容时，某些编码信息比别的信息更为重要或更有价值( 如运动矢量或其它预测信息) ，因此，h 2 6 4 允许每个s l i c e 的语法可以按语法元素的范畴被分为三个不同的部分进行传输。s p s i 同步图像转换：s p s i 帧是h 2 6 4 设计的两种新的图像类型【9 】【”i ，通过使用s p s i 帧就可以在解码端做到与其他解码器正在产生的视频流精确同步，而无需对所有解码器都传送一个i 帧而造成效率下降。这样，解码器就可以在以不同的数据传输速率播放的视频内容间切换、抗数据丢失和数据错误，并能够使用t r i c k 模式( 如快进、快倒等) 。2 2h 2 6 4 的视频编码层与以前的编码标准一样，h 2 6 4 的v c l 层采用混合视频编码方法，其基本的编码算法思想是通过帧问图像预测来减弱时间统计相关性；通过对预测残差信号进行变换编码来减弱空间统计相关性。h 2 6 4 将各种新技术应用到混合视频编码的各个模块中，从而有效地提高了编码性能。2 2 1 图像的获取及宏块划分人类的视觉系统分别感受场景的亮度和色度信息，而且对亮度细节的感受要比对色度敏感。视频传输系统正是利用这一特点进行设计的。h 2 6 4 与以前的标准一样，通过y c b c r 色彩空间传输视频信息，并且减少c b 和c r 色度信息的采样分辨率。h 2 6 4 使用的视频色彩空间将对色彩的表达分离成三个成分y ，c b ，c r 。分量y 被称作l u m a ，代表亮度信息，两个色度分量c b 和c r 被称作c h r o m a ，分别代表信号中的蓝色和红色分量与亮度分量之差。因为人类的视觉系统对亮度比对色度更敏感，因此在h 2 6 4 使用的采样结构中，色度分量的采样个数是亮度分量的四分之一( 在水平和垂直方向上都是二分之一) 。这被称为4 ：2 ：0 采样，每个采样点的精确度均为8 比特。采样后得到的一个视频序列包含一系列的编码图像。在h 2 6 4 中，一幅编码图像既可以表示一个完整的帧( f r a m e ) ，也可以表示一个单独的场( f i e l d ) 。总的来说，一帧可以被看作包含两个交错放置的场，一个顶场和一个底场。顶场包含偶数行，着一帧中有h 行的话，就是第0 ，2 ，h 2 行。底场包含奇数行( 由一帧的第二行开始) 。如果一帧中的两场是在不同的时间点捕获的，这一帧被称为隔行扫描帧，否则称为逐行扫描帧。图像分成固定大小的宏块，每个宏块覆盖的矩形区域包含一个1 6 x 1 6 的亮度采样分量和相应的两个8 x 8 的色度采样分量。宏块是标准中解码端可识别的基本构造块。第二章h 2 6 4 视频编码技术2 2 2s l i c e 划分及帧场自适应编码( 1 ) s l i c e 和s l i c e 组如果不使用f m o ( f l e x i b l em a e r o b l o c ko r d e r i n g ) ，一系列宏块按r a s t e r 扫描方式组成的宏块序列即为s l i c e 。一个图像可以被分成一个或几个s l i c e 。因此在h 2 6 4中一个图像是一个或多个s l i c e 的组合。给定有效序列和图像参数集，s l i c e 就可以从比特流中解析出语法元素，继而对s l i c e 表示的图像区域的采样值正确解码，而无需使用其它s l i c e 提供的数据。s l i c e 边界的去方块滤波可能需要其它s l i c e 的一些信息。sl i ce #lsl i c：髯isl i c! #图2 4 将图像分成s l i c e ( 不使用f m o )f m o 通过使用s l i c e 组的概念改变了把图像分成s l i c e 和宏块的方式。每个s l i c e组是根据宏块到s l i c e 组映射图定义的一组宏块，它是由图像参数集的内容和s l i c e头中说明的一些信息指定的。宏块到s l i c e 组映射图对图像中的每一个宏块都分配一个s l i c e 组标志数字，标识宏块所属的s l i c e 组。每个s l i c e 组可以分成一个或多个s l i c e ，这样一个s l i c e 就是在同一s l i c e 组中的宏块的一个序列，这些宏块在一个特定的s l i c e 组中按r a s t e r 方式扫描。( 不使用f m o 的情况可被看作是整个图像只包含一个s l i c e 组的特殊情况。)不考虑是否使用f m o ，每个s l i c e 可以使用如下不同的编码方式进行编码：is l i c e ：s l i c e 内的所有宏块都使用帧内预测进行编码。ps l i c e ：作为is l i c e 编码方式的补充，ps l i c e 中的一些宏块也可以使用帧阃预测进行编码，一个预测块最多有一个运动补偿预测信号。bs l i c e ：作为ps l i c e 可使用的编码方式的补充，bs l i c e 中的一些宏块也可以使用帧间预测，每个预测块有两个运动补偿预测信号。以上的三种编码模式与以前的标准十分相似，但它对参考图像的使用有所不同。h 2 6 4 还引入了以下两种新的s l i c e ：s p 和s is l i c e 。s ps l i c e ：所谓的切换ps l i c e ，它的使用可使不同预测编码图像之间的高效切换成为可能。s is l i c e ：所谓的切换is l i c e ，应用于随机访问和错误掩盖。s p 和s is l i c e 是两种特殊编码的s l i c e t l “，可以有效用于多个视频流间的切换1 2h 2 6 4 中块匹配运动估计算法的研究和解码端的随机接入。解码端常会需要在多个视频流之间进行切换，例如同样的视频内容被编成了多个比特流，在i n t e m e t 上进行传输，解码端去解它接收到的比特率最高的一个流，当这个流的吞吐量下降时，解码端就需要自动切换到另一个比特率较高的流。例：如图2 5 所示，解码端要从a 流切换到b 流。为了简化问题，我们假设每一帧为一个s l i c e ，并且仅仅将它的前一帧作为参考帧。在解出了么，4 ，两个ps l i c e 之后，解码端想要切换到b 流，去解夙，尻等等。如果b 流中的s l i c e 都是采用帧间编码的形式，则解码端无法得到解口，所需的正确的参考帧，因为a 流中不包含历的参考帧e 。解决问题的一个方法是将厉用帧内编码的形式编码，即b ，为一个i - s l i c e ，则它不需要b 流中的任何参考帧就可以独立地被解出，解码端就可以在风点进行码流切换。因此码流切换可以用定期插入i 帧，从而形成切换点来实现。然而，一个i - s l i c e 比一个p - s l i c e 所包含的数据要多得多，插入i - s l i c e 相当于在每一个切换点引入了一个比特率的峰值。p - $ 1 i e mi - s l i c ep - s h e , m图2 5 利用l - s l i c e 进行码流切换b 流s p s l i c e 的目的是为了在不引起类似于插入i - s l i c e 所带来的比特率开销的情况下，进行码流间的切换。图2 6 简要说明了如何利用s p s l i c e 进行码流间的切换。图中每个流中的第2 个s l i c e 是一个切换点：利用丘作为参考帧，可以解出s p s l i c ea ，；利用e 作为参考帧，可以解出s p - s l i c e b ：；码流间切换的的关键是s p - s l i c ea b ：，利用它可以将4 作为参考帧，解出s p s l i c e b ：。无论是将e 作为参考帧，还是利用4 作为参考帧和s p s l i c e a b ，所解出的毋均是相同的。因此s p s l i c ea b ，这种s p s l i c e 被称为切换s p s l i c e 。在每一个切换点都需要额外的切换s p s l i c e ，事实上，除了从a 流切换到b 流所需的a b ，还需要一个从b 流切换到a 流的s p s l i c e b a ，。尽管如此，利用s p s l i c e 进行切换还是要比把以和风编成第二章h 2 6 4 视频编码技术i - s l i c e 效率要商得多。从a 流切换到b 流的过程为：以已经解码重建的p - s l i c e a o 为参考帧解出p - s l i c e4 ，切换s p s l i c c a b 2 以重建的4 为参考帧解出s p s l i c eb 2 ，以已经解码重建的曰2为参考帧解出岛，从而实现了从a 流到b 流的切换。p s h e ss p - s l i c z lp s l i c e sa 漉图2 6 利用s p - s l i c e 进行码流间的切换如果a 流和b 流是同一个源序列编码形成的不同比特率的码流，则使用s p s l i c e a b ，是相当有效的。实验结果证明利用s p s l i c e 进行码流间的切换比起在切换点插入i 帧在效率上有明显的提高。s p s l i c e 的另一个应用就是提供随机接入和v c r 功能。解码器利用s p s l i c e 4 。，可以跳过中间帧，直接从以帧解4 。帧，从而实现快进的功能，如图2 7 所示。图2 7 利用s p - s 1 i c e 实现快进的功能另外一种用作码流间切换的s l i c e 是s i s l i c e ，它和s p s l i c c 的用途一样，所不同的是s i - s l i c c 的预测使用4 x 4 的帧内预测而不是运动补偿，因此它主要用于从一1 4h 2 6 4 中块匹配运动估计算法的研究个码流切换到另一个完全不同的码流，在这种情况下，因为两个序列之间没有相关性，所以运动补偿将没有帧内预测的效率高。( 2 ) 自适应帧，场编码在有物体移动或摄像机镜头移动的隔行扫描帧中，与逐行扫描帧相比，临近的两行的统计依赖性下降。在这种情况下，也许对每个场单独进行压缩的效率更高。为此h 2 6 4 的设计中允许编码器在对一帧进行编码时进行如下决定：1 ) 两个场结合在一起，对其按一个独立的帧进行编码( 帧模式) 。2 ) 两个场结合，对其按单独的场独立进行编码( 场模式) 。3 ) 将两个场结合在一起，并将其作为一个单独的帧压缩，但编码时需要首先将垂直相邻的两个宏块分成两场或两帧中的一对宏块。对一个序列中的每一帧都可以自适应地选择这三种选项中的一种。图像自适应帧场( p a f f ) 编码只在前两个选项之间进行选择。当一帧作为两场编码时，每一场也被分成宏块，其编码方式与帧十分类似，但也有以下主要的不同之处：1 ) 运动补偿使用参考场而非参考帧；2 ) 变换系数的z i g z a g 扫描方式不同；3 ) 不再使用去方块滤波过滤场内宏块间的水平边界，因为场内的行间隔是帧的两倍，滤波器覆盖的空间更大了。某些视频序列使用p a f f 编码比只用帧编码模式降低比特率大约1 6 2 0 。如果某帧包