（通信与信息系统专业论文）基于h264avc运动估计算法研究.pdf

摘要 摘要 随着多媒体技术和网络技术的飞速发展，以视频压缩编码为基础的数字视频 的应用也越来越广泛。视频序列图像在时间上有很强的相关性，利用运动估计和 运动补偿技术可以比较有效地去除图像帧间高度冗余度，实现高码率压缩比，块 匹配运动估计算法具有计算复杂度低和易于软硬件实现的特点，被广泛应用于 m p e g l 2 4 和h 2 6 x 等视频编码标准中。 最简单而且最可靠的块匹配算法是全搜索，然而它的计算量大，不适合实时 应用。因此，研究快速有效的运动估计算法一直是视频压缩编码领域的热点问题 之一。 在h 2 6 4 视频编码标准中，运动估计占用了编码器极大的计算量。为了提高运 动估计算法的精度，减少搜索时间，本文分析了预测运动矢量和最优运动矢量的 关系，进行了大量的统计试验和仿真，得出结论：预测运动矢量s a d 值越大，最 优运动矢量分布越广；反之，分布越集中。在此基础上，设计了新的快速运动估 计搜索算法：根据预测运动矢量s a d 值设置不同的阈值和搜索模板，预测s a d 值 越小，搜索范围越小，反之越大。算法中还采用了基于梯度下降的精细搜索技术， 提高了算法的精度。实验结果证明，该算法与目前被广泛使用的u m h e x a g o n s 算法 相比，p s n r 提高了0 0 0 1 6 d b o 0 2 6 5 d b ，搜索时间m e t i m e 减少了3 2 2 9 q 5 3 2 。 关键词：视频编码运动估计块匹配搜索算法 a b s t r a c t a b s t r a c t n o w a d a y s ，w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e ta n dm u l t i m e d i at e c h n o l o g y ， d i g i t a lv i d e ob a s e do i lv i d e o - - - - c o d i n gh a sb e c o m em o r ep o p u l a r t h e r ee x i s t ss t r o n g t e m p o r a lc o r r e l a t i o nb e t w e e na d j a c e n tf l a m e si nav i d e os e q u e n c e a sa ne f f i c i e n tt o o l f o rv i d e oc o m p r e s s i o n ，m o t i o ne s t i m a t i o n ( m e ) a n dc o m p e n s a t i o n ( m c ) c a ne l i m i n a t e t h e h i g hr e d u n d a n c yb e t w e e n f la m e s a n da c h i e v ea h i g hc o m p r e s s i o nr a t i o b l o c k 。m a t c h i n ga l g o r i t h mi ss i m p l ya n de a s i l yc a r r i e do u tb ys o f t w a r ea n dh a r d w a r e ， a n di sw i d e l yu s e di nm p e g 1 2 4a n d h 2 6 x t h es i m p l e s ta n dm o s tr e l i a b l e w a yi sf u l ls e a r c h t h e r e f o r e ，h o wt of i n da n e f f e c t i v ea l g o r i t h mo fm o t i o ne s t i m a t i o ni so n eo ft h em o s tp o p u l a rt o p i c si n v i d e o - c o d i n ga r e a m o t i o ne s t i m a t i o nt a k e st o om u c ht i m ei nv i d e o c o d i n g i no r d e rt or e d u c et h e c o m p u t a t i o n a lc o m p l e x i t ya n di m p r o v et h ea c c u r a c yo fm o t i o ne s t i m a t i o n , t h i sp a p e r a n a l y z e st h er e l a t i o n s h i pb e t w e e np r e d i c t i o nm o t i o nv e c t o ra n dt h eo p t i m a lm o t i o n v e c t o r ，a n dc a r r yo u tal a r g en u m b e ro fs t a t i s t i c a lt e s t sa n ds i m u l a t i o n c o n c l u d e dt h a t t h el a r g e rs a dv a l u eo fp r e d i c t i o nm o t i o nv e c t o ri s ，t h em o r eo p t i m a lm o t i o nv e c t o r d i s t r i b u t e dw i d e l y ；o nt h ec o n t r a r y ，t h eh i g h e rt h ec o n c e n t r a t i o nd i s t r i b u t i o n o nt h i s b a s i s ，w ep r e s e n tan e wb l o c k m a t c h i n ga l g o r i t h mi nt h i sp a p e r ：a c c o r d i n gt ot h e p r e d i c t i o nm o t i o nv e c t o rs a dv a l u ew es e td i f f e r e n tt h r e s h o l d sa n ds e a r c ht e m p l a t e s t h es m a l l e rp r e d i c t e ds a dv a l u ei s ，t h es m a l l e rt h es e a r c hr a n g ei s o nt h ec o n t r a r y t h e w i l d e rt h es e a r c hr a n g ei s a l g o r i t h ma l s o u s e st h eg r a d i e n t b a s e dd e s c e n ts e a r c h t e c h n o l o g yt oi m p r o v et h ea c c u r a c yo ft h ea l g o r i t h m e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e a l g o r i t h mi si m p r o v e db y0 0 016 d b - - 0 0 2 6 5 d bi np s n ra n dd e c r e a s e db y3 2 2 9 4 5 3 2 i nm e t i m et h a nu m h e x a g o n sa l g o r i t h m k e y w o r d s ：v i d e oc o d i n g m o t i o ne s t i m a t i o n b l o c k - m a t c h i n ga l g o r i t h m s e a r c ha l g o r i t h m 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特另t l d l 以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：涟望刍 本人承担一切的法律责任。 日期b o 3 。一 日期鱼生：兰! 生 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本人签名： 导师签名： 日期五垒：! ! 里 e t 期丛皇! 茎o 第一章绪论 第一章绪论弟一早三百下匕 1 1 课题背景 视频编码技术是通过有损或无损的方式实现数据量的有效压缩，它是视频处 理技术中的重要组成部分。现实中，图像和视频中包含了大量的数据，如果直接 对原始视频数据进行传输，将导致无法进行连续的视频信息实时传输。因此，视 频数据只有进行有效的压缩才能具有实用价值。 在视频图像序列中，通过减少相邻帧与帧之间的时间相关性可以大幅的提高 编码效率。基于块匹配的运动估计( b l o c km a t c h i n gm o t i o ne s t i m a t i o n ，b m m e ) 技术 是视频压缩过程中的一项核心技术，它可以有效去除时间冗余，已经被许多的视 频编码标准采纳。 h 2 6 4 几w c 是由i t u t 视频编码专家组( v c e g ) 和i s o i e c 动态图像专家组 ( m p e g ) 联合组成的联合视频组( t ，j o i n tv i d e ot e a m ) 提出的高度压缩数字 视频编解码器标准。与当前的各类视频压缩标准相比，它采用了相同的基于块的 运动补偿技术，但同时它又采用了更加灵活的宏块分割策略、高精度的运动补偿 技术、多帧预测以及去块滤波技术。在同样的视频质量条件下，它比h 2 6 3 节约 了5 0 的码率，但是这些特性又极大的增加了它的计算复杂度，因此设计高效简 单的运动搜索策略是非常重要的。 随着人们对运动估计技术研究的不断深入，众多经典的运动估计算法被提出， 相继有全搜索算法( f u l ls e a r c ha l g o r i t h m ，f s a ) 也称穷尽搜索法，三步搜索法( t h r e e s t e ps e a r c h ，t s s ) ! ，新三步搜索法( n o v e lt h r e es t e ps e a r c h ，n t s s ) t 2 1 ，四步搜索法 ( f o u rs t e ps e a r c h ，f s s ) t 引，基于块的梯度下降搜索算法( b l o c k b a s eg r a d i e n td e s c e n t s e a r c h ，b b g d s ) e 4 1 ，菱形搜索法( d i a m o n ds e a r c h ，d s ) 【5 1 ，六边形搜索法 ( h e x a g o n b a s es e a r c h ，h e x b s ) l 6 1 ，u m h e x a g o n s 算法【_ 7 。实际上，当前运动搜索算 法的计算量仍然占h 2 6 4 整个编码过程的4 0 左右。 1 2i s o i e c 编码标准 自2 0 世纪8 0 年代中后期至今，视频压缩编码技术获得了飞速的发展。国际 标准化组织( i s o i e c ) 和国际电信联盟( i t u t ) 带l j 定了先后一系列国际视频编码标 准。 2基于h 2 6 4 a v c 运动估计算法研究 1 2 1i s o h e c 编码标准 ( 1 ) m p e g 1 标准【8 】 m p e g 1 标准制定于1 9 9 2 年，标准编号i s o i e c l 11 7 2 ，它主要针对1 5 m b p s 以 下数据传输率的数字运动图像及其伴音编码的国际标准，它在c d - r o m 上存储同 步和彩色运动视频信号码率为1 5 m b s 。该标准包括三部分：m p e g 1 视频、音频和 系统。 ( 2 ) m p e g 2 标准【9 j m p e g 2 标准第一版草案制定于1 9 9 2 年，1 9 9 4 年正式颁布为国际标准，标准 编号i s o i e c l 3 8 1 8 。该标准是在兼容m p e g 1 的基础上实现了低码率和多声道扩 展，是针对标准数字电视和高清度电视在各种应用下的压缩方案和系统层的详细 规定，同时也是国际主流的s d t v 和h d t v 的编码标准。 ( 3 ) m p e g 一4 标准l 1 0 1 m p e g 4 标准第一版草案子1 9 9 9 年2 月公布，2 0 0 0 年初正式成为国际标准，标 准编号i s o i e c l 4 4 9 6 。作为一款开放的标准，新内容和新算法也不断加入其中。 由于具有基于内容的编码方法和灵活的组合结构，并同时采用了工具箱的方法， 因此，m p e g 一4 能支持各种各样的新功能，应用前景广阔。 m p e g 一4 的最初目的是针对视频会议、视频电话的超低比特率编码，但在调查 过程中m p e g 感受了两大变化，并据此立即修改了方案，制定现在意义上的m p e g 一 4 。这两个变化是： 1 ) 、硬件基础的变化：高性能通用芯片性价比的提高。 2 ) 、需求的变化：对多媒体信息，特别是视频流的应用要求由播放型转向基于 内容的访问，操作性。 为了支持对动态视频的基于内容访问，m p e g 4 中引入了对象( o b j e c t ) 的概念， 事实上就是基于对象方法得到分层区域，因此，基于对象的方法是基于内容压缩 编码中的一种主要算法。 m p e g 4 视频标准提供了在多媒体环境下视频数据有效存储、传输和操作方面 的核心技术。同时为了达到宽广而不限于某一狭窄的应用，m p e g 一4 考虑了应用集 的功能。因此m p e g 4 中视频部分以工具和算法的形式提供了对各种功能的支持， 如有效的压缩、对象的可扩展性、空域和时域的可扩展性、纠错等功能。要达到 m p e g 4 的目标，主要由基于内容的视频数据表示方法来决定。一个场景可看作又 一系列具有各自特性的视频对象组成，其性质包括形状、运动、纹理。这种基于 对象的表示方法是在多媒体应用中实现对象交互的关键，在这样应用中，用户可 以访问任意形状的对象并对其进行操作。 因为m p e g 4 标准的编码是基于对象的，因此这样就便于操作和控制对象，而 第一章绪论 3 传统压缩方法是基于帧的，这显然无法操作对象。由于传输宽带的限制，必须对 压缩比特率进行控制，这样直接影响图像的质量。过去在比特率低的时候，整帧 图像的质量都受到影响，不具有灵活性；而m p e g 4 对比特率的控制可以基于对象， 即使在低比特率时，也可以利用码率分配方法，对于用户感兴趣的对象可以多分 配一些比特率，而对于用户不感兴趣的对象可以分配少一些比特率，这样就保证 了图像的主观质量。 m p e g 4 中的对象操作可以使用户在用户端直接将不同对象进行拼接，得到用 户集合成的图。这在传统方法中是无法直接实现的。同时，m p e g 4 在扩展上具有 很好的灵活性，可以进行时域和空域扩展。这在m p e g 2 中也有一些体现，但它并 不突出。而在m p e g 4 中，可根据现场带宽和误码率，在时域空域进行扩展。时域 扩展是在带宽允许时在基本层之上的增强层中增加帧率，在带宽窄时在基本层中 减少帧率，以达到充分利用带宽，使图像质量更好的目的。空域扩展是指对基本 层中的图像进行采样插值，以增加或减少空间分辨率。 、 1 2 2i t u t 编码标准 ( 1 ) 、h 2 6 1 标准【1 1 1 h 2 6 1 标准是由i t u t 于1 9 9 0 年公布的，又称“p 6 4 k b s 视听业务的视频编码器 ( 1 - - - 3 0 ) ”，它具有覆盖整个i s d n ( 综合业务数字网) 基群信道的功能，也适用于会话 业务的活动图像编码，被广泛应用于会议电视和可视电话。 ( 2 ) 、h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + 标准1 1 2 1 i t u t 又于1 9 9 5 年7 月推出了低码率视频压缩编码的h 2 6 3 建议，其技术核心仍 为混合编码方法，但借鉴了m p e g 2 中的半像素运动估计和运动补偿技术及双向预 测技术，可实现l l h 2 6 1 更高的压缩比，从而用于实现低于6 4 k b s 的视频压缩编码。 i t u t 在1 9 9 8 年推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二版，它提供了1 2 个新的 可选择模式，进一步提高了压缩编码性能。i t u t 又在2 0 0 0 年推出了h 2 6 3 + + ，对 h 2 6 3 又做了一些新的扩展，增加了一些新的可选技术，从而更加适应于各种网络 环境，增强了差错恢复的能力。 ( 3 ) 、h 2 6 4 标准【1 3 】 h 2 6 4 标准是由i t u t 的v c e g ( v i d e oc o d i n ge x p e a sg r o u p ) 和i s o i e c 的 m p e g ( m o t i o np i c t u r ee x p e l sg r o u p ) 联合成立的“联合视频组”，j v t ( j o i n tv i d e o t e a m ) 共同制定的新一代视频编码新标准，2 0 0 3 年3 月，公布标准的最终草案，称 作h 2 6 4 a v c 或m p e g 4v i s u a lp a r t l 0 。h 2 6 4 能提供比m p e g 4 和h 2 6 3 标准更高的 压缩性能，使图像的数据量减少5 0 ；对网络传输具有更好的支持，引入了面向数 据包的编码技术，这有利于将数据打包在网络中传输；它具有较强的抗误码特性， 4基于h 2 6 4 a v c 运动估计算法研究 以适应在噪声干扰大、丢包率高的无线信道中传输数据；对不同应用的时延要求， 它具有灵活的适应性；同时，它的编码和解码复杂度具有可扩展性。除了上述国 际标准之外，中国也制定了具有自主知识产权的音视频编码标准。2 0 0 3 年1 1 月底， 中国国家信息产业部“数字音视频编解码标准组”正式发布了a v s ( a u d i ov i d e o c o d i n gs t a n d a r dw o r k i n gg r o u po fc h i n a ) 标准草案。标准草案的视频部分编码效率 可以达到m p e g 2 的2 到3 倍，编码实现复杂度明显降低。 1 3 研究目标 研究目的是通过研究现有的各类块匹配运动估计算法，分析预测运动矢量和 最优运动矢量的关系，在此基础上以提高视频质量和减少运动搜索时间为目标， 针对h 2 6 4 编码过程，提出新的高效的运动搜索策略和算法，并且通过j m 8 6 软 件平台验证算法的优越性。 1 4 本论文的组织结构 针对以上的研究目标，本文的研究工作和内容组织如下： 第一章介绍了本文的研究目的和课题的背景，另外介绍了基于块的运动估计 算法研究现状以及本文的组织结构； 第二章研究了视频编码的基本原理以及研究现状，分析了h 2 6 4 的编码过程 和关键技术； 第三章研究了最优运动矢量和s a d 的分布规律，并分析了现有的各类运动估 计算法以及各自的优缺点； 第四章针对现有算法的不足，本文对预测运动矢量和最优运动矢量的关系进 行了大量的统计分析实验和仿真，并得出统计结论，在此基础上提出了一种针对 h 2 6 4 的基于阈值的多边形白适应快速搜索算法( t h r e s h o l d b a s e ds e l f - a d a p t i n g p o l y g o nf a s ts e a r c h ，t a p f s ) ； 第五章对本算法进行了试验和仿真，在运动估计的搜索质量和速度两个方面 证明了该算法的优越性。 1 5 本章小结 本章主要介绍了本文的研究背景、视频压缩标准、基于块匹配的运动估计的研 究现状，另外还列出了本文的研究目的和组织结构。 第二章基于h 2 6 4 a v c 的视频编码原理 5 第二章基于h 2 6 4 a v c 的视频编码原理 2 1 引言 h 2 6 4 a v c 是一种优秀的视频压缩标准，在当前视频编码领域占有重要的地 位。它是由国际电信联盟( i t u t ) 视频编码专家组和国际标准化组织国际电工委员 会( i s o i e c ) 运动图像专家组在h 2 6 l 的基础上联合开发的具有高质量、低比特率的 标准，主要应用在数字电视广播与存储、互联网视频流信息服务和视频移动传输 等领域。 2 2h 2 6 4 标准概述 2 2 1h 2 6 4 标准的特性 h 2 6 4 视频编码标准的基本构成延续了原有一些标准的基本特性，同时为了提 高编码性能它又引入了很多新的特性，主要包括： 1 ) 、更高的编码效率：同h 2 6 3 + 或m p e g 4 相比，在获得相同图像质量情况下， 它可平均节省约5 0 的码率【l 钔。 2 ) 、高质量的图像：可在所有码率( 含低码率) 条件下提供较高质量的视频图像。 3 ) 、自适应的延时特性：可工作于低延时模式下，用于实时的通信应用( 例如： 视频会议) ，也能用于无延时限制的应用，如视频存储，视频流服务器等。 4 1 、容错功能：h 2 6 4 提供了解决了网络传输丢丢失问题的工具，适用于高误 码传输的无线网络中视频数据传输。 2 2 2h 2 6 4 标准的档次 h 2 6 4 标准分为三种档次，分别为基本档次( b a s e l i n ep r o f i l e ) 、主要档次( m a i n p r o f i l e ) 和扩展档次( e x t e n dp r o f i l e ) ，不同的档次支持一组特定的编码功能，同时支 持一类特定的应用。 1 ) 、基本档次主要包含低复杂、低延时的技术特征，主要针对交互式的应用， 考虑到恶劣环境下的容错性，它的内容都被其它更高级别的p r o f i l e 所包含，只对i s l i c e 及ps l i c e 进行操作，主要用于可视电话、会议电视、无线通信等实时视频通信 领域【8 】【1 5 】。 6基于h 2 6 4 a v c 运动估计算法研究 2 ) 、主要档次是针对更高编码效率的应用，它不支持f m o ( f l e x i b l em a c r o b l o c k o r d e r i n g ) ，a s o ( a r b i t r a r ys l i c eo r d e m g ) ) 和r s 等技术，只支持对i ，p ，bs l i c e 处理 操作，主要用于数字广播电视与数字视频存储。 3 ) 、扩展档次的设计主要是针对流媒体的应用，它包括了所有容错技术、对比 特流的灵活访问和切换技术。 2 3h 2 6 4 a v l 编码原理概述 从信息论角度看，图像可作为一个信源，描述信源的数据是信息量( 信源熵) 和信息冗余量之和。信息冗余量有许多种，如空间冗余、时间冗余、结构冗余、 知识冗余、视觉冗余等，数据压缩的实质就是减少这些冗余量。因此，减少冗余 量实际上是减少数据量而不减少信源的信息量。从数学的角度讲，图像又可以看 作一个多维函数，压缩的实质就是减少函数之间的相关性。 根据图像信息的组成元素，h 2 6 4 采用了帧内预测、帧间预测、运动估值和运 动补偿、整数变换等技术，以提高图像的压缩率。其中帧内预测是h 2 6 4 根据图像 中相邻像素的相似性，利用相邻像素的相关性，采用了新的帧内预测模式，通过 当前像素块的左边、上边和右上的像素( 已编码重建的像素) 进行预测，只对实际值 和预测值的差值进行编码，从而用较少的比特数来表达帧内编码的像素块信息； 而帧间预测通过多帧参考等方法对下一帧进行精确预测，从而减少传输的数据量， 实现降低图像的时域相关性。h 2 6 4 把运动估值和帧内预测的残差结果从时域变换 到频域，采用t 4 x 4 离散余弦变换( d c t ) 的整数变换，而不是像m p e g 一2 和m p e g - 4 那样采用的8 8d c t 浮点数变换。以整数为基础的空间变换具备效果好、计算快( 只 需加法与移位运算) ，反变换过程中不会出现适配问题等优点，并且结合量化过程， 保证了在1 6 位计算系统中，计算结果有最大精度且不会溢出。因此，4 x 4 的变换块 比8 8 更能减少块效应和震铃效应。 l t 厂、 + 量化 l 扫描4熵编码 当前帧 门蹙烈篁厌 m 厂订舡， l 参考帧i 7 l ：二i l j i，j 翟困咂丑觚 l_ j 去块滤波l 乇一反变换l 一反量化l i 运动估计f 器 l 、l l 一 第二章基于h 2 6 4 a v c 的视频编码原理 7 图2 1 视频编解码框图 与之前的各类标准相比，h 2 6 4 采用了相同的运动补偿加变换编码的混合结 构，即m c d c t 结构。其编码器结构主要由前向支路和重构支路构成，如图2 1 所 示： h 2 6 4 编解码器基本功能简述如下： ( 1 ) 编码器 编码过程中，原始视频数据进入编码器后，当采用帧内编码时，首先选择相 应的帧内预测模式进行帧内预测；随后对实际值和预测值之间的差值进行变换、 量化和熵编码，同时编码后的码流经过反量化和反变换之后重构预测残差图像， 在与预测值相加得出重构帧，得出的结果经过去滤波器平滑后送入帧存储器。 采用帧间编码时，输入的图像块首先在参考帧中进行估计，得到运动矢量。 运动估计后的残差图像经过整数变换、量化和熵编码后与运动矢量一起送入信道 传输。同时另一路码流以相同的方式重构后经过去块滤波后送入帧存储器作为下 一帧编码的参考帧。 ( 2 ) 解码器 当压缩码流送入解码器时，首先进行判断：如为帧内编码，则直接进行反量 化、反变化加以重构；如果是帧间编码，所得到的是重构的残差图像，此时需要 根据帧存储器中的参考图像进行运动补偿后与残差图像进行叠加，得出最终的重 构帧。 2 4h 2 6 4 的关键技术 2 4 1 帧内预测编码模式 对每个宏块编码时，有i n t r a 或i n t e r 两种模式。在i n t r a 模式中是直接对宏块 进行d c t 变换，对变换系数进行熵编码。这样在一定程度上消除了帧内空间冗余 度，但是d c t 只是利用了宏块内部像素之间的相关性，而没有考虑相邻宏块间的 相关性。因此，h 2 6 4 引入了i n t r a 预测的方法，利用相邻宏块之间的相关性对待 8基于h 2 6 4 a v c 运动估计算法研究 编码的宏块进行预测，再对预测残差进行变换编码，以消除空间冗余。与之前的 标准在变换域中进行预测不同的是，h 2 6 4 是直接在空间域中进行预测。 帧内预测技术是提高视频压缩比的关键，该技术不仅可以提高i 帧的压缩效 果，而且在帧间预测找不到匹配块时，用帧内预测可以达到好的预测效果。当一 个块或一个宏块采用帧内预测的时候，预测块将由相邻的并且经过编码、解码和 重建的像素来产生，因为这些像素与当前块的像素有一定的相关性。然后当前块 与预测块相减，对差值进行编码。h 2 6 4 标准中包括9 种4 4 亮度块的预测、4 种 1 6 1 6 亮度块的预测和4 种色度块的预测。 i 、4 4 亮度块预测： mabcde fg h i j k 三 口bcd p g 勿 z 3 后， m刀d p 图2 24 4 的亮度块及预测所用到的相邻像素 如图2 2 所示，4 4 的亮度块与相邻的像素a m ，这些分布在上面和左面的 像素都是经过编码和解码重建的，预测块是通过对相邻像索a m 的计算获得的。 图2 3 表示了不同预测模式的预测方向，通过预测来去除像素在这个方向上的相关 性。 心彦： 衫 f4 图2 34 4 亮度块帧内预测的方向 在完成预测块的计算之后，编码器要从9 种预测模式中选择一种最好的模式。 第二章基于h 2 6 4 a v c 的视频编码原理 9 因为相邻块的帧内预测模式是高度相关的，如图2 5 所示，块a 和b 都是已经编 码的4 x 4 块，分别位于当前块c 的上面和左面，那么c 的预测模式和a 、b 的预 测模式是相关的，可从a 、b 的预测模式中得出c 最可能的预测模式 m o s t p r o b a b l e m o d e 。 m彳口cdefgh i 3 k 1 r1 r1r 1 r 3、p l a n e ) m彳 口cde fgh j j k m口 cde， g l j 、 k 工 4 ( d i g o n a ld o w n - r i g h t ) m爿占cdfgh l 添 j k 三 m4bcdefgh i 缈 j k m彳ibcd fg目i l j m e a n k 上 5 ( v e r t i c a 一r i g h t ) m爿口cdefgh l 淤 j k l m彳占cde，gh l i 彩 j k 图2 44 x 4 亮度块帧内预测示意图 选择当前块c 的最佳预测模式b e s t m o d e 的具体准则是按下面的公式计算，最 佳预测模式的c o s t 最小。 c o s t = s a d + ，l a m d a ( q p ) 式( 2 1 ) 其中s a d 表示当前块与预测块的绝对差的和，o p 表示量化参数，l a m d a ( q p ) 为率失真因子，r 的取值与m o s t p r o b a b l e m o d e 有关，当最佳模式等于 m o s t p r o b a b l e m o d e ，则r 为o ，否则为l 。 么 bc 图2 5 当前4 x 4 亮度块与相邻块 1 0基于h 2 6 4 a v c 运动估计算法研究 i i 、1 6 x 1 6 亮度块的预测 与4 4 亮度块一样，1 6 x 1 6 亮度块也是由相邻的重建像素产生预测块，图2 6 表示了预测的方向，与4 x 4 块一样，通过预测来去除像素在这个方向的相关性。 1 6 x 1 6 的预测对图像平坦的区域比较有效。 0 ( v e r l l c a n 日 矿 1 r1r 1 | i ： y 图2 61 6 x 1 6 亮度块帧内预测的方向 i i i 、色度块的预测 色度块也有4 种预测模式，与1 6 x 1 6 的亮度块基本一样。 2 4 2 帧间预测编码模式 h 2 6 4 的运动估计采了许多新技术，包括可变块大小预测、多帧运动估计、亚 像素精度的运动估计以及去块效应滤波等。 ( 1 ) 、去块效应滤波 它是用来消除解码图像中的块效应。块效应产生的原因是在对各个宏块分别 进行量化，这样导致在相邻宏块的交界处，因量化步长不同而导致原本很接近的 像素值重构后产生了较大的差异，形成明显的块边界。去块效应滤波就是在4 x 4 的块边界上滤波，使块边界趋于平滑。 ( 2 ) 、可变块大小技术 块的大小对运动估计效果有重要影响。将宏块分割成不同尺寸的运动补偿子 块称作树状结构运动补偿。分割方式分为宏块和子宏块两种，每种又分为4 种不 同的分割( 如图2 7 所示) ，小的分块可以使运动估计更加精确，从而产生较小的 运动残差，降低码率。在h 2 6 4 建议的不同大小的块选择中，一个宏块最多可以 携带1 6 个不同的运动矢量。配合多帧运动估计，同一宏块中的不同块又可以使用 不同的参考帧来进行预测。 第二章基于h 2 6 4 1 a v c 的视频编码原理 图2 7 运动补偿的宏块分割 ( 3 ) 、多帧运动估计 与以前视频压缩标准中使用单帧运动估计技术不同的是，h 2 6 4 使用了多帧运 动估计技术，该技术具有更高的效率，更强的差错稳健性。多帧运动估计是指使 用一个或多个参考帧对运动矢量进行估计，这可以防止因某个帧出现差错而影响 到后面帧的运动估计估计效果。不足之处是，这种多帧估计需要更大的内存和更 高的运算复杂度。 ( 4 ) q l ；像素精度的运动估计 h 2 6 3 采用了半像素精度运动估计，而h 2 6 4 中将运动估计精度提高到1 4 像 素，并且把1 8 像素作为可选项。与半像素精度的运动估计一样，亚像素精度的运 动估计使用内插的方法得到半像素和1 4 像素位置的点。 2 4 3 整数d c t 变换 h 2 6 4 标准中对残差宏块的基本变换使用了4 4 的整数d c t 变换技术，这种 变换的对象是经过运动补偿预测或者帧内预测后的包含残差数据的4 4 像素块。 这种变换是基于d c t 变换，但又与之不同。 由于d c t 变换是实数，量化时需对系数进行四舍五入，这就影响了运算的精 度。同时，传统的d c t 存在不匹配问题，产生参考帧的偏移现象，直接影响到重 建图像的质量。h 2 6 4 标准中整数d c t 变换的所有操作都使用了整数算法，变换 的核心部分主要是加法和移位。在整个变换和量化的过程中，只执行1 6 b i t 的整数 算法和一次乘法操作。h 2 6 4 整数变换的公式为： y = ( c x c 7 ) 圆e = 1 2基于h 2 6 4 a v c 运动估计算法研究 卅 j ， 口2 嘭 a b 6 2 ，。_ 己，4 a 2 嘭 a b ，。_ z -b ，2 凸| ： 式( 2 2 ) 其中，x 为输入，c 为变换矩阵，y 为输出，a = 1 2 ，6 = 历， 表示相 应位置的系数之间的乘积。因此可以把矩阵e 中的系数放入量化之中。相应的反 变化公式如下t x = c ( 】，圆瓯，) c 7 = 11 1 1 必一1 1 ，厶 1 一必一1 1 厶 1 1 1 一 幢 4 x 4 亮度的d c 系数变换 1 一 一1 l 1 一 式( 2 - 3 ) 此变换仅用于1 6 x 1 6 的帧内编码块的亮度信号，每个4 x 4 的块首先进行整数变换， 反变换公式为： x q d = x d 晌 如l o 2 0 x d 3 0 y q d 0 0 y q d i o y q d 2 0 y q d 3 0 x d 娆 x d 1 2 2 2 3 2 0 3 1 3 x d 驺 x 0 3 3胪 矿矿 l 1 一 一 l2 o 之l，_ll 如如k 如如k 墨五墨 。，。，。l1j 之o ，io o 2o 之 。忽o o 。见 6 2 6 2 口6 口6 2 6 2 6 口 口 口 口 6 2 6 2 口6 口6 书萨 3 3 3 3m 耽儿 2 2 2 2耽耽乃m 耽儿 1 1 一 i 1 一 一 1 ll 1 1 一 一 叭 n 孔 孔如如 1 1 一 i l 一 一 1ll 1 1 一 一 4 5 2 2 式il式 l l 一 l - 1 一 一 1ll 1 1 一 一 ” ” 胗胗胗胗场物物场 竹 h n 胗胗胗胗 1 1 一 _ l 1 一 一 11i 1 l 一 一 第二章基于h2 6 4 i a v c 的视颠编码原理 经过反变换后的d c 系数分别插进各自的4 4 的块中，再进行4 x 4 的整数反 变换。在帧内块中，大部分能量集中在d e 系数中，这部分变换的作片j 是用于去除 4 x 4 亮度d c 系数之间的相关性，进而提高压缩效率。 2 x 2 色度d c 系数变换 每个宏块中都有两个8 8 的色度块，每个色度块又分为4 个4 x 4 的块。色度 块经过变换之后，分离出两个2 x 2 的d c 系数块，和亮度一样再进行一次变换， 讯变换表达式为： = 隐跏1 式( 2 6 ) 反变换的表达式为： = 隰跏i 柳， 经过反变换后的d c 系数分别插入各自的4 x 4 的块中，在进行4 x 4 的整数反 变换。与亮度的d c 系数变换一样，有效的去除相关，提高压缩效率。 h2 6 4 中的宏块大小为1 6 x 1 6 ，对其中每个4 x 4 大小的块进行上述4 x 4 的d c t 变换后，得到1 6 个4 x 4 的变换矩阵。为了进一步提高压缩效率，该建议允许把每 个4 x 4 的变换矩阵中的直流分量d c ，单独取出组成一新的4 x 4 矩阵，对此矩阵进 行h a r d a m a r d 变换。宏块的数据传送顺序如图28 所示。 i - 5 】61 7 一、一、 心、 - r ti r t - r 1 3 q 1 8 1 9 y 2 i 2 2 h 、 、l、i 一一r - 1 r _ 1 5 2 0 【2 l 2 32 4 “l?r 幽28 亮度和色度块的排序 宏块内数掘的传送顺序如图28 所示。如果宏块采用1 6 x 1 6 帧内模式进行编码， 标记i 1 的块最先传送，该块包含宏块的亮度块的d c 系数( 4 x 4 ) 。然后将0 到1 5 块的d c 系数设为零，再按顺序进行转换。块1 6 ，1 7 分别包含2 x 2 太小的亮度信 弓g 和c r 的d c 系数。最后是亮度块的残差系数1 8 到2 5 ，其中块d c 系数置零。 i。_ p 二- 1 4基于h 2 6 4 a v c 运动估计算法研究 2 4 4 熵编码 h 2 6 4 建议的两种熵编码模式有两种：基于上下文的二进制算术编码c a b a c 和可变长编码v l c 。v l c 编码又包括基于上下文的自适应可变长编码c a v l c 。 c a b a c 方式利用了算术编码的方法，一个符号可以用少于l b i t 来表示。根据 无误码假设条件下的试验所得的数据可知，在所有码率下，c a b a c 的性能都强于 c a v l c 。但是c a v l c 的抗误码性要强于c a b a c ，且运算的复杂度也远远低于 c a b a c 。因此，h 2 6 4 规定在b a s e l i n ep r o f i l e 中采用c a v l c ，而在m a i np r o f i l e 中 则采用了c a b a c 进行熵编码。 h 2 6 4 还包含了很多新的设计思想，旨在增强算法的鲁棒性和灵活性，以可适 应不同的网络环境【1 6 1 。 1 、参数集合结构：参数集合的设计为关键信息的鲁棒性和高效安全性提供了 保障。在之前的标准中如果关键信息丢失了几个比特( 比如序列的头或图像的头信 息) 可能严重影响解码过程，在h 2 6 4 中对这些关键信息用更为灵活的方法单独处 理。 2 、n a l 单元语法结构：h 2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单元。与以前的视频标准强制系统使用特定的比特流接口不同，h 2 6 4 的n a l 单 元语法结构允许根据特定的网络自定义合适的方法来传送视频内容。 3 、灵活的s l i c e 大小：与m p e g 2 中定义的固定的s l i c e 结构不同，h 2 6 4 中 的s l i c e 大小与早些的m p e g 1 一样是非常灵活的。 4 、灵活的宏块顺序( f m o ) ：提出了一种将图像划分成被称为s l i c e 组的新方法， s l i c e 组中的每一个s l i c e 都可以作为一个单独的解码单位。有效利用了这一点，灵 活的宏块顺序就可以显著增强数据丢失的鲁棒性。 5 、任意的s l i c e 顺序( a s o ) ：因为编码图像的每一个s l i c e 基本都可以与图像中 的其他s l i c e 独立地进行解码，所以在h 2 6 4 的设计中，可以以任意顺序发送和接 收图像中的s l i c e 。这种能力可以改善实时应用中端到端的延时，尤其是使用乱序 发送的网络。 6 、冗余图像：为了增强抗数据丢失的鲁棒性，h 2 6 4 的设计中允许编码器发 送图像某些区域的冗余表示，这样当基本表现部分在传输过程中丢失时，仍可以 表现图像的某些区域。 7 、数据分割：在表现视频内容时，某些编码信息比别的信息更为重要或更有价 值( 如运动矢量或其它预测信息) ，因此，h 2 6 4 允许每个s l i c e 的语法可以按语法 元素的范畴被分为三个不同的部分进行传输。 8 、s p s i 同步图像转换：s p s i 帧是h 2 6 4 设计的两种新的图像类型，通过使 用s p s i 帧就可以在解码端做到与其他解码器正在产生的视频流精确同步，而无需 第二章基于h 2 6 4 a v c