（信号与信息处理专业论文）时空域联合的svc层间预测及模式选择技术研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 随着无线和口多媒体通信技术的发展及各种视频应用的普及，人们对图像编码的要求 越来越高，不仅要求编码技术达到较高的压缩效果，而且要求它能够根据传输条件和应用 场合的不同而提供不同的图像质量。传统的视频编码技术无法适应差异如此广泛的应用场 景，于是可分级视频编码( s v c ) 技术应运而生，称为近年来视频编码领域的一个研究热点。 论文首先阐述了可分级视频编码的一些关键技术和国际上最新的研究进展和动向，然 后基于最新的视频编码标准h 2 6 4 a v c ，深入研究了s v c 中空域可分级的层间预测和模 式选择技术。首先，针对i n s c a l e 算法会使在空域预测过程中产生系统性偏差，以及将时 空残差分别进行预测造成的计算上的复杂性，本文提出了一种改进的时空域联合的层间预 测算法( m i n s c a l e ) ，基于新的高低频划分方法、通过图像高频部分的预测过程来改善低频 部分的量化误差，有效地利用空间和时间的相关性去除层间冗余信息。其次，对宏块级模 式选择方法进行了研究，基于s v c 的编码复杂度分析，分析了相邻空域层的宏块模式相关 性，层间残差预测模式的复杂性，提出了s v c 的模式选择优化算法，该算法不仅可以用于 m i n s c a l e ，并且可以用于一般情况下j s v m 的模式选择。它通过普通模式优化、低时间级 宏块优化和层间残差预测优化等三个层次代价比较，改进模式选择的效率。 通过对标准测试序列的实验结果证明，低码率的情况下，m i n s c a l e 算法可以取得比 i n s e a l e 算法更好的性能，具有更强的实用性；而新的模式选择优化算法在保证p s n r 和比 特率无明显变化的情况下，能够使基于m i n s c a l e 的s v c 平均编码时间减少约4 5 、使标 准s v c 的平均编码时间减少约5 5 ，显著的提高了两个系统的编码效率。 关键词：s v c ，层间预测，模式选择，i n s c a l e 算法 南京邮电大学硕士研究生学位论文 a b s t r a c t w i t ht h e d e v e l o p m e n to fw i r e l e s s a n dm u l t i m e d i ac o m m u n i c a t i o nt e c h n o l o g ya n d p o p u l a r i z a t i o no fv a r i o u sk i n do fv i d e oa p p l i c a t i o n ，t h ed e m a n do ni m a g ec o d i n gi sg e t t i n g s t r o n g e r , w h i c hn o to n l yp r o d u c e sb e t t e rc o m p r e s s i o n ，b u ta l s op r o v i d e sd i f f e r e n tl e v e l so fi m a g e q u a l i t ya c c o r d i n gt od i f f e r e n tt r a n s m i s s i o nc o n d i t i o n sa n da p p l i c a t i o n s f o rt h er e a s o n sa b o v e ， s v ch a sb e c o m eo n eo ft h er e s e a r c hh o t s p o ti nv i d e oc o d i n gf i e l di nr e c e n ty e a r s i nt h i st h e s i s ，w ef i r s ts t a t es o m ek e yt e c h n o l o g yi ns v ca n dl a t e s tr e s e a r c hp r o g r e s sa n d t r e n d sw i t h i nt h ew o r l d ，t h e n , b a s e do nl a t e s tv i d e oc o d i n gs t a n d a r dh 2 6 4 a v c ，w es t u d y i n t e r - l a y e rp r e d i c t i o na n dm o d ed e c i s i o ni ns p a t i a ls c a l a b i l i t yo fs v c i n t od e p t h i n0 1 1 1 s t u d y , f i r s t l y , a i m e da ts o l v i n gs y s t e m a t i ce r r o rc a u s e db yi n s c a l ea l g o r i t h mi nt h ep r o c e s so fs p a t i a l p r e d i c t i o n a n dc a l c u l a t i v ec o m p l e x i t yc a u s e db y s e p a r a t e l yp r e d i c t i o no ft e m p o r a l s p a t i a l r e s i d u a l ，w ep r o p o s eam o d i f i e dj o i n ts p a t i a l - t e m p o r a li n t e r - l a y e rp r e d i c t i o na l g o r i t h m ( m - i n s e a l e ) t h i sa g o r i t h mi sb a s e do nt h en e wh i g ha n dl o wf i e q u e n c yp a r t i t i o n i n gm e t h o d ， t h r o u g ht h ep r e d i c t i o np r o c e s so fh i g hf r e q u e n c yp a r to fi m a g et oi m p r o v eq u a n t i z a t i o ne r r o r f r o ml o wf r e q u e n c yp a r t , t h u se f f e c t i v e l ym a k i n gu s eo fs p a t i a la n dt e m p o r a lc o r r e l a t i o nt o 粥m o v ei n t e r - l a y e rr e s i d u a li n f o r m a t i o n s e c o n d l y , w es t u d ym a c r o b l o c k - b a s e dm o d ed e c i s i o n ， t h e nw ea n a l y z et h ei n t e r - l a y e rm a c r o b l o c km o d e r e l a t i o n s h i pi nn e i g h b o r i n gs p a t i a ll a y e ra n d c o m p l e x i t yo fi n t e r - l a y e rr e s i d u a lp r e d i c t i o n a tl a s t ，w ep r o p o s ea no p t i m i z e dm o d ed e c i s i o n a l g o r i t h mf o rs v cw h i c hc a i lb ea p p l i e db o t ht os t a n d a r ds v ca n ds v cb a s e do nm - i n s c a l e t h i sa l g o r i t h mi m p r o v e st h ee f f i c i e n c yo fm o d ed e c i s i o nb yc o m p a r i s i o no fc o s tt h r o u g ht h r e e l e v e l s ，s u c h 私o p t i m i z a t i o no fn o r m a lm o d e ，m a c r o b l o e ki nl o wt e m o r a ll e v e la n di n t e r - l a y e r r e s i d u a lp r e d i c t i o n e x p e r i m e n tr e s u l t s o ns t a n d a r dt e s t i n gs e q u e n c e ss h o wt h a t i nl o w - b i t r a t ec o n d i t i o n ， m i n s c a l ea l g o r i t h mo u t p e r f o r m si n s c a l ea l g o r i t h m ，a n do b t a i n sm o r ep r a c t i c a b i l i t y l i k e w i s e ， t h en e wm o d e - d e c i s i o no p t i m i z a t i o na l g o r i t h mf o rs v cc o u l dr e d u c ea v e r a g ec o d i n gt i m eo f s v cb a s e do nm i n s c a l eb y4 5p e r c e n to nt h ep r e m i s eo fn od i s t i n c tc h a n g e so fp s n ra n d b i t r a t e ，i ta l s oc a i lr e d u c ea v e r a g e c o d i n gt i m eb y5 5p e r c e n to fs t a n d a r ds v c ，s ot h a t d r a m a t i c a l l yr a i s et h ec o d i n ge f f i c i e n c yo ft h e s et w os y s t e m s k e yw o r d s ：s v c ，i n t e r - l a y e rp r e d i c t i o n ，m o d ed e c i s i o n ，i n s e a l ea l g o r i t h m i l 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名堑蚂嗍啦 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：遗监 导师签名：蚴 日期 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 当今时代，随着信息技术和计算机互联网的飞速发展，多媒体信息已成为人类获取信 息的最主要载体，同时也成为电子信息领域技术研究和开发的热点。众所周知，人类获取 的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度 极大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技 术是多媒体应用的核心技术，对视频压缩编码技术的研究已成为信息技术领域的热门话 题。 传统的视频压缩编码技术需要为不同的应用场合提供一套专用的压缩与传输系统，随 着网络技术和各种终端设备特别是手持终端的发展，新的视频应用对传统视频压缩技术提 出了新的要求： ( 1 ) 压缩后的视频流能动态地适应网络带宽的变化 ( 2 ) 具有健壮地抵抗网络传输差错的能力 ( 3 ) 能够同时满足不同计算能力的用户终端的需求 分级编码技术( s e a l a b l ev i d e oc o d i n g ，s v c ) 】，又称为可伸缩编码技术，能够对信号只 编码一次，而根据不同的码率和不同应用的需求从部分码流中解码，为满足以上要求提供 了一个简单而灵活的方案，是网络视频传输的一项关键技术和研究热点。 1 1 视频编码标准化的进展 视频编码技术的飞速发展和广泛应用的标志就是一系列视频编码的国际标准的制定， 即国际电信联盟电信标准化部i ( i t u t ) 关于电视电话会议电视的视频编码标准h 2 6 1 【2 j 、 h 2 6 3 p l 、h 2 6 3 十+ + 、h 2 6 4 t 4 1 ，以及国际标准化组织( i s o ) 和国际电工委员会( i e c ) 中的运 动图像专家组( m p e g ) 制定的关于活动图像的编码标准m p e g 1 、m p e g 一2 1 2 1 和m p e g - 4 等 【5 1 o h 2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可视电话应 用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗余 的d c t 变换的混合编码方法。h 2 6 3 建议的是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充，支持码率小于6 4 k b i t s 的应用。但实质上h 2 6 3 以及后来的h 2 6 3 + 和 h 2 6 3 + + 己发展成支持全码率应用的建议，支持的图像格式涵盖了s u b q c i f 、q c i f 、c i f 、 南京邮电大学硕士研究生学位论文第一章绪论 4 c i f 、甚至高清晰度级别的16 c i f 等格式。 m p e g 1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) 质量的图像，是为 c d - r o m 光盘的视频存储和播放所制定的。m p e g - i 标准视频编码部分的基本算法与 h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v l c 游程编码等措施【2 1 。此 外还引入了帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概念【2 】，进一步提高了编 码效率。在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做 了一些改进，例如它的运动矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分 帧和场。近年推出的m p e g 4 标准引入了基于视听对象( a v o ：a u d i o v i s u a lo b j e c t ) p j 的编 码，大大提高了视频通信的交互能力和编码效率。m p e g 4 中还采用了一些新的技术，如 形状编码、自适应d c t 、任意形状视频对象编码等。但是m p e g 4 的基本视频编码器还是 属于和h 2 6 3 相似的一类混合编码器。 h 2 6 4 j a v c 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 运动图像编码 专家组) 的联合视频组( t ：j o i n tv i d e ot e a m ) 开发的一个新的数字视频编码标准，它既是 i t u t 的h 2 “，又是i s o i e c 的m p e g - 4 的第1 0 部分。1 9 9 8 年1 月份开始草案征集， 1 9 9 9 年9 月，完成第一个草案。2 0 0 1 年5 月制定了其测试模式t m l 8 。2 0 0 2 年6 月的t 第5 次会议通过了h 2 6 4 的f c d 版。2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它采用“回归 基本”的简洁设计，不用众多的选项，却能获得比h 2 6 3 + + 好得多的压缩性能；加强了对各 种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目 标范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合的需求；它的基本系 统是开放的，使用无需版权。在技术上，h 2 6 4 标准中有多个改进，如统一的v l c 符号编 码，高精度、多模式的位移估计，基于4 x 4 块的整数变换、分层的编码语法等。这些措施 使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应m 和无线网络的应用。 1 2 可分级视频编码技术 现代视频传输和存储系统正在越来越多地采用互联网和无线移动网络来提供实时的 服务。由于客户端设备和网络状况的多样化，需要提供不同的编解码系统来满足用户的要 求。系统的重复建设会造成不必要的损失，在这种情况下，需要一种能够自动的适应不同 2 南京邮电大学硕士研究生学位论文第一章绪论 网络状况和终端设备的编解码系统来满足各种需求。因此，s v c 开始称为国际研究的热点。 以h 2 6 4 a v c 为代表的混合视频编码标准都是基于d p c m t 6 l 的，d p c m 的特征是在编 码端和解码端同步的预测环。预测环之间的误差经过积累将会对视频质量产生明显的影 响。子带编码或者变换编码不会产生上述问题，所以，人们对运动补偿3 d 小波变换视频 编码进行了拓展研究，并应用于可分级视频编码中。基于小波的视频编码的研究成果使得 运动图像专家组( m p e g ) 展开了对这项技术的研究。2 0 0 3 年l o 月，在一次探讨新的可分级 视频编码标准的国际会议上，运动图像专家组( m p e g ) 进行了一次投票表决，1 4 名评委中 有1 2 个人赞成研究基于3 d 小波变换的分级视频编码，而其余两人则建议对h 2 6 4 a v c 做扩展研究。 此后，运动图像专家组( m p e g ) 对两个方案做了6 个月的评估，并对两种方案在未来的 应用前景进行了详细的评判。最终在2 0 0 4 年1 0 月的一次会议中，运动图像专家组( m p e g ) 确定了以h 2 6 4 a v c 的可分级扩展作为该组织的s v c 项目的切入点【7 j 。2 0 0 5 年1 月，联 合视频组( j v t ) 决定将s v c 作为h 2 6 4 a v c 的一个修正案，以附录g 的形式加入到h 2 6 4 标准中嗍。在2 0 0 6 年1 0 月的t 会议上，提出了h 2 6 4 a v c 可伸缩扩展集的第8 版草案， 软件参考模型为联合可分级视频模型( j s v m j o i n ts e a l a b l ev i d e om o d e l ) 9 , 此后在历届t 会议上，j s v m 模型得到不断的改善，并且在2 0 0 8 年9 月确定了最终版本。 1 3 本文主要工作 本人所作的工作描述如下： ( 1 ) 对基于h 2 6 4 的分级视频编码( s v c ) 技术和其相关参考模型j s v m ( j o i n ts c a l a b l e v i d e om o d e l ) 进行深入的分析研究。 ( 2 ) 研究空域可分级视频编码的层间预测技术，重点研究r x i o n g 等人提出的i n s e a l e 层间预测算法【1 0 1 1 1 】【1 2 1 ，针对i n s e a l e 层间预测算法的不足提出了一种改进的时空域联合的 层间预测算法( m i n s e a l e ) ，通过仿真实验分析改进算法的性能。 ( 3 ) 研究s v c 的模式选择算法，并提出一种基于m i n s e a l e 的s v c 的模式选择优化算 法，在保证编码质量的条件下，提高基于m i n s c a l e 的s v c 的编码速度。 1 4 本文内容组织 全文共分五个章节，内容组织如下： 第一章：绪论。本章首先简要介绍了视频编码标准的发展历程；然后介绍了可分级视 3 南京邮电大学硕士研究生学位论文第一章绪论 频编码标准的发展状况；最后说明了本人的主要工作和论文的组织结构。 第二章：基于h 2 6 4 a v c 的分级视频编码标准。本章首先介绍了可分级视频编码的三 种主要形式：时域、空域、质量可分级；然后详细介绍了空域可分级视频编码的层间预测 技术；最后对s v c 标准参考模型j s v m 做了简要介绍。 第三章：基于时空域联合的s v c 层间预测方法研究。本章首先介绍了r x i o n g 等人 提出的i n s c a l e 层间预测算法，并对它进行了深入的分析。然后对i n s c a l e 算法进行仿真实 验，并将实验结果和标准s v c 进行比较；接下来分析了i n s c a l e 算法存在的问题，并提出 一种改进的时空域联合的s v c 层间预测方法( m i n s c a l e ) ；最后，对提出的新算法进行仿 真，并与i n s c a l e 算法进行分析比较。 第四章：基于宏块级模式选择的s v c 编码优化技术研究。本章首先借助工具软件对 s v c 编码复杂度进行了分析，明确s v c 编码需要优化的部分；然后以分析结果为基础， 从空域增强层的普通模式、低时间级宏块和层间残差预测模式等三个层次进行优化，提出 了一种基于m i n s c a l e 算法，又能适应一般s v c 的模式选择优化算法；最后，对各种优化 方案及最终的优化算法进行了仿真和分析。 第五章：总结与展望，总结了本文所作的工作，并对该课题进一步研究的重点方向进 行展望。 4 南京邮电大学硕士研究生学位论文 第二章基于h 2 6 4 a v c 的分级视频编码标准 第二章基于h 2 6 4 a v c 的分级视频编码标准 2 1h 2 6 4 a v c 视频编码技术简介 h 2 6 4 a v c 是由i t u t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组( m p e g ) 联 合组成的联合视频组( t ，j o 缸v i d e ot e a m ) 提出的高效数字视频编码标准。该标准第一版 的最终草案已于2 0 0 3 年5 月完成。 m p e g - - 4 技术的特点是灵活，而h 2 6 4 着重于解决压缩的高效率和传输的高可靠性， 因而其应用面十分广泛。具体来说，h 2 6 4 支持三个不同档次的应用f 1 3 】： ( 1 ) 基本档次：主要用于“会话型视频应用”，如会议电视，可视电话，远程医疗，远程 教学等； ( 2 ) 扩展档次：主要用于网络的视频流媒体业务，如视频点播； ( 3 ) 主要档次：主要用于消费电子应用，如数字电视广播，数字视频存储等。 2 1 1h 2 6 4 a v c 视频编码框架 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编码后的视频比特流 的句法和该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能够互通，在实 现上具有较大的灵活性，而且有利于互相竞争。h 2 6 4 编码器的功能组成如图2 1 所示。 厂厂1 ：一厂r 1 厂 l 1上婴习三咧 j 一幽飞) 堙h 裁内 l l 田一 i 岁、坠斥习仄习 图2 - 1h 2 6 4 编码器【1 3 】 从图2 1 可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g l 、m p e g 一4 ) 中的 编码器功能块的组成并没有什么区别，主要的不同在于各功能块的细节。 5 南京邮电大学硕士研究生学位论文第二章基于h 2 6 4 a v c 的分级视频编码标准 2 1 2h 2 6 4 a v c 标准主要特点 h 2 6 4 的功能分为两层，即视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ， n e t w o r ka b s t r a c t i o nl a y e r ) t 1 3 】【1 4 1 。v c l 数据即编码处理后的输出，它表示被压缩编码后的 视频数据序列。在v c l 数据传输或存储之前，这些编码的v c l 数据，先被映射或封装进 n a l 单元【1 3 1 中。 每个n a l 单元包括一个原始字节序列负荷( r a s p ) 、一组对应于视频编码数据的n a l 头信息。 ( 1 ) n a l 单元结构 一个n a l 单元结构是一个包含一定语法元素的可变长字节的字符串，例如n a l 单元 可以携带一个编码片，a 、b 、c 型数据分割或一个序列或图像参数集。每个n a l 单元由 一个字节的头和一个包含可变长编码符号的字符串组成。头部含有三个定长比特区，如图 2 2 所示，它包括：n a l u 类型( t ) 、n a l r e f e r e n c e i d c ( r ) 和隐藏比特位( f ) 。n a l u 类型用5 b i t 来代表n a l u 中的3 2 种不同类型特征，类型1 - - 1 2 是h 2 6 4 中定义的；类型 2 4 3 1 是用于h 2 6 4 以外的，r t p 负荷规范使用这其中一些值来定义包聚合和分裂，其他 值为h 2 6 4 保留。r 比特用于在重构过程中标记一个n a l 单元的重要性，其值为0 ，表示 这个n a l 单元没有用于预测，因此可被解码器抛弃而不会有错误扩散；其值高于o ，表示 此n a l 单元要用于无漂移重构，且值越高，对此n a l 单元丢失的影响越大。最后是隐藏 比特位，在h 2 6 4 编码中默认置为0 ，当网络识别到单元中存在比特错误时，可将其置为l 。 f 位主要用于适应不同种类的网络环境( 比如有线无线相结合的环境) 。 l2345678 tr f 图2 - 2n a l u 头结构 ( 2 ) 视频编码层 h 2 6 4 a v c 的视频编码层遵循基于块的混合视频编码方案，它的基本原理和h 2 6 3 、 m p e g - 4 等较早的编码标准很相似。但是h 2 6 4 a v c 也包含一些新的特征，使它的压缩效 率能够获得显著的提升。和过去的编码标准比起来，它最大的区别就在于较好的灵活性和 适应性。 a 精细的宏块分割模式 每个宏块( 1 6 x 1 6 象素) 可以按照4 种方式进行分割：1 个1 6 x 1 6 ，或2 个1 6 8 ，或2 6 南京邮电大学硕士研究生学位论文第二章基于h 2 6 4 a v c 的分级视频编码标准 个8 x 1 6 ，或4 个8 x 8 。其运动补偿也相应有4 种。而8 x 8 模式的每个子宏块还可以进一步 以四种方式进行分割：1 个8 x 8 ，2 个8 x 4 或2 个4 x 8 及4 个4 x 4 。这些分割和子宏块大大 提高了各宏块之间的相关性。这种分割下的运动补偿则称为树状结构运动补偿【1 4 1 ，如图2 3 所示。 m t y p e 8 x 8 t y p e 1 6 x 1 6 1 6 x 8 8 x 1 6 8 x 8 口日田圜 8 x 8 8 x 44 x 84 x 4 口圉田圜 图2 - 3 宏块及子宏块分割图 每个分割或子宏块都有一个独立的运动补偿。每个m v 必须被编码、传输，分割的选 择也需要编码压缩到比特流中。对大的分割尺寸而言，m v 选择和分割类型只需少量的比 特，但运动补偿残差在多细节区域中的能量将非常高。小尺寸分割运动补偿残差能量低， 但需要较多的比特表征m v 和分割选择，分割尺寸的选择影响了压缩性能。整体而言，大 的分割尺寸适合于平坦区域，而小尺寸适合于多细节区域。 宏块的色度成分( o r 和c b ) 贝i j 为相应亮度的一半( 水平和垂直各一半) 。色度块采用和亮 度块相同的分割模式，只是尺寸减半( 水平和垂直方向都减半) 。色度块的m v 也是通过相 应的亮度m v 的水平和垂直分量减半得到的。 b 高精度估计 在h 2 6 3 中采用了半像素估计，在h 2 6 4 中则进一步采用1 4 像素的运动估计。即真 正的运动矢量的位移可能是以1 4 像素为基本单位的。显然，运动矢量位移的精度越高， 则帧间编码误差越小，传输码率越低，即压缩比越高。在h 2 6 4 中采用了6 阶f i r 滤波器 的内插获得1 2 像素位置的值。当1 2 像素值获得后，1 4 像素值可通过线性内插获得，对 于4 ：1 ：1 的视频格式，亮度信号的1 4 像素精度对应于色度部分的1 8 像素的运动矢量，因 此需要对色度信号进行1 8 像素的内插运算。理论上，如果将运动补偿的精度增加一倍( 例 如从整像素精度提高到1 2 像素精度) ，可有0 5 b i t s a m p l e 的编码增益，但实际验证发现在 运动矢量精度超过l 8 像素后，系统基本上就没有明显增益了，因此，在h 2 6 4 中，只采 用了1 4 像素精度的运动矢量模式，而不是采用1 8 像素的精度。 c 多参考帧运动估计 7 南京邮电大学硕士研究生学位论文第二章基于h 2 6 4 a v c 的分级视频编码标准 在h 2 6 4 中，可采用多个参考帧的运动估计，即在编码器的缓存中存有多个刚刚编码 好的参考帧，编码器从其中选择一个给出更好的编码效果的作为参考帧，并为每一宏块指 示是哪一帧被用于预测。 d 高精度帧内预测 在以往的视频编码标准中，都是采用帧间预测的方式，而将采用帧内编码的图像称为 i 帧图像，i 帧图像中的每个宏块都是以帧( i n t r a ) 模式进行编码，编码过程中直接对宏块 进行d c t 变换、量化、熵编码，这样就导致i 帧图像中包含了大量的冗余信息，不利于图 像压缩。为了提高编码效率，h 2 6 4 a v c 标准引入了帧内预测编码，通过周围已编码的相 邻宏块的重建块对当前宏块进行预测，然后对当前宏块的实际值和所得到的预测值之间的 残差进行变换编码，就能用较少的比特数来表示帧内编码的像素块信息，这样就利用相邻 像素的相关性去除了空间冗余。 e 4 x 4 块的整数变换 h 2 6 4 与先前的标准相似，对残差采用基于块的变换编码，但变换是整数操作而不是 实数运算，其过程和d c t 基本相似。这种方法的优点在于：在编码器中和解码器中允许 精度相同的变换和反变换，便于使用简单的定点运算方式。也就是说，这里没有反变换误 差。变换的单位是4 x 4 块，而不是以往常用的8 x 8 块。由于用于变换块的尺寸缩小，运动 物体的划分更精确，这样，不但变换计算量比较小，而且在运动物体边缘处的衔接误差也 大为减小。为了使小尺寸块的变换方式对图像中较大面积的平滑区域不产生块之间的灰度 差异，可对帧内宏块亮度数据的1 6 个4 x 4 块的d c 系数( 每个小块一个，共1 6 个) 进行第 二次4 x 4 块的变换，对色度数据的4 个4 x 4 块的d c 系数( 每个小块一个，共4 个) 进行2 x 2 块的变换。 h 2 6 4 为了提高码率控制的能力，量化步长的变化幅度控制在1 2 5 左右，而不是以 不变的增幅变化【h 】。变换系数幅度的归一化被放在反量化过程中处理以减少计算的复杂 性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 灵活的熵编码方案 h 2 6 4 a v c 支持两种方式的熵编码，一种是对所有待编码的符号采用统一的 v l c ( u v l c ：u n i v e r s a lv l c ) t 6 1 ，另一种是采用内容自适应的二进制算术编码( c a b a c ： c o n t e x t - a d a p t i v eb i n a r ya l g o r i t h mc o d i n g ) t 6 1 。c a b a c 是可选项，其编码性能比u v l c 稍 好，但计算复杂度也高。u v l c 使用一个长度无限的码字集，设计结构非常有规则，用相 同的码表可以对不同的对象进行编码。这种方法很容易产生一个码字，而解码器也很容易 地识别码字的前缀，u v l c 在发生比特错误时能快速获得重同步。 8 南京邮电大学硕士研究生学位论文第二章基于h 2 6 4 a v c 的分级视频编码标准 2 2 基于h 2 6 4 a v c 的分级视频编码标准 2 0 0 5 年2 月，m p e g 和v c e g 联合把可分级编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 作为 h 2 6 4 标准的修改，并起草了h 2 6 4 标准的可分级性扩展第一草案。h 2 6 4 标准的s v c 利 用分层结构有效地结合时域、空域及质量可分级性【7 】。这种结构本身提供时域可分级性； 空域可分级性与h 2 6 3 ，m p e g 2 4 等标准中的方法相比增加了几个层间的预测机制，如： 层间纹理预测、运动预测、残差预测等【8 l ；质量可分级性是通过h 2 6 4 标准中冗余信息的量 化这一步改进得到的，即先用与h 2 6 4 标准兼容的编码方法编码最低质量的视频流，然后 对变换系数逐次细分进行编码，得到增强层码流。h 2 6 4 标准的s v c 把以上3 种有机的结 合在一起，使输出码流能适应较大的网络带宽动态变化范围，提供可分级性更强的视频流。 图2 4 两层空域分级的s v c 分级编码器结构嘲 图2 - 4 所示方框图是一个带有两层空域的典型例子。每一层都应用了独立的分层运动 补偿预测结构。与传统的h 2 6 4 a v c 一样，对于一个输入的视频源序列来说，编码时是以 宏块为基本单位进行编码的。由于编码器是采用分层的方法来进行空间分级的，所以编码 器提供了一个下采样滤波器，输入的视频序列经过下采样后，就产生了一个具有较低的空 间分辨率的视频序列。也就是说，空间分级的两层是来自于同一视频源的，因此相关性非 常大。一般情况下，下采样比率为2 ( t i p 空间基本层分辨率是其空间增强层分辨率的一半) 。 对于时空分级来说，根据不同的应用需求，不同层可能具有不同的帧率。 h 2 6 4 扩展草案支持多种可分级类型，其中包括了时域分级、空域分级和质量分级这 三种分级模式。 9 南京邮电大学硕：上研究生学位论文第二章基于h 2 6 4 a v c 的分级视频编码标准 2 2 1 时域分级 分级视频编码中，时域分级是一个重要的技术，它能够为用户提供不同时域分辨率的 图像。对于一个视频序列的比特流，当相应的访问单元( a c c e s su n i t s ) 1 5 】集合被分为一个时 域基本层和若干时域增强层时，此比特流就可以提供时域分级功能。在j s v m 中，每个时 域层对应一个时间级，最低时域层对应0 时间级，第2 个时域层对应1 时间级，依此类推。 在对当前图像做运动补偿预测时，只能使用时间级低于或等于当前图像的参考帧，通过这 种方法来实现时域分级。先前的视频编码标准如h 2 6 2 ，h 2 6 3 ，m p e g 4 等，在某种程度 上已经提供了时域分级性【1 4 1 。而h 2 6 4 a v c 由于其参考帧图像内存控s s j ( r e f e r e n e ep i c t u r e m e m o r yc o n t r 0 1 ) b 4 】功能，在实现时域分级上具有更大的灵活性。 在早期的j s v m 模型中，时域分级技术是通过运动补偿时域滤波( m c t f ：m o t i o n c o m p e n s a t e dt e m p o r a lf i l t e r i n g ) b 6 来实现的。由于该技术实现较为复杂，在中后期的j s v m 模型中已经被淘汰，仅作为编码端的一个预滤波工具来改善某些序列的率失真性能【1 7 1 1 引。 目前的j s v m 模型中，时域分级是通过等级b 帧( h i e r a r c h ybp i c t u r e ) 】来实现的。 图2 5 描述了一个总共有四级时间分解的等级预测结构。在这里首先给出关键帧的定 义：若某一帧图像前面所有被编码的图像在显示顺序上都先于这帧图像，那么这帧图像就 叫关键帧( a n c h o rf r a m e ) t 1 9 1 。例如，在图2 5 中的第0 、8 和1 6 帧就是关键帧。某个关键帧图像 和位于这个关键帧和前面的关键帧之间的所有图像加起来叫做一个图像组( g o p ) 【1 9 1 。例如， 图2 5 中的第l 到第8 幅图像就组成了一个图像组。图像组的大小一般是固定的，但也可以是 非固定的。视频序列的第一帧编码为i 帧。关键帧可以使用帧内预测编码，也可以利用前一 个关键帧作为参考图像进行帧间预测编码。图像组中的其它图像编码使用b 帧，但是编码 的顺序是按照金字塔分级的顺序进行的。以图2 中的第一个g o p 为例，首先编码第8 帧，然 后编码第4 帧，接下来是第2 和第6 帧，最后编码第l 、3 、5 、7 帧。通过这样的一个在时间 上分等级的编码结构就内在地实现了时间可分级性。所有的关键帧组成了最粗糙时间分辨 率的视频序列，随着在编码顺序上的图像的递增，时间分辨率也跟着增加，最后达到完全 时间分辨率的视频序列。 在h 2 6 4 a v c 中，任意编码类型的图像都可以被标记为参考帧用于其他图像的运动补 偿预测。解码图像缓存( d p b ) 【1 4 】最多可以存储1 6 幅图像，并且由内存管理控制操作 ( m m c o ) t h j 命令自适应地来控制。d p b 中存储的这些参考图像可以通过参考图像列表重排 序( r p l r ) 1 4 l 命令任意选择。h 2 6 4 a v c 的这些技术特点使得等级b 图像编码结构在s v c 标 准内不需要任何修改就可以实现。 1 0 南京“b 女学坝 h r $ r * 女* = 十h2 “a v c h g 桃编q # m ! 堡! 竖! p ) 。 、二、。j 么二。 啡黼 i p o ib 3b 2b 3b lb ) b 2b 3i p o ：b ，b 2b 图2 - 5g o p 为8 的等级b 帧编码j 项序 在j s v m 标准模型中，等级b 帧结构的编码精度和每个时间级的量化参数的选取有很大 的关系。通常来说，时域基本层的图像应该进行最高质量的编码，因为这些图像将直接或 间接地被用做陔g o p 内其他图像做运动补偿预测时的参考帧。下一个时间级的图像就应该 选择大一些的量化参数因为这些图像的质量对其他图像的影响较小。按照这个原则，在 等级b 帧结构中，每一个时间绂的图像的量化参数应该逐渐增加。此外，最佳的量化参数 也和视频信号的特征有关。 在使用j s v m 模型时，g o p 的大小对编码效率有较大影响，g o p 较大时可以获得较好 的编码质量，但也会带来较大的编码时延。因此如何选择合适的g o p ，还需要根据视频序 列的特性及收发端状况来具体分析。 2 22 空域分级 在h2 6 4 a v c 的s v c 扩展中，空域分级采用的是分层的方法，通过金字塔式的窀问 分解 2 0 l 来生成多个不同空间分辨率的信号。每个空间分辨率都对应个新的空间编码层。 空间多分辨率信号的产生是通过下采样滤波器来实现的。一个可分离13 抽头滤波器h ( k ) “” 用在输入图像的2 维下采样之前。这个滤波器与m p e g4 视觉验证模型中的滤波器b 相同， 其系数如下： h ( 】c ) = 2 0 ，- 4 ，一3 ，5 ，1 9 ，2 6 ，1 9 , 5 ，一3 ，402 6 4 如蚓2 4 中所示，由于低分辨率层是由高分辨率层通过下采样得到的，因此在具有相同 时间帧率的情况下，每一个高层帧都有与之相对应的低层帧，两者之问必然存在着一定的 相关性，我们称这种相关性为层问冗余l 。所以，在每一个增强层中，除了使用传统的单 屠编码时所运用的运动补偿预测技术和帧内编码技术外，为r 提高压缩效率，有必要通过 t_l m 一。ri竹0一m iiiiu h 一ii岛伴二二j惶鱼 罢希；一衙 南京邮电大学硕士研究生学位论文第二章基于h 2 6 4 a v c 的分级视频编码标准 各种层间预测技术来消除层间冗余，这也是空域可分级的关键所在。 2 2 3 质量分级 s v c 中定义了两种质量分级方式：c o a r s eg r a i ns n r ( c g s ) 0 9 和f i n eg r a i ns n r 伍g s ) 【1 9 1 。 c g s 方式的实现类似于空域分级，其区别仅在于c g s 的不同层具有相同的空域分辨率， 因此进行层间预测时，运动信息和纹理信息都不需要缩放。高质量层通过使