已阅读5页,还剩50页未读, 继续免费阅读
(信号与信息处理专业论文)基于h264avc的空间可分级编码方法研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大连理工大学硕十学位论文 摘要 多媒体和i n t e m e t 技术的发展,要求视频编码不仅要具有好的容错性,还能根据网 络带宽、接收设备和用户需求自适应的进行调整和传输。可分级视频编码方法作为一种 高级的编码方法,能够自适应的调整码流,将视频数据只压缩一次,却能以多个帧率、 空间分辨率或视频质量进行解码,从而可支持多种类型用户的各种应用需求。基于 h 2 6 4 a v c 编码标准的空间可分级编码是目前的研究热点之一。 本文首先对可分级视频编码技术进行了简要的叙述,然后重点对空间可分级编码中 的关键技术进行了系统的分析。深入分析了目前空间可分级编码的下上采样技术,包括 直接下采样技术、小波分解下采样技术、固定系数内插技术等,在此基础上又给出了自 适应维纳滤波内插技术;另外本文对空间可分级编码中的联合运动估计技术进行了详细 地论述,并通过大量实验分析了目前已有方法的性能,在此基础上,提出了基于量化参 数加权的联合运动估计算法,该算法在权衡基本层和增强层编码效率的同时,使编码性 能有了明显提高。基于提出的改进算法,本文还提出了一种适用于实时视频编码的运动 估计方案,在编码质量下降不太明显的条件下,编码复杂度有了明显的降低;论文最后 论述了可分级编码中的层间预测技术,并根据实验结果确定本文所采用的层间残差预测 机制。 本文在理论分析基础上,进行了大量的仿真实验,并对实验结果进行了详细的分析 说明。实验结果表明,本文的改进方案在编码性能上都有一定的提高。 关键词:可分级编码;层间预测;联合运动估计;自适应内插 大连理工大学硕士学位论文 s t u d yo ns p a t i a l l ys c a l a b l ev i d e oc o d i n g b a s e do nh 2 6 4 a v c a b s t r a c t f i r s t l y ,t h i sp 印e ri n t r o d u c e st h es c a l a b l ev i d e oc o d i n gs c h e m es i m p l y ,a n df o c u s e so n t h e k e yt e c h n o l o g yo fs p a t i a l l ys c a l a b l ev i d e oc o d i n g t h e nt h i sp a p e rp e r f o 肺sd e e pr e s e a r c ho n d o v m s 锄p l i n g u p s 锄p n n g ,i n c l u d i n gd o 、l - s a m p l i n gs p a t i a u y ,w a v e l e td e c o m p o s i t i o na n d f i x e d c o e 伍c i e n t si n t e r p o l a t i o nm e t h o d s b a s eo nt h er e s e a r c ha b o v e ,a na d a p t i v ew i e n e r i m e 印o l a t i o nm e t h o di sp r o p o s e d w h a t sm o r e ,t h i sp a p e ra l s od i s c u s s e st h ec o m b i n e dm o t i o ne s t i m a t i o nm e t h o dt h a ti s u s e di ns p a t i a h ys c a l a b l ev i d e oc o d i n gi nd e t a i l ,m a k e sal o to fe x p e r i m e n t s ,a n dp r o p o s e st h e c o m b i n e dm o t i o ne s t i m a t i o nm e t h o db a s e do nq u a n t i z a t i o np a r a m e t e r s t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a nb a l a n c et h ec o d i n ge m c i e n c yo ft h eb a s e l a y e ra n d e i l l l a n c e m e m 1 a y e r ,a 1 1 da l s oi m p r o v et h et o t a lc o d i n gp e r f o n n a i l c e b a l s e do n t h ea b o v em e t h o d , t h i sp a p e ra l s op r o p o s e sac o d i n gs c h e m ew m c h c a nb eu s e di nr e a lt i m es p a t i a l l ys c a l a b l ev i d e o c o d i n g t h i ss c h e m ec a nd e c r e a s ec o m p u t a t i o n a lc o m p l e x i t yg r e a t l y ,w h i l ed o e sn o td e g r a d e m ev i d e oq u a l i t yo b v i o u s l y a tl a s t ,i n t e r l a y e rr e s i d u a lp r e d i c t i o nm e t h o da r l di t se x p e r i m e n t a l r e s u l ti sp r e s e n t e d t h i sp a p e rc a r r i e so u tal o to fe x p e r i m e n t sb a s e do nt h e o r e t i c a ls t u d y ,a n dm a k e sa n a l y s i s a b o u tm ee x p e r i m e m a ld a t am i n u t e l y t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o d s c a ni m p r o v et h ec o d i n gp e 南咖a n c ee m c i e n t l y k e yw o r d s : s c a 【a b 【ev i d e oc o d l r l g ;i n t e r 。【a y e rp r e d c t o n ;c o m b i n e dm o t j o n e s t i m a t o n ;a d a p t i v ei n t e r p o 【a t i o n 大连理工大学学位论文独创性声明 作者郑重声明:所呈交的学位论文,是本人在导师的指导下进行研究 工作所取得的成果。尽我所知,除文中已经注明引用内容和致谢的地方外, 本论文不包含其他个人或集体已经发表的研究成果,也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处,本人愿意承担相关法律责任。 学位论文题目: 兰至塑:型! 么簟芝鱼鱼垂堂里墨丛兰墨! 墨室! 垒垦茬 作者签名: 区:j 兰盘签日期:互4 年月9 日 火连理j :大学硕十学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定,在校攻读学位期间 论文工作的知识产权属于大连理工大学,允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版,可以将 本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目: 作者签名: 导师签名: 毫予h 2 a 圮咯动司习劣汲晌驾;:三听 大连理工大学硕士学位论文 1绪论 1 1研究背景和意义 随着网络、无线通信以及多媒体技术的飞速发展,视频在网上的传播越来越广泛, 同时也促使视频编码的目的由面向存储转向了面向传输。互联网多媒体新闻发布、在线 直播、网络广告、电子商务、视频点播、远程教育、远程医疗、网络电台、实时视频会 议、流媒体等互联网信息服务的不断发展,促使诸多学者对视频编码展开了广泛的研究。 由于视频图像庞大的数据量,如果不对其进行压缩处理,就不能满足视频存储所需的存 储空间以及传输的实时性。对于庞大的数据量,信息压缩是一个有效的解决途径。通过 对视频图像进行分析,去除其时间、空间、结构、视觉、内容以及纹理的统计冗余性, 可以使视频数据的存储和传输压力得以大大减轻。 传统的视频编码都是针对固定的带宽来优化视频编码质量,码流比较单一。近来由 于网络的异构性、网络传输条件的变化、用户需求的多样性以及终端接收能力的不同等 因素,要求视频编码能够提供不同质量、不同尺寸、不同传输速率的比特流,以此来适 应多变的情况。如视频点播、流媒体等,这些应用中网络的带宽是未知的:终端显示设 备小到m p 4 、手机,大到高清电视,对于视频图像的尺寸要求是不同的。由于在网络拥 塞的时候会丢弃一些不重要的数据包,使得通信没有q o s 保证。面对越来越复杂的网 络结构和时变的网络带宽以及用户的各异性,传统的单一速率、单一质量、单一尺寸的 视频越来越难以应对。此外,由于网络结构日趋复杂,加之多种接入方式的并存,使得 各个用户的带宽存在较大差异。i m e m e t 的传输模型虽然使得网络资源能够最大限度的 得到利用,但是不能保证每一个用户得到恒定的带宽,使得用户所使用的带宽经常出现 波动。带宽的波动导致视频数据会丢失,这对视频通信来说是致命的。此外,当终端显 示设备分辨率较大时,需要显示大尺寸的视频图像,而分辨率较小时,只需显示小尺寸 的视频图像即可,此时如果传输全分辨率图像无疑是对信道资源的浪费。针对上述现状, 可分级视频编码是一个很好的解决途径。它在向不同用户提供视频服务时,可以灵活的 根据网络状况、终端设备以及用户的需求来选择不同的编码和传输模式,并随时做出调 整,只编码、传输和解码适宜的比特流,便可达到最佳的效果。可分级编码不是一种新 的压缩方法,而是一种先进的图像压缩编码传输方式,在编码前对图像进行预处理,将 图像分为基本层和增强层。其基本思想是先形成一个低质量或者是低空间分辨率、低帧 率的基本层图像以低码率传输,在此基础上每附加一层代表图像细节的增强层信息,信 息码率提高一个档次,就使图像的质量提高一级,或者是空间分辨率增大,或者是帧率 基于h 2 6 4 a v c 的空间可分级编码方法研究 提高,从而实现视频图像的分级传输,以不同速度显示不同质量、不同分辨率、不同帧 率的视频图像。 1 2 可分级编码的发展现状 可分级编码随着视频编码标准的不断革新而取得了不断的发展。其中最早引入的可 分级视频编码是m p e g 一2 ,主要用于支持多层视频的播放。它主要包括以下几种可分级 编码形式:时间可分级、空间可分级、信噪比可分级、数据分割可分级。在m p e g 一4 中 则继续提出了精细粒度可分级( f i n eg r a n u l 撕t ys c a l a b l e ,f g s ) 方法。h 2 6 a v c 可分级 扩展标准是i s o i e c 组织和国际电信联盟为了满足可分级需求而最新制定的高效视频编 解码标准。基于最新的编解码技术,h 2 6 4 a v c 可分级扩展标准突破了m p e g 2 和 m p e g 4 中的时间、空间和质量分级编码中由于多次分级导致的质量急剧下降问题,以 及由于参考选取导致的漂移问题;同时也解决了m p e g 4 中f g s 为避免漂移而导致的 编码效率低下的问题,实现编码效率和漂移之间的权衡。该标准以单一的码流高效实现 了时间、空间和质量可分级。h 2 6 4 a v c 可分级扩展标准的每个编码层除了要完成传统 h 2 6 4 a v c 标准所要完成的编码操作以外,还要根据层间的相关性进行适当的层间预测 和编码。虽然层间预测和编码能够提高编码效率,但是同时也增加了复杂性,不利于扩 展标准的应用。此外,由于运动估计与补偿过程对编码效率的影响较大,因此可以根据 可分级编码的基本层和增强层之间的关系,对运动估计与补偿过程进行改进,从而进一 步提高可分级编码的编码性能【i d j 。 对于时间可分级编码,提出了等级b 图像和运动补偿时间滤波( m o t i o n c o m p e n s a t i o nt e m p o r a lf i i t e r ,m c t f ) 两种分级方法,从编码效率和抗误差累积着手, 实现编码效率和抗干扰之间的平衡。对于f g s 编码算法,虽然实现简单,可在编码速 率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性,且具有很强 的带宽自适应能力和抗误码性能,但还存在编码效率低于非可扩展编码及接收端视频质 量非最优两个不足,为此提出了渐进精细可分级编码算法( p r o 盯e s s i v ef i n eg r a n u l a r 时 s c a l a b l e ,p f g s ) 等编码方法,最大限度的提高可分级编码的性能。对于空间可分级编 码,所要编码的总数据量比原始数据大,必然造成编码效率的下降,为此在h 2 6 4 a v c 的扩展中,提出了层间预测机制,以求最大限度的去除层间的冗余,从而提高编码性能。 由于可分级编码的众多优点,其应用范围很广,在移动视频通信、a t m 分组交换 网上的视频传输、不同视频标准的相互转换、多质量级视频服务、渐进式视频传输等领 域都扮演着十分重要的角色,并且会随着多媒体、通信产业的发展应用越来越广泛,因 大连理工大学硕士学位论文 此受到人们的极大关注。但是由于可分级编码所产生的码流一般都高于单层编码的码 流,再加上网络用户的激增,信道带宽往往又是有限的,这就给视频传输带来更大挑战。 因此,如何降低提高可分级编码的压缩效率,而又不降低解码性能,成为可分级编码面 临的挑战。 本文正是基于上述问题,重点对空间可分级视频编码关键技术进行了研究,在保证 能够提供适应不同需求的可分级比特流的同时,最大限度的提高视频编码的编码性能, 加快可分级编码在实践中的应用。 1 。3 本文的研究内容和组织结构 本文对时间、空间、精细粒度可分级编码进行了介绍,并对目前研究较热门的空间 可分级编码进行了深入研究,并提出了改进措施。对于空间基本层的上采样过程,根据 基本层图像的重建质量、纹理特性给出了自适应六阶维纳内插方法。对编码性能影响较 大的运动估计与补偿过程,提出了基于量化参数加权的联合运动估计方案,同时也根据 实时性的要求,提出了用于实时视频传输的运动估计方案。此外,本文也对h 2 6 4 i ,a v c 可分级编码扩展中的层间预测机制做了介绍,并对层间残差预测做了详细的分析。 第一章简要介绍视频可分级编码的研究背景和意义,以及发展现状。 第二章介绍h 2 6 4 a v c 采用的核心编码技术,对时间可分级、空间可分级、质量 可分级、精细粒度可分级编码做了描述,并针对目前研究较广的空间可分级编码做了简 要分析,说明研究的重要性。 第三章对空间可分级编码的上下采样过程进行了详细分析,介绍几种常用的下上 采样方法,给出了自适应六阶维纳内插方法,进行实验仿真与结果分析。 第四章对影响空间可分级编码性能较大的运动估计与补偿环节进行了分析,并针对 已有的联合运动估计方案存在的不足提出了改进措施,提出了基于量化参数加权的联合 运动估计方案和用于实时视频传输的运动估计方案,并进行实验仿真,分析实验结果。 第五章介绍了空间可分级编码的层间预测机制,并对层间残差预测进行了分析,详 细介绍了几种残差机制的编码思想。 基于h 2 6 4 a v c 的空间可分级编码方法研究 2 可分级编码概述 随着可分级编码技术的发展,其在实际中的应用也越来越广泛,如在线直播、视频 点播、实时视频会议等。h 2 6 4 a v c 标准作为新一代视频编码标准,具有较高的编码性 能,同时h 2 6 4 a v c 可分级扩展( s c a l a b l ev i d e oc o d i n g ,s v c ) 也提出了一系列行之 有效的措施,每个编码层除了要完成传统h - 2 6 4 a v c 标准所要完成的编码操作以外, 还要根据层间的相关性进行适当的层间预测和编码。以h 2 6 4 a v c 作为可分级编码的 标准,能够充分利用h 2 6 4 a v c 的先进性,如多帧运动补偿、小块d c t 变换、分级量 化、基于上下文的自适应熵编码等。h 2 6 4 a v c 这些高效的编码措施,能够极大地提高 可分级编码的性能,从而加速可分级编码的发展进程。 2 1h 2 6 4 a v c 核心技术 h 2 6 4 a v c 对运动预测、变换、量化、熵编码,都进行了改进,是目前公认的编码 效率最高的视频编码标准,在同等的图像质量条件下,具有更高的数据压缩比。图2 1 是h 2 6 4 a v c 视频编码标准的核心框架,包含了视频压缩的基本步骤:预测、变换、 量化、熵编码1 4 5 j 。 编码控制 * 口 h | , 庀、 。量馋后的系效、 夕 7变换,扫描,量化 l _ l7 、 0;岳- 批,相描,撇夺托 - 熵编码 解码一一一 j 。父7 j 弋 去方块滤波器 j 。c h 一内预涓i o + _ 一运动补偿 帧存 1 1 一 l :;r _ i f 。j 缶铀仕斗l 7 l 2 刎1 口h 1 1 图2 1 视频编码框架 f i g 2 1 b l o c kd i a g r a mo f v i d e oc o d i n g 大连理工大学硕士学位论文 2 1 1 运动预测 预测编码包括帧内和帧间预测两种方式,分别从空间和时间上去除像素之间的相关 性。其中帧内预测主要是去除一幅图像内的相邻像素之间的相关性;帧间预测是为了去 除当前帧和与之相邻的几帧图像之间的对应像素点之间的相关性。对于帧间预测编码, 又可分为单向预测和双向预测两种模式。双向预测充分消除了视频图像的时间冗余性, 预测残差小,压缩效果好,但同时也增加了编解码的复杂度,而且不能用于实时视频图 像处理。由于帧间预测所需时间占整个编码时间的7 5 以上,因此优化帧间预测中耗时 的预测模式选择,以及搜索策略的选择是减少编码时间的关键所在。为减少帧间预测所 采用的时间,应充分考虑相邻帧和相邻宏块的帧间模式选择的相关性。如可将图像分为 背景区,准背景区,运动区;利用相邻帧和相邻宏块的模式,决定当前帧当前宏块的预 测模式。如静止区域和运动简单的区域多采用匹配块较大的帧间编码模式,而运动复杂 的区域多采用匹配块较小的帧间编码模式。此外,也可以根据图像的纹理复杂度来选择 块模式【6 捌。 。 : 另外为了进一步提高运动预测的精度【lo ,最终提高编码效率,h 2 6 4 a v c 中引入 了半像素、1 4 像素和1 8 像素的运动搜索,并且采用了除全局搜索法之外的钻石搜索 法和基于梯度的搜索法等,以期在编码效率和运算复杂度之间进行权衡。 2 1 2 变换编码与量化编码 变化编码和量化编码是消除像素间冗余,提高编码效率的有效方法,也是目前所有 视频编码技术中都必不可少的环节。为了提高编码效率和便于硬件实现,在h 2 6 4 中引 入了小尺寸4 4 块整数d c t 变换,使得变换操作仅用整数加减和移位操作就可以完成。 这样既降低了设计复杂度,又避免了编解码误匹配,减少分块和振铃效应,能够得到与 4 x 4d c t 变换类似的编码效果,而由此带来的编码性能的减少微乎其微。 量化矩阵是根据量化步长和整数d c t 变换矩阵共同来构建。h 2 6 4 使用分级量化 器,量化步长有5 2 级。q p 值每增加l ,量化步长q s t e p 近似地增加1 2 5 ;q p 值每增 加6 ,量化步长q s t e p 加倍。使用该分级量化方案,可以避免除法,在没有p s n r 性能 恶化的情况下能够实现最小的运算复杂度i l z j 。 2 1 3 熵编码 熵编码为统计编码,根据编码对象出现的概率分布,对出现概率小的对象分配长码 字,对出现概率大的对象分配短的码字,使编码后的平均码长接近信息熵。 视频编码对量化后的数据进行z 字形扫描之后再进行熵编码。在h 2 6 4 中,采用了 两种不同的熵编码方法:基于上下文的自适应变长编码( c o n t e x t _ b a s e da d a p t i v e 基于h 2 6 4 a v c 的空间可分级编码方法研究 v a r i a b l el e n g t hc o d i n g ,c a v l c ) 和基于上下文的自适应二进制算术编码( c o n t e x t - b a s e d a d a p t i v eb i n 2 u r ya r i t h m e t i cc o d i n g ,c a b a c ) 。c a b a c 根据当前所要编码的内容及先 前已编码好的内容,动态地选择模型来进行编码,并实时更新对应的概率模型,因此在 编码复杂度上有所增加,但是比c a v l c 提高约3 2 的压缩率 1 4 ,15 1 。 2 2 可分级编码 可分级编码的基本思想就是将视频编码的码流分成两部分,一部分称为基本层码 流,另一部分称为增强层码流。基本层码流就是由基本层图像形成的以低码率传输的码 流部分,对其进行解码可以得到一个一定质量的视频图像。增强层码流则提供图像细节 信息,将其附加在基本层上,就会使图像的质量提高一级,信息码率也提高一个档次。 因此适时传输基本层码流和增强层码流,就可以在接收端获得不同质量的视频图像,从 而实现视频图像的分级传输【i6 | 。 目前应用比较广泛的可分级编码有:时间可分级、空间可分级、质量可分级、精细 粒度可分级。 2 2 1 时间可分级 时间可分级在时间上将视频序列分割成基本层和增强层。基本层根据本身的数据编 码以提供基本的时间分辨率,增强层一般通过双向预测对基本层进行时间预测编码,然 后通过对这些层次的解码和时间多路复合来产生原始视频的全时间分辨率。在当前网络 状况不好的情况下,只传输具有基本时间分辨率的视频序列;在当前带宽允许的情况下, 将基本层和增强层同时传输,解码端可得到全时i 白j 分辨率的视频序列。 基于h 2 6 4 a v c 标准的s v c 扩展中包含了两种时间可分级技术:等级b 图像和 m c t f 。 ( 1 )等级b 图像 等级b 图像编码使用了金字塔式的编码顺序。图2 2 描述了一个4 级时间分解的等级b 图像编码结构。视频序列的第一帧编码为i 帧,然后编码关键帧( 第o 、8 帧为关键帧) 。 关键帧既可以编码为i 帧,也可以利用前一个关键帧作为参考图像编码为p 帧。图像组中 的其它图像使用b 帧编码,编码的顺序是按照金字塔式的分级顺序进行。通过金字塔式 的编码顺序就实现了时间可分级。所有的关键帧组成了最粗糙时间分辨率的视频序列, 随着在编码顺序上的图像的递增,时间分辨率也跟着增加,最后达到完全时间分辨率的 视频序列【1 7 j 。 大连理工大学硕士学位论文 在同样的量化参数条件下,b 帧图像具有更好的压缩性能。同时为了避免在某些情 况下丢失或抛弃b 帧不会影响后面图像的重建质量,b 帧不作为其他任何帧的参考预测 帧。由于b 帧是由前一帧预测或由前后两帧双向预测得到,每个g o p 内部的图像只能等 待后面的关键帧重建后才能编码,从而增加了编码的延迟。为了能够实现视频编码的实 时性,也可以采用如图2 3 所示的低延迟时间可分级编码结构。 图2 3 所示的低延迟时间可分级编码结构,仅采用前向预测,从而降低了时延。但 是由于前向预测不能对编码视频序列进行更精确的预测,导致编码残差大,从而造成编 码效率的损失。 i ,p b 3 o l g o pn 1 卜_ 一 b l 4 图2 2 等级b 图像( 倍增时间可分级编码) f i g 2 2 d y a d i ch i e r a r c h i c a lbp i c t u r e s 等级预测编码的性能在很大程度上取决于量化参数( q u a n t i z a t i o np a r 锄e t e r s ,q p ) 的选取。因为时间基本层图像要直接或间接的用于增强层的运动补偿,因此基本层图像 要具有较高的质量;而时间增强层图像相对基本层图像来说重要性降低。这样,用于基 本层的量化步长比增强层要小。为了取得较好的编码性能,q p 的选取通常是根据率失 真特性得到,但是这样会增加计算复杂度。因此为了在一定程度上满足不同时间分辨率 图像的质量要求,可以采用如下量化策略,即缎= q 只+ 3 + 丁,其中t 为时间层标识, 即对于基本层、增强层1 、增强层2 ,t = 0 ,1 ,2 ;纰为时间基本层的量化参数; 为t 0 的时间增强层的量化参数。该量化策略虽然对于信噪比会有一定的波动,但 是在主观上,重建图像的质量在时间上来说是平滑的。 基于h 2 6 4 a v c 的空间可分级编码方法研究 图2 3 低延迟时域可分级编码结构 f i g 2 3 h i e r a r c h i c a lp r e d i c t i o ns t r u c t u r ew i t hi o wt i m ed e l a y ( 2 ) m c t f m c t f 比等级b 图像多了一个更新过程,是基于提升机制的编码结构。能确保已被 时间分解的信号在不被量化的情况下进行完美的重构【1 8 。2 1 1 。提升机制的原理框图如图 2 4 所示。 ( a ) 提升机制 ( ”反提升机翻 图2 4 提升机制原理框图 f i g 2 4 bi o c kd i a g r a mo fu p d a t es c h e m e 提升机制一般包括3 个过程:多相分解,预测和更新。图2 4 ( a ) 中通过对输入信 号研k 】下采样,得到时间上分解的奇采样值研2 k + 1 】和偶采样值研2 k 】;在预测过程中, 大连理工大学硕士学位论文 研2 k + l 】采用研2 k 】的线性组合作为预测值,设预测算子为p ( s 【2 七】) ,预测残差i ;z 【纠为高 通信号;在最后的更新过程中,将组尼】的线性组合加到研2 圈上,最终将产生一个低通 信号f 【明。设更新算子为u ( 向 七】) ,则提升机制表达式如下: 办 尼 = s 【2 七+ 1 】一尸( s 2 七】) ( 2 1 ) 其中尸( j 2 七 ) = 只豇2 ( 尼+ f ) 。 f , 七】= s 2 七】+ ( 厅 七d ( 2 2 ) 其中u ( 楸】) = “。m + f 】。 2 2 2 空间可分级 空间可分级编码视频序列经过空间可分级编码后产生两个或多个不同空间分辨率 的视频流。具有最低空间分辨率的视频数据称之为基本层,高分辨率视频数据称之为增 强层。基本层视频流具有基本空间分辨率:增强层利用对基本层数据的插值处理,形成 和原始视频相同的空间分辨率。这样,基本层只是使用自身的编码信息来提供基本的空 间分辨率,增强层利用对基本层进行空间插值来生成输入视频的全分辨率,最终编码插 值后的图像与原始图像的差值【2 2 ,2 3 1 。基本层和增强层均可使用标准的编码方法。一种基 于h 2 6 4 a v c 的空间分级编码流程图如图2 5 所示。 图2 5 基于h 2 6 4 ,a v c 的空间可分级编码框图 f i g 2 5 b l o c kd i a g “i r no fs p a t i a i l ys c a i a b i ev i d e oc o d i n gw i t h i nh 2 6 4 a v c 如果将q c i f 视频作为基本层编码的输入,该基本层使用h 2 6 4 a v c 编码,输出即 为基本层码流。同时此基本层码流经反量化和逆变换后的重建图像,再经空间内插形成 基于h 2 6 4 a v c 的空间可分级编码方法研究 c i f 格式视频,作为原始视频的预测信号。将该预测信号与源信号的差值经增强层编码 器编码后输出即为增强层码流,最后基本层和增强层经复用形成c i f q c i f 可分级码流。 复合后的码流格式如图2 6 所示。其中e p s c 为增强层图像起始码,e e o p 为增强层图 像结束码。接收端可根据信道情况以及用户需求来决定是否丢弃增强层码流,而只解码 基本层图像。 洙本层的一帧增强层帧l 茎| 图像编码 +e psc+ e eop 像码流 图2 6 码流格式 f 酶2 6 b i ts t r e a mf 0 r n l a t 在空间可分级编码中,基本层和增强层分别可分成b i 、b p 和e i 、e p 帧类型( b 代表基本层,e 代表增强层,i 代表帧内编码模式,p 代表帧问编码模式) 。b i 帧经过 空间内插,形成与增强层具有相同空间分辨率的图像,并将该图像作为e i 帧的预测信 号,减少了空间冗余。从第二帧开始,不仅把b p 帧经过空间内插以后的图像作为e p 帧的预测信号,而且还把增强层已编码的前一帧作为参考进行预测,这样不仅减少了空 间冗余信息,而且还减少了前后帧之间的时间冗余信息。不管是e i 帧还是e p 帧,把基 本层作为参考进行预测时不需要运动向量。但e p 帧把前一帧作为参考进行预测时需要 运动向量。 经过预测编码后,相邻帧图像之间和同一帧内不同分辨率图像之间的时间和空间冗 余信息得以消除,得到残差信号。对残差信号再进行变换编码和量化编码,能够进一步 去除图像的冗余,减少图像数据的动态范围。对基本层残差块,采用小块的4 4 整数 d c t 变换,增强层则使用8 8 整数d c t 变换。 对于空间可分级编码,h 2 6 4 a v c 的扩展s v c 仍遵循传统的多层编码方案,每一 层对应不同空间分辨率。令d 为空间分辨率的标识,其随着空间分辨率的增加而增l , 即对于基本层、增强层l 、增强层2 ,d = 0 ,1 ,2 。 为了进一步提高空间可分级的编码效率,s v c 引入了层间预测机制( 层间帧内预测、 层间运动预测、层间残差预测) ,并且所有的层间预测机制都是可切换的。同时为了降 低解码复杂度,s v c 限制层间预测仅可以发生在一个编码单元内。 由于增强层使用基本层的编码信息,从而限制了增强层的编码效率,因为其编码对 于基本层是最优的,但对于增强层却未必是最优的。低分辨率图像代表了基本层的全部 大连理工大学硕士学位论文 信息,但是并不一定适用于层间预测。因此,在某些情况下,例如:对于缓慢运动且具 有较高空间细节的图像,用具有同样空间分辨率的前后两帧图像的平均来代替基本层的 上采样,效果比层间预测要好。这样,对于具体的应用,基本层以固定的比特率编码, 而增强层的比特率和层间预测机制则是可变的。 空间可分级编码相对于其他的可分级编码,最难实现较高的编码性能,其中的一个 原因是j v t 更倾向于得到高质量的低分辨率图像,而反对具有高编码效率、低质量的低 分辨率图像。但是随着空间可分级编码在实际中的应用越来越广泛,对其性能的改进逐 渐成为一个研究的热点。根据空间可分级编码的特殊性,可以从空间下上采样过程、运 动估计与补偿、层间预测机制等因素综合分析,以此来提高空间可分级编码的性能。 2 2 3 质量可分级 质量可分级可以看作是空间可分级编码的种特殊情况,此时空间可分级的基本层 和增强层具有相同空间分辨率。不同之处在于:质量可分级不需要上采样和进行层间帧 内预测时的去块效应滤波。此外,质量可分级的层间预测直接在变换域进行。 质量可分级是通过对视频图像不断的采用越来越精细的量化步长( 在原始域或是变 换域) 对原始数据进行量化来实现的。采用不同的量化步长会使重建的图像具有不同的 信噪比,所以用这种方法实现的可分级也通常称为信噪比可分级性【2 4 。2 7 】。编码结构如图 2 7 所示。 图2 7 质量可分级( 信噪比可分级) f i g 2 7 s n rs c a l a b l ev i d e oc o d i n g h i g h q u a i j t y l o w 在解码器端解码的第一层是基本层,基本层提供了一个低信噪比的重建图像。然后 通过对残差的细量化得到其它层,也称为增强层,这样通过基本层和增强层的共同解码 能使得重建图像的质量逐步提高,一直到最高质量。基本层是对原始图像( 空域或变换 域) 使用一个步长较大的量化器编码得到。第一层增强层是对原始图像与基本层重建图 基于h 2 6 4 a v c 的空间可分级编码方法研究 像之间的差值使用比基本层更精细的量化器后编码得到。类似的,后面每一层的增强层 都是对原始图像与上一层重建图像之间的差值使用逐渐精细的量化器后编码得到。 质量可分级包括两种类型:根粒度可分级( c o a r s e g r a i n q u a l i ysc a l a b i l l y ,c g s ) 和中粒度可分级( m e d i u m - 0 t a i nq u a l 时s c 出a b i l i 寸,m g s ) 。质量可分级编码性能的关键 在于增强层的编码效率和编解码漂移的合理设计。图28 21 1 给出了四种编码框图,每 种编码结构的编码效率和抗漂移性能不同。其中扶色代表基本层,黑白相问的代表关键 帧,白色代表增强层。 4 :_ j 潸世一书刖 图28 仅用基本层控制 f l g28 b 越e l a ”rc o m m j fttftttr 1 1r hl if l 图2 1 0 取环控制 f 嘻21 0t w o - i o o pc o n t m l 目29 仅片j 增强层控制 f 1 929e n h a n c e t l q e rc o n n d l 陲# 幕萨之军书 ¥-ri r 目璺垃0 署毋廿i 圈2 1 1s v c 中粒度可分级 f l g2 l l m o sms v c 图28 结构为一种质量可分级的的编码框架,它也被m p e g 一4 中的f o s 采用。该框 架仅用基本层的重建图像做增强层的参考,因此当增强层比特流丢失后,不会影响运动 补偿过程,从而限制了编解码之间的漂移,避免了误差累积。但是由于该方案仅用低质 量的基本层作运动补偿的参考,从而极大地降低了增强层的编码效率。 图29 采用最高质量的图像作为预禊4 参考这样既可以保证增强层具有较高的编码 效率,也确保了较低的复杂度。然而,增强层比特流的丢失,会带来编解码的漂移从 而造成误差的累积。 为了解决编码效率和漂移之间的矛盾,图21 0 给出了一种双环的运动补偿结构。基 本层图像用低质量的基本层重建作预测参考增强层用高质量的增强层重建作预测参 考。增强层比特流的丢失不会影响基本层的重建但是仍然会导致增强层编解码漂移的 大连理1 二大学硕十学位论文 产生,从而造成误差累积。此外,由于该结构采用了双环的运动补偿,这样既增加了解 码复杂度,又导致提高了对于解码缓存区的要求。 为了增加比特流的自适应性和抗误码特性,同时实现编码效率和漂移的平衡,s v c 引入了m g s ,其结构图如图2 1 1 所示。对于关键帧图像,基本层一般只以其他关键帧 图像的基本质量层作预测,而增强层可以用参考图像的增强层来预测;对于非关键帧 图像,其基本层和增强质量层都可以选用参考图像的增强质量层作预测。对每帧图像 都传输标志位i 表明是基本质量的重建图像还是高质量的图像用于运动补偿的预测; 为了限制内存的要求,又传输语法元素表明是否基本质量的图像需要额外的重建;为 了限制解码复杂度,对于关键帧,仅采用单环运动补偿。该结构将关键帧作为编解码 的重新同步点,可将漂移有效地限制在较高时间层的邻帧内。 2 2 4 精细粒度可分级 传统的时间、空间、质量可分级的步长相对于网络的变化来说太粗糙了,步长往往 是整个增强层的比特数,且网络的状况要求服务器能随着网络的真实带宽变化来进行切 实有效的调整。f g s 编码可解决上述问题。 f g s 编码的主要思想是:将信息分成基本层和增强层,基本层采用传统的非可分级 编码方法,其所产生的码流应满足视频流在网络上传输的最低带宽;增强层是从原始的 d c t 系数中减去基本层重建图像的d c t 系数获得d c t 残差( 或者是对残差图像进行 d c t 变换) ,然后对d c t 残差使用位平面编码得到增强层码流。编码框图如图2 1 2 所 示。 视频输入 图2 1 2f g s 编码框图 f i g 2 1 2 b l o c kd i a g r a mo ff g s 基于h 2 6 4 a v c 的空间可分级编码方法研究 f g s 编码过程中,基本层和增强层都是以前一帧重建的基本层图像为参考进行运动 补偿,而且增强层使用基本层运动估计时产生的运动矢量进行运动补偿。该方法的优点 是:增强层码流丢失或受损时,只需丢掉它后面一帧的增强层即可,而在随后的增强层 图像不会受到影响,从而避免了误差累积。但是该方法也有缺点:即由于基本层和增强 层都以前一帧的基本层重建图像为参考,而且增强层使用基本层的运动矢量进行运动补 偿,运动补偿效果差,从而降低了编码效率【2 8 3 0 】。 影响f g s 的编码性能的主要因素是运动补偿方案和参考图像的选取。从运动补偿 方案来考虑,主要包括以下两种方案: ( 1 ) 双环运动补偿加f g s 双环运动补偿加f g s 的基本思想是用两个相互独立的环路作运动补偿,即基本层 和增强层单独进行运动补偿。该方法对于基本层来说,与f g s 一样无须作改变,具有 良好的向前兼容性;同时增强层传输过程中发生错误也不会影响基本层。 但是由于增强层的运动参考只使用了接收到的增强层码流,而不包括基本层码流, 因此参考不够精确,编码效率不高。 ( 2 ) 单环运动补偿加f g s 单环运动补偿加f g s 使用扩展基本层作参考,可提高了运动估计的精确性。但是 该方法也有缺点,即当容许比特率小于扩展基本层的比特率的时候,由于预测漂移会累 积,这样会影响后面的预测精度,同时增强层丢包会影响基本层图像质量。 由于低增强层d c t 系数少,且d c t 值大。因而这一层的信息就少,低增强层之间 的相关性也弱,因此低的增强层不适合做参考。而又由于高增强层码率高,而大多数应 用很少能得到如此高的码率,而且高增强层d c t 值非常小,相关性较弱,也不适合作 参考。因此,只有中间的增强层才真正体现了相邻两帧之间比较强的相关性,最适合做 参考图像。 为避免误差累积问题,可从高质量的参考图像的来源分析: 当高质量参考未经过运动补偿时,由前一帧的基本层,增强层l 和2 重构一个较高 质量的图像,作为高质量参考,将该高质量的图像与原始图像相匹配,残差图像生成增 强层视频流。利用该方法,当前一帧的增强层2 无法解码时,当前帧的高质量层无法解 码,会产生误差,但是由于每一帧在解码时都会为下帧重建高质量的参考,因为误差 抑制在一帧内。 大连理工大学硕士学位论文 当高质量参考经过运动补偿时,此时高质量参考的来源比较复杂。对于i 帧,将i 帧的基本层,增强层1 和增强层2 重构一个较高质量的视频输出图像作为下一帧的参考 图像。第一个b 或p 帧:以前一i 帧重建的高质量参图像为参考,与原始图像相匹配, 来获得较高精度的运动矢量,进行运动补偿,将补偿后的残差输入高增强层码流。同时, 采用高质量的运动矢量对解码后的高增强层码流进行运动补偿,将重建的高增强层图像 作为下一帧的高增强层参考图像。第二个及以后的b 或p 帧,采用前面重建的高增强层 图像为参考,得到增强层码流。但是,当i 帧的增强层2 不能重建时,之后的预测补偿 均无法进行,容易产生误差累积。根据上述分析,增强层运动补偿参考图像的选取如图 2 13 所示。 图2 1 3 增强层运动补偿参考图像选取 f i g 2 13 t h er e f e r e n c ep i c t u r e sf o re n h a n c e m e n t l a y e rm o t i o ne s t i m a t i o n 基于h 2 6 4 a v c 的空间可分级编码方法研究 3 空间可分级编码中的下上采样技术 空间下上采样技术是空间可分级编码技术中的关键技术之一,其编码方案的好坏直 接影响到空间可分级编码的性能。空间可分级编码的基本层图像是由原始图像下采样得 到;增强层则是利用对基本层数据的插值处理,形成和原始视频相同的空间分辨率。对 于帧内编码模式宏块,增强层要用到基本层的重建图像做预测:对于帧间编码模式宏块, 增强层除了用到相邻帧的增强层图像做预测,还要用到基本层残差的上采样做预测。空 间下采样的性能影响到基本层的编码效率,空间上采样的性能则影响预测的效果,从而 影响增强层的编码效率。因此,采用有效的空间下上采样方案,对于空间可分级编码的 性能有重要的影响。常用的下采样方法主要有:小波变换、直接空间下采样( 取奇、偶 像素,或者取平均值) 。不同的下采样方法的编码效率和复杂度不同,在实际应用中应 根据具体的需求,采用适合的方案l j 。对于空间上采样,它随着s v c 层间预测机制的 引入,对空间可分级编码的性
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高一政治必修一“原始社会的解体和阶级社会的演进”教学设计
- 高中信息技术选修算法与程序设计双重循环教学设计
- 初中数学九年级下册反比例函数图象与性质复习教学设计
- 八年级物理 熔化与凝固 教学设计
- 初中物理八年级上册 1.1 声音是什么 教学设计
- 小学五年级班队活动教学设计《做自己的舵手-从被管教到自觉的成长》
- 初中八年级信息技术《改变图像大小和方向》教学设计
- 学期教学工作总结
- CN119538297A 一种基于客户端分组的联邦学习隐私保护方法 (安徽工业大学)
- CN119537506A 一种异步式服务化信息检索和索引管理方法及系统 (中国石油天然气股份有限公司)
- 东营港东营港区环抱港池内航道维护性疏浚工程环境影响报告书
- 熔化焊接与热切割培训课件
- 12J9-1 室外工程图集
- ReFi动态养老财务模型目标基准点及养老财务相关知识测试题附答案
- GB/T 29911-2025汽车租赁服务规范
- 河大版小学信息技术课件教学
- 贝壳租房合同协议
- T-CALC 007-2025 重症监护病房成人患者人文关怀规范
- 《农村既有居住建筑抗震鉴定与加固技术标准》
- ABBdcs组态课件CONDUCTORVMS操作
- DB43T 833-2016 前(后)置微耕机
评论
0/150
提交评论