（计算机应用技术专业论文）质量可伸缩性视频编码与差错控制技术研究.pdf

西南交通大学博士研究生学位论文第1 页 摘要 随着视频编码技术、网络基础设施、信息家电以及消费电子的迅速发展， 以视频内容为核心的流媒体服务已成为信息产业中极具发展前景的业务之 一。然而，不同于面向存储的视频应用，流媒体数据在传输时必须面对如网 络异构、带宽波动、传输错误、终端多样性等复杂的环境问题，需要视频编 码系统具备在较低的计算复杂度上提供时域、空域和质量域的可伸缩性能力。 可伸缩性编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 作为处理此类复杂问题的有效工 具，具有理论研究意义和实际应用价值，是目前视频编码领域中的研究热点 之一。 本文以目前最新的基于h 2 6 4 a v c 扩展的可伸缩性编码标准j v t s v c 为平台，研究了质量可伸缩性编码中的相关问题。论文针对精细颗粒度 的可伸缩性编码( f i n eg r a n u l a rs c a l a b i l i t y , f g s ) , i 粗糙颗粒度的可伸缩性编 码( c o a r s eg r a n u l a rs c a l a b i l i t y , c g s ) ，分别研究了各种编码框架及其参数优 化和码流截取问题以及增强层的差错掩盖问题。 首先，本文详细分析了f g s 基本框架及其改进框架的特点，针对低延时 下的视频应用，提出一种基于关键帧的开环一闭环混合f g s 编码框架。框架 将序列中的多数帧编码为非关键帧，非关键帧使用单预测环路的开环方式， 提高了f g s 的编码效率，但也引入了基本层漂移( d r i f t ) 。为消除漂移，周期 性地插入关键帧，关键帧使用双预测环路的闭环方式且仅从前一关键帧进行 预测，因此在基本层阻止了漂移。增强层则使用自适应参考( f g sw i t h a d a p t i v er e f e r e n c e ，a r f g s ) 技术在提高编码效率的同时保持较好的鲁棒 性。实验结果表明本文算法相对j s v c 中的a r f g s 编码框架在降低了计 算复杂度的同时，在大部分码率范围内提高了编码性能。仅在接近基本层码 率点的极低码率范围内，编码性能对具有中等或较大运动程度的序列有轻微 下降。 针对上文提出的f g s 混合框架，考虑到关键帧和非关键帧对序列整体质 量的贡献不同，提出一种非对称的码流截取算法。算法在同一f g s 层内将码 率优先分配给对序列整体质量贡献更大的关键帧，对非关键帧则平均分配。 实验结果表明，结合非对称的码流截取算法，混合f g s 编码框架的性能进一 步得到了提高。 第1 i 页西南交通大学博士研究生学位论文 其次，本文研究了a r f g s 中的漏因子选择问题。考虑到码流截取方式 间接影响着漏预测的性能，本文首先分析了j v ts v c 测试模型j s v m 中 的码流截取方式，提出一种改进的码流截取方式，保证了输出码流在帧级上 的平滑。然后提出一种自适应的漏因子选择算法，算法根据当前参考帧基本 层数据量与前一个i 帧的基本层数据量的比值，独立地为每帧选择最优的漏 因子，同时根据短期平均基本层数据量与当前参考帧基本层数据量的比值， 对所选漏因子进行调节。实验结果表明，本文算法的p s n r ( p e a ks i g n a lt o n o i s er a t i o ) 值在大部分码率范围内高于固定漏因子算法。 最后，本文研究了质量增强层的差错掩盖问题。在当前帧增强层丢失时， 有两种较为常用的差错掩盖方式：使用当前帧基本层对应位置的重建图像， 或前一帧增强层在运动补偿中对应位置的重建图像对受损图像进行掩盖。在 对这两种掩盖方式的特点和适用环境进行实验分析后，本文提出一种基于失 真度估计的自适应增强层差错掩盖算法。算法根据正确接收的基本层重建残 差以及基本层与增强层量化参数的差距，分别估计出两种掩盖方式各自的总 体失真度，并以4 4 块为单位，选择失真度小的方式进行掩盖。实验结果表 明，本文提出的自适应掩盖算法与上述两种常用掩盖方式相比，p s n r 分别 提高了约4 0 与0 6d b 。对具有中等运动程度和中等量化差距的序列，效果 尤为明显。 关键词：可伸缩性视频编码，h 2 6 4 a v c ，精细可伸缩性，漏预测，码流截 取，差错掩盖 a b s t r a c t w i t ht h ef a s t d e v e l o p m e n t o fv i d e o c o d i n gt e c h n o l o g y , n e t w o r k i n f r a s t r u c t u r e ，i n f o r m a t i o na n dc o n s u m p t i o ne l e c t r o n i c ，t h er e a l t i m es t r e a m i n g m e d i a a p p l i c a t i o n s h a v eb e c o m eo n eo ft h e m o s tp r o m i s i n gs e r v i c e so f i n f o r m a t i o n i n d u s t r y h o w e v e r , d i f f e r i n g f r o mt h e s t o r a g eo r i e n t e dv i d e o a p p l i c a t i o n s ，t h es t r e a m i n gm e d i aa p p l i c a t i o n sm u s tc o p ew i t h c o m p l i c a t e d e n v i r o n m e n tp r o b l e m ss u c ha sh e t e r o g e n e o u sn e t w o r k s ，f l u c t u a t i o no f b a n d w i d t h t r a n s m i s s i o ne r r o ra n dd i v e r s i t yo ft e r m i n a ld e v i c e s t h u s ，t h ev i d e o c o d i n g s y s t e mi sd e m a n d e dt op r o v i d es c a l a b i l i t yo ft e m p o r a l ，s p a t i a la n dq u a l i t y ( s n r ) w i t hl o wc o m p u t a t i o nc o m p l e x i t y s c a l a b l ev i d e oc o d i n g ( s v c ) ，a so n eo ft h e e f f e c t i v es o l u t i o n st od e a lw i t ht h e s ep r o b l e m s ，h a st h e o r e t i ca n da p p l i e dv a l u e ， a n di so n eo ft h ea t t r a c t i v er e s e a r c hf o c u s e so fv i d e oc o d i n gf i e l d t h ew o r ko ft h i sd i s s e r t a t i o ni sc o n c e n t r a t e do nt h es c a l a b l ev i d e oc o d i n g t e c h n i q u e s ，b a s e do nt h en e w e s ts e a l a b l ee x t e n s i o no fh 2 6 4 a v c a st ot h ef i n e g r a n u l a rs c a l a b i l i t y ( f g s ) ，d i f f e r e n tc o d i n gs t r u c t u r e sa r es t u d i e da sw e l la st h e p r o b l e mo fc o d i n gp a r a m e t e r so p t i m i z a t i o na n db i t s t r e a mt r u n c a t i o n a st ot h e c o a r s e g r a n u l a rs c a l a b i l i t y , t h ee r r o rc o n c e a l m e n to fe n h a n c e m e n tl a y e ri s r e s e a r c h e d f i r s t ，t h ef r a m e w o r ko ff g sa n ds e v e r a lc l a s s i ci m p r o v e df r a m e w o r k sa r e a n a l y z e di nd e t a i l a i m i n ga tt h el o wd e l a yv i d e oa p p l i c a t i o n s ，ak e yr e f e r e n c e f l a m eb a s e dh y b r i do p e n - c l o s el o o pf g sc o d i n gf r a m e w o r ki sp r e s e n t e d i nt h e p r o p o s e df r a m e w o r k ，m o s tf r a m e sa r ec o d e da sn o n k e yf l a m et oa c h i e v et h eb e s t c o d i n ge f f i c i e n c y t h en o n - k e yf r a m e se x p l o i ta no p e n s t r u c t u r ew i t h s i n g l e p r e d i c t i o nl o o pw h i c hu s et h eh i g h e s tq u a l i t yi m a g ea st h er e f e r e n c ep i c t u r ef o r b o t hb a s ea n de n h a n c e m e n tl a y e r m e a n w h i l e ，t h ep r e d i c t i o nd r i f ti si n t r o d u c e dt o b a s el a y e r t oc o n t r o ld r i f t ，s o m ek e yf r a m e sa r ei n s e r t e dp e r i o d i c a l l y k e yf r a m e s a r ep r e d i c t e do n l yf r o mp r e v i o u sk e yf r a m e s ，a n dac l o s e s t r u c t u r ew i t hd o u b l e p r e d i c t i o nl o o pi se x p l o i t e d t h u s ，t h ed r i f to fb a s el a y e ri sc o n f i n e db e t w e e nt w o a d j a c e n tk e yf r a m e s ，a n dt h et r a d e - o f fb e t w e e nc o d i n ge f f i c i e n c ya n dr o b u s t n e s s i sa c h i e v e d s i m u l a t i o nr e s u l t ss h o wt h a t ，c o m p a r e dw i t ha r f g s ，t h ep r o p o s e d 第1 v 页西南交通大学博士研究生学位论文 f r a m e w o r ki m p r o v e st h ec o d i n ge f f i c i e n c ys i g n i f i c a n t l ya ta l m o s tw h o l er a n g eo f b i tr a t e ，a n dl o w e r st h ec o m p u t a t i o nc o m p l e x i t ym e a n w h i l e o n l ya tt h el o w e s tb i t r a t ep o i n t sc l o s et ob i tr a t eo fb a s el a y e ra n dt ot h es e q u e n c e sw i t hm o d e r a t et o h i g hm o t i o nd e g r e e ，t h ec o d i n ge f f i c i e n c yd e c r e a s e ss l i g h t l y c o n s i d e r i n gt h ed i f f e r e n tc o n t r i b u t i o n so fk e ya n dn o n k e yf r a m e st ot h e p r o p o s e dh y b r i df g sf r a m e w o r k ，t h i sd i s s e r t a t i o np r o p o s e sa nu n s y m m e t r i c a l b i t - s t r e a me x t r a c t i o nm e t h o d t h ea v a i l a b l eb a n d w i d t hi sa l l o c a t e dt ot h ek e y f r a m e s p r i o rt ot h en o n k e yf r a m e sa m o n gt h es a m ef g sl a y e r t h el e f t b a n d w i d t hi sa l l o c a t e da m o n gn o n - k e yf r a m e sa v e r a g e l y s i m u l a t i o nr e s u l t ss h o w t h a t ，w i t ht h ep r o p o s e db i t s t r e a me x t r a c t i o nm e t h o d ，t h ep e r f o r m a n c eo fh y b r i d f g sf r a m e w o r ki sf u r t h e ri m p r o v e d s e c o n d ，t h ed e t e r m i n a t i o no fl e a k yf a c t o rf o ra r f g si ss t u d i e d b e c a u s et h e m e t h o do fb i t - s t r e a me x t r a c t i o n d i r e c t l ya f f e c t s t h e p e r f o r m a n c eo f1 e a k y p r e d i c t i o n ，t h ee x t r a c t i o np r o c e d u r eo fj v ts v ct e s tm o d e l - - j s v mo o i n t s c a l a b l ev i d e om o d e l ) i sa n a l y z e da n dam o d i f i e de x t r a c t i o nm e t h o di sp r o p o s e d t og u a r a n t e et h es m o o t h n e s so fe x t r a c t e ds u b s t r e a mo nf l a m el e v e l t h e n ，a n a d a p t i v el e a k yf a c t o rd e t e r m i n a t i o na l g o r i t h mi sp r o p o s e d t h ea l g o r i t h ms e t st h e o p t i m a ll e a k yf a c t o rf o re a c hf r a m ea c c o r d i n gt ot h er a t i oo fc u r r e n tr e f e r e n c e f r a m e sb a s el a y e rb i t r a t et ot h a to fp r e v i o u si - f r a m e s t h es e l e c t e df a c t o ri s f u r t h e ra d j u s t e da c c o r d i n gt ot h er a t i oo fs e v e r a lp r e v i o u sf r a m e s a v e r a g eb a s e l a y e rb i t r a t et ot h a to fc u r r e n tr e f e r e n c ef l a m e s s i m u l a t i o nr e s u l t ss h o wt h a t ， o v e raw i d er a n g eo fb i t r a t e ，t h ep s n ro fp r o p o s e da l g o r i t h mc a na p p r o x i m a t e o re v e ns u r p a s st h eb e s tp e r f o r m a n c eo fu s i n gf i x e dl e a k yf a c t o r l a s t ，t h i sd i s s e r t a t i o ns t u d i e st h ee r r o rc o n c e a l m e n to fs n re n h a n c e m e n t l a y e r t h r o u g hd e t a i l e da n a l y s i so ft h ec h a r a c t e r i s t i c sa n ds u i t a b l es i t u a t i o no ft w o c o m m o na n de f f e c t i v ee r r o rc o n c e a l m e n tm e t h o d s ，ad i s t o r t i o ne s t i m a t i o n b a s e d a d a p t i v e e r r o rc o n c e a l m e n t a l g o r i t h mi sp r o p o s e d b a s e do nt h ec o r r e c t l y r e c o n s t r u c t e db a s el a y e rr e s i d u ea n dt h ed i f f e r e n c eo fq u a n t i z a t i o ns t e pb e t w e e n b a s el a y e ra n de n h a n c e m e n tl a y e r ，t h ea l g o r i t h me s t i m a t e st h et o t a ld i s t o r t i o n sb y e x p l o i t i n g t h eb a s e l a y e rr e c o n s t r u c t i o no rt h ep r e v i o u se n h a n c e m e n tl a y e r r e c o n s t r u c t i o n ，r e s p e c t i v e l y t h u s ，t h ee r r o rc o n c e a l m e n tm e t h o dw h i c hl e a d st o s m a l l e rd i s t o r t i o ni ss e l e c t e dt or e c o v e rt h el o s ta r e af o re a c h4x 4b l o c k s i m u l a t i o nr e s u l t ss h o wt h a ta v e r a g ep s n r g a i n so f4 0a n d0 6d ba r ea c h i e v e d 西南交通大学博士研究生学位论文第v 页 c o m p a r e dw i t ht h eo r i g i n a l t w oe r r o rc o n c e a l m e n tm e t h o d sr e s p e c t i v e l y t h e s u p e r i o r i t yi s o b v i o u se s p e c i a l l yf o rs e q u e n c ew i t hm o d e r a t ea c t i v i t i e sa n d m o d e r a t ed i f f e r e n c eo fq u a n t i z a t i o ns t e p k e yw o r d s ：s c a l a b l ev i d e oc o d i n g ，h 2 6 4 a v c ，f i n eg r a n u l a rs c a l a b i l i t y , l e a k y p r e d i c t i o n ，b i t s t r e a mt r u n c a t i o n ，e r r o rc o n c e a l m e n t 西南交通大学曲南父逋大字 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文复印件和电子版，允 许论文被查阅和借阅。本人授权西南交通大学可以将本学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书 2 不保密影适用本授权书 ( 请在以上方框内打“寸) 篙鬻攀h 武日期：) 们听年z f 月z 中 1 精狮繇獭缮 日期：吖年华月娟 西南交通大学 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究工作 所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文研究做出贡献的个人和集体，均已 在文中做了明确的说明。本人完全意识到本声明的法律结果由本人承担。本文 的创新点有以下3 个方面： ( 1 ) 针对低延时下的视频应用，提出一种基于关键帧的开环一闭环混合f g s 编码框架。框架将序列中的多数帧编码为非关键帧，非关键帧使用单预测环路 的开环方式，有效提高了编码效率；为消除漂移，周期性地插入关键帧，关键 帧使用双预测环路的闭环方式，在基本层阻止漂移，增强层则使用a r f g s 技 术在提高编码效率的同时保持较好的鲁棒性。其次，考虑到关键帧和非关键帧 对序列整体质量贡献的不同，提出一种非对称的码流截取算法。算法在同一f g s 层内将码率优先分配给对序列整体质量贡献更大的关键帧，非关键帧则平均分 配剩余的码率。( 详见3 3 ，3 4 ) ( 2 ) 提出一种自适应的a r f g s 漏因子选择算法。算法根据当前参考帧基本 层数据量与前一个i 帧的基本层数据量的比例为每帧决定最优的漏因子，并根据 短期平均基本层数据量与当前参考帧基本层数据量的比例，调节选择的漏因子。 此外，提出一种固定每帧总数据量的f g s 层码率截取算法，可对编码产生的码 流实时截取，并保证了帧级数据量的平滑。( 详见4 3 ) ( 3 ) 提出一种基于失真度估计的自适应增强层差错掩盖算法。在当前帧增强 层丢失时，可使用当前帧基本层对应位置的重建图像，或前一帧增强层在运动 补偿中对应位置的重建图像，对受损图像进行掩盖。算法根据正确接收的基本 层重建残差以及基本层与增强层量化参数的差距分别估计出两种掩盖方式的总 体失真度，并以4 4 块为单位，选择失真度最小的方式进行掩盖。( 详见5 3 ) 学位论文作者签名： 文灭 i 嗍吖年争月彤日 西南交通大学博士研究生学位论文第1 页 1 1 引言 第1 章绪论 自上世纪九十年代以来，随着数字视频编码技术的不断发展，以及网络 基础设施、存储设备容量、芯片计算能力的不断改善，传统的通信方式如电 话、传真等，由于无法达到”面对面”的沟通效果，已不能满足人们日益增长 的交流需求。多媒体服务，尤其是以视频内容为核心的流媒体服务 1 圳，开始 成为极具潜力的增值服务之一，给我们的日常生活和工作带来深远的影响。 随着i s 0 i e c 和i t u t 制定的一系列视频编解码标准的普及，今日的视频应 用，从多媒体消息，视频点播，视频电视，基于移动t v 的视频会议，无线 有线i n t e m e t 流媒体，高清电视广播，到d v d ，蓝光盘，以及高清d v d 光 存储媒体，已经成为当今信息产业中的一个重要发展方向。图1 一l 展示了基 于流媒体技术的通讯和服务所覆盖的应用领域及发展前景。 1 1 1 视频传输面临的挑战 传统的数字视频传输与存储系统，如面向基于卫星、海底或地面电缆传 输的视频广播服务，面向d v d 存储的h 2 2 2 o 【5 j 或m p e g 2 系统，以及面向 视频会议应用的h 3 2 0 系统【6 j ，都具有一个共同的特征视频图像格式具 有固定的时一空域分辨率。因此，此类视频系统在实际应用中只存在工作和 不工作两种状态。然而，随着i n t e m e t 和无线网络的迅猛发展，特别是实时 流媒体传输协议r t p r t s p 7 。叫的出现，目前的网络视频应用逐渐向着交互式 的方向发展，允许终端用户在不同带宽范围内接入不同网络，并允许使用具 有不同计算能力和显示能力的终端设备。因此，现代视频传输系统主要面临 着以下几个方面的挑战【1 0 - 1 5 。 1 网络异构性： i n t e m e t 是世界上最庞大的计算机网络，由数以万计的局域网( l a n ) 和广 域网( w a n ) 通过网关连接构成。由于各子网的网络资源( 如处理能力、带宽、 存储能力以及拥塞控制策略等) 分布不均匀，用户通过不同的通信子网( 专线、 局域网、i s d n ，x d s l ，c a b l em o d e m 等) 接入网络进行数据传输时所获得的 网络带宽、延时、丢包率等，都不尽相同。网络接入方式的多样化，给视频 第2 页西南交通大学博士研究生学位论文 流存i n t e m e t 卜的传输带来了很大的困难它要求被传输的视频流必须具备 往不司带宽的异构网络c 传输的能力，以赆n j 能地为使用不同方式访问网络 的用户提供服务。 2 带宽波动性 | i l 流媒件技术的j 1 泛麻h 带宽波动是i p 网络的一个固有特性，i n t e m e t 的带宽会随着接入的用户 数量及丌1 ，、的使肌隋况而改变。由于现在的互联网没有提供资源颅留之类的 协议保障，当网络拥摩发生时，有效的带宽会突然降低从而甘致视频数据 包被五弃，引起图像质量的迅速f 降。为了适应网络带宽的不断变化，j l i 缩 后的视频流必须具备一定的6 马率可伸缩性以适应嘲络的带宽波动性。 3 传输的不可靠性 i n t e m e t 是种提供最大服务能力的传输网络，但它本身并不提供 q o s ( q u a l i t yo fs e r v i c e ) 保证，数据包不能在特定的时间到达即被认为是丢包。 此，1 网络拥塞叫，丢包率可能很高。另一方而，网络卜传输的数据会产 西南交通大学博士研究生学位论文第3 页 生随机误码，在这样的传输机制f ，包丢失( p a c k e tl o s s ) 平h 包错i 吴( p a c k e te r r o r ) 现象都不可避免。高度压缩后的视频流对数据丢失非常敏感，很少的包丢失 和包错误都会导致视频质量的严重下降，甚至导致解码失败。因此，编码后 的码流应具备一定的抗差错能力，以降低传输的不可靠性对视频质量带来的 影响。 4 终端的多样性 不同用户对具体的流媒体服务的质量有着不同的要求，使用的终端设备 在c p u 速度，内存大小，缓冲区大小，网络接入能力，屏幕显示尺寸和颜色 深度等参数上也各不相同，这就要求压缩编码后的视频流必须具备足够的解 码可伸缩性以满足不同用户的实际需求。 1 1 2 面向传输的视频编码技术 由于预测编码的使用以及视频应用的实时性要求，压缩后的视频数据对 网络错误或丢包非常敏感。传统的视频传输系统由于存在着上述几个方面的 动态变化性和不可预知性，很难提供相应的自适应传输服务。为适应网络带 宽的波动，提供端到端的视频服务，人们提出了多种解决方案，主要有：自 适应编码、转码、联播、多描述编码和可伸缩编码。 1 自适应编码( a d a p t i v ec o d i n g ) 白适应编码的主要思想是根据网络的实时状况，使用码率控制技术来调 整编码器的量化参数或帧率，从而产生满足目标码率的码流( i6 i 。由于是针对 特定目标的实时编码，自适应编码有较好的灵活性，允许根据不同需求来实 现多种码率。然而，自适应编码的计算复杂度非常巨大，使其无法满足视频 点播类应用，一般仅用于特定的多播环境中。 2 转码( t r a n s c o d i n g ) 又称码流转换【1 7 19 1 ，是由编码器预先生成一个高质量的视频码流，将其 存放在服务器上，然后在实际传输过程中，根据网络带宽和接收端要求，对 该码流进行部分解码，再使用新的量化参数重新编码，并选择性地丢弃原始 码流中对视频质量影响较小的部分，使得重新生成的码流能够适应当前的网 络带宽。 转码技术能够很好地适应网络带宽的动态变化，但由于需要部分解码和 再次编码，因而当用户数量增加时，会加重服务器负担，增大延迟，影响用 第4 页西南交通大学博士研究生学位论文 户请求。此外，再次编码高码率下生成的视频文件也会造成额外的视频质量 损失。 3 联播( s i m u l c a s t ) 联播的基本思想是码流切换 2 0 2 2 1 。此方式对同一视频图像预先在不同分 辨率、不同帧率和不同码率下分别编码，产生多个码流并保存在服务器上。 在传输时，服务器根据用户的需求和网络状况选择合适的码流发送到客户端。 在网络带宽发生变化时，服务器可以在适当的时候切换到相应码率下的码流 继续进行传输。 联播方式是一种以空间换时间的策略，通过预先编码，将服务器的计算 复杂度的负载压力转移到对存储空间的要求上，因此，需要服务器提供较大 的存储空间。当服务器上预先编码的码流数据较少时，其网络带宽的适应能 力有限；而预先编码的码流数目较多时，服务器上的存储开销又很大，这是 联播方式本身固有的一个矛盾。此外，这种方式由于只能在几个预先产生的 码流之间切换，很难实现传输过程中较大的带宽变化，因而无法充分利用信 道资源，容易造成服务器存储资源的浪费。 4 多描述编码( m u l t i d e s c r i p t i o nc o d i n g ) 多描述编码将原始视频编码成多个独立的码流，其中任何一个码流都可 独立解码并重建出具有基本质量的视频图像。多个码流同时解码后能够得到 更高质量的重建图像，并且随着实际解码的码流数目的增加，重建的视频质 量得以逐渐改善【23 ，2 4 j 。多描述编码的核心思想在于：1 ) 适应不断变化的网络 带宽；2 1 提高视频数据传输的健壮性。 多描述编码产生的不同的码流可以放在不同的服务器上，不同用户可以 根据自己的网络情况从适合的服务器上取得需要的码流数据。因此，多描述 编码可以避免端到端传输时的带宽限制，有利于多个服务器同时对一个客户 提供服务。但是，多描述编码也存在一个不足：由于需要在不同码流间保持 一定的相关度，多描述编码产生的码流中残留的冗余度相对较大，压缩效率 相对较低。 5 可伸缩性编码( s c a l a b l ec o d i n g ) 又称分级编码，其实质是将视频信息按重要性分解，再对分解后的各个 部分按其自身的统计特性进行编码。可伸缩性编码通常将视频编码成一个基 本层和一组增强层。基本层包含满足最低需求的基本数据，可以独立解码并 西南交通大学博士研究生学位论文第5 页 重建出具有最低质量的图像；增强层是对基本层信息的增强并依赖于基本层 的解码。接收到的增强层数据越多，重建图像的质量越高【z 5 。弱j 。由于基本层 相对增强层的重要性，可伸缩性编码通常与非对称保护1 2 9 。3 2 j 结合使用，对基 本层提供更严格的保护，以保证用户始终能收到具有基本质量的图像；增强 层则使用较弱的保护措施，允许增强层码流被截断或丢弃，以提供灵活的网 络适应性。 与其它编码方案相比，可伸缩性视频编码具有以下三个重要特征：( 1 ) 能 够动态适应网络带宽的变化；( 2 ) 具有抵抗数据丢失的鲁棒性。( 3 ) 能够同时满 足具有不同处理能力的终端用户的需求。因此，可伸缩视频编码被看作是在 复杂的流媒体应用环境下进行视频编码的有效方式之一。 1 1 3 可伸缩性编码的原理与标准 1 1 3 1 可伸缩性编码的原理 通常，可伸缩性视频码流是指：使用某种方式去除原始码流中的部分码 流后，剩余码流对目标解码器而言仍然是符合语法的可解码流，并且此剩余 的子码流重建出的图像质量低于原始码流的重建图像质量。与之相对，不具 有此属性的码流称为单层( s i n g l e 1 a y e r ) 码流或非伸缩性( n o n s c a l a b l e ) 码流。通 常可伸缩性视频码流由一个基本层码流和多个增强层码流组成，其中，基本 层码流是能独立解码的最小子码流，代表了具有最小时域一空域分辨率或最 低质量的视频内容：增强层码流则是对基本层码流的不断改善。常用的可伸 缩特性主要包括时域、空域和质量( 也称s n r ) 可伸缩性。时域可伸缩性中的 基本层码流和增强层码流分别代表了低时域分辨率( 帧率) 和高时域分辨率的 视频内容，收到的增强层码流越多，解码后的视频帧率越高，图像质量更加 连贯流畅。空域可伸缩性中的各个子码流分别代表了同一视频内容在不同空 域分辨率下的图像，其基本层代表了可被接受的最小尺寸的图像，增强层图 像则是对空域分辨率的不断提高，使得图像画面逐渐细腻。质量可伸缩性中 的各个子码流具有与完整码流相同的时一空域分辨率，但图像质量不同，基 本层图像质量最低，增强层则是对基本层图像质量的不断改善。此外，较少 被使用的可伸缩特性还包括感兴趣区域( r e g i o no fi n t e r e s t ) 可伸缩性和基于对 象( o b j e c t b a s e d ) 的可伸缩性。在这两种情况下，子码流都是对原始视频区域 中一块连续的子区域上的图像内容的不断增强。不同的可伸缩特性可联合使 第6 页西南交通大学博士研究生学位论文 用，因此，一个可伸缩性视频码流可同时满足不同时一空域分辨率和不同码 率的视频应用需要。 图1 2 展示了可伸缩性编码与单层编码的性能比较。其中，率失真曲线 代表在特定码率上各种编码方法所能达到的理论上的质量上限，目标曲线则 代表特定的视频编码标准在设计时期望达到的质量，是实际的质量上限。三 条阶梯线均为单层编码技术在某次编码时产生的率失真曲线，分别代表了三 个不同比特率下产生的码流。从图中可以看出，在特定的比特率下，单层编 码产生的码流在目标比特率下质量最好，其阶梯线最接近率失真曲线。然而， 如果信道比特率小于编码比特率，则会导致解码器无法进行正确解码，重建 图像的质量将严重下降；相反，如果信道比特率高于编码比特率，重建的图 像质量也不再提高，多余的信道带宽被浪费。为避免这两种极端情况，可伸 缩视频编码的目标就是使单一码流的视频质量曲线平行且尽可能地接近目标 率失真曲线。这样，在所有可能的带宽范围内，解码产生的图像质量都是次 优的。 图1 2 可伸缩性编码与单层编码性能比较 1 1 3 2 可伸缩性编码标准的发展 最早的视频编码标准如i t u th 2 6 1 3 3 1 和i s o i e cm p e g 1 【3 4 】主要针对 特定的如对话和存储之类的视频应用，并不支持可伸缩特性。1 9 9 2 年由i t u t 和i s o i e c 联合制定的m p e g 2 1 h 2 6 2 3 5 】是第一个在常规意义上支持可伸缩 性视频编码的标准，首次提出了分层编码的概念，并且引入了数据分区( d a t a 西南交通大学博士研究生学位论文第7 页 p a r t i t i o n i n g ) 。m p e g 2 提供了空域、时域和质量域的可伸缩性编码工具，每 种伸缩性在所有档次( p r o f i l e ) q b 都支持最多三个分层。h 2 6 3 系列是i t u t 制 定的针对低码率视频通信的编码标准，在第二版( h 2 6 3 + ) t 3 9 j 和第三版 ( h 2 6 3 + + ) 中同样以分层方式提供了时一空域和质量域的可伸缩特性。 m p e g 一4 【3 6 】标准则在更通用的框架内定义了更加灵活的可伸缩性编码工具， 并且提出了精细颗粒度的可伸缩性编码结构( f i n eg r a n u l a rs c a l a b i l i t y ， f g s ) 3 7 , 3 s 】，增强了可伸缩性编码的网络适应性。在“s i m p l ep r o f i l e 中， m p e g 4 不支持可伸缩性，从“s i m p l es c a l a b l ep r o f i l e 开始，m p e g 4 提供 了完整的空域、时域和质量域上的可伸缩性。2 0 0 5 年由i t u t 和i s o i e c 再 次联合制定的j v ts v c 标准【4 ，在h 2 6 4 a v c 4 l 】的基础上进行了扩展，并 融入了近年来伸缩性视频编码领域中的最新成果，受到了广泛的关注。图1 3 描述了可伸缩性视频压缩标准的发展历程。 1 9 9 0 1 9 9 2 11 1 9 9 61 9 9 82 1 j f 0 02 0 0 22 0 0 42 0 0 6 图1 3 可伸缩性视频编码标准的发展过程 1 1 3 3 本文的选题背景 2 0 0 3 年8 月，m p e g 开始征集关于制定新的可伸缩性视频编码标准的提 案【4 2 1 。提案对新的s v c 编码器在计算复杂度和编码质量两方面做出了新的 要求：可伸缩性码流中包含的子码流能在一定的计算复杂度下独立解码，且 解码后的质量近似于h 2 6 4 a v c 在相同码率下的单层码流解码后的质量。在 提交的1 4 份提案中，1 2 份使用了3 d 小波编码技术【4 6 | ，其余两份则在 h 2 6 4 a v c 的基础上进行了可伸缩性扩展。在历时6 个月的估计阶段中，所 有提案都针对不同应用场景进行了一系列的主一客观测试和分析。最后，基 于h 2 6 4 a v c 扩展的提案1 4 于2 0 0 4 年8 月被选中并作为m p e g 的s v c 制 第8 页西南交通大学博士研究生学位论文 定工作的起点【48 1 。2 0 0 5 年1 月，m p e g 和v c e g 再次联合将s v c 标准作为 h 2 6 4 a v c 标准的修订版，并于2 0 0 7 年3 月颁布了s v c 标准最终草案的第 一版【4 们。 然而，s v c 在带来良好的网络带宽和用户终端适应能力的同时，编码效 率相对单层编码略有下降。虽然与早期的可伸缩性视频编码标准相比，新的 j v ts v c 在编码效率上有了显著提高，然而与非伸缩性的h 2 6 4 a v c 编码 方式相比，平均p s n r 仍然低了1 - 一2 d b 。在s v c 标准的制定过程中，很大 一部分工作都致力于尽可能地提高系统的编码效率，并同时保持码流的健壮 性和较低的计算复杂度，如提案 4 9 提出的自适应参考的精细颗粒度可伸缩 视频编码( f i n eg r a n u l a rs c a l a b i l i t yw i t ha d a p t i v er e f e r e n c e ，a r f g s ) 和提案 5 0 】 提出的简化的f g s 一一中等颗粒度的可伸缩性视频编码( m e d i u mg r a n u l a r s c a l a b i l i t y ，m g s ) 。此外，尽管s v c 具有很好的抗差错能力，