（计算机应用技术专业论文）svc混合fgs编码框架自适应漏因子选择算法研究.pdf

西南交通大学硕士研究生学位论文 第1 页 摘要 随着视频编码技术、网络基础设施、信息家电以及消费电子的迅速发展，以视频 内容为核心的流媒体服务已成为信息产业中最具发展前景的业务之一。基于典型的分 布式系统i n t e m e t 和无线网络的多媒体业务，例如视频会议、视频点播、手机电视等 成为了当前非常具有吸引力的应用领域。然而信道时变的异构网络给视频编码提出了 前所未有的挑战。可伸缩性编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 作为处理此类复杂问题的 有效工具而具有极其重要的理论研究价值和广阔的应用前景，是目前视频编码领域中 最具吸引力的方向之一。 本文主要对质量可伸缩性进行了研究。论文针对精细颗粒度的可伸缩性编码( f i n e g r a n u l a rs c a l a b i l i t y , f g s ) ，研究了各种编码框架及其参数优化问题。 首先，本文详细分析了f g s 基本框架及其改进框架的特点，并且对s v c 混合f g s 编码框架进行了研究对其有效性进行了实验。实验结果表明s v c 混合f g s 编码框架在 几乎整个码率范围内提高了编码性能； 然后，本文先分析了s v c 测试模型j s v m ( j o i n ts c a l a b l ev i d e om o d e l ) 中的码流 截取方式和非对称码流截取算法，针对s v c 混合f g s 编码框架的特点，对码流截取算 法进行了研究。本文的码流截取算法首先将码率按比例平均分配给每个关键帧周期， 然后在关键帧周期内部再进行平均分配。对提出的改进码流截取算法的实验结果表明， 虽然p s n r ( p e a ks i g n a lt on o i s er a t i o ) 较非对称码流截取算法有所下降，但是较非对称 码流截取算法波动也较小。同时p s n r 值也普遍高于j s v m 中原有的码流截取算法。 最后，本文针对s v c 混合f g s 编码框架，对自适应漏因子选择的算法进行了研究。 本文的算法根据基本层的数据是确保传输的这一前提，通过当前帧基本层数据量与第 一帧i 帧基本层数据量的比值，用线性方程为每帧单独选择最优漏因子的初始值，并 根据关键帧周期帧的平均基本数据量与当前参考帧基本层数据量的比值，对选择的漏 因子进行调节。实验结果表明，算法产生的码流在大部分码率范围内p s n r 值高于原 有s v c 混合f g s 编码框架下固定漏因子的最高p s n r 值。 关键词h 2 6 4 a v c ；s v c ；f g s ；漏因子 西南交通大学硕士研究生学位论文 第l i 页 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fv i d e oc o d i n gt e c h n o l o g y , n e t w o r ki n f r a s t r u c t u r e ， i n f o r m a t i o na n dc o n s u m p t i o ne l e c t r o n i c ，t h er e a l - t i m es t r e a m i n gm e d i aa p p l i c a t i o n sh a s b e c a m eo n eo ft h em o s tp r o m i s i n gb u s i n e s so ft h ei n f o r m a t i o ni n d u s t r y m u l t i m e d i as e r v i c e s b a s e do nl a r g ed i s t r i b u t e ds y s t e m sl i k ei n t e r n e ta n dw i r e l e s sn e t w o r k s ，s u c ha sv i d e o c o n f e r e n c e s ，v i d e o o n - d e m a n d , m o b i l et vb e c o m eav e r ya t t r a c t i v ea p p l i c a t i o nn o w h o w e v e rh e t e r o g e n e o u sn e t w o r k s 、析t ht i m e v a r y i n gc h a r a c t e r i s t i cr a i s eu n p r e c e d e n t e d c h a l l e n g e s s c a l a b l ev i d e oc o d i n g ( s v c ) ，a sa ne f f e c t i v es o l u t i o nt od e a lw i t ht h e s e p r o b l e m s ，h a sv e r ys i g n i f i c a n tt h e o r e t i c a lr e s e a r c hv a l u ea n dp o t e n t i a la p p l i c a t i o n s ，a n di ti s o n eo ft h em o s ta t t r a c t i v er e s e a r c hd i r e c t i o n so fv i d e oc o d i n gf i e l d t h ew o r ko ft h i sp a p e ri sc o n c e n t r a t e do nt h es c a l a b l ev i d e oc o d i n gt e c h n i q u e s t ot h e f r e eg r a n u l a rs c a l a b i l i t y ( f g s ) ，d i f f e r e n tc o d i n gs t r u c t u r e sa sw e l la st h ep r o b l e mo fc o d i n g p a r a m e t e r so p t i m i z a t i o na r es t u d i e d f i r s t ，t h ef r a m e w o r ko ff g sa n ds e v e r a lc l a s s i ci m p r o v e df r a m e w o r k sa r ea n a l y z e di n d e t a i l a n ds v c h y b r i df g sc o d i n gf r a m e w o r ki sa l s os t u d i e di nd e t a i l s i m u l a t i o nr e s u l t s s h o wt i l a t t h es v ch y b r i df g sc o d i n gf r a m e w o r ki m p r o v e st h e c o d i n ge f f i c i e n c y s i g n i f i c a n t l ya ta l m o s tw h o l er a n g eo fb i tr a t e s e c o n d ，t h ee x t r a c t i o np r o c e d u r eo ft e s tm o d e ls v c - - j s v m ( j o i n ts c a l a b l ev i d e o m o d e l ) a n da nu n s y m m e t r i c a lb i t s t r e a me x t r a c t i o na l g o r i t h ma r ea n a l y z e da n dam o d i f i e d e x t r a c t i o na l g o r i t h mi sp r o p o s e df o rs v c h y b r i df g sc o d i n gf r a m e w o r k t h ea v a i l a b l eb a n d w i d t hi sa v e r a g e l ya l l o c a t e da m o n gt h ep e r i o do fk e yf r a m e i nt h ep e r i o do fk e yf r a m e ，t h e a l l o c a t e db a n dw i d t hi sa v e r a g e l ya l l o c a t e d s i m u l a t i o nr e s u l t ss h o wt h a ta l t h o u g ht h ep s n r ( p e a ks i g n a lt on o i s er a t i o ) o fp r o p o s e da l g o r i t h ml o w e r t h a nt h eu n s y m m e t r i c a lb i t s t r e a m e x t r a c t i o na l g o r i t h m ，t h eu n s y m m e t r i c a lb i t - s t r e a me x t r a c t i o na l g o r i t h mr e s u l t si nr e l a t i v e l y l a r g ep s n rf l u c t u a t i o n s m e a n w h i l et h ep s n ro ft h ep r o p o s e da l g o r i t h mc a l la p p r o x i m a t e o re v e ns u r p a s st h ee x t r a c t i o np r o c e d u r eo fj s v m l a s t ，a na d a p t i v el e a k yf a c t o rd e t e r m i n a t i o na l g o r i t h mi sp r o p o s e df o rs v ch y b r i df g s c o d i n gf r a m e w o r k a tt h ep r e r e q u i s i t ec o n d i t i o n so fe n s u r i n gt h et r a n s m i s s i o no fb a s el a y e r , t h ea l g o r i t h ms e t st h ei n i t i a lv a l u eo fl e a k yf a c t o rf o re a c hf r a m ew i t hal i n e a re q u a t i o n ， a c c o r d i n gt ot h er a t i oo fc u r r e n tr e f e r e n c ef r a m e sb a s el a y e rb i t - r a t et ot h a to ft h ef i r s t i - f r a m e s ，a n da d j u s t si ta c c o r d i n gt ot h er a t i oo fn u m b e ro fo p e n - l o o pf r a m e s a v e r a g eb a s e l a y e rb i t - r a t et ot h a to fc u r r e n tr e f e r e n c ef r a m e s s i m u l a t i o nr e s u l t ss h o wt h a t ，o v e raw i d e r a n g eo fb i t - r a t e ，t h ep s n ro fp r o p o s e da l g o r i t h mc a l la p p r o x i m a t eo re v e ns u r p a s st h eb e s t p e r f o r m a n c eo fs v ch y b r i df g sc o d i n gf r a m e w o r ku s i n gf i x e dl e a k yf a c t o r k e yw o r d s ：h 2 6 4 a v c ，s v c ，f g s ，l e a k yf a c t o r 西南交通大学四南父遗大字 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密囹，使用本授权书。 ( 请在以上方框内打。，) 学位论文作者签名：孑山午 指导老师签名： 日期：印f o 6 多 日期： 泖，g ，丫 | 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： l 、在仔细分析s v c 混合f g s 编码框架的基础上，根据s v c 混合f g s 编码框架 的特点，提出一种改进的适合于该框架的码流截取算法，并在t 参考模型上实现了 该算法，针对几个视频序列的实验结果证明了该码流截取算法的有效性。 2 、在s v c 混合f g s 编码框架上，结合改进的码流截取算法，提出一种改进的自 适应漏因子选择算法，基于t 参考模型仿真实验表明了该算法的有效性。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名： 去法 日期：7 , , o l o 易 西南交通大学硕士研究生学位论文 第1 页 1 1 引言 第1 章绪论 自从上世纪末以来，随着通信技术和数字视频编码技术的不断发展，以及网络基 础设施、存储容量、芯片计算能力的不断改善和更新，传统的通信方式如电话、传真 等已不能满足人们日益增长的交流需求l l4 】。而多媒体服务，尤其是以视频内容为核心 的流媒体服务，因其可以实现“面对面”交流的特点，迅速成为最具潜力的增值服务 之一，给我们的日常生活和工作带来较为深远的影响。并且随着i s o i e c ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i n t e r n a t i o n a le l e c t r ot e c h n i c a lc o m m i s s i o n ) m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和i t u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 制定的一系列视频编解码标准的普及，今日 的视频应用已经十分的广泛：从多媒体消息，视频点播，视频电视，基于m o b i l et v 的视频会议，无线有线i n t e r n e t 流媒体，标清和高清电视广播，到d v d ( d i g i t a lv e r s a t i l e d i s c ) ，蓝光盘，以及高清d v d 光存储媒体，都已经成为当今信息产业中具有广阔应用 前景的发展方向。 经过几十年的发展，现代视频系统取得了很大的成就。但是现代传统的数字视频 传输和存储系统系统( 如针对卫星、海底、地面电缆传输的视频服务) 、d v d 存储应用 的h 2 2 2 0 或m p e g 2 系统和针对视频会议应用的h 3 2 0 系统，都具有一个共同的特征 - 其视频图像格式只具有固定的时空域分辨率。并且在实际应用中要么工作，要么 不工作。这些还不能很好适应不同客户的不同要求，缺乏足够的灵活性。这就使得现 代的视频系统还面临着诸多挑战【孓7 】【1 6 l 。 1 1 1 视频传输所面临的挑战 进入新世纪以来，随着人们对视频传输质量、时延和交互性能要求的不断提高， 现代视频传输系统正在面临以下几个方面的挑战： 1 异构性( h e t e r o g e n e i t y l i n t e m e t 是由众多的局域网( l o c a la r e an e t w o r k , l h n ) 和广域网( w i d ea r e a n e t w o r k ，w a n ) 通过网关连接构成的。同时i n t e m e t 是一个异构网络，单就视频服务而 言，它异构性体现在网络中通信子网的异构上。由于网络资源( 如处理能力、带宽、存 储能力以及拥塞控制策略等) 分布不均匀，用户通过不同的通信子网( 如专线，局域网， i s d n ( i m e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) ，x d s l ，c a b l em o d e m 等1 接入网络传输数据 时所获得的网络可用带宽、延时、丢包率等不尽相同【8 j o 这种接入网络方式的多样化， 对视频流在i n t e m e t 上的传输造成很大的困难，它要求视频流的码率必须具备足够的变 西南交通大学硕士研究生学位论文 第2 页 化范围，来为尽可能多的通过不同接入方式访问网络的用户提供服务。这就要求压缩 编码后的码流必须有适应异构网络传输的特性。 如图1 - 1 所示，i n t e m e t 由很多不同的通信子网通过网关连接在一起。 l 一蠢：， 南勘 、攀 a 卜午一。? 一 ， 胃 臼一n 霸、。，- 。，。 丽! ，一 勺勺 ，二。，一、：，一、! ，一 图i - 1 不同的通信子网遥过网关连接到i n t e m e t 示意图 2 带宽波动性f f l u i d i t y ) 带宽波动性是网络的一个同有特性因特网的带宽会随着接入的用户数以及用 户的使用情况的变化而变化。在不同时刻，其可用的带宽是不断变化的，且这种带宽 变化是不可预测的。而且一旦网络发生拥塞，其可用带宽更将急剧下降。但由于现在 的互联网没有提供资源预留之类的协议保障，当网络拥塞发生时有效的带宽会突然 降低，从而导致严重的质量下降1 9 1 。为了保证解码端的播放的流畅性及视频的质量，视 频传输通常要求用户的可用带宽不低于一个下限，该下限值至少能保证用户观看视频 的流畅性；视频插放的质量会随着带宽的增加而得到改善。这就要求压缩编码后的码 流必须具备一定的码率可伸缩性，以满足各种不同应用场合下的特定要求。 如图1 2 显示了一个典型t c p ( t r m l s 加s s i o nc o n t r o lp r o t o c 0 1 ) 服务所能提供的网络 带宽，从图可以看出，通常网络带宽是不断变化的，而且很难完全把握。 西南交通大学硕士研究生学位论文 第3 页 1 0 r 一：一：t ； t c pt h 嗍柚 e 薹。 量。 卜z o 厶4 0由南，南，。矗。6 0 t h r m ( 8 e e 图1 2 网络带宽随时间变化示意图”u j 3 传输的不可靠性刑n l i a b n 时) i n t e r a c t 是一种提供最大服务能力的传输网络，但它本身并不提供q o s ( q u a l i 钾o f s e r v k e ) 保证，数据包不能在特定的时间到达目的地即被认为丢包；另外在网络过于繁 忙时，网络中主机的等候处理的队列被填满，后续到达的队列的数据包因为前面的数 据来不及处理，队列没有空出来而被直接丢弃i n - 1 2 。另一方面，网络上传输的数据会 产生误码，并且这种误码也是随机的。因此，在这样的传输机制下，包丢失( i m c k e tl o s s ) 和包出错( p a c k 虬e r r o r ) 现象是不可避免的。高度压缩后的视频流对数据丢失比较敏感， 很少的包丢失和包出错都可能会导致很严重的视频质量下降，甚至导致整个解码失败。 因此，这就要求压缩后的码流应具备一定的抗差错能力。 如图1 - 3 数据的丢失率在1 - 1 0 之间波动，但在某一时刻，数据的丢失率突然激 增到8 5 。 墓 呈 主 善 主 皇 i li ll i1 i i lj1 j ijj j -i - l m 】m i r m a 蛳) 图1 - 3 网络传输中数据丢包率随时间变化示意圈h 西南交通大学硕士研究生学位论文 第4 页 4 客户端的多样性( v a r i e t y ) 客户端的多样性指的是不同用户使用的终端设备在处理速度，内存大小，缓冲区 大小，网络接口能力，屏幕显示尺寸和颜色深度等参数上也不尽相同。为了更好的满 足不同用户，这就要求压缩编码后的码流必须具备足够的灵活性以满足不同用户的需 求。 根据以上分析可以得出，视频流在网络上传输所面临的挑战已近不再单纯追求高 压缩比，而是在一定的视频质量的前提下，尽可能多的压缩视频流，同时要求具有足 够的灵活度来适应网络的异构性、网络宽带的波动性以及抵御差错的能力。因此，人 们迫切需要一种既具有高效的压缩性能，又能应对网络异构化、设备终端能力多样化 的可伸缩性能的视频编码技术。 1 1 2 主要的视频编码方案 由于当前视频传输系统很难提供基于网络自适应的传输服务，所以为了适应网络 带宽的波动，提供端到端的视频服务，增强交互性，人们提出了很多解决方案。目前 主要的编码方案有：自适应编码、码流转换、联播、可伸缩编码i l3 】和多视点编码。 1 自适应编码( a d a p t i v ec o d i n g ) 自适应编码是根据网络带宽的实时状况，使用码率控制技术来动态调整编码器的 量化参数或帧率，来产生满足目标码率的码流。由于自适应编码是重新编码，自适应 编码具有最大的灵活性，允许根据不同需求来实现多种码率。但是，自适应编码的计 算复杂度异常巨大，几乎无法应用于视频点播类等应用，一般仅在特定的多播环境中 会使用该编码方案。 2 码流转换( t r a n s c o d i n g ) 码流转换是由编码器事先生成一个高质量的视频码流，并将其存放在服务器上。 在实际传输过程中，根据网络带宽和接收端要求，对该码流进行部分解码，再使用合 适的量化参数重新编码，丢弃原始码流中对视频质量影响较小的部分，使得重新生成 的码流能够适应当前的网络带宽。 码流转换技术虽然能够很好地适应网络带宽变化，但由于需要部分解码和编码， 因而当用户数量较多时，会加重服务器负担，进而使响应延迟增大，影响用户请求。 此外，对在高码率下生成的视频文件先解码、再编码也会造成额外的视频质量损失。 3 联播( s i m u l c a s t ) 联播的主要思想是码流切换。通过对同一视频在不同分辨率、帧率等参数下进行 多次编码，产生多个码流并保存在视频服务器上。在传输时，视频服务器根据用户的 需求和网络带宽状况来选择最合适的码流发送到客户端。在网络带宽发生变化时，视 频服务器可以在适当的时候切换到相应码率下的码流继续进行传输。 西南交通大学硕士研究生学位论文 第5 页 联播方式是一种以空间换时间的策略，通过预先编码，将视频服务器的计算复杂 度的负载压力转移到了对存储空间的要求上，需要视频服务器提供较大的存储空间。 当视频服务器上预先编码的码流数据较少时，其适应网络带宽的能力就十分有限；而 当预先编码的码流数目较多时，视频服务器上的存储开销又会过大。此外，这种方式 也很难应对传输过程中较大的带宽变化，变化被限制在几个特定的码流中，不能充分 利用信道资源，也容易造成视频服务器存储资源的浪费。 4 可伸缩编码( s c a l a b l ec o d i n g ) 可伸缩编码是将视频信息按照重要性分解，对分解的各个部分按照其自身的统计 特性进行编码。一般它会将视频编码成一个基本层和一个( 或者多个) 增强层。基本层中 仅包含满足最低要求的基本信息，可以独立解码重建出最低的图像质量。增强层依赖 于基本层，包含更多的细节信息，是对基本层的增强，因此基本层在码流中最为重要。 接收到的增强层越多，相应视频的重建质量也就越高。 可伸缩的视频流具有以下三个重要特征：( 1 ) 能够适应网络带宽的变化：( 2 ) 具有 较好鲁棒性；( 3 ) 能够同时满足具有不同处理能力的用户终端。因此，可伸缩视频编码 是在现在和未来可以预见的更加复杂的流媒体应用环境下进行视频编码的最佳框架。 5 多视点编码( m u l t i v i e wc o d i n g ) 多视点视频是针对交互式媒体提出的，它主要解决3 d 交互视频的表现、交互以及 存储、传输等。通过在场景中放置多台摄像机，记录下多个视点的数据，提供给用户 以视点选择和场景漫游的交互能力。然而多视点视频应用的一个主要难题是其数据量 大，交互式多视点视频系统的一个挑战就是研究实现一种高效的多路编码传输机制， 从而对数据进行高效地压缩以便存储和传输视频序列。多视点视频将在自由视点视频、 立体电视、立体视频会议、多视点视频点播等数字娱乐领域有着非常广泛的应用前景。 1 1 3 可伸缩性编码的主要思想 1 1 3 1 可伸缩性编码的原理 可伸缩性编码又称分层编码( l a y e r e dc o d i n g ) ，它最早在m p e g 2 标准中就已有应 用。所谓的可伸缩性视频码流是指：当从原始码流中去除部分码流后，剩余码流对目 标解码器来说仍然是可解的，但是剩余的子码流重建出的图像质量低于原始码流重建 出的图像质量。与此相对，不具有此特性的码流则称为单层( s i n g l e 1 a y e r ) 码流或者非伸 缩性( n o n s c a l a b l e ) 码流。 可伸缩性编码的核心思想是将视频码流在编码的时候分为两个或多个码流，一个 码流称为一层。在这些层中只有一层是基本层( b a s el a y e r , b l ) ，其余层的全部是增强层 ( e n h a n c e m e n tl a y e r , e l ) 。基本层包含视频信号最基本的也是最重要的信息，接收端只 西南交通大学硕士研究生学位论文 第6 页 要接收基本层就可重建最基本质量的图像；增强层包含视频信号的更多细节信息，接 收端可将增强层和基本层一起进行解码，来重建出更高质量的图像。传输时则可根据 基本层和增强层的不同重要性，对其赋予不同的传输优先级和误码保护机制。解码器 可在多个图像质量级别上进行解码，用户可根据需要进行解码，即使部分增强层的数 据丢失，甚至全部增强层数据丢失，也能够使恢复后的图像质量达到一个用户可以接 受的水平。 传统的可伸缩性视频编码框架如图l - 4 所示。 l l 3 一r 、j 视 丫 7 1 视频数据 频e l 2 一r 、i j i 编 巩爪丫： 码 丫 7 1 器 b l ij 图l - 4 传统的可伸缩性视频编码框架 视频编码中常用的可伸缩特性主要包括时域可伸缩性( t e m p o r a ls c a l a b i l i t y ) 、空域 可伸缩性( s p a t i a ls c a l a b i l i t y ) 和质量( 也称s i g n a l - t o - n o i s er a t i o ，s n r ) 可伸缩性( q u a l i t y s c a l a b i l i t y ) 。时域可伸缩性是指，对原始码流中包含的可独立解码的子码流解码后，可 重建出较低时域分辨率( 帧率) 的视频内容，增强层码流则是对帧率的逐渐提高，使解码 后的视频图像更加连贯流畅。空域可伸缩性是指视频码流中各个子码流分别代表了不 同空域分辨率下的相同视频内容，其基本层代表了可被接受的最低空域分辨率( 尺寸) 的图像，增强层图像则是对空域分辨率的不断提高，使得图像画面逐渐细腻。质量可 伸缩性是指，原始码流中的子码流具有与完整码流相同的时空域分辨率，但图像质量 较低，增强层码流则是对图像质量的不断改善。此外，还有较少被使用的可伸缩特性 还包括感兴趣区域( r e g i o n o fi n t e r e s t ) i 可伸缩性和基于对象( 0 b j e c t - b a s e d ) 的可伸缩性。 图1 5 展示了可伸缩性编码与单层编码的性能比较。其中，率失真曲线表示了在特 定码率理论上各种编码方法所能达到的最佳质量的上限，目标曲线则是编码标准设计 时实际希望达到的质量曲线。三个阶梯线表示为单层编码技术，每根线条都代表了在 一个特定的比特率下产生的码流能达到质量的曲线。由于是针对特定的比特率，因此， 单层编码产生的码流在目标比特率下质量最好，其阶梯线最接近率失真曲线。然而， 如果信道比特率小于编码比特率，则会导致解码器无法进行正确解码，重建图像的质 量变得很差；相反，如果信道比特率高于编码比特率，重建的图像质量也不再提高。 可伸缩视频编码的目标就是使得单一码流的视频质量曲线平行且尽可能接近于率失真 曲线，这样，在所有可能的带宽下，保证重建的图像的质量虽然不是最优的，但最少 都是次优的。 西南交通大学硕士研究生学位论文 第7 页 图1 5 可伸缩性编码与单层编码性能比较 1 1 3 2 可伸缩性编码标准的发展 最早的视频编码标准如i t u th 2 6 1 和i s o i e cm p e g 1 并不支持可伸缩特性，这 是因为这些标准针对的对象不同，它们主要针对特定的如对话和存储之类的不需要伸 缩性的视频应用。1 9 9 2 年由i t u t 和i s o i e c 联合制定的m p e g 2 i h 2 6 2 是第一个在 实际意义上支持可伸缩性视频编码的标准，提供了空域：时域和质量域的可伸缩编码 工具。m p e g 2 1 h 2 6 2 中首次提出了分层编码的概念，每种伸缩性在所有档次( p r o f i l e ) 中最多支持三个分层，但是增强层无法独立解码，必须结合基本层才能正确解码。 m p e g - 4 标准则在一个更为通用的框架内定义了更为灵活的可伸缩性工具，并且提出 了精细颗粒度的可伸缩性编码( f i n eg r a n u l a rs c a l a b i l i t y ，f g s ) ，进一步增强了可伸缩 性编码的网络适应性。2 0 0 5 年由i t u t 和i s o i e c 再次联合开始制定的j v t ( j o i n tv i d e o t e a m ) s v c 标准，则在h 2 6 4 a v c 的基础上进行了扩展，并融入了近年来可伸缩性视 频编码领域中的最新成果，是目前业界和学术界关注的焦点【5 刁儿1 3 j 。图1 - 6 描述了这些 可伸缩性视频压缩标准的大致发展历程。 1 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 o2 22 0 0 42 0 0 6 图l _ 6 可伸缩性视频编码标准的发展过程 西南交通大学硕士研究生学位论文 第a n 1 2 本文的选题背景 随着视频编码技术、网络基础设施、信息家电以及消费电子的迅速发展，以视频 内容为核心的流媒体服务己成为信息产业中最具发展前景的业务之一。然而，不同于 面向存储的视频应用，流媒体数据在传输时必须面对如网络异构、带宽波动、传输错 误、终端多样性等复杂的环境问题，需要视频编码系统必须能在较低计算复杂度的基 础上提供时域、空域和质量域上的可伸缩性能力。可伸缩性编码s v c ( s c a l a b l ev i d e o c o d i n d 作为处理此类复杂问题的有效工具而具有极其重要的理论研究价值和广阔的 应用前景，是目前视频编码领域中最具吸引力的方向之一。 ts v c 在带来了良好的网络带宽和用户终端适应能力的同时，其编码效率相对 单层编码也有所下降，虽然相对早期的可伸缩性视频编码标准已有极大提高，但比 h 2 6 4 a v c 仍然平均降低了1 2 d b 。因此，在j v ts v c 标准的制定过程中，很大一 部分工作集中在如何在保持码流健壮性和较低的计算复杂度的前提下，尽可能提高系 统的编码效率上。如y b a o 等4 】提出的自适应参考的精细颗粒度可伸缩视频a r - f g s ( f i n eg 姗u l a rs c a l a b i l i t i r 谢t l la d 印t i v er e f e r e n c e ) 和h r c h h o 位r 等l ”j 提出的简化的 f g s m g s ( m e d i u i i l 胁n u l 孤s c a l a b i l i 西) 。此外，尽管ts v c 具有很好的抗差错能力， 但在实际应用中，仍然需要在网络错误发生时对丢失的视频信息进行差错掩盖，以降 低错误对重建图像的影响。由于ts v c 中通常基本层与增强层有着不同的差错保护 方式，且层间信息具有一定的相关性，因此，对其进行差错掩盖时也需要尽量利用所 有正确收到的层中的正确信息。 由于ts v c 在保持良好的网络带宽和用户终端适应能力的同时，具有很好的 编码性能，因此，在其计算复杂度得到改善后，它将不会只限于学术研究领域，而会 作为h 2 6 4 a v c 的重要补充并逐渐成为未来面向传输的视频应用的主要标准。在这些 方面开展相关方面的研究工作具有十分重要的理论和实际意义。 1 3 国内外研究现状 视频数据传输由于使用了混合视频编码技术，容易受到带宽波动，随机错误，突 发错误以及包丢失等多种问题的影响而造成差错扩散并最终导致图像质量严重下降。 精细的可伸缩性视频编码f g s ( f i n eg r 锄u l a rs c f l a b l e ) ，因其增强层的码流可在任意位 置被截断而不影响保留码流的正确解码，是对抗网络带宽波动及提高视频数据鲁棒性 的有效手段【6 】。然而，m p e g - 4f g s 由于在运动补偿中对基本层和增强层都只使用了低 质量的基本层重建图像作为参考，因而编码效率较低【l7 1 。 m c f g s ( m o t i o n c o m p e n s a t e dm s ) 中基本层和增强层都使用高质量的重建图像 作为预测参考来去除时域冗余，提高了编码效率；然而当增强层被截断时，错误将同 西南交通大学硕士研究生学位论文 第9 页 时扩散到基本层和增强层，牺牲了较大的鲁棒性【l 引。 渐进精细的可伸缩性视频编码p f g s ( p r o g r e s s i v ef g s ) 1 19 】对增强层使用一个单独的 高质量预测环路，并保留一条从基本层到最高质量层的预测路径，使增强层可以从错 误中逐渐恢复，在编码效率和鲁棒性间取得了较好的折衷。这一概念被s u nx i a o y a n 等人扩展到了宏块级，提出了基于宏块的逐渐精细的可伸缩性编码结构m b p f g s ( m b b a s e dp f g s ) t 2 0 】【2 6 】。 鲁棒、精细的可伸缩性视频编码r f g s ( r o b u s tf g s ) 1 2 1 1 2 5 1 使用的漏预测技术( l e a k y p r e d i c t i o n ) ，是将增强层部分位平面用漏因子缩放后与基本层重建图像加权平均，作为 增强层参考，使增强层错误可经漏预测后逐帧减弱。 最新制定的精细可伸缩视频编码标准h 2 6 4f g s 2 2 】，采用自适应参考( a r - f g s ) 在 编码效率和鲁棒性间取得平衡。a r - f g s 同样使用了漏预测技术【1 4 1 ，其高质量参考图 像由前一帧对应f g s 层的重建图像和基本层重建图像经漏因子加权平均后产生。 文献【1 3 】在详细分析了m p e g - 4f g s 基本框架及其改进框架特点的基础上，针对 低延时下的视频应用，提出了一种基于关键帧的开环一闭环混合f g s 编码框架 h o c f g s ( f g sw i t hh y b r i do p e n c l o s el o o p ) ，仿真的实验结果表明这种编码框架与 a r - f g s 相比，不仅降低了计算复杂度的同时，而且提高了编码性能。文献 2 3 】提出 了一种自适应的a r - f g s 漏因子选择算法。由于码流截取方式对f g s 的性能影响很大， 因此该漏因子选择算法首先分析了h 2 6 4f g s 测试模型j s v m 【2 4 】中f g s 层被截取的 过程，并针对该截取过程在码率控制方面的不足，提出修改的截取方式。然后分析了 f g s 层被截取后，截取比例、序列运动程度及纹理复杂度对预测效率和预测漂移的影 响，提出根据基本层数据量比值逐帧选择最优漏因子，并根据短期平均基本层数据量 对最优漏因子进行调节的算法。 1 4 本文的主要研究内容和结构安排 视频图像质量的评判可以采用主观和客观两种标准，但在实际操作中还没有一个 公认的可接受的客观评价准则可以很好地反映主观质量。考虑到实验的可比较性，本 文采用了峰值信噪比p s n r ( p e a ks i g n a l t o n o i s er a t i o ) 作为评判视频图像质量好坏的 标准。每帧图像的峰值信噪比p s n r 按式( 1 1 ) 计算【”1 。 一_ 1 0 l o g l 。每磊2 5 5 2 其中，为原始视频图像像素值，为解码器实际解码后重建的图像像素，k 为一 帧中像素的总数。 西南交通大学硕士研究生学位论文 第1o 页 第一章绪论从阐述现代视频传输所面临的挑战出发，介绍了可伸缩编码思想和基 本概念，从实际应用的角度提出了本文的研究意义。 第二章介绍了基于h 2 6 4 a v c 的可伸缩视频编码标准相关技术。详细介绍了时域 分级，空域分级，质量分级的概念以及比特流抽取等技术。 第三章首先介绍和分析了m p e g - 4f g s 、各种改进f g s 编码框架和s v c 混合f g s 编码框架结构及其计算复杂度，然后对这种混合编码框架的有效性做了实验进行验证。 接着在验证其有效性的基础上，提出了一种改进的适合s v c 混合f g s 编码框架的码流 截取算法，并通过实验证明这种码流截取方法更适合s v c 混合f g s 编码框架。 第四章首先分析了健壮的精细可伸缩性编码、e f g s ( e f f i c i e n tf g s ) 和a r - f g s 的编 码框架，在s v c 混合f g s 编码框架下提出了一种改进的自适应漏因子选择算法，并通 过实验验证这种选择算法的有效性。 最后是结论，首先总结了本文主要贡献，然后分析了论文工作中的不足和指出了 今后需要改进的地方。 西南交通大学硕士研究生学位论文 第11 页 第2 章基于h 2 6 4 的可伸缩性视频编码技术 h 2 6 4 a v c t 5 j 是由i s o i e c 与i t u t 联合制定的最新的国际视频编码标准。继 h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 帛l j 订成功后，联合视频专家组t 根据现代视频 传输和存储系统的发展，在h 2 6 4 a v c 的基础上提供完整的时域、空域、s n r 等可伸 缩性工具，并已经将其纳入到最新的h 2 6 4 a v c 标准中，并作为标准的附录g t 3 7 1 。其 标准制定工作以m p e g 2 1s c a l a b l ev i d e om o d e l3 0 作为基础，并在2 0 0 5 年1 月公布了 第一个版本j o i n ts c a l a b l ev i d e om o d e l ( j s v m ) 0 1 鲻1 。 在第一章的基础上，本章将进一步对ts v c 的技术细节作简要的说明，分别介 绍实现时间可分级、空间可分级、质量可分级、联合可分级、扩展空域可分级和逐行 隔行可分级等关键技术，最后对码流抽取技术进行阐述。 2 1 基于h 2 6 4 a v c 的可伸缩编码总体框架 ts v c 作为h 2 6 4 a v c 的扩展，其显著特点就是所采用的h 2 6 4 a v c 中的大部 分技术都与a v c 标准中的定义一致，与先前视频编码标准的可分级档次相似。同样的， j v ts v c 也是分层视频编解码器，基本层完全兼容h 2 6 4 a v c 编码，但针对各种分级 功能，语义和语法作了一些扩展或者修改。ts v c 的增强层仍旧使用运动补偿预测、 帧内预测、变换与量化、熵编码、去块滤波等技术，只增加或修改了很少一部分内容， 如增加了层间预测技术以及改进的漂移控制等技术，扩展和修改n a l 的结构和语法等。 图2 一l 显示了j v ts v c 和h 2 6 4 的关系，