（通信与信息系统专业论文）信源网络联合编码关键技术研究及应用.pdf

i i l 1 l 1 l l l i i i i f i l l l l l l i t i l l ll l l llf l l l l l l 1 l y 1 7 6 0 4 5 9 d o c t o r a ld i s s e r t a t i o no fb e i j i n gu n i v e r s i t yo f p o s t sa n dt e l e c o m m u n i c a t i o n s r e s e a r c ha n da p p l i c a t i o no fk e y t e c h n o l o g yf o rj i o n ts o u r c e n e t w o r kc o d i n g ( s u b m i t t e dt ob e i ji n gu n i v e r s i t yo f p o s t sa n dt e l e c o m m u n i c a t i o n s f o rt h ed e g r e eo fd o c t o ro fe n g i n e e r i n g ) d i s s e r t a t i o n m a j o r ：c o m m u b y x i a o f e iz o n g 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 t 一、k 一、， 本人签名： 并酸c 生 日期： 丝f 旦：五，! z 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注 释：本学位论 本人签名 导师签名 授权书。 日期： 日期： 网络上实现对不同用户的视频组播应用面临严峻的挑战，在有线或多跳 a d h o c 无线网络中提供可靠地视频应用至关重要。但是，网络和具体应 用均无法独立提供该问题的解决方案。受到这类问题的启发，本文研究 相关关键技术来解决所面临的挑战。 本论文从高压缩效率和改进的错误恢复技术两个方面，就低比特率 视频编码、分布式视频编码和信源网络联合编码等三个问题进行了研究。 本论文的主要工作及取得的研究成果在第二至四章中提出。 首先，论文介绍了基于小波的视频编码器的基本原理，提出一种新 的适用于低比特率压缩场景的视频编码器方案。所实现的率失真优化的 小波包编码器对运动补偿时域滤波产生的时域子带进行编码，根据每个 帧组给定的比特限制决定最优的码率分配方案。论文中提出3 个优化算 法用于确定时域帧的最佳分解结构，并为帧组计算最优的拉格朗日乘子。 实验结果表明，在低码率条件下，提出的r d w p 编码器编码质量比 m c e z b c 编码器平均高0 6 0 9 d b 。 其次，论文提出针对基于信源分类分布式视频编码系统的相关改进 方案，包括虚相关信道参数估计和改进的边信息生成技术。论文总结了 相关的研究现状，并理论分析了信源分类能够提高编码质量的原因。论 文在解码侧对虚信道参数进行像素级在线估计，并提出一种利用部分解 码帧迭代生成边信息的方案提高边信息的质量。改进的边信息能明显提 高重构视频的质量。新的改进方案编码质量优于原始方案和d i s c o v e r 方案。 接着，论文提出一种基于符号级网络编码的无线视频会议系统，并 摘要 准系统。 机制的目 性网络编 真结果表 于基准系 论文通过 应问题， 层码流对 有子码流 进行随机 误码影响 隐藏机制 网络编码 m o b i l et v , a n db l u e - r a yd i s c h o w e v e r , t o s u p p o r t o t h e ra p p l i c a t i o n s c e n a r i o s ，f o re x a m p l e ，v i d e od e l i v e r yo v e rh e t e r o g e n e o u sn e t w o r k sa n d d i s t r i b u t e dv i d e oc o d i n ga p p l i c a t i o n s ，d i s t r i b u t e ds o u r c ec o d i n g ，m u l t i p l ep a t h t r a n s m i s s i o na n de r r o rr e s i l i e n c et e c h n i q u e sa r ed e s i r e d s t r e a m i n gv i d e ot o d i v e r s eu s e r so v e rh e t e r o g e n e o u sn e t w o r k si sac h a l l e n g i n gp r o b l e m ，a n di ti s c r i t i c a lt h a tv i d e oa p p l i c a t i o n sw o r kw e l lo v e rw i r e da n dm u l t i - h o pa d - h o c w i r e l e s sn e t w o r k s h o w e v e r , n e i t h e rt h en e t w o r kn o rt h ea p p l i c a t i o nc a n p r o v i d et h e s ea s s u r a n c e sw o r k i n gi n d e p e n d e n t l yo fe a c ho t h e r m o t i v a t e db y t h e s e p r o b l e m s ，w ee x p l o r e s o m ek e yt e c h n o l o g i e st h a ta d d r e s st h e s e c h a l l e n g e s i nt h i st h e s i s ，t e c h n i q u e sf o rh i g hc o m p r e s s i o ne f f i c i e n c ya n di m p r o v e d e r r o rr e s i l i e n c ea r ep r o p o s e di ns e v e r a lt o p i c s ，i n c l u d i n gl o wb i tr a t ev i d e o c o d i n g ，d i s t r i b u t e dv i d e oc o d i n g ，a n dj o i n t s o u r c en e t w o r kc o d i n g t h e c o n t r i b u t i o n so ft h i st h e s i sa r ep r e s e n t e di nc h a p t e r2t oc h a p t e r4 f i r s t ，t h et h e o r e t i c a lf o u n d a t i o n so fw a v e l e tb a s e dv i d e oc o d e ra sw e l la s an e wv i d e oc o d e rf o rl o wb i tr a t ev i d e oc o m p r e s s i o nu s e di nt h i sr e s e a r c ha r e p r e s e n t e d o u rr a t e - d i s t o r t i o no p t i m i z a t i o n ( r d o ) w a v e l e tp a c k e tv i d e oc o d e r , w h i c hc o d e st h et e m p o r a ls u b b a n d so u t p u tf r o ma m o t i o n c o m p e n s a t e d t e m p o r a lf i l t e r ( m c t f ) ，c a nd e t e r m i n eo p t i m a lr a t ea l l o c a t i o n si no n eg o p f o rag i v e nc o d i n gb i tb u d g e t w ep r o p o s et h r e ea l g o r i t h m st of i n dt h eb e s t b a s i ss u b t r e eo fo n et e m p o r a lf l a m ea n do p t i m a ll a g r a n g em u l t i p l i e ro fo n e g o pt h er e s u l t ss h o wt h a tt h er d 、聊c o d e cp e r f o r m a n c eo u t p e r f o r m s 北京邮电大学博十学位论文 t y p i c a l l y0 6t oo 9 d bo ft h ep s n r o b t a i n e db yt h em c e z b cc o d e c ，t h r o u g h t h ee n t i r er a n g eo fl o wr a t e s f u r t h e r , d v ct o o l sf o rv i r t u a lc o r r e l a t i o nc h a n n e lp a r a m e t e r se s t i m a t i o n a n di m p r o v e ds i d ei n f o r m a t i o n ( s i ) a r ei n t r o d u c e df o rs o u r c ec l a s s i f i c a t i o n b a s e dd v c s y s t e m a f t e rp r o v i d i n ga no v e r v i e wo fr e l a t e dt o p i c s ，w ep r o v i d e t h e o r e t i c a l a n a l y s i s o fh o ws o u r c ec l a s s i f i c a t i o nc a nl e a dt o i m p r o v e d r a t e - d i s t o r t i o np e r f o r m a n c e w r ep e r f o r mp i x e ll e v e lo n l i n e e s t i m a t i o n o f v i r t u a lc h a n n e lm o d e lp a r a m e t e r sa td e c o d e r ，a n dp r o p o s ean e ws ig e n e r a t i o n s c h e m ew i t hi t e r a t i v ed e c o d i n gw i t c hu s e s ap a r t i a l l yd e c o d e df r a m e t h e i m p r o v e ds ir e s u l t si nas i g n i f i c a n tg a i ni nr e c o n s t r u c t i o nq u a l i t yf o rv i d e o t h ei n t r o d u c e dt o o l si m p r o v et h eq u a l i t yo fd e c o d e dv i d e o ，o u t p e r f o r m i n g b o t ht h eo r i g i n a lc o d e ca n dt h ed i s c o v e rc o d e c t h e n ，as y m b 0 1 1 e v e ln e t w o r kc o d i n gb a s e dw i r e l e s sv i d e oc o n f e r e n c e s y s t e mi sd e s c r i b e d ，w h e r et h el i s t e n i n gs c h e m ea sw e l la se r r o rc o r r e c t i n g s c h e m eb a s eo nr a n d o ml i n e a rn e t w o r kc o d i n g ( r l n c ) a r ep r e s e n t e d n e t w o r kc o d i n gi sa t t r a c t i v ef o raw i d er a n g eo fv i d e oa p p l i c a t i o n s t h eg o a l o ft h el i s t e n i n gi st or e d u c et h en u m b e ro ft r a n s m i s s i o n so ri m p r o v et h e c o d i n gg a i n t h er l n cb a s e dn e wm e c h a n i s mc a nr e c o v e re r r o ro f t r a n s m i s s i o ns y m b o l s ( l d p cc o d e w o r d s ) t h es i m u l a t i o nr e s u l t ss h o wt h a t t w oi m p r o v e ds c h e m e so u t p e r f o r mt h eb a s es y s t e mi nt e r m so fr e c e i v e dv i d e o q u a l i t ya n dc o d i n gg a i nb yas i g n i f i c a n tm a r g i n f i n a l l y , a n o t h e rj o i n ts o u r c en e t w o r kc o d i n ga p p l i c a t i o ni ss t u d i e d w r e a d d r e s st h es e a l a b l ev i d e ob i t s t r e a mp r o t e c t i o na n da d a p t a t i o np r o b l e mb ya s e to fj p i n ts o u r c en e t w o r kc o d i n gt e c h n i q u e sf o rr o b u s ts t r e a m i n gv i d e ot o h e t e r o g e n e o u s u s e r s s i m u l t a n e o u s l y t h eb i t s t r e a mi s f i r s td i v i d e di n t o d i f f e r e n tp r i o r i t ys u b s t r e a m sa c c o r d i n gt ot h e i re f f e c t st oe r r o rp r o p a g a t i o n t h e nu n e q u a le r r o rp r o t e c t i o ni sa p p l i e dt oa l ls u b s t r e a m s s y m b o l sf r o mt h e s a m ep r i o r i t yl e v e lo fs e v e r a lg o p sf o r mo n er l n cc o d e i ti ss h o w nb y s i m u l a t i o nr e s u l t st h a tt h ep r o p o s e ds c h e m ed i s t r i b u t e st h ei m p a c to ft h el o s s o fo n eg o pi n t op a r t i a ld a t al o s so v e rm u l t i p l e n e i g h b o r i n gg o p s t h e o r i g i n a lv i d e oc o n c e n tc a nb ee a s i l yr e c o v e r e dw i t hs p a t i a l t e m p o r a le r r o r c o n c e a l m e n ti nt h ep r o p o s e dr a n d o ml i n e a rn e t w o r kc o d i n gb a s e ds c h e m e i v 北京邮电大学博士学位论文 k e yw o r d s ：r a t e d i s t o r t i o n o p t i m i z a t i o n ，w a v e l e tp a c k e t t r a n s f o r m ， d i s t r i b u t e dv i d e oc o d i n g ，s i d ei n f o r m a t i o n ，n e t w o r kc o d i n g ，j o i n ts o u r c e n e t w o r kc o d i n g v 北京邮电人学博上学位论文目录 目录 第一章绪论1 1 1 论文研究背景及意义1 1 2 视频编码技术研究现状2 1 2 1 混合视频编码3 1 2 2 子带4 , 波视频编码4 1 2 3 视频编码新技术6 1 3 论文的主要贡献。1 5 1 4 论文结构安排1 6 1 5 本章参考文献1 7 第二章小波包率失真优化的低比特率视频编码2 1 2 1 基于小波变换的视频编码。2 1 2 1 1 运动估计2 1 2 1 2 运动补偿时域滤波2 3 2 1 3 相关改进与不足2 4 2 2 小波包率失真优化一2 5 2 2 1 小波包变换2 5 2 2 2 编码框架设计2 7 2 2 3 率失真准则一2 7 2 2 4 码率控制2 8 2 3 优化算法分析。2 9 2 3 1 子带k 层小波包分解算法3 0 2 3 2 最优小波包分解算法3 1 2 3 3 最优拉格朗日乘子优化算法3 2 2 4 仿真结果及分析。3 3 2 4 1 仿真结果3 3 2 4 2 相关问题讨论3 7 2 5 相关工作3 8 2 6 本章小结3 8 2 7 本章参考文献3 9 v i 北京邮电大学博上学位论文 目录 第三章信源分类的分布式视频编码4 2 3 1 分布式信源编码4 2 3 2d v c 发展现状4 4 3 2 1 p r i s m 系统一4 4 3 2 2s t a n f o r d 系统4 6 3 2 3 比较与发展4 7 3 2 4 需要进一步解决的问题4 9 3 3 基于信源分类的分布式视频编码方案4 9 3 3 1 信源分类增益4 9 3 3 2 信源分类策略5 1 3 3 3 编码框架设计5 2 3 4 虚信道模型。5 3 3 4 1 拉普拉斯模型。5 4 3 4 2w z 帧重构5 6 3 5 边信息生成技术5 6 3 5 1 运动补偿时域内插一5 6 3 5 2 改进的边信息生成技术5 7 3 6 仿真结果及分析5 9 3 7 相关工作6 3 3 8 本章小结6 4 3 9 本章参考文献6 5 第四章信源网络联合编码7 2 4 1 网络编码简介7 2 4 1 1 网络编码原理7 2 4 1 2 网络编码的优势7 6 4 2 信源网络联合编码要解决的问题一7 7 4 2 1 信源网络联合编码一7 7 4 2 2 信源网络分离编码7 9 4 3 基于网络编码的无线视频会议系统8 0 4 3 1 符号级网络编码8 0 4 3 2 无线视频会议系统设计8 1 4 3 3 系统编码增益改进8 2 v 5 2 进一步的研究工作1 0 5 缩略语1 0 6 致谢1 0 9 攻读博士学位期间发表论文和申请专利情况1 1 0 北京邮电大学博l 学位论文第一章绪论 1 1 论文研究背景及意义 第一章绪论 视频编码技术广泛应用于通信、计算机、广播电视等领域，诸如视频会议、可视 电话以及数字电视、多媒体存储等，这一系列应用促进了许多不同用途的视频编码标 准的产生。i t u - t 与i s o 正c 是制定视频编码标准的两大组织，u t 制定的标准 ( h 2 6 x ) 主要应用于实时视频通信领域，如视频会议等；m p e g 系列标准则由i s o 砸c 制定，主要应用于视频存储、广播电视、i p 网或无线网络上的流媒体业务等方面。 图1 - 1 给出了主要视频编码标准的发展历程。 固匝固 二堕口 固 h 2 6 4 m v c 回l 三三 二二至习 。 1 9 髓1 9 9 21 9 9 62 0 0 02 0 0 4 2 0 0 9 图1 - 1 视频编码标准发展 经过了多年不断地发展，已有的视频编码技术日趋成熟、完善。目前，视频编码 技术的发展趋势大致分为三个方向： 1 信源由单一信源向分布式多信源发展 传统的视频应用只包含一个信源，是典型的一对多应用系统，如视频广播、手机 电视等。然而随着视频传感器网络、多视点视频和分布式视频监控的发展，以及各种 p 2 p 业务、视频会议和摄像头阵列的广泛应用，当前的视频应用逐渐向多信源应用发 展，即多对一或多对多应用系统。多信源视频应用对视频编码技术提出了新的要求： 终端设备低编码复杂度、低功耗；编码算法能有效去除多个信源i 、日j 的相关性，实现分 布式信源压缩；解码端能够完全重构各信源信息，并进行有效地融合。 2 信宿由能力单一接收终端向能力各异的异构接收终端发展 接收终端的异构性体现在两个方面：接收设备的异构性和对服务质量、业务内容 北京邮电人学博士学位论文 第一章绪论 需求的异构性。接收设备异构包括各种手机、p d a 、笔记本电脑、机顶盒和标清高 清电视等等。这些终端在功率、内存、硬件以及显示能力等方面存在很大的差异：它 们对网络连接的方式、带宽也具有不同的要求，对服务质量( q u a l i t y o f s e r v i c e ，q o s ) ， 视频内容的要求也不尽相同。尤其在无线环境中，在发射功率受限的条件下，无线通 信只能够实现较低的传输速率，例如g p r s 的理论最高传输速率为1 7 1 2 k b p s ，3 g 提 供的理论最高传输速率为2 m b p s 。典型的低分辨率( 3 6 0 x 2 8 8 ) ，低帧率( 1 5 h z ) 视 频内容通常传输速率为3 8 4 k b p s ，因此现有的无线通信环境仍是一个典型的低比特率 应用场景。 3 传输环境由简单可靠的有线传输环境向复杂的无线网络传输环境发展 随着因特网的普及和下一代网络的迅猛发展，未来网络朝着全i p 异构网络方向 发展，允许各种无线接入技术；能够提供不同q o s 的业务和丰富多样的应用，而其 中视频业务正是其主流业务之一。无论是移动视频通信、数字视频广播( d i g i t a lv i d e o b r o a d c a s t i n g ，d v b ) ，还是手机电视都面临视频在无线信道中传输的问题，无线信道 的主要问题是不稳定的信道状态和突发性的高误码率。而在无线i p 网络或者异构i p 网络都会面临信道带宽变化、误码或丢包、时延抖动等传输问题，因此要求视频编码 具有一定的抗误码丢包能力，和对不断变化地网络结构、带宽的灵活适应性。 本课题从高压缩效率和可靠传输的角度出发，着重研究以上3 个方面的关键问 题，包括针对低比特率传输环境的视频编码技术；针对分布式信源的分布式视频编码 技术和针对鲁棒传输的信源网络联合编码技术。为了更好的阐述本论文所研究的关键 技术和涉及的相关研究背景，本章在1 2 节中首先介绍视频编码技术的基础理论和部 分视频编码新技术的研究现状。 1 2 视频编码技术研究现状 因为原始视频包含了海量的数据，加之传输、存储能力非常有限并且昂贵，所以 对视频进行压缩处理是必不可少的。数字音视频编码技术的重要目标是压缩原始音视 频信息，而不影响解码信号的质量并且能够满足目标应用要求。对于视频编码而言， 现有的编码系统主要利用4 类工具达到压缩目的： 1 在视频帧间采用运动补偿时域预测技术去除时间冗余信息； 2 采用变换编码( 如d c t 、d w t ) 去除空间冗余信息； 3 量化变换系数，利用人眼视觉系统( h u m a nv i s u a ls y s t e m ，h v s ) 限制去除 视觉冗余信息； 2 c o s i n et r a n s f o r m ，d c t ) 的混合编码技术和基于小波( w a v e l e t ) 的视频编码技术。 混合编码是现有视频编码标准的基础，而小波变换编码则多见于研究领域。 1 2 1 混合视频编码 由于相邻视频帧之问高度相关以及同一视频帧内相邻像素间的高度相关性，高效 视频压缩就是要有效地去除原始视频的时域和空间冗余。在传统的视频编码系统中， 所谓的混合编码( h y b r i dc o d i n g ) 技术是指运动补偿时域差分脉冲编码调制 ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ，d p c m ) 与空间变换编码的混合，它可以充分 去除时域和空间冗余。表1 - 1 列出了现有的基于混合编码技术的视频编码标准。 表1 - 1 视频编码标准 混合编码框图如图1 2 所示。编码时，视频帧序列首先被分为帧组( g r o u po f p i c t u r e ，g o p ) ，然后送入混合编码器。输入视频帧被划分为宏块( m a c r o b l o c k ) ，每 一宏块通过帧内预测和帧间预测两种模式编码，都要基于重建帧生成预测宏块p 。在 帧内预测模式中，通过对编码并重建的当前帧进行计算生成p ；在帧间模式中，通过 对一帧或多帧参考帧进行运动估计得到p 。在图1 2 ( 口) 中，当前宏块减去预测块p 产生一个残差块，然后经过d c t 变换和量化后形成一组量化的变换系数。这些系数 经重新排序后进行熵编码，熵编码后的码字与其他码流信息一起形成压缩后的码流。 3 蔼奎 北京邮电大学博十学位论文 第一章绪论 图1 2 ( 6 ) 表示了混合编码器解码过程。编码码流经过解码和顺序重排，得到 一系列量化后的系数，然后进行反量化、反变换生成残差宏块。解码器从码流中解出 头信息，利用这些头信息得到该残差宏块的预测宏块p ，该预测宏块p 与编码器的原 始预测宏块p 相同。p 与残差宏块相加得到重建块，再进行滤波生成解码宏块，最后 形成解码帧，重构视频序列。 ( a ) 编码器 ( 6 ) 解码器 图1 - 2 混合视频编码系统框图 由于混合视频编码系统中采用了封闭的反馈循环，因而解码器在预测时，必须使 用前面编码器所使用的编码帧或参考帧。如果出现误码，解码器和编码器所使用的参 考帧将不再相同，解码器将不能正确解出当前帧，进而影响后面帧的解码，即产生漂 移( d r i f t ) 问题。 1 2 2 子带d , 波视频编码 与d c t 类似，离散小波变换( d i s c r e t ew a v e l e tt r a n s f o r m ，d w t ) 将图像变换到 频域。变换结果是将图像分级表示，每一级表示一个空间频域子带( s u b b a n d ) 。得益 于子带川、波图像编码某些良好的性质，例如嵌入式零树小波【7 】( e m b e d d e dz e r o t r e e 4 ! ! 室塑皇奎堂竖主堂垡笙苎笙二皇笙堡 w a v e l e t ，e z w ) ，j p e g 2 0 0 0 1 8 l 和s p i h t t 9 1 ，3 d 变换编码是另一种有效地视频编码技 术。图1 3 是3 d 子带d , 波编码系统框图，与图1 2 比较可以看出，该系统不存在 传统混合编码器中的反馈循环。 编码器 解码器 码流 熵编码器 码流 熵解码器 图1 3 3 d 视频编码框图 文献f 1 0 1 首先推广了用于3 d 子带分析综合的普通2 d 可分离滤波器组，将一对 2 抽头h a a r 滤波器用于时域滤波。带有运动补偿( m o t i o nc o m p e n s a t i o n ，m c ) 的3 d 变换编码由文献 1 1 1 首先提出。文献 1 1 1 将3 d 子带滤波器组与块匹配运动估计算法成 功结合，滤波沿着确定的运动轨迹实施。该3 d 运动补偿子带编码结构在文献【1 2 】和 文献 1 3 15 b 被进一步发展。在运动补偿预测情况下，滤波器使用线性预测编码( l i n e a r p r e d i c t i v ec o d i n g ，l p c ) 滤波器；而在变换或小波编码情况下，变换基函数受m c 轨迹的约束，称为运动补偿时域滤波( m o t i o nc o m p e n s a t e dt e m p o r a lf i l t e r i n g ，m c t f ) 。 之后，提升( l i f t i n g ) 算法被引入亚像素( s u b p i x e l ) m c t f 以实现完美重构i l 6 1 。 现有的一些采用子带小波编码技术的视频编码器包括3 ds p i h t l r 刀，m c e z b c 墙j ， l z c t l 9 】等等。子带, b 波编码的基本方法如图1 4 和图1 5 所示。 原始视频序列 l l 级 l 2 级 l 3 级 l 4 级 图1 _ 4 运动补偿时域滤波m c t f 结构 5 北京邮电人学博上学位论文 第一章绪论 图1 4 为典型的1 6 帧g o p 结构，m c t f 滤波是在一个g o p 中进行的。最顶层 为原始视频帧，g o p 内每两帧问进行m c t f 后，得到一个时域高频帧和一个时域低 频帧，然后每两个时域低频帧间进行m c t f ，而时域高频帧间不再进行m c t f 。如图 1 - 4 中，第1 、2 帧经过运动估计、使用运动补偿h a a r 小波变换得到一个时域低频帧 l 1 和一个时域高频帧h 1 。对g o p 中其他相邻帧进行m c t f 后，得到4 个时域低频 帧l 1 、l 2 、l 3 、l 4 和4 个时域高频帧h 1 、h 2 、h 3 、h 4 。对l 1 级所有时域低频帧 继续进行m c t f ，得到k 级时域帧。该过程不断重复，直到完成所有4 级m c t f ， 最后得到1 个时域低频帧u 上l 1 和1 5 个时域高频帧。l 4 级帧率降为原始帧率的1 1 6 ， 时域低频帧保留了1 6 帧的平均信息，而高频帧存储的是帧间残差信息。该结构有效 消除了帧间冗余，通过它们可以完全重构所有原始视频帧。 i i 1 一一 一一一1 - 1 1 2 ： 嘣， 一 n ，i l l c i c l 图1 5 小波3 级空间分解 随后，待编码时域帧进行2 d 空间小波分解，如图1 5 所示为3 级空间分解。1 级小波变换生成4 个子带l l l 、h l l 、l h l 和h h l ( h l l 代表1 级高通水平滤波和 低通垂直滤波) 。重复对l l 子带进行小波变换得到各级子带。空间分解后，生成的 子带可以使用各种技术编码，例如e z b c 、e b c o t 冽和s p i h t l 2 1 1 。 1 2 3 视频编码新技术 本小节将简单总结视频编码新技术。随着多媒体应用的不断发展，为了增强视频 码流与传输网络的适配能力，j v t 于2 0 0 7 年制定了可分级视频编码( s c a l a b l ev i d e o c o d i n g ，s v c ) 作为h 2 6 4 a v c 的一个扩展部分【4 4 l ；为了满足三维立体电视、任意视 点电视等新兴媒体通信的要求，j v t 于2 0 0 6 年起丌始制定h 2 6 4 a v c 的另一个扩展 方案一多视点视频编码( m u l t i v i e wv i d e oc o d i n g ，m v c ) ；为了适应传感器网络等分 布式信源编码应用及低复杂度设备的需求，分布式视频编码( d i s t r i b u t e dv i d e o 6 北京邮电大学博卜学位论文 第一章绪论 c o d i n g ，d v c ) 技术得到广泛的研究；为了提高多媒体信息在复杂网络环境中传输的 鲁棒性，研究者提出多种错误恢复( e r r o rr e s i l i e n t ，e r ) 机制，其中结合网络编码 的鲁棒视频流传输技术成为近期的研究热点。 另外，各种技术之间互相融合的趋势r 益明显。例如s v c 与d v c 相结合形成可 分级分布式视频编码( s d v c ) 技术f 2 2 j ；s v c 与m v c 相结合形成可分级多视点视频 编码( s m v c ) 技术；分布式多视点视频编码( d m v c ) 2 3 j 和多视点分布式视频编码 ( m d v c ) 2 4 1 ；采用网络编码技术的s v c 码流传输；使用网络编码实现d v c 等等。 1 2 3 1 可分级视频编码 对于一般的编码系统而言，主要根据具体网络通信链路的传输能力、用户终端解 码能力等因素，分别对视频序列进行编码，产生不同速率、分辨率和质量的码流。但 在实际应用中通常希望对视频序列只进行一次高分辨率、高质量的压缩编码，然后根 据不同的链路传输能力、解码能力从单一码流中解出不同质量和分辨率的视频，即可 分级视频编码技术。该技术是对异构网络传输问题简单且灵活的解决方案，而且可以 提供对差错控制和带宽变化的自适应性。根据网络状况和能力不同，解码器可以分级 接收码流，然后在多种质量层、空间分辨率或时间分辨率上重建视频序列。 图l - 6 分级视频编码应用场景 7 北京邮电火学博士学位论文 第一章绪论 典型的s v c 应用场景如图1 - 6 所示，图中只显示了空间和时域分级。实际应用 中，这些场景可能存在于具有不同内容、网络结构和接收设备的不同系统中。场景( 口) 展示了一个针对s d t v h d t v 的后向兼容解决方案。s v c 码流被分发给数字视频广 播系统中的不同的客户端。标清电视可以接收并解码基本层( 分辨率为6 4 0 x 4 8 0 的视 频) ，而高清电视可以接收所有分层，显示7 2 0 p ( 1 2 8 0 x 7 2 0 ) 的视频。分辨率分级同 样可以应用于存储分层内容，如d v d 。在场景( 6 ) 中，不同的设备具有不同的解码 和描述能力，如计算能力、内存容量和显示器尺寸。即使在无差错传输环境中，移动 设备也只能处理低分辨率( q v g a ) 和低帧率( 1 2 5 f p s ) 的子码流；而笔记本电脑则 能够接收、解码包含2 5 f p sv g a 的码流。在广播或组播( m u l t i c a s t ) 环境中，时域或 空间分级能实现各种不同设备的适应性。在场景( c ) 中，相同客户端位于不同的子 网或者具有不同的连接链路。不同客户端通过c a b l e 、l a n 、d s l 或w l a n 连接， 也可能是位于相同网络但是使用不同的q o s 配置( 中间节点应用不同的拥塞控制方 法) 。每个客户端的可用带宽不同使得接收的视频具有不同的帧率、空间分辨率或者 质量。甚至是同一个客户端，由于带宽的变化，接收视频的帧率、分辨率和质量也随 时在发生变化。 本小节主要介绍基于混合编码的s v c l 2 5 l 和基于小波的s v c 2 6 1 。在当前的视频压 缩标准中，基于混合编码的s v c 主要应用在m p e g 2 、m p e g 4 细粒度分级( f i n e g r a n u l a r i t ys c a l a b i l i t y ，f g s ) 和h 2 6 3 中，并最终被作为h 2 6 4 a v c 的一个扩展部 分；由于小波变换具有内在的分级特性，因此也在s v c 中得到了广泛的研究，已有 的主要工作包括3 ds p i h t ，m c - e z b c ，l z c 和v i d w a w 。图1 7 列出了基于小波变 换的s v c 方案与相关基础工具间的内在联系。 图1 7 基于小波的s v c 理论背景 8 北京邮电大学博+ 学位论文 第一章绪论 分级码流由一个基本层( b a s el a y e r ) 码流和一个或多个增强层( e n h a n c e m e n t l a y e r ) 码流构成。基本层码流解码得到基本的视频重构，增强层码流结合基本层码 流得到更好的视频重构。下面主