（信息与通信工程专业论文）精细粒度可分级编码技术和传输技术研究.pdf

精细粒度可分级编码技术和传输技术研究 摘要 本文对精细粒度可分级编码技术和传输技术进行了研究，并在f g s 增强层的 码率和失真关系模型和f g s 编码传输方法等方面取得一定的研究成果。本文的 研究工作主要集中在如下几点。 首先，本文研究了f g s 增强层码流的码率r 和失真d 之间关系。f g s 编码 器在对视频序列进行压缩编码时会产生两种类型的压缩码流：基本层码流和增 强层码漉，基本层编码器通常是一个优化的编码器，如m p e g - 4 和h 2 6 4 编码器， 而f g s 增强层编码器则是对基本层( 或者下级增强层) 的重构图像和原始图像 之问的差异进行编码。在采用d c t 残差系数作为f g s 增强层编码器的信源时， d c t 残差系数的统计特性决定着f g s 增强层的码率失真特性而d c t 残羞系 数的统计特性则是由d c t 系数的统计分布特性和相应的量化过程所决定的。在 研究d c t 残差系数的分布过程中，本文发现采用的l a p l i 分布模型通常会在 分布尾部下降速度过快，和实际的d c t 残差系数的分布有一些差异本文采用 了两种方法去解决这一问题。一是采用控制参数的方法，对基于纯l a p l a c i a n 分 布的r d 模型进行丁改进。二是采用混合分布的方法去描述实际的d c t 残差系 数的统计分布，从理论上推导和建立了码率r 和失真d 之间的关系模型。基于 后者，本文提出采用了一种新的，混合l 8 p l a c l a n 和u n i f o r m 分布( m i x e dl a p l a c i o n a n du n i f o r md i s t r i b u t i o n ) 的方法去描述实际的d c t 残差系数的统计分布，利用 均匀分布模型去描述实际d c t 残差系数分布的尾部。本文的试验证明，本文提 出的两种模型都表现出优于基于纯l a p l i a n 分布模型的性能。 接着，本文研究了通过网络传送f g s 压缩码流的传输技术。本文提出在f g s 增强层的一个b i l - p l a n el e v e l 内可以用一种混合线性逼近和指数逼近模型来表示 r d 之问的关系。基于这种混合线性逼近和指数逼近的r e ) 逼近模型，本文采用 最优化理论对f g s 码流的传输过程进行优化，控制传输过程中的质量变化，使 得解码端解码图形的质量变化变得平滑。本文提出了的两种f g s 编码优化传输 模型，第一种传输模型( c q x t a g s ) 是基于质量标记，结合混合线性和指数分 第1 页 上簿姐人学_ 【再士学位论文摘璺 布的r d 关系模型的优化传输控制方法。试验的结果表明，c q x t a g s 方法可以 有效地降低解码视频序列之间的质量波动。使得解码序列更加适合人眼的观看。 第二种模型( c q x ) 是基于l a p l a c i a n 和u n i f o r m 分布的失真模型，结合基于混 合线性和指数分布的r d 关系模型的优化传输控制方法。c q x 传输方法也表现出 不错的性能。 本文还对分级编码传输系统在家庭环境中的应用模式进行了研究，对应用情 景进行分析。家庭网络是分布在一个家庭范围内的网络，它的构成非常的复杂， 而且多种形式的网络同时并存。这使得家庭网络设备之问的传输带宽是变化的， 但是这些设备之间的连接是可吼被实时监控的。基于o s g i 和u p n p 技术，本文 采用服务模块化，分布化和单一化的架构设计了适合在家庭网络中应用的分级编 码传输系统。 在研究过程中，本文工作的创新主要有如下几点： 1 改进了基于纯l a p l a c l a n 模型的r d 模型，改进模型可以更加有效地表 征f g s 增强层码率r 和失真d 之间的关系 2 采用混合的l a p l a c i a n 和u n i f o r m 分布( m i x e dl a p l a c i a n du n i f o r m d i s t r i b u t i o n ) 的模型去描述实际的d c t 残差系数的分布，本文提出了 一种新的f g s 增强层的码率失真模型，新模型对一个b i t - p l a n e1 e v e l 内的码率r 和失真d 之间的关系进行了描述。 3 本文提出采用混合线性逼近和指数逼近的逼近模型去描述在一个 b i t - p l a n el e v e l 之内的码宰r 和失真d 之间的关系。新的混合逼近模 型比常用的线性逼近模型具有更高的逼近性能， 4 基于o s g i 服务框架和u p n pa v 技术，本文设计了在家庭网络中应 用的分级编码传输系统。新的分级编码传输系统充分地利用家庭网络 内的其他服务资源，更加的高效和稳健。 关键词：分级编码，精细粒度可分级编码，码率失真模型量化，变长变码， 冈络传输，码率控箭，家庭网络 第页 s t u d y0 1 1f i n og a i n e ds o a i a b i oc o d i n gt e o h n o i o g ya n d t r a n s m i 8 8 i o nt e c h n o i o g y a b s t r a c t m 廿1 i sp a p e cw es t u d yt h es t a t i s t i c a ic h a r a c t e n s t i co fd c tr e s i d u e s a n d a c h i e v e ds o m ep r o g r e s so nt h er e l a t i o n s h i pb e t w e e nr a t ea n dd i s t o r t i o no f e n h a n c e m e n tl a y e ro ff g sc o d i n g t h es c a nw a yo fr e s i d u a l sa n dt h e t r a n s m i s s i o nm e t h o d t h er e s e a r c ho ft h i sp a p e ri sf o c u s e do nt h ef o l l o w i n g 3 a s p e c t s f i r s t w es t u d i e dt h er e l a t i o n s h i pb e t w e e nr a t ea n dd i s t o r t i o n o ff g s e n h a n c e m e n tl a y e r i nf g se n c o d i n gp r o c e s s ，t h ed c tr e s i d u e s d i f f e r e n c e b e t w e e no r i g i n a li m a g ea n dt h er e c o n s t r u c t e di m a g ei nt h eb a s el a y e r , a r e r e g a l e da st h ee n c o d i n gs o u r c eo ft h ee n c e d e ri nt h ee n h a n c e m e n tl a y e r v v h e nw es t u d ys t a t i s u c a id i s t r i b u t i o no fd c tr e s i d u e s w ef o u n dt h e d e c r e a s i n gs p e e di st o og r e a ti nt h et a i lo fa p p r o x i m a t i n gd i s t r i b u t i o nt h a nt h e r e a id c tr e s i d u e sd i s t r i b u t i o ni fl a p l a c i a nd i s t r i b u t i o ni su s e dt om o d e it h e 0 c tr e s i d u e s a n dt h i sw i l ic a u s es o m em i s m a t c h e sj nt h et a o r a p p r o x i m a t i n gm o d e l t h e 自瞎tp r o p o s e di so n eo p t i m i z e dr db a s e d o l ls i n g l e l a p l a c j a nd i s t r i b u t i o n t h es e c o n dp r o p o s a lj s am o d e ib a s e do nm i x e d l a p l a c i a na n du n i f o r md i s t r i b u t i o n s i no r d e rt os l o wd o w nt h ed r o p p i n gs p e e d j n 廿1 et a i lo ft h ea p p r o x i m a t i o nd i s b i bu t i o i l w eu s et h em i x e dd i s b i b u t i o nt o m o d e im el e a id c tr e s i d u e sd i a t r i b u t i o nu n i f o r l t td i s b i b u t i o na t o p r o x i m a t e s 伽ea v e r a g eo fd r o p p i n gs p e e di nt h et a i l i n gp a r to fr e a ld c tr e s i d u e s a n dt h e nw es t u d i e dt h es t r e a m i n gf r a m e w o r kf o rc o m p r e s s e df g s b i t - s t r e a mo v e rl h et c p ，i pn e t w o r k i i io r d e rc o n t r e it h eo u t p u tr a t ao ff g s e n c o d e rp r e c i s e l y ；w eu s e dm i x e dl i n e a r a p p r o x i m a t i n ga n de x p o n e n t i a l a p p r o x i m a t i n gm e t h o dt om o d e it h er e l a t i o n s h i pb e t w e e nr a t ea n dd i s t o r t i o n f o rf g sb i t - s t r e a m sa n dp r o p o s e dn e f fr a t ec o n t r o l l i n ga l g o r i t h mt oa d a p tt h e v a r i a t i o no fa v a i l a b l eb a n d w i d t hb e t w e e ns 竹e a m i n gs e v e ra n dt h ep l a y b a c k d i e n lt h ef i r s tp r o p o s a li sb a s e dq u a l i l yt a g sa n dt h ej o i n t e c ll i n e a ra n d e x p o n e n t i a lm o d e ia n dt h es e c o n dt r a n s m i s s i o nm e t h o di sb a s e do nt h em i x e d 第页 l a p l a c i a na n du n 胁n n d s 们b u u o nr dm o d e la n dt h ej o i n tl i n e a ra n d e x p o n e n t 殖la p p r o x i m a t i o nr dm o d e le x p e r i m e n t a l r e s u l t ss h o wt h et w o p r o p o s e dm e t h o dc o u l ds m o o t ht h ev a r i a t i o no fq u a l i t ya l o n gt h ed e c o d e d p i c t u r es e q u e n c e s m o r e o v e ew es t u d i e dt h ea p p l i c a t i o n s c a n a d o sw h e nf g sc o d i n g s y s t e m sa r ed e p l o y e di nh o m en e t w o r ki nw h i c ht h eb a n d w i d t hb e t w e e na n y t w oe n d p o i n t si sv a n a b l ea n dd i f f e r e n t b a s e do nt h eo s g ls e r v i c ef r a m e w o r k a n du p n pa vs p e c i f i c a t i o n 啪d e s 日no n en o v e lt r a n s m i s s i o ns y s t e m s t r u c t u r ef o rf g sc o d i n gi nt h ep r o p o s e ds t r u c t u r e a t h ed e v i c e si nh o m e c o u l db es e a m l e s s i yc o n n e c t e dt o g e t h e rt h r o u g ho s g is e r v i c eg a t e w a ya n d t h e i rb u i l t i ns e r v i c e sc o u i db es h a r e dw i t ho t h e rd e v i c e sj nh o m en e t w o r k t h r o u g ho s g is e r v i c ef r a m e w o r k i n t e g a t e dw i t hu p n pa v , d e v i c en e t w o r k i n g a n dm e d i at r a n s p o r ta n dc o n b o lb e c a m ef e a s i b l ea n de f f i c i e n t n e w t r a n m s s i t i o ns y s t e ma l s oh a sab e t t e rr o b u s t i c i t y t h ei n n o v a t i o n si nt h i st h e s i sa r el i s t e da st h eb e l o w ： 1 w ep r o p o s e do n ei m p m v e dr dm o d e l b a s e do n t h es i n g l e l a p l a c i a nd i s t r i b u t i o n a n d t h ei m p r o v e dm o d e ih a sab e t t e r p e r f o r m a n c e 2 w eu s e dm i x e dl a p l a d a na n du n i f o m ld i s t r i b u t i o nm e t h o dt om o d a l t h er e a ld c tr e s i d u e sd i s t r i b u t i o n a n dp r o p o s e do n en o v e lr d m o d e if o rf g se n c o d e nt h ep r o p o s e a lm o d e ic a nc h a r a c t e r i z et h e r e l a t i o n s h i pb e t w e e nra n ddv e r yw e l l 3 w eu s e dm i x e dl i n e a ra p p r o x i m a t i n ga n de x p o n e n t i a la p p r o x i m a t i n g m e t h o dt om o d e it h er e l a t i o n s h i pb e t w e e nr a t ea n dd i s t o r t i o nf o r f g sb i t - s b e a m sa n dp r o p o s e dn e wr a t ec o n t r o l l i n ga l g o r i t h mt o a d a p ti h ev a r i a a o no fa v a i l a b l eb a n d w i d t hb e t w e e ns t r e a m i n gs e v e r a n dt h ep l a y b a c kd l e n t 4 b a s e do nt h eo s g is e r v i c ef r a m e w o r ka n du p n p a vs p e c i f i c a t i o n ， w ed e s i g no n en e wn o v e lt r a n s m i s s i o ns y s t e ms k u c t u r ef o rf g s c o d i n gp r o p o s e dt r a n s m i s s i o ns t r u c t u r eh a sab e t t e rr o b u s t i c i t ya n d p e r f o r m a n c e k e y w o r d s ：s c a l a b l ec o d i n gt e c h n 0 1 0 9 y m p e g 一4f g sc o d i n gt e c h n o l o g y , r a t ea n dd i e t o r t i o nm o d e i q u a n t i z a f i n n ，v l c v i d e nt m n s m i s s i o n r a t e c o n t r 0 1 h o m en e t w o r k 第页 缩写语 英文缩写英文全称 中文古义 a d v a n c ev i d e oc o d i n g 高级视频编码 b i n a r y r i t h m e t i cc o d i n g二进制算术编码 b a s el a y e t c o n t e x t - a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g c o n t e x t - a d a p t i v ev a r i a b l e l e n g t hc o d i n g c u s t o m e re l e c t t o n i c 基本层 上下文自适应二进制算术编码 上下文自适应变长变码 消费电子 c o a r s eg r a n u l a r i t y $ c a l a b i l i t y 粗糙粒度可分级 c o n s tq u a l j t y c o n s tr a t e 恒定质量 恒定码率 d i s c r e t ec o s i n et r a n s f o r m 离散余弦变换 d a t a - r a t er e s h a p i n g e n h a n c e m e n tl a y e r e n do f p l a n e f i n eg r a n u l a r i t ys c a l a b i l 咐 数据码率重塑 增强层 平面结尾 精细粒度可分级 g e n e r a l i z e dg a u s s i o nf u n c t i o n 通用高斯函数 g r o u po fp i c t u r e i n v e r s ed i s c r e t ec o s i n e t 憎n s f o r m i n t e m e tp r o t o c a i 图像组 离散余弦逆变换 网际协议 j o i n tp h o t o g r a p h i ce ，c d e r b g r o u p j o i n t t e a m 联合视频小组 第v 页 肌 呲 卧 一 征 瞄 保 时 宝 乩 吁 兰 鲥 鲫 嘶 妒 一 m l s b m c p m p e g m s b m s e o s g l p r p s n r q p r d r t c p r t p s i p s n r s v c t c p t s b u d p u p n p v l c v q e g m l u l e a s ts i g n i c i f i c a n tb i t m o t i o nc o m p e n s a t e d p r e d i c t i o n m o t i o np i c t u r ee x p e r tg r o u p m o s ts i g n i f i c a n tb i t m e a ns q u a r e de r r o r o p e ns e r v i c eg a t e w a y i n i t i a t i v e p r o g r e s s i v er e f i n e m e n t p e a ks i g n a ln o i s er a t i o q u a n t i z a t i o np a r a m e t e r r a t ea n dd i s t o r t i o n r e a l t i m et r a n s p o r tc o n k o l p r o t o c o l r e a l t i m et r a n s p o r tp r o t o c o l s e s s i o ni n m a t i o np r o t o c o l s i g n a ln o i s er a t i o s c a l a b l ev k f e oc o d i n g t a n s m i s s i o nc o n t r o ip r o t o c a i t e m p o r a ls u b b a n d u s e rd a t a g r a mp r o g r a m u n i v e r s a lp l u ga n dp l a y v a r i a b l el e n g t hc o d i n g v c l e oq u a l i t ye x p e r t sg r o u p m i x e dl a p l a c i a na n du n i f o r m d i s t r i b u t i o n 最不重要的位 运动补偿预测 最重要的位 均方误差 开放的服务网关联合 渐进的改善 峰值信噪比 量化参数 码率和失真 实时传输控制协议 实时传输协议 会话起始协议 信噪比 分级编码 传输控制协议 时域子带编码 用户数据报协议 通用即插即用 可变长编码 视频质量专家组 混合l a p l a c a i n 和均匀分布模型 第页 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行 研究工作所取锝的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律 结果由本人承担。 学位论文作者签名：彦窆寸夯 日期：了州年d f 月。日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定。同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅本人授权上海交通大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本 学位论文。 保密口，在一年解密后适用本授权书 本学位论文属于， 不保密匹z ( i i l l 在以上方框内打“，”) 学位论文作者签名：才h 舟 日期：m 年- p 月一1 ，日 ：劣麦骞 日期：彦n - ) 年o 碉o 日 1 1 简介 第一章简介和研究内容分析 早在半个世纪以前，人们对数字信号压缩技术的研究就开始了。起初，人们 研究数字信号编码技术的主要目标是获取很高的压缩比，用尽可能少的符号来表 示信号的尽可能多的信息。特别是针对音视频信号的压缩，高的压缩比一度成了 衡量音视频编码算法性能的唯一标准。几十年过去后，人们在数字压缩技术领域 无论是在理论上，还是在工程应用中都取得了很大的成功，处理音视频信号的软t 件和硬件水平也在不断地提高在二十世纪9 0 年代，i s o ( i n t c m a t i o n a ls t a n d a r d s o r g a n i z a t i o n ，国际标准化组织) 和r r u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ， 国际电信联盟) 等国际组织根据工业应用的需要，对视频编码技术进行了收集、 整理，并且制定了一些通用的视频压缩编码标准。如i s o 组织制定的m p e g 标 准l “，m j 组织制定的i - 1 2 6 1 ，h 2 6 3 等标准f 4 j 。 在二十世纪9 0 年代后期，伴随着计算机网络技术的迅猛发展，在w w w 上 的多媒体内容越来越多，网络多媒体技术也在不断的发展，人们对在i n t o n e r 网 络上传递视额的要求也越来越迫切。越来越多的用户希望可以利用p c 或手持设 备通过互联网或者无线网络来进行视频通讯可以使用i s p 提供的视频服务( 如 v o d 等) 。这种要求对当前的视频编码技术和视频网络传输技术都提出了更高的 要求。比如，在i n t e m e t 网络上传输视频流需要解决两个基本问题。一个基本问 题是网络带宽的波动。不同的人在不同的时刻使用不同的设备使用i n t e r n c t 时， 所能使用的数据传输带宽存在很大的差异即使是同一个人在使用同一台设备连 续使用i n t e r n e t 时，实际使用的数据传输带宽也在不断地变换。在网络上传输视 频流的另外一个基本问题就是数据包的丢失。网络带宽的波动和数据包的丢失是 目前网络不可避免的特性。要解决这些问题的最理想的方法是使编码和传输技术 可以自适应地根据网络带宽波动进行自动调节。可分级的视频编码技术就是适应 上海交通大学博士学位论文第一章简开和研究内容丹析 这种需求而设计的编码技术。分级编码技术可以通过改变视频信号的空间分辨 率，时间轴上的帧率和质量级别来改变输出码率。可分级编码技术还可以根据终 端设备的处理能力改变编码的方式，降低解码复杂程度。基于可分级编码技术的 传输方法可以根据蚓络带宽波动，调整可分级编码器的输出，使得输出码率可以 适应实际的可用带宽。h a y d e r m r a d h a 和m i h a e l av a nd e rs e h a a r 在文献【5 】中认 为，基于可分级编解码技术通过i n t e r n e t 传输视频流的传输方法应该满足以下的 五个条件 1 s t r e a m i n g 服务器的预处理和码率控制必须简单 2 对网络的变化有较好的自适应的能力 3 视频流的解码应该满足低复杂度的解码和需要较少的内存的条件以 适用接入网络的不同设备 4 必须支持多播和单播 5 必须具有抗网络丢包的能力 精细粒度可分级编码技术是可分级编码技术的一种。一般情况下，可分级编 码技术实现的分级级数是有效的，而精细粒度可分级编码技术则可以宴现在定 的衡量范围内( 如质量，空间) 连续不分级可调。 f 2 可分级编码技术在视频编码标准中的应用 在早期的视频压缩标准如i n j - t1 - 1 2 6 1 1 6 1 和1 s o i e cm p e g 1 m 中是不提供可 分级能力的。主要原因是i 1 2 6 1 和m p e g - 1 是专门针对存储应用而设计的，而这 些应用没有要求编解码器具有可分级能力的需求。i s o i i e cm p e g - 2 u i 是第一个 提供可分级工具的编码标准。m p e g - 2 提供可分级工具的主要目的还是和 m p e g 1 进行兼容可分级工具分为三种：质量可分级，空间可分级和时间轴上 的可分级。在1 - 1 2 6 3 编码标准的扩展部分中，也提供了类似的时间，空问和质量 上的可分级工具脚。 虽然h 2 6 3 + 和m p e g2 标准都提供了可分级的编码工具，但是这些可分级 的视频编码技术通常只提供了粗糙的，分级级数被同定的可分级能力。在 m p e g - - 4 视频编码标准中，不仅支持空间尺寸上和时间轴上的可分级( 分级级数 也被固定) ，还支持在质量上的精细粒度可分级。这种可以在质量上提供精细粒 - 2 - 上海交通丈学博士学位论文第一章简介和研究内容分析 度可分级能力的编码技术就是m p e g - 4f g s 技术嘲，该技术在近几年的发展特别 地引人注目。在m p e g - 4a v c ( m p e g - 4 标准的第l o 部分) 中唧即h 2 6 4 标 准中，可分级的能力得到了进一步的增强。新一代的视频编码标准如m p e g - 4 标准和i - 1 2 6 4 标准，所支持的可分级能力和类型变得更多，更强大。 随着市场对可分级能力的要求越来越广泛和强烈，国际标准组织i s o i e c 和 l t u - t 的联手组建的j v t 编码组已经开始了对可分级视频编码( s v c ) 技术的研 究。2 0 0 5 年，在香港举行的n t 会议上，n t 编码组在h 2 6 4 a v c 工作草案 ( 第一版) 提出了一种新的f g s 实现技术i ，并把s c a l a b l ev i d e oc o d i n g 定义 为h 2 6 4 m p e g - 4 a v c 可s c a l a b l e 扩展部分的延续。2 0 0 5 年1 月，m p e g 组纵和 j t uv c e g 组织也一致同意把s v c 技术作为h 2 6 4 m p e g - 4a v c 标准的 a m e n d m e n t 继续推动下去l l “。s v c 不仅很好地支持了空间上的分辨率的可分级， 时间轴上的帧率可分级以及质量上的c g s 和f g s 两种可分级【”，而且也可以支 持不同类型可分级的混合山现。s v c 采用基于m p e g - 4 a v c 的编码框架来实现 各种可分级的能力。在选择编码方案的时候，j v t 编码组还考虑了基于w a v e l e t 变换【1 3 ，1 4 】的方案，但在比较两种技术在主观质量上的表现后，j v r 编码组采用了 基于m p e g - 4 a v c 的编码方案。同时，m p e g 委员会还成立了一个a d - h o c 小组 专门研究w a v e l e t 技术。 1 3 可分级编码技术及其发展 自首次在m p e g - 2 标准中采用可分级编码技术后人们对可分级编码技术进 行了广泛的研究。经过近l o 年的研究后，一些可分级编码技术开始逐步发展和 成熟起来。在2 0 0 5 年1 2 月。德国研究机构德国弗劳恩霍弗研究所( f r a u n h o f e r i n s t i t u t e ) 就在“i f a 2 0 0 5 ”德国柏林消费电子展览会上，向入会观众演示了可 以改变图像空间分辨率和帧速率的最新s v c 编码技术。相信在不久的将来，s v c 编码技术将会被大量的应用到各个领域。 最初人们提出的可分级类型主要有三种：时域可分级、空域可分级和质量可 分级。其中质量可分级也称为s n r 可分级。相比上述三种可分级类型而言，针 对不同的终端设备计算能力的复杂度可分级以及新近在s v c 中提出的 p r o g m s s i v e - i n t e r l a c e 可分级都是根据实际需要后来才提出的。 3 1 3 1 时间轴上的可分级 时域可分级编码把一段视频编码为两个层的码流，基本层码流和增强层码 流。基本层和增强层的空问分辨率是一样的，但是在帧率上是不一样的。时域可 分级编码的编码效率逼近非可分级编码技术的编码效率。 理想情况下，时域可分级编码不仅在全帧率的情况下可以提供良好的质量， 在较低的帧率下也可以保持比较好的质量。一般来说，有三种时域可分级编码技 术：时域子带编码( t s b ) ，带运动补偿的时域子带编码( m c - - t s b ) 和运动补 偿预测编码( m c p ) “”。在文献【】6 1 中对这三种技术进行了比较，m c p 和m c - - t s b 的性能在理论上和实际中都比t s b 好，在高码率的情况下，m c p 和m c - - t s b 的主观性能不耜上下，但是在低码率的情况下，m c p 可以提供比m c - - t s b 更 加好的可视效果( 主观质量) 。 圈1 i 丹等级的b 帧结构旧 f ；目e1 1 恤g 咖懈o f h i c n a c h i c a l b p i c t u r e s 般情况下，时域可分级编码通常是通过在码流中添加或丢弃b 帧来实现输 出码率的可变。b 帧是使用与它在时间上最近邻的前后两个i 帧或p 帧来预测的， 而自己并不作为任何其它帧的参考图像，因此在传输中丢弃b 帧并不影响其它 帧的质量，而仅仅降低帧辜。图1 1 是s v c 中采用分等级b 帧结构技术实现的 时间轴上可分级的倒子l ” 这种结构可以提供4 个可分级级别。关键帧如黑色竖条表示( i o p o ) ，之间 相隔相等的若干帧，一个关键帧和紧跟其后的关键帧之间的b 帧一起构成一个 c o p 关键帧采用帧内编码或者和用其他关键帧作为参考帧采用帧间编码。如果 丢弃所有的b 帧，剩下的所有关键帧一起就构成了时问轴可分级的基本层，帧 上海变通大学博士学位论文第一章简介和研究内窖分析 i i i 率为1 ，8 金帧率当所有的关键帧和所有的q 帧，如图1 1 中第4 。1 2 帧，在一 起输出时，帧率为t 4 全帧率，此时所有的盘z 帧和玛帧被丢弃；同理当所有的 关键帧和所有的且帧，马帧( 图】1 中第2 6 ，1 0 ，1 4 帧) 在一起输出时，帧 率为i 2 全帧率。当没有b 帧丢弃时，输出帧率为全帧率。依次图1 】所示的分 等级的b 帧枧构可以输出1 ，l ，2 i 4 和i 8 全帧率，共四种输出帧率。 幽l2 基于m c t f 方法的时同轴上的可丹锾性旧 f i g u r e1 2t m p o is c a l a b i l i t yb a s e do nm u t f 在s v c 中，不仅可以采用分等级的b 帧结构来实现时同轴上的可分级能力， 还可以采用m c t f 的方法来实现。如图1 2 所示。如果只有低颓拉r 部分被传送 到解码器则解码器端输出的帧率是1 1 2 全帧率。该层被称为基本层。通过传 送高频的分量 矗r 部分，解码器可以解码出伍r 部分序列，输出帧辜为i 4 全r 率。因此讧r 序列被称为个增强层。如此类推，如果留 2 序列被传送到解码 端，解码器的输出码率为i ，2 全码率。当所有的帧都被解码器端得到时，解码器 的输出码率则为全码率。 在m p e g - 2 ，m p e g - 4 以及s v c 中，时问轴可分级可以和其他的可分级类 型结合在一起使用。如和空问可分级类型一起使用，就形成空时可分级 ( 跏f i a j t e m p o r a ls c a j a b j i t y ) 1 3 2 空间可分级 空域可分级编码把一段视频编码为两个层的码流，基本层码流和增强层码 流。基本层和增强层的帧率是一样的但是在空间分辨率上是不一样的。基本层 的空问分辨率比较的低，增强层的空间分辨率比较高。 空域可分级编码是通过为视频中的每一帧都创建多分辨率的表示来实现的。 当进行空域可分级编码时，原始视频首先通过_ 卜采样得到低分辨率的视频，编码 得到基本层码流；然后编码原始视频和基本层视频的差生成增强层码流。不过空 域可分级编码在视频传输中应用较少，因为任何一个用户都不能接收在前一个 g o p 中观看高分辨率视频，而到下一个g o p 只能获得低分辨率视频。因此即使 增强层在传输中被丢弃，客户端的解码器也要对低分辨率的图像进行插值，这实 际上是一种质量可分级的特殊情形。图1 3 为空域可分级编码的示意图。从增强 层到基本层是一个降采样过程，而从基本层到增强层则是一个内插过程。一般来 说，基本层和相邻空间增强层之间的空间尺度比是2 一l 。 圈1 , 3 空问的可分级性 l q g u m1 3s p 硝a ls e , a l a b i l i 哪 在m p f _ x 】- 2 ，m p e o - 4 ，s v c 以及1 1 2 6 3 ，h 2 6 4 中采用的空间可分级方法基 本上都是一样的。空间可分级技术可以在终端设备的显示能力( 如显示尺寸) 各 不相同的情形下使用。 1 3 3 质量可分级 质量可分级编码是最常用的可分级编码办法。根据s n r 的调节能力，我们 可以把质量可分级分为两种类型的：分等级质量可分级和精细粒度质量可分级- 一6 - 口f旧 一 一洲 一 一 洲 一 巳 1 3 3 分等级质量可分级 分等级质量可分级编码的思想和空域可分级编码很类似，只不过这里不需对 原始视频进行下采样，而是进行一次很粗的量化形成基本层码流。然后对原始视 频和基本层视频的差再进行一次量化，生成增强层码流：如果有多个增强层码流 则重复上面的过程。如图1 4 所示。 在s v c 中t 分等级质量可分级被称为c g s ( c o a r s eg a i ns c a l a b i l i t y ) 。c g s 编码和空问可分级编码本质上是一样的，唯一的区别是c g s 必须是每个层上都 具有相同的空问分辨率，而空间可分级编码在不同的层具有不同的空间分辨率。 c g s 是基本层用新的量化参数重新量化后而产生新的c g s 层。包含c g s 层的 码流只能在有限的点进行码率切换这个和c g s 码流中包含的c g s 层的个数 有关。 对c g s 编码方法，只有整个s n r 层都出现才可以正确地解码，因此在解码 器和编码器端不会出现参考图像不一样的情况d r i f t 误差也就不会产生。 日臀l ，口 f 珏 豁 口i - j 畸 田1 , 4 分等经的质量可分级 f i g t n1 ah i m r c h i e a tq u a l i t ys l a b i l i t y m p e g - 2 标准和1 - 1 2 6 3 标准中提供的质量可分级工具都是分等级的质量可分 级类型，只能在设定的几个质量水平问进行切换，而不可以象m p e g 4f g s 技 术那样，可以在一定码率区间内实现连续s n r 质量变换 1 3 3 2 细粒度质可分级 糟细粒度可分级编码和分等级的质量可分级编码之间的区别就在于前者可 7 忌 巴 嘲 嚣 日 上海交通 学博士学位论支第一章蔺介和研苑内各分析 以在一定的质量范围内连续可分级，而后者只能在固定级数的质量级别上进行质 量切换。在m p e g 组织开始采用f g s 方法的时候。就已经有许多的精细粒度的 编码方法被提出，这些方法主要有如下三类： 1 基于小渡变换的技术1 1 t 。” 2 基于d c t 变换的技术瞳9 l 3 基于匹配追踪的技术1 2 0 l 其中基于d c t 变换的位面( b i t - p l a n e ) 技术的方法和基于小波变换技术的方 法两种方法在编码性能上非常的相似1 2 l 】，但是由于m p e g - 4f o s 的基本层采 用的是d c t 变换技术，m p e g 4 f g s 标准就采用了基于d c t 的位面技术作为增 强层的精细粒度编码技术。增强层在编码时，先从原始的d c t 系数中减去基本 层逆量化后重建的d c t 系数值获得d c t 残差，然后对每一个8 8 的块按从上 到下从左到右的顺序使用位平面进行编码。 m p e g4f g s n 编码技术把视频序列压缩成两个码流：基本层码流和增强层 码流。