（信号与信息处理专业论文）无线通信中视频编码算法的研究.pdf

南京邮电大学硕士研究生学位论文 摘要 无线通信中视频编码算法的研究 摘要 随着移动通信的蓬勃发展，人们对无线通信环境下视频的编码及 其传输技术提出了更高要求。但由于无线通信系统存在网络带宽起伏 较大，差错残余，误比特率高等问题，给无线视频编码和传输的研究带 来了很大的机遇和挑战。目前应用于无线通信的视频编码算法主要有 m d c ( m u l t i p l ed e s c r i p t i o nc o d i n go fi m a g ea n dv i d e o ) 和f g s ( f i n e g r a n u l a r i t ys c a l a b i l i t yc o d i n g ) 。其中m d c 已经有人提出各种的 编码器实现方法，并且大多数基于运动补偿的m d c 算法主要是建立在 h 2 6 3 框架下，而精细分级编码( f g s ) 主要是为适应m p e g 一4 标准规定 的无线或者因特网( i n t e r n e t ) 网络环境下流媒体的传输而制订的编 码工具。 本文研究无线视频编码算法，主要研究精细分级编码( f g s ) 算法。 通过对m p e g - 4 标准下各种算法的分析和研究，并结合最近的h 2 6 4 标 准下的研究现状及其由j a s c e n s o ，f , p e r e i r a 等人在h 。2 6 4 标准下提出的 精细分级编码( f g s ) 编解码器结构，提出了一种改进的用于无线环境 下的视频流媒体应用和传输的a v c e n f g s 算法及其编解码器结构。 本文就所提出的a v c e n f g s 算法及其编解码器结构中以下两个 方面的问题进行了详细的分析和研究，并给出了相应的改进方法及其 实验结果和分析。 南京邮电大学硕士研究生学位论文摘要 1 ) 如何确保精细分级编码( f g s ) 基本层视频流在无线环境下的 可靠传输。在这个问题上给出了一种基于打包策略的方块重 排的传输方法。 2 ) 如何计算精细分级编码( f g s ) 增强层编码器在使用l e a k y p r e d i c t i o n 技术克服差错漂移( d r i f t ) 问题时预测因子兄的 值。在这个问题上提出了一种改进的最大似然估计的方法来 计算预测因子z 的值。 本文通过理论推导，算法的具体实现及实验仿真证实了提出的 a v c - e n f g s 算法及其编解码器结构的有效性和可行性。 关键词：h 2 6 4 ，精细分级编码，l e a k y 预测，差错漂移， 无线视频 南京邮电大学硕士研究生学位论文a b s t r 8 c t i o n t h er e s e a r c ho fa l g o i u t h mi n w l r e l e s sv i e d oc o d i n g a b s t r a c t i o n f o rt h ev i d e o s t r e a m i n g b r o a d c a s t i n g i na h e t e r o g e n e o u s e n v i r o n m e n t ，m p e g 一4d e f i n e st h ef i n eg r a n u l a r i t ys c a l a b i l i t y ( f g s ) ， w h i c ho f f e r sg r a c e f u ld e g r a d a t i o no fv i s u a lq u a l i t yt h r o u g ht h eb i t - s t r e a m t r u n c a t i o n w h i l eo f f e r i n gg o o ds c a l a b i l i t ya tf i n eg r a n u l a r i t y ，c u r r e n t a p p r o a c hs u f f e r sf r o mp o o rc o d i n ge f f i c i e n c ya n ds u b j e c t i v eq u a l i t y 。a l s o ， c u r r e n t l y i nh 2 6 4t h e r ei sn od e f i n i t i o na b o u tt h ef i n e g r a n u l a r i t y s c a l a b i l i t y ( f g s ) t h i sd i s s e r t a t i o n p r o v i d e s a n i n t e r g r a t e d s o l u t i o nc a l l e d a v c e n f g si nh 2 6 4 w h i c hi su s e di nw i r e l e s se n v i r o n m e n t s p e c i f i c a l l y ，w ep r o p o s ea ne n h a n c e dm e t h o d ，e n h a n c e dm le s t i m a t i o n ， f o rc a l c u l a t i n gt h ev a l u eo fp r e d i c t i o nc o e f f i c i e n tw h e nl e a k yp r e d i c t i o n i sb e i n gu s e dt oo v e r c o m et h ed r i rp r o b l e mi ne lc o d e r a n d ，f o rt h eb l c o d e r ，w ep r o v i d e an e wm e t h o df o rt r a n s m i t t i n gt h eb ls t r e a mt o r e c o v e rs o m ed a t af r o mp a c k e tl o s s ，w h i c hi sc a l l e db l o c k - r e o r d e r i n g b a s e dp a c k e t i n g i nc o n c l u s i o n ，t h i sw o r kp r o v i d e sa na l g o r i t h mo ff g sf o rv i d e o s t r e a m i n gi nw i r e l e s se n v i r o n m e n t ，w h i c hh a sb e e np r o v e du s e f u l a n d 南京邮电大学硕士研究生学位论文 f e a s i b l e m o r e o v e r ，t h ep r o p o s e ds c h e m e sc a r lb ea p p l i e di nt h eu p c o m i n g s t a n d a r df o rs c a l a b l ev i d e oc o d i n g k e yw o r d sh 2 6 4 ，f g s ，l e a k yp r e d i c t i o n ，d r i f t ，w i r e l e s sv i d e o i v 南京邮电大学 硕士学位论文摘要 学科、专业： 工学信号与信息处理 研究方向： 现代通信中智能信号处理 作 者：三旦堕级研究生黄毅指导教师壑墨壹 题目：无线通信中视频编码算法的研究 英文题目：t h er e s e a r c ho fa l g o r i t h mi nw i r e l e s sv i d e oc o d i n g 主题词：h 2 6 4f g s l e a k yp r e d i c t i o n d r i f t 无线视频 k e y w o r d s ：h 2 6 4 f g s l e a k yp r e d i c t i o n d r i f t w i r e l e s sv i d e o 南京邮电大学硕士研究生学位论文 术语表 术语表 a v ci t u tr e c o m m e n d a t i o nh 2 6 4i s om p e g4p a r t10 ： a d v a n c e dv i d e oc o d i n g f g s 精细颗粒分级 f i n eg r a i n u l a r i t ys c a l a b i l i t y d r m 差错漂移 s v c 可分级视频编码s c a l a b l ev i d e oc o d i n g m c题动补偿m o t i o nc o m p e n s a t i o n m e运动估计m o t i o ne s t i m a t i o n m b宏块 m a c r o b l o c k m p t 多路径传输 m u k i p l ep a t ht r a n s p o r t d p数据分区d a t a p a r t i t i o n i n g f m o灵活的宏块排列f l e x i b l em a c r o b l o c ko r d e r i n g p s n r峰值信噪比p e a k s i g n a lt on o i s er a t i o b l 基本层 b a s el a y e r e l 增强层 e n h a n c e m e n tl a y e r m l最大似然 m a x i u ml i k e l y h o o d c a b a c基于上下文的可适应算术编码 c o n t e x ta d a p t i v eb a s e da r i t h m e t i cc o d e r l e a kp r e d i c t i o n漏斗预测 s l i c e宏块列表 j s v m联合分级视频模型j o i n ts c a l a b l ev i d e o m o d e i b u f f e r缓冲器 f r a m e 图像帧 一v i i 南京邮电大学学位论文独创性声明 y 8 s o s 7 8 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 穆f 究生签名：几期 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名 导师签名：垒星童日期：! 翌! ：! 南京邮电大学硕士研究生学位论文第一章引言 第一章引言 现阶段，因特b ( i m e m e t ) 用户飞速增长，基于因特网( i n t e m e t ) 视频传输的视频 点播、可视会议、可视电子商务等一些流媒体的应用业务得到了快速的发展。同 时，随着移动通信的快速发展，移动多媒体成为移动通信发展的新热点，第三代移 动通信( 3 g ) 标准的制订和即将商用使得通过无线信道传输视频信息成为可能。再 加上近期各种宽带无线接入技术出现，如无线宽带( w l a n ) 等。这些都使得无线视 频编码的研究必将成为今后一段时期内的研究热点。然而由于无线信道固有的 些特性和缺点，使得要如何在无线环境下商效传输视频成为一个难题。 1 1 一种典型的视频应用 图1 - 1 为视频的一种典型应用，从图中可以看出，未来视频编码算法要能满足 不同的网络和不同的终端带来的要求，这给视频编码带来了很大的挑战，尤其在无 线环境提出的要求更高。( 图中w i r e l e s s 为无线网络，e t h e m e t 为以太网) 1 2 无线环境下视频传播所面临的问题 目前在无线环境下要传送视频面临的主要几个问题有信道的带宽，传输速率， 以及信道的比特差错和网络拥塞所引起的丢包现象。分别说明如下。 a 无线信道带宽和传输速率的影响( 带宽波动) 在无线宽带( w l a n ) 等无线网络中，无线信道的传输能力不但受多径衰弱、 信道间相互干扰、噪声等的影响，视频流传输更受到带宽抖动的影响。当移动终 端从一个网络切换到另一个网络中( 例如从无线局域网w l a n 到无线城域网的 w a n 切换) ，可用带宽的变化十分剧烈；当有呼叫切换发生时，移动基站可能会没 有足够的无线资源来满足新接入的移动终端的通话需要；当移动终端在移动时，无 线信道的带宽随着位置的变化，更不可预知。这些都对实时视频流传输产生很大 的影响，大大降低视频的质量，导致不能满足大部分用户的需求。 南京邮电大学硕士研究生学位论文第一章引言 国1 - 1 视频通信的典型应用 b 无线信道误码和丢包的影响( 差错信道) 移动网络中的链路受到多径衰弱、信道之间的干扰、噪声的影响，位错误率 较高 2 】，同时由于网络中流量的拥塞而导致的丢包现象都使得视频流传输的图像 质量大大的降低 3 】。传统的视频编码算法通过运动预测、运动补偿来减少前后 两帧的时间相关达到高效压缩的目的。若运动矢量信息丢失，显然不能准确恢复 出原始图像。当受影响的区域又要作为后继帧的参考区域时，这个因丢失引起的 错误在时间和空间上就发生了蔓延。若纹理信息丢失，相应的区域将出现重建误 差，经过运动补偿之后，错误在时间和空间上也发生了蔓延。尤其在数据经过了可 变长编码( v l c ) 后码流和码字如果在传输的时候碰到了一些比特差错，将造成接 收端不能够正确的解码，最终得不到很好的解码图像。 c 不同的应用终端像手机，移动p c 等( 终端的多样性) 。 2 南京邮电大学硕士研究生学位论文第一章引言 在同类异构网络中，每个用户需要的带宽和速率不同，加上他们本身的处理 能力也不同，这对网络中视频的传送提出了不同得要求。 综合上面的几点，可以看到有必要提出一些合适的方法来克服上面的问题， 满足越来越多的视频应用的要求。下面的小节将描述几种目前在无线环境下传输 视频的编码方法。 1 3 视频编码的几种主要方法 针对以上在无线环境下视频编码所要面临的问题，人们研究出了许多用于因 特网( i n t e r n e t ) 或无线视频编码的技术，即所谓的差错控制和隐藏技术( e r r o r c o n t r o la n de r r o rc o n c e a l m e n t ) 4 。根据通信系统中编解码器在差错控制和隐藏 方面所起的作用不同，可以把这些技术分成三类。 a 前向处理技术( f o r w a r de r r o rc o n c e a l m e n t ) 包括f e c ，联合信源信道编码，分层编码，多重编码，多优先级传输等等。 b 后处理技术( e r r o rc o n c e a l m e n tb yp o s t p r o c e s s i n g ) 包括图像的空域，时域插值和滤波处理等。 c 交互处理技术( i n t e r a c t i v ee r r o rc o n f a b h e n t ) 包括自动请求重传( a r q ) 和基于反馈的预测编码等 把这些技术运用到不同的编码方法中，就产生了目前应用的许多不同的无线 及其因特i 网( i n t e m e t ) 视频编码技术，结合目前的状况，主要归纳有以下几种。 一、 分层编码( l c ) 分层编码( l c ) 是指将视频编码成一个基本层和一个或多个加强层。基本层提 供了一个较低的但可接受的质量，每个附加的加强层逐步地提高质量。用于错误 恢复时，l c 必须与传输系统中的非均衡错误保护( u e p ) 相结合，因为基本层必须得 到更强的保护。 二、 多描述编码( m d c ) 多描述编码( m d c ) 同分层编码( l c ) 一样，也将同一个视频源编码成多个子流， 称为描述，区别是产生的各个描述是相关的，有着同样的重要性。任何一个单独的 描述必须提供一个基本级别的视频质量，多个描述一起提供改善的图像质量。 传统的视频编码是单描述编码( s d c ) ，一个视频源只有一个码流。这种方法不 南京邮电大学硕士研究生学位论文第一章引言 在同类异构网络中，每个用户需要的带宽和速率不同，加上他们本身的处理 能力也不同，这对网络中视频的传送提出了不同得要求。 综合上面的几点，可以看到有必要提出一些合适的方法来克服上面的问题， 满足越来越多的视频应用的要求。下面的小节将描述几种目前在无线环境下传输 视频的编码方法。 1 3 视频编码的几种主要方法 针对以上在无线环境下视频编码所要面j | 岛的问题，人们研究出了许多用于因 特网( i t c r e p n e t ) 或无线视频编码的技术，即所谓的差错控制和隐藏技术( e r r o r c o n t r o la n de r r o rc o n c e a l m e n t ) 4 。根据通信系统中编解码器在差错控制和隐藏 方面所起的作用不同，可以把这些技术分成三类。 a 前向处理技术( f o r w a r de r r o rc o n c e a l m e n t ) 包括f e c ，联合信源信道编码，分层编码多重编码多优先级传输等等。 b 后处理技术( e r r o rc o n c e a l m e n tb yp o s t - p r o c e s s i n g ) 包括图像的空域，时域插值和滤波处理等。 c 交互处理技术( i n t e r a c t i v ee r r o rc o n c e a l m e n t ) 包括自动请求重传( a r q ) 和基于反馈的预测编码等 把这些技术运用到不同的编码方法中，就产生了目前应用的许多不同的无线 及其因特网( i n t e r n c l ) 视频编码技术，结合目前的状况，主要归纳有以下几种。 一、 分层编码( l c ) 分层编码( l c ) 是指将视频编码成一个基本层和一个或多个加强层。基本层提 供了一个较低的但可接受的质量，每个附加的加强层逐步地提高质量。用于错误 恢复时，l c 必须与传输系统中的非均衡错误保护( 【j e p ) 相结合闺为基本层必须得 到更强的保护。 二、 多描述编码( m d c ) 多描述编码( m d c ) 同分层编码( l c ) - - 样，也将同一个视频源编码成多个子流， 称为描述，区别是产生的各个描述是相关的，有着同样的重要性。任何一个单独的 描述必须提供一个基本级别的视频质量多个描述一起提供改善的图像质量。 传统的视频编码是单描述编码( s d c ) ，一个视频源只有一个码流。这种方法不 传统的视频编码是单描述编码( s d c ) ，一个视频源只有一个码流。这种方法不 南京邮电大学硕士研究生学位论文 第一章引言 适应在误码多发环境下使用。在视频压缩编码中，多播述编码是针对单描述编码 而言的。多描述编码方法的提出是因为多样化信道的出现为适应误码多发环境而 提出的方法。多描述编码和分层编码不同，它的每个码流可以被独立解码出来，重 建出达到一定质量的视频原图像。多描述( 多信道) 编码中的一个核心问题就是当 一个信源被两个( 或更多) 的描述所表示时，对这两个描述分开解码和联合解码时 的失真下界问题【5 】。即与信息论知识有关的所谓多用户信息论中的多址按入问 题。多描述编码的模型见下图： 信道1 图1 2 多描述编码模型 信源通过多描述编码器得到毛、s ：、j 。多个描述，各描述通过独立的信 道传送到解码端，解码器最少接收1 个描述，最多接收n 个的描述，总共有2 “种接收 情况。显然接收到的描述数目不同，解码器能恢复的信源程度也不同，当所有描述 都收到时，能最大限度地恢复信源，接收端接收的描述数越多，重建图像质量越好， 当收到全部描述时，就可以得到最佳的重建质量 为了保证从任一描述中都可以恢复出一定质量的视频，每个描述都必须包含 足够多的视频信息，这意味着多描述编码方案要比一般的编码方案的效率低。但 是由于同一视频内容的所有描述在传输过程中弼时被破坏的概率非常小，因此与 一般编码方法相比，这种编码方法虽然会降低压缩效率，但在传输时提高了可靠性 可以有效地运用在无线等有较高误码发生的环境下。一般它也和m p t ( m u l t i p l e p a t ht r a n s p o r t ) 技术结合在一起。 南京邮电大学硕士研究生学位论文第一章引言 多描述编码可以从预测、量化、d c t 变换、熵编码、信道编码等方面进行。 音频、图像的多描述编码通棠从量化、d c t 变换着手；视频的多描述编码通常 从预测着手。目前已经有许多的成熟的算法出现，主要有以下几种： 1 基于量化的多描述编码【5 】 2 基于变换的多描述编码 6 】 3 基于运动矢量的多描述编码 7 】 4 基于运动补偿的多描述编码 8 】 三、分级编码 图l - 3 采用分级编码的视频传输系统 另外一种和多描述编码有类似之处的提高传输可靠性的方法是分级编码。 传统的分级编码( 分层编码) 将视频信息分成几个重要性不同的层进行传输，每 层依赖于它下面的所有层，其中基本层包含了视频最重要的基本信息，可以保证最 基本的图像质量：增强层的作用是在基本层的基础上进一步提高图像质量，解码 端再根据接收到的增强层的信息进行解码得到对应于不同质量的视频图像，如图 1 - 2 所示。分级编码通过对基本层和增强层采取不同的保护机制使得基本层发生 丢包或误码的概率比增强层的小，从而保证了在出现传输差错的情况下，重建图像 仍然有一个可以令人接受的质量。 分级编码的码流包括一个基本图像质量的基本层( 提供基本图像质量) 和一 个或多个增强层( 提供改进图像质量的数据) 。可以满足不同传输网络或不同终端 的要求。对基本层和增强层进行不同的纠错编码，改善抗误码性能。在m p e g 一2 和m p e g 4 标准中制定了普通分级编码方法，他们主要是： 1 空间分级( 分辨率) ，它将图像分解成几种分辨率的差分图像分别进行编码， 南京邮电大学硕士研究生学位论文第一章引言 形成几种码流。 2 时间分级( 帧频) ，它在码流中略过不需要的帧。 3 。信噪比分级( s n r ) ，它是在量化的时候对d c t 系数进行不同等级的量化， 产生不同s n r 质量的图像。 4 精细分级( f g s ) ，它可以较细、连续改变编码图像的等级。它的基本方法是 对增强层d c t 变换系数采用比特平面( b i t p l a n e ) 编码，形成统一的嵌入式 码流该码流可以在任意的地方被截断。从而达到比特级的精细码率分级 粒度，精细分级编码( f g s ) 已经被m p e g - 4 接受，作为新版的补充项目。 分级编码带来最大的好处是：速率控带1 ( r a t ec o n t r 0 1 ) 在单播( u n i c a s t ) 网络中，分级可以满足不同用户的带宽要求，对接入带宽 高的用户提供更多的码流，对接入带宽低的用户，只满足他的基本需求，提 供很低速率的接入请求。 在多播( m u l t i c a s t ) 两j 络中，能根据同类异构网络的不同情况，使用不同的分 级，提供不同网络传输速率。 但是，目前大部分的分级编码的研究主要是在无损压缩的前提下对编码方 法做基于率失真( r - d ) 特性得优化，很少考虑到在网络中有丢包的情况，即有损环 境下如何实现的问题。后者正是本论文所要考虑的方面。 1 4 论文的主要内容 论文主要研究分级编码中的精细分级编码( f g s ) ，首先对分级编码及其精细 分级编码f i g s ) 的基本概念和原理做简单的介绍，讨论精细分级编码( f g s ) 存在的 主要问题，然后研究一些主要的精细分级编码( f 6 s ) 算法，分析其优缺点。接着对现 有的在h 2 6 4 标准下精细分级编码( f o s ) 算法的实现提出改进。首先对编解码器 的传输可靠性进行了研究，提高了其在无线环境下抗误码的能力，并给出详细的理 论说明，实现及其实验结果。其次提出了一种基于l e a kp r e d i c t i o n 技术的增强层编 解码器结构，并对l e a kp r e d i c t i o n 技术中存在的预测因子计算问题即预测因子的 计算方法上进行了详细地研究，提出了用于无线环境下精细分级编码( f g s ) 应用 的计算方法，给出了详细的理论推导和阐述，并就实现得到的结果进行了讨论。 南京邮电大学硕士研究生学位论文 第一章引言 1 5 论文的组织结构 论文首先在引言部分介绍一些无线视频编码的背景和几种编码方法，在第二 章将对分级编码作一个比较详细的介绍，介绍了精细分级编码方法的原理和其主 要的特点，在第三章结合一些相关的文献介绍精细分级编码方法需要研究的一些 问题和主要研究状况。在第四章介绍本论文的a v c e n f g s 算法，对其在两个方 面所做的改进工作进行详细阐述和说明，并通过实验数据说明了该算法的有效性 和可行性。最后一章对全文进行总结。 南京邮电大学硕士研究生学位论文第二章分级编码( s v c ) 的介绍 第二章分级编l 马( s v c ) 的介绍 本章开始将对分级编码的产生背景，分级编码的一些具体方法做详细的阐述， 着重说明精细分级( f g s ) 的相关原理及其编解码器结构，具体在下面各个小节部 分展开。 2 1 分级编码产生的背景 在传统的视频编码中，视频数据可以压缩到小于或接近信道容量的比特率，解 码器根据从信道接收到的所有比特来重建视频信号。但是在这种模型中，必须满 足的前提条件是编码器必须知道信道的容量而且解码器能够解码所有收到的码 流。实际上，在无线应用中由于信道容量的可变性，编码器不能够知道信道的容量， 也就不能保证使视频质量在该比特率时达到最优。因此，应用于无线的视频编码 是在一段给定的比特率范围内尽量使视频质量达到最优而不是原来的在给定的 一个比特率上使视频质量达到最优。解码器以能够重建出最优质的视频比特率对 视频流进行部分解码。分级的视频编码能解决此类问题。下图可以解释这个问题。 图2 - i 视频编码性能演示【l 】 8 南京邮电大学硕士研究生学位论文第二章分级编码( s v c ) 的介绍 分级编码能随着信道速率的提高，提供渐进提高的解码图像质量。使得它更接近 率失真( r - d ) 曲线。这样就能很好地适应无线网络视频传输的要求。同时可以看 到不用的分级方法提供的性能也不相同( 横坐标为信道速率，纵坐标为图像的接 收质量，一般为图像p s n r 的值。阶梯状为分层编码性能曲线，上面两条最上面 的为理想的性能曲线，下面一条为精细分级编码的性能曲线) ，我们的目的是要最 大限度接近率失真( r - d ) 曲线。分级编码的基本示意图如下： 图2 - 2 分级鳊码简要示意图 编码器产生多个比特码流。其中一个压缩比特流为基本层的码流，它能单独的解 码攒 供较粗糙的视频质量。另一个压缩比特码流为增强层的码流，仅能和基本层 的码流一起编码，提供更优的视频质量。完整的比特流( 包括所有的码流) 能提供供 更高的质量。通过下图的演示可以看到这种效果，看到，随着速率的不断提高，解 码得到的图像质量也越来越高。 图2 - 3 分级编码的演示效果 9 南京邮电大学硕士研究生学位论文 第二章分级编码( s v c ) 的介绍 在m p e g 一4 及m p e g 2 里面介绍了几种分级编码的技术，简单介绍如下。 2 2 信噪比分级 信噪比分级( s n 鼬是以相同的帧速率( f r a m er a t e ) $ t 空间分辨率( s p a t i a lr e s o l u t i o n ) 把原始视频数据压缩成两层，但是它们的量化精度( q u a n t i z a t i o na c c u r a c y ) 不同。首 先，基本层比特流经过了基本层可变长解码器( v l d ) 解码，然后被反量化产生重建 的d c t 系数。增强的比特流在增强层进行可变长解码，然后被反量化得至i j d c t 系 数的增强层残差。因此，通过把基本层的重建d c t 系数和增强层的d c t 残差系数 相加便可获得更高精度的d c t 系数。具有更高精度的d c t 通过反向d c t 变换产生 重建图像的残差系数，这些残差系数被运用到了前面一帧来的运动补偿块。 2 3 时间分级 时间可分级是把原始视频数据以相同的空间分辨率，不同的帧速率压缩成两 层。基本层以低的帧速率编码，而增强层以较高的帧速率编码提供缺少帧的信息。 因此时间可分级的编码效率较高，接近于不可变的编码。在基本层上只采用p 帧 预测，而增强层的预测采用基本层的p 帧或b 帧或增强层的p 帧。 2 4 空间分级 空间可分级是把原始视频数据以相同的帧率，不同的空间分辨率压缩成两 层。基本层以较低的空间分辨率编码。重建的基本层的图像进行超抽样以形成在 增强层高分辨率图像的预测。如果基本层的空间分辨率和增强层的相同，也就是 抽样系数为1 ，这时空间可分级解码器被看成是一个s n r 可分级解码器。它和s n r 可分级的区别是增强层的信息没有运用到基本层的运动补偿当中去。 2 5 精细分级( f g s ) 从对上面这几种分级算法的介绍中，我们可以看得出来，增强层的信息要么完全可 以被解码器接受并解码，要么一点不能接受，这就是在图2 - 1 可以看到得为什么这 南京邮电大学硕士研究生学位论文 第二章分级编码( s v c ) 的介绍 些分级方法产生得曲线图为阶梯状。相反，精细分级编码( f g s ) 的方法可以产生连 续曲线。这主要是由于精细分级编码( f g s ) 在增强层使用了比特平面( b i t - p l a n e ) 编码技术 1 0 】，利用其嵌入式的特点，可对增强层码流任意截断并对其解码产生一 定质量的图像 9 】。 2 5 1 比特平面( b i t - p l a n e ) 编码 在传统的d c t 编码中，量化的d c t 系数采用游程( r u n 1 e v e l ) 编码。一个非零 d c t 系数前连续为零的系数个数被称为“游r u n ”，而非零d c t 系数的绝对值被称 为“程l e v e l ”。比特平面编码方式与游程编码方式的最大区别在于，比特平面编码 方式把每个量化的d c t 系数看成几位比特的一个二进制整数，而不是一个确定的 十进制整数值。采用比特平面编码方式的编码比特码流能全部或者部分重建d c t 系数。整个的增强层比特平面( b i t - p l a n e ) 编码方法可以图2 - 4 表示( 图中m s b 表 示最重要的比特平面，l s b 为最不重要的平面，r a s t e rs c a n 表示光栅扫描，z i g z a g s c a n 表示z 型扫描，d c ，a c 分别为频率系数) 。 由于比特平面( b i t - p l a n e ) 编码方法编码高效率和实现简单，所以它才取代了 匹配追踪算法( m p ) 和小波算法( w a v e l e t ) 编码方法，成为m p e g 一4 标准中精细分 级编码( f g s ) 的实现方法。 g i t k l n e 7 8 t e 6 b 睡* 6 b h f d h f 持4 m - c 出m 3 m - 0 e n 0 2 b 舡o 蛔e 1 b h 士瞻豫0 缝盈墼磐 j 。i r 二 ? g +。 j 。 。l 一i 。 j 个。 警t 矗g ， - 粥嬲 妁a e ， e， 1 群“ 0 a o 2 o1 ” _l ， a 0 0 ” 。 i-_ 一k 日 o d k 0b r o c k b b 哦0 b i o 球3 图2 - 4 增强层比特平面( b i t p l a n e ) 编码方法 m 8 b ；l 南京邮电大学硕士研究生学位论文第二章分级编码( s v c ) 的介绍 2 5 2 精细分级编码( f g s ) 的编解码器结构圈 精细分级编码( f g s ) 的基本思想是把一个视频序列编码为基本层和增强层 两个码流。基本层使用一个非分级的编码器产生了个最低速率的码流。而增强 层则把原始图像和基本层解码重建图像的差值经过比特平面( b i t - p l a n e ) 编码方法 产生一个增强的码流，用于接收端进一步提高接收的图像质量。其编解码器结构 如下图所示。 n p u tv 图2 - 5 精细分级编码( f g s ) 编码器 圈2 - 6 精细分级编码( f g s ) 解码器 可以看到这个结构里砸基本层使用的是一个基于m p e g 一4 的混合编码器，增 强层则是使用了比特平面i t - p l a n e ) 编码方法的编码器。 1 2 南京邮电大学硕士研究生学位论文 第二章分级编码( s v c ) 的介绍 2 5 3 精细分级编码( f g s ) 中的两个增强机制 为了进一步提高精细分级编码( f g s ) 的性能，两个先进的机制被精细分级编 码( f a s ) 采用，即频率加权和选择性增强。前者意味不同的频率成分采用不同的优 先权，因此更多重要的视频频率成分的比特比其他频率成分的比特优先进入编码 比特流。与前者相似，后者是在帧中对不同的空间位置采用不同的优先权，因此 一帧中越重要的视频部分有越多的比特优先其他部分进入编码比特流。 1 ) 频率加权( f r e q u e n c yw e i g h t i n g ) 我们知道，图像中不同的d c t 系数可获得不同的视频质量。通常低频d c t 系数的精确度比高频d c t 系数更重要。更多低频d c t 系数可获得更好的视频质 量。因此，低频d c t 系数要优先于高频的d c t 系数进入到增强比特流，这样它们 更容易被包括在一个被截断的比特流。为此，频率加权机制被包括在精细分级编 码( f g s ) d p 。其示意图为图2 7 2 ) 选择性增强( s e l e c t i v ee n h a n c e m e n t ) 我们知道，视频的某部分可能比其他部分在视觉效果上更重要。因此至关 重要的比特应该得到更高的优先权，以致它们更有可能被包含到被截断的比特 流。其示意图为图2 _ 8 b l t p l a n e b i l a n e b i t - p l a n e b i h p l a n e b t t l p l a n e b 岫 a r h b i t - p l a n e b i t - p l a n e 引t - p l a n e b i t - p l a n e b i t - p l a n e o q 口口d cd o 000 b c ： 解 o a e 、 a c 1 1 ea c 警一2一 薹 i 砖囊， i 要 帑 2 季 常 迁 1 b l o d t o b l o 拽i 8 l o c k 2b l o 磕3 图2 - 7 精细分级编码( f g s ) 额率加权示意图 b b 鹕-_；11-l_+岱 南京邮电大学硕士研究生学位论文第二章分级编码( s v c ) 的介绍 b i t - d _ n o b i t - p l t r i n e b i i o i a n e 副t 刊a n e b i t * p l 叭 b i t l d a n e b j l 0 1 b j t - p a o e b i t - p l a n e 日i i i a m b i t - p l z m e _ ， ，_ 9 。， 料- t a c 0 a c 。 弘 t “- 1 b ca o e_-_* 01 0 ca ；c c | a ct o 1 2 2 t 。 i 譬i | l _土 h 日括0 耘o 8 l o o k l围o e k 2b i 谳3 圉2 - 8 精细分级编码( f g s ) 选择性增强示意图 2 5 4 精细分级编码( f g s ) 的优缺点 l s 8 优点： 1 精细分级( f i n eg r a n u l a r i t y ) ：增强层产生嵌入式码流 2 带宽的自适应性( b a n d w i d t ha d a p t a t i o n ) ：增强层码流可任意截断 3 差错复原( e r r o rr e c o v e r y ) ：只使用基本层的重建图像作为增强层参考图 像，抵抗差错能力高 缺点： 1 编码效率不高，尤其在增强层部分 2 增强层缺乏预测环路结构 2 6 本章总结 本章首先简单介绍了几种分级编码的方法。然后对精细分级编码( f g s ) 分级 编码方法中的关键技术蝴z n ( b i t p l 舭e ) 编码作了介绍，接着介绍了精细分级 编码( f g s ) 的一种编解码其的结构。最后对精细分级编码( f g s ) 使用的两种改进机 制频率加权和选择性增强作了介绍，并总结了精细分级编码( f g s ) 分级编码的优 点。 1 4 南京邮电大学硕士研究生学位论文第三章精细分级( f g s ) 的不足及其相应研究 第三章精细分级( f g s ) 的不足及其相应研究 从上一章介绍的精细分级编码( f g s ) 编解码器结构中大致可以看出，由于在 增强层没有预测环路，基本层只是提供了一个低质量的图像，可以想见进入增强层 的编码数据会非常大。这势必造成熬个编码器编码性能低下，因此后来的一些研 究基本上都在增强层加入了一个预测环路结构，但是由于增强层环路引入又会在 编码端和解码端之间造成严重的差错漂移( d r i f t ) 问题。本章将对这两个方面的问 题进行说明。 3 1 精细分级编码( f g s ) 存在的问题 问题主要在编码效率，差错漂移( d r i i t ) ，码流传输保护等这几个方面，下面几个 小节分别进行介绍。 3 1 1 编码效率问隧 从图2 5 ，2 - 6 精细分级编码( f o s ) 编解码器的结构中，看到基本层是个混合 编码器，它只是提供了一个低质量的图像，而增强层没有使用预测结构，可以想 见进入增强层的编码数据会非常大。这势必造成整个编码器编码性能低下。 3 1 2 差错漂移( d r i f t ) 问题 差错漂移( d r i f t ) 问题的产生是由于在增强层使用了预测结构后，如果视频在 很低的比特率条件下传输，增强层的码流不能保证被接收端接收到，从而造成在 解码和编码端重建图像的时候所选择的参考图像不一致，造成的所谓的漂移问 题，引起图像质量的大幅下降。 借助于如下一个简单的在增强层带有预测环路的示意图，下面着重描述在 增强层引入预测环后带来的差错漂移( d d i l ) h i 题。 南京邮电大学硕士研究生学位论文第三章精细分级( f g s ) 的不足及其相应研究 图3 - 1 在增强层带有预测环路的精细分级编码( f g s ) 示意图 上图中所用的符号的含义如下表3 1 所示 符号符号表示的含义 l o ) 原始图像帧 l o ( t )解码器重建帧( 有差错) ，日( f )基本层重建帧 ( r )编码器增强层重建帧 _ 厶( f )解码器增强层重建帧( 有差错) 最( ，) 增强层的预测帧 _ 名( f ) 解码器重建的预测帧 o ) 增强层信号 善( r ) 编码器用于预测的增强层信号 量解码器接收到的增强层信号 1 6 南京邮电大学硕士研究生学位论文第三章精细分级( f g s ) 的不足及其相应研究 d ( t ) 增强层失真或者传输差错 m t ( x ) 运动补偿操作 t r u n ( x ) = 量 截取操作 从理论上讲，图3 - 1 中最( f ) 的值可由下面的关系式表达 最( r ) 2 f 【( r ) ，厶( f 1 ) ，厶( f 一1 ) ，丘( f 一2 ) ，】 其中f 】为对图像的预测补偿操作。 要使得增强层的残差最少，提高增强层的编码效率必须使得下式最小 m i n | | l o ( t ) 一r e ( f ) i | ( 2 ) 为了简化讨论，p e ( t ) 仅用下面的表达式来表示 名( f ) 2 f i 。( f ) ，k 0 1 ) 】 ( 3 ) 在解码器端，也可以有类似的表达式 最( ，) 2 f i l e ( t ) ，疋( r 一1 ) 】 ( 4 ) 输出图像 l ( t ) 2 6 ( t ) + 最( r ) ( 5 ) 可见，即使e q ) 被解码器全部正确的接收，由于p a t ) 和p a t ) 的差异，使得解码的图 像和原始图像还是有一定的区别，也就不可能得到完全一样的图像质量。 即有 e r r o r = i o ( t ) ( r ) = 占( f ) + 名( f ) _ 【s ( f ) + 最( r ) = 足( r ) 一乓( f ) ( 6 ) 进一步，在编码器端，我们得到 ( f ) = t r u n ( g ( r ) ) + 最( f ) = 毒( f ) + 最( r ) ( 7 ) 经过了差错信道传输后，在解码器端，得到 亭( f ) = s ( f )