（通信与信息系统专业论文）基于pfgs的无线信道失真度的研究.pdf

华中科技大学硕士学位论文 摘要 随着无线网络的快速发展，在无线信道中传输多媒体流渐渐成为可能。本文在 “现代远程教育关键技术：实时交互式远程教学工具软件”( 教育部科学技术重点 研究项目n o 2 0 0 0 1 7 5 ) 和“移动多媒体通信中的信源、信道联合编码技术”( 国家 8 6 3 重大专项：“数字视音频编码、传输、测试与应用系统”中的子项目) 等项目的 支持下，对流媒体在无线信道传输中的失真度进行了研究。 本文首先介绍无线信道的特性，列举了些信道模型，论述了流媒体在无线信 道传输中的优势。然后着重介绍了流媒体的一种一渐近的精细的可分层编码 ( p f g s ) 的码流特点，讨论了三种帧结构的优点及其存在的问题。针对p f g s 编码 中的各个重要参数进行分析，指出各个参数之间的关系，并提出了一些改进思路。 分析了多媒体数据失真的影响参数，将多媒体数据失真分成信源编码失真和信 道传输失真。定义了无线多媒体传输模型，根据试验验证了多媒体数据失真、信源 编码失真和信道传输失真三者之间的关系。 接着针对p f g s 编码的码流可任意截断性，指出一般的错误隐藏技术应用在 p f g s 中的不足，并提出了一种新的错误隐藏技术，试验验证本算法能够很好的提 高流媒体的传输质量。根据这种错误隐藏技术，分析了信道失真度，得出了个公 式来预测信道失真，使得在信源编码端能够很好的预测信道的失真度，从而达到整 体失真度的预测。 最后介绍了远程教育系统非实时部分一易点系统。易点系统是基于分层编码的 点播系统，学生通过易点系统可实现自主式学习，提高了学习效率：教师通过易点 系统的课件制作工具，制作出多媒体网络课件，并发布到i n t e r n e t 上，让学生点播， 这样减轻了教师的负担，提高了教学资源的利用率。易点系统充分利用了多媒体流 的压缩编码技术和传输技术，不仅可用于远程教育中，还可用于网络视频点播。易 学系统将教师授课的音视频、电子讲稿、网络课件实时地传送到学生端。 关键词：p f g s 、信道传输失真度、流媒体、远程教育 华中科技大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fw i r e l e s sn e t w o r k , m u l t i m e d i ac o m m u n i c a t i o no n w i r e l e s sn e t w o r kh a sb e c o m ep o s s 姒e b a s e do nt w om a j o rr e s e a r c hp r o j e c t s ：”t h ek e y t e c h n i q u e so fm o d e r nd i s t a n c ee d u c a t i o n ：i n t e r a c t i v er e a l t i m e e d u c a t i o ns o f t w a r e r ，0 l s ”( k e y s c i e n c ea n dt e c h n o l o g yi t e mf o u n d a t i o no fc h i n an a t i o n a le d u c a t i o n m i n i s t r yn o 2 0 0 0 1 7 5 ) a n d ”j o i n t s o u r c ea n dc h a n n e le n c o d i n gi nt h em o b i l e c o m m u n i c a t i o ns y s t e m ”( s u b p r o j e c to f ”d i g i t a lv i d e oa n da u d i oc o d i n g t r a n s m i s s i o n a n d a p p l i c a t i o ns y s t e m ”，n a t i o n a l8 6 3p r o j e c t ) ，t h ed i s t o r t i o no f t h em u l t i m e d i as t r e a m o v e rw i r e l e s sc h a n n e li sr e s e a r c h e di nt h i sd i s s c r t a t i o n t h i sd i s s e r t a t i o nf i r s ti n t r o d u c e st h ec h a r a c t e r i s t i c so ft h ew i r e l e s sc h a n n e l ，a n dl i s t s s o m ew i r e l e s sc h a n n e lm o d e l s ，i n d i c a t e st h ea d v a n t a g eo ft h em u l t i m e d i as t r e a mo v e r w i r e l e s sc h a n n e l 。t h e n e m p h a s i s w a sp u to no n eo ft h em u l t i m e d i a s t r e a m 一一 p f g s ( p r o g r e s s f i n e g r a n u l a r i t ys c a l a b l e ) a t t h es a m e t i m e ，t h et h r e ed i f f e r e n t f r a m e w o r k sa r cd i s c u s s e d ，s o m ei m p o r t a n tp a r a m e t e r so ft h ep f g sa r ca n a l y z e d ，a n d t h e s er e l a t i o i l sa r ei n d i c a t e d b a s e do nt h e s c a l a b i l i t y o ft h es t r e a n l sf x o mp f g sc o d i n g ，i n d i c a t e se r r o r c o n c e a l m e n t ss h o r t a g ei nt h ep f g sc o d i n g ，a n das i m p l ea n de f f e c t i v ea l g o r i t h mi s p r o p o s e d b ya n a l y z i n gc h a n n e ld i s t o r t i o nb a s e do nt h i se r r o ( c o n c e a l m e n tt e c h n i q u e ， a ne q u a t i o nw h i c hi su s e dt op r e d i c tc h a n n e ld i s t o r t i o na c c u r a t e l yi s g i v e n ，a n dt h e n o v e r a l ld i s t o r t i o ni sg o t f i n a l ，n o n r e a l - t i m e p a r t ( e d e ns y s t e m ) o ft h e d i s t a n c e l e a r n i n gs y s t e m i s i n t r o d u c e di nt h i sd i s s e r t a t i o n e d e n s y s t e m i sam u l t i m e d i ac o u l s e w a r e o n d e m a n d n e t w o r ks y s t e m s t u d e n t sc a l lu s et h i s s y s t e mt ot e a c ht h e m s e l v e sa n di m p r o v et h e i r s t u d ye f f i c i e n c y a n dt e a c h e r sc a na l s ou s ei tt om a k et h e i ro w nm u l t i m e d i an e t w o r k c o u r s e w a r e ，a n dp u b l i s ht h e mo nt h ei n t e r n e t s t u d e n tt h e nc a n p o i n to u t w h a t t h e yw a n t i l 华中科技大学硕士学位论文 o nt h ei n t e m e t t h u st h e s y s t e mr e l e a s e st h et e a c h e r s b u r d e na n di m p r o v e st h ee f f i c i e n c y o ft h et e a c h i n gr e s o u r c e e d e ns y s t e mt a k e sf u l l a d v a n t a g eo fm u l t i m e d i ac o m p r e s s i o n c o d i n ga n dt r a n s m i s s i o nt e c h n i q u e s ，w h i c hn o to n l yc a nb eu s e di nd i s t a n c el e a r n i n gb u t a l s oi nv i d e o o n - d e m a n d k e y w o r d s ：p f g s ，c h a n n e l d i s t o r t i o n ，m u l t i m e d i as t r e a m s ，d i s t a n c el e a r n i n g s y s t e m 1 1 1 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：参ii 缝 日期：2 一年牛月z f 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即；学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在 本论文属于 h 山 不保密口。 ( 请在以上方框内打“”) 学位论文作者签名：别往 日期：一铲年牛月j 日 年解密后适用本授权书。 指导教师签名：去i 手 日期：( 沁毕年车月1 i 日 华中科技大学硕士学位论文 = = = = = = = = = = = = = = ；= = = = = = = = = = = = = = = = = = = = = = = = = 一 i i 引言 1 绪论 随着i n t e m e t 的快速发展，无线移动通信也进入了一个新的阶段，移动通信已经 成为现代r r 产业最活跃、最富有生机的领域。在无线移动通信领域中，多媒体通信 尤其活跃，成为一种不可避免的趋势。据统计，人类感觉器官接收的各类信息中， 视觉类占了近7 0 。这里的多媒体通信包含视频、音频等多种媒体的编码、传输、 纠错、处理等。 在无线多媒体通信中，根据传统s h a n n o n 信息论i ”，要实现有效可靠地传输信息， 可以将传输系统设计成信源编码部分和信道编码部分两个独立无关的组合。然而 s h a n n o n 信息论是基于以下两个假设【2 , 3 ： 1 - 假设允许编码数据块无限长，即对于信源和信道编码器，都假设可以容忍无 限长的延迟。 2 假设信道编码器精确地掌握传输信道的统计特性。 显然，上述两条假设在实际的无线通信系统中是不成立的。对于假设1 ，信源编 码不可能具有无限的存储空间，也不可以造成无限长的延时，因此信源编码效率不 可能达到s h a n n o n 定义的编码极限：对于假设2 ，即使是点对点的应用系统，其信道 状况也是时变的，统计特征也极为复杂。对于广播或组播等多用户应用，信道统计 特性将更加复杂，造成假设2 也难以成立。因此分别考虑信源编码器和信道编码器， 将无法达到高效可靠传输信息的目的。解决这一问题的方法就是联合考虑信源编码 与信道编码，即信源信道联合编码技术。信源信道联合编码能够很好的解决信源编 码与信道编码之间的不协调性，即在信源编码失真度和信道失真都不是最小时，总 的失真度能够达到最小。 华中科技大学硕士学位论文 1 2 无线信道的特征 无线信道是指基站天线、移动用户天线和两付天线之间的传播路径。其中传播 路径可分为直射传播( l o s ，l i n e o f s i g h t ) 和非直射传播( n o nl o s ) 。一般情况 下，在基站和移动台之间不存在直射信号，此时接收到的信号是发射信号经过若干 次反射、绕射和散射后的叠加。而在某些空旷地区或基站天线较高时可能存在直射 传播路径。 由于高大建筑物或远处高山等阻挡体的存在，常常会导致发射信号经过不同的 传播路径到达接收端。这即所谓的多径传播效应( m u l t i p m hp r o p a g a t i o n ) 。各径信号 经过不同的路径到达接收端，具有不同的时延和入射角，这将导致接收信号的时延 扩展( d e l a ys p r e a d ) 和角度扩展( a n g l es p r e a d ) 。 另外，移动用户在传播径向方向的运动将使接收信号产生多普勒( d o p p l e r ) 扩 展，其结果是导致接收信号在频域的扩展，同时改变了信号电平的变化率。 归纳起来，由于地理环境的复杂性和多样性，用户移动的随机性和多径传播现 象等因素的存在，使得无线移动通信系统的信道变得十分复杂。通过理论分析和长 期的实际观测，已建立了基站与移动台之间的无线信道的统计模型。该模型认为， 电波传播的损耗主要由以下三部分构成：路径损耗、慢衰落( 阴影衰落) 和快衰落 ( 多径衰落) 。 1 2 1 基本传播机射( 反射、绕射、散射) 当电磁波遇到比波长大得多的物体时发生反射，反射发生于地球表面、建筑物 和墙壁表面。 当接收机和发射机之间的无线路径被尖利的边缘阻挡时发生绕射。由阻挡表面 产生的二次波散布于空间，甚至于阻挡体的背面。当发射机和接收机之间不存在视 距途径，围绕阻挡体也产生波的弯曲。在高频波段，绕射和反射一样，依赖于物体 的形状r 以及绕射点入射波的振幅、相位和极化情况。 当波穿行的介质中存在小于波长的物体并且单位体积内阻挡体的个数非常巨大 ， 华中科技大学硕士学位论文 一= = = = = = = = ；= = = = = = = = = = = = t ；= ；= = = = 的时，发生散射。散射波产生于粗糙表面、小物体或其他不规则物体。在实际的通 信系统中，树叶、街道标志和灯柱等会产生散射。 1 2 2 慢衰落 接收信号的场强中值在长时间内的缓慢变化成为慢衰落，一种典型的慢衰落就 是阴影衰落。这是由于电波在传播路径上遇到障碍物就会产生电磁场的阴影区，当 移动用户通过不同的阴影区时，就会引起中值变化。在相同的收发距离情况下，不 同位置的周围环境差别非常大，由于阴影效应，导致路径损耗为随机的对数正态分 布( l o g n o r m a ld i s t r i b u t i o n ) 。可见，阴影衰落是随位置的较大变化( 数十个或数百个 波长以上的变化，而非数个波长以内的位置变化) 而造成的缓慢衰落，亦称地形衰 落或位置衰落。 1 2 3 快衰落 移动台在移动时，接收信号除了其场强中值随位置发生慢衰落外，信号的振幅 在数个波长以内还有着迅速的随机变化，其变化范围可以达到数十分贝，这就是快 衰落。这是由于电波在沿地表传播中会受到各种阻碍物的反射、散射和吸收，实际 到达接收天线处的电波除了来自发射天线的直射波外，还存在来自各种物体( 包括 地面) 的反射波和散射波，反射波和散射波在接收天线处形成干涉场。此外，在无 线通信中，还存在因移动台的快速移动而划过电波的波节和波腹的驻波现象及由于 多普勒效应而造成的相移。凡此种种原因，就使得实际移动台接收到的场强在振幅 和相位上均随时随地在急骤变化，使信号很不稳定。这就是天线电波的衰落现象， 其中随时间急骤变化的部分( 以毫秒计) 称为“快衰落”和短期衰落。 需要指出的是：当无线通信过程中，移动台静止是进行通信称为固定通信，这 时虽然多径传播仍然存在，但由于静止，所收到的信号没有快衰落现象，只有当有 强烈反射的移动体经过附近( 如会反射电波的车辆或飞机等) ，且干扰到接收的电波 时，会有短暂的快衰落。另外，在固定通信中，多径时延扩展也存在，只是此时它 3 华中科技大学硕士学位论文 是固定数值而不是随机变化的了：多普勒频移则不再存在。 多径传播产生了时域扩展，多普勒效应导致了频域扩展，无论时域或频域中的 扩展都意味着弥散，即本来分来的波形或频谱出现了交叠。出现了交叠的信道成为 弥散信道。根据数字信号的码速率、带宽和多普勒频展、时延扩展的关系，衰落信 道可以分为以下四类： 1 、非弥散信道，即平坦信道( f l a t f l a d i n g ) 。 2 、时间弥散信道，即频率选择性衰落。 3 、频率弥散信道，即时间选择性衰落。 4 、时间一频率弥散信道，即时间选择性衰落和频率选择性衰落同时存在。 一般地，当码元传输速率较低时，衰落信号处于频率弥散信道。而当码元传输 速率较高时，衰落信号则处于时间弥散信道。 1 3 无线信道的信道模型 在数字无线通信系统中，多路径快衰落效应造成的无线信道长突发误码是影响 通信质量的主要原因。研究无线信道的差错统计特性是进行信息编码、系统设计的 主要依据。获取信道误码信息的方法是进行信道的现场测试，数据真实可靠，但是 困难极大且不一定准确。利用信道理论和已有数据建立反映信道差错统计规律的信 道模型，用计算机进行仿真投资少、周期短、容易模型修改和参数优化。 关于信道模型，早在八十年代lk i t t e l 等人先后提出了b s c 和g e c 模型【3 】，后 有人提出多状态群m a r k o v 概率模型【4 l 。大量现场试验表明，无线信道是以长突发误 码为主的混合信道，具有差错统计特性，长突发误码的幅度衰落符合r a y l e i g h 分布。 建立状态转移概率参数模型，生成差错序列，将其变换为( o ，1 ) 均匀分布的随机 数，设定恰当的门限模化便可获得信遒误码规律。根据模型建立的体系结构可以将 信道模型分成两类，一类是数据链路层的信道模型，包括m a r k o v 概率模型和g i l b e r t 模型，另外一类是物理层的信道模型。 4 华中科技大学硕士学位论文 1 3 1 m a r k o v 概率模型 设编码信道输入序列c t c 。，c ，c ： ，输出序列尺一 r 0 ， ，r e ) ，差错序列 e 一 o ，q ，岛) ，关系为e r c 。若e 中所有取值为1 则表示均是错码，可见，e 反映了信道受干扰的情况。 为了建立信道误码模型，定义：无误码串分布函数g 体) 。在序列e ，仁， 中，连 续无错误码元。的个数七，成为一个长度为七的无误码串。g 化) 是指岳， 中一个“1 ， 后连续k 个0 的条件概率 c ( k ) 一p ( o + 1 )( 1 ，1 ) 分群m a r k o v 概率模型建立了g ) 和误码率忍之间的关系。模型由个状态组 成，可分成两个群：无误状态群，k ) 中0 态；有误状态群，b 中1 ，态。如 图1 4 所示 d 】 图i - i n 状态分群m a r k o v 概率模型 模型n 个状态间转移概率矩阵p p 日 一一 5 华中科技大学硕士学位论文 p 暑 p 1 1 0 0 p ；0 0 p lp n 2 一0 p 州 0 j p 2 0； 0 p 1 - 1p 1 p w k p n n ( 1 - 2 ) 式中b 是第f 状态到第状态的转移概率。而无误码串分布函数为 g 他) - p m 慨) 。1 ( 1 3 ) 则误码率为 忍一( 1 + p m 既) 。 利用级数可将g 罅) 展开为解析表达式，通过g ) 可求得p 阵参数，进而获得信 道误码率最等统计特性。 1 3 2g i l b e r t 模型 g i l b e r t 模型【卵】实际上就是一个两种状态的m a r k o v 模型，利用这种模型去模拟 网络中的误码状态可以很好的获得连续误码。假定整个数据可以被表示为一个二迸 制时间序列b ；k 。，其中t 为1 表示第f 个没有误码，若为0 则表示存在误码。这样 状态五就是一个取决于前一状态x 。的随机过程，两种状态之间的转移概率如下： p 一电- l l x 。ao 】，q 一电一o i x , 一，。1 。 q 图1 - 2 g i l b e r t 模型 一q l ：无误码 0 ：有误码 实验证明p 和g 的最大的可能性估计分别为p = l o i n 。和辱；，z 。加，这里月。表 6 华中科技大学硕士学位论文 一= = = = = ；= = = = ；= = = = = ；= # = = = = = = = ； 示被观察时间序列从0 变到1 的次数，肛。和n 。分别表示序列中0 和1 的个数，则存 在误码的概率为 e ；丢( 1 - 4 ) ，十q 以上介绍的都是数据链路层的信道模型，这一类的信道模型都有一个共同特点， 就是不考虑无线信道所具有的物理特征，都从数据在无线信道传输中误码的概率出 发，利用概率统计的方法进行模拟无线信道。 1 3 3 支持q o s 的信遭模型 在论文f 8 】中，提出了一种支持o o s 的信道模型，如图1 3 所示，假设d 。，为最 大的延时：为超过最大延时的概率，实际上，就是一个衡量传输质量好坏的标准； 表示抽样的次数；晶表示是否有包正在传输，0 表示没有，i 表示有；q 。表示队列 中包的个数；瓦表示正在传输的包传送完毕剩余的时间，“表示数据源进入队列的 速度。根据公式 ，一专耋5 。，辱专羹幺，t 一万i 善n 瓦 ( 1 - 5 ) 占l ! 兰竺- ! 兰些 弘x l + 圣：2 + 尊 再根据模型函数p r 扣。g ) 。一 。俺丸咆联合求解“，从而达到了 信道监控的目的。 华中科技大学硕士学位论文 一= = = = = = = = = ；= = = = = = = ；= = = ；= = = ；= = = r a t e “ a ( t ) r q u e u e l q ( t ) c a p a c i t yr s “) c h a n n e l 图1 - 3 队列模型框图 以上给出的都是数据链路层的信道模型，在物理层的信道模型中主要有多径 衰落信道的多重分形模型i9 1 、c l o o 的乡村环境模型1 1 0 1 、c o r a z z a 的低轨卫星模型【1 1 】 及莱斯过程的随机解析模型【1 2 1 等，这里就不做详细介绍了。 1 4 多媒体视频编码 在无线信道传输中，所有的多媒体数据都要进行压缩，特别是视频数据，在整 个多媒体数据中占有非常大的比重，所以研究多媒体视频编码是非常重要的。视频 数据冗余信息多，数据量大，通过采用某种编码压缩，可以去掉冗余信息，压缩数 据量。减少传输视频所需的带宽。同时要根据网络的不同状况来传输不同质量的视 频，也需要视频编码压缩技术的支持。本小节介绍视频流的编码压缩技术。 为了便于在无线信道传输，视频一般采用可伸缩性编码。可伸缩性编码t 1 3 a 4 _ 般是指对于同一视频文件进行编码后，接收端可以根据获得数据的多少解出不同分 辨率和不同质量的视频。视频的可伸缩性一般可分为空间可伸缩性、时间可伸缩性 和信嗓比可伸缩性三种f “ 。精细粒度的可伸缩性编码f g s ! ”1 ( f m eg r a n u l a r i t y s c a l a b i f i t y ) 就属于第一种。可伸缩性编码把视频分为两层：基本层和增强层。f g s 编码的基本层采用传统的视频编码技术( 如h 2 6 3 l l ，m p e g 2 1 1 8 - 2 0 1 等) 生成一个固 定的低码率的码流，提供用户最低质量的解码视频。增强层则采用位平面编码技术 ( b i tp l a n e c o d i n g ) 来编码源图像和基本层的重构图像之间的差值。由于位平面编 码技术提供了精细可伸缩的特性，码流可任意地被截断，因此该码流可以根据可用 的网络带宽进行任意码率的传输，接收端即终端用户根据接收到的增强层码流来增 强基本层的视频质量，接收的增强层码流越多，终端用户享受的视频服务的质量就 8 华中科技大学硕士学位论文 越高，因此f g s 编码技术可以在一个很大的码率范围内调整数据传输，适应各种复杂 的网络带宽变化。 m p e g 4 的f g s 的基本编码结构如图1 - 4 所示，其中，虚线框部分是f g s 增强 层编码器。在f g s 编码时，基本层采用的是m e p g - - 4 基本模式编码，并输出基本 层视频流。增强层的输入信号是原始的v o p 和重建的v o p ，编码时增强层编码器首 先将二者相减，再对差值进行d c t 交换，然后再对d c t 系数进行比特平面编码。 图1 4 f g s 基本编码结构 m p e g - 4 的f g s 编码结构如图所示，从f g s 编码结构可以看出，基本层和所有 的增强层都是使用前一帧的重构基本层作为参考，因此如果在传输过程中增强层码 流出现丢失和错误，只需要丢掉这一帧后面的增强层码流即可，在随后的一帧依然 可以得到最好的图像质量，即增强层码流的丢失和错误不会产生严重的视觉影响和 错误积累。 1 5 本课题研究背景和研究内容 本课题来源于国家8 6 3 资助项目一数字视音频编码、传输、测试于应用示范系统 ( n o ：2 0 0 2 a a l l 9 0 1 0 ) 。多媒体通信具有较高的服务质量( q o s ) 要求。在诸如i n t e m e t 、 9 华中科技大学硕士学位论文 无线通信等不可靠传输信道中进行多媒体通信时，要求对原始多媒体信息进行压缩 并对压缩后的数据进行传输保护。传统信源编码技术的目的是通过在一定的失真度 要求下尽可能地去除冗余信息对多媒体信息进行最大限度的压缩；而面向传输的信 道编码必须针对传输信道的不可靠性向压缩后的多媒体数据中增加冗余信息。因此 信源编码与信道编码独立进行会导致重复性工作，不仅增加了编码复杂度，而且降 低了多媒体通信的编码效率，另外还存在原始信息与冗余信息之间的带宽分配问题。 这对于服务质量要求较高的多媒体通信是非常不利的。信源信道联合编码针对不可 靠信道多媒体通信中的信道状态，通过合理分配原始多媒体数据和保护数据之间的 传输带宽，实现信源和信道冗余度的合理分配，统一进行信源编码和信道编码。j s c c 技术一方面可以降低不可靠信道多媒体通信系统的实现复杂度，而且有利于通过优 化信源编码和信道编码速率分配实现多媒体信息率失真优化。本课题有关信源信道 联合编码的研究内容是：在宽带多媒体网络和移动多媒体网络状态下，优化分配信 源和信道编码的码率，并在此码率下进行自适应的信源、信道编码，使得传输解码 后的数据失真最小。通过对关键问题的阐述，我们可以得到信源信道联合编码的关 键技术如下： ( 1 ) 网络状态监控： ( 2 ) 信源可伸缩性编码； ( 3 ) 信道编码及其保护机制： ( 4 ) 信源信道编码器的迭代优化： ( 5 ) 广义率失真函数的研究； ( 6 ) 优化的信源信道比特分配。 系统的框图如图1 5 所示。 图1 - 5 系统框图 1 0 华中科技大学硕士学位论文 在本系统中，原始的媒体流数据首先进行可伸缩性的信源编码，然后对不同业 务的不同级别数据层采用不同粒度的信道编码保护，多层数据流经复合后进入网络 传输。接收端接收到数据流后，反馈接收情况报告给发送端，发送端接收到此报告 后分析并计算其中关键的网络参数，获取网络参数后将以广义率失真为原则，分配 信源、信道之间的比特数，进行信源信道联合的自适应编码。 一一 1 1 华中科技大学硕士学位论文 一一= = = = ；= 2 = = = = # = = # = = ；= ；自 2 1 引言 2 精细粒度可分层编码的性能研究 在因特网或无线信道上传输数字视频遇到的两个主要问题是带宽波动和包丢失 或是发生错误。如果有一种视频编码方案可以适应带宽的变化而且从包丢失或是错 误中恢复过来那就很好了。一个好的视频编码方案必须能够自适应信道状态，并且 能够很好的恢复丢包和误码。本章集中讨论可伸缩性编码。离散余弦变换和小波变 换是现有视频编码方案中的两种主要变换技术。尽管在近几年中小波变换由于它内 在的多协议和渐进的特点在可伸缩性编码中备受瞩目 2 1 z 4 1 ，离散余弦变换却由于它 执行时的低复杂度和它合理的执行而成功。因此，一系列的基于余弦变换技术的编 码标准的帧结构被提出来用于实现可伸缩性视频编码，例如m p e e 2 和h 2 6 3 1 2 5 , 2 6 1 。 当m p e g 4 提议采用精细可伸缩性视频编码时，产生了三种典型技术，预测离散余 弦变换的位平面编码| 2 7 2 8 1 ，图像的小波变换编码【批3 1 】，和预测离散余弦变换的匹配编 码【3 2 捌。经过一些核心的实验后。离散余弦变换的位平面编码成为m p e g = = - 4 中用于 视频文件流动的精细可伸缩性视频编码方式。 在上一章，我们提到了可伸缩性编码，介绍了一种简单的精细粒度的可伸缩性 编码f g s ( f i n eg r a n u l a r i t ys c a l a b l e ) ，在现有的f g s 编码方案中，编码器采用可以 与m p e e - 2 、m p e 昏一4 1 3 4 1 和h 2 6 3 等相兼容的基于运动补偿的离散预测变换编码， 产生了一个基本层视频作为最低质量的层。通常来说，基本层视频能够适应最小带 宽，从而减少错误的发生和包丢失。在原始的d c t 系数和基本层中经过量化的d c t 系数之间的残差形成了位平面编码技术中的增强的比特流，这样可以提供嵌入比特 流和精细的可伸缩变化。精细的可伸缩性变化意味着增强比特流可以按照任意长度 来解码。f g s 编码技术产生的增强层数量并没有被固定，而是根据位平面中所需要 的二进制系数来决定的。每个增强层都包含了能够增强基本层的视频数据，这样视 频的质量就得以提高。 1 2 华中科技大学硕士学位论文 f g s 编码方案中的一个主要特征就是基本层和所有的增强层都是由参考系中的 重构层所预测的，因此，f g s 编码方案能够很好的恢复增强层中偶然的数据丢失和 错误。通过从基本层中预测所有的增强层，传输中一个或是多个增强层的丢失并不 会影响后面的帧。但是，因为预测是基于最低质量的基本层，所以f g s 的编码效率 并不是很好，有时甚至比传统的s n r 可伸缩性方案还差l 。另一方面在传统的信噪 比可伸缩性方案中相同的参考层可以提供更好的预测，这样就会有更好的编码效率。 但是一旦增强层发生错误或是包丢失，错误将会蔓延到一组图象的结束从而在接下 来的预测帧的高层中造成一系列的问题。即使可能会有足够的带宽，译码器将不会 恢复到最高的质量除非下一组图象开始。因此，传统的信噪比可伸缩性方案只适用 于在稳定信道中的同时联播。 为了改进f g s 的编码效率，一个更加有效的可伸缩性的视频编码基本的帧结构 首先被提出了【蚓，称之为渐进、精细的可伸缩性视频编码。与f g s 相同的是p f g s 编码方案同样是将每帧视频分成多层，包括一个质量相对低的基本层和多个高质量 的增强层。但是，在p f g s 帧结构中试图使用一些高质量的参考层在增强层的编码 中进行预测而不是总采用基本层。使用高质量的参考层将会使运动预测更加准确， 这样就能够改进编码效率。实验结构表明p f g s 方案可以收到比f g s 更好的编码效 率同时也拥有f g s 方案的所有优点例如精细可伸缩性、信道适应性和错误恢复等。 在基本的p f g s 帧结构中也存在一些问题【划。第一，这样需要更多的缓存来存 储多的重构层作为参考层，这样将会增加内存的费用和p f g s 编码和解码的计算复 杂度。幸运的是并不是每个参考层都对编码效率的改善有相同的贡献。只有某些参 考层对于编码效率的提高有重要的帮助，其它的只有很小的作用。如何选择最小数 量的参考层去获得高的编码效率仍然是个问题。另一个问题就是从低质量参考层转 换到高质量参考层时造成的d c t 系数的波动和增加。为了利用高质量参考层的优点 而不造成任何波动的一个有效的解决办法就是进一步改进基本p f g s 帧结构的编码 效率。 1 3 华中科技大学硕士学位论文 = 一；= = = ；= ；= = = = = # = = = = = ；= = = = _ = = = = = = = 2 2p f g s 帧结构 2 2 1 基本的p f g s 帧结构 设计这个帧结构需要两个关键点。第一点就是使用尽可能多的来自于增强层的 预测，而不是总使用像f g s 方案中的基本层。因为增强层的质量高于基本层，所以 这样的帧结构使得在保持编码效率的前提下所作的运动补偿更加准确。第二点是保 持从基本层跨越几帧到最高质量层的预测路径。这样可以确保编码方案可以轻松地 从错误和丢失中恢复。丢失或是出错的较高质量的增强层可以利用预测路径跨越几 帧从低层自动地重建。图2 - 1 概念性地列举了一个没有漂移问题的有效的可效仿的视 频编码帧结构，第二帧通过第一帧的基本层和偶数增强层来预测，第三帧是通过第 二帧的基本层和奇数增强层来预测的，第四帧又是通过第三帧的基本层和偶数增强 层来预测的，等等。很明显的是第二帧中三个最高质量的增强层是由第一帧的高质 量的参考层预测的而不是由第一帧的基本层预测的。因为增强层的质量要比基本层 高，图一中的框架提供了一个改进编码效率的更加准确的运动预测。另一方面，更 多的从较低质量层到高质量层的预测路径被保存下来。例如，第一帧的基本层，第 二帧中第一个增强层，第三帧中第二个增强层，第四帧中第三个增强层和第五帧中 第四个增强层构成这样一个完整的路径。 基本层 增强层1 增强层2 增强层3 增强层4 2345 f r a m e s 图2 - 1 基本的p f g s 帧结构 1 4 华中科技大学硕士学位论文 当这种帧结构被应用于在因特网或是无线信道上的视频传输时，它的优点是很 明显的。编码之后的比特流可以适应可用的信道带宽而不产生漂移问题。图一显示 了一个带宽适应过程的例子。虚线描绘了视频层的传输，在第二帧中有带宽的减少， 在这一帧中服务器完全中止了从第二到第四个增强层的比特位。但是在第二帧之后 带宽又增加了，此时服务器又传输了更多层的视频比特位。经过三帧之后解码方又 再次获得最高质量的视频层。我们发现在所有的操作中，并没有需要重新编码或是 重新传输视频比特流。同样，当一帧或是几帧的一些增强层发生包丢失或是错误时， 恢复的过程和带宽变化过程是一样的。我们可以发现带宽变化过程和错误恢复过程 是一种渐变的逐渐跨越几帧的过程，因此，这种帧结构被叫做p f g s 视频编码。图 2 - 1 举了一个组深度为2 的例子，组深度定义为有多少层参考前面帧的同一个参考层。 组深度可以在每帧中变化。如果组深度为1 ，那么帧结构就本质上变为传统的信噪比 可伸缩性方案【3 5 1 。如果组深度等于所有层的个数，那么帧结构就本质上变为f g s 编 码f ”捌。事实上，上述的描述只是只要从最低层跨越几帧到最高层的预测路径被保 存，那么在每帧中用于预测的参考层可以任意被分配的许多普通情况中的一个特殊 情况。 2 2 2 简化的p f g s 帧结构 与f g s 编码相比较很明显的是，图2 - 1 中的p f g s 帧结构需要一些额外的缓存 来存储重建的增强层作为参考层。在图2 - 1 中需要两个额外的缓存来为每帧编码。例 如，第一帧中的第二和的四个增强层被用于第二帧的增强层的参考层，第二帧中的 第一和第三个增强层也被用于第三帧增强层的参考层，等等。事实上，额外缓存的 数量会随着增强层的提高而增加。如果我们可以在保持编码效率不变的情况下减少 额外缓存到晟小的数量，那将会在硬件执行复杂度上有大的减少。 尽管p f g s 帧结构可以使用尽可能多的参考层来获得更高的编码效率的改进， 我们仍然会选择更为简化的能够在编码效率、内存费用和计算复杂度之间能够平衡 的更为简化的p f g s 帧结构。幸运的是并非所有的增强层都适用于作为参考。只有 一些增强层用作参考时可以对编码效率的提高做出重要贡献，其它的作用不是很明 1 5 华中科技大学硕士学位论文 一= ；= = ；= ；= 目目= = = = = = = = = ；= = = = = 显。通常来说，较低的增强层并不是好的参考。因为这些层包含了帧间运动所造成 的大量错误，因此在相邻帧间的低的增强层的相关性很弱。这里，相邻帧的相同层 之间的相关性定义为两个位平面中不同二进制的绝对和。绝对值越大，它们之间的 相关性就越小。较高的增强层也不是很适合用于作为参考。第一，较高的增强层的 比特率在很多应用中都太高，只有当比特率很高的时候才使用高质量的参考。第二， 这些层中少量的错误是由于噪声引起的，因此，相邻帧之间的较增强层的相关性也 是很弱的。只有当中间增强层被用于参考时我们才可以获得编码效率最大的改善， 因为中间增强层的d c t 交换的系数表明相邻帧之间很强的相关性。 基本层 增强层1 增强层2 增强层3 增强层4 2345 f r a m e s 图2 - 2 简化的p f g s 帧结构 一个简化的只有两个缓存的p f g s 帧结构可以在编码效率和额外缓存费用以及 计算复杂度之间提供一个好的平衡。在简化的p f g s 帧结构中，第一个帧缓存被用 来存储作为在预铡帧中的基本层和较低质量的增强层的参考的前一帧的重构基本 层。第二个帧缓存用来存储在原来帧中作为较高质量增强层的参考的重构增强层。 在图二的帧结构中，第二帧串的基本层和最初的两个增强层是由第一帧中基本层预 测的，第二帧中的其它高质量增强层是由第一帧中的第三个增强层所预测的。并没 有使用固定的增强层，在由于错误恢复从基本层到最高增强层造成两个不同增强层 所形成的完整预测路径和信道适应性之间参考层发生了变化。增强层使用高质量的 1 6 华中科技大学硕士学位论文 = = ：= = = = = = ；= = = = = = = = = = ；= = = = = = = = = = 参考在于视频序列的内容和基本层的比特率。如何选取这样的增强层是编码过程中 的一个最优化问题。被选取的作为参考的增强层索引可以是视频比特流编码的一部 分。 由于图2 2 中的帧结构使用两个参考层作为预测，因此产生了两套预测的d c t 系数：1 ) 第一套预测d c t 系数是由于参考了低质量的基本层所造成的预测错误， 称为l q p d 。2 ) 第二套预测d c t 系数是由于参考了高质量的增强层所造成的预测错 误，称为h q p d 。第一套预测d c t 系数是在基本层和较低的增强层之间编码，第二 套预测d c t 系数和基本层以及低的增强层的重构之间的不同在编码中形成较高的增 强层。 2 2 3 改进的p 蕾g s 帧结构 在p f g s 编码方案中，采用两个参考层的目的是为了提高增强层的编码效率， 由予第2 个参考层质量比第一个参考层质量高，这样h o p d 的能量将会比l q p d 的 能量低，从而能用较少的比特数来编码。上面的结论在统计上是成立的，但是对每 个d c t 系数而言，却并不一定成立，由于图像间的运动，有些h q p d 系数可能会比 对应的l q p d 系数大，而且在高增强层编码的是h q p d 与已经编码的d c t 系数之差， 而不是h q p d 系数本身，同样的原因，h q p d 系数与已经编码的d c t 系数的差值也 不一定就小于u q p d 与已经编码的d c t 系数的差值，这时就会产生所谓的系数振荡。 实际上在p f g s 编码方案中会有两种类型的振荡，当h q p d 与已经编码的d c t 系数的差值大于l q p d 与已经编码的d c t 系数的差值，就会在高的增强层编码中产 生振荡，尤其当振荡的幅度超过了高的增强层的描述范围时，就会严重影响p f g s 的编码效率，如高的增强层包括3 个位平面，其最大的描述范围是7 ( 二进制1 1 1 ) ， 如果用h q p d 与已经编码的d c t 系数的差值来替代l q p d 与已经编码的d c t 系数 的差值后，需要在高的增强层编码的d c t 值反而大于7 ，这时不得不在高的增强层 前插入一个或多个附加的位平面来描述更大范围的d c t 差值；其次h q p d 与已经编 码的d c t 系数的差值的符号可能会与l q p d 与已经编码的d c t 系数的差值的符号 不同，交换参考后，它的符号位有可能发生变化，因而不得不在高的增强层再次编 1 7 华中科技大学硕士学位论文 码符号位，这也会降低p f g s 的编码