（信号与信息处理专业论文）面向嵌入式视频流的fec多描述编码技术研究.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 i n t e m e t 及无线网络的迅猛发展使视频逐渐成为网络的主流业务，而网络带宽的波动及 可能出现的丢包，使得视频编码技术不但要考虑如何使视频流适合于网络的波动性，还要 考虑如何克服信道中出现的数据差错与丢失。可分级编码非常适用于网路传输，但是它对 于网络传输中的丢包和误码等现象却极为敏感，为此，如何在不可靠的传输信道中尽量可 靠地传输可分级码流，成为了近年来流媒体传输领域研究的热点，而基于f e c 的多描述编 码正是解决上述问题的有效方法之一。 本文通过对m d c f e c 实现原理和各组成部分的研究和分析，探索进一步改善 m d c f e c 的方法。论文首先介绍了多描述编码的基本原理和方法分类，其中详细介绍了 m d c f e c 的基本思想和实现方法，并根据现有m d c f e c 方法的不足，提出了可以改进 的方面。接着，本文进一步深入研究了m d c f e c 方法中的比特分配问题，详细介绍了利 用拉格朗日乘子法实现比特分配优化的问题，并对该方法的仿真结果作了深入的分析和总 结，然后在基于以上研究的基础上，本文采用了一种改进的比特流分配方法。而为了使 m d c f e c 能更好地适应网路传输，本文采用多模块m d c f e c 方法代替单模块m d c f e c 方法来更好地适应信道带宽的变化，做到对带宽资源的有效利用。最后，本文给出了以上 两方面改进的实验结果，并对其进行了分析和总结。 文章的最后给出了全文的总结，并针对现有多描述编码的研究状况，提出了对下一步 研究方向的两点设想。 关键词：多描述编码前向纠错编码分级编码比特分配 南京邮电大学硕士研究生学位论文a b s t r a c t a b s t r a c t w 岫t h er a p i dd e v e l o p m e n to ft h ei n t e r n e ta n dw i r e l e s sn e t w o r kt e c h n o l o g i e s ，v i d e oh a s b e c o m et h ep r i m a r yo p e r a t i o n t h ef l u c t u a t i n go fn e t w o r kb a n d w i d t ha n dp a c k e t sl o s sm a d e v i d e oc o d i n gt e c h n o l o g i e sn o to n l yc o n s i d e rt h ef l u c t u a t i n go fn e t w o r k ，b u ta l s oc o n s i d e rp a c k e t s l o s sa n db u r s te r r o r s s c a l a b l ec o d i n gc a np e r f o r mw e l li nn e t w o r kt r a n s m i s s i o n ，b u tt h i sc o d i n g i sv e r ys e n s i t i v et op a c k e tl o s sa n db i te r r o r si nt r a n s m i s s i o nc h a n n e l s t h u s ，t h ec h a l l e n g i n g p r o b l e mi sh o wt op r o v i d er e l i a b l es c a l a b l eb i t s t r e a m st r a n s m i s s i o ni nu n r e l i a b l ec h a n n e l s m u l t i p l ed e s c r i p t i o nc o d i n gb a s e do nf e c ( m d c f e c ) i sa ne f f e c t i v em e t h o df o rt h ea b o v e p r o b l e m t h i sp a p e rs t u d i e st h ei m p l e m e n t a t i o no fm d c f e ca n de x p l o r e st h eb e t t e rm e t h o df o r m d c f e c f i r s t l y ，t h i sp a p e ri n t r o d u c e st h eb a s i ct h e o r yo fm u l t i p l ed e s c r i p t i o nc o d i n ga n dt h e d i f f e r e n tm e t h o do fm u l t i p l ed e s c r i p t i o nc o d i n g i nt h i sp a r t ，i tp a r t i c u l a rf o c u so nm d c - f e c ， a n dp r o p o s e ss o m eb e t t e r m e n tb a s eo nt h e r e s e a r c h s e c o n d l y ，t h i sp a p e rs t u d i e st h eb i t a l l o c a t i o np r o b l e m so fm d c f e c ，e s p e c i a l l yf o c u so nl a g r a n g em u l t i p l i e r sm e t h o d t h e n ，t h i s p a p e rp r o p o s e sab e t t e r m e n to fb i ta l l o c a t i o nm e t h o d t h i r d l y ，t h i sp a p e rr e p l a c e ss i n g l e - m o d u l e b ym u l t i m o d u l ef o rb e t t e rn e t w o r kt r a n s m i s s i o na n de f f e c t i v eu s i n go fn e t w o r kb a n d w i d t h t h e n ， t h i sp a p e rp r e s e n t st h es i m u l a t i o nr e s u l ta n dt h ea n a l y s i so fa l ls i m u l a t i o nr e s u l t f i n a l l y , t h es u m m a r yo ft h i sp a p e ri sg i v e n ，a n df u t u r ed i r e c t i o no nt h ec o d i n gm e t h o d so f m d c f e ci sd i s c u s s e da sw e l lb a s e do nt h ew o r ko ft h i sp a p e r k e y w o r d s ：m u l t i p l ed e s c r i p t i o nc o d i n g ，f o r w a r de r r o rc o r r e c t i o n ，b i ta l l o c a t i o n m e t h o d ，s c a l a b l ec o d i n g i i 南京邮电大学学位论文原剖性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谓 的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名：隧日期： z 么兰垄 研究生签名：砬叠至日期： 誓堑：兰垄 南京邮电大学学位论文使用；受权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：监导师签名： 南京邮电大学硕士研究生学位论文第一章绪论 第一章绪论 1 1 课题背景 i n t e r n e t 及无线网络的迅猛发展使视频逐渐成为网络的主流业务，而视频业务的不断拓 展又促使了视频编码技术的不断发展。传统的视频编码是针对给定信道带宽而进行的，其 目标是在某一给定带宽下，使重建的视频质量达到最优或传输更多的信息。随着互联网的 发展，网络带宽的波动及可能出现的丢包，使得编码技术不但要考虑如何使视频流适合于 网络的波动性，还要考虑如何克服信道中出现的数据差错与丢失。分级虽然可以适应网络 带宽的变化，但其码流对于网络传输中的丢包和误码等现象却极为敏感，传输过程中的任 一比特错误都可能导致位于其后的码流无法正确解码，从而降低了传输质量。为此，如何 在不可靠的传输信道中尽量可靠地传输可分级码流，成为了近年来流媒体传输领域研究的 热点，而基于f e c 的多描述编码【1 】正是解决上述问题的有效方法之一。 1 。1 。1 图像视频编码技术的发展及其标准 与语音和文本不同，数字化后的图像和视频数据容量十分庞大，直接进行传输会遇到 难以克服的困难。因此，为了更有效地传输或存储图像和视频，必须首先进行数据压缩。 幸运的是，数字图像和数字视频中包含着许多的冗余信息，这就使得对它们进行数据压缩 成为可能。 图像视频压缩编码已经有五十多年的发展历史。1 9 4 8 年，s h a n n o n 和他的两个学生 o l i v e r 与p i e r c e 联合发表了对电视信号进行脉冲编码调制( p c m ) 的论文，标志着数字图 像压缩编码技术的开端【2 1 。1 9 6 6 年，n e a l 对比分析了d p c m 和p c m ，并提出了用于电视 的实验数据。1 9 6 9 年在德国小城g o s l a r 举行的首届“图像编码会议( p i c t u r ec o d i n g s y m p o s i u m ) ”表明图像视频编码以独立的学科跻身于学术界。半个世纪以来，图像压缩 编码技术早已走出实验室，广泛应用于现代社会的各个领域。图像编码方法种类繁多，从 信息保持的角度可以分为无损压缩和有损压缩两大类。无损压缩利用数据的统计冗余( 数 据之间的相关性、可预测性) 进行压缩。以预测编码和熵编码为基础，可完全恢复原始数 据而不引入任何失真，但其压缩比受到数据统计冗余度的理论限制，一般为2 ：1 到5 ：1 ，此 类方法广泛用于文本数据、程序和特殊应用场合的图像数据( 如指纹图像、医学图像等) 压缩。由于压缩比的限制，仅使用无损压缩方法不可能解决图像和数字视频在存储和传输 南京邮电大学硕士研究生学位论文第章绪论 应用中的问题。有损压缩除了利用统计冗余进行压缩编码外，还利用了图像数据的视觉冗 余特性，即利用人类视觉系统( h v s ) 对图像中某些频率成分不敏感的特性，允许压缩过 程中损失一定的信息，这虽然不能在解码端完全恢复原始数据，但所损失的部分信息对理 解原始图像的影响相对较小( 即视觉无明显失真) ，同时却换来了相当大的压缩效率。1 9 8 5 年，瑞士学者k u n t 提出了第一代、第二代编码的概念f 3 1 ，他把早期的以去除冗余为基础的 编码方法称为第一代编码，如：空间域的p c m 、d p c m 、m 、亚抽样编码方法，变换域 的d f t 、d c t 、w a l s h - h a d a m a r d 交换编码等方法以及以此为基础的混和编码方法：第二代 编码方法则是指8 0 年代以后提出的新方法，如金字塔编码【4 】、矢量量化5 1 、分形编码【6 - 8 】、 基于神经网络的编码、小波变换和子带编码【9 】【1 0 】以及模型基编码【m 等。 近十多年来，随着一系列图像视频编码国际标准的制定以及优秀编码算法的相继提 出，图像编码技术已经真正走上了实用化和产业化的道路，同时也在一定意义上刺激了信 源理论研究的进一步拓展。 1 1 2 适合网络传输的嵌入式可分级图像视频编码 一系列标准的制定及优秀编码算法的提出，为图像信号的有效传输提供了可能。对编 码算法的基本要求是压缩效率要尽可能的高，具体到特定的应用场合还会对编码算法提出 一些其它方面的要求。对于图像信号的网络传输，为适应网络异质特性和带宽波动，除要 求编码算法具有高效的压缩性能外，还要求其产生的码流能够具有可分级性( s c a l a b i l i t y ) 。 例如，如果码流不具有可分级性，当多个用户试图通过不同的通信链路( 具有不同的可利 用带宽资源) 同时接入相同的视频时，通过高速链路( 例如a d s l 调制解调器) 连接到服 务器的用户终端可以实时接收以1 5 m b p s 编码的m p e g 1 视频并重放，但仅有5 6 k b p s 调 制解调器连接的低速链路用户将不能实时接收足够的比特进行重放。而如果码流具有可分 级性，则具有高带宽接入的用户可以下载或接收整个比特流以观看高质量的视频，而具有 5 6 k b p s 低带宽接入的用户则可以仅下载或接收视频数据流的一部分，观看一个低质量的演 播。另外，可分级性还允许同一用户根据其可用带宽波动情况，选择接收部分或全部发送 码流，从而得到质量可变的有意义的重建图像或视频。典型的可分级图像视频编码算法有： s p i h t 12 1 、j p e g 2 0 0 0 、3 d s p i h t 13 1 、m p e g 4 f g s 等。 s p i h t 是s e tp a r t i t i o n i n gi nh i e r a r c h i c a lt r e e s ( 层次树中的集合分割) 的缩写【闭。s p i h t 算法使用了三个基本概念：1 ) 将小波变换系数按空域方位树形式进行组织：2 ) 按照其量 值的位平面表示中最高重要性比特的级别，把这些树中的小波变换系数分割为不同的集 2 南京邮电大学硕士研究生学位论文 第一覃绪论 合；3 ) 依据最高剩余位平面优先的原则编码并传输各比特。 空域方位树由一组以最低频率子带为根的小波变换系数组成，其各代子孙为沿着相同 的空域方位频率逐渐上升的各高频子带。图1 1 所示为一个两级分解二维小波变换情况下 各系数和树节点之间的父子关系。在空域方位树中，每一个节点由2 2 个相邻像素组成。 除了最顶级节点中带有“妒标识的像素外，各节点中的每个像素都有四个儿子。引入空 域方位树主要是为了利用二维小波变换图像中的自相似性和量值区域化特性。特别地，如 果树中某个节点中的一个系数值不超过一个给定的门限值，则它的所有后代的系数值都非 常可能不会超过这个门限值。 i i l l 壬一 - + _ll 盈划 由 7 u li 口丑 丑b 图1 - 1s p i h t 空域方位树示意图 s p i h t 算法主要由两个阶段组成：排序和细化。在排序阶段，s p i h t 设置一个量值门 限2 “，其中r l 称为重要性级别，然后在空域方位树中寻找并标记以下三类实体：在级别n 上重要( 量值不小于2 n ) 的孤立系数；在级别n 上不重要( 量值小于2 n ) 的孤立系数；在 级别n 上不重要的系数集合( 所有量值小于2 n ) 。对于一个给定的n ，该算法搜索每一颗树， 把树分割为上述三类实体的集合，并分别把它们的坐标移至以下三个列表之一：( 1 ) 孤立 重要像素列表( l s p ) ；( 2 ) 孤立不重要像素列表( l i p ) ；( 3 ) 不重要集合列表( l i s ) 。根 据分割原则以及空域方位树的特性，第三个列表中的每个集合可以用单个坐标来标识。在 细化阶段，当每次递减n 时，通过发送各以前被标为重要系数的二进制表示中的下一个比 特，其精度逐渐递增。如此细化过程生成的将是一个完全嵌入式的可渐进传输的码流。 3 d s p i h t 算法【l3 j 是基于s p i h t 在时间轴上的扩展。在3 d s p i h t 中，一组图像( g o p ) 首先按时域然后再按空域分解为三维子带。在三维子带结构中定义类似的三维空域一时域 方位树及其父子关系。如果使用纯二进小波分解，则基于二维的直接扩展就是三维空域 童室坚皇奎兰堡主堕壅生兰垡笙奎星二童堑丝 时域方位树中的每一个节点由2 2 x2 个相邻像素立方体组成。3 d s p i h t 中的像素排序过 程与s p i h t 基本相同，只是由二维扩展至了三维。一旦排序完成，3 d s p i h t 中的细化过 程与s p m t 完全一致。 这些编码方法除了具有优良的率失真性能外，其产生的码流还具有比特率可分级性。 而s p i h t 、j p e g 2 0 0 0 、3 d s p m t 编码器产生码流称为嵌入式码流，低码率码流是高码率 码流的一个前缀，允许对整个码流进行任意的截取，获得有意义的低质量的重建图像或视 频，本文就是针对这样的s p i h t 类编码器产生的嵌入式码流而进行的研究工作。 m p e g 4 f g s 把码流分成基本层和增强层，基本层不具有可分级性，必须完全正确接收和 解码，而增强层具有可分级性，允许被任意截取，参与解码的增强层码流的多少决定了重 建图像质量的高低。可分级图像视频编码器的这特点对网络传输很重要，使得其产生的 码流能够适应网络异质特性和带宽波动，并能实现渐进传输。但这些编码方法为了提高编 码效率而广泛采用了变长编码，使得产生的码流对误码极为敏感。虽然其中一些成为标准 的图像编码算法也采取了某些有限的容错措施，如数据分割，可逆变长编码、帧头重同步 等，但当应用于高误码率或数据包丢失的信道时其实际效果并不理想。因此采用可分级图 像视频编码，并结合适当的信道纠错编码方法是解决噪声信道中图像视频可靠传输问题 的一条重要途径。 本文在实现多描述编码中采用3 d s p i h t 的分级码流作为原信源码流，因此如无特殊 说明，本文后续出现的“分级码流主要指“嵌入式渐进码流”，或者两者互换使用。 1 1 3 多描述编码的发展 近年来，多描述编码( m d c ：m u l t i p l ed e s c r i p t i o nc o d i n g ) 方法逐渐成为了众多学者 研究的热点。多描述编码的目的就是将一个信源编码成多组比特流以支持不同质量等级的 解码，多描述编码属于信源编码。因为多描述编码的基本思想就是用信源中引入的冗余来 替代传统单描述编码系统在信道中引入冗余提高译码质量的概念，所以其多组比特流数据 之间是有相关性的。多描述编码假设在信源和信宿之间有多个信道，各个信道同时出错的 概率非常低，通过生成多个同等重要、可独立解码的关于信源的描述，来保证在其中一些 描述丢失时，由于描述之间数据的相关性，通过多描述编码里的差错估计，仍可以得到可 接受的图像质量；而随着描述的增加，图像质量也随之提高。由于使用部分的信息就可以 重建出一个质量可以接受的图像，因此多描述编码在基于包的网络、无优先保护机制的 i n t e m e t 、分集通信系统( 多天线的无限信道) 、语音编码、图像编码、视频编码、多分布 4 南京邮电大学硕士研究生学位论文第一章绪论 以两个描述的多描述编码为例总结一下多描述编码的主要特征有： ( 1 ) 每个描述都有自己的一组编码、解码函数； ( 2 ) 每个描述都包含一些别的描述所没有的信息，例如，对于每个描述的编码； ( 3 ) 如果两个描述都接收到了，则解码器可产生高质量的重建信号，如果只接收到 一个描述，那么接收端也还可以利用该描述重建信号，只是质量有所下降； ( 4 ) 适合于丢包环境； ( 5 ) 产生的码流具有相同的重要性，是其与可分级编码的最大区别； ( 6 ) 产生的码流具有独立性，即各码流可以分别被解码，而不需要已知别的码流； 值得注意的是，第一个属性不同于常规的可分级( 或可分层) 编码，常规的方法编码 出的基本层是至关重要的，如果失去基本层，剩下的其它层的比特流将毫无用处。然而， 多描述编码技术可以利用正确接收到的任何一个描述重构出有用的原始信号，随着接收到 的描述数量的增加，解码出的图像质量也逐步提高。采用多描述视频编码算法，还可以利 用其它描述中未受损害的帧来修复本描述中受损的帧。这样，即使是两个描述都遭受了分 组丢失，只要这两个描述遭受的分组丢失不是同时发生的，它们仍然可以维持有用的视频 质量。多描述编码的优越性还包括：多描述编码系统可以获得较高的压缩效率，同常规的 单描述压缩原理相比，它压缩所得的总比特率只比后者略高。 其实，多描述编码的历史可以追溯到2 0 世纪7 0 年代，b e l l 实验室为了在电话网上提 供不间断电话业务，将来自一个通话的信号奇偶分离成两路信号，并在两个分离的信道上 传输。该问题被b e l l 实验室称为信道分离( c h a n n e ls p l i c i n g ) 问题。多描述编码被正式提 出是在1 9 7 9 年9 月的s h a n n o n 理论研究会上，当时g e r s h o 、o z a r o w 、w i t s e n h a u s e n 、w - o l f 、 w y n e r 和z i v 等人提出了如下问题：假如一个信源被两个单独的描述表示，这些描述分开 或联合起来对于信源的质量将会有怎样的限制? 这个问题被称为多描述问题。这个领域 中，最初的基本理论结果是由上述的研究人员以及a h l s w e d e 、b e r g e r 、c o v e r 、e 1 g a m a l 、 z h a n g 等人在2 0 世纪8 0 年代提出的。对于两信道、三解码器的多描述编码，其基本框图 如图1 2 t 1 4 】。 南京邮电大学硕士研究生学位论文第一章绪论 l i 也理r 旦譬，l - d 7 i ”一”厂由s 酗 m d c_ 二一 信道1 l l 编码器 叫 信道2 i 解码器2 叫 由s s 2 。 码厍 ll l l 枷r 丌i 7 i ”。f 由s ： 彭 图1 - 2 两描述编码框图 编码器将给定的输入源符号序列 五 ：一。通过两个无噪声的信道发送给三个不同的解码器， 中心解码器同时接收来自两个信道的信息，边解码器只接收各自的信道中信息。假设信道 i 中的数据传输速率用置，f = 1 ，2 。若用 z ，。) 二。表示由解码器i 得到的重建序列，各自的失 真用d f 来表示。对于两信道的多描述编码，其目标就是设计编码一解码器，当两个信道同 时工作时使平均失真最小，并使平均失真在只有一个信道工作时服从约束，从而保证最小 的失真。对于两信道的多描述编码，早期的研究主要集中于五元组( r l ，马，d o ，d l ，砬) 的 可实现范围，对于可实现的范围有如下约束： d o d ( 墨+ 恐) ( 1 - 1 ) 日d ( 置) ( 1 2 ) 皿芝d ( 墨) ( 1 - 3 ) 上述三个不等式同时取等号将意味着最优的率描述r i + 恐可以被分为两个最优的率墨和 尺，。因为最优的率冠和r ，是类似的，所以它们是冗余的。 基于前向纠错的多描述编码方案( m d c f e c ：m u l t i p l ed e s c r i p t i o nc o d i n g - f o r w a r d e r r o rc o r r e c t i o n ) 是在基于f e c 的前向纠错方案的基础上进一步发展起来的，它源于基于 f e c 的前向纠错方案中的不等丢失保护( u n e q u a le r r o rp r o t e c t i o n ，u e p ) 原理。该方法不 需要重传丢失的数据包，它对要传输的数据利用信道编码产生多描述码流，通过信道编码 器产生校验符号( 也称为冗余符号或保护符号) ，这些校验符号和信源符号一起传输给接 收端，当接收到足够多的信源符号时，丢失的数据包就能被完全恢复。 6 南京邮电大学硕士研究生学位论文第一章绪论 1 2 本文的主要内容和安排 本文的第二章首先对多描述编码的理论背景进行了简单的叙述，接着按多描述编码的 实现方法的不同介绍了一些多描述编码方法，并对其方法的基本思想和研究的发展状况做 了简要介绍。第三章主要具体介绍了基于信道编码的多描述编码的具体原理和其组成部 分，并根据现有m d c f e c 方法的不足，提出了可以改进的方面。第四章在现有m d c f e c 比特分配方法进行深入分析的基础上，提出了一种改进的方法，此外，为了使m d c f e c 能更好地适应网路传输，本文提出了多模块m d c f e c 方法代替单模块m d c f e c 方法来 更好地适应信道带宽的变化，以求达到良好的网络传输性。第五章的主要内容是对这两方 面的改进方法进行实验结果比较，并给出了分析和总结。文章的最后对全文进行了总结， 并进行了下一步研究的展望。 7 南京邮电大学硕士研究生学位论文 第二章多描述编码原理及其分类 第二章多描述编码原理及其分类 第一章主要介绍了课题的研究背景以及些相关知识的简单介绍，本章将对多描述编 码的基本原理进行介绍，接着按其实现方法的不同进行了分类，然后分别对不同的方法的 基本思想和发展状况进行了介绍。 2 1 多描述编码的基本思想 多描述编码( m d c ：m u l t i p l ed e s 嘶p f i o nc o d i n g ) 的基本思想是将原视频信号分解成 多个同等重要、可独立解码的码流，每个码流称为一个描述。不同的描述之间存在一定的 相关性，任何一个描述都能能独立解码生成质量可接受的重建视频，而随着描述的增加， 重建的视频质量也随之提高。 多描述编码技术在部分描述丢失的情况下仍可重建出质量可接受的视频图像，不需要 重传丢失帧，大大降低了延时，适合于实时视频传输。此外，在不同的网络通道上传输各 个描述，由于各网络通道的丢包情况不尽相同，同时发生丢包的概率不大，从而提高了对 网络视频传输错误的容错性。 稳健的视频编码压缩方法是实时网络视频传输的关键，多描述编码是近年来兴起的一 种新的面向不可靠信道传输的编码方法，与分层编码同属错误恢复范畴，即通过冗余信息 使解码器具有一定的错误恢复能力。 2 2 多描述编码的基本原理 多描述编码可以理解成这样一个问题：在发送端，一个信息源有多种描述形式，这些 描述构成一个集合，接收端从集合的子集中尽可能的精确恢复出信息源。这与多用户信息 论中的多址接入问题十分相似。实际上常把多描述编码抽象成多用户信息论的问题，很多 多描述编码的理论结果直接来源于多用户信息论，或是用其中的方法、结论加上特定的条 件推导得到。多描述编码的模型见图2 1 ： 8 南京邮电大学硕士研究生学位论文第二章多描述编码原理及其分类 信源 信道1 图2 - 1 多描述编码模型 信源通过多描述编码器得到j 。、s ：s 。多个描述，各描述通过独立的信道传送到解码 端，解码器最少接收o 个描述，最多接收n 个描述，总共有2 n 1 种接收情况。显然接收到 的描述数目不同，解码器能恢复的信源程度也不同，当所有描述都收到时，能最大限度地 恢复信源，收到的描述少，恢复的效果要差一些。有关收到描述与信源失真之间的关系一 直是多描述编码的难点，在理论上它等价于多用户的信息率失真问题，但在应用中不完全 由理论指导实践，还要考虑算法复杂度、算法效率等实际问题。 r 。、r ：表示信道l 、2 的速率，d l 、d 0 、d ：分别表示解码器1 、2 、3 带来的失真。 若信源是无记忆的高斯信源，其均方差为仃2 ，那么( r l ，r ：，d o ，q ，皿) 满足如式 ( 2 1 ) 和式( 2 2 ) 条件： 口仃2 2 。2 尼，扛1 ，2 ( 2 1 ) d o 盯2 2 2 蜀+ 恐奉7 d ( r l ，r 2 ，b ，d 2 ) ( 2 2 ) 如果d 1 + d 2 口2 + d o ，则y d = 1 ，否则 2 i 而豸示面匀雨i 雨可。 q 。 1 一( ( 1 一d 1 ) ( 1 一d 2 ) 一b d 2 2 一烈* + 尥) 2 这只是最简单的高斯无记忆信源时的情况，实际的信源情况比这要复杂得多。 2 3 常用的多描述编码方法 多描述编码可以从预测、量化、d c t 变换、熵编码、信道编码等方面进行。目前已有 的应用于静态图像和视频编码的多描述编码算法主要分为以下几类【1 4 】【1 5 】f 1 6 】：( i ) 基于量化 9 南京邮电大学硕士研究生学位论文 第二章多描述编码原理及其分类 的多描述编码；( 2 ) 基于变换的多描述编码；( 3 ) 基于运动补偿的多描述编码；( 4 ) 基于 时域采样的多描述编码；( 5 ) 基于空间亚采样的多描述编码；( 6 ) 基于f e c 的多描述编码 等。在实际应用中主要是从编码冗余度、编码质量、编码复杂度、丢包复原能力、主观效 果等方面考察算法的优劣。 2 3 1 基于量化的多描述编码 多描述量化的基本思想是：设计量化区间相互重叠的量化器( 通常一个量化器的量化 区间是另一个的平移) ，每个量化器量化原信号产生一个描述。对两个描述的多描述编码， 收到一个描述时，相当于原信号经两倍的量化步长量化得到重建信号( 粗量化) ，收到两个 描述时则相当于使用原量化步长量化( 精细量化) 。 多描述量化编码又可分为多描述标量量化( m d s q ) 及多描述矢量量化( m d v q ) 。 1 9 9 3 年，v a i s h a m p a y a n 使用带有渐进特性的多描述标量器构造出了第一个实用的多描述编 码器，即m d s q 。它的设计分为索引分配的选择以及针对给定的索引分配对量化器的结构 进行优化。在上述的m d s q 中，v a i s h a m p a y a 对编码器的输出采用定长码进行编码。为提 高系统的性能，v a i s h a m p a y a n 对m d s q 编码器的输出采用变长码进行编码，并将该多描 述编码器称为受熵约束的m d s q 。上面的研究针对的是无记忆高斯信源，后来b a t l l o 和 v a i s h a m p a y a n 对平方误差失真度量下有记忆信源的多描述量化器的渐进性能进行了分析。 j a f a r k h a n i 和t a r o k h 提出了一种算法用于构造多描述编码网格编码量化器，量化器从 网格的张量积中得到，文中使用v i t e r b i 算法来选择编码的最优路径，并提出一种算法来优 化设计参数。f l e m i n g 和e f f r o s 提出了一种算法来设计多描述矢量量化器，是由树形矢量 量化( t s v q ) 的方法得到。另一个基于t s v q 的方法是由c a r d i n a l 提出的，每个解码器 的码书以二元树的形式组织。v a i s h a m p a y a n 、s l o a n e 和s e r v e t t o 针对对称信道提出了多描 述基于格子矢量量化器，为常见格子的矢量索引分配的构造提出了一个优化方法。d i g g a v i 、 s l o a n e 和v a i s h a m p a y a n 使用不同的子格子和相似的索引分配技术将上述方法扩展到非对 称信道，而k e l n e r 、g o y a l 等人则将上述工作扩展到两个描述以上。 由于m d s q 是多描述编码中最早的一种方法，所以后来很多的方法都是基于m d s q 而提出的。b a t l l o 和v a i s h a m p a y a n 最先将多描述和变换编码相结合，当时他们只是简单地 将m d s q 应用于块变换的输出，并对多描述标量量化与正交变换的先后关系以及多描述标 量量化与正交变换的联合优化进行了仔细的分析。s e r v e t t o 、r a m c h a n d r a n 和v a i s h a m p a y a n 针对的是对称信道( r i = r 2 ) ，将m d s q 和小波图像压缩技术相结合，并对其进行了优化。 s r i g i v a s a n 和c h e l l a p a 将子带编码与m d s q 结合起来，并使用贪婪算法来对不同类的子带 塑室坚皇奎堂堡主翌茎竺兰垡笙苎 笙三皇兰垫堕塑苎堕堡墨苎坌耋 分配不同的码率和冗余。s h e r w o o d 、t i a n 和z e g e r 等人采用s p i h t 压缩算法来实现能调整 冗余分配的m d s q s p i h t 算法，但是没有提及如何来适应不同的信道情况。 这类方法的主要问题在于冗余度较高。因此，如何设计出比较好的量化过程，既不产 生很大的冗余，又能够达到理想的效果成为关键。 2 3 2 基于变换的多描述编码 在压缩编码中，变换的作用是去相关。但在基于变换的多描述编码中，信源被编码成 多个描述，若要从其他描述中恢复出丢失的描述就需要这些描述之间具有一定的相关性， 因此这里的变换是为了使各个描述之间具有相关性。多描述变换编码可被认为是针对于删 除信道的一种联合信源信道的编码技术，它的基本思想是通过变换在多个描述之间引入相 关，这样丢失的数据便可以从接收的数据中估计出来。它与多描述量化的不同在于，冗余 的引入是通过相关变换来实现的，而多描述量化中的冗余是通过量化而引入的。 多描述变换编码方法中研究的相对成熟就是基于相关变换的多描述变换编码方法，它 包括w a n go r c h a r 等人提出的成对相关变换和g o y a l 等人提出的相关变换。成对相关变换 的主要思想是将信号进行两次变换，其中第一次变换是对信源进行去相关；第二次变换是 重新引入相关。根据引入相关的变换的不同，又可以分别被称为正交m d t c 和非正交的 m d t c 。正交m d t c 是将信源样本矢量投影到一个旋转了的正交基函数上，这样就在原来 不相关的信源矢量之间引入了相关。p r a d h a n 和r a m c h a n d r a n 证明：对二维高斯矢量信源 ( 两描述) 而言，2 x 2 方块正交变换是酉滤波器簇中的最优变换。使用正交变换的一令不 足是：导致两个信道的不对称( 两个描述的率不相等) 。非正交m d t c 使得变换在设计上 有更大的灵活性。对经过非正交变换后的变量使用均匀量化将导致“非超立方体 ( n o n h y p e r c u b i c ) 的分割区间 ，它对于标量量化器而言不是优的。因此使用离散的“可逆 整数变换”来代替连续变换，并将量化器置于整数变换之后。g o y a l 对基于相关变换的两 信道多描述编码的优化设计进行了分析，并提出一个级联的系统结构用于设计两信道以上 的多描述编码。对于两描述下的最优相关变换矩阵，w a n g 等人从量化误差的角度出发对 给定冗余下的最优变换矩阵进行了选取，而g o y a l 等人从两个边信道匹配的角度来对给定 冗余下的最优变换矩阵进行了选取，虽然他们的角度和方法不同，却得出了相同的结论。 但在整个非正交变换空间中穷竭搜寻出最优变换矩阵，不但计算量非常大，而且任意结构 的非正交变换的实现也非常困难。就冗余率失真r r d 而言，基于相关变换的多描述编码 在冗余非常小的时候，冗余上非常小的增加能使边解码器的失真以比指数更快的速度下 堕塞墅皇奎堂堡主堕窒竺兰篁笙茎兰三兰至塑垄塑里曼型垄基坌耋 降，因此它具有很好的r r d 性能。但是在冗余较大的时候，边解码器的失真并不会随冗 余的增加而趋于零，或者说趋于中心解码器的失真。对此，w a n g 给出一个基于相关变换 的多描述编码的通用框架，该框架中包括相关变换引入的冗余及第二种方式的冗余，分析 了这两种模式的冗余的最优分配。到了2 0 0 2 年，w a n g 对上述思想进行了更为深入的分析， 并结合m d t c 与m d l c 的优点给出了一个改进方案g m d t c ，在该方案中，冗余不再只 是通过变换而引入的，还包含用于纠正源于单描述的差错而引入的冗余，该方法的r r d 性能在整个冗余范围内都接近理论边界。除了上述的基于相关变换的多描述变换编码之 外，还有其他几种多描述变换编码。y a n g 和r a m c h a n d r a n 通过设计两信道子采样滤波器来 优化多描述子带编码器的性能。w a n g 和c h u n g 使用多个交织的采样网格来进行，图像进 行欠采样将原始图像分成几个同等重要的描述，并对上述方法进行了扩展，将子采样通过 在频域上使用重叠正交变换( l o t ) 来实现。为了使多描述编码具有更好的差错恢复性能， 还提出了一种算法来设计一个在差错恢复方面有更好性能的l o t 基。j i a n g 和o r t e g a 还提 出了一个基于多相变换和选择性量化的多描述编码系统，对每个描述，使用一个简单的多 相变换来得到冗余数据。s a g e t o n g 和o r t e g a 将该方法扩展到多个描述，并根据信道的情况 来考虑编码中冗余的最优分配。s a g e t o n g 和o r t e g a 考虑图像中不同区域的比特分配问题， 为使不同的区域对应于不同的比特分配，在编码前将小波系数使用不同的因数来相除。 这类方法的优点在于总冗余度可由p c t 参数和误匹配信号量化步长所控制，缺点主 要是产生质量可接受的视频信号，其信号冗余度过大。 2 3 3 基于运动补偿的多描述编码 基于运动补偿的多描述编码是根据视频编码使用运动补偿来消除帧间冗余的特点，设 计多个预测环进行多描述编码。 1 9 9 9 年，r e i b m a n 等人提出了使用运动补偿预测的多描述视频编码器【1 7 l 。它复制边缘 信息和运动向量到两个信道中去，而对原始块和预测错误块的信息进行多描述变换编码， 并建立3 个分开的预测环。其编码框架如图2 2 所示。其中，3 个帧缓冲区分别存储之前从两 个描述和两个从单描述重建的帧。x 为输入信息。只( i = 0 ，1 ，2 ) 是基于重建的运动向量和前 帧产生的预测信息。p o 为中央预测，墨，曼为边缘预测。中央预测环中，将预测错误 f = x - p o 多描述变换( e m d c ) 编码成。户，f f 。，f ：由多描述变换解码得到。边缘预 测环中，对边缘预测错误g ，= x 一只一f ，进行编码，以降低编码器与解码器间的失配。 1 2 南京邮电大学硕士研究生学位论文 第二章多描述编码原理及其分类 在解码端，该方案还模拟了三种可能的场景，即一种收到两描述和两种收到单描述的场景。 它在大范围冗余情况下能取得可接受的视频质量。 p 2 p i p o x 图2 - 2 使用运动补偿预测的多描述视频编码器框架 2 0 0 0 、2 0 0 1 年，k i m 等人提出针对视频的多描述运动编码( m d m c ) ，加强了运动矢 量场的鲁棒性。它先根据当前帧和解码出的前帧、按块估计运动矢量场，再使用图2 3 的梅 花子采样方法将运动矢量场分成两个粗糙的场，编码成两个描述，并通过不同的信道传送。 解码端根据信道条件提供不同运动补偿的预测图像。其中使用了重叠块运动补偿技术，即 用重叠加权窗口将一个块的运动矢量应用到一个更大的像素集上。块中的像素通过前帧中 多个像素的权和来预测。像素集的位置则由本块和邻近块可获得的运动矢量来确定。 ooo ooo ooo ooo ooo ooo 图2 - 3 梅花下采样 2 0 0 2 年，w a n g 等提出利用二次预测运动补偿和编码误匹配信号的多描述视频编码方 法。二次预测运动补偿是通过编码的前两帧来预涮1 1 , 4 - 当- - 4 前帧，编码误匹配信号是对编码器与 解码器的预测帧间的失配编码，二者都避免了错误的传播。由于单个描述只包含奇帧或偶 帧，因而只收到一个描述( 假设含有偶帧的描述) 时，解码器只使用之前的偶帧进行预测。 2 0 0 5 年，n i c o l a 等人又提出了两个多描述视频编码方案。它们都基于运动补偿预测环， 1 3 南京邮电大学硕士研究生学位论文 第二覃多描述编码原理及其分类 利用多相下采样技术产生多描述，并通过运动预测引进前后描述间的冗余。 第一个方案是漂移补偿多描述视频编码器( d c m d v c ) 。其结构如图2 4 。为改善 编解码器预测环间的不匹配，它以文献【1 7 】中的方法为基础，在编码端引进了三个预测环， 以对应解码端的三种情况。不同的是，它在边缘预测环中使用重建的帧群代替原帧x 作为 新的参考帧。编码端的三个参考帧缓存器存储之前从两个描述重建帧瑶、从描述l 重建帧 丑”1 和从描述2 重建帧彤。中央预测环中，当前帧x 与彤q 做差产生预测错误e ”，再使用 多相下采样多描述( p d m d ) 编码，产生两个描述。p d m d 解码器则根据描述分别重建出 月月h e ，e ，e2 。边缘预测环中，使用漂移补偿方法将两个描述重建的帧与单个描述重建的 月n 前帧作差运算，再与边缘重建e ，或e ：相减，避免了错误的传播。另外，它还应用冗余策 略来分配冗余。 p 。, - 7 p p x 图2 4d c m d v c 结构 第二个方案是独立流多描述视频编码器( i f m d v c ) 。它将多描述块m d 置于运动预 测之前，产生多个独立的流，再进行独立编码。如果解码端丢失描述，则可采用时间或空 间隐藏方法估计丢失的数据。图2 5 为两描述的i