（计算机应用技术专业论文）多描述图像与视频编码的研究.pdf

y7 8 5 , 2 2 8 1 、“右级”请根据沦文的实际情况在“无、密级、机密、绝密”中根据导 师的意见选择填写。 2 、原创性声明论文使用权说明格式如下： 本人声 论文写作中 集体的科研 由此论文所 3 、论文使用权说明格式如下 中文摘要 多描述编码是一种具有很强的错误隐藏和错误恢复能力的图像、 视频编码方案，可以克服互联网和无线通信网络传输信道的不可靠性 导致的数据错误及分组丢失等问题。本文综述了多描述编码的发展现 状，针对多描述图像子带编码和多描述视频编码进行了深入的研究， 提出了3 种新颖的多描述图像子带编码方案和1 种3 d 多描述视频编 码方案。 首先，本文根据子带分解系数的特点，从个体系数分解的角度出 发，提出基于结构一致性的多描述图像分组编码。把每个非零系数按 奇数位和偶数位下采样分为奇偶两相，将奇数相位置信息和偶数相冗 余信息组合形成一个描述，而偶数相位置信息和奇数相冗余信息组成 另一个描述。两个描述通过不同信道传输。由于描述中的主要信息和 冗余信息具有结构一致性的特点，省略对冗余信息结构的编码，提高 了编码效率。对两个描述的编码信息分别按行、列进行分组传输，可 减少交叉分组丢失引起的失真，提高了错误恢复和错误隐藏能力。 本文提出的第二种图像编码方案是非平衡丢失保护的多描述子带 图像分组编码方案。由于小波系数信息可以分为两个部分，即结构信 息和非零系数剩余信息。对非零系数的位置、符号及其所处的位平面 等结构信息给予重点保护，把它们复制到两个描述中；对非零系数的 其余部分等非关键信息只给予一般保护，通过多描述标量量化，形成 两组索引送入两个描述并通过不同信道传输。针对网络分组丢失情 况，提出简单分组和交叉分组两种方案，有效地解决了交叉分组丢失 的问题。该算法不仅编码效率高、抗分组丢失能力强，而且可以方便 地调整多描述的冗余。 第三种新颖的多描述图像编码方案是基于分级树的多描述图像 编码方案。这一方法根据信息的重要性提供灵活的保护措施。从内嵌 编码的特点出发，提出一个新的数据结构分级树( l s t ) 的概念， 在此基础上设计了两种编码效率高、抗分组丢失能力强的多描述编码 方案。该算法具有可根据代码的重要程度对相应信息提供灵活丢失保 护的特点。 最后，本文将基于结构一致性的多描述图像编码与带运动补偿的 3 d 提升小波编码方法有机结合，提出了带运动补偿的3 d 提升小波多 描述视频编码算法。该算法具有编码效率高，抗分组丢失能力强等优 点。 实验结果证明了上述算法的正确性和有效性。这些算法为实现高 效、强健的图像视频传输编码提供了可行的参考方案。 波 关键词：多描述编码，差错控制，子带编码，运动补偿，提升小 a b s t r a c t a b s t r a c t m u l t i p l ed e s c r i p t i o nc o d i n g ( m d c ) o f f e r s a n i m a g e a n dv i d e o c o d i n g f r a m e w o r kw i t hv e r ys t r o n ge l t o rr e s i l i e n ta n de r r o rc o n c e a l m e n ta b i l i t y i tc r nw e l l c o n q u e rt h ed a t ae r r o ro rp a c k e tl o s sp r o b l e md u et ot h ei n t e m e to rw i r e l e s sn e t w o r k c h a n n e lf a i l u r e t h i st h e s i sf i r s tr e v i e w st h ed e v e l o p m e n to fm d c ，c o n c e n t r a t e si t s s t u d yo nm u l t i p l ed e s c r i p t i o n ( m d ) s u b b a n di m a g ec o d i n ga n dm u l t i p l ed e s c r i p t i o n v i d e oc o d i n g ，a n dt h e np r o p o s e3n o v e lm ds u b b a n d c o d i n gs c h e m e sa n do n e3 dm d v i d e oc o d i n gs c h e m e t h ef i r s tm d i m a g ec o d i n gs c h e m ep r o p o s e di sb a s e do nt h ei n d i v i d u a l i t yo ft h e s u b b a n dc o e f f i c i e n t ，n a m e ds t r u c t u r eu n a n i m i t ym d c i m a g ep a c k e t e dc o d i n g i nt h i s m e t h o d ，e a c hs i g n i f i c a n tw a v e l e tc o e f f i c i e n ti s s p l i t i n t oo d dp o s i t i o na n de v e n p o s i t i o nc o e f f i c i e n t sb yb i t w i s ed o w ns a m p l e ，a n df o r mo d dp h a s ea n de v e np h a s e t h ec o d e do d dp o s i t i o nc o e f f i c i e n t sa n dt h ep r o t e c t i n gd a t af o rt h ee v e np o s i t i o n c o e f f i c i e n t sf o r mo n ed e s c r i p t i o n ，a n dt h ec o d e de v e np o s i t i o nc o e f f i c i e n t sa n dt h e p r o t e c t i n gd a t a f o rt h eo d dp o s i t i o nc o e f f i c i e n t sf o r mt h eo t h e rd e s c r i p t i o n t w o d e s c r i p t i o n sa r ed i s p a t c h e df r o md i f f e r e n tc h a n n e l s s i n c et h em a i ni n f o r m a t i o na n d r e d u n d a n c y h a v et h es a m e s t r u c t u r e ，t h e c o d eo fr e d u n d a n c ys t r u c t u r ec a nb e e l i m i n a t e dt oi m p r o v et h ec o d i n ge f f i c i e n c y t w od e s c r i p t i o n sa r et h e ns e p a r a t e di n t o p a c k e t sb yr o wa n dc o l u m nr e s p e c t i v e l yt or e d u c et h ed i s t o r t i o ni n t r o d u c e db yc r o s s p a c k e tl o s s ，a n di m p r o v e t h ee r r o rr e s i l i e n ta n de r r o rc o n c e a l m e n t a b i l i t y t h es e c o n dm d i m a g ec o d i n gs c h e m ep r e s e n t e di su n e q u a le r r o rp r o t e c t e dm d i m a g es u b b a n dp a c k e t e dc o d i n g ，i nw h i c h ，t h ei n f o r m a t i o no f t h ew a v e l e tt r a n s f o r m e d i m a g e c a nb ed i v i d e di n t ot w op a r t s ，t h es t r u c t u r ei n f o r m a t i o na n dr e s i d u e so f s i g n i f i c a n tc o e f f i c i e n t s t h es t r u c t u r ei n f o r m a t i o n ，i n c l u d i n gp o s i t i o n s ，s i g n sa n db i t l e n g t h so fs i g n i f i c a n tc o e f f i c i e n t s ，i s c r u c i a la n ds h o u l db e d u p l i c a t e d i n t ob o t h d e s c r i p t i o n s t h e r e s i d u e sa r e m a p p e d i n t o c o u p l e s o fi n d i c e s b y a m u l t i p l e d e s c r i p t i o ns c a l a rq u a n t i z e r s ，a n ds e n tt os e p a r a t ed e s c r i p t i o n s t w od e s c r i p t i o n sa r e d i s p a t c h e df r o md i f f e r e n tc h a n n e l s t w ok i n d so fp a c k e tm e t h o d s ，s i m p l ep a c k e t e d 6 a b s t r a c t m e t h o da n dc r o s sp a c k e tm e t h o da r eu s e dt or e s i s tt h ec r o s sp a c k e tl o s s t h ea l g o r i s m i sn o to n l yo f h i g hc o d i n ge f f i c i e n c ya n ds t r o n ga n t i - p a c k e t - - j o s sa b i l i t y , b u ta l s oo f c o n v e n i e n c ei nt h er e d u n d a n c yr a t ea d j u s t m e n t t h et h i r dn o v e lm d i m a g ec o d i n gs c h e m ep r o p o s e d i nt h i s p a p e ri sl a y e r s p a n n i n gt r e eb a s e d m d i m a g ec o d i n g i tp r o v i d e sf l e x i b l ep r o t e c t i o n sa c c o r d i n gt o t h ei m p o r t a n c eo fi n f o r m a t i o nb a s e do nt h ec h a r a c t e ro ft h ee m b e d d e dc o d i n g ，a n o v e ld a t as t r u c t u r ec a l l e dl a y e rs p a n n i n gt r e e ( l s t ) i sp r e s e n t e da n dt w ok i n d so f m d cm e t h o d sw i t hh i g hc o d i n ge f f i c i e n c ya n ds t r o n gp a c k e tl o s sr e s i s t a n ta b i l i t ya r e d e v i s e db a s e do nt h el s t t h i ss c h e m ec a no f f e rf l e x i b l ee r r o rp r o t e c t i o na c c o r d i n gt o t h es i g n i f i c a n c eo f t h ec o d e f i n a l l y , a 3 dl i f t i n gw a v e l e tb a s e dm dv i d e oc o d i n gs c h e m ew i t hm o t i o n c o m p e n s a t i o ni sp r e s e n t e db yt h ei n t e g r a t i o no f t h es t r u c t u r eu n a n i m i t ym d i m a g e c o d i n g a n dt h em o t i o nc o m p e n s a t e3 dl i f t i n gw a v e l e tc o d i n ga l g o r i t h m t h i sm e t h o d h a sh i g hc o m p r e s s i o ne f f i c i e n c ya n ds t r o n ga n t i p a c k e t - l o s ta b i l i t y e x p e r i m e n t s h a v et e s t i f i e d t h ec o r r e c t n e s sa n d v a l i d i t y o ft h e s e p r o p o s e d a l g o r i t h m s t h e yo f f e rr e f e r e n c es c h e m e sf o rah i g he f f i c i e n ta n d r o b u s ti m a g ea n d v i d e oc o d i n g k e y w o r d s ：m u l t i p l ed e s c r i p t i o nc o d i n g ，e r r o rr e s i l i e n t ，s u b b a n dc o d i n g ， m o t i o nc o m p e n s a t i o n ，l i f t i n gw a v e l e t l _ l 问题的提出 第一章引言 随着科学技术及经济文化的发展，人们对多媒体信号在互联网和无线移动信 道中传输的需求曰益增大，特别是对图像和视频实时传输的需求。网络带宽和计 算机处理能力的迅速提高，为这一需求提供了前提条件。网上图像和视频传输拥 有极广泛的应用范围，涵盖了交互式视频服务、视频会议、视频电话、电子商务、 远程教学以及远程医疗等领域。人们对图像和视频服务的需求之大，应用之广， 给图像和视频编码技术提出了更高的要求：不但要设计高效的编码方案，更要让 它适应于互联网和无线网络的传输特性。 然而，互联网和无线通信网络的传输信道并不十分可靠。在互联网视频传 输过程中，信道干扰、网络拥塞和路由选择延迟等问题将导致数据错误及分组丢 失等现象，使视频的重建质量严重下降。无线通信网络信道的随机比特错误和长 突发性差错等问题使信道状况进一步恶化，导致所传输视频数据的大量字段丢失 或失效。另外，丢失分组重传机制加大了延时，不适合于图像和视频信号的实时 要求。因此，由于互联网和无线通信网络传输中的数据错误、丢失和过度延时等 现象产生的视频解码错误不但严重影响业务质量，甚至会导致整个视频通信完全 失效，成了限制网络实时视频技术发展的瓶颈，也是国内外信息科学的研究热点 和学科前沿 1 一l o 。 因此，研究具有错误隐藏和错误恢复能力的图像、视频编码方案是实现网络 实时视频服务的必需，也是本课题研究的出发点。 1 2 研究背景 1 2 1 传输差错 网络传输中的差错可粗略地分为两类：随机比特错误和删除错误。随机比特 错误是由物理信道的不完善引起的，它导致比特反转、插入和删除。随机比特错 误的影响取决于编码方法和受影响的信息内容。删除错误可能是由于包交换网络 ( 如因特网) 中的包丢失、突发性差错或者短时间的系统故障所引起的。 第一帝引言 和数据通信不同，实时视频对延时非常敏感，因此不能采用基于重传机制的 网络协议。视频编码中广泛使用预测编码和可变长编码，致使压缩的视频特别容 易受到传输差错的损害。因此，在存在差错的情况下，成功的视频通信要求仔细 设计编码器、解码器和其他系统层。现有的传输差错控制技术可分为1 ) 基于传 输层的差错控制2 ) 基于信源的差错复原编码3 ) 基于解码端的差错隐藏4 ) 基 于编解码交互控制的差错控制等 1 1 。 1 2 2 现有的传输差错控制技术 1 2 2 1 传输层差错控制 传统的传输层差错控制方法主要有：自动重复请求a r q ( a u t o m a t i cr e p e a t r e q u e s t ) 、前向差错修正f e c ( f o r w a r de r r o rc o r r e c t i o n ) 、混合f e c a r q 技 术和不平等差错保护。 a r q 技术的关键在于重新发送丢失的分组，因此发送器需要知道丢失分组的 序号( 可以通过接收端的r t c p 报告分组获得) 。该技术的冗余数据表示的是重 新发送的分组以及具有相同格式的前向分组的信息位。对限制延迟时间的应用 ( 如实时音频、图像、视频) 或多点传送应用( 如多方远程电话会议) ，a , r q 显 然不是合适的选择。 f e c 技术通常基于奇偶校验码( p a r i t yc o d e ) ，如r s ( r e e ds o l o m o n ) 码。在 一组具有k 个分组的数据中，通过对数据块的线性无关结合产生一个或多个奇偶 校验块，每一个特定的结合称为一个奇偶校验码。与a r q 技术相比，应用奇偶校 验码，发送器只需知道分组丢失的概率而不必知道它们的序号。接收端利用编码 数据间存在的相关性，用接收的数据进行重建。对于较长的突发性数据丢失，如 果没有额外的带宽、延时和计算，错误修正编码就不可能提供有效的保护。另外， 运用残余的相关信息进行重建的性能受到所接收信息数量的影响，而且不能用于 独立等密度分布( i i d ，i n d e p e n d e n ta n di d e n t i c a l l yd i s t r i b u t e d ) 的无记 忆信源。 不平等差错保护是根据比特流中二进制比特的非同等重要性，对重要比特进 行重点保护以降低其误码率的一种传输层控制方法。这种方法可通过多种方式实 现：可以对不同的层使用不同的差错控制处理来实现保护的优先级，例如，重传 9 第一章引言 和较强的f e c 可应用于基本层，而不重传和较弱的f e c 可用于增强层：也可以采 用不同的传输协议，例如，用t c p 传输极少量的高优先级数据，而低优先级则采 用u d p 协议。 1 2 2 2 基于信源的差错复原编码 另一种常用的差错控制机制是在信源端采用对传输误码具有健壮性的比特 流信源编码。为了实现强健编码，就必须增加编码器输出的比特数，这些额外的 比特称为“冗余量”。引入冗余量是为了在比特流传输错误时提高信号重建质量。 差错恢复编码的设计目的是在假定的信道环境下，对给定的冗余量达到最佳的解 码视频质量，或者在保持一定质量水平的条件下引入最小的冗余度。当前这类技 术主要有：( 1 ) 通过周期性地插入重同步标记和数据分割进行错误隔离，把错误 的影响隔离在一个有限的区域内；( 2 ) 直接修改二进制编码方法，如可逆变长编 码( r v l c ) 或差错恢复熵编码( e r e c ) ，以使比特流更具健壮性；( 3 ) 进行差错 恢复预测通过插入帧内块或帧，建立分段预测，减轻由于时间预测引起的传输差 错；( 4 ) 设计具有不平等差错保护的分层编码方法( l c ) ；( 5 ) 设计多描述编码 ( m d c ) 方案；( 6 ) 联合信源和信道编码( j s c c ) 。从广义角度讲，分层编码与多 描述编码方案都是在较高层次上的信源信道联合编码的实现方案。 多描述编码( m d c ，m u l t i p l ed e s c r i p t i o nc o d i n g ) 技术是近年来兴起的一 种针对不可靠信道传输的新的编码方法。它具有较好的抗突发干扰能力，而且在 实现差错掩盖和重建丢失分组方面具有较广泛的适用范围。因此，多描述编码方 法作为克服信道错误的有效方法，正受到越来越多地关注，成为近年来通信与信 号处理领域讨论的一个热点，也是本论文研究的主要内容。 1 2 2 3 解码器错误隐藏 尽管传输时的数据可能被损坏或丢失，但解码器可根据到达比特流中的冗余 信息进行错误隐藏。一方面，信源编码器可结合差错恢复机制，有意把冗余引入 编码比特中，以便于丢失数据的估计。另一方面，可在解码器中采取各种措施， 以一定程度的编码效率和复杂度为代价，抑制差错的影响。错误隐藏一般采用时 间插值和空间插值两种基本方法。其中，时间插值是用先前帧的数据来重构丢失 数据，适用于帧问编码；而空间插值则用相邻空间的信息来重构，适用于帧内编 o 码。 】2 2 4 编解码交互的差错控制 这类差错控制技术是利用解码器到编码器的后向信道，让发送端和接收端协 同工作，进行差错控制。信源编码器根据解码器反馈的信息修改编码参数。一般 来说，反馈消息包括受损宏块的时间和空间位置，通过协议栈的一个不同的层中 进行无误码传输，如有必要可以使用重传。 1 2 2 5 视频编码标准中的容错技术 基于压缩标准的互联网视频传输技术已十分流行 1 2 。早期的视频压缩标准 如h 2 6 x 和m p e 6 虽然可以对运动图像进行有效地压缩 1 3 一1 4 ，但其压缩信息对 因信道问题而导致的传输差错和分组丢失十分敏感。最新的视频压缩标准，特别 是m p e g 一4 1 5 和 i2 6 3 + 提供了相应的差错复原能力。值得注意的是，与任何差 错复原编码方法一样，这些方法都会稍微降低编码效率。 m p e g 一4 视频压缩标准提供了一系列特定的差错复原模式 1 6 。当使用差错复 原模式时，如果从一个同步标示开始，输出的比特数大于一个预定值时，编码器 将在每一个宏块( m a c r ob o c k ) 前添加一个同步标示。两个同步标示之间的距离 取决于传输信道的差错条件以及压缩数据的比率，它们之间的压缩数据称为一个 视频分组。当视频分组不大于一个r t p 分组的容量时，每个视频分组能够独立进 行解码，所有预测编码的信息必须限制在一个分组中以避免差错的传播。然而， 如果是由于传输信道的变化和同步标示的初始设置等原因，导致视频分组大于 r t p 分组的容量时就必须对视频分组进行分割。这时，一个r t p 分组的丢失将使 整个视频分组失去意义，有可能降低差错复原的效率。 h 2 6 3 + 是专为电路交换和分组交换网络而设计的视频编码标准，它具有前 向纠错码模式、条带( s l i c e ) 模式、独立分段解码( i n d e p e n d e n ts e g m e n t d e c o d i n g ) 和参考图像选择( r e f e r e n c ep i c t u r es e l e c t i o n ) 等 1 7 差错复原 的编码选择项，在易发生差错( e r r o rp r o n e ) 和不提供服务质量保证的网络中 传输时，这些选项可以帮助提高所传输的视频信号的质量。 此外，为适应不同类型网络上多媒体传输的需要，i t u t ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n su n i o nt e l e c o m m u n i c a t i o n ss e c t o r ) 还为不同网络设计了 相应的压缩标准以控制差错。如适于p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 的h 2 3 4 标准、适于i s d ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 的h 3 2 0 标准以及适于i n t e r n e t 的h 3 2 3 标准等。 1 2 3 本课题的研究内容和意义 本课题从多描述编码的角度研究强健的传输差错控制方案，主要解决多描述 的产生，非平衡丢失保护，冗余率调整和3 d 提升小波多描述视频编码等问题， 实现高效、强健的抗传输差错的视频编码方案。由于网上视频传输的应用几乎涵 盖了信息社会生活的各个领域，因此该课题无论在科学研究还是在国民经济和社 会发展中都具有十分重要的意义和良好的应用前景。 1 2 4 国内外研究现状及分析 国际上对多描述编码应用于图像及视频的研究始于1 9 7 9 年的i e e e 信息论 研讨会。会上，e 1 g a m a l 和c o v e r 1 8 给出了失真向量 d 0 ，d l ，d 2 】和可达到最 小描述速率对【月。，r ：】间的对应关系。其中r 和r ：分别表示两个描述的速率，d 0 和j d 、d ，分别表示采用两个描述和只采用第一个描述或第二个描述重建信号产 生的失真。o z a r o w 1 9 证明对于高斯信源，采用平方误差作为失真度量时，文 献 1 8 给出的限制范围就是信源的多描述速率一失真限制范围。r e i b m a n 和 o r c h a r d 等人提出了冗余率一失真函数( r r d ) 2 0 ，用于估计多描述编码系统的 性能。这些研究成果为多描述编码技术的发展奠定了理论基础。 1 9 9 6 年，v a i n i s h a m p a y a n 设计了第一个多描述编码器标量量化器并提 出第一个多描述图像编码方案 2 1 。随后，s e r v e t t o 等人提出了m d 网格矢量量 化器( m d l v q ) 2 2 ，其网格对称结构不仅简化了矢量量化中的索引分配问题， 而且降低了因维数增加而产生的编码复杂度。文献 2 3 、2 4 中，w a n g 等人从子 空间映射的角度提出了多描述变换编码( m d t c ) ，增加变换系数之间的统计依赖 性，称为“成对相关变换( p a i r w i s ec o r r e l a t i n gt r a n s f o r m ) ”。s e r v e t t o 等 人 2 5 在子带编码算法中引入多描述编码，产生高性能的多描述子带编码器。 j i a n g 和0 r t e g a 2 6 提出多相变换和选择量化算法( p t s q ) ，按标量或矢量的方 式对信号进行下采样，通过选取不同相位的采样点以产生多个子信号，形成多个 2 第一章0j 言 描述，实现了平衡的多描述编码( b m d c ) 。c a 2 7 等人提出子带系数按位下采样， 形成两个描述的编码方案，取得优于p t s q 的结果。国内期刊上也有少量关于多 描述图像编码的研究文章 2 8 2 9 。 国际上多描述视频编码的研究主要从1 9 9 9 年开始，目前尚处于初步阶段。 而国内目前只有极少数关于多描述视频编码的研究成果 3 0 。现有的视频多描述 编码多数是基于块运动预测估计和运动补偿的编码方案 3 卜3 6 ，这就不可避免 地会涉及失配校正问题，亦即如何处理由于信道错误导致编解码器所用预测参考 帧不一致而产生的问题。视频多描述编码必须考虑的第二个问题是非理想的多描 述信道问题。现有的多描述编码方法都是基于理想多描述信道假设的前提下提出 的，但互联网和无线信道都不是理想的多描述信道，在任何信道都可能随机地发 生分组丢失，因此视频多描述编码方案还必须考虑非理想多描述信道对视频重建 产生的影响。现有的视频编码算法主要是对前一个问题进行处理，后一个问题则 很少有文章对它进行讨论。最简单的失配控制方法是各自从自己的描述中重建视 频。常见的双描述编码是采用类似h 2 6 3 中的视频冗余编码( v r c ) 的方法，把视 频图像序列分解为奇数帧和偶数帧两个描述，分别进行预测，编码、传输和重建。 只接收到一个描述时，通过运动补偿时间插值重建丢失帧 3 1 ，这类算法不能改 变编码的冗余与边沿失真，而且预测时间的加长也增大了估计误差。 v a i s h a m p a y a n 和j o h n 3 2 采用分别在两个预测环内联合量化预测误差d c t 系数 的方法解决失配，但编码效率较低。另一类失配控制算法是在误差信号的多描述 编码基础上增加失配编码，也就是把中心预测( 从两个描述重建的图像) 和边缘 预测( 只从一个描述重建的图像) 之间的失配信息部分编码放入各个描述，实现 冗余控制和失配控制 3 3 3 5 。这类算法虽然总冗余度可控，但结构复杂，冗余 量大。k i m 和l e e 3 6 把帧内所有宏块的运动矢量和预测误差按梅花状分解为两 个描述，如果只收到一个描述，运动矢量丢失的宏块可通过接收到的运动关量由 重叠块运动补偿重建。该方法冗余度低，但存在失配累积问题。p e r e i r a 等人 3 7 从网络通信角度提出一种多描述编码冗余度自适应调节算法。c h o u 等人 3 8 对 基于优先编码传输( p e t ) 的分层编码算法 3 6 进行改造，提出分层多描述编码， w a n g 等人 3 9 提出借助反馈信道消除失配的分层多描述编码。 第一章引吉 1 3 研究目标及拟解决的关键问题 本课题拟提出并设计一种能适用于互联网和无线通信网络等不可靠网络的 多描述视频编码方案，解决多描述视频编码当前急需研究的课题：1 ) 高效的编 码方案。多描述编码技术通过引入描述间的冗余来提供差错控制，它不是多个传 统视频编码的简单组合。多描述编码的难点在于如何达到码率与失真的平衡，即 如何设计高效的多描述编码方案使得在给定的编码率或冗余度下最小化失真。2 ) 丢失分组估计与重建。针对不可靠传输信道中可能的不同分组丢失情况，设计多 描述分组方法，提高编码鲁棒性。3 ) 冗余率灵活可调。即根据网络状态调整分 级树机构以适应各级重要保护的需求。4 ) 在多描述图像编码方案基础上，设计 基于小波分析的多描述视频编码器。 1 4 本文结构安排 本文主要从4 个方面对本课题进行探讨：1 ) 高效率、低计算复杂度的基于 子带编码的多描述图像编码方案的实现；2 ) 结合非平衡丢失保护的多描述子带 编码；3 ) 基于分级树的多描述编码的实现：4 ) 运用空间域运动补偿实现3 d 提 升小波多描述视频编码。本文后面各章内容具体安排如下： 第二章引入多描述思想，介绍多描述的基本知识，分析多描述的速率失真函 数，分列出几种传统的多描述编码方案。 第三章从小波变换和子带编码入手，介绍了小波分级树结构，零树、x 树编 码结构和s p i l 4 t 算法，列出几种经典的基于小波变换的多描述编码方案。 第四章讨论基于结构一致性的x 树多描述分组编码，充分利用两个描述间结 构系数的一致性，提高了编码的效率。为了适应分组交换网络的传输，设计了有 效的分包方案，实验仿真不同的分组丢失的情况，得出结论。 第五章根据信道编码中的非平衡丢失保护的思想，结合结构一致性和多描述 标量量化( m d s q ) 的优点，设计并实现非平衡丢失保护多描述编码方案。设计不 同的分组方案，以适应网络交叉分组丢失，实验仿真，证明算法的有效性。 第六章根据分级树思想设计一种新的多描述编码方案，使得速率可以灵活调 节，并根据用户需求灵活组织分组，决定对分层信息的保护程度。实验仿真给出 第一章引言 结果。 第七章首先介绍视频编码基础，随后介绍提升小波变换及其特点。最后，提 出并实现带运动估计的3 d 提升小波多描述视频编码，试验验证了算法的正确性 和有效性。 第八章对全文所提出的方法进行总结，并对视频传输技术的发展和多描述视 频编码的研究进行展望。 第二章传统的多描述 2 1 多描述的引入 第二章传统的多描述 当前的信源编码基本上都是采用递进编码，并通过可控制丢失分组熏传的 t c p 协议传输。现在，让我们通过图2 1 ( a ) ，看看在这一传统系统下一幅图像的 下载过程：将一个压缩图像分为6 个分组( 1 ，2 ，3 ，4 ，5 ，6 ) 进行传输，当分 组到达时，接收端能够根据接收到的分组进行重建并显示 1 0 。由于递进编解码 方法对分组的传输顺序要求非常严格，在分组按顺序编解码并且没有任何分组丢 失的情况下，图像的重建质量随着接收分组的增加而逐步提高。但如果有一个分 组在传输中丢失了，如图中在时刻，_ i 时，第3 个分组丢失，只接收到( 1 ，2 ， 4 ，5 ，6 ) 分组，这时图像的质量会因没有接收到分组3 而停滞。而已接收到的 ( 4 ，5 ，6 ) 分组则要等待，直到第3 个分组成功重传( ，= 2 0 ) 后才能起到重 建作用。因此，这种按序编解码的方式导致了系统的一部分延时。另外，t c p 进 行分组重传的时间往往比分组之间的间隔要长得多，从而造成更多延时。而大量 的延时是网上图像和视频传输服务尤其是实时系统所不能忍受的。 可见，传统系统中的信源编码受限于传输机制，而传输机制是假设接收端需 要所有的分组，增加的分组只有在前面分组都接收到的情况下才有用。事实上， 我们是否真的需要所有的分组昵? 为了提高一点点的图像质量而等待重传是否 必要? 如果传输过程中的分组丢失是不可避免的，那么，为什么不尽量让接收到 的分组发挥作用，保证一定的重建质量，从严格的分组顺序和分组重传机制的制 约中解脱出来昵? 2 0 世纪7 0 年代末，b e l l 实验室在解决电话通道中的语音编码问题时提出的 多描述( m u l t i p l ed e s c r i p t i o n ，m d ) 概念为解决这些问题找到了突破口。多描 述的概念是将单信号源表示为多块数据( 称为描述) ，并且使各个描述与源信号 相近。这样，即使一个分组丢失，信源依然可以继续恢复，从而防止信号重建质 量的停滞。这一概念给了我们一个启发：对于信源编码，不要简单地用压缩率指 标来衡量其优劣，而要用该编码方法传输的信源到达接收端的数据有多大用处来 衡量。从此，“多描述编码( m u l t i p ed e s c r i p t i o nc o d i n g ，m d c ) ”方法从最 早的一维音频领域陆续发展应用到了二维图像和三维视频编码领域，并以其良好 第二章传统的菩描述 的抗干扰、抗传输差错的性能，在解决差错信道下图像视频的传输问题方面取 得了很好的效果。 渐进单描述多描述 ( a )( b ) 图2 1 渐进单描述编码( a ) 和多描述编码( b ) 在分组丢失时图像的重建过程 第二章传统的多描述 2 2 多描述的基本思想 2 2 1 多描述的定义 在不可靠分组网络和无线信道中，多描述编码( m d c ) 是一种抗分组丢失， 减小传输错误的有效方法 1 1 。它的基本思想是( 1 ) 将信源分解成两个或多个 具有同等重要性的码流，每个码流都是一个描述；( 2 ) 在描述间引入相关，每个 描述既包含自身的重要信息，又包含可重建其他描述的部分冗余信息；( 3 ) 各个 描述分别通过相互独立的信道传输到接收端；( 4 ) 接收端采用不同的解码器：若 能完整地接收到所有的描述，信号通过中心解码器，并根据各描述的重要信息获 得高质量的重建效果；若只能接收到一部分的描述，信号则通过边缘解码器，从 接收到的描述所携带的冗余信息中恢复出丢失的部分信息，获得可接受的重建质 量。 多描述编码中每个描述都具有如下特点：( 1 ) 都有自己的一组编码、解码函 数，可以独立编解码；( 2 ) 都包含一些别的描述所没有的信息，可以相互增强。 因此，只要接收到一部分描述的信息，解码端就能够通过这些信息对信源进行一 定质量的重建。由于每个描述都含有其他描述所没有的信息，所以重建的效果会 随着接收到的描述数的增多而得到改善。若所有的描述都能被准确地接收，则解 码端可得到高质量的重建信号。 讨论将多描述编码应用到网络传输时需要说明几个前提：( 1 ) 传输不同描述 的信道应该是不同的物理途径，例如专用无线网或因特网之类的分组交换网络。 即使信源与信宿间只存在一个物理路径，该路径也可以用时间交织、频分复用等 划分成若干虚拟的信道。( 2 ) 描述间有关联，且数据单元要在一个发送端和一个 或多个接收端之间传输。( 3 ) 接收端会出现接收不到所有描述的情况，即在点对 点的通信中有时候描述会丢失，例如在广播或多播时有些用户无法得到正确的描 述。相反，如果所有用户总能确定地接收到所有的描述，那就没有必要担心信源 编码的鲁棒性问题，只需追求编码效率即可。( 4 ) 在网络传输过程中，各信道误 码或信息丢失的发生概率是相互独立的，即使遇到信道的暂时中断或遭到长的突 发误码，由于所有信道同时发生误码或丢失信息的概率很小，因此，绝大多数情 况下，总会有一个或多个描述到达接收端。 第二章传统的多描述 源薹兰垂蚕挈 图2 2 两个描述编解码不意图 现在，让我们回到本章开头的例子，图2 1 ( b ) 显示了6 个分组的压缩图 像经多描述编码后传输到用户端的过程。同样是在t = 1 时刻分组3 丢失，多描述 编码无需等待分组重传，而是依靠接收到的其他分组保证了图像的重建质量，且 在f - 6 时已得到较好的重建质量，很好地避免了延时现象。可见，我们并不总 是需要所有的分组。对比图2 1 ( a ) 和图2 1 ( b ) ，我们看到：如果网络足够可 靠，能够保证分组不丢失，有反馈重传机制且允许延时，则传统的递进单描述编 码是最佳的选择。然而一旦分组丢失，从丢失时刻( f - 1 ) 到成功重传( ，= 2 0 ) 这段时间内，多描述编码能够得到更好的重建图像。通过这一传输实例，多描述 编码的优势可见一斑：其一，它可以更快地重建有效的图像，不必为了提高一点 点的图像质量而等待重传，很好地解决了实时系统中的延时问题；其二，它对丢 失的信息进行了保护和部分恢复，更适合于现实系统中不可靠且不可预测的网络 传输。 2 2 2 多描述体系结构 目前常用的多描述方案多数是讨论两个描述的情况 2 2 2 9 。图2 2 是两个 描述的编解码示意图。多描述编码器将源信号分成两个描述s 。和s ：，分别通过 两个信道传输到三个接收端，接收两个信道传输的解码器o 称为“中心解码 器”，只接收相应信道传输的解码器1 和解码器2 称为“边缘解码器”。信道 i ( f _ 1 ，2 ) 上的传输速率r ，o = l ，2 ) 表示该信道的传输比特数。解码器 f ( f ：0 ，1 ，2 ) 对信号的重建失真用d ( f = 0 ，l ，2 ) 表示。其中d o 表示接收到两个描 述的中心失真，d 。和d ：则表示单个描述的边缘失真。 第一章传统的多描述 现在，让我们在尝试设计一个多描述编解码器之前再考虑几个问题：若分别 设计好速率为r 和r ，的两个描述，那么此时两个描述的合成是不是使总速率为 足+ 月，的最优编码方案呢? 同样，在总速率一定的情况下，是否一定能让单个 描述的边缘失真和两个描述的中心失真都达到最小值呢? 要回答这些问题，就必 须先研究速率蜀、月：，边缘失真d 。、d ：和中心失真d n 这五者之间的关系。多 描述框架引发了速率失真理论和实际应用中的许多问题。主要的理论问题在于对 给定的信源和失真，如何决定( 月，r ：，d 0 ，d ，d ：) 这组5 元函数的最优工作区间， 也就是多描述编码的冗余率失真区域问题。 2 3 多描述编码的冗余率失真函数 2 3 1 速率失真函数 在图像传输中，编码速率和重建失真之问必须协调好关系，以达到最好的图 像重建效果，这种关系称为速率失真函数，它反映了图像质量随着码率大小而变 化的情况。 设信源由一系列独立等分布的实随机变量x 、，x ：，z 。组成，其重建失真用 d 表示，给出一个非负数c l ( x ，主) 衡量一个信源x 和重建量之间的相似性。系列 x ”) = ( _ ，x 2 ，x 。) 和章”= ( 量l ，量2 ，王。) 的失真定义为 m ，) ) _ 丢n 地，铂 ( 2 1 ) n 百 其中，n 是系列的长度。最常见的失真度量是平方差失真 d ( x ，i ) = ( x i ) 2 ( 2 2 ) 对于长度为疗的序列x ，编码器a 将速率为月的信源序列映射到一组索引 1 ，2 ，2 ”8 ) 上