（信号与信息处理专业论文）多描述编码方法研究.pdf

摘要 摘要 针对不可靠传输信道上信息传输发生丢包或误码问题，提出了多描述编码方 法，它可以有效提高数据传输的鲁棒性，保证多媒体数据在不可靠信道上的实时 传输。本文对几种常用的多描述编码方案进行了分析和研究，结合区分对待的思 想和均匀紧框架的特性对原有多描述编码方案中存在的问题进行了一些改进。本 文所做的贡献主要如下： 首先，以信源编码的演变为切入点，引入多描述编码，对多描述信息论中的 率失真函数，多描述图像编码方法以及多描述视频编码方法进行了详细概述，并 提出了未来发展的趋势。 在一种标准兼容的多描述编码框架下，分析了空间扩展技术与多相采样技术 构成的多描述编码框架的性能，基于高低码率端的性能差异，结合区分对待的思 想来改进这一缺点，并利用j p e g 2 0 0 0 标准中的r o i 技术证明了方法的有效性， 提高了主观编码性能。 进一步，为了发挥均匀紧框架的优良特性，并考虑到网络和终端的异构性， 本文提出了基于框架扩展的可伸缩多描述编码方案。利用一种灵活的均匀紧框架 谐波框架，对不同层的压缩比特采取不同的尺度的扩展，从而提高整体恢复 质量。相对与基于f e c 的多描述编码方案，该方法更加适合网络状态不可精确预 测的情况。 最后，总结了本文方案中存在的问题，给出了相应的改进意见，然后对多描 述编码的研究进行了展望，提出的今后的研究方向。 关键词：多描述编码标准兼容框架扩展可伸缩编码 a b s t r a c t r e c e n t l y , t h ep r o b l e mo fp a c k e t sl o s sa n d e r r o r si nv i d e oc o m m u n i c a t i o no v e r e r a s u i ec h a n n e l sb e c o m e sa ni m p o r t a n tt o p i c a sar e s u l t ，m u l t i p l ed e s c r i p t i o nc o d i n g i s p r o p o s e da s a l le f f i c i e n ts c h e m et oa d d r e s st h i sp r o b l e m m u l t i p l ed e s c r i p t i o n c o d i n gi sa b l et oi m p r o v et h er o b u s t n e s s ，a n de n s u r er e a l - t i m et r a n s p o r t a t i o no v e r u n r e l i a b l ec h a n n e lf o rm u l t i m e d i ad a t a t h i sp a p e rr e s e a r c h e so ns e v e r a ls c h e m e so t m u l t i p l ed e s c r i p t i o nc o d i n gw h i c h a l ew i d e l yu s e di np r a c t i c a la p p l i c a t i o n i n c o m b i n a t i o nw i t ht h et h o u g h to fd i f f e r e n t i a lt r e a t m e n ta n dt h es p e c i f i cf e a t l l r e o f u n i f o r mt i g h if r a m e ，p r e v i o u ss c h e m e so fm u l t i p l ed e s c r i p t i o nc o d i n gh a v eb e e n i m p r o v e di nt h i sd i s s e r t a t i o n t h em a i n c o n t r i b u t i o no ft h i sp a p e ri sa sf o l l o w i n g ： f i r s t l y , m u l t i p l ed e s c r i p t i o nc o d i n gi s i n t r o d u c e da f t e rt h ep r e s e n t a t i o na b o u t e v o l u t i o no fs o u r c ec o d i n g r a t e d i s t o r t i o nf u n c t i o ni ni n f o r m a t i o nt h e o r yo fm d c ， m u l t i p l ed e s c r i p t i o ni m a g ec o d i n ga n dm u l t i p l ed e s c r i p t i o nv i d e oc o d i n g a r es u r v e y e d i nd e t a i l t h e nt h ed e v e l o p m e n tt r e n d so fm d c a r ep r e s e n t o n ek i n do fs t a n d a r d - c o m p a t i b l em u l t i p l ed e s c r i p t i o ni m a g ec o d i n gu s m gs p a c e e x p a n s i o n a n dp o l y p h a s ed o w n s a m p l em e t h o d si sa n a l y z e d ，a n dt h e r ea r ed i f f e r e n t p e r f o m a n c e su n d e rc e r t a i nr a t e t h et h o u g h to fd i f f e r e n t i a l t r e a t m e n ti su s e dt o i m l ： r o v et h ep e r f o r m a n c e ，s or o i t h a tc o m e sf r o mj p e g 2 0 0 0s t a n d a r di sp r e s e n tt o c o n l b i n ew i t ht h i ss c h e m e ，a n dt h ee f f e c t i v e n e s so f t h em e t h o di sc e r t i f i e d f u r t h e r m o r e ，w ep r o p o s eas c a l a b l em u l t i p l ed e s c r i p t i o nc o d i n gs c h e m e b a s e do n f r a m ee x p a n s i o n f o ro n eh a n d ，u n i f o r i dt i g h tf r a m eo w n sa t t r a c t i v ef e a t u r e s ；f o r a n o t h e rh a n d ，t h ed i v e r s i t yo fn e t w o r ks t r u c t u r ea n dt e r m i n a le q m p m e n te x i s ti nr e a l w o r l d 1 1 1 ef r a m eu s e dh e r ei sh a r r n o m cf r a m e ，w h i c hi sa s o r to fu n i f o r mt i g h tf r a m e t h ed a t ai nd i f f e r e n tl a y e r si se x p a n d e db y p e r f o r m a n c eo f t h ew h o l es y s t e m c o m p a r e d i ss u i t a b l ef o rt h ec h a n n e lc a n tb ep r e d i c t e d d i f f e r e n ts c a l e si no r d e rt oi m p r o v et h e t of e cb a s e dm d cs c h e m e ，t h i ss c h e m e f i n a l l y , s o m ep r o b l e m se x i s t e d i nt h i sd i s s e r t a t i o na r es u m m a r i z e d , a n dt h e nt h e d e v e l o p m e n td i r e c t i o n so fm d c a r ep r o p o s e d k e yw o r d s ：m u l t i p l ed e s c r i p t i o nc o d i n g ，s t a n d a r d c o m p a t i b l e ，f r a m e e x p a n s i o n ， s c a l a b l ec o d i n g l i 中国科学技术大学学位论文原创。i 生声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作 了明确的说明。 作者签名：耋胡然作者签名：a 1 2 1 0 9 ( 1 d 1 ) r 2 1 2 l o g ( 1 d 2 ) 尺l + 足2 1 2 l 0 9 0 d o ) ( 2 2 1 ) 类似于单描述的情形，即式2 1 7 的情况。 情形2 ：如果d l + d 2 一d o 1 2 l o g ( 1 q ) r 2 1 2 l 0 9 0 d 2 ) r l + r 2 1 2 l o g ( 1 d 0 ) + l 2 1 0 9 r ( d o ，d i ，d 2 ) ( 2 2 2 ) 其中， r ( d o d ld 2 ) = f 订丽历d 孑笔f 雨币j 丽 上式的前两项和单描述编码是相同的，第三项的额外附加码率是因为在低失 真的情况下，描述间的信息冗余度也随之增加，即马和r ：之间不是相互独立的， 而情形l 是独立的。这会导致中央信道码率的增加。定理1 使用的范围是编解码 的码字都是已知相对应的有限状态，而更多时候编解码过程是用函数的形式来表 示，所以可以将它推广到如下函数编解码的率失真区间定理。 定理2 ：假定给定解码器0 、解码器l 和解码器2 的解码函数分别为 x 。= 兀( x ) ，毫= 石( x ) 和丘= 厂( 砭) ，那么当且仅当： 蜀 x ( x ，五) = h ( f t ( x ) ) r t ( x ，墨) = 日( 厶( x ) ) 即r 獬群h x ( f 膦。勉嬲 泣2 3 ， = ( 彳( z ) ) +( z ) i 彳( x ) ，五( x ) ) 1 4 第二章多描述编码研究概述 以上讨论的都是高斯信源，而对于一般的实际信源，多描述编码的率失真区间也 可以像单描述编码一样用一个不等式来估算。 2 2 多描述图像编码 信源编码器的设计取决于信源，而且通常有一些比较常见的基本技术，比如 去相关变换、量化、预测、熵编码等。于是，多描述编码器的设计就可以以这些 组件为基础，下面介绍图像的多描述编码。 国际上多描述图像编码主要始于1 9 9 7 年，目前图像的多描述编码方法主要 可分为基于量化、基于变换和基于空间扩展的多描述编码等几类。其中，基于量 化的方法主要包括标量量化和矢量量化多描述编码等；基于变换的多描述编码主 要包括对变换( p c t ) 和多描述变换编码( m d t c ) 等：基于空间扩展的多描述编码有 重叠正交变换( l o t ) 、d c t 系数补零和框架扩展( f r a m ee x p a n s i o n ) 等。 2 2 1 基于量化的多描述编码 基于量化的多描述编码其共同点是需要设计一个复杂的量化函数( 标号函 数) ，用于对信源进行不同精度的量化，其基本思想是对单个描述进行大步长的 量化，而多个描述相互结合时，则可得到精细的量化。 2 2 1 1 标量量化的多描述编码 两个描述的标量量化多描述编码( m d s q ) 结构如图2 3 所示，即将信号利用 量化器q l 或q 2 进行标量量化后输入到标号分配函数口( ：) ，如图2 4 所示，按对应 区间进行标号分配后即直接形成两个描述：在解码端，若只收到一个描述，则根 据收到的是描述1 还是描述2 来选择相应的反量化器研1 或簖1 进行解码，以得 到质量可接受的重建信号，而如果两个描述都收到，则采用量化器鲸1 进行解码 来得到质量更高的解码信号。 图2 4m d s q 结构图 1 5 第二章多描述编码研究概述 o ! i 圣i 三i 三i 三i 兰i 0 2 ! i 三l ! i 三l 三i 兰i 三i 兰j o 。! i 三i 三白三l 皇白2 i ! 譬 火 l234 113 2245 36 79 481 0 图2 5m d s q 的量化形式 该方法关键之处在于标号分配函数口( ：) 的设计，即所谓的标号分配( i n d e x a s s i g n m e n t ) i h - 题。v a i s h a m p a y a n a ( 1 9 9 3 ) 认为系统的性能主要由标号区间的长度 ( s p r e a d ) 所决定，并给出了两种不同的标号分配方法。 由于m d s q 是多描述编码中最早的一种方法，所以后来很多的方法都是基 于m d s q 而提出的。b a t l l oa n dv a i s h a m p a y a n ( 1 9 9 7 ) 最先将多描述和变换编码相 结合，当时他们只是简单地将m d s q 应用于块变换的输出，并对多描述标量量 化与正交变换的先后关系以及多描述标量量化与正交变换的联合优化进行了仔 细的分析。s e r v e t t oe ta 1 ( 2 0 0 0 ) 针对的是对称信道( r i = r 2 ) ，将m d s q 和小波图 像压缩技术相结合，并对其进行了优化。s r i g i v a s a na n dc h e l l a p a ( 1 9 9 8 ) 将子带编 码与m d s q 结合起来，并使用贪婪算法来对不同类的子带分配不同的码率和冗 余。s h e r w o o de ta l ( 2 0 0 0 ) 采用s p i h t 压缩算法来实现能调整冗余分配的 m d s q s p i h t 算法，但是没有提及如何来适应不同的信道情况。 2 2 1 2 矢量量化的多描述编码( m d v q ) 形式上，可将多描述标量量化不加修改地运用到基于矢量量化多描述编码的 描述中。对长度为n 的矢量，编码器的作用域和三个解码器的相对作用域是r ， 然而，随着维数n 的增加，编码复杂度会成指数级递增，另外，编码矢量的无 序性也使得m d s q 中的索引分配不能直接扩展到m d v q ，从而导致索引的分配 问题变得异常复杂。 一般来说，多描述矢量量化编码主要有广义矢量量化、树形矢量量化和格型 矢量量化( l v q ，l a t t i c ev e c t o rq u a n t i z a t i o n ) ，这其中多描述格型矢量量化( m d l v q ) 的编码性能较好。格型矢量的特点是码书构造容易，具有规律性。m d l v q 思想 类似于m d s q ，它通过标号函数i 将主格映射成两个子格，即对于每一个格点 旯人有： 人三专，( 八) c 久天 ( 2 2 4 ) 式中，a 表示精细量化的格点，天表示粗量化的格点，是_ 个单射函数。s e r v e t t o 1 6 第二章多描述编码研究概述 e ta 1 ( 1 9 9 9 ) 将其转化成一个网络流图问题，并给出了f 的设计方法。参数 = 1 人天l 表示每个天中所包含的人的数目。多描述格型矢量量化系统的性能主 要与n 有关，n 与m d s q 中标号的区间长度( s p r e a d ) 相似，且n 越大，意味 着当只收到一个描述时，原格点的不确定性也越大。 f l e m i n ga n de f f r o s ( 1 9 9 9 ) 提出了另一种算法来设计多描述矢量量化器，它是 由树形矢量量化( t s v q ) 的方法得到。另一个基于t s v q 的方法是由c a r d i n a l ( 2 0 0 1 ) 提出的，每个解码器的码书以二元树的形式组织。v a i s h a m p a y a ne ta 1 ( 2 0 0 1 ) 针对对称信道提出了多描述基于格子矢量量化器，为常见格子的矢量索引分配的 构造提出了一个优化方法。d i g g a v ie ta 1 ( 2 0 0 0 ) 使用不同的子格子和相似的索引 分配技术将上述方法扩展到非对称信道，而g o y a le ta 1 ( 2 0 0 2 ) 等人则将上述工作 扩展到两个描述以上。 2 2 2 基于变换的多描述编码 基于变换的多描述编码其基本思想是通过特定的相关变换将经过正交变换 后的系数重新引入可控数量的相关性，以便丢失的数据能够从其他接收到的数据 中近似估计得到。 在压缩编码中，变换的作用是为了去除相关。通常在基于变换的多描述编码 ( g o y a l e ta 1 2 0 0 1 b ) ，将信源编码成多个描述，若想要从其他描述中恢复出丢失 的描述就需要这些描述之间具有一定的相关性，因此这里的变换是为了使各个描 述之间产生相关性。 斟篇；= ： 到 眩2 5 ， 一y 了一_ 7 - x 式中：p 是正实数，玉，而是两个相互独立的高斯随机变量，方差分别为砰， 呸2 。五，x 2 在经过变换后就得到变量咒，耽。挑儿】= - 9 2 嘎2 + ( 2 p ) 五吒2 ，只要 口4 ( 4 q 2 ) - 1 正，那么变量m ，y ：就相关，变量乃，y 2 就称为x 的两个描述。当 只收到其中一个描述时，可按下面的公式预测出x 。 妒k 赤 2 m 眩2 6 ， ) = 赤 2 7 y ： 旺2 7 ， 变换矩阵t 控制着变量的相关程度，也控制着变量之间的冗余度。t 要求是 可逆的，一般t 需要通过多次试验才可能求得效果较好的值。 1 7 第二章多描述编码研究概述 2 2 2 1 成对变换多描述编码 对于两个描述而言，对变换多描述编码( m d p c t ) 如图2 6 所示，按如下方法 将n 个d c t 系数均分成两组：先将d c t 系数按方差大小排列，然后取方差大 于预定阈值的前l 个系数，并将第k 个系数与第l k 个系数配对进的原则分别分 配到两个描述中。如果在传输过程中有一组数据丢失，则利用变换产生的相关性 把另一组数据估计出来。设a 和b 为输入变量，c 和d 为输出变量，t 为变换 矩阵，则有 阡r 豳 眩2 8 ， 4 - l 相关 丑 变换 _ l 一- 卜 d c t d c t 系数 变换 配对 以 l 相关 及 - l 变换 ) 码流1 ) 码流2 图2 6 成对燹换结构图 2 2 2 2 多描述变换编码 由于成对变换多描述编码( m d p c t ) 只能产生两个描述，因此g o y a le ta 1 ( 2 0 0 1 b ) 将变换编码推广到多个变量的情况，并扩展了变换矩阵集合，即所谓的 “整数变换 。该过程如下：首先设计好相关变换矩阵t ，然后将其因式分解成 主对角线元素为l 的上三角和下三角矩阵序列的乘积( t 分解形式非唯一) ： t = 互瓦瓦，再构造t 的离散形式及其逆变换 a ， 丁( ) = 【墨【疋【砭】a ，、 r 【) = 隔【t 瓯】a 丁一( y ) = 【巧1 【巧1 【互一l y 】a 】a ( 2 2 9 ) 其中，吒表示量化后的矢量信号，【】a 表示量化步长为a 的量化取整操作，y 为 其经相关变换后的信息。如果y 的元素都接收到，则可以通过逆变换正确恢复出 x = 艺，否则可由f 所引入的相关性估计出丢失数据。 基于变换的多描述编码在较低码率下性能较好，但在高码率下，如果只有一 个信道的信号被正确接收到，其性能会下降很多。这是因为基于变换的多描述编 1 8 第二章多描述编码研究概述 码对丢失系数的估计是通过统计得到的，即使相关变换引入了高冗余度，但由于 接收到的描述中只包含一个系数，所以其失真还是比较大的。 2 2 3 基于空间扩展的多描述编码 各种基于空间扩展的多描述编码的共同点是：通过正交变换将k 维信号空 间扩展到l 维( l k ) ，再进行亚采样。如果l ；， n k ( n 为描述个数) ，则根据抽样 定理，每个描述都可以单独无失真地恢复出原信号，否则须建立误差函数来估计， 误差估计一般均采用m s e 准则。显然，该类方法中，l 决定了描述间的冗余度。 目前，重叠正交变换多描述编码、基于d c t 变换补零的多描述编码和框架扩展 的多描述编码可划归在此类中。 2 2 3 1 重叠正交变换( l o t ，l a p p e do r t h o g o n alt r a n s f o r m s ) 多描述编码 c h u n ga n dw a n g ( 1 9 9 9 ) 实现了重叠正交变换的多描述编码。它通过对信号进 行重叠正交变换( l o t ) 来引入系数间的相关性，并对变换后的信号进行下采样， 从而形成多描述。假设，将2 n x 2 n 的样本块变换为长度为n x n 的系数块，l o t 的矩阵丁= 【44 】妃，其中么和4 是大小为n x n 的矩阵，它们满足如下正 交条件： 4 1 4 + 4 7 4 = 4 4 。+ 4 4 。= ) ( 2 3 0 ) 4 。4 = 4 。4 = 4 4 1 = 4 4 1 = 0 ( x ) ( 2 3 1 ) 另外，用f ( k ，1 ) 来表示第( k ，1 ) 个2 n 2 n 像素块。正交变换如式2 7 所示。 其中，c ( k ，1 ) 是f 很，1 ) 正交变换后得到的n x n 的l o t 系数块。由于信号为重叠 采样，f ( k ，1 ) 与f ( k 1 ，l 1 ) ，f ( k ，l 1 ) ，f ( k 1 ，1 ) 有重叠，因而c ( i ( + i ，l 勺) ( i ，j = 一1 ， 0 ，1 ) 都包含f ( k ，1 ) 的信息。 c ( k ，) = t f ( k ，i ) t 7 ( 2 3 2 ) 在解码端，如果接收到全部描述，即所有的系数块，则使用l o t 变换重建 信号。如果丢失了部分系数块，则利用邻近l o t 系数块和普通图像信号光滑属 性之间的约束，将重建问题转化为能量最小化问题。该方案可以灵活处理各种系 数块丢失的情况、恢复出光滑的图像。 2 2 3 2 基于d c t 变换补零的多描述编码 s h i r a n ie ta 1 ( 2 0 0 1 ) 提出了d c t 变换补零的多描述编码方案。它利用上采样为 原始图像数据添加冗余，然后将上采样后的图像按奇偶采样划分成多个子图像， 形成多描述，再进行编码。其中，上采样图像时，使用了d c t 变换补零的方法： 首先对输入的图像进行两维d c t 变换，然后在d c t 系数的高频方向补零，如将 n x n 的系数矩阵补零成为m x m 的矩阵( m n ) ，再进行反d c t 变换得到上采 1 9 第二章多描述编码研究概述 样图像。如果某个描述丢失，则可将重建问题转化为最小化代价函数问题来取得 很好的性能。 f r a n c h ic ta 1 ( 2 0 0 2 ) 对上一方法进行了改进：在d c t 变换后补入适当数量的 零，控制所引入的相关性，以得到尽可能好的重建图像质量。它通过式得到最优 补零数量，r ，以最小化中央失真和边缘失真。其中，p s n r 是两变量函数，i 为接收到描述的情况，m 为补零数量。d ( i ) 为传送n 个包、丢失n i 个包的可能 性。 j v r a r g m ，a x y , p s n r ( i ，m ) d ( f ) ( 2 3 3 ) m i = l 2 2 3 3 框架扩展的多描述编码 基于框架扩展的多描述编码技术将原始信号( 假定为有限维的信号) 分解 到一个过完备的框架基上去，利用框架系数之间存在的线性相关，来从任意描 述中重建出原始信号。基于框架扩展的多描述最早是由g a y a le ta 1 ( 1 9 9 8 ) 提出。 g o y a l 等人将来自不同d c t 系数块的长度为8 的一个矢量进行1 0 x8 的框架扩 展，从而与j p e g 编码结合起来。d r a g o t t ie ta 1 ( 2 0 0 1 ) 使用框架扩展( 可以通过 滤波器组实现) 将有限维理论扩展到无限维信号。c h o ue ta 1 ( 1 9 9 9 ) 基于p o c s 算法来提出了一个方法以从框架系数的一个子集中重建信号。m e h r o t r aa n d c h o u ( 2 0 0 0 ) 对给定对角协方差矩阵的零均值高斯信号的最优过完备框架扩展和 高码率下的比特分配问题进行了研究。 2 3 多描述视频编码 多描述视频编码研究主要从1 9 9 9 年开始，视频编码不同于图像编码，主要 体现在视频编码中的运动估计和运动补偿技术，即标准视频编码为了压缩时间 及空间冗余采用了预测技术，所以多描述编码应用到视频编码上时会有特殊问 题出现，比如误差累计效应，即如何处理不同描述间的误匹配问题等。 和运动图像编码一样，运动补偿问题是视频多描述编码必须面对的一个主 要问题。但是，在多描述编码中的视频编码与图像编码的关系并非像单描述中 的m p e g 和j p e g 那样直接。这是因为多描述编码的各个描述之间是相互独立 的，因而在进行运动估计时，各描述所取的参考帧可能会不一致。为了说明视 频编码中的预测问题，下面介绍一种简单多描述预测器。图2 7 展示了一个简 单的多描述预测解码器，虚线框中的三个解码器都可看作普通的预测解码器。 两个描述分别携带预测残差信息，这些预测残差信息在解码端通过多描述预测 2 0 第二章多描述编码研究概述 误差m d p e ( m dp r e d i c t i o n - e r r o r ) 解码器完成解码，根据不同的接受情况( 三 种状态& 、s 以及是) ，采用相应的预测器p ( s ) 完成解码。然而编码端并不能 预先知道解码端的情况，如果两端采用的预测信息不同，就会造成误匹配问题， 并随着预测过程的延续，不断加深误差累计效应。如果其中某个描述的数据包 丢失，则有可能导致解码端在运动补偿时会发生误匹配。为避免误配的产生， 对各描述可独立地进行预测和补偿( a p o s t o l o p o u l o s ，2 0 0 1 ) 。这样做虽然可以避免 单个描述的误配，但是中央通道的编码增益并不理想。 图2 7 多描述预测解码器 一般而言，不管接收端状态如何，预测编码器必须生成对解码端有用的两 个描述。鉴于冗余与边缘失真之间折衷的不同，有多种策略可供选择来解决这 个问题。图2 8 展示了一个简单的多描述预测编码器，该编码器的结构与普通 的预测编码器很相似，只是用m d p e 编码器替代传统的量化器，用m d p e 解 码器替代传统的反量化器。图中斜线上的数字表示相应路径上可能包含的信号 数。为了框图的简洁，我们省略了用于编码误匹配信号的处理过程。 2 1 第二章多描述编码研究概述 图2 8 多描述预测编码器 根据不同的误匹配控制策略，可以将多描述视频编码分为三类：1 ) 预测器 没有引入误匹配问题，即无误匹配；2 ) 采用单个预测器，编码效率最高，但会 存在严重误匹配问题：3 ) 预测器采取某些策略来控制误匹配问题，这里存在编 码效率与误匹配之间权衡的问题。 多描述视频码流间相关性的引入，目前主要有如下几类方法：1 ) 设计量化 区间相互重叠的量化器，通常一个量化器的量化区间是另一个的平移，每个量 化器量化原信号产生一个描述。对两个描述的多描述编码，收到一个描述时， 相当于原信号经两倍的量化步长量化得到重建信号( 粗量化) ，收到两个描述时 则相当于使用原量化步长量化( 精细量化) ：2 ) 就系数对进行相关变换，采用 线形预测估计丢失描述；3 ) 对视频信号进行时域次采样，然后每个子流单独编 码；4 ) 在空间域或变换域对每帧中像素、变换系数和运动矢量等进行分解，然 后对每个子序列独立编码。 此外，还有一些视频多描述编码的方案，主要在运动补偿时所采用的方法 不同，但不像图像多描述编码那样具有明显的框架。l e ee ta 1 ( 2 0 0 2 ) 还提出了基 于m d s q 和错误隐藏结合的方法来获得精细质量的重建图像，还有基于小波变 换( b a j i ea n dw o o d s ，2 0 0 2 ) ，多描述与f e c 相结合( p u r ie ta 1 2 0 0 1 a ) ，多相位次采 样方法( c a r a m m ae ta 1 2 0 0 1 ) 等。总之，视频多描述编码通常比目前己制定的视 频编码标准( 如m p e g , h 2 6 4 ) 要复杂许多，所以实现起来也要复杂些。 2 4 应用场合 上面主要按照图像和视频两大类，并依据多描述编码的产生方式，对多描 述编码的方法做了简单介绍，下面将对其应用场合作必要说明。m d c 主要用于 2 2 第二章多描述编码研究概述 信号的有损压缩与传输，即数据在传输过程中有可能会丢失，恢复的信号又允许 有一定的失真，例如图像、语音、视频等信号的压缩处理与传输。其应用的场合 主要有以下几个方面： 1 ) 网络通信 如i n t e m e t ，在此信道中，常会受网络阻塞、骨干网的容量、带宽、路由选 择等原因的影响而造成数据包的丢失。传统的解决方法是采用a r q ( a u t o m a t i c e l t o rr e q u e s o 技术，但由于此法需要有反馈机制，且会进一步加重阻塞和造成延 迟等，因此对于实时应用的情形显然是不利的，而用m d c 技术就可避免这种 情况。 2 ) 无线通信 无线信道因信道衰落常会造成较长的突发比特错误，其解决的办法是将信 道分为多个虚拟信道，如跳频系统就非常适合用m d c 技术。另外，m d c 技术对 解决无线广播系统的邻频干扰问题也很有效。 3 ) 分区存储系统 对大型的图像数据库，采用m d c 技术将图像的不同拷贝存储在不同的位 置，以便在快速浏览时，可很快找到存储在最近区域的所需图像的较低质量的一 个拷贝，如需要更高质量的图像，则可搜索存储在较远区域的一个或多个图像拷 贝，并和最近的拷贝一起用来提高重构图像的质量，以满足不同的应用需求。 2 5 小结 多描述编码的提出与当前信息产业的发展背景有着密切的关联。因为无论 是互联网还是其它的无线通讯网络，它们都存在资源受限的问题，在网络空闲 时可以提供一些较高档次和某些实时业务，但是当网络拥挤时，即使是普通的 数据传输也会受到影响而可能导致数据包差错或丢失。更重要的是，随着未来 网络用户数及多媒体业务量的指数型增长，对网络规模的要求必然越来越大， 这类问题也必然会越来越突出。如何在现有的技术下获得更高质量的服务，假 设当前网络结构还不至于发生深刻变革的话( 否则另当别论) ，那么多描述编码 作为一个解决此类问题的可选方案依然具有一定的生命力。从未来网络发展i p 化及无线化的趋势来看，这种具有灵活性和鲁棒性的编码方案依然具有相当的 竞争力。 另外从信息论的角度来看，多描述编码先是由语音编码中的应用引申出来， 然后作为一个信息论问题展示在人们面前，后来慢慢被应用到信号处理方面。 数字通信系统较多采用的是信源编码和信道编码相互独立的设计方式，通过一 第二章多描述编码研究概述 般的信道编码或技术保护来克服信号传输过程中的受损。这是因为从信息论的 角度来看这样的选择是最优结果，但是其前提是两个编码模块都是最优的，而 这便也决定了其在实际应用中的局限性。现实中的互联网和无线移动通信网都 是此类易受环境噪声干扰的网络，极易导致较高的误码率甚至数据包丢失。人 们发现分离理论设计出的这类系统，如果信道性能下降到某个阈值后服务质量 也会随之突然下降。如何做到差错控制和压缩效率的兼容，这就促使了人们对 联合信源与信道编码( j s c c ) 的研究。正是在这种环境下，多描述编码才被赋 予了现实的意义。 视频应用的数据量大，对压缩的要求更高，也就对误码或者丢包等信道差 错的反应更敏感，因此多描述编码研究的热点已深入到视频编码领域，它与图 像多描述图像编码的差别关键在于对运动矢量的误匹配问题，但图像多描述编 码的各种方法也是视频编码的基本方法。 第三章标准兼容的多描述编码 第三章标准兼容的多描述编码 多描述编码( m d c ) 被证明是用于非优先级网络中传输多媒体数据的有效方 法，但很多m d c 方法是基于量化的，并从多描述标量量化( m d s q ) 演变而来， 该方法是vv a i s h a m p a y a n 在1 9 9 3 年提出的，考虑的是无记忆信源，在特定边 缘失真限制下，优化量化等级和索引分配使得中央失真最小。这种使用量化产 生多描述后跟熵编码的策略已被一些文章采纳( s e r v e t t oe ta 1 2 0 0 0 ) ；广义上还包 括多描述网格编码量化( h a f a r k h a n ia n dt a r o k h , 1 9 9 9 ) 和多描述矢量量化 ( v a i s h a m p a y a ne ta 1 2 0 0 0 ) 。另一类常见的方法是基于相关变换( w a n ge ta l ，2 0 0 1 ) 来引入描述间可控数量的冗余。该策略与信道编码有很大相似，只不过其冗余 是在信源编码时加入的。上面所述的多描述方法都是标准独立的，即与标准图 像编解码器不兼容。而使用标准如j p e g 或j p e g 2 0 0 0 发布多媒体内容是必然选 择，这也就限制了m d c 的应用前景。 基于多相分解和选择量化的方法( j i a n ga n do r t e g a , 1 9 9 9 ) 可以与标准兼容， 但要求该标准必须可以调整量化步长( 如j p e g ) 。另一方面，这种方法不能直 接应用到基于码块截断而不是量化来实现率失真优化的算法上( 如j p e g 2 0 0 0 ) ， 因为j p e g 2 0 0 0 可以为每个子带指定不同的量化步长，却不能为每个码块指定 不同的量化步长。或许有人会在子带上利用不同的选择量化步长产生多描述， 但该方法也不能与j p e g 2 0 0 0 标准兼容。而且采用不同量化步长将影响率分配， 进而降低编码效率。同样对编码块使用不同的量化步长将导致向后兼容问题。 更重要的是，当采用基于多相分解和选择量化方法时，整个系统的编码性能不 能如期望中的那样很好地在边缘失真与中央失真之间取得折衷。 本章引入了一种与标准兼容的多描述图像编码算法( 面1 1 0a n do l m o ，2 0 0 7 ； f r a n c h ie ta 1 2 0 0 2 ；s h i r a n ie ta 1 2 0 0 1 ) ，该算法采用前处理及后处理方式引入多 描述编码的思想，以便兼容现有的图像编码标准。同时该算法与其他多描述方 法的不同点还包括：其他算法是先对输入数据去相关然后再引入相关，而该方 法采用空间下采样的方法产生多描述，利用图像空间的相关性，以便当数据丢 失或发生错误时在接收端可以利用空间相关性恢复数据，另一方面通过前处理 块的上采样来加入可控的冗余来调整描述间的相关度以适应信道中传输环境的 变化。通过分析发现该算法在较低比特率时，并不能通过调节描述间的冗余来 带来传输性能的改善。因此结合区分对待的思想对其加以改进，弥补低比特率 端的传输性能，并结合j p e g 2 0 0 0 标准中含有的r o i 特性，证明了该方法的有 效性。 2 5 第三章标准兼容的多描述编码 3 1 多描述编码系统 这里介绍的多描述图像编码系统主要由四个部分构成：前处理块、多描述 产生块、标准编解码块以及后处理块，如图3 1 所示。 i 前处理块 l ：簪上 i ：| ! 器 多描述产生块 r 匾箍产毯一 i 一e _ l 准i 嚣 信道 l 鹌 j 【 f j 挺。j广。一。一一- - _ - - - 一一； 掣掣j ：_ 骂i ： ：器 后处理块 图3 1 多描述图像编码系统 前处理块为多描述编码算法提供灵活的冗余插入。由于后面产生多描述的 方法为空间下采样，其是利用图像数据间的空间相关性来引入描述间的相关， 因此为了提供描述间不同相关性，在前处理阶段采用上采样的方法引入冗余， 具体方法是：先对输入图像进行d c t 变换，并在变换域补零，随后对补零后的 变换域进行i d c t ( 如图3 2 ) 。然后将得到的图像送入多描述产生块，分割出n 个描述。随后将每个描述分别送入标准编码器进行压缩编码，进而送入差错信 道传输。在接收端，接收到的描述首先使用标准解码器解码，然后送入后处理 块。在后处理块中，如果发生描述丢失，则使用描述间的相关性恢复丢失描述， 进而提高恢复图像的质量。接下来将对三个主要部分作进一步的说明。 3 1 1 前处理块 如前所述，前处理块引入可控冗余，具体是由在d c t 域插入一定数量的零 来实现的。一般来说，如果图像大小为d x e 的，补零数目的比例为q ( 如图 3 3 ，这样做是为了使图像纵横比例保持不变，即避免图像失真) ，则经过前处 理块后图像的大小为( d + q d ) ( e + q e ) 。假设由n 维扩展为m 维，则基于d c t 域补零的框架扩展算子为吒。= 屹【如0 咖训】r ，其中凡为m 维i d c t 变换 2 6 第三章标准兼容的多描述编码 矩阵，0 咖圳为n ( m n ) 的零矩阵。令d c t 变换后的图像为x ，则图3 3 扩展 后的图像可表示为l ，= 乞，埘。朋一枷，其中瓦蛔= 一( + 庐) 【o e ( 庐) r ， f = d o d ( 护) 】砭- ( d + 归) 。 输入图像 - d c t 变换 ；前j n v ：处 ：理 补零 ；块上 - i d c t 变换i 图3 2 前处理块 里一挈鸟 图3 3 d c t 域补零添加冗余 在变换域的补零相当于空间域的上采样，即插入了一定数量的冗余。正如 文献( f r a n c h i ，2 0 0 2 ) 中所示，这种增加冗余的方法从压缩角度来看并没有什么吸 引力( 实际上还是个问题) ，但当q 增加时，在相同的采样率的条件下，会使单 个描述的混叠失真减小，这对于后续的多相下采样方法来说是很好的特性。并 且q 满足式( 3 1 ) ，其中n 为多描述的个数。 ，r、 q l 一lj ( 3 1 ) 3 1 2 多描述产生块 多描述编码指在不同信道上传输具有一定相关性的数据，介于两个极端( 多 个描述完全无关或多个描述完全相同) 之间，来兼顾带宽和信号稳健性，当数 据丢失或发生错误时，可以利用描述间的相关性恢复丢失数据，从而改进差错 信道的传输性能。 该系统采用p d m d ( p o l y p h a s ed o w n - s a m p l em u l t i p l ed e s c r i p t i o n ) 产生多描 2 7 第三章标准兼容的多描述编码 述，利用图像的空间相关性引入描述间的相关性。具体做法是：对输入图像数 据按行和列依次进行下采样，以分割出n 个描述( 如图3 4 ) 。 3 1 3 后处理块 图3 4 多相下采样 后处理块是指利用己接收描述并通过解码处理的数据在接收端进行图像最 优重建。由于多描述产生块使用了p d m d ，因此当描述丢失时，在后处理块使 用插值的方式恢复丢失数据，恢复图像将取决与接收描述的个数。插值的方式 也需要依据不同图像作相应的调整才能得到最优的恢复效果( t i l l oa n do l m o ， 2 0 0 7 ) 。实际上特定图像的重建质量不仅与接收到描述的数量有关，还有q 的选 择以及压缩率有关系，下一节将有深入的分析。 3 2 多描述编码系统的分析与改进 本节对该多描述图像编码系统进行深入的分析，并依据分析的结果，利用 j p e g 2 0 0 0 标准中含有的特征集来证明改进方法的有效性。这里的采用的实验图 像为：l e n a ( 5 1 2 * 5 1 2 ) ，编解码为j p e g 2 0 0 0 ，为了分析的简便，n 取4 。由于实 验图像的参数d = e = 5 1 2 ，令m ：q d = q e ，1 主t ( 3 1 ) 式可得聊晦一1 ) d = 5 1 2 。 影响接收端图像恢复质量的因素主要是量化步长( l ) 和信道丢包率q ) 。首 先，我们将在固定比特率( 即固定量化步长) 前提下，观察不同比特率下( r a t e = 2b p p ，1b p p ，0 7 5 b p p ，0 2 5