（信号与信息处理专业论文）差错信道下的多描述图像编码研究.pdf

摘要 摘要 多描述编码( m d c ，m u l t i p l ed e s c r i p t i o nc o d i n g ) 是针对差错信道上的 信息传输丢包和误码问题而提出来的一种解决方案，它可以在实现数据压缩的 同时有效提高数据传输的鲁棒性，从而保证图像信息在差错信道下的高效传输。 本文对几种常用的多描述编码形式在实际应用中的关键问题进行了深入研究， 对原有的多描述编码形式进行了改进和创新。本文所做贡献主要如下： 由量化框架扩展系数所产生的多描述图像编码，在差错信道下具有良好的 图像差错恢复性能。本文提出一种基于均匀紧支框架扩展的高效多描述图像编 码方法。首先构造一种在量化噪声下具有均方误差意义上最优框架重建的均匀 紧支框架。然后以小波零树作为框架扩展的基本运算单元，在小波域对不同子 带信息采用不同维度的框架进行扩展。实验结果证明，相较于其他几种基于框 架扩展的方法，本文方法在同样的信道条件下具有更好的图像差错恢复性能。 多描述编码引入的冗余难以避免地占用了更多带宽，为了有效提高多描述 编码的编码效率，本文将多描述标量量化与s p i h t 编码联合起来。首先对两描 述的多描述标量量化进行多维空间索引分配扩展。然后对由边索引形成的各个 描述进行s p i h t 编码，得到多个可独立传输的多描述码流。这种方法特别适合 于信道条件较恶劣环境中的图像传输，能够在较大的信道丢包率和较严格的码 率限制下，保持很好的图像恢复性能。 进一步地，由于多描述编码和分层编码分别是解决信道丢包和网络异构性 的有效方法。因此，本文结合两者的优势，提出一种基于感兴趣区域的分层多 描述图像编码方法。利用s p i h t 编码的分层内嵌特性，将图像编码为多个s p i h t 描述码流，同时根据感兴趣区域将每个描述码流分为基本层码流和增强层码流。 实际应用中将基本层传送给低带宽用户，基本层和增强层一起传送给高带宽用 户。实验证明，该方法对于带宽受限条件下的图像传输具有很好的差错恢复鲁 棒性，能为图像感兴趣区域提供非常有效的保护。 关键词：图像传输，多描述编码，分层编码，框架扩展，多描述标量量化，s p i h t 编码，小波零树，感兴趣区域 a b s t r a c t r e c e n t i y ，t h ep r o b l e mo fp a c k e tl o s sa n d e 盯0 r si ni m a g ec o m m u n l c a t l o no v e r e r a s u r ec h 猢e l sb e c o m e sa ni m p o i r t a n tt o p i c a sar e s u l t ，m u l t i p l ed e s c r l p t l o n c o d i n g ( m d c ) i sp r o p o s e da sa ne 伍c i e n ts c h e m et o t a c k l et h i sp r o b l e m m u l t i p l e d e s c r i p t i o nc o d i n gi sa b l et oc o m b i n et h ec o m p r e s s i o ne m c i e n c ya n dr o b u s t n e s s t h i sp a p e rr e s e a r c h e so ns e v e r a lm e t h o d so fm u l t i p l ed e s c r i p t i o nc o d i n gw h i c h a r e w i d e l yu s e di np r a c t i c a la p p l i c a t i o n p r e v i o u ss c h e m e so fm u l t i p l ed e s c r i p t i o n c o d i n gh a v eb e e ni m p r o v e da n di 衄o v a t e di nm i sp a p e r t h em a i nc o n t r i b u t i o no t t h i sp a p e ri sa sf o l l o w i n g ： m u l t i p l ed e s c r i p t i o ni 瞰g ec o d i n gb a s e d o nq u 砌i z e d行锄ee x p a n s i o n p e 怕姗sv e r yw e uo v e re n d r p r o n ec h 锄l e i s i nt h i sp 印e r ，a i le 伍c i e n t 舢l t i p l e d e s c r i p t i o ni m a g ec o d i n gb a s e do n 疔锄ee x p a n s i o ni sp r o p o s e d f i r s t l y a no p t i c a l u n i f o 傩t i 咖行锄ei sd e s i g n e d ，w h i c hc a nm i n i m i z et h em e a ns q u a r e de 仃o rw l t h q u a n t i z a t i o n t h e n ，b a s i c 吼i to ff r 眦ee x p a n s i o n i sc o n s t r u c t e d 丘o mw a v e l e t z e r o t r e e sa i l dd i 腩r e n tf 锄e sa r ea p p l i e dt oc o e m c i e n t si nd i 艉r e n ts u b - b a n d s t h e e x p e r i m e n tr e s u l t sp r o v e t h a t c o m p a r e d w i t ho t h e rm e t h o d sb a s e d o nt r a m e e x p a n s i o n ，t h es c h e m ec a no b t a i nb e t t e rr e c o v e r yi m a g e sl l n d e rt h es 锄e c h a n n e l c o n d i t i o n s i n c em u l t i p l ed e s c r i p t i o nc o d i n gu s u a l l yn e e d sm o r eb a n d w i d m ，i no r d e rt 0 i m p r o v et h ec o d i n ge f j i c i e n c y t h i sp a p e rc o m b i n e s t h es p i h ta n dm u l t i p l e d e s c r i p t i o n s c a l a rq u a n t i z a t i o n f i r s t l y ；a n e x t e n s i o no v e rt h et w o d e s c r l p t l o n m u l t i p l ed e s c r i p t i o ns c a l a rq u a n t i z a t i o nh 2 l s b e e na p p l i e d ，a n ds p i h th a sb e e n e m p l o y e dt oe n c o d ee a c hd e s c r i p t i o ng e n e r a t e df r o mt h ec o a r s eq u a n t l z a t l o n u s l n g t h j sm e t h o d ，w ec a i la c h i e v es t r o n gr o b u s t n e s so v e rt h ec h 猢e l s w i t hs e n o u sl o s s r a 把a n di i m i t e db i tr a t e s f u r t h e n n o r e ，b e c a u s em u l t i p l ed e s c r i p t i o nc o d i n ga n dl a y e r e dc o d l n g t l a v e b e e nr e s p e c t i v e l yu s e dt oa d d r e s sp a c k e tl o s sa n dh e t e r o g e n e o u s c l i e n tb a n d w i d t h si 1 1 n e t w o r k s ，w i t ht h eg o a lo fc o m b i n i n gt h ea d v a n t a g e so f t h et 、 ，om e a n s ，w ed e s l g na l a y e r e dm u l t i p l ed e s c r i p t i o ni m a g ec o d i n gb a s e do nr e g i o no fi n t e r e s t ( r o i ) s p l h t a l g o r i t h mi se m p l o y e dt 0g e n e r a _ t em u l t i p l ed e s c 邱t i o ns t r e a i n s ，a n de a c hd e s c r l p t l o n 妣锄i sd i v i d e di n t ob a s el a y e rs t r e 锄a j l de n h a n c e m e n t1 a y e rs t r e 锄b a s e do nr o i i np r a c t i c a ia p p l i c a t i o n s ，b a s el a y e rd e s c r i p t i o n sa r et r a n s m i t t e d t ol o wb a n d w i d t h i i ab s l r a c t c l i e n t s ，w h i l eb o t hb a s ea n de n h a n c e m e n tl a y e rd e s c r i p t i o n sa r et r a n s m i t t e dt oh i g h b a i l d w i d t hc l i e n t s t h ee x p e r 主m e n tr e s u l t sp r 0 v et h a tt h ep r o p o s e ds c h e m ec o u l d o b t a i ng o o dr e s t o r e di m a g eo v e re 1 1 r o r - p r o n ec h a n n e l sw i t hh e t e r o g e n e o u sb a n d w i d t h ， a i l dt h er o io ft h ei m a g ec a i lb ep r o t e c t e de 伍c i e n t l yd u r i n gt h et r a i l s m i s s i o n k e yw o r d s ：i m a g et r a n s m i s s i o n ，m u l t i p l ed e s c r i p t i o nc o d i n g ，l a y e r e dc o d i n g ，f r 椭e e x p a n s i o n ，m u l t i p l ed e s c r i p t i o ns c a l a rq u a n t i z a t i o n ( m d s q ) ，s p i h t ， w a v e l e tz e r o t r e e ，r e g i o no fi n t e r e s t i i i 中国科学技术大学学位论文原创，陛和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工 作所取得的成果。除己特别加以标注和致谢的地方外，论文中不包 含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对 本研究所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即： 学校有权按有关规定向国家有关部门或机构送交论文的复印件和电 子版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 保密的学位论文在解密后也遵守此规定。 作者签名：叁塑二童 州年占月多日 第一章绪论 1 1 引言 第一章绪论 随着互联网和无线移动通信的飞速发展，多媒体业务在数据服务中所占据 的位置越来越重要。与此同时，由多媒体传输所引发的网络阻塞问题也日益凸 现出来。当网络中发生阻塞时，数据传输会受到影响而导致数据包出错或丢失。 此外，在无线移动通信网络中，多径衰落的情况常常会非常地严重，深度衰落 也会引起突发性的数据传输出错或数据丢失，使得接收端不能f 确地完全解码。 之前，纠错编码等解决方案被广泛采用，以保证信道的鲁棒性传输。但是对于 网络图像和视频这类实时性业务来说，纠错编码等解决方案通常难以达到令人 满意的效果。 在这样的背景下，如何保证差错信道下的多媒体信息鲁棒性传输，并最大 限度地减少数据丢失对传输质量的影响就具有十分重要的研究意义。近年来， 多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 受到越来越广泛的重视，多描 述编码是一种可以兼顾数据传输实时性要求，并能同时解决数据失真问题的编 码方法，它可以减少差错信道下的图像通信因数据包丢失或误码而导致的图像 质量下降，并且由于其不需要重传，可以大大节省传输成本。 在分集接收系统中，系统通过多径信道传输，快衰落信道中接收的信号是 到达接收机的各径分量的合成。接收端同时获得几个不同路径的相互独立的信 号，将这些信号经适合合并后构成总的接收信号，能够大大削减衰落的影响。 多描述方法与此类似，它采用多个相互独立但同时又具有一定相关性的子信号 来描述同一信号，其中各个描述可以分别独立解码获得一定失真的重建质量。 系统将这些描述独立编码后再通过各个信道传输到客户端，如果某些信道的数 据包丢失或出错，接收端可以从各个正确接收的描述中恢复出视觉上可接受的 重建信号，而如果多个信道都同时收到，则可解码获得具有更好恢复质量的重 建信号。 多描述编码起源于2 0 世纪7 0 年代，是由美国贝尔实验室在研究电话网络 中的语音编码问题时提出的n 1 。起初，m i l l e r 提出根据语音的频谱衰败特性， 让语音子采样成分分别包含奇数样本和偶数样本的两组样本，再通过两个单独 的链接或路径分别传输这两组样本。如果数据无损耗，可合并这两组样本，获 得正常的声音质量；如果有损耗，则可通过部分无损耗的数据获得较低的声音 质量。1 9 7 8 年，这一想法在贝尔实验室开始流行，主要应用在语音编码和信息 第一章绪论 理论中，j a y a n t 在语音编码中首先将语音分离成具有冗余的奇偶两组样本，再 用差分脉冲编码对它们分别进行压缩，并通过两个分离的信道分别进行传送。 该方法可以在只收到单组样本的情况下预测出另组样本。其后，g e r s h o 提出 了使用g 0 0 d m a n 的方法进行信道分裂，即一个信道携带偶数样本的最重要位和 奇数样本的不重要位，另一个信道携带奇数样本的最重要位和偶数样本的不重 要位。1 9 7 9 年，在i e e es h a n n o nt h e o r yw o r k s h o p 上，w y n e r ，z i v 等人由信道 分裂提出了一个信息论问题他1 ，如信源由两个分离的描述表示时，对这些分开 或联合的描述在质量方面的共同限制是什么? 这些问题最终成为了多描述问 题。 多描述编码的应用非常广泛n3 ，就媒体方面而言，它可以应用到各种通讯媒 体上，如分包网络、分布式存储、混合数字广播等；就数据传输方面而言，它 也可以应用到多种类型的数据输出上，如音频、图像、视频等。由于多描述编 码自身的特点，使其非常适合于差错信道下的大数据量的实时图像和视频传输。 1 2 国内外研究现状 多描述编码最早是作为一个信息论问题而提出的，在随后的发展中，多描 述图像编码逐渐得到越来越多的重视。现有的多描述编码方法大致可以分为多 描述标量量化编码，多描述变换编码、基于运动补偿的多描述编码、基于空间 扩展的多描述编码、基于空间下采样的多描述编码和多描述分级编码等六大类 方法。 多描述量化编码 多描述量化编码的基本思想是对信源进行不同精度的量化，产生不同的量化 结果。如仅有单个描述时，可得略粗糙的量化恢复结果：而获得多个描述时， 可得到精细的量化恢复结果。多描述量化可以分为多描述标量量化1 和多描述 矢量量化h “3 两种。 多描述变换编码 多描述变换编码通过对信源数据迸行变换，为描述引入冗余消息。当描述丢 失时，可以利用收到的描述和其中的冗余信息估计丢失的描述。多描述变换编 码主要包括对变换多描述编码硒3 、多描述相关变换编码口1 、一般多描述变换编码 阳3 和基于多相变换的多描述编码阳3 等等。 基于空间扩展的多描述编码 基于空间扩展的多描述编码是对原始信号进行某种变换，使其在空间上进行 扩展，在描述间引入相关性，形成多个描述。目前，基于框架扩展的多描述编 第一章绪论 码n 。m 、重叠正交变换多描述编码n 羽、基于d c t 变换补零的多描述编码“3 1 可以 划归在此类中。 基于运动补偿的多描述编码 基于运动补偿的多描述编码根据视频编码使用运动补偿来消除帧间冗余的 特点，来设计多个预测环，从而进行多描述编码私t 弭】。 基于空间下采样的多描述编码 基于空间下采样的多描述编码是通过空间下采样将原始图像划分成为多幅 子图像，然后对它们进行独立编码，并通过不同信道传送到解码端。梅花分割 是空间下采样方法中的一种n 引。 多描述分级编码 分级编码是将码流分成可以单独解码的基本层码流和增强层码流。基本层 码流能够适应较低的网络带宽，提供基本的重建质量图像。而增强层码流能够 覆盖一定动态变化范围的网络带宽“7 1 。精细分级的码流还能够在任意位置被截 断，以提供连续变化的重建图像质量和码率，从而适应网络带宽的变化。多描 述分级编码的基本思想是将多描述编码方法与分级编码方法相结合，利用两种 编码方法的优势，提供具有更好质量保证的流媒体传输。近年来，多描述分级 编码成为一个研究热点，先后提出了多描述分层编码射、基于运动补偿时域滤 波的多描述可分级编码n 们和分层多描述编码啪1 。 1 3 主要研究内容 本文主要针对差错信道下的多描述图像编码进行研究，对目前多描述图像 编码发展中的几个热点问题进行了深入分析和研究。 一、基于框架扩展的多描述图像编码 之前的研究对于基于框架扩展的多描述编码叙述相对较少。而实际上，框 架扩展可以通过r 到尺m ( m n ) 的线性变换非常方便地得到多个描述，并且 由于其框架分量自身之间的线性相关性，编码具有很好的差错恢复鲁棒性。这 使得框架扩展在实际多描述编码系统设计中具有很好的应用价值。框架扩展的 关键在于构造一个具有良好差错恢复性能的框架。针对此问题，本文构造了一 种均匀紧支框架，该框架可以实现量化噪声下均方误差意义上的最优框架重建， 并且具有很好的差错恢复性能。同时，采用小波零树作为框架扩展的基本单元， 按照系数所属子带的不同，采用不同维度的框架进行扩展，从而对不同子带信 息提供不同的保护。 第一章绪论 二、基于标量量化的多描述编码 多描述标量量化是一种简单高效的多描述编码形式，但多描述编码难以避 免地会引入冗余，占用更多带宽。在此背景下，本文提出一种将多描述标量量 化与高效的s p i h t 编码联合起来的多描述编码方法，提高多描述编码的编码效 率。首先在两描述的多描述标量量化基础上进行多维度索引分配扩展，得到由 粗量化索引形成的多个描述，然后采用s p i h t 编码方法对每个多描述码流进行 熵编码。 三、基于感兴趣区域的分层多描述图像编码 目前，分层多描述编码己成为研究的热点。本文结合多描述编码和分层编 码两者各自的优势，提出一种差错信道下基于感兴趣区域的分层多描述图像编 码方法。该方法利用s p i h t 编码的分层内嵌特性，首先将图像编码为多个s p i h t 描述码流，再根据感兴趣区域将每个多描述码流分为基本层码流和增强层码流。 该分层多描述编码方法具有和多描述编码同样的抗误码性能，并且不像单一的 分层编码那样必需一个可靠的传输子信道。 1 4 论文组织结构 本文各章节内容是按照以下形式进行组织的： 第一章为绪论，介绍研究背景和研究现状，最后说明本文的主要研究工作。 第二章对差错信道下的多描述图像编码研究进行综述，详细叙述了多描述 编码的理论基础以及目前各种多描述图像编码方法。 第三章分析了基于框架扩展的多描述编码方法，构造了一种具有良好差错 恢复性能的均匀紧支框架，以实现差错信道下的高效图像传输。 第四章介绍了基于标量量化的多描述图像编码，提出一种多描述标量量化 与s p i h t 编码相结合的多描述编码方法。 第五章将多描述编码和分层编码结合起来，充分利用两种编码方法各自的 优点，提出一种基于感兴趣区域的分层多描述编码方法。 第六章对全文进行总结。 4 第二章多描述图像编码研究简介 第二章多描述图像编码研究简介 2 1 多描述编码信息论基础 在1 9 7 9 年9 月i e e e 的信息论会议上，多描述编码被o z a r o w ，w y n e r ，w o l f 和z i v 等人作为信息论研究领域的一个问题而提出瞳3 。在随后的十几年间有很 多人对此问题进行了深入的研究，这为后来多描述编码在图像压缩编码领域的 发展提供了峰实的理论基础。 2 1 1 信息速率失真函数 首先讨论离散无记忆信源熵压缩编码的信息论速率失真函数。设x 和y 分 别表示信源字和码字，其中x = ( x l ，z 2 ，x ) ，y = ( y 1 ，y 2 ，y ) ，假定 单个信源字母与码字母之间的失真可通过某种准则确定，并把它记为d ( x 。，y 。) ， 则信源字和码字的失真值为： 1 一= ， d ( x ，y ) = 寺d ( 矗，儿) ( 2 1 ) 一= i 如果将编码器看为一个广义信道，则，( x ，y ) 就是信源通过编码器传输的信 息速率，所以理想的熵编码器的输出可能达到的最低熵率就是信源通过编码器 所必须传输的最低信息速率。该最低信息速率取决于信源的统计特性p 、分组 码长度n 、字失真矩阵和允许的最大平均失真d 。如果给定前面三个参数，那么 该最低信息速率即为允许的最大平均失真d 的函数，即： r ( d ) = i i 哄n ( ，( x ，y ) ，e ( d ( x ，少) ) d ) ( 2 2 ) 其中，m i n 是在平均失真满足以下情况时取得的： e ( d ( x ，y ) ) = p ( 石) g ( yx ) j ( x ，y ) d ( 2 3 ) i y 如果进一步对r ( d ) 在所有可能n 下取得最小，则可以得到一个只取决于信源 统计特性和失真定义的函数r ( d ) ，即： 1 r ( d ) = i 妒去尺( d ) ( 2 4 ) 、。 nn ”、。 上式足( d ) 函数就被定义为信源的信息速率失真函数，或简称率失真函数。 尺( d ) 函数具有如下性质： 第二章多描述图像编码研究简介 、露( 圆虽数是。的凹函数； i i 、r ( d ) 的定义域为( d m i n ) ，并且是非增函数。 根据上面的性质可以得到霞( 聊赭线的一般形状如匿2 羔所示。 r ( d ) j 图2 1r ( d ) 函数曲线的一般形式 对于多描述编码，设x 表示随机髂源，d 表示率失囊函数中允许的最大平 均失真，尺表示码率。设计多个编解码器 c 。，i = 1 ，2 ，m ，使得各个的 率失真函数炎；( 母) 满足给定要求，任何组合所褥的失真0 必须小于爨i 嚣 砬 ， 并且 c 1 ，c ：，) 的率失真函数取得全局最优值“。 两描述多描述编码的基 本结构如图2 2 所示，解码器l 稠2 所在信道称之为边沿信道( s i ( 1 ee h a 融e 1 ) ， 解码器o 所在信道称为中央信道( c e n t r a lc h a n n e l ) 。 i 一 x l 。基基 r t 1瓣羁警1 信源薹i 。：三。：一： ” l 瓣羁器。 x o 。 编码器 ；一 一 【。一，一 + 峨k ( 三二p l 圈2 2 两搓述的多撼述编码结构图 设给定三个有限状态的重建信号氟，雪，碧：分别表示解码器o ，1 和2 的输出，著定义失真度量为屯：菇疋一震。，萨o ，王，2 。对于x ”兄空瓣 上包含n 个分量的信号矢量，其失真由平均值来定义： 厶( 龋去喜州槭) 币柑，) 缇 定义l ：如果存在两个描述f ( x ) l ，2 ，2 ”莛和歹戈) l ，2 ，2 哆，以及它 们对应的重建函数墨( f ) ，舅：( - ，) 和式( f ，) ，使得对于足够大的n 有： 6 第二章多描述图像编码研究简介 e ( 寺善姒k 训 ，( x ；彳i ) ，r 2 ，( x ；x 2 ) ，尺l + 足2 ，( x ；k ，x i ，x 2 ) + ，( x l ；x 2 ) ( 2 7 ) 同时，对于某些特定的概率密度函数p ( 冤，矗；冤，j ：) 还满足瞳： d l 磁( x ，x 1 ) ，d 2 尉( x ，x 2 ) ，域尉( x ，x o ) ( 2 8 ) 下面对一种特殊分布函数情况下的失真进行讨论。假设x 。，x ：是两个均 值为0 ，方差为1 的独立同分布随机变量，在方差失真度量下，由单描述的信 息速率失真定理可知，r ( d ) = l 2 l o g ( 1 d ) 。对于e ( 矗。) d 。的失真要求，只 要以2 l o g ( 1 d ) b i t 就足够描述每个长度为n 的随机变量序列。而对于多描述编 码的情况，( 贾，丘，j 。，露：) 的分布函数都是正态的，即： x i = 口l x o + z l ，x 2 = 口2 x o + z 2 ，x o2 口i x + z o ( 2 ，9 ) 其中( z o ，z 。，z ：) 独立于信源x ，并且其方差矩阵为： oo i k = lo 七l七1 2 l ( 2 1 0 ) lo缸2七2j 将以上两式和式2 7 联合起来，以，口。，口：和k 为变量进行最优计算可以得到 下面的失真约束条件： e ( x 一牙1 ) 2 = d l ，e ( x 一贾2 ) 2 = d 2 ，e ( 一牙o ) 2 = 风 ( 2 1 1 ) 求解可以得到如下关于率失真区域r ( d ) 的结论。 情形l ：如果d ，+ d ：一d o 1 ，此时为高失真情况，那么其可实现率失真区问 为： r i 1 2 l o g ( 1 q ) ，r 2 l 2 l o g ( 1 d 2 ) ， 第二章多描述图像编码研究简介 露l + 灾2 l 2 l o 甙l 域) ( 2 。1 2 ) 情形2 ：如果d ，+ d ：一线 l 2 l o g ( 1 q ) ，r 2 l 2 l o g ( 1 d 2 ) ， r l + 又2 l 2 l o g ( 1 玟) + l 2 l o g 冀( 珐，最，d 2 ) ( 2 。1 3 ) 其中有 灭岛，皿) zf 丽丽习d 孑鼍f 订丽可两 上式的前两项和单描述编码是相同的，第三项的额外附加码率是因为在低失真 的情况下，描述闯的信息冗余度也随之增加，即震。和灵，之间不是相豆独立的。 综上所述，多描述编码的速率失真函数和单描述编码有相似的性质，尤其 对予边沿信道完全就是单描述编码，不阋的只是中央信道有所变纯。在荤撼述 中，典型的信源是高斯信源，其求解过程较为简单。对于其他一些简单的信源 也可以通过定义来计算。由于图像通常可以看作是二维数字信号，它通过莱些 正交变换后可以近似为无记忆离散信源。所以多描述编码的率失真函数定理构 成了图像多描述编码的理论基础。 2 1 2 多描述编码的性能评价 对于给定信源，所设计的多描述编码系统的性能如何，需要有定的指标 进行评价。这些常用的指标有：冗余率失真函数、码率失真函数、编码失真、 重建失真、主观质量、比特率、编码复杂度等等。由于评价图像压缩编码常精 的标准是峰值信噪比p s n r ，所以多描述编码通常也采用p s n r 来衡量其编码性 能。 冗余率失真函数是衡量多描述编码方法的冗余效率的道要指标钔，冗余p 定义为： p = 足一r ( 2 1 4 ) 露表示多描述编码的码率，显表示达到相同中央信道信噪比下单描述编码的码 率。假设d 0 表示中央信道的失真，b 表示在两信道具有相同丢包率下的平均 边缘信道( 单描述) 失真，则挖还可以定义为取得中央信道失真矾的最低码 率。率失真函数p ( d l ；线) 描述了在中央信道失真为域的条件下获得边缘信道 失真为日所需要的冗余p 。同理，率失真函数d l ( 矿；d 0 ) 描述了在冗余为p 、中 央信道失真为或豹条件下可以获得酌边缘信道失真盈。 类似地，码率失真函数也是衡量多描述编码性能的重要指标。该参数描 述了码率与失真之闽的关系，多摧述率失真区域是指在多籀述编码中同时获得 第二章多描述图像编码研究简介 码率和失真的封闭集合。率失真函数r ( d ) 是在率失真区域中失真为d 时可以获 得的最小码率。同理，率失真函数d ( r ) 是在率失真区域中码率为r 时可以获得 的最小失真。对于两个描述的情况，多描述率失真区域是可获得的五元组 ( r l ，r 2 ，d 0 ，d l ，d 2 ) 的封闭集合。r ，表示第f 个描述的码率，d 。是第f 个边缘 信道的失真，域是中央信道失真。那么对该区域的最简单约束为： 尺l + 尺2 r ( 域) ( 2 1 5 ) 尺。r ( d 。) ，f o ri = 1 ，2 ( 2 1 6 ) 针对方差为仃2 的无记忆高斯信源，多描述率失真区域( 尺。，尺2 ，d o ，q ，d ：) 满足： d 1 仃22 - 2 品，d 2 仃22 2 m ，d o 盯22 2 马+ 恐厂d ( 尺1 ，尺2 ，d i ，d 2 ) ( 2 1 7 ) 其中，如果q + d 2 盯2 + 岛，则= l ；否则： 5 i 而葡f 吾哥覆丽 1 8 1 一( ( 1 一d i ) ( 1 一d 2 ) 一d l d 2 2 q q “屯) 2 上式表明中央信道失真必须超过乘以因数y d 后所得的失真码率的最小值。 在文献 2 6 中，o z a r o w 证明了文献 2 1 中所给出的可达到的码率区域是严 密的，即多描述率失真区域正好是文献 2 1 中可达到码率区域的最大集合。随 后，z h a n g 和b e r g e r 证明，当墨+ r 2 = 尺( d o ) 时，d ( 尺l ，r 2 ，域) 边界的一部 分与曲线( 1 2 + q 一2 岛) ( 1 2 + 砬一2 岛) = l 2 ( 1 一弛) 2 一致；而当如+ 足 鹪) 时， g a m a l 和c o v e r 的可达到码率区域是不严密的。z i m i r 利用高斯信源的多描述率 失真区域，针对方差为仃：的一般无记忆信源，给出了多描述率失真区域的内界 和外界位： d ( 盯；，尺l ，r 2 ) d ( r l ，r 2 ) d ( 只，尺j ，尺2 ) ( 2 1 9 ) 其中，只是信源的熵功率，d p 2 ，尺，尺：) 是0 z a r o w 给出的方差为仃2 的高斯信 源的多描述率失真区域。 2 2 多描述图像编码研究 目前，对于图像的多描述编码研究发展得很快，主要可以分为基于量化、 基于变换和基于空间扩展的几类多描述编码方法。 2 2 1 基于量化的多描述编码 基于量化的多描述编码其共同点是需要设计一个复杂的量化函数( 标号函 数) ，对信源进行不同精度的量化。基本思想就是对单个描述进行大步长的量化， 9 第二二章多描述图像编码研究简介 而多个描述结合时则可得到精细的量化。 1 ) 多描述标量量化( m d s q ) o ” 多接述毒云量塞讫( 麓s q ，疆疆圭t i p l ed e s e r i p t i o 魏s e 8 l a r u a n 之i z 8 专i o n ) 的基本结构如图2 3 所表示。信源进行标量量化后( q o ) 输出为，然后输入 到标号分配函数坟( ：) ，采用如图2 。4 所示区间进行标号分配层，出边索引形成 两个描述。若只收到一个描述，则解码端根据粗量化器q 或鲮可以获得满足一 定重建质量的信号。 y ly l - 一编码器l 0 ! ii j 信源 图2 3 多描述栝鼙鼙诧结构图 q l 一一一一j 一一j 一上+ l234 q 2 i ， l234567 q o + l 土l l 上l + 一，x o x 2 _- 34 i 、i _ -十* i ：l tl 2 234 356 4 7 图2 。4 洒翅的标号分配形式 显然，该方法的关键之处在于标号分配函数a ( ：) 的设计，即所谓的标号分 配( 王霸d e x 焱s s 主g 瓣戮e n 乞 问题。￥鑫i s h 勰p a y a n 认为系统的性能主要盘标号区润 长度( s p r e a d ) 所决定n 1 ，并给出了两种不同的标号分配方法，嵌套式和线性 标号分配。图2 。5 ( a ) 戈嵌套式标号分配，处) 为线性分配形式。 l3 2 毒 5 6 79 8l ol l | 21 3 1 5 一 1 41 6 t 7 1 8 1 92 l 2 02 2 ：i2 卜一 | 3 46 578 9i o l i _ h m h 。 1 21 4 1 31 5t 8 1 71 82 0 | 1 92 l ( a ) q 1 = 8 ，q 2 = 8 ，q o = 2 2( b ) q l = 8 ，q 2 = 8 ，q o = 2 l 图2 。5 瀚s q 两种标号分配形式 l o 第二章多描述图像编码研究简介 在多描述标量量化的基础上，人们进行了改进，提出了基于熵约束的m d s q 汹1 ， 该方法的编码比特率是可变的。另外，近年来的研究也表明多描述标量量化在小 波变换，子带编码羽等中都取得了很好的编码传输效果。 2 ) 多描述矢量量化 多描述矢量量化主要有广义矢量量化。州，树形矢量量化b 1 和格型矢量量化 ( l v q ，l a t t i c ev e c t o rq u a n t i z a t i o n ) 。m 1 。这其中多描述格型矢量量化( m d l v q ) 的编码性能较优。格型矢量的特点是码书构造容易，具有很好的规律性，其思想 类似于m d s q 。它通过标号函数，将主格映射成为两个子格，即对于每一个格点 五人有： 人h ，( 人) c 人人t ( 2 2 0 ) 式中，a 表示精细量化的格点，人表示粗量化的格点，j 是一个单射函数。文献 3 5 中将其转化为一个网络流图的问题，给出了标号函数的设计方法。参数 = 1 人人j ，表示每个人中所包含的人的数目。系统的性能主要与n 有关，n 与m d s q 中标号的区间长度类似：n 越大，意味着当只收到一个描述时，原格点的不确定 性越大。但该方法在设计m d l v q 系统时只考虑了使中央信道失真d 0 最小的情况， 即网络丢失率p = 0 ，如果p 0 ，边沿信道的性能将可能恶化。 多描述标量量化和多描述矢量量化编码都有一个共同点，即信号通过编码器 后可直接形成两个描述，这要求必须事先设计好一个标号分配函数。根据速率失 真理论，相同编码速率下，矢量量化的失真要小于标量量化。所以，矢量量化多 描述编码比较适合于低码率下的应用，并且通常情况下的性能要优于标量量化多 描述编码。 2 2 2 基于空间扩展的多描述编码 基于空间扩展的多描述编码的共同点是，通过正交变换将k 维信号空间扩展 到三维( 三k ) ，再进行亚采样，其冗余度由上决定。 1 ) 重叠正交变换( l o t ，l a p p e do n h o g o n a l t r a n s f o 肌s ) 多描述编码纠 l o t 通过对信号重叠采样引入系数间的相关性，再对变换后的信号亚采样得 到各个描述。设l o t 的变换矩阵丁= 【a 。4 】。2 ，其中和彳。为的矩阵，它 们满足如下正交条件： 么j 鸽+ 4 ：彳。= 4 彳j + 彳。彳i = ，。v ，彳：4 = 爿i 彳o = 彳。彳：= 彳。彳：= 仉。 ( 2 2 1 ) 如果某些变换系数传输时丢失，则可以通过构造一个m s e 误差函数并考虑外加约 束( 图像平滑特性等) 估计出来，相关性的大小由重叠采样的数目来决定。 第二章多描述图像编码研究简介 2 ) d c t 变换补零n 3 3 与重叠正交变换相类似，d c t 变换补零首先对图像进行d c t 变换，然后在d c t 系数的高频方向补零，将的系数矩阵补零成为m m 的矩阵，之后再做d c t 反变换。将变换后的图像进行奇偶采样形成各个描述，然后进行j p e g 编码。相关 性的大小是由补零的数目决定的。如果某个描述丢失，通过建立一个代价函数来 估计： = 陟m ：一毛：凡z l l + 矽( x ) ， 厂( 石) = ( x ( 以) 一x ( 门一1 ) ) ( 2 2 2 ) 月= i 其中，y m ：，于，f 和x 分别表示接收到的信号、采样矩阵、d c t 变换和原始信 号，厂( x ) 是利用原信号先验知识的加权项，从而将问题转化为对， ) 的寻优问 题。 3 ) 框架扩展( f r a m ee x p a n s i o n ) u 0 基于框架扩展的多描述编码方法其思想与以上两者十分类似，其关键在于构 造一个具有良好差错恢复性能的框架。一旦得到一个最优化框架，多描述可以在 框架扩展后通过系数采样非常方便地得到。基于空间扩展的多描述编码在引入差 错冗余的同时，增加了系统的计算量。在估计丢失系数时常常需要进行优化计算， 其计算量随空间维数的加大而增大。 2 2 3 基于变换的多描述编码 变换编码的基本思想是通过特定的相关变换将正交变换后的系数重新引入 数量可控的相关性，从而使丢失的数据可从其它接收到的数据中近似估计得到。 1 ) 对变换多描述编码( m d p c t ) 1 在传统的变换编码中，对输入变量做变换是为了消除变量间的相关性。m d p c t ( m u l t i p l ed e s c r i p t i o nc o d i n gu s i n gp a i n i s ec o r r e l a t i n gt r a n s f o 衄s ) 则是通过变 换在系数之间引入可控的相关性。对于两个描述情况( 如图2 6 ) ，个系数被 均分为两组，依次按照方差大小排列，取方差大于预定阀值的6 仃个系数，将第 七个和第三一七个系数配对进行变换，其余的系数按照奇偶分离的原则分别分配 到各个描述中。如果在传输过程中有一组数据丢失，利用变换产生的相关性可以 把另外一组数据估计出来。 第二章多描述图像编码研究简介 a l 相关 b 1 一 变换 d c t d c t 系数 变换 配对 a 2 相关- 一变换 b 2 s t r e a l n 2 图2 6 对变换结构图 设彳，b 为输入变量，c ，d 为输出变量，t 为变换矩阵，则有： 阡丁嘲 ( 2 2 3 ) 如果只收到描述虿( 虿表示c 经量化后再反量化的值) ，则可由d ( 石) = 7 厉于估 计出d ，其中7 厉= ( 盯d 吒) c o s 歹，参数歹控制c 和d 之间冗余量的大小。对于 相互独立且均值为零的正态随机变量x 。，x ：，设其方差彳p ；，其最佳变换为： 睁，压n 捌 汜2 4 ， 2 ) 多描述变换编码( m d t c ，m u l t i p l ed e s c r i p t i o nt r a n s f 0 硼c o d i n g ) 7 】 m d p c t 改善了单个描述的性能，同时也增加了中央信道的失真。如果珐p ，趋 近于1 ，边沿失真将等于0 。但是如果采用非正交变换的话，量化空间是非立方体， 所以在变换之前必须先对系数进行量化，然后将变换矩阵进行l u 分解，这样量化 后的空间才能仍然保持为立方体。m d p c t 只能产生两个描述，g o y a l 等将变换编码 推广到多个变量的情况，并扩展了变换矩阵集合，即所谓的“整数变换”。首先 设计好相关变换矩阵t ，然后因式分解成主对角线元素为1 的上三角和下三角矩阵 序列的乘积：丁= 互疋瓦，再构造t 的离散形式： 丁( x 。) = 【正阪【瓦】 ( 2 2 5 ) 其逆变换为： 丁一( y ) = 【互一 巧1 巧】 ( 2 2 6 ) 上式中，下标表示量化取整，