（计算机应用技术专业论文）面向internet传输的图像容错编码研究.pdf

摘要 随着tr 1 1 i 幽像通信、i k 务的飞速发展，高爪缩l 冬j 像在不州靠的i n t e r n e t 上的健壮传输成为罔像压缩编码研究的热点。 现有的图像编码算法和框架都基于理想的传输信道，侧重数据纠织和量化， 片面强调图像压缩效率，而忽略了实际信道i n t e r n e t 特性，缺乏面向传输的容错 性，无法同时保证高爪缩比和高复现度。本文正是针对低带宽、多王包的传输环 境，研究面向i n t e r n e t 传输的高效冈像容错编码。， 为了有效地保证图像压缩编码的高效压缩和高效还原，存深入分析i n t e r n e t 传输分组丢失特性和现自图像编码容错传输缺陷的基础e ，论文从i 个方l 町总结 了在错误多发和异构的ir l te t n e t 上不境中图像容错通信的适川原则，提山全局性和 无依赖性设计概念。 依据设计原则，针对i n t e r n e t 的丢包行为，论文为i n t o r n e t 图像传输提供 了 个藏姗压缩效率和还原质量的整体解决方案一一高效稳定的信源佶宿联合 图像编码框架j 2 s c ( j 0 i 1 1 ts o u r c es i n kc o d jn g ) ， 合源端容错编码方法和终端 错误隐藏技术以改善图像传输对丢包的鲁棒性。其中，提出种基于小波系数统 计特征的伪随机整体采样策略，克服了编码t 目关造成的丢包敏感性：构建了一个 基于拉普拉斯金字塔的双l _ 金字塔模型，提高_ r 图像丢包后的还原质最。 沦文还将1 2 s ( 2 和现有幽像编码算法及j p e g 2 0 0 0 压缩标准进行了算比较。 i i a t i a b 仿真结果表明j 2 s c 框架不仅满足图像f 输的高效压缩和灵活扩展要求，还 具有m 色的丢包容错性能，从而更好地支持i n t e r n e th 像传输j 、i 用。 关键词：图像通信；健壮传输；容错编码；m a t l a b 仿真 血i n t c r n e t 传输的幽像容错编峭驯宄 a b s t r a c t w i t ht h ee x p e d i t i o u sd e v e l o p m e n to fi m a g ec o m m u n i c a t i o na p p l i c a t i o n s ，r o b u s t t r a n s m i s s i o no fh i g hc o m p r e s s e di m a g e so v e ru n r e l i a b l ei n t e r n c th a sb e c o m eonef o c u s i ni m a g ec o m p r e s s i o nc o d i n g g i v e nf o ri d e a lc h a n n e l ，e x i s t i n gi m a g ec o d i n ga l g o r i t h m sa n df r a m e w o r k sa r e c o n c e n t e r e do nd a t a o r g a n i z a t i o n a n dq u a n t i z a t i o nt o p u r s u eh i g hc o m p r e s s i o n e f f i c i e n c y t h ei g n o r a n c eo fa c t u a li n t e r u e tc h a r a c t e r i s t i c sr e s u l t st h a tt h e ya r es h o r to f t r a n s m i s s i o nr o b u s t n e s sa n dc a n n o te n s u r eb o t hh i g hc o m p r e s s i o ne f f i c i e n c ya n dh i g h r e c o n s t r u c t i o nq u a l i t y t og e tab a l a n c eb e t w e e nt h ep a r a d o x i c a la s p e c t s ，t h i sp a p e r r e s e a r c h e so ne f f i c i e n te r r o rr e s i l i e n ti m a g ec o d i n go v e rl o wb a n d w i d t ha n dp a c k e t l o s s p r o n ec h a n n e lt r a n s m i s s i o n i no r d e rt og u a r a n t e eh i g hc o m p r e s s i o ne f f i c i e n c ya n dh i g hr e c o n s t r u c t i o nq u a l i t y ， c h a r a c t e ro f p a c k e t - l o s si ni n t e r n e ta n dl a c ko f e r r o r - r e s i l i e n tf o rp r e v i o u sa l g o r i t h m so r e f i r s t l ys t u d i e d b a s e do nt h ea n a l y s i s ，t h i sp a p e rs u m su pa p p l i e dp r i n c i p l e so fr o b u s t i m a g ec o m m u n i c a t i o no v e re r r o r - p r o n eh e t e r o g e n e o u si n t e r n e t ，i nw h i c ht h ec o n c e p to f g l o b a l i t ya n di n d e p e n d e n c ya r ee m p h a s i z e d a i m i n ga tp a c k e tl o s s i ni n t e r n e ta n df o l l o w i n gt h ea b o v ep r i n c i p l e s ，t h i sp a p e r p r o p o s e saw h o l es o l u t i o n e m c i e n la n dr o b u s tj o i n ts i n k s o u r c ei m a g ec o d i n g f r a m e w o r k ( j 2 s c ) ，i nw h i c hb o t hc o m p r e s s i o ne f f i c i e n c ya n dr e c o n s t r u c t i o nq u a l i t ya r e c o n s i d e r e d j 2 s cc o m b i n e se r r o rr e s i l i e n ta l g o r i t h mi ns o u r c ew i t he r r o rc o n c e a l m e n t t e c h n o l o g yi n s i n kt oi m p r o v ei m a g el o s s o r i e n t e dt r a n s m i s s i o nr o b u s t n e s s ag l o b a l p s e u d o r a n d o ms a m p l i n gs c h e m eb a s e do ns t a t i s t i cd i s t r i b u t i o no fw a v e l e tc o e f f i c i e n t s i si n c l u d e dt oo v e r c o m ee r r o rs e n s i t i v ec a u s e db yd e p e n d e n tc o d i n g a l s o ，t h i sp a p e r b u i l d sad u p l e xp y r a m i dm o d e lr e f e r r e dt ol a p l a c i a np y r a m i d ，w h i c hm a k e si m a g e r e c o n s t r u c t i o nq u a l i t yb e t t e r , t h e r ea r ed e t a i l e d c o m p a r i s o n sw i t he x i s t i n gi m a g ec o d i n ga l g o r i t h m sa n d j p e g 2 0 0 0i nt h ee n d ，t h em a t l a bs i m u l a t i o n sc o n c l n d ct h a tj 2 s cn o to n l yc a nm e e t t h er e q u i r e m e n t so fh i g he f f i c i e n c ya n df l e x i b l es c a l a b i l i t y ，b u ta l s oc a np r o v i d e e x c e l l e n tp a c k e t l o s sr e s i l i e n tp e r f o r m a n c ea d a p t i n gt ot h ea p p l i c a t i o n so fi m a g e t r a n s m j s s i o no v e ri n t e m e t k e yw o r d s ：i m a g ec o m m u n i c a t i o n ：r o b u s t7 f r a n s m i s s i o n ；e r r o rr e s i l i e n tc o d i n g m p 汀l a bs i m u l a t i o n i i 湖南大学 学位论文原创性声明 木人郑重声明：所呈交的论文是本人存导师的指导下独j z 进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本沦文1 i 包龠仟何其 他个人或集体己经发表或撰写的成果作i 晶。对本文的研究做出重要页献的个 人和集体，均己在文中以i 删确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名：币p 1 矸 h 期：砌z 年年月订日 学位论文版权使用授权书 本学位论文作者。完伞 7 解学校自关保留、使用学位沦文的规定，司意学 校保留并向幽家有关部门或机构送交沦文的复印件和电子版，允许论边被查 阅和借阅。本人授权湖南大学可以将小学位沦文的全部或部分内容编入有天 数据库进行检索，n j 以采州影印、缩印或扫捕等复制手段保存和汇编本学位 论文。 小学位沦义属丁 l 、保密口，存年解密后适，_ 本授权书。 2 、不保密回。 ( 睛在【奠k 相应方框内于j “4 ”) 作者签牝：抑研 铷签孙张 u 刘j ：c n 啦年驴月) d - h 同期：加争匀? 孕j 玎h 碗上学位论文 1 1 课题背景 第1 章绪论 当今社会已进入信息时代，图像所携带的信息量远远大于语音和数据，它具 有确切、直观、具体生动、高效等特点，传统的语音通信已远远满足不了人们对 信息的需求，这就决定了图像通信将成为人类最重要的通信手段之一。 随着多媒体技术和网络技术的普及与发展，从家庭娱乐到工业系统，从地面 电视到卫星遥感，从教育到军事，数字图像网络传输广泛地应用在各个领域和环 境。同时，从局域网到i n t e r n e t ，从定点通信到移动通信、卫星通信，从小范围 通信到涉及地面、海洋、航空和航天的全球立体通信，传播数字图像的网络环境 也变得越来越复杂。由于数字图像数据本身的特性，大的数据量要在有限的或者 不稳定的带宽下传输，出错和丢失的概率要大得多。而数据丢失对图像传输质量 会造成破坏性的影响j 。 传统的数字图像压缩技术虽然有效地解决了由于数字化图像的数据海量性带 来的存储容量、信道传输率以及处理速度的问题1 3j 。但是，基于理想信道、注重压 缩效率的压缩编码模式在去除图像固有冗余的同时，引入了码流的相关性，从而 缺乏面向传输的鲁棒性，随机或突发的信道错误轻易就使得压缩数据不可用，图 像质量显著下降，甚至不能恢复，无法同时保证高效的压缩和高效的还原。这些 以高效存储为目标的经典图像压缩编码方法已经不适应数字图像多服务的不可靠 信道传输。 为了实现图像在不可靠信道上的传输，各研究机构提出了两种不同的解决思 路【4 】。一种思路以网络为中心，要求网络中的路由器交换机为媒体流提供种种服 务质量保证，复杂的网络类型和协议部署使得这种方案代价极高，且不具备对其 他业务的公平性。另一种思路只涉及到端系统，不对网络提出要求，增强现有编 解码算法的错误控制和错误隐藏技术实现健壮传输。由于第二种思路不依赖于现 有的和未来的网络实现，在终端设备趋于部件化、智能化和嵌入化，性能空前扩 展的今天，不仅更易于实现，而且使用户改变以往被动地接受处理信息的状态， 更加积极主动的参与网络传输。因此，端系统如何增强压缩数据本身对丢失的容 错性和防止数据丢失后重建图像的质量降级现象出现，也成为人们研究的热点， 非常有研究价值。 本课题的研究核心正是端系统面向i n t e r n e t 传输的图像容错编码，力求找到 一个在高效压缩和健壮传输之间有效平衡的解决方案。 面向l l l t e m e t 传输的图像容错编码研究 1 2 图像传输中的错误控制和错误隐藏技术 图像传输中的错误控制和错误隐藏技术因为在图像不可靠的i n t e r n e t 信道上 传输的普及而变得越来越重要。任何通信系统都会遇到传输丢失和出错的问题， 而数据丢失对图像传输质量会造成破坏性的影响。实时交互特性使得原有的错误 恢复技术并不适用图像传输应用。多方图像通信也为错误恢复技术增加了更大的 挑战。图1 1 是经过i n t e r n e t 传输前后的图像对比，其中( a ) 为源图像，( b ) 还原图 像经历了1 0 的随机丢包，( c ) 还原图像经历了1 0 的突发丢包。可见，随机或突 发的网络丢包对图像还原质量造成不可避免的模糊、噪声、黑斑等严重影响。 ( a ) 源图像 1 2 1 广义形式化定义 ( b ) 随机丢包恢复图像( c ) 突发丢包恢复图像 图1 1 丢包率为10 i 的传输图像【5 】 典型的图像通信系统模型如图1 2 所示【6 】。输入图像经信源编码器压缩编码 传输编码器将处理后的信号变换成更适合信道传输的形式。接收过程正好相反。 图1 2 典型的图像通信系统方框图 信源编码器又可以分成波形编码和熵编码。波形编码通过变换编码和量化的 方式减少图像冗余，降低码率，如离散余弦变换、离散小波变换和矢量量化等。 熵编码则根据符号的统计分布特性进行二进制编码，常用的包括h u f f m a n 编码、 2 硕士学位论文 算术编码和游程编码。传输编码器囊括了信道编码、打包、调制和传输控制。图 中的双箭头强调图像通信不仅仅是从发送方到接收方的单向传输过程，也存在一 个从解码端向编码端反馈信息以方便进行系统控制和错误恢复的过程。 为了实现错误控制和错误隐藏，我们需要在上图所示图像通信系统的波形编 码、熵编码和传输编码过程中加入一定的冗余信息，称之 为隐藏冗余。图1 3 量化地显示了重建图像质量、隐藏冗余 和信道错误率的依赖关系【”。信道错误率越大，为了更好 的恢复图像，隐藏冗余所需的带宽比重越大。 因此，可以为错误控制和隐藏问题下一个广义的形式化 定义【8 j ：在给定的编码模式、通信带宽和信道错误特性条 图1 3 图像质量随错误 件下，设计编解码器，最小化地减少解码端信号失真。 率和冗余度变化示意【7 】 c = ( s o u r c e ，s i n k ) l m i n ( d i s t o r t i o n ( i m a g e ) ，3 b a n d w i d t h ，t r a n s e r r o r ，c o d i n g m o d e l ) 但是，三个参数的任何一个都不是固定不变的，不同的应用对编码器的设计 侧重不同，传输信道的带宽和错误特性在一次会话中都可能变化显著。诸如处理 延时、实现复杂度和应用配置的差异也使得错误隐藏问题难以解决。人们从许多 方面提出了针对传输错误问题的解决方案。大多数情况下都假定该问题的某些参 数固定，然后讨论局部的最优解。 图像通信中的错误恢复技术发展分为两个方向【9 】：一类是传统的数据错误控制 和恢复机制在图像传输上的扩展，以无损恢复为目标，如前向纠错，错误控制编 码和自动请求应答等：一类是近似恢复原始信号的容错编码和错误隐藏技术，尽 量保证重建图像的主观质量。 1 2 2 传统错误控制方式 常用的错误控制方式主要有4 种：前向纠错f e c ( f o r w a r de r r o rc o r r e c t i o n ) 、检 错重发a r q ( a u t o m a t i cr e p e a tr e q u e s t ) 、混合纠错h e c ( h y b r i de r r o rc o r r e c t i o n ) 和 信息反馈i r q ( i n f o r m a t i o nr e p e a tr e q u e s t ) 1 1 0 1 。 前向纠错方式是发送端将数据信息按照一定规则附加多余码元，组成具有纠错 能力的码。接收端按照预先规定的规则进行译码，以便确定接收码组中有无错误， 若有错误，确定错误的位置并进行纠正。该方式的主要优点是不需要反馈信道， 能用于单向通信，译码延迟固定，适合于实时传输系统：缺点是译码复杂，所选 择的纠错编码必须与所用信道的差错统计特性相一致，否则，误码特性难以保证， 需要的附加冗余码较多，因此，传输效率较低。 检错重发又称判决反馈或反馈纠错。发送端对数据信息进行分组编码，加入一 定多余码元使之具有一定的检错能力。接收端按照一定的规则对其进行有无错误 面向i n t e r a c t 传输的图像容错编码研究 的判断，并把判决结果通过反馈信道送回到发送端。发送端根据应答信号，把接 收端认为错误的信息再次传输。显然这种方式和前向纠错方式相比需要双向信道， 但该方式译码电路简单，容易实现。在i s o ( 国际标准化组织) 建议的高级数据链路 控制规程( h d l c ) 和i 丁u tx 2 5 号建议中就推荐采用此种方式。 混合差错控制是f e c 和a r q 的结合。发送端同时发送具有自动纠错和检错能 力的码组，接收端检查差错情况，如果差错在纠错码的纠错能力以内，则自动地 进行纠错，否则，请求重发。h e c 具有f e c 和a r q 的优点，避免了f e c 所需要 的复杂译码电路，还克服了a r q 信息连贯性差、通信效率低的缺点，特别适合于 卫星通信。 信息反馈又称反馈检验，接收端把收至0 的数据，原封不动地通过反馈信道送回 到发送端。发送端比较原数据与反馈数据，从而发现错误，并且把出错的消息再 次传送，直到发送端没有发现错误。这种方式的优点是不需要纠错、检错编译码 器，控制设备和检错设备均比较简单。这种方式的缺点是反馈信道存在误码，容 易导致发送端产生误判，且环路延迟大、数据传输效率低。 1 2 3 信源容错编 i 马( e r r o rr e s i l i e n tc o d i n g ) 显然传统的错误控制方法对图像信源编码中的容错并不是都适用，这是因为 传统的错误控制方式大多都是针对信道编码提出的方法。在信源编码中一般都采 取向前纠错( f o r w a r de r r o rc o n c e a l m e n t ) 的方式，编码时采用特别的技术，优化设 计信道控制策略，使得编码数据在传输中发生错误时，对解码后图像质量的影响 最小。典型的有分层编码( l a y e r e d c o d i n g ) 1 - 1 2 多重描述编码( m u l t i p l e d e s c r i p t i o n c o d i n g ) 1 3 - 1 4 和信源信道联合编码( j o i n ts o u r c e c h a n n e lc o d i n g ) 陋”j 。 区分传输的分层编码是目前为止最普遍最有效的容错编码方法之一。分层编 码的基本思想是将图像信息按时域、空域或频域精细划分成几层，见图1 4 。其中 基本层包含了源图像的必要信息，如低频系数、低分辨率信息等，可以保证基本 的还原质量。增强层是基本层的递进精细，接收增强层越多，图像还原质量越好。 图1 4 两层编码基本框图 为了应付信道出错，分层编码和优先传输相结合，基本层优先错误率低的传输信 道，从而降低图像基本信息的传输丢失概率。但是，分层编码只能在基本层可靠 硕士学位论文 传输的前提下保障容错性，如果基本层被破坏，图像传输的健壮性就大大减弱了。 为此，人们提出了多重描述编码的概念。多重描述编码假设源端和目的端存 在多条并行传输通道。尽管每条传输通道都是不可靠的，都有可能发生错误，但 是每条通道的错误发生事件彼此独立，所以全部通道同时出错的可能性微乎其微。 多重描述编码把原始图像压缩成多个位流，每个流对应一种描述一个传输通道， 都可以提供可接受的视觉质量。多个描述结合起来提供更好的质量。图1 5 是两重 描述编码的编解码框图，此时，接收方有三个解码器，每次只有一个工作。 输入 佃c 解码器 图15 多重描述编码框图 然而，图像传输的健壮性是以编码效率的牺牲为代价的，为了保证基本的还 原质量，单个码流必须携带足够的源图像信息，同时，为了保证码流的有效叠加， 单个码流还要携带与其他码流的相关信息。因而，多重描述编码相比传统的单重 编码，效率要低得多。如何在数据的鲁棒性和编码效率之间取得折衷是这类算法 研究的关键。 分层编码和多重描述编码中，量化损耗和传输失真是分别单独处理的，这种 分离的处理方法是以s h a n n o n 信源信道联合编码理论为基础的【 ，它认为信源编 码之后进行信道编码的效果决不会比任何单阶的信源信道编码过程差。但是 s h a n n o n 理论对于带宽有限、缓冲有限、错误多发的i n t e m e t 并不适用，它的前提 是无损地传输一个无限比特流，信源信道联合编码方法适时地被提出来以适应网 络传输，它根据全局的率失真理论( r a t e d i s t o r t i o nt h e o r y ) 1 8 1 动态地为源压缩数 据和信道的f e c 保护信息分配带宽，使得全局的观看效果最佳，它的基本步骤是： 第一，根据接收方反馈的网络状况选择一个最佳的码率分配点；第二，调整源编 码器使其码率输出达到所分配的带宽；第三，选择合适的信道编码方法加入保护 信息，达到所分配的带宽。信源信道联合编码的优点是可以随网络特性的变化动 态地改变保护级别，达到最佳的接收方播放效果，它的困难在于全局的优化实现 非常复杂。码率分配算法相当耗费资源。 总之，由于要容错必须增加一定的冗余编码，而传输的数据要求压缩得越小 越好，如何在数据的鲁棒性和编码效率之间取得折衷是这类算法研究的关键。 面向i n t e r n e t 传输的图像容错编码研究 1 2 4 错误隐藏后处理( e r r o rc o n c e a l m e n tp o s t p r o c e s s i n g ) 错误隐藏后处理则指解码端屏蔽和隐藏错误的技术，在接收端，采用一些后 处理技术，部分地恢复被破坏的图像，使其对视觉的影响最小。他们试图通过预 测和插值的方法恢复丢失信息，而不依靠编码端的冗余信息。时域、空域和频域 的平滑、内插和递归都属于该类范畴。时域错误隐藏方法是将数据丢失的图像用 前一场的相应位置的图像替代。空域错误隐藏方法是在一幅图像内，利用数据丢 失块周围的图像，采用插值的方法恢复出丢失块的图像。频域错误隐藏方法则是 对丢失的图像变换系数应用插值或过滤。 时域递归图像复原技术1 1 9 1 将递归估计应用于图像错误隐藏的一种方法，根据 递归公式在均方差最小的准则下由受损图像中恢复出原始图像： ( ) = 吼s j ( t 1 ) + 屈s ( d ( 1 1 ) 这里，i 是理想图像在时刻t 的估计，；j ( 一1 ) 是理想图像在时刻( 一1 ) 的估 计，j ( 毋) 是当前观测值，钱、晟则是系数。 基于区块变换编码的领域加权平均法【2 0 】是最简单的空域错误隐藏处理方法， 以丢失的像素点为中心，取单位距离构成一个邻域，以该邻域内部和边界上的像 素点加权平均值来替代： f ( i ) = 芝：g ( f ，j ) w ( i ，k ，三) ，k ，l ，( 1 2 ) 五 式中w ( i ，j ，k ，l ) 是邻域，内对应像素( 丘，三) 的归一化权值。 频域错误隐藏通常采用增频采样和卷积内插的方法1 2 ，预定义好的卷积核与 已有的低频图像进行卷积以恢复丢失的高频图像信息： z = ( 五一。 g ) ( i 2 ，j 2 ) ( 1 3 ) 其中一。是的低频近似图像，g 为卷积矩阵，圆表示卷积运算。 上述所有错误隐藏后处理技术都是基于图像本身的均匀平滑特性【2 2 】，利用时 间相关、空间相关、区域相似，并结合视觉多分辨率屏蔽特性，以相邻像素或区 块的冗余信息恢复丢失的图像信息。如何最大化地综合冗余特性，并克服边界模 糊与振铃效应是该类算法继续研究的方向。 图像还原质量是检验上述错误控制和错误隐藏技术是否有效的关键参数。包 括错误隐藏冗余的总编码或传输比特率是第二个评价参数。双向传输或多方通信 的延迟也是评价之一。另外，计算复杂度也是需要考虑的因素。这些评价参数的 优先级由应用决定。例如，延迟对于i n t e r n e t 图像传输或视频点播应用的要求较低， 而对于类似视频会议等多方图像通信应用则要求较严格。而且一些技术只适用一 种场合，一些技术则可以适应多种应用，例如检错重发在点到点的传输场景中表 现出色，但不适合组播或多播环境。错误隐藏后处理技术则通用于各种应用环境。 硕十学位论文 1 2 5j p e g 2 0 0 0 中的容错方法 j p e g 2 0 0 0 2 3 - 2 5 被认为是互联网和无线接入应用的理想影像编码解决方案，其 容错技术是整个标准的亮点之一。使用的容错方法主要有：数据分块，再同步， 错误发现，错误隐藏，基于质量优先级的传输等i z “。 j p e g 2 0 0 0 使用可变长编码f 算术编码) 来压缩量化后的小波系数，而可变长编 码易受信道或传输错误的干扰，一比特的错误将导致在熵解码端丢失并严重破坏 重建图像。为了提高在噪声信道上传输压缩图像的性能，j p e g 2 0 0 0 在其标准中采 用了容错的比特流与句法。 在j p e g 2 0 0 0 中分层的再同步是通过打包的方式实现的。由于基于小波的位平 面熵编码所产生的数据是分层的，从而包的结构也是分层的。这种方法并不影响 编码效率，仅仅需要少数码率开销。再同步主要依赖于下面的工具实现。 ( 1 1 由子带、位平面和码块分层组织的码流。码流和解码过程都是分层组织的。 解码器对码流是以块为单位解码的，即块间解码相互独立，因此，当同步建立后， 错误不会在块间传播。为了避免标记模仿，使用了字节为单位的位填充，虽然在 算术编码所产生的码字中是不可能出现标记的码字模仿的，但在编码的其他部分 可能会出现标记模仿，因而位填充也是很必要的避免标记模仿的方法。 但) 再同步标记分开的码块及段之间的解码过程去相关。为了确保块同步，把 块分成不同的部分，然后把来自不同部分的码流输出到不同的包中。这样，即使 块同步丢失( 包头出错) ，还能在下一个包处重新建立块同步。 ( 3 ) 容错包。每个容错包包含一个包头，其后面跟着控制信息和有效载荷数据 f 独立块中的码流段) 。在码流中每个包的开始处包头信息被添加到包里。包头包括 包同步标记，然后是标记数字。同步标记只能是唯一可译，而且在编码过程必须 保证这些码字在码流产生的过程中不能被模仿。容错包是通过包分割来对错误定 位。使用包分割工具，每个包只能包含在某个子带的某个块的码流，包中的包含 信息( 如包含块数，子带数等) 的编码在包间也是相互独立的。包中的标记数字包括 子带数，s n r 层数和包中码流的定位信息。包的控制信息包括包中所有码流的字 节长度，及关于码流属于那个块和那个位平面的信息。这些头信息可用变长编码。 有效载荷数据包括了来自不同块中相互独立的码流。由于每个码块都是独立编码 的，所以，在正确对包中控制信息的长度信息解码的情况下，一个码块中的比特 错误不会扩散到下个码块中。这种特性极大地提高了j p e g 2 0 0 0 码流的鲁棒性。 j p e g 2 0 0 0 还使用质量控制来达到容错。如在j p e g 2 0 0 0 中可提取所有在包头 中的控制信息将其放到全局的头中，而这个全局的头能够通过一个无损失的或低 误码率的信道传输。同样，码流的顺序也是按照视觉重要性的优先顺序来排序的。 最后，来自不同分辨率和位平面的包在传输中也有不同的质量控制。 1 3 论文研究内容与主要工作 论文针对i n t e r n e t 分组的丢失特性，分析了现有静态图像编码算法与框架在 差错复原能力上的缺陷，基于图像传输高效还原和高效压缩的目标，提出了在错 误多发和异构的i n t e r n e t 环境中图像编码算法和框架所应遵循的“全局性”和“独 立性”的通用设计原则，进而设计了一个兼顾压缩效率和还原质量的整体解决方 案高效稳定的信源，信宿联合图像编码框架j 2 s c 。 该框架以基于小波系数统计特征的伪随机整体采样策略对图像小波分解系数 进行再抽样，减少编码数量，去除编码相关，同时构建了一个基于拉普拉斯金字 塔的双向金字塔模型对小波重构后的受损图像进行推拉处理，平滑丢失影响。j 2 s c 框架既集成了现有j p e g 2 0 0 0 中的离散小波变换和熵编码技术，又增添了源端容错 策略和终端图像增强步骤，在保证图像压缩效率的前提下，提供了良好的还原视 觉效果，极大地改善了现有图像通信质量。 最后，论文在m a t l a b 环境下对j 2 s c 和现有图像编码算法和框架进行了详尽 地仿真比较。实验结果表明j 2 s c 框架不仅满足图像传输的高效压缩和灵活扩展要 求，还具有出色的丢包容错性能，从而更好地支持i n t e r n e t 图像传输应用。 综上所述，论文的主要研究内容与主要工作如下： 1 深入分析现有差错复原策略的缺陷，以高效还原和高效压缩为目标，提出了在 错误多发和异构的i n t e r n e t 环境中图像传输框架的通用设计原则。 2 针对i n t e r n e t 分组的丢失特性，设计了一个兼顾压缩效率和还原质量的整体 解决方案高效稳定的信源信宿联合图像编码框架j 2 s c ，满足i n t e r n e t 图 像传输的全局性和独立性要求。 3 在图像的小波系数统计分布特征上，提出了一种全局小波系数随机抽样的策略 和层次打包结构。 4 参照拉普拉斯金字塔，在接收端构建正反结合的的双向金字塔，提出了一种自 相似迭代图像恢复算法。 5 基于m a t l a b 仿真实现j 2 s c 编解码算法。 1 4 论文结构 第一章简要阐述了面向i n t e r n e t 图像传输的容错编码的必要性和迫切性， 提炼了容错编码的形式化描述，综述了现有的图像鲁棒传输解决方案，探讨了静 态图像压缩标准j p e g 2 0 0 0 的容错性。最后，对本文研究的主要内容、研究成果和 章节安排作了概述和总结。 第二章探讨了设计面向i n t e r n e t 稳定高效图像编码框架的挑战和机遇，总结 了适合i n t e m e t 传输的图像编码总则，并落实到本文的设计思想，提出了信源信宿 硕士学位论文 联合编码框架，详细描述了j 2 s c 整体系统框架和流程，最后，通过对j p e g 2 0 0 0 和j 2 s c 在压缩性能、容错性能、复杂度和通用性等方面的比较分析，得出了j 2 s c 算法具有比j p e g 2 0 0 0 更优秀的抗数据丢失的鲁棒性的结论。 第三章首先提出了图像编码中压缩比和健壮度的冲突，分析了现有高效编码 模式带来的误差扩散和编码依赖在分组丢失环境下对重建质量的破坏性，然后基 于自然图像小波系数统计分布实验，详细说明了本文建议的整体小波系数无依赖 随机采样策略，最后通过仿真实验对本文算法与e z w 算法进行了性能比较和评估， 证明本文算法较好地利用了小波图像多分辨率的特点，实现了无依赖的全局编码。 第四章如何利用图像通信自身的特点，充分借助接收到的像素信息，在图像 通信的终端采用恢复技术，使丢包对图像质量的影响减少到最低是本章的研究重 点。首先分析了图像通信中的各种错误隐减工具的特点和适应范围，它们抗误码 能力强，却不适合i n t e r n e t 信道。为了达到更好的还原效果，本文提出了一种双 向塔式图像恢复算法。它基于“变焦”思想，以拉普拉斯金字塔为参照，构建双 向金字塔数据模型，引入权值矩阵，进行水平和垂直方向二维的有效丢包补偿。 最后计算机仿真实验证明该算法在丢包条件下对图像恢复质量有很大提高。 第五章设计了计算机仿真测试模型，引述了验证图像编码算法有效性的评价 参数，以压缩性能和容错性能为测试重点，以j p e g 2 0 0 0 为参照对象，综合评测和 分析了j 2 s c 框架。 面向i n t c r n e t 传输的图像容错编码研究 第2 章高效稳定的信源信宿联合图像编码框架 i n t e r n e - c 的飞速发展为人们提供了最大范围最大规模的信息服务，多媒体信 息，尤其是数字图像和视频也随之爆炸式的增长。有关文献统计，2 0 0 3 年存储在 网络服务器上的5 0 以上的内容是数字图像和视频信息【2 7 】。同时移动通信、个人通 信和无线通信也越来越普及，通过网络传输数字图像和视频为人们呈现出一个极 具吸引力的信息交流场景。 2 1i n t e r n e t 图像传输挑战 2 1 1i n t e r n e t 传输参数 海量的、有着还原质量和时延限制的数字图像传输对基于数据传输设计的 i n t e r n e t 提出了巨大的挑战，在缺乏服务质量保证的i n t e r n e t 通信环境中，图像 传输要经历带宽、延时、丢失率等情况的动态变化。另外，由于网络的异构性， 还同时面临不同的服务质量要求。以下是i n t e r n e t 环境中图像传输的主要参数： a 异构( h e t e r o g e n e i t y ) 异构性可以分为通信子网异构和接收方异构两种情况。通信子网的异构性是 由于各子网资源( 处理能力、带宽、存储和拥塞控制策略) 分布不均匀，用户通过 不同的通信子网传输数据会体验到非常不同的吞吐量、丢包率和传输延迟。接收 方的异构性是由于用户设备的不同处理能力以及用户要求的不同服务质量造成 的。如图2 1 所示，用户i 通过局域网与 服务器相连，用户2 通过子网b 连接到服 务器所在的子网a ，用户3 通过子网c 连 接到子网b 再连接到子网a 。服务器用户 发送同一份数据，用户l 历经局域网服务 质量，用户2 经历a 、b 两个子网的服务 质量，用户3 则经历子网a 、b 、c 三者共 同作用的服务质量。同时用户1 、2 、3 所 要求的接收质量也各有不同。 b 带宽( b a n d w i d t h ) 图2 t fn t e r n e t 传输异构性l 为了保证一定的重现质量，图像尤其是图像序列的传输通常需要满足一定的 带宽要求。如h 2 6 3 + 编码需要2 8 k b p s 以上的传输带宽2 8 1 。而i n t e r n e t 由于没有 提供资源预留一类的协议保障，当网络拥塞发生时，媒体流数据的有效传输带宽 硕士学位论文 会突然降低，影响媒体流的表现质量，甚至造成图像无法观看。图2 2 中网络传 输带宽基本上在2 0 k b p s “8 0 k b p s 之间频繁波动，某一时刻实际传输带宽从2 0 0 k b p s 陡降到2 5 k b p s ，体现出强烈的动态变化和无规则性。 懈 非 拭 露 瓣 匿 埘咻 l 9 嘉锄 ： 图2 2 实际测试网络带宽随时间变化示意图p 1图2 3 数据丢失率随时间变化示意图”1 c 延时( d e l a y ) 延时是分组交换网络的固有属性，由于底层传输协议的区别，数据分组的传 输路径可能相同也可能不同。同一幅图像，同一条路径的不同数据包因为信道和 路由器的动态改变而具有不同的传输延时，不同路径的不同数据包不仅传输延时 不一样，还会导致接收顺序和发送顺序不一致。 d 误码( e r r o r ) 信号会因为衰减和噪声而引起错误，编码图像信号经过这些噪声信道时会不 可避免地发生比特错误，包括编码系数、同步码和地址字段以及其他控制信息。 编码系数出错，该段数据都不能解码直到下一个正确的重同步点出现：同步码出 错导致数据回放失同步；地址字段出错使得整个数据包都不能正确地到达接收方。 e 丢失( l o s s ) 媒体流数据分组的丢失会造成媒体内容表示质量下降，在某些情况下甚至会 造成解码器无法解码。因此，图像传输需要一定的传输丢失率限制，例如1 【2 ”。 然而，i n t e r n e t 是一种尽力服务网络，没有可靠性和服务质量保证，压缩图像数 据分组在i n t e r n e t 传输过程中，分组地址出现比特错误会引起分组丢失，网络拥 塞和缓冲溢出也会造成分组丢失，数据分组纠错失败、延迟过大、乱序到达也会 被主动丢弃。这样的传输机制和接收能力无法限制图像数据传输的丢失率。图2 3 显示图像数据流的丢失率在o 6 5 之间波动，波动范围大，波动频率快，动态改变 的特性十分明显。 可见，无论是网络异构，还是带宽有限，或是延迟、误码，i n t e r n e t 的种种 动态不可靠特性都会造成数据包的丢失，从而极大地影响图像传输质量。因此研 究面向i n t e r n e t 传输的图像容错编码具有非常现实和重要的意义。 鞋雀鸯_ f 2 1 2 面向i n t e r n e t 传输的图像容错编码机遇 数字视频和图像在i n t e r n e t 上的分发传输越来越普遍。现有的图像编码算法 较好的去除了图像的空间相关性，压缩率高，降低了对通信系统的带宽要求，但 是没有考虑到压缩数据可能在传输中丢失的情况和编码误差在丢失环境中在空间 上的扩散现象，从而极大的影响图像质量。对于不压缩的图像通信，可接受的丢 包率约为1 0 一，而对于压缩编码图像通信，因为丢失引起的误差和错误会在空间上 扩散，其对丢包率的要求很高，如对可视电话约为1 0 一，对h d t v 则高达1 0 。，且 压缩率越大，其对丢包率的要求就越高即】。当前需要为良好的图像传输质量付出 极不成比例的代价，如图2 4 。 n d 6 0 0 4 o 0 3 磊 。篱 、 1 氅。 。- 丢乜军o 。0 0 1 丢包率0 0 t 0 - 0 - 三包军o j 厂1 量- - 4 - 差包车o 2 + 丢包率o o ：垂薛裟 ! i 山一 图2 4 图像质量与健壮传输的代价比例” 于是，面对一个易丢包、易出错的不可靠传输环境，图像容错性编码成为图 像压缩领域的研究热点。现有的容错策略一般分为信源编码如分层编码( l c ) 、多 描述编码( m d c ) 和信源信道联合编码技术如( j s c o ) ，信道编码技术如前向纠错 ( f e c ) 和自动重传( a r q ) ，错误隐藏后处理技术如最大平滑恢复，凸集投影1 和运 动补偿预测f 3 2 1 等。但是正如第一章分析的那样，这些方案都各自存在着相应的假 设和缺陷，或者有待于进一步提高压缩效率，或者不满足网络带宽和延时限制， 或者实现复杂优化困难。图像的压缩效率和传输健壮性的矛盾仍然没有一个得到 很好的平衡，见图2 5 。 另方面，基于小波的压缩算法1 3 3 在静态图像压缩领域已经取得了巨大成功， 涌现出了大量代表性算法，如e z w ”j 、e b c o t ”】、s p i h t “1 等。上述文献中给出的 实验结果表明基于小波的算法完全能够取得和基于d c t 的算法相当甚至更好的压 缩效率，而且得到的恢复图像中有效抑制了分块效应，具有更好的视觉效果。可 吣 慵 哪 哪 健壮传“理价比鲥 硕士学位论文 以说在压缩性能、扩展性能和还原质量等各方面都具有优势的基于小波的图像压 缩编码算法正逐渐取代基于d c t 的图像压缩编码方式。 喜 麴 蓑 囊 ( a b ) 、 拿簇黥器 、 烹雾茎黏莲 3 。、 一 。、_ !t = h 哇 1 扩l r1 1 1 矿 传输信道错误率 图2 5 现有编码算法容错性能随传输错误率变化情况1 ” 第三，静态图像压缩编码标准j p e g 标准在传统上致力于数据压缩：基于 d c t + 量化+ v l c 压缩的7 p e g t 3 8 - 3 9 基本上不提供容错技术，当出现比特错误或数据丢 失时，图像质量变化很大，甚至无法解码；j p e g 2 0 0 0 通过再同步与数据划分、错 误检测与隐藏处理信道错误，但是这些机制抗误码性能强，却不适用于连续分组 丢失的平滑恢复。而且，现今的j p e g 标准有4 4 种操作模式