（信号与信息处理专业论文）静态图像压缩方法研究.pdf

图目录 图1 1 图像压缩的一殷框图6 图1 2 图像数据压缩的一个实例( j p e g 2 0 0 0 标准) 7 图1 3 估计所使用的像素示意图1 2 图l - 4 差分脉冲编码调制系统原理框图1 2 图1 5 二维矢量空间矢量量化示意图1 3 图1 - 6 分形图像：蝶恋花1 4 图1 7 卡通老鼠的三维线框模型1 6 图1 - 8 模型编码的编码效率和计算复杂度1 8 图2 1 时间一频率平面上的时频窗2 3 图2 2 尺度因子a 和平移因子b 的作用2 4 图2 3 一维小波分解与重构结构2 8 图2 - 4 二维小波分解与重构结构2 8 图2 5l e n a 原始图像( 左) 和经过3 级小波变换后的图像( 右) 2 9 图2 - 6 提升方法实现小波分解2 9 图2 7 利用提升方法实现小波变换框图3 0 图2 8 利用提升方法实现小波反变换的框图3 0 图2 - 9 三层小波分解及树状结构示意图3 2 图2 1 0 小波系数的扫描顺序3 3 图2 1 le z w 编码流程图3 3 图2 1 2 子带中的编码块3 6 图2 1 3e b c o t 各码块的质量层示意图3 7 图2 1 4l e n a 图像( 5 1 2 x 5 1 2 ) 在o 2 5 b p p 下的部分重构图像3 9 图2 1 5j p e g 2 0 0 0 基本系统框图。3 9 图3 1 算术编码过程4 4 图3 - 2 自适应算术编码器4 7 图3 3 基于上下文的自适应二进制算术编码的基本框图4 7 图3 - 4c a b a c 编码过程中的概率状态的转移规则4 9 i 图3 5l e n a 原始灰度图像( 5 1 2 x 5 1 2 ，8 b p p ) 5 0 图3 - 6 灰度图像l e n a 的直方图5 1 图3 7 利用上下文的l e n a 图像条件概率示意图5 2 图4 1 标准灰度测试图像6 0 图4 - 2 小波变换后的像素之间的相关性变化示意图6 2 图4 3e b c o t 邻域示意图6 3 图4 4 灰度图像编码的上下文模板6 3 图4 5 上下文树剪切示意图( s p l i t c o s t = 5 ) 6 6 图4 - 6 陷入局部最优解的上下文树( s p l i t c o s t = 5 ) 6 6 图4 7 图像小波系数的位平面6 8 图4 8 基于上下文量化的灰度图像编码框图6 9 图4 9 子带内小波系数扫描顺序示意图6 9 图4 1 0 位平面编码扫描的例子7 1 图4 1 l 不同编码方式的性能比较示意图( 测试图像为c a m e r a ) 7 4 图4 1 2 由不同编码方法获得的局部解码图像( 测试图像为c a m e r a ) 7 4 图5 1 风景图片j o k u l 及其y u v 三个分量的图像7 9 图5 - 2 打乱顺序的亮度和色度图像7 9 图5 3c e z w 和c s p i h t 中的父子节点关系8 0 图5 - 4c s p i h t 中的空间方向树结构8 1 图5 - 5 六幅标准测试图像( 2 4 b p p ) 8 3 图5 - 6 距离r 的定义8 4 图5 7 不同方法对应的上下文8 5 图5 - 8 分量u 的条件熵变化曲线8 6 图5 - 9 分量v 的条件熵变化曲线8 6 图5 1 0 高光谱图像v i l l a g e 中的1 6 个频段图像( 第4 0 5 0 波段) 9 4 图5 1 1 高光谱图像的三维小波变换9 4 图5 1 2 三维空间树结构( “黑色”的系数为根节点) 一9 4 图5 1 3 高光谱图像v i l l a g e 中的1 6 个频段的梯度图像( 第4 0 5 0 波段) 9 7 图5 1 4 三维小波系数的上下文模板9 7 图5 1 5 小波变换前后的能量比较( v i l l a g e ) 9 9 图5 1 6 对v i l l a g e 图像应用不同算法编码后的率失真曲线1 0 0 图6 i 一个会聚的多视角拍摄系统1 0 4 图6 - 2 多视角视频与多视角图像1 0 4 图6 3 多视角图像忽龙的采样图像1 0 4 图6 4 针孔摄像机的几何模型t 0 7 图6 5 立体视觉图像中的极线几何1 0 7 图6 - 6 多视角图像中的几何预测方法1 1 0 图6 7 极线附近的矩形搜索窗i l l 图6 8 一个基于多视图几何d v 预测的例子1 1 3 图6 - 9g p 编码模式。1 1 5 图6 1 0 基于h 2 6 4 的多视角图像压缩框架1 1 5 图6 1 1d v 融合前的图像1 1 7 图6 1 2 几幅多视角图像序列编码的失真率性能评估1 1 9 图6 1 3 当视角增大时不同编码模式需要编码的块数1 2 0 图6 1 4 平均极线距离和高斯噪声失真极线1 2 1 图6 1 5 不同噪声影响下的失真率效能评估( d i n o s a u r 序列) 1 2 1 v 表目录 表2 1 几种压缩方法性能比较( l e n a ，5 1 2 x 5 1 2 ) 3 8 表2 2 几种压缩方法性能比较( b a r b a r a ，5 1 2 x 5 1 2 ) 3 8 表3 - 1 信源符号及指定的数值范围4 4 表3 - 2 算术编码过程中的输出数值范围4 5 表3 3 一元二进制化转换表4 9 表4 16 幅测试图像的内部相关度6 1 表4 - 2 图像小波系数的统计相关性( t = 1 2 8 ) 6 2 表4 3 符号编码上下文量化表7 0 表4 4 编码扫描的例子7 0 表4 5 概率差值与自身概率值的比值( 编码位平面= 3 ) 7 2 表4 - 6 两种上下文量化方法的不同计算复杂度7 2 表4 7 不同编码方式的性能比较( 测试图像为c a m e r a ) 7 3 表4 8 不同编码方式的性能比较7 5 表5 1 不同阈值下的出现概率p ( r ) 8 4 表5 - 2 色度分量编码结果8 7 表5 3c m q 与j a s p e r 的彩色图像编码效果对比8 8 表5 4 概率差值与自身概率值的比值( 编码位平面- - 3 ) 1 0 0 表5 5 高光谱图像v i l l a g e 和h a r b o r 的压缩结果1 0 0 表6 1 不同d v 候选量数目的编码块比例( q p = 4 0 ) 1 1 6 表6 2 中值预测与几何预测剩余d v 长度的比较1 1 7 表6 3 不同视角下的性能评估( d i n o s a u rs e q u e n c e ) 1 2 0 v 1 独立完成与诚信声明 本人郑重声明：所提交的学位论文，是本人在指导教师的指导下，独 立进行研究工作所取得的研究成果。尽我所知，文中除特别标注和致谢的地 方外，学位论文中不包含其他人或集体已经发表或撰写过的研究成果，也不 包含为获得中国科学技术大学或其它教育机构的学位或证书所使用过的材 料。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 关于学位论文使用授权的说明 本人完全了解中国科学技术大学有关保管、使甩学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印件； 学校可以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允 许学位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学 位论文；学校可以公布学位论文的全部或部分内容。 ( 涉密的学位论文在解密后应遵守此规定) 签名：全塞日期：呈垒望：堡 摘要 当前社会随着信息技术的飞速发展，人们对图像质量、尺寸、读取速度的要 求越来越高，图像压缩已经成为数据压缩的一个核心组成部分，并一直吸引着广 大研究人员的注意。舀前以国际编码标准j p e g 2 0 0 0 为代表的新一代基于小波交 换的静态图像压缩方法，在将图像压缩效率提升到一个新的高度的同时，还能提 供关于时域、空域、质量等多种可扩展性。但这些辉煌的成就并不能满足人们日 益增长的需求，图像压缩技术还需要继续进行深入的研究。 本文在已有的图像压缩方法的基础上，分别分析了灰度图像、多通道图像以 及多视角图像的统计特性，并提出了几种新颖的、更有效的图像编码算法。本文 的主要工作和刨新之处归纳为以下几点： 1 从条件信息熵的角度出发，在理论上分析了高维上下文模型的最优量化标 准，并提出了一种具有较低计算复杂度的上下文量化标准。 2 结合离散小波变换和基于上下文的自适应算术编码方法，提出了一种基于 时、频域上下文预测模型的图像压缩算法。该算法首先建立了一个时、频域 的上下文预测模型，然后合理地对该模型中的上下文进行量化，以得到合适 的编码上下文用于自适应的算术编码以降低模型开销。 3 通过对以下两个问题的解答：1 ) 彩色图像中亮度和色度分量之间到底存在什 么性质的相关性? 2 ) 这种相关性到底有多强烈? 找出了最适合进行颜色编码 的上下文，并进一步地提出了一种新的嵌入式彩色图像编码方法。 4 提出了一种基于三维小波变换和上下文量化的高光谱图像压缩算法。该算法 利用三维小波变换去除高光谱图像在谱内和谱间的冗余信息，然后建立了一 个高维时、频域的上下文预测模型以去除小波系数之间的冗余信息。 5 在多视角图像压缩这一新兴领域，提出了一种能够获得准确差异向量( d v ) 的多视角几何预测方法。在这一预测方法的基础上，进一步地设计了一个通 用的多视角图像编码框架。 综上所述，本文对静态图像压缩技术进行了深入的研究，取得了一些有价值 的研究成果。数字图像压缩仍然是一个较有潜力的研究领域，值得我们更深入的 研究。 关键词：图像压缩上下文模型上下文量化三维小波变换高光谱多视角 l a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , t h er e q u i r e m e n t so ni m a g e q n a l i t y , s i z e ，a n dt r a n s m i s s i o ns p e e dp r e s e n t l yb e c o m em o r ea n dm o r ei n t e n s e a so n e o ft h ek e r n e lc o m p o n e n t si nd a t ac o m p r e s s i o n f i e l d i m a g ec o m p r e s s i o na l w a y s a t t r a c t sm a n yr e s e a r c h e r s a t t e n t i o n s n o w , t h en e wg e n e r a t i o no fi m a g ec o d i n g m e t h o d ，s u c ha sj p e g 2 0 0 0s t a n d a r d ，h a sp u tt h ee f f i c i e n c yo fi m a g ec o m p r e s s i o no n av e r y h i g hl e v e l a tt h e i d _ et i m e ，t h e s em e t h o d sa l s op r o v i d es o m eu s e f u lf u n c t i o n s ： t e m p o r a ls c a l a b i l i t y , s p a t i a ls c a l a b i l i t ya n dq u a l i t ys c a l a b i l i t y h o w e v e r , t h e s e s p l e n d e n ta c h i e v e m e n t ss t i l lc a l ln o ts a t i s f yt h ep e o p l e sr e q u i r e m e n t t h e r ea r eal o t o f w o r k ss t i l ls h o u l db ed o n et oi m p r o v et h ep e r f o r m a n c eo f i m a g ec o d i n g b a s e do nt h ee x i s t e n tr e s e a r c hw o r k s ，t h i sp a p e rr e s p e c t i v e l ya n a l y s e st h ef e a t u r e s o fg r a y - s c a l ei m a g e ，m u l t i c h a n n e li m a g ea n dm u l t i - v i e wi m a g e b a s e do nt h ec l e a r a n a l y s i s s e v e r a ln o v e la n de f f i c i e n ti m a g ec o d i n gm e t h o d sa r ep r o p o s e d t h em a i n c o n t r i b u t i o no f t h i sd i s s e r t a t i o nc a nb es u m m a r i z e da sf o l l o w s ： 1 w es t u d i e dt h eo p t i m a lc o n t e x tq u a n t i z a t i o nc r i t e r i o nf o rt h eh i g i ld i m e n s i o n c o n t e x tm o d e lf r o mav i e wo fc o n d i t i o n a li n f o r m a t i o ne n t r o p y t h e n , an o v e l c o n t e x tq u a n t i z a t i o nc r i t e r i o nw i ml o wc o m p u t a t i o n a lc o m p l e x i t yi sp r o p o s e d 2 t h ep a p e rd e s c r i b e sa l li m a g ec o d i n ga l g o r i t h mb a s e do nt h ed i s c r e t ew a v e l e t t r a n s f o r ma n dc o n t e x t b a s e da d a p t i v ea r i t h m e t i cc o d i n g an o v e lc o d i n gm o d e l ， t h ec o m b i n a t i o no ft h es p a t i a la n df r e q u e n c yp r e d i c t i o ni nt h ew a v e l e td o m a i n , i s p r o p o s e di nt h ep a p e r a tt h es a m et i m e ，c o n t e x tq u a n t i z a t i o na st h ek e yp a r to f a r i t h m e t i cc o d i n gi sc a r e f u l l ya n a l y z e di no r d e rt oo b t a i ni ns u i t a b l ec o n t e x t sf o r c o d i n ga n dd e c r e a s et h em o d e lc o s t 3 a n a l y z e st h ei n t e r - c o l o rc o r r e l a t i o na n da n s w e rt w oq u e s t i o n sr e l a t e dt oc o l o r i m a g ec o d i n g ：( 1 ) w h a tk i n do f i n t e r - c o l o rc o r r e l a t i o ne x i s t si nc o l o ri m a g e sa f t e r t h ed i s c r e t ew a v e l e tt r a n s f o r m ? ( 2 ) h o ws t r o n gi s 船t i f f sa n a l y s i sh e l p su st o f i n dam o s ts u i t a b l ei n t e r - c o l o rc o n t e x ta n de v e n t u a l l yl e a d st oan e we m b e d d e d c o l o ri m a g ec o d e c b yu s i n gt h ed i s c o v e r e di n t e r - c o l o rc o n t e x t ，s i g n i f i c a m p e r f o r m a n c ei m p r o v e m e n t c a l lb ea c h i e v e dw h e n e n c o d i n gc h r o m i n a n c e c o m p o n e n t s 4 p r o p o s e dan o v e lh y p e r - s p e c t r a li m a g ec o d i n gm e t h o db a s e do nt h r e e d i m e n s i o n w a v e l e tt r a n s f o r m ( 3 d w t ) a n dc o n t e x tq u a n t i z a t i o n i nt h i sm e t h o d 3 d 、 厂ri s f i r s t l ya d o p t e d t or e m o v et h ei n t r a - a n d i n t e r - s p e c t r a lr e d u n d a n c y o f h y p e r - s p e c t r a li m a g e s t h e nt h ec o n c i s i o no fw a v e l e tc o e f f i c i e n t si sa n a l y z e db y ah i 曲d i m e n s i o nc o n t e x tp r e d i c t i n gm o d e l 5 i nt h eb o o m i n gf i e l do fm u l t i - v i e wc o d i n g ，p r o p o s e sag e o m e t r i cp r e d i c t i o n m e t h o d o l o g yf o ra c c u r a t ed i s p a r i t yv e c t o r ( d v ) p r e d i c t i n g b a s e do nt h en e wd v p r e d i c t o r , t h i sp a p e rd e s i g n sab a s i cf r a m e w o r kt h a tc a l lb ei m p l e m e n t e di nm o s t e x i s t i n gm u l t i v i e wi m a g e v i d e oc o d i n gs c h e m e s i nc o n c l u s i o n , w es t u d i e dt h es t a t i ci m a g ec o d i n gt e c h n i q u e sa n da c h i e v e ds o m e v a l u a b l er e s u l t s h o w e v e qs t a t i ci m a g ec o d i n gi ss t i l lap o t e n t i a lr e s e a r c hf i e l dw h i c h i sw o r t h yo f f u r t h e r s t u d y k e y w o r d s ： i m a g ec o m p r e s s i o n ， c o n t e x t m o d e l ， c o n t e x t q u a n t i z a t i o n , t h r e e d i m e n s i o n a lw a v e l e tt r a n s f o r m ，h y p e r - s p e c t r a li m a g e ，m u l t i - v i e wi m a g 4 第1 章绪论 1 1 概述 第1 章绪论 视觉是人类获取信息的最重要的途径之一，外部世界丰富多彩的信息大部分 是通过视觉感知的。统计表明，视觉信息占人类从外界获取信息的2 3 ，而听觉 信息约占l 5 ，其余为触觉、味觉、嗅觉等信息。“百闻不如一见”，图像信息具 有直观、形象、易懂和信息量大的特点，是人类最丰富的视觉信息来源。随着计 算机、数字通信、多媒体和网络技术的发展，图像作为信息最重要的载体之一， 已经深入人们的日常生活。 一般来说，图像可以看作是一个二维的样本值序列， x i ，刀，0 s f m ，0 j n( 1 1 ) 在垂直和水平方向分别具有有限的宽度膨和样本值工 f ，刀表示图像在第f 行、第，列位置上像素点的强度( 亮度) 。样本值通常是b 位的有符号或无符号 整数。而具有c 维的图像( 如彩色图像、高光谱图像) 则可由多个图像分量来 组成： t f ，】，0 s i m ，0 s j n ， c = 1 , 2 ，c ( 1 2 ) 在实际应用中，一幅数字图像的数据量是非常巨大的，这给图像的传输和存 储带来了相当大的困难。因此，图像压缩技术被广泛采用，以去除图像中的冗余 信息，减少图像的数据量。这些冗余信息主要有以下几个方面： 空间性冗余：在图像中，相邻的两个像素具有较近的灰度值。 结构性冗余：由于先验知识，人们知道图像中的一部分信息就可推知另 部分信息。 心理视觉冗余：由于人的视觉特性，当图像中的某些信息被去掉后，对 整个人的视觉影响不大。 关注度冗余：用户通常只对原始图像的一部分信息感兴趣。 匹配性冗余：当系统各部分分辨率不一致时，保持某一部分的高分辨率 是没有意义的。 量化性冗余：改变量化判决灰度和重建灰度，用更少的量化等级数可达 第1 章绪论 到相同的视觉效果。 频间冗余：一幅图像中不同频谱之间的像素之间存在着很强的相关性。 编码冗余；如果图像的灰度在编码时所用的符号数多于表示每个灰度级 实际所需的最少符号数，这种编码方式得到的图像就具有编码冗余。 研究表明，原始图像的灰度分布越有规律，图像内容的结构性越强，各像素 间的相关性越大，它可能被压缩的数据量就越多。 目前存在着很多种的图像压缩方法，但从本质上来说，它们都包含有三个基 本环节：交换，量化和编码，如图1 - 1 所示。其中变换的任务是将原图像样本转 换成能使量化和编码运算相对简单的形式。一方面，变换应该抓住原图像样本问 统计相关性的本质。因此变换样本y 和量化系数g ，最多只是表现出局部相关性， 在理想情况下它们应该是统计独立的。另一方面，变换应该把不相关信息与相关 信息分离开。这样可以区分不相关的样本，对它们进行更深度量化，甚至丢弃。 量化器则是在一定的允许客观误差或主观察觉图像损伤条件下，通过生成一组有 限个离散符号来表示压缩的图像。量化过程是一个幅值离散的过程，它是不可逆 的，也是三个环节中唯一引入失真的步骤。在无失真压缩编码方法中不应该存在 量化过程。编码器给量化器输出的每个符号指定一个码字，即二进制码流。编码 器可以使用定长编码或变长编码，变长编码又称为熵编码。编码过程和变换过程 一样都是可逆的，无损耗的。 望堡 i交换l ! 量查一量化器l 二i ! ! 纠编码器l ! 墼 x y = t ( 力 i y q = q ( y ) l q c = c ( q ) l o l l 一l j 。一 i 霎堡堕堡l 反变銎1 纠曼量化挚1 到重簪l j 卅j = t 。( y ) 阿y = q 。( g ) m 口= c 。( c ) 广 图i - 1 图像压缩的一般框图 对于目前存在的这些有失真的压缩算法，应该有一个评价准则，对压缩后的 图像质量给予评判。常用的评价标准有两种：一种是主观准则，另一种是客观准 则。 主观评价方法就是让一群观察者对同一幅图像按视觉效果的好坏进行打分， 并对其进行加权平均“1 。通常对图像质量的评价可分为很好、较好、一般、较差、 极差五个等级。用主观的方法来测量图像的质量通常更为合适，但是该方法操作 复杂，且不能应用于实时传输的场合。 6 第l 章鳢 论 在实际的图像编码领域中，广泛使用的是图像质量的客观准则。传统的客观 评价方法用恢复图像偏离原始图像的误差来衡量图像恢复质量，该误差定义为： 蠢2 赤蕃莓阪“) 一一( ) 】2 ( 1 3 ) 式中，肠和n 分别为图像垂直和水平方向的像素数：x ( i ，d 和工( f ，d 分别为原始 图像和编解码后重建图像在o ，d 点的像素值。利用均方误差可以定义两种信噪 比，分剔为 跚= 1 0 l g ! ；( 拈) ( 1 4 ) d ： c 2 p s n r = 1 0 1 9 = 孚( 掳 ( 1 。5 ) 其中，。五善善f x ( f ，歹) 】2 为原始图像的平均功率；艰一为原始图像信号的 峰一峰值。虽然s n r 在信号处理的文献中使用很普遍( 相当于信号功率与噪声 功率之比) ，但在图像编码领域更多的是采用峰值信噪比p s n r 。一般地，原始 图像被均匀量化为2 5 6 个电平( 8 b ) ，其峰一峰值为2 5 5 ，此时式( 1 5 ) 可写成 p s n r ：l o l g 2 5 5x 7 2 5 5 ( d 曰)( 1 6 ) 评价图像压缩效果的另一个重要指标是压缩比c ，它指的是表示原始图像每 像素的比特数同压缩后平均每像素的比特数的比值。设一幅图像在压缩前和压缩 后所占的比特数分别为b 和，则压缩比c 定义为： c = 睾 ( 1 7 ) d d 另外每个像素所占的比特数，也简称为比特率( b p p ) ，单位是b i f f s ，也是刻画压 缩技术或系统的重要性能指标。图1 2 显示了一幅图像在不同压缩比下的重建图 像，可以看出，压缩比越大重建图像的p s n r 值就越低，也就越不清楚。 国i - 2 图像数据压缩的一个实例( j p e g 2 0 0 0 标准) ( a ) 3 8 4 x 2 5 6 的原始图像m o n a r c h ( b ) 压缩i o 倍后的重建图像( p s n r - 4 0 6 8 d b ) ( c ) 压缩1 0 0 倍后的重建图像0 s n r = 2 4 4 4 d b ) 7 第1 章绪论 1 2 信息论基础 香农( s h a n n o nc e ) 信息论的基本思想是从概率统计的观点对信息传输问题 进行建模，并给出了对符号序列进行无失真表示和传输所需要的比特率下界。它 由信息度量，信源编码，信道编码，率失真理论四部分组成 2 1 。人们普遍认为， 香农信息论与正交变换技术一起奠定了图像编码技术的理论基础，对图像编码有 着极其重要的指导意义，它们方面给出了图像编码的理论极限，另一方面也指 明了图像编码实现的技术途径【3 】o 1 2 1 信息的度量 经典信息论认为，实际信源中均含有一定的自然冗余度，这些冗余度可能来 自于信源本身的相关性，也可能来自于信源概率分布的不均匀性。只要能找到去 除相关性，解决概率分布不均匀的方法，就可以实现有效的数据压缩州。 信源发出某符号的信息量可以用这一符号出现的不确定性来描写。如果一 个符号的出现可以比较准确地预测，那么这个符号就只含有很小的信息量；一个 符号的出现很难预测，则这个符号就具有较大的信息量。可见，一个符号出现的 不确定性越大，它的信息量就越大。经典信息论用概率论的方法对信息作了定量 的描述：设信源为x ，集合 x 。，z ：，x n 为表示信源信息内容的符号集合如果各 符号x 的出现是各不相干的，或者说是独立的，在信息论中称信源x 是无记忆信 源。设以蕾) 为信源x 产生符号五这一事件的橛率，则定义五的信息量，( t ) 为： ，( t ) = - l o g 。p ( t ) ( 1 8 ) 对各符号的信息量， ) 按其概率p ( t ) 进行求和，可得的信息量j v ( x ) 为： 月( ) = p ( y ( ) = p ( ) l o g 尸( 薯) ( 1 9 ) j i i i = 1 信息论中将俄称为信源x 的熵( e n t r o p y ) ，它是信源不确定度的度量。信息 缡的单位是；强制单位符号，因此根据对数底的不同分别是：比特符号，奈特 符号，哈特符号。 通常情况下，信源先后发出的信息符号之间是相互依存的，具有这种特征的 信源称为有记忆信源。设zy 是两个随机变量，它们可能是信源的两个连续输 出，也可能是两个有关系的不同信源的输出，在已知y 的观察值情况下，x 的条 8 第1 章绪论 件熵为： h ( x ly ) = 一p ( 葺，y , ) l 0 9 2 p ( x ，1 只)( 1 1 0 ) ，耐，t i 可以证明脚z 险月硼，) ，也就是说，在已知r 的观察值情况下，x 的熵不会增加。 由式( 1 1 0 ) 可以得到一个有记忆信源的极限信息熵为： ，l i m 峨( ) 2 嫩日( i 而，屯，- ，一i ) ( 1 - 1 1 ) 实际信源发出的消息符号往往只与发出前若干个符号的依存关系较强，而与 更早发出的符号依存关系较弱，这种信源称为有限记忆信源，一般的声音、图像 和视频信号都属于这种情况。 如果一个有记忆信源发出的一个符号的概率和此前相继发出的m 个符号相 关，而和再往前的第价- u 个、第倒- + 矽个、符号相互独立无关，这种信源可 用m 阶马尔可夫( m a r k o v ) 过程描写，称为m 阶马尔可夫信源。此时可用条件概 率分布p 劁局巾x # - 2 ，x “0 来描述信源的统计特性。其中m 为阶数，称为 记忆阶数。通过条件概率算得的熵记为凰，当肘为l 时，就是二阶熵值；膨为 0 时，得一阶熵，此即无记忆信源。 对于有记忆信源，联合事件集的总熵小于两个独立信源的联合熵，即： h ( x y ) = ( x ) + h ( r i x ) s 日( j ) + h ( y ) = 片一( x d ( 1 i 2 ) 日( 彳d 与e 。( x y ) 之差就反映了此联合信源所含有的冗余度，信源中的相 关性越大，冗余度就越大，设法减小此相关性便能够有效地进行数据压缩。 1 2 2s h a n n o n 编码定理 s h a n n o n 三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然 并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定 理是无噪声信源编码定理；香农第二定理是有噪信道编码定理；香农第三定理是 保失真度准则下的有失真信源编码定理，也称信息率失真理论“1 。 1 ) 无噪声信源编码定理 所谓信源编码就是用二进制码字序列表示一个信源的输出序列。对于离散信 源，实现无失真信源编码的条件可以用香农第一编码定理来描述。 香农第一编码定理对于离散信源五实现无失真编码的条件是其平均码字长度 不能小于其信源熵月，即： 9 第1 章绪论 日( x ) l c 时，无论何种信道编码方式都无法实现信息的无失真传输。这也说明 了，在有噪信道中的信息传输一样可以即有效，又可靠。 0 第l 章绪论 3 ) 信息率失真理论 在香农信息论中，对于率失真函数可以这样表达，即率失真( r - d ： r a t e d i s t o r t i o n ) 函数是在允许失真为d 的条件下，信源编码给出的平均互信息量 的下界，也就是数据压缩的极限码率。或者说，在给定允许的某种失真测度后， 编码器能够达到的比特率的最低限，由率失真函数足( d ) 给出 r ( d ) = 腆，( x ，y ) ( 1 1 6 ) y v 口 其中，晒y ) 表示原信号肖和编码输出y 之间的互信息量：幽为保证失真 在允许范围d 内的条件概率集合，即q 矿 q ：d ( q ) o ，以及任意足 够长的码长 r ，则一定存在一种信源编码阢其码字个数为 m e x p n r ( d ) + 占】) ( 1 1 7 ) 而编码后玛的平均失真度 d ( 形) d + f( 1 - 1 8 ) 保真度准则下的信源编码定理证实了在给定的失真度d 的情况下，总能找到 一种编码方案，其编码比特率r 接近于是( d ) ，而平均失真度小于允许的平均失 真度d 。反之，若r ， r ( d ) ，那么编码后的平均失真度将大于d 。可见，r ( d ) 确 实是允许平均失真度为d 的情况下，信源信息率压缩的下限值。 1 3 图像编码的研究现状 图像编码的一个重要目的是在保证一定重构质量的前提下，以尽量少的比特 数来表征图像信息。图像编码经过近几十年的发展，出现很多种编码方法。其中 不但包括基于经典香农信息论的传统压缩方法，也有结合计算机视觉、模式识别、 分形几何等新一代的图像编码方法。这些图像编码方法按照算法的原理的不同， 主要分成以下几类翻： 1 ) 预测编码 删( p r e d i c t i v ec o d i n g ) 是利用图像信号在局部空间和时问范围内的高度 相关性，通过与当前像素相关性较大的近邻像素值来预测当前像素值，然后量化、 第1 章绪论 编码预测误差。但考虑到实时性，则只能使用已传送的像素来估计未来的像素， 即使用如图1 - 3 ( a ) “所示的符合因果性的像素。 ( a ) 因果( b ) 半因果( c ) 非因果 图1 3 估计所使用的像素示意图 预测编码分为线性预测和非线性预测两种。其中，最常用的是差分脉冲编码 调制( d p c m ：d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，其原理框图如图1 4 所示；如 果其中的量化器只有两个输出电平，则称为增量调制( m ) 。 图1 - 4 差分脉冲编码调制系统原理框图 预测编码的关键在于预测算法的选取，这与图像信号的概率分布密切相关。 实际中常根据大量的统计结果采用简化的概率分布形式来设计最佳的预测器，还 可以根据图像局部的统计特性来实现自适应预测，并利用人的主观视觉特性以实 现自适应量化。 2 ) 变换编码 与预测编码技术相比，消除图像数据空间相关性的一种更有效的方法是进行 信号变换，通过变换编码( t r a n s f o r mc o d i n g ) 使图像数据在变换域上最大限度地不 相关。变换编码是将一组像素值经过某种形式的正交变换转换成一组变换系数， 然后根据人的主观视觉特性对各变换系数进行不同精度的量化后编码的技术。尽 管图像变换本身并不带来数据压缩，但由于变换后系数之间相关性明显降低，图 像的大部分能量只集中到少数几个变换系数上，采用适当的量化和熵编码后可以 有效地压缩图像的数据量。用于图像编码的正交变换有离散傅立叶变换( d f t ) 、 沃尔什一哈达玛变换( w r i t ) 、哈尔变换( h r t ) 、斜变换( s l a 3 、离散余弦变换( d c t ) ， k l 变换等。这些变换中，除k - l 变换之外，都有快速算法。k l 变换是在最小 1 2 第1 章绪论 均方误差准则下进行图像压缩的最佳变换，但因其变换矩阵随图像内容而异，因 此无快速算法。 3 ) 矢量量化编码 香农率失真理论指出，即使对无记忆信源，矢量编码f v q ：v e c t o r q u a n t i z a t i o n l 也总是优于标量编码。图1 5 ”。给出了二维空间的矢量量化示意图。图中的虚线 是维空间标量量化中分层点的推广，这些虚线将二维矢量空间划分成许多区 域，在同一区域中的不同点都用该区域中的那个“黑点”代替，这样便实现了矢 量量化。这些“黑点”就是码字或码矢，所有的“黑点”组成码书。 t ： ， h x j ， ，? 图1 - 5 二维矢量空间矢量量化示惹图 基于矢量量化的图像压缩方法是利用相邻图像数据之间的高度相关性，将输 入的图像数据序列分组。每组州个数据被描述成为一个有m 个元素的矢量。实 际的矢量量化图像系统中编码器和解码器内置有相同的码本( c o d e b o o k ) ，码本由 所有可能矢量之集合的有序子集组成。编码器根据特定的距离准则，在码本中对 输入图像进行矢量匹配，然后对匹配的码本序号进行编码，从而实现了由一个矢 量所需要的比特数到一个码字序号所与比特数的压缩。 在编码过程中，矢量量化的码本是根据训练矢量集合来设计的，通常用的是 l b g0 - i n d e ，b u z o ，g r a y ) 算法“1 。其矢量量化器设计的问题，可由两个优化准则 来描斛8 l ： 1 ) 最近邻条件( 最佳划分) ：对于给定码书，训练矢量集的最佳划分可通过把 每个训练矢量映射为离它最近的码字而得到。设给定码书为c = y o ，门， 灿l ，大小为，训练矢量集为x = x o ，x i ，x m i ，则训练矢量集的最佳 分类 r o ，且l ，鼽i 满足： 第1 章绪论 r 一= ( pd ( v ，m ) 2 r a * i n i d ( y ，y ”x )( 1 1 9 ) 2 ) 质心条件( 最佳码书) ：对于给定训练矢量划分，最优码书的各码字为各胞 腔的质心。设给定划分 硒，r i ，r , v - t ，为了使量化器的总体平均失真 最小，则码字”必须是尼的质心。若采用平方误差测度，设慨| i 表示集合r ， 中的元素个数，则质心可由下式给出： 只2 南荟矿 ( 1 2 0 ) 4 ) 分形编码 现有的大多数图像编码算法仅仅是借