（电路与系统专业论文）基于区域的图像压缩方法研究.pdf

摘要 摘要 图像压缩编码是图像处理重要分支之一，在许多领域有着广泛应用。随着技 术的发展，图像压缩算法不仅要有较好的压缩率，而且对重构图像的视觉效果要 求越来越高。本文在己有图像压缩方法基础上，分析了与视觉效果相关的图像 感兴趣区域提取、前景提取及基于区域显著度的压缩码流分配，主要工作和创 新点归纳如下： 提出了一个基于区域显著度的图像压缩编码方法，用较低比特率压缩低频 子图像，较高比特率压缩高频子图像中r o i 区域，生成压缩图像数据。方法能 在较好的保留边界和感兴趣区域信息的同时提高压缩率。 给出了一种具有分割唯一性的快速r s s t 图像分割方法，以类标号距离作为 相似性度量，减少了区域合并次数，能在保持较好区域均匀性的同时减少了分 割用时。 给出了一种能处理前景中噪声区域的图切分前景提取方法，在图切分算法 中引入惩罚项抑制噪声区域、并利用高斯模型建模，得到改进的能量函数，能 提取出较完整精确的前景对象。 采用模块化设计完成了一个实验性的基于区域的图像压缩软件系统，并采 用b s d s 图像库作为实验图像对上述方法进行了仿真实验，获得了预期的实验结 果。 论文对基于区域的图像编码方法一些基本理论与应用进行了初步的研究和 探讨，虽然取得了一些初步的研究成果，但仍有许多问题需进一步分析研究。 如随着视觉模型研究的进展，如何更好的选取r o i 区域等。 关键词：图像压缩，感兴趣区域，图像分割，图切分，回归最短生成树，前景 提取，预测上下文模型 a b s t r a c t a b s t r a c t i m a g ec o m p r e s s i o ni so n eo ft h em o s ti m p o n a i l tb m c ho fi m a g ep r o c e s s i n g ， a n dh a s 谢d e s p r e a du s ei nm a n yf i e l d s w i mt h ed e v e l o p m e n to ft h et e c l l i l 0 1 0 9 y i m a g ec o m p r e s s i o ns h o u l dn o to n l yh a v eh i 曲c o m p r e s s i o nr a t e ，b u ta l s oh a v eb e 他r v i s u a le 肫c t s b 硒e do nt h ei m a g e s e g i l l e n t a t i o 玛t l l ep a p e ra n a l y z e 恤e x t r a c t i o no f t h er e g i o no fi n t e r e s t ，f o r e g r o u i l de x t r a c t i o na n di m a g e c o m p r e s s i o nm e t h o db 器e d o nt h es a l i e n c ym a po ft h er e g i o n t l l ed e t a i l e dc o n t e n t sa r e 嬲f o l l o 、椭 p r o p o s et h ei m a g ec o m p r e s s i o nm e t h o db 弱e do nr e g i o ns a l i e n c ym a p r r o p o s et n el m a g ec o m p r e s s i o nm e t h o db 弱e do nr e g i o ns a l i e n c ym a p c o m p r e s st h el o w 行e q u e n c ys u b - i m a g ew i t l li o wb i t g c r e 锄r a t ea 1 1 dr o ii nh i g l l 舶q u e n c ys u b i m a g e w i t hh 诎 b i t - s 仃e 锄r a t e ，龀n 南肌廿l ec o m p r e s s i o n b i t s t r e 锄t 1 1 em e 廿l o dc a i lk e 印t h ee d g e 锄dr o ii 疵m a t i o n 觚di m p 0 v em e c o m p r e s s i o nr a t i o 。 p r o p o s et h er a p i dr s s ti m a g es e g e m e n t a i o nm e t | d ，c l a s sla _ b e ld i s t a n c ei s u s e dt 0d e f i r l et h es i m i l a r i t ya i l dt 1 1 ec o u n to fr e g i o nc o m b i n a t i o ni s r e d u c e d c o 玎e s p o n d i n g t h em e t l l o dc a nr e d u c et h es e g e m e n t a i o nt i i n ea n dk e e pt h er e g i o n t s u i l i f o 肌i 够 b a s e do n 笋a p h - c u tm e t h o d ，af 0 r e 蓼o u l l de x 位比t i o nm e m o dt l l a tc 柚p r o c e s s 吐1 en o s i ea r e ai sp r o p o s e d ，f 0 mt h en e we n e r 斟f 吼c t i o nw i mt l l ei i l 仃d o u c t i o no f p u n i s hi t e m 锄dg u a s sm o d e l ，t h ep r e c i s ef o r e g o u i l do b j e c tc a nb ep i c k e do u t c o m p l e t e l y at e s ts y s t e mo fr e g i o nb a s e di m a g ec o m p r e s s i o ni s d e s i g n e d 田1 dr e a l i z e d e n c o u r a g i n ge x p e r i m e n t a lr e s u l t s 丘o mb s d si m a g ed a t a b a s ei l l u s 缸纰em ev a l i d 时 o ft h ep r o p o s e dm e t l l o d si nm i sd i s s e n a t i o n s o m eb 嬲i cr e s e a r c hr e l a t e d 谢t hi m a g ec o m p r e s s i o nb a s e do n r e g i o ni s a c c o n l p l i s h e d ，b u tm a n yp r o b l e m sa r en e e d e dt oa 1 1 a l y z ea 1 1 dr e s e r a c hd e e p l y f o r e x 锄p l e ，邪t 1 1 ed e v e l o p m e n to ft h ev i s u a lm o d e l ，h o wt oc h o o s et h er o ib e t t e r k e yw b r d s ：i m a g es e g m e n t a t i o n ， r e g i o no fi m e r e s t ，i m a g es e g m e n t a t i o n ，伊印h c u t ，r e c u r s i v es h o r t e s ts p a l l n i n gt r e e ，f o r e g r 0 姗i de x 虹a c t i o n ，p r e d i c t i v ec o n t e mi n o d e l i i 图表索引 图表索引 图 图1 1 图像数据压缩系统框图2 图1 2 感兴趣区域图像数据压缩系统流程8 图2 1 显著性阈值选择实验结果，纵轴代表大于给定值的图像比例1 4 图2 2 加权图与最短生成树1 5 图2 3 图像到加权图1 5 图2 4 区域合并示意1 6 图2 5 基于区域显著度压缩方法框图2 3 图3 1 八邻域对应的l b p 统一模式2 8 图3 2 基于图切分的前景提取及压缩框图：”3 3 图4 1s a d w t 变换后得到的系数空间树4 0 图4 2 改进p p a m 方法训练阶段流程4 l 图4 3 改进p p a m 方法压缩与解码流程4 2 图5 1 图像压缩系统功能模块4 4 图5 2j p e g 2 0 0 0 标准压缩框架4 7 图5 3j p e g2 0 0 0 模块组织关系图4 8 图5 4j p e g2 0 0 0 编码流程5 1 图5 5 基于区域显著度码流分配图像压缩流程4 9 图5 6 前景提取及压缩方法流程5 2 图5 7 改进p p 八m 方法处理流程5 3 图5 8 图像压缩软件系统界面5 4 图6 1 改进r s s t 方法结果及与j s e g 方法比较6 1 图6 2 低频子图像的p s n r 及其对应的图像数6 1 图6 3 基于区域显著度的图像压缩结果比较6 4 图6 4 前景中含有干扰区域的前景提取6 5 图6 5b s d s 库中部分图像提取效果6 7 图6 6 改进p p a m 方法实验图像7 6 v i 图表索引 表 表3 1 加权图中边的权值定义3 0 表4 1p p a m 算法中不同图片实验时选取的3 7 表6 1 改进r s s t 方法与传统r s s t 方法的分割效果比较5 8 表6 2 改进r s s t 方法与传统r s s t 方法运算时间比较( 时间单位s ) 5 9 表6 3 ：基于区域显著度压缩方法b l o c k s i z e 与显著度对应关系6 2 表6 4 ：基于区域显著度压缩方法和j p e g 、j p e g 2 0 0 0 方法比较6 2 表6 5 ：基于区域显著度压缩方法r o i 与非r o i 的压缩率比较6 3 表6 6 前景提取及压缩方法各部分码流分配6 8 表6 7 前景提取及压缩方法压缩效果比较6 8 表6 8 前景提取及压缩方法前景与背景压缩效果6 9 表6 9e d p 差分预测图像压缩率比较7 l 表6 1 0m d p 差分预测图像压缩率比较7 2 表6 1 le d p 差分预测图像压缩时间比较( 单位秒) 7 3 表6 1 2m d p 差分预测图像压缩时间比较( 单位秒) 7 4 v n 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文。是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：兰塑、 砰6 月) 日 第一章绪论 1 1 图像压缩现状与意义 1 1 1 图像压缩背景 第一章绪论 在信息社会高度发展的今天，图像成为传递信息的重要载体之一。随着多 媒体技术和通讯技术的不断发展，多媒体娱乐、信息高速公路不断对信息数据 的存储和传输提出了更高的要求，也给现有的有限带宽以严峻的考验，特别是 具有庞大数据量的数字图像通信，更难以传输和存储，极大地制约了图像通信 的发展，因此图像压缩技术受到了越来越多的关注。图像压缩目的就是把原来 较大的图像用尽量少的字节表示并传输，且复原图像应有较好质量。利用图像 压缩，可以减轻图像存储和传输负担，使图像在网络上实现快速传输，在存储 时可减少空间使用。 一般来说，数字图像可看作一个二维的样本值序列， 虹f ，刀，o i m ，0 ， ( 1 1 ) 在垂直和水平方向分别具有有限的宽度m 和高度；样本值虹，力表示图像在 第f 行、第，列位置上像素点的强度( 亮度) ；而具有c 维的图像( 如彩色图像、高 光谱图像) ，则可由多个图像分量来组成： x 。【f ，】，o f m ，0sj ，c = 1 ，2 ，c( 1 2 ) 图像可以被压缩，在于图像数据具有较多的信息冗余。以光栅格式存储的 数字图像中，冗余信息主要有以下几个方面：( 1 ) 空间性冗余：在图像中，相邻 像素间通常具有较为接近的颜色值；( 2 ) 结构性冗余：通过先验知识，通常人们 知道图像中的一部分信息就可推知另外一部分信息；( 3 ) 心理视觉冗余【1 】：在常 用的应用场景中，评价图像品质的最终标准取决于人眼，而人眼由于其视觉特 性对图像的细微差别较难分辨，因此此类图像数据还具有一定的视觉冗余；在 对图像数据进行压缩时，可以允许一定程度的失真；( 4 ) 关注度冗余【2 ，3 】：用 第一章绪论 户通常只对原始图像的一部分信息感兴趣；( 5 ) 匹配性冗余 4 ，9 5 】：当图像各部 分分辨率不一致时，保持某一部分的高分辨率是没有意义的。 数字图像压缩编码是在保证一定图像恢复质量的条件下以尽可能少的位数 ( b i t s ) 表示和传输图像；一般分两个步骤：一是编码过程，将原始图像数据经编 码、量化后进行压缩、存储及传输；二是解码过程，对压缩码流进行解码，从 而将压缩图像复原。一般常用图像数据压缩系统的组成如图1 1 所示： 图1 1 图像数据压缩系统框图 f i gi 1 b l o c kd i a g r 锄o fi m a g ec o m p r e s s i o n 数字图像压缩方法根据解码后的图像数据与原始数据是否一致可划分为两 类：可逆编码方法或无损压缩，该类方法的解码图像与原始图像完全相同，图像 压缩是完全可恢复的；不可逆编码方法或有损压缩，该类方法的解码图像与原 始图像间存在一定的偏差，但视觉效果可被接受。有损压缩应用于一般场景， 如风景、人物照片，部分医疗图像等，常用的j p e g 【4 】图像格式一般都是有损压 缩。通常有损压缩的压缩比较高，主要因为利用了图像的视觉冗余特性，在图 像压缩率和视觉效果间做折中处理。无损压缩一般应用于认证签名图像处理和 档案图像领域，医疗图像也逐步采用无损压缩方法，例如美国政府已颁布法律 规定，在医疗处理中不再使用无损压缩，因为由于图像不清晰而导致的医生误 诊已经带来很多社会问题，而且医疗成像设备如c t ，m r i 等价格极其昂贵，图像 的获取代价高昂，因此这些图像最好采取无损压缩。但无损图像的压缩比并不 是很高，一般只有2 ：i 到4 ：1 。 1 1 2 一般图像压缩方法 图像压缩编码技术可以追溯到1 9 4 8 年提出的电视信号数字化，到今天已经 有5 0 多年的历史了。在此期间出现了很多种图像压缩编码方法，特别是8 0 年代 后期以后，由于小波变换理论【6 】，分形理论 7 】，人工神经网络理论 4 ，5 】，视觉 仿真理论 8 】的建立，图像压缩技术得到了前所未有的发展，其中基于区域的图 第一章绪论 像压缩、分形图像压缩和小波图像压缩是当前研究热点。 图像压缩编码的具体方法很多，也有不同的分类方法，其中一种分类可以 将图像编码分成以下三类：( 1 ) 平均信息法：是对每个像素单独处理，不考虑像 素之间的相关性。在平均信息法中常用的方法有：脉冲编码调制、熵编码、行 程编码和位平面编码。( 2 ) 预测编码法：是利用相邻像素之间的相关性，去掉图 像中冗余的信息，只对有用的信息进行编码。常用的预测编码方法有增量m 、 微分预测编码、帧间技术和自适应技术。( 3 ) 变换编码方法：通过对信源建模来 尽可能精确地预测图像源数据，去除图像的空间冗余度。但冗余度有时与不同 的表达方法也有很大的关系，变换编码是将原始数据通过变换映射到另一个更 为紧凑的表示空间，去除图像的空间冗余度，可得到比预测编码更高的数据压 缩。即将给定的图像变换到另一个数据域( 如频域) ，使得大量的信息能用较少 的数据来表示，从而达到压缩目的的方法。 当前较为广泛使用的图像压缩方法有：j p e g 压缩、j p e g 2 0 0 0 压缩【9 】、小波 图像压缩【8 】、分形图像压缩 7 】和基于区域的图像压缩方法。 j p e g 算法首先对图像进行分块处理，一般分成互不重叠的大小相等的块， 再对每一块进行二维离散余弦变换( d c t ) ；变换后的系数基本不相关，且在系数 矩阵中能量集中在低频区，根据量化表对系数进行量化，量化过程中保留低频 部分的系数，去掉高频部分的系数。量化后的系数按z i g z a g 扫描重新组织，然 后进行哈夫曼编码。j p e g 的优点是：( 1 ) 形成了国际标准：( 2 ) 在中、高比特率上 仍能保证良好图像质量。缺点是：( 1 ) 由于对图像进行分块处理，在高压缩比时 产生严重的方块效应：( 2 ) 系数进行量化，是有损压缩：( 3 ) 压缩比不高，通常小 于5 0 。j p e g 压缩图像出现方块效应的原因是：一般情况下图像信号是高度非平稳 的，很难用g a u s s 过程来刻画，并且图像中的一些突变结构例如边缘信息远比图 像平稳性重要，用余弦基作图像信号的非线性逼近其结果通常不是最优的。 j p e g 2 0 0 0 是近几年提出的一种新的静态图像压缩标准，包括编解码两个步 骤，编码过程主要分为以下几步：预处理、核心处理和位流组织。预处理部分包 括对图像分片、直流电平( d c ) 位移和分量变换；核心处理部分由离散小波变换、 量化和熵编码组成；位流组织部分则包括区域划分、码块、层和包的组织。 j p e g 2 0 0 0 格式的图像压缩比，可在j p e g 基础上再提高1 0 9 6 3 0 【1 0 】，而且压缩后 的图像显得更加细腻平滑【1 0 ，1 l 】。对于目前的j p e g 标准，在同一个压缩码流中 不能同时提供有损和无损压缩，而在j p e g 2 0 0 0 系统中，通过选择参数，能够对 第一章绪论 图像进行有损和无损压缩。现在网络上的j p e g 图像下载时是按“块”传输的， 而j p e g 2 0 0 0 格式的图像支持渐进传输，这使用户不必接收整个图像的压缩码流。 由于j p e g 2 0 0 0 采用小波技术，可随机获取某些感兴趣的图像区域( r o i ) 的压缩码 流，对压缩的图像数据进行传输、滤波等操作。 小波变换用于图像编码的基本思想就是对图像根据m a l l a t 塔式快速小波变 换算法【1 2 】进行多分辨率分解。其具体过程为：首先对图像进行多级小波分解， 然后对每层的小波系数进行量化，再对量化后的系数进行编码。小波图像压缩 是当前图像压缩的热点之一，已经形成了基于小波变换的国际压缩标准，如 m p e g 一4 标准 1 3 ，及如上所述的j p e g 2 0 0 0 标准。当前常用基于小波变换的图像压 缩方法有嵌入式小波零树图像编码( e z w ) 【1 4 】，分层树中分配样本图像编码 ( s p i h t ) 1 5 】及可扩展图像压缩编码( e b c o t ) 【1 6 】。 分形压缩主要利用自相似的特点，通过迭代函数系统( i t e r a t e df u n c t i o n s y s t e m ，i f s ) 实现，其理论基础是迭代函数系统定理和拼贴定理。分形图像压 缩把原始图像分割成若干个子图像，然后每一子图像对应一个迭代函数，子图 像以迭代函数存储，迭代函数越简单，压缩率也就越大。同样解码时只要调出 每一子图像对应的迭代函数反复迭代，即可恢复出原来的子图像，从而得到原 始图像。随着分形图像压缩技术的发展，越来越多的算法被提出，基于分形的 不同特征，可以分成以下几种主要的分形图像编码方法：尺码编码方法、迭代 函数系统方法及a - e j a c q u i n 的分形方法。分形图像压缩方法既考虑局部间相关 性，又考虑了局部与整体的相关性，适合于自相似或自仿射的图像压缩，而自 然界中存在大量的自相似或自仿射的几何形状，因此具有一定的适用范围。 除了以上几种常用的图像压缩方法以外，还有n n t ( 数论变换) 压缩、基于神 经网络的压缩方法、h i b e r t 扫描图像压缩方法、自适应多相子带压缩方法等。 1 1 3 图像压缩方法评价 一个压缩编码方法优劣主要有三个重要的衡量指标： ( 1 ) 压缩比要高，常用下面的编码效率、压缩比进行衡量，其中编码效率定义为 图像的熵与平均码长之比。假设图像灰度级集合为 s ，岛，吼 ，其对应的概 率分别为 p ( s a p ( 岛) ，p ( 乳) ) ，则图像的熵定义为： 4 第一章绪论 ， 日( s ) = 一p ( s ，) f d 9 2 p ( s ，) ( 1 3 ) f l ， 单位为比特字符。图像的熵描述了图像灰度集合的比特数均值，也即图像源的 平均信息量。假定s ，对应的码长为，p ，) ，则平均码长定义为： 一 三= 一p ( s 。) z ( s ，) ( 1 4 ) f = ， 因此编码效率可定义为： h i s 、 刁2 ( 1 5 ) 压缩比为编码前后平均码长之比，即，= 刀上。 ( 2 ) 压缩与解压缩要快，算法要简单，软件或压缩过程容易实现： ( 3 ) 解压缩的图像质量要好，通常有两种评价标准：一种是主观准则，另一种是 客观准则。主观评价方法是让一群观察者按视觉效果的好坏进行打分，并对其 加权平均；用主观方法来测量图像的质量通常更为合适，但是该方法操作复杂， 且不适合适时传输的场合。在实际的编码领域中，广泛使用的是图像质量的客 观准则。传统的客观评价方法用恢复图像偏离原始图像的误差来衡量图像恢复 质量，该误差定义为： 拶；。高善驴( “n ( 如卯 ( 1 6 ) 式中，m 和分别为图像垂直和水平方向的像素数，x ( f j ，) 和x ( f j ，) 分别为原始 图像和重建图像在位置的像素值。利用均方误差可以定义两种信噪比，分别为： 舢= j 嗽鲁( 拈) ( ”) c ，p 删卅等( 如) ( 1 - 8 ) 其中，5 赤善善瞰“) 】2 为原始图像的平均功率：擘p 为原始图像信号的 峰峰值，在图像压缩编码中，通常使用峰值信噪比删标示图像压缩效果。 一般地，原始图像被均匀地量化为2 5 6 个电平，其峰峰值为2 5 5 ，因此一般定义 5 第一章绪论 尸。螂如( 1 9 ) 式： 觥划堙半( 如) ( 1 9 ) 在进行图像压缩编码的时候，人们总是希望选择压缩比大，恢复效果好且 速度快的算法。实际的研究表明，图像数据实际被压缩多少，不但取决于所采 用的方法，而且与给定图像的结构、分布、相关性和特征匹配等因素有关。为 了使压缩方法更为有效，应首先了解原始图像的性质，然后选择合适的方法。 1 2 基于区域的图像压缩方法 1 2 1 基于区域特征的图像压缩方法 在大多数应用场合，最终的图像总是由人眼来观测的，但是人类的视觉系 统并不完美。通过对人眼视觉现象的观察与研究发现，视觉掩盖效应可以用于 改善图像信息的处理。视觉选择性与客体的特性有关，人眼对空间频率接近于 零的平滑区域和空间频率相似纹理区域有很大的钝性，所以不变与规则变化的 场景很容易在人的意识中被遗忘，人类视觉通常只对突变和极不规则变化的区 域感兴趣。 在上述视觉特性的基础上，最近学者们给出了一系列基于区域特征的图像压 缩方法，主要分为两类： ( 1 ) 根据区域不同的特征选取不同的压缩方式和压缩率，该类方法编码时分析区 域内的像素分布，根据区域的特征给出保证视觉效果的前提下最适合该区域的 编码方法和参数选择。通常基于预测模型的图像压缩方法，由于图像局部变化 率对像素值的变化趋势具有较强的表征作用：变化率的符号预示了像素值的增 减，变化率的绝对大小预示了像素值的变化快慢因此可根据变化率信息来调 节预测模型，达到进一步压缩的目的。考虑吴美风等人给出的基于图像分割的 改进型预测编码方法属于该类。该算法首先将图像分割成为灰度值变化平缓的 背景区域和灰度值变化剧烈的边缘区域两部分，再对这两部分分别进行预测编 码。方法先在空间域上先对图像进行预处理，根据像素灰度值的变化程度对图 像进行分割。来使预测差的熵进一步减小，从而改善压缩性能。 6 第一章绪论 ( 2 ) 根据区域间的相似度消除对区域进行编码时的相关冗余，该类方法对新区域 编码时，利用已编码的类似区域的相关编码结果来对待编码区域进行编码处理， 实现更高的压缩率。改进域块分类分形压缩方法 1 7 】即属于此类方法，传统的基 于方块划分的分形图像压缩方案：首先将原始图像划分为固定大小的方块( 如 四叉树划分) ，然后对每一方块通过仿射变换在原始图像的紧缩图像中寻找最 相似部分，但由于其计算复杂度与图像大小成指数关系，所以编码过程比较耗 费时间；而域块分类法，对于不同类别的值域块，在其对应的定义域块中搜索 匹配块，实验表明，该类方法可以较好的降低搜索次数并提高压缩比。 1 2 2 基于感兴趣区域的图像压缩方法 人们在观察和理解图像时常常不自觉地对其中某些区域产生兴趣，把这些 区域称为视觉感兴趣区域【1 8 ，1 9 】。通常整幅图像的主观视觉质量取决于感兴趣区 域的视觉质量；而不感兴趣区域的降质常常不易被人们觉察，对整幅图像视觉 质量的影响较小。例如对一副人像照片，反映一个人主要特征的是面部信息， 在进行图像压缩时，人的面部信息与其它不重要的信息不必采用相同的压缩率。 感兴趣区域的视觉特性也是一种视觉掩盖效应。根据该视觉特性，目前学者们 给出了一类基于感兴趣区域的图像压缩方法。 在实际应用中，一幅图像中的部分信息较重要，该区域称为感兴趣区域 ( r e g i o no fi n t e r e s t ，简写为r o i ) 。在医学图像中，医生只对病变部分感兴趣； 在遥感图像中，只对目标存在的区域感兴趣。基于感兴趣区域( r o i ) 的图像部分 压缩方法，就是在图像的感兴趣区域采用无损或高保真度的压缩，从而保证重 要信息不丢失或少丢失，而在其他区域为了提高整幅图像的压缩率，而采用有 损压缩，这样既能满足图像质量的要求，又能提高压缩率。该类压缩方法现在 已有一定的研究与应用。基于感兴趣区域的图像部分压缩方法，其压缩的整体 效果取决于感兴趣区域的大小及对背景区域p s n r 的要求，它能够保证重要信息 的无损或高保真度恢复，这在一些特殊的领域，如医学图像和遥感图像等领域， 有着广泛的应用前景和重要意义。 基于感兴趣区域的压缩方法的一般原理框图见图1 2 ，其中通过图像分割或 其它方法获取区域集合，再标定r o i 区域获取感兴趣区域集合，最后利用低压缩 率压缩r o i 集合，再利用高压缩率对其它区域进行压缩，进而完成整个压缩过程。 7 第一章绪论 咝牺婴钷亟引蒹釉巫e l 仔粤、 掣知巫硪慧翔圃掣懒 图1 2 感兴趣区域图像数据压缩系统流程 f i g1 2 b l o c kd i a g 陋m0 fi m a g ec o m p r e s s i o nb 嬲e d o nr o i y o n g k y uk i m 等人 2 3 】利用了小波变换良好的时间、频率的局部化特性，根 据图像部分无损压缩的要求，在s p i h t 算法的基础上，实现了在不需要产生感兴 趣区域掩模前提下，对感兴趣区域进行优化编码和无损压缩。魏海涛等人 2 2 ，3 2 】 使用一个基于视觉生理和心理物理实验结果的视觉注意计算模型计算图像中的 感兴趣区域，并用j p e g 算法对感兴趣区域和背景区域采用不同的压缩比进行压 缩，该方法压缩后图像的字节数和每像素比特数等参数均好于j p e g 算法；同时 压缩后图像在视觉上对比突出了感兴趣区域，有利于对感兴趣区域的观察。 在j p e g 2 0 0 0 中，可以很好的支持对r o i 的编码。j p e g 2 0 0 0 利用小波变换的局 部信息可以单独获取特性，可以给图像上指定的感兴趣区域单独制定压缩质量， 或者在解压缩整个图像之前先获得某个指定区域的压缩码流，从而进行各种操 作。 1 3 本文创新点及结构安排 本文在已有图像压缩方法的基础上，给出了改进的有损和无损图像压缩方 法，主要研究工作和创新点包括以下几个部分： 1 ) 分析了视觉注意力模型在图像压缩中的应用，给出了一种基于区域显著度 的压缩码流分配方法。该方法利用d c t 变换，根据区域显著度对图像区域进行 不同分辨率的编码，可在保留感兴趣区域信息的同时提高压缩率；且通过在编 码端和重构端采用改进的具有分割唯一性的r s s t 图像分割方法有效的消除了对 区域边界的编码冗余，实现了对不规则区域的编码支持。方法分成两步，在保 留了边界信息的同时先用较低的压缩码流压缩图像的全局低频信息：再利用较 高压缩码流压缩感兴趣区域对应的高频信息，最终由高比特率压缩的r o i 对应 8 第一苹绪论 的高频子图像和低比特率压缩的低频子图像构成压缩图像数据。分析表明，相 比于j p e g 、j p e g 2 0 0 0 算法，该方法具有更高的压缩比，同时压缩后的图像保 留了大部分边界和感兴趣区域信息。 2 ) 为了支持对图像中前景与背景分配不同的码流进行压缩，给出了一种改进的 g r a p hc u t 前景提取方法，并在该方法的基础上实现了对前景与背景区域的不同 压缩率压缩。在g r a p hc u t 算法的基础上，本方法在能量函数中引入惩罚项，利 用高斯参数化的彩色直方图来确定像素与前景及背景间的相似度，得到了新的 用于图切分的能量函数。分析表明，该方法在无用户交互或交互较少的情况下 能较好的提取前景对象，且能有效的剔除前景中的背景像素；在此基础上通过 对前景和背景区域分配不同的码流进行压缩，可较好应用于对前景对象压缩保 真度要求较高的场合( 如医学图像中的病灶区域) ，且能够保证前景对象的完整 性和整幅图像的压缩率。 3 ) 设计并完成了一个实验性的基于区域的图像压缩系统，该系统整合了本文压 缩方法中的各个步骤及j p e g 、j p e g 2 0 0 0 压缩方法，进一步验证了压缩方法效果 并为后续研究工作搭建了基础；此外在基于上下文预测的无损图像压缩这一新 兴领域，本文在p p 枷图像压缩算法基础上，给出了一种上下文模型为区域特 征的无损图像压缩方法。该方法根据图像区域间的相似性，对待编码区域利用 相似区域的上下文模型进行处理，避免了传统方法的上下文维护开销，且由于 区域的尺度较小，能提供较准确的预测模型，能进一步提高压缩率。编码方法 包含三个步骤：训练阶段、编码阶段和解码阶段。训练阶段离线处理，从一组 训练图像库中通过图像分割选取具有代表性的区域特征，然后对每一个选取的 区域特征建立上下文模板；在编码阶段，首先将图像分解成区域集合，对每一 个区域根据区域特征的相似度选取最合适的上下文模板，编码上下文模板的编 号并利用该上下文模型对应的条件概率分布编码该区域：在解码阶段，对于每 一个区域，首先读取出使用的上下文模型编号，再根据该上下文模型对应的条 件概率分布进行解码。实验表明，利用该方法可以适应性较好，能处理各种类 型图像；同时由于采用离线计算区域特征并形成上下文模板，取代了p p a m 算 法在线压缩维护上下文模型的时间开销，降低了方法的时间复杂度。 本文共分为六章，其内容安排如下： 第一章主要介绍了本文的研究背景和主要工作，其中包括一般图像编码现 状和目前基于区域的图像压缩状况。 9 第一苹绪论 第二章以区域显著度为中心，分别阐述了区域显著的定义、改进的r s s t 区 域提取方法，并在此基础上描述了基于区域显著度的压缩方法。 第三章探讨了在特定应用场合使用的前景、背景区域不同分辨率压缩方法， 阐述了基于g r a p hc u t 前景提取方法。 第四章在分析文本压缩方法p p m 和基于上下文模型预测的图像压缩p p a m 方 法的基础上，阐述了基于区域特征的无损压缩方法的原理和具体实现。 第五、六章给出了在上述理论基础实现的软件系统以及相关实验结果、分 析。 最后为结束语，总结了本文的工作并对未来的研究工作进行展望。 l o 第二章区域显著度及码流分配 第二章区域显著度及码流分配 在实际应用中，人们对图像中不同区域的关注度通常是不同的，定义图像 中人们感兴趣的区域为显著性区域( r e g i o no fi n t e r e s t ，r o i ) 8 。因此如果 在进行图像压缩时，对边缘部分和r o i 部分采用低压缩率，而对其它使用者不 为关注的部分采用较高的压缩率，则能在保证不丢失重要信息的同时又能获取 较高的压缩率。 通常r o i 的确定是一个主观的行为，在一些系统中由人为指定，但这种方 法在图像数量较多时不易处理：同时难以处理复杂的r o i ，编码也不够灵活，此 外r o i 的形状编码也会占用一定的压缩空间。针对r o i 的自动处理，研究者们 提出了各种方法，这些算法大都是为解决计算机视觉问题而设计，主要考虑尺 度问题和不变性问题。其中k o c h 等人 1 提出了一个基于视觉生理和视觉心理 实验结果、模拟生物体视觉注意机制的选择性注意模型，该模型特别适合与处 理自然图像。 在j e p g 2 0 0 0 压缩标准中，目前研究较多的是基于小波变换的最大平移法， 它根据平移因子提升感兴趣区域内系数位平面，使其高于所有背景区域系数的 位平面，以保证感兴趣区域图像的高质量。但是最大平移法不能自由选定平移 因子，因此在压缩时用户无法控制r o i 与背景区域重建图像的相对质量。在解 码端，背景区域信息必须等到所有的r o i 系数完全解码后才开始被接收，而在 编码的量化过程中，r o i 系数可能已经包含了少量的随机噪声。 本章在k o c k 等人 1 给出视觉模型的基础上，结合基于最短生成树的图像 分割方法，给出了一种新的基于区域显著度的图像压缩方法，在压缩端利用图 像分割方法对图像的低频信息部分进行分割得到指定数目的区域集合，再根据 整个图像的显著性映射图确定区域是否是r o i ；此后对整个图像低频信息部分进 行高压缩率压缩，而对r o i 的高频信息部分进行低压缩率压缩；在解码端，首 先还原图像的低频信息部分，采用相同的分割方法根据低频部分得到图像的区 域集合，再恢复r o i 的高频信息；根据分割得到的区域形状信息叠加低频信息 和r o i 高频信息得到还原的图像。初步的计算机实验结果表明，该方法的图像 压缩率高于j p e g 和j p e g 2 0 0 0 算法，同时可以控制r o i 区域和背景区域的压缩 码流分配，保证了r o i 区域良好的视觉效果，有利于对感兴趣区域的观察；且 第二章区域显著度及码流分配 该方法背景区域信息和r o i 高频信息完全独立传输，二者不会干扰，在传输时 优先处理低频子图像，在码流被截断时仍能获取到完整图像，。 2 1 区域显著度定义 2 1 1 初级视觉特征分解 视觉生理中将能影响某些视神经元反应的视网膜区域称为“感受野 。视觉 生理实验结果表明：许多动物视神经元对亮度信息和颜色信息产生反应的感受 野形状是同心圆，而且对该类型感受野的中心与四周进行刺激将引起相反的反 应，这种现象被称为”中心一外周，( c e n t e r s u r r o u n d ) 机制。它有利于对比度信 息的抽取，可以用d o g ( d i f f e r e n c eo fg a u s s i a n ) 模型来模拟。视觉生理实验同 时证实，许多动物( 如猫、猴) 的大脑皮层视区神经元可以对边缘、方位等刺激 产生反应，可以利用g a b o r 模型来模拟这些方位选择性神经元的反应。亮度、 颜色和方向是图像的初级视觉特征。 k o c h 等人提出的显著映射图计算模型基于上述视觉生理基础 3 5 ，3 6 。为 抽取图像中的多尺度信息，模型中使用图像金字塔分解亮度、颜色和方向特征。 金字塔共9 层( 尺度0 8 ) ，其中第0 层为原始图像，下一层图像相对上一层图像 依次在长度和宽度上缩减一半。模型中同时定义金字塔的 2 ，3 ，4 ) 层是中心层 c ，外周层s = c + j ，其中艿= 3 ，4 ) ，这样可以利用“中心一外周 机制抽取各个 特征的对比信息。计算时首先用相应的滤波器对金字塔每层中的图像进行滤波， 然后将中心层和外周层图像间像素值对应相减，对应关系共6 种，分别为： 2 5 ，2 6 ，3 6 ，3 7 ，4 7 ，4 8 ) ，相减时尺寸小的图像要进行插值，以保证参与 运算的2 幅图像大小一致，计算结果称为对比映射图。 模型中分别对亮度、颜色和方向特征三个初级视觉特征进行处理。其中亮度 特征有1 个分量，表示图像的亮度对比，对比映射图计算公式为： ，( c ，s ) = i j ( c ) 一，( s ) i ( 2 1 ) 颜色特征有2 个量，分别表示“红绿”和“蓝黄色彩通道的对比，对比映 射图计算公式为： 1 2 第二章区域显著度及码流分配 胄g ( c ，s ) = i ( r ( c ) 一g ( c ) ) 一( r ( s ) 一g ( s ) ) l ( 2 2 ) 占y ( c ，s ) = i ( b ( c ) 一l ，( c ) ) 一( b ( s ) 一】，( j ) ) i 其中尺= ，一( g + 6 ) 2 、g = g 一( ，+ 6 ) 2 、曰= 6 一( ，+ g ) 2 、】，= ( ，+ g ) 2 。 模型中采用g a b o r 模型处理方向特征( 使用g a b o r 滤波器) ，该特征有4 个分量， 分别表示4 个局部方向 o 。，4 5 。，9 0 。，1 3 5 。 对比，方向对比映射图计算公式为： d ，s ，9 ) = i o ( c ，口) 一d ( s ，臼) i ( 2 3 ) 初级视觉特征分解结束后共生成4 2 个对比映射图，其中亮度特征6 个、颜色特 征1 2 个、方向特征2 4 个。 2 1 2 显著性映射图定义 视觉生理实验表明，灵长类动物的后顶皮层内存在1 幅显著性映射图，通过 该图对观察区域内每一个位置的局部显著性或被关注程度进行编码。基于该视 觉模型，第一节模型在计算出4 2 个特征映射图后，将它们合成为1 个二维显著 性映射图，用该图表征图像中每个位置的被关注度。 通常不同视觉特征对比映射图的直接叠加可能会丢失有用的特征信息。比如 在一个黑色背景上有许多白色细条，其中一个细条的走向与其它线条差异较大， 那么通常这幅图像中方向特征应该优先考虑；但由于黑色背景和白色细条的强 烈对比导致图像的亮度特征强度要大于方向特征强度，如果简单地叠加对比映 射图，则方向特征会被亮度特征覆盖，从而突出的是亮度显著性而非方向显著 性。因此在本方法中，模型中采用归一化运算来解决这个问题：如果一个对比 映射图中存在少量显著点，那么归一化运算将提高所有点的显著性；如果一个对 比映射图中绝大多数点的显著性相近，则归一化运算将降低所有点的显著性。 显著性映射图的大小与原始图像一致，合成方法为：4 2 个对比映射图先归 一化为特征映射图；然后将6 幅亮度特征映射图之间的像素值对应相加并归一 化后生成亮度特征显著性映射图，；同理可以生成颜色和方向特征显著性映射图 c 和d ；最后将各特征显著图乘以对应的权值( 权值根据不同的使用场景确定) 后相加得到整个图像的显著性映射图s ，即： s = ，+ c + d ( 2 4 ) 第二章区域显著度及码流分配 2 1 3 区域显著度定义 一幅图像的显著性映射图s 表示了该图像各 个位置的显著性，区域内像素点平均显著性最大 的一些区