（通信与信息系统专业论文）结合对比特性与局部清晰特性的图像显著性提取.pdf

上海大学硕士学位论文结合对比特性与局部清晰特性 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：日期： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名： 1 1 日期：丕! 里：重：兰 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 上海大学工学硕士学位论文 结合对比特性与局部清晰特性的 图像显著性提取 姓名：郁志鸣 导师：王朔中 学科专业：通信与信息系统 上海大学通信与信息工程学院 二。一。年一月 i l l 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o rt h ed e g r e e o fm a s t e ri nc o m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g i m a g es a l i e n c y d e t e c t i o nb a s e do n co n t r a s tf e a t u r e sa n dl o c a l s h a r p n e s s m e n g c a n d i d a t e ：z h i m i n gy u s u p e r v i s o r ：s h u o z h o n gw a n g m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o n s c h o o lo fc o m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g ， s h a n g h a iu n i v e r s i t y j a n ，2 0 1 0 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 摘要 随着应用需求的增长，图像显著性特征提取已成为一个新兴的研究课题，吸 引了大量研究人员的关注。图像显著性特征提取是探索人类视觉关注特性、模拟 人眼视觉关注过程、分析图像信息和特征、提取图像中有意义部分的综合过程。 提取的显著区域对各种基于图像分析和理解的应用，如图像h a s h ，检索和认证 等都有着重要意义。 本文从图像显著性检测的发展、研究意义、视觉关注原理和研究现状方面展 开讨论，对两类人眼视觉特性的显著性提取进行研究，取得了以下主要成果： 1 基于低层视觉的全局颜色对比显著提取。根据人眼对图像关注的全局特 性，提出基于h s v 色彩空间的颜色对比显著提取。本方法在改进颜色分类的基 础上，关注图像中颜色特征的稀有性，并结合不同颜色类与背景的对比程度，提 取全局颜色显著区域。该方法能很好地提取人眼观察图像的全局关注区域，结合 局部对比显著提取结果，能全面反映人眼的低层视觉关注。 2 基于高层视觉的清晰区域显著提取。分析了照片聚焦区域是摄影者高层 视觉关注的体现，由此将数字图像中的清晰区域作为显著提取的依据。首先进行 边缘提取来检测图像中的细节分布，并结合颜色分类图，得到局部清晰区域显著 图。为改善清晰区域判别结果，引入图像质量评价参数和s v m 模型训练，改进 了仅依靠细节检测方法的不足。 由于人眼的两种视觉关注是同时进行并作用于大脑，所以将以上两类显著提 取相结合，保持各自优势，互相补充不足之处，得到完整体现两种视觉模型的图 像显著性提取结果。该方法能够较全面地反映人眼的关注特性，找到图像中最有 意义的部分，从而帮助我们对图像进行更有效地处理。 本项研究得到国家自然科学基金项目“感知鲁棒的词典式结构图像h a s h ( 6 0 7 7 3 0 7 9 ) 和国家自然科学基金重点项目“流媒体感知信息安全理论及关键问 题研究”( 6 0 8 3 2 0 1 0 ) 的资助。 关键词：显著性特征，全局颜色对比，清晰区域检测，显著图评价 v 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 a b s t r a c t i m a g es a l i e n c yd e t e c t i o ni san e wi m a g ep r o c e s s i n gt e c h n o l o g yd e v e l o p e df o r v a r i o u sa p p l i c a t i o n s ，w h i c hh a sr e c e n t l ya t t r a c t e dal a r g en u m b e ro fr e s e a r c h e r s s a l i e n c yd e t e c t i o ni sac o m p r e h e n s i v er e s e a r c hi n v o l v i n ge x p l o r a t i o no fh u m a nv i s u a l a t t e n t i o n ( h v a ) ，s i m u l a t i o nh v a ，i m a g ea n a l y s i sa n df e a t u r ee x t r a c t i o n i m a g e s a l i e n c yd e t e c t i o nc a nb ea p p l i e dt ov a r i o u sa r e a ss u c ha si m a g ea u t h e n t i c a t i o n ，o b j e c t m a t c h i n g ，p e r c e p t u a lh a s h i n g ，a n dc o n t e n t - b a s e di m a g er e t r i e v a l f i r s t l y , w ei n t r o d u c et h eb a c k g r o u n d ，r e s e a r c hs i g n i f i c a n c ea n db a s i cp r i n c i p l e s o fs a l i e n c yd e t e c t i o n t h e nt h ec u r r e n tr e s e a r c hs t a t u si sr e v i e w e d t h i sp a p e rf o c u s e s o na n a l y z i n gt w ok i n d so fv i s u a la t t e n t i o nm o d e l ，a n dp r o p o s e st w on o v e lm e t h o d sf o r s a l i e n tr e g i o ne x t r a c t i o n 1 a c c o r d i n gt ot h ec h a r a c t e r i s t i co fh u m a nv i s u a la t t e n t i o nt ot h ew h o l ei m a g e ， w ei n t r o d u c et h eg l o b a lc o l o rc o n t r a s ts a l i e n c yd e t e c t i o nb a s e do nl o w l e v e lv i s u a l a t t e n t i o n b a s e do ni m p r o v e m e n to ft h ec o l o rc l a s s i f i c a t i o n ，o u rm e t h o dc o n c e r n s a b o u tn o to n l yr a r ec o l o rc l a s s e si ni m a g e s ，b u ta l s ot h ec o n t r a s tb e t w e e nd i f f e r e n t c o l o r sa n db a c k g r o u n dc o l o r a n dd e t e c t st h eg l o b a lc o l o r - c o n t r a s ts a l i e n tr e g i o n t h e r e s u l tr e f l e c t sg l o b a lh u m a nv i s u a la t t e n t i o nw h i l eo b s e r v i n gi m a g e s l o w l e v e lv i s u a l a t t e n t i o nc a nb er e f l e c t e db yi n t e g r a t i o no fg l o b a la n dl o c a lc o n t r a s ts a l i e n c ym a p 2 a si m a g ei t s e l fc o n t a i n sh i g h - l e v e lv i s u a la t t e n t i o n t h es h a r p n e s sr e g i o ni n i m a g e i sc o n s i d e r e da st h ef o u n d a t i o no fs a l i e n c yd e t e c t i o n f i r s t l y , t h ee d g er e f l e c t i n g i m a g e sd e t a i li sd e t e c t e d ，a n dc o m b i n e sw i t hc o l o r - c l a s s i f ym a pt oc r e a t es h a r p n e s s s a l i e n c ym a p t h e ni m a g eq u a l i t ye v a l u a t i o np a r a m e t e r sa n ds v mp a t t e r nr e c o g n i t i o n a r eu s e dt oi m p r o v es h a r p n e s sr e g i o nd e t e c t i o n a st h et w ok i n d so fh u m a nv i s u a la t t e n t i o na c t i n go nb r a i na tt h es a m et i m e ，w e i n t e g r a t et w ok i n d s o fs a l i e n c ym a p s t h ef i n a l s a l i e n c ym a pk e e p sr e s p e c t i v e a d v a n t a g e sa n dr e j e c t st w ow a y s s h o r t c o m i n g t h em e t h o dh a st h ec a p a b l eo f c o m p r e h e n s i v e l yr e f l e c t i n gt h ec h a r a c t e r i s t i c so fh u m a nv i s u a la t t e n t i o na n dd e t e c t i n g t h es i g n i f i c a n tr e g i o ni ni m a g e s ，a n di tw i l lb eh e l p f u lf o ru st od e a l 诫mi m a g e sm o r e v i k e y w o r d s ：s a l i e n c yd e t e c t i o n ，g l o b a lc o l o rc o n t r a s t ，s h a r p n e s sr e g i o nd e t e c t i o n , s a l i e n c ym a pe v a l u a t i o n v i i 上海大学硕士学位论文结合对比特性与局部清晰特性的图像显著性提取 目录 摘 要v a b s t r a c t v i 目录v i i i 第一章绪论。1 1 1图像显著性特征提取简介。1 1 1 1 提取视觉显著性特征技术的背景和发展1 1 1 2 图像显著区提取的研究意义和用途2 1 2 早期图像显著性特征提取研究3 1 2 1简单的视觉关注研究3 1 2 2早期的图像显著性提取方法4 1 3基于人眼视觉特性的显著特征提取6 1 3 1两种视觉关注模型6 1 3 2图像显著性提取进展7 1 3 3图像显著性特征提取的评价标准9 1 4显著性检测在图像h a s h 和图像检索等方面的应用1 0 1 5论文的主要研究内容1 1 第二章基于颜色对比的显著性提取1 3 2 1基于低层视觉关注图像显著性提取分析1 3 2 2局部颜色亮度对比显著提取1 5 2 3稀有颜色的显著区域提取1 6 2 2 1h s v 颜色空间16 2 2 2稀有颜色区域提取1 8 2 2 3基于局部对比显著的改进2 5 2 4全局颜度对比显著提取2 6 2 4 1l 宰a 宰b 宰颜色空间2 6 2 4 2 颜色对比显著性提取2 7 v i i i 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 2 5实验结果及分析3 4 2 6本章小结3 6 第三章基于局部清晰区域的显著性提取3 8 3 1基于高层视觉关注图像显著提取分析3 8 3 2基于细节检测的清晰区域提取3 9 3 2 1 清晰区域提取的方法探索3 9 3 2 2清晰区域显著提取一4 2 3 3基于图像质量的清晰区域检测4 6 3 3 1 图像质量参数4 7 3 3 2s v m 模型4 9 3 3 3改进清晰区域显著图提取5 0 3 4实验结果及分析5 3 3 5本章小结5 4 第四章显著区域结合及实验分析5 6 4 1两类显著图的结合5 6 4 2实验结果比较和分析5 8 4 3显著特征提取的主观评价实验6 2 4 4图像显著提取在h a s h 中的应用一6 4 第五章总结与展望6 6 参考文献6 8 作者在攻读硕士学位期间公开发表的论文7 3 作者在攻读硕士学位期间参加的项目7 4 致谢7 5 i x 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 第一章绪论 本章提要： 图像显著性特征的主要应用：图像h a s h ，图像检索，图像认证等 显著性的含义，视觉关注与图像显著性提取的关系，图像显著性提取 发展现状 简述本文提出的两种显著性特征提取方法：基于颜色对比的显著性提 取和基于局部清晰区域的显著性提取 1 1 图像显著性特征提取简介 1 1 1 提取视觉显著性特征技术的背景和发展 随着数字产品和互联网技术的发展，多媒体信息迅速膨胀，越来越多的数字 图像被产生、传输和利用。图像作为一种内容丰富、表现直观、表达形式多样化 的数字媒体形式越来越受到人们的重视。同时随着应用需求的增长，一系列新兴 的图像处理技术逐渐发展起来，比如基于内容的图像检索( c o n t e n t - b a s e di m a g e r e t r i e v a l ) 、图像摘要( i m a g eh a s h i n g ) 以及图像认证( i m a g ea u t h e n t i c a t i o n ) 等。 近年来在对图像处理要求不断增加的驱使下，图像显著性提取也逐渐成为一个新 兴的研究课题，吸引了大量研究人员的关注。 由于数字图像在不同领域的应用，对其进行更有效处理的需求日益增长。特 别是如何对大量数据中较重要部分进行重点分析，忽略一些次要部分，成为提高 效率的关键。这就提出了图像显著性区域提取这一课题。对人眼视觉关注而言， 找到图像中相对背景突出的部分或反映图像主要内容的区域是人眼对信息处理 加工的一种重要机制。这种机制使得我们对映射到视网膜上的大量信息能够主动 上海大学硕士学位论文结合对比特性与局部清晰特性的图像显著性提取 处理，进行资源的再分配并加工，使我们具有了感知选择能力。这种对感兴趣内 容的选取是一种自然而简单的生物行为，但要计算机在无人工干预的情况下实现 对不同图像的选择性处理却很复杂，这涉及到图像处理、人眼视觉成像理论、神 经生理学和心理学分析等多个领域。 提取图像的显著特征( i m a g es a l i e n c yd e t e c t i o n ) 研究始于上个世纪8 0 年代 中期。但图像的显著性这一概念至今还没有明确的定义，只能宽泛抽象地理解为 视觉关注的焦点( f o c u so f a t t e n t i o n ) ，人眼感兴趣区域( r e g i o no f i n t e r e s t ) ，局部 视觉明显区域( 1 0 c a lc o n s p i c u i t y ) 等等。显著点代表图像中具有较强表现力的点， 显著区域则代表最可能引起人眼视觉关注的区域。 1 1 2 图像显著区提取的研究意义和用途 图像显著区提取是通过探索人眼视觉关注特性，模拟视觉关注过程，分析图 像信息和特征，最终提取图像中能引起视觉关注或相对有意义部分。这一技术可 以帮助我们更好地分析和理解数字图像的特性，同时为数字图像的进一步处理提 供更有效的信息，对各种基于图像处理的应用都有着非常重要的意义。 图像所包含的信息量远远超出以往的文字、符号等，处理技术所消耗的资源 与时间也呈几何增长。与此同时图像的数量又呈爆发式地上升，这使得如图书馆、 档案馆等机构无法及时有效地对大量信息进行处理加工，因而图像显著性特征提 取在图像的检索，认证，识别，匹配等领域都有很大的应用价值。我们将基于感 知的选择机制引入图像分析领域，使计算资源优先分配给图像中那些“有意义” 的部分，以利于提高现有图像分析方法的效率。在设计图像检索、图像h a s h 的 算法时，往往注重的是图像中显著的区域，而图像中这些区域的位置又是千差万 别的。因此，探索一种无需人工干预，准确而高效的图像显著性提取方法具有很 高的研究价值。 本论文的研究工作是国家自然科学基金资助项目“感知鲁棒的词典式结构图 像h a s h ( 6 0 7 7 3 0 7 9 ) 和国家自然科学基金重点项目“流媒体感知信息安全理论 及关键问题研究 ( 6 0 8 3 2 0 1 0 ) 的一部分。 2 上海人学硕l ：学位论文结合对比特性与局部清晰特惟的图像显著性提取 1 2 早期图像显著性特征提取研究 1 2 1 简单的视觉关注研究 人眼能在进入视网膜的海量视觉信息中迅速发现“感兴趣”和“有意义”的 物体，这种能力称为视觉选择性注意1 1 3 】。这种选择性注意在我们的日常生活中 时刻都在发生，例如我们在挑选水果时常常会不由自主地注意那些颜色较为鲜艳 的个体。选择性注意的必要性在于生物视觉系统无法并行地处理海量的视觉信 息，同时也无需不加区分地处理所有信息。 图像显著性特征提取是一项模拟人眼视觉关注过程的技术，因此对视觉关注 的研究成为了显著提取的必要的提。研究人员通过实验，总结了容易获得关注的 图像特征。 豳豳豳田 ( e ) 图1 1 视觉显著性举例 在图1 1 ( a ) 一( d ) 中，显然p 处要比其他部分更加突出，能够迅速引起观察者 的注意。( a ) 图是通过颜色对比而使得绿色方块跳出，( b ) 是通过亮度对比，( c ) 是 通过方向对比，( d ) 是通过稀有程度对比。这种突出性就是视觉关注特性，突出 性较强的p 处也就是该图像的显著区域。心理学研究发现，那些能够产生新异的 上海大学硕士学位论文结合对比特性与局部清晰特性的图像显著性提取 刺激，较强的刺激和人所期待的刺激的场景区域容易引起观察者的注意【4 巧】。 图1 1 ( e ) 是绿色背景中的红色圆圈，显然红色圆圈会获得注意；( f ) 是红色背 景中的绿色圆圈，显然绿色圆圈会获得注意。两者都是通过颜色突出的，说明引 导注意的并不是因为是红色还是绿色，或其他什么颜色，而是图像中特征之间的 对比度。由此我们可以看出引导注意的是特征的对比度 6 - 9 】，被关注对象是通过 特征相互之间的竞争而获得注意的。 1 2 2 早期的图像显著性提取方法 由上节的分析可知，引起视觉关注的是图像中局部的对比。因而早期研究人 员从分析图像中某些特征的对比度出发，提取图像显著性区域。早期的研究对象 多为灰度图像，因而大部分的显著性特征检测方法都是基于亮度的。显著区域的 定义也各有不同：局部亮度变化剧烈的区域；复杂度高的区域；特征稀少的区域。 1 基于简单视觉特性的显著点提取 图1 1 m ) 中p 处的显著是由于其亮度发生了剧烈变化，相当于具体图像中局 部亮度的剧烈变化。对于此类显著，检测图像的基本特征如角点，作为图像的显 著点【l o 1 4 】，其效果较理想也应用较多。角点检测是表示和分析图像特性的重要方 法，角点定义为二维图像亮度变化剧烈的点或图像边缘区域上具有局部极大的 点。k i t c h e n 提出了基于局部梯度幅值和边界上梯度方向改变率的角点检测方法 【15 1 ，这种方法复杂性较高。最小亮度变化( m i c ) 是t r a j k o v i c 等人提出的， 该方法将局部最大c r f 值所在的像素点认为是角点。s m i t h 提出了一种低层次图 像处理小核值相似区的方法，称为s u s a n 方、法【r 7 1 。h a r r i s 角点检测主要用方向 导数计算角点，其定义为在灰度升降迅速的线条上平面曲率最大的点。由于h a r r i s 角点检测 1 8 】对旋转、缩放、噪声、亮度变化具有稳健性，因此成为最为广泛的角 点检测方法。这类算法较简单，速度快，但应用到显著性特征提取中有较大的局 限性：首先，角点和轮廓一般都处于物体边缘，无法定位整个显著区域。其次， 角点检测对纹理区域比较敏感，但从视觉特性上来说图像的纹理区域不一定比平 坦区域显著。最后，如今我们接触的大都为彩色图像，角点检测不能区分黑白和 色彩信息。近期虽然有对角点的色彩信息扩展的研究，但效果仍然不够理想【均乏1 1 。 4 上海大学硕上学位论文结合对比特性与局部清晰特性的图像显著性提取 2 基于局部复杂性的显著性度量 图1 1 ( c ) 0 0p 处的显著是由于其方向不同向性，相当于具体图像中局部复杂 性高于周围的环境。研究人员将图像的局部复杂程度作为显著性的衡量依据，复 杂度越高，说明该区域内容越丰富，显著性也越高。在概率统计看来，图像是一 个二维随机信号场，可以将每个像素的值看成是一个随机变量，一幅图像就是一 个随机变量矩阵。像素的空间结构有一定复杂性的图像包含更多信息，因而显著 图像块被定义为具有较高局部复杂度。l o w e 用高斯差分函数计算图像亮度变化 来衡量复杂性【2 2 1 ；s e b e 对图像作小波分解，比较小波系数绝对值大小【2 3 1 ；k a d i r 计算局部亮度分布的熵来衡量复杂性【2 4 】。这种基于数据的定义其优点在于适应性 较强，复杂性的计算可以将第一类的结果都考虑在内。而其问题在于，图像的显 著性是否可以等同于局部复杂性呢? 如图1 2 为两张包含复杂区域的图像，但其 中复杂度较高的树叶和稻草却不是最吸引注意的，相反图1 2 ( a ) 中的小鸟和图 1 2 ( b ) q u 的蛋才是真正吸引视觉关注的区域，应该比复杂区域具有更高的显著性。 ( a )( b ) 图1 2 复杂性显著示例图像 3 基于稀少性的显著性度量 另一种引起视觉关注的特征就是稀少性，人眼视觉容易关注到新异的刺激 上，显著性应当集中在场景中出现概率小的物体上，即“物以稀为贵”的道理 2 5 】。 如在图1 1 ( d ) 中，显然p 处的圆形最吸引注意，正是因为它相对于其他的方块是 稀少的所以显著，同样图1 2 中的对象也是因稀有而显著。s c h i e l e 利用贝叶斯法 来实现基于稀少性的显著性度量，他认为物体中那些具备唯一性的点为物体的显 著点。另一个相似的观点是w a l k e r 等人在做统计形状模型时认为那些能减少误 匹配的特征是显著的。 5 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 1 3 基于人眼视觉特性的显著特征提取 早期的图像显著性特征提取研究已经取得一定的成果，但是各项成果往往都 具有片面性，不能全面有效地反映图像中显著区域。如显著点提取和基于局部复 杂度的显著性提取都是寻找图像中亮度变化剧烈的区域，而忽视相对平滑区域的 显著性。稀少性显著的提取仅仅关注图像中较少出现的部分，忽略了图像的各种 复杂的情况，同样也是有片面性的。当图像中各对象类别过多，都不为主要部分 时，那些部分才是稀少的呢? 对图像的分析应该将两类情况综合考虑，关注图像 中局部和全局的对比情况，以应付更复杂的图像。 另一方面，人眼视觉关注情况不局限于1 2 1 节中提到的简单视觉特性。还 包括一些基于人类知识水平，观察目的，个人喜好的特性。如一幅图像中有若干 台手机，观察者会根据个人喜好而关注不同的对象；又如一幅图像中的物体与背 景处于不同的景深时，观察者往往关注处于前景、较为清晰的对象，而忽视其他 一些部分。这类关注行为都不同于由图像数据驱动而产生的简单视觉关注，更多 的是关联于观察者自身目的与个人喜好等。由此研究人员对人眼视觉关注提出了 两种视觉关注模型，得到了广泛的认同。 1 3 1两种视觉关注模型 视觉关注分析通常分成两类：自下而上和自上而下模型。前者一种是基于低 层视觉2 6 1 ，由数据驱动的自下向上的视觉显著 生( b o t t o m u ps a l i e n c y ) t 2 7 铷】。在自 下而上的数据驱动中，图像中的物体在预注意阶段通过自身数据的协同形成自显 著性，通过与周围物体的竞争形成相对显著性，然后“跳出 视觉关注点或区域。 由于这种模式只依赖于数据，不需要主观认知或习惯的指导，因此处理速度较快。 自下而上模型对应的便是早期研究人员所关注的低层视觉关注方式。 与之相反，另一种是基于高层视觉，由知识和任务驱动的自上向下的视觉显 著性( t o p d o w ns a l i e n c y ) 2 6 1 。自上而下的任务驱动中，视觉任务或由先验知识对 图像场景识别提供了“感兴趣 物体的模型，通过模型可以来调节预注意过程。 6 上海大学硕士学位论文结合对比特性与局部清晰特性的图像显著性提取 这种模式速度较慢，很大程度上依赖于观察的目的性，人的主观认知、经验、习 惯，甚至是个人偏好。在人类的实际观察过程中，这两种模式是同时存在，相互 作用的，它们共同构成了人类的观察系统。成像理论和神经生理学研究也表明， 这两类视觉模型对应的刺激神经元分别位于大脑前额和颅顶皮层，但两者的神经 突触互相关联，几乎同时对大脑产生刺激【3 1 1 。故两者对视觉显著性都有重要作用。 1 3 2 图像显著性提取进展 为了衡量图像的显著性，显著特征图( s a l i e n c ym a p ) 的概念在1 9 8 5 年由 k o c h 和u l l m a n 提出【3 2 】。显著图是一个表征图像视觉关注区域的二维分布，如果 将它看成一种图像，其灰度值越大表示原图该区域的显著性越强，更吸引人眼视 觉注意，灰度的局部最大值即为图像的显著特征点( s a l i e n c y p o i n t ) 。显著图又好 比一张地形图( t o p o g r a p h i cm a p ) ，地势相对较高的区域就是引起关注的显著区 域，显著性最大处即相当于地势的最高点，局部高峰对应于局部特征点。显著图 能提供两种信息：一是图像中哪里的显著性大，二是显著区域的尺度有多大【3 3 。4 】。 基于两种视觉关注模型的图像显著性特征分析兴起于二十世纪9 0 年代末， 近年来逐渐成为该领域研究的焦点。发展较快的是基于低层视觉模型的显著提 取，其中以i t t i 的算法最具代表性【3 5 - 3 7 , 5 1 ，其框架图如图1 3 所示。i t t i 和k o c h 等 人在1 9 9 8 年提出了基于显著视觉特性的场景分析模型3 5 】，1 9 9 9 ，2 0 0 0 和2 0 0 1 年先后发表了改进算、法【3 6 - 3 7 , 5 。这种算法将多种类型( 包括亮度、颜色和方向性) 、 多种尺度的视觉特征通过中心周围算子提取特征的对比度，并将得到的显著性 度量结果合成为一幅显著图。然后按照图中显著值由强到弱的顺序依次找到显著 点的位置，并结合一个固定尺寸，得到显著区域的范围。该模型在检测效果和运 算速度上都有突出表现，受到各国研究者的广泛关注。 随后w a l t h e r 对i t t i 的模型进行了讨论，分析了不同通道显著图的互相关系， 结合图像分割成功识别图像中的显著目标【3 8 】。i t t i 的模型对简单图像检测时间较 快、有良好的效果，使之被广泛的认可和应用，如2 0 0 5 年s a n d i a 国家实验室将 该模型运用到实际检测中【3 9 】。为了方便交流，i t t i 及其学生建立了显著性检测网 7 上海大学硕士学位论文 结合对比特性与局部清晰特性的图像显著性提取 站，提供显著性工具箱下载 柏1 。本实验室的李茜指出，i t t i 模型对图像显著性提 取是将所有的关注情况显示在同一显著图上，没有考虑人眼在观察中的转移性和 深入性。从而提出视觉树的概念，模拟人眼关注物体的深度特性，取得了良好效 果【4 2 】。 i n p u ti m a 哩 l ( 1 0 v - o ，h 【q ，6 f ) 。g b si(iov一-11例),h0,0，3)i=l,2,k,9d s1 1 0 vh 0 306 g (一1 ) ，i，) d ws r 。3 3 ， ( a ) 输入图像( b ) 原始边缘分布图( c ) 二值化边缘分布图 图3 4边缘分布图 ( a ) 滤波后细节分布图( b ) 改进细节分布图 图3 5细节分布图 ( a ) 输入图像( b ) 细节分布图( c ) 颜色分类图 图3 6细节分布图和颜色分类图 4 3 上海大学硕上学位论文结合对比特性与局部清晰特性的图像显著性提取 图3 4 ( c ) 中边缘图中的细节部分能够很好地辨认出来，同时抑制了图像一些 孤立噪点。然而细节的构成应该包括细节边缘以及边缘的周围部分。为取得良好 的细节分布图，有利于下一步的处理，对二值化边缘分布图进行均值滤波，并再 次将滤波后的分布图二值化。均值滤波的作用在于将细节对应的边缘强度扩散到 其周围，而非只有边缘本身，如图3 5 ( a ) 所示。由此得到的二值化图像能较好地 反映细节成分的分布范围，强化细节分布的连续性，如图3 5 ( b ) 。 细节分布图的结果显示，当清晰对象在图像中占较小部分时效果较好。而当 对象较大，或清晰对象内部较平滑时，上述方法仅能给出这些对象的轮廓和内部 零星的细节，如图3 6 ( b ) 。对这类情况，因为对象的边缘和内部通常有相似的颜 色，所以将图像中的对象作为一个整体考虑。 具体方法为结合图像颜色分类图，通过检测每一颜色块整体的细节丰富程度 来判别该块清晰与否。如图3 6 ( b ) 中的花朵部分是清晰的，但细节分布图不能将 其完整地检测出来。通过观察花朵按颜色分块的结果，我们会发觉花朵内部的颜 色块包含更多的细节分布，如图3 6 ( b ) 和( c ) 中蓝色方框所示的黄色颜色块；而背 景颜色包含细节较少。通过两张图的结合就可将整个花朵判定为局部清晰区域。 在判别颜色块清晰的过程中，我们使用区域生长法来计算每颜色块的细节比 例。区域生长法能够将分割相类似的图像块，由图像中的某一点开始，探索该点 周围的情况，若其周围的像素点与之的差距较小便将这些点共同判为一类。区域 生长法的具体步骤如下： 1 子区域初次生长时，选取图像中任一未被归入其他子区域的点作为种子 点，如图3 7 ( a ) 中的s e e d l 。并以s e e d l 为中心的4 领域内，按号码顺序寻找与种子 点具有区域一致性的点进行生长。 2 若图3 7 ( a ) 中编号为2 的像素点与前一轮的种子点具有区域一致性，则在 该轮以此点为种子点开始生长，如图3 7 ( b ) 中的s e e d 2 。以s e e d 2 中心的4 领域内， 按号码顺序寻找其周围与种子点具有区域一致性的点进行生长。 3 若种子周围区域都与种子点都不不具有区域一致性，则停止生长。否则， 继续生长。 4 检测图像中所有的像素点是否都被归为某一子区域，若仍存在未被归类 上海大学硕士学位论文结合对比特性与局部清晰特性的图像显著性提取 的像素点，则重复以上的子区域生长算法；否则，结束整幅图像的分割。 l i 2 漱 4 3 51 l 6 添腻 4 73 ( a ) 子区域邻接图( b ) 子区域图 图3 7子区域四领域 图3 8颜色块清晰判别 区域清晰 区域模糊 由细节分布图进行清晰区域提取步骤如图3 8 所示：使用2 2 节的颜色分类法 对图像中的像素进行分类，给每一类颜色指定统一颜色值，将每个像素进行分类 并赋予统一颜色值，得到量化的颜色分类图。对于每一颜色块的清晰判断，使用 区域生长法对颜色块进行生长，生长过程中记录该颜色块所包含的像素数目以及 该块中细节像素的数目。当该颜色块区域生长结束后计算细节像素所占比例，若 超过门限乃则该颜色块判为清晰，否则判为模糊，如式( 3 4 ) 所示。最终得到的 清晰区域提取结果能给出完整的显著对象，并排除孤立小块的干扰，如图3 9 ( c ) 。 ，、f l召，t 4 ( 而y ) 2 扣i r ( 3 - 4 ) 其中彳3 ( x ，y ) 为局部清晰显著图a 3 中任意元素，变量b ，为第阶颜色块中细节 的比例，劝门限，通过实验得到，取其值为0 5 。 4 5 取 3 3 基于图像质量的清晰区域检测 图3 1 0 显示了基于细节检测的清晰区域提取结果。图3 1 0 ( c ) 的结果与人眼观 察的清晰区域有所不同，如蓝色方框区域为图像背景却被判为清晰，而红色方框 区域为前景清晰对象却被误判为模糊。这是因为边缘的强弱不能完全反映图像的 清晰程度。图3 1 0 ( a ) 输入图像中的台灯虽然有较多边缘，同时亮度变化幅度较大， 但亮度变化率却不如前景对象；孩子手臂部分边缘信息较少，亮度变化幅度小， 但变化率却比背景墙壁处大。因此我们不能单从边缘的强弱来判定区域的清晰与 否。在本节中，我们选取清晰和模糊图像中的图像块，提取图像质量参数作为特 征矢量，通过s v m 训练得到清晰模糊模型。对每幅图像进行分块，由获得的模 型判别图像块的清晰与否，改善清晰区域的判别结果。 ( a ) 输入图像( b ) 细节分布图( c ) 清晰区域显著图 图3 1 0 清晰区域显著图 上海大学硕士学位论文结合对比特性与局部清晰特性的图像显著性提取 3 3 1图像质量参数 图像质量评价最初是运用于评估各类图像有损压缩方式的：通过比较原始图 像与经有损压缩得到图像之间的差异来评估压缩方式的优劣。在评价图像质量 时，最广泛用到是均方误差( m s e ) 以及信噪比( s n r ) ，然而它们却不能很好 地描述观察者的感知视觉差异或者图像的细节变化。所以图像质量评价方法发展 出了一系列的参数来有效反映压缩编码对图像造成的失真，包括模糊、噪声、信 号失真等等【6 2 , 6 3 1 。 图像质量检测与上述边缘检测有相似的地方。边缘检测的操作过程是将原始 图像的与其模糊版本相减得到图像中的细节部分。那么图像的模糊版本相当于图 像质量检测中的需要评价的有损压缩图像。聚焦区图像滤波后清晰度的下降较 大，相当于压缩方法较差，造成图像质量明显下降；而压缩方法得当，图像质量 变化较小等同于焦外区图像经滤波后受影响较小。 根据运用信息类型的不同，评价方法被分成五类：基于像素差异测量、基于 相关度测量、基于边缘检测测量、基于频谱差异测量、基于人眼视觉测型6 2 1 。本 文使用其中1 8 个参数。 基于像素差异的图像质量参数是最直观的一类参数。其计算简单，能很好地 反映图像块的差异程度。当图像块与掩模后图像的像素差异较为明显时，基于像 素差异的图像质量参数便会对其较为敏感。本文选取文献 6 2 1 6 p d l 、) 2 、d 3 和d 4 四个基于像素差异的参数。 基于相关性的图像质量参数：数字图像像素之间具有一致性、连续性、和相 关性，每个像素的值都与其周围的像素值相关。两图像块的接近程度就可以通过 相关性函数来检测。原始图像块与掩模图像块之间相似程度越大，则说明掩模图 像块受到滤波的影响越小，那么其在焦外的可能性也就越大。本文选取文献 6 2 】 中c l 、c 2 、c 3 、c 4 和c 5 五个基于相关性的参数。 纠一志雠河1 黜耥 p 5 ， 图像相关性的测量也可通过测量图像中每个点的向量角度差得到，如参数 4 7 上海大学硕士学位论文结合对比特性与局部清晰特性的图像显著性提取 c 4 。我们可将图像中的每一个像素看作一个在三维空间中向量，那么两个像素点 的不同就可以通过计算两点对应向量之间的角度差得到。相似颜色对应的向量应 该指向基本相同的方向，而当滤波引起较大变化时，对应的向量指向也会不同。 图像质量参数的测量的第三类方法和3 2 2 节中检测清晰区域的方法接近，是 基于边缘特性的。边缘是图像的主要表现，包含丰富信息，反映图像块的尖锐或 平滑程度。基于边缘特性的图像质量参数通过c a n n y 算子对两图像块进行边缘提 取，然后统计其中的差值。本文选取文献 6 2 q b e l 和匠两个基于边缘检测的参数。 基于谱距的图像质量参数首先将图像块经过离散傅里叶变换至频域，然后经 过相关算法，得到频域的质量参数。由于图像块的频域信息反映了图像中各颜色 通道变化的情况和结构信息，因此两者的差值能很好的表示图像块之间的变化程 度。本文选取文献 6 2 】中s l 、& 、岛、嗣和岛五个基于频谱差异的参数。 基于h s v 的图像质量参数考虑人眼视觉关注特性。人眼对边缘轮廓的失真比 较敏感，但对图像纹理细节的敏感程度与其周围的亮度有关。当图像经过虚化、 模糊等操作后会使得人眼判别能力下降，因此这一参数在判别图像的清晰与否时 也具有一定的作用。本文选取文献 6 2 中凰和飓两个基于人眼视觉的参数。 t a m u r a 纹理特征是从视觉的心理学角度提出了一种纹理表示方法，包括六个 特征。其中粗糙度是较重要的一个，能够表征图像块亮度变化的快慢程度。首先， 计算图像中6 个2 k 2 k 大小的窗口中像素的平均强度值。然后计算每个像素在水 平和垂直方向上不重叠窗口之间的平均强度差。对于每一个像素，无论垂直还是 水平方向，用能够使平均强度差最大的k 值来定义这一像素的粗糙度& 。 本文一共选用1 8 个图像质量评价参数和1 个t a m u r a 参数( 粗糙度) 。图像质 量评价参数是计算原始图像块和压缩后图像块之间的评价参数。我们将式( 3 2 ) 所得图像块看作压缩后图像块处理，计算1 8 个评价参数作为