（计算机软件与理论专业论文）基于区域的图像显著目标检测.pdf

基于区域的图像显著目标检测 论文题目： 专业： 硕士生： 指导教师： 基于区域的图像显著目标检测 计算机软件与理论 梁焯佳 李文军教授 摘要 通过显著目标检测可以得到图像中引人注目的目标。显著目标检测技术可应 用于图片浏览、图像剪切、图像压缩、基于内容的图像检索等领域。目前绝大部 分关于显著目标检测的研究是基于像素级别的，存在效率偏低和因缺乏较高层次 语义特征而效果较差的缺点。在得到显著度图后如何组合显著目标的问题上，除 了一些利用先验知识指导显著目标还原的方法外，大部分方法处理比较粗糙，导 致检测得到的显著目标不够完整与准确。本文提出针对区域的面积与位置显著度 特征，重新设计了中央环绕特征与颜色分布特征，再根据聚集性、面积与位置显 著度特征指导区域的生长与合并，最后得到显著目标。这种基于区域的显著目标 检测方法，可以在保证效率的情况下改善检测效果。 本文采用一种新方法进行显著目标检测，大致流程如下：1 ) 对图像进行分 割，得到互不重叠的、具有特征一致性的区域；2 ) 对分割得到的区域进行聚类， 使得具有特征一致性的区域在同一聚类中；3 ) 计算基于区域的中央环绕特征和 颜色分布特征；4 ) 组合两种特征生成最终的显著度图；s ) 通过区域的生长、合 并与选择得到显著目标。 本文的实验评价工作基于微软亚洲研究院的显著目标图像库，与四种主流方 法进行比较。实验结果表明，本文的方法检测得到的显著目标的精确率、召回率 和综合评估指标均优于其他四种方法。 关键词：显著目标检测、显著度特征、中央环绕、颜色分布、区域生长和合并 基于区域的图像显著目标检测 a b s t r a c l t i t l e ：i m a g es a l i e n to b j e c td e t e c t i o nb a s e do nr e g i o n s m a j o r：c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：z h u o j i al i a n g s u p e r v i s o r ：p r o f w e n j u nl i a b s t r a c t s a l i e n to 场e c td e t e c t i o na i m st of i n do u tt h ea t t r a c t i v eo b j e c t si na ni m a g e a u t o m a t i c a l l y i t c a nb ea p p l i e dt o i m a g eb r o w s i n g ，i m a g ec r o p p i n g ，i m a g e c o m p r e s s i o n , c o n t e n t b a s e di m a g er e t r i e v a la n d s oo n c u r r e n t l y , t h em a j o r i t yo ft b e r e s e a r c h e sa b o u ts a l i e n to b j e c td e t e c t i o na l eb a s e do np i x e l s ，b u tt h e yh a v el o w e f f i c i e n c yb e c a u s eo ft o om a n yp i x e l sa n dl e s se f f e c t i v e n e s sb e c a u s eo ft h el a c ko f h i g h - l e v e ls e m a n t i cf e a t u r e s e x c e p ts o m ea p p r o a c h e su s et h ep r i o rk n o w l e d g et o o u t p u tt h es a l i e n to b j e c ta f t e rf i n i s h i n gt h es a l i e n c ym a pc o m p u t i n g ，m a n ya p p r o a c h e s j u s th a v eac r u d ep r o c e s s ，s ot h eo m p ms a l i e n to b j e c ti sn o tc o m p l e t ea n da c c u r a t e t h i sp a p e rp r o p o s e st w os a l i e n tf e a t u r e s ( a r e aa n dp o s i t i o n ) a n dr e d e s i g n st h e c e n t e r - s u r r o u n da n dc o l o r - d i s t r i b u t i o nf e a t u r e s t h e n , t h ea g g r e g a t i o n , a r e aa n d p o s i t i o ns a l i e n tf e a t u r e sa r ea p p l i e dt og u i d er e i ng r o w i n ga n dc o m b i n a t i o n , a n d f i n a l l yf i n dt h es a l i e n to b j e c t o u ra p p r o a c hc a ni m p r o v et h ee f f e c tw h i l ee n s u r i n gt h e e f f i c i e n c y i nt h i sp a p e r , an e wa p p r o a c ho fs a l i e n to b j e c td e t e c t i o ni sp r o p o s e da n di t sb r i e f p r o c e d u r ei s a sf o l l o w s ：1 ) u s ei m a g es e g m e n t a t i o nt og e td i s j o i n tr e g i o n sw i t h c h a r a c t e r i s t i cc o n s i s t e n c y ；2 ) c l u s t e rt h er e g i o n s ；3 ) c o m p u t et h er e g i o n - b a s e d c e n t e r - s u r r o u n df e a t u r ea n dc o l o r - d i s t r i b u t i o nf e a t u r e ；4 ) c o m b i n et h et w of e a t u r e st o g e tt h es a l i e n tm a p ；5 ) t h r o u g ht h er e g i o ng r o w i n g ，c o m b i n a t i o na n dc h o i c e ，g e tt h e s a l i e n to b j e c t w eu s et h es a l i e n to b j e c ti m a g es e tc r e a t e db ym i c r o s o f tr e s e a r c ha s i at ot e s t o u ra p p r o a c ha n dc o m p a r ew i t ho t h e rf o u rm a i na p p r o a c h e si nt h es t a t e - o f - a r t t h e e x p e r i m e n t a lr e s u l ts h o w st h a to u ra p p r o a c hi sb e t t e rt h a no t h e rf o u ra p p r o a c h e si n l 基于区域的图像显著目标检测a b s t r a c t p r e c i s i o n , r e c a l la n df - m e a s u r e k e yw o r d s ：s a l i e n to b j e c td e t e c t i o n ，s a l i e n tf e a t u r e ，c o l o r - d i s t r i b u t i o n , r e g i o n g r o w i n ga n dc o m b i n a t i o n 基于区域的图像显著目标检测 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：豢缉丝 日 期：丝f 竺垒堇园墨! 自 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版，有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆、院系资料室被查阅，有权将学位论文的内容编入 有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 一躲骡舭翩张嘲 日期：砷i 年岁月多口日日期：p 年么月j 日 。 革于匡域的图像显著目标检测第1 章引言 第1 章引言 有些图像中含有引人注目的显著目标因为显著目标包含更多具有价值的信 息所以显著目标检测技术可以应用于基于内容的图像检索、图像压缩、图像剪 裁和图片浏览等多个领域。目前对显著目标检测的研究存在一些问题，本文针对 这些问题提出了基于区域的显著目标检测方法。 1 1 研究背景 长期以来，心理学、神经系统学和计算机视觉等领域的学者对视觉注意力进 行了研究，研究表明人类的大脑和视觉神经系统会更关注目像中的某些目标，我 们称这些目标为显著目标“l 。 对于低层语义特征来说，显著目标的产生是由图片某部分的属性特征与其他 部分属性特征的不协调造成的，这里的属性特征包括颜色、纹理朝向、亮度等”1 。 特征的不协调能够产生新异的刺激，能容易引起观察者的注意力，产生视觉显著 性。 对于高层语义特征来说，在一些杂乱的、无意义的区域映衬下含有高层语 义的目标对人更具吸引力。需要指出的是，并不是所有图像都含有显著目标，譬 如一张纯色的图像就没有显著目标。 圈1 - 1 图像中的显著目标 人类视觉感知认为图1 - l 中的( a j 和l b ) 图片存在显著目标。图i a ) 是一匹马在 基于区域的图像显著目标榆测 第1 章引言 草地上吃草，黄棕色的马在绿色的草地背景中格外地引人注目。图( b ) 是斜划线 组成的图片，其中有一条斜划线的走向与其他斜划线走向不一样，这种走向的不 协调吸引了我们的注意力。微软亚洲研究院( m i c r o s o f tr e s e a r c ha s i a ，缩写m s r a ) 的显著目标图像库1 包含各种各样的类似图1 - 1 ( a ) 的图片，是当前最具权威的显著 目标图像库之一，被较多关于显著目标检测的研究用作测评。 图像目标检测一直是计算机视觉的研究热点，并己取得不错的成果【3 ，4 ，5 1 。图 像中的物体是图像的高层语义特征，即使可以通过训练学习物体的颜色、纹理和 形状等关于物体的描述特征，但由于受物体在图像中的视角、姿势和光照等因素 的影响，在图像中准确检测出有语义的物体对于计算机来说还是件不容易的事情。 显著目标检测属于目标检测的范畴。当图像中含有显著目标时，由于可以充 分利用目标的显著特性，显著目标检测即使没有任何先验知识也可以较准确地检 测出图像中的目标。这种对图像中的显著目标进行检测的方法正是本文研究的内 容。 1 2研究意义 显著目标检测的结果是图像中人们最为关注的目标，因此显著目标一般包含 更多人们感兴趣的、更有用的信息。我们可以把检测得到的显著目标运用于图像 检索、图像压缩、图像浏览和图像剪裁等领域。 在基于区域或对象的图像检索虹7 】中，利用显著目标检测技术能更准确地定 位候选图像的显著区域或者显著目标，并提取信息进行相似度比较。这样可以避 免占据候选图像大部分的、但人们并不关注的区域与目标区域或对象进行比较， 除了提高检索效率外，也提高输出目标的精确度。 图像压缩分为有损压缩和无损压缩，当执行有损压缩时，在同样的压缩比率 下我们希望我们所关注的目标丢失的信息更小，这时显著目标检测可以派上用场。 o u e r h a n i 等人使用显著目标检测技术得到图像的显著区域，执行压缩时对显著区 域使用较低压缩比率尽量减少信息损失，而不显著区域则使用较高的压缩比率， 1m s r a 显著目标图像库网址： b 建墅奠z 呈呈坌篮b ：巫i 丛l 堑! ：l 薹! 堕吐金止丛5 2 婪啦鳇q 乜! 皇2 i l a 旦女n 2 s 量! l 量凸! q 坠i 皇丛z 5 a ! i 皇n ! q b i 壁丛：b ! 盟 2 基于区域的图像显著目标检测 第1 章引言 从而达到在同等的压缩比率下，我们所关注的重要目标更清晰【8 】。 显著目标检测还可以运用在图片浏览器中。图片浏览器可以只显示图片的显 著目标，展示用户最为关注的对象，只有当用户使用鼠标等方式指定到某张图片 时才展示完整的图片。这样的设计使得图片浏览界面可以有效地展示更多的图片， 方便人们浏览。m e u r 和m a r c h e s o t t i 等人把显著目标检测技术运用到图片的缩略 图生成上1 9 j 1 0 l ，使缩略图只显示显著目标，让显著目标更清晰地供用户查看。 当显著目标检测技术运用于图像剪裁时 1 1 1 ，可以把显著目标作为重要部分留 下，而把不显著部分裁剪掉。另外，显著目标检测还是可以应用自动聚焦和自动 屏幕适配等领域。 1 3 研究现状 在了解显著目标检测之前，首先介绍与它密切相关的视觉注意力模型( v i s u a l a t t e n t i o nm o d e l ) 。视觉注意力模型首先计算图像的显著度图( s a l i e n c ym a p ) ，并 依据显著度图模拟人类目光在图像上的转移。显著度图记录图像中每个像素的显 著度值，一般使用灰度图来表示，灰度值越大表示越显著。目前，不少显著目标 检测方法直接使用视觉注意力模型中的方法计算得到显著度图，再对显著度图进 行处理，输出显著目标。 1 3 1 视觉注意力模型 1 9 9 8 年，i t t i 和k o c h 提出的视觉注意力模型【1 2 】是最早、最著名的模型之一。 k o c h 视觉注意力模型是对k o c h 和u i i m a n 提出的解决方梨2 】的一种实现与 扩展。l t t i k o c h 模型的框架如图1 2 所示，把图像作为输入，计算图像的强度、 颜色和走向三个特征，对三个特征使用中央环绕算子进行计算，生成一系列特征 值图，再把这些特征值图归一化并且组合，得到最终的显著度图，再根据 w i n n e r - t a k e - a l l ( w t a ) 机制【2 】模拟目光转移。k o c h 模型被成功地运用到预 测人类目光转移和目标检测中i ”l 。该模型的主要不足之处是：过多参数需要手动 设置，并且显著性度量完全依靠图像的局部信息，而没有充分考虑整幅图像的全 局信息，这会使检测结果产生局部效应，导致检测效果较差。2 0 0 8 年，f o u l s h a m 3 基于区域的图像显著目标检测第1 章引言 论述了为什么视觉注意力模型能通过计算显著度来估计人类目光的转移【1 4 1 。 还有不少方法类似i t t i k o c h 视觉注意力模型，自底向上( b o t t o m u p ) 地 分析低层次特征( 颜色、强度和走向等) 得到最终的显著度图。在 i s ，1 6 ，1 7 中， 提取多种低层次特征进行分析，并研究这些特征如何产生显著性使到人类对图像 的某部分特别感兴趣。在【1 8 】中，提出了显著区域为原对象的概念，使用自底向 上的方法得到原对象，之后通过使用生物似然的方法序列化对象识别。和k o c h 在2 0 0 1 年对当时出现的自底向上的视觉注意力模型作了综述【1 9 l ，并指出视觉注 意力模型的五个发展趋势。 自顶向下( t o p d o w n ) 的视觉注意力模型【2 q2 1 , 2 2 1 是利用高层语义特征和知 识驱动计算视觉显著性。高层语义特征指的是图像中的对象级别的特征，人们会 更关注有语义性的对象，所以它们更具视觉显著性。为了让计算机认识图像中的 有语义对象，需要通过训练等方法使其得到需要的知识。自顶向下的模型计算复 杂度较高，但效果更贴近人类的视觉。 目前也有些研究 2 3 , 2 4 , 2 5 1 结合自底向上与自顶向下两种方法，综合两者的长处， 取得了不错的效果。 n p u l m a 哩二二二二7 i 乡l彳乡l iii 。二二= 7 f e a t u r ez 二二= 7 m a p sz 二二二= 7 i 1 2 唧s ) ( 6m a p s ) 一- i ( 2 4m a p s ) ? i 二玉亘塑：亟叵l 巫堕型里堕璺型匦圃亘画二 z 兰二7c o n s p i c u 时z 多m a p sz 多 i一 s a l i e l n h i b i t i o n o fr e t u m a t t e n d e di o c a t i o n 图1 - 2i t t i k o c h 的视觉注意力模型的框架n 2 1 4 基于区域的图像显著目标榆测第1 章引言 1 3 2 显著目标检测 虽然视觉注意力模型中生成的显著度图可以直接作为显著目标检测的显著 度图，但这种显著度图主要为了描述人类目光的转移，和显著目标检测所需要的 显著度图还是有些差别。另外，两者最终的输出结果差异明显，视觉注意力模型 的最终输出是模拟目光在图像移动的线路，而显著目标检测的结果的最终输出是 显著目标或者包含显著目标的最小外包矩形。例如，一个人站在颜色单调的房间 正中，显著目标检测的结果就是这个人( 大多数人会这样认为) ，即在显著度图 中人对应的位置是最亮的，可以经过简单的处理输出人所在的图像区域。但视觉 注意力模型中的显著度图，或许是人的脸部最亮，其次到人的身体，再到墙上的 一盏小灯，最后是入穿的鞋子。显著度图的亮度高低描述人们目光在图像移动的 先后顺序。 正是由于视觉注意力模型与显著目标检测的不同，有不少专门针对显著目标 检测的研究。m a 和z h a n g 通过对图像局部进行对比度分析得到显著度图，提出 模糊生长算法从显著度图中提取出显著目树2 副。k w a k 等人提取图像的亮度、颜 色和方向三种特征，生成显著度图并提取显著度点，通过注意力窗口定位显著目 标1 2 7 1 。g a o 等人提出一种新颖的从杂乱场景中提取显著目标的方法，该方法通过 训练学习，最优化地组合多种图像特征【2 8 1 。h o u 和z h a n g 提出了高效的光谱残留 算法f 2 引，该算法不但速度快而且实现简单，只需要几行m a t l a b 代码就可以得到 显著度图，通过对显著度图进行阈值处理，得到最终的显著目标。t i e 等人提出 了三个显著度特征：局部对比度特征、区域中央环绕特征和全局颜色分布特征， 通过使用条件随机域模型进行训练，组合三种特征得到最后的显著度图i l l 。 g o p a l a k r i s h n a n 等人提出一个鲁棒性强的显著区域检测框架l 刈，这个框架使用颜 色和方向分布特征分别得到两张显著度图，再使用一种非线性叠加的方法组合两 张显著度图得到最终的显著度图。 相对以上基于低层次特征计算的显著度图，以下介绍基于区域或者对象等较 高层次特征的显著目标检测方法。t h o m a s 和h i c h e n 提出面向区域的视觉注意力 框架【3 1 1 ，该框架在提取显著区域时包括5 个步骤：( 1 ) 颜色对比度和强度对比度 特征提取；( 2 ) 基于区域的图像分割；( 3 ) 区域生长：( 4 ) 区域显著度计算；( 5 ) 目 蕈于域的封博8 著目标持测第1 章日f 胄 标区域的选择。浚方法区域生长主要是根据区域间公共边缘信息来指导合并，经 过不断的合并，得到区域的层次等级关系。而区域显著度计算使用了像素数量、 重心位置、区域内的一致性、移动信息和中央环绕等多种特征进行计算。t h o m a s 等人在 3 1 1 的基础上，根据求解得到的显著度图和区域的层次等级关系，提出一 种知觉组合的方法组合区域得到完整显著对象。u 和c h e n 结合传统的自底向 上和自顶向下的方法进行显著目标检测酬，在执行自顶向下的阶段时，首先需要 训练得到指导区域的合并的目标先验知识。z h u a n 8 等人在1 1 1 的基础上，提出基 于区域计算的局部对比度特征、中央环绕特征和颜色分布特征1 ，在保证一定的 检测效果的情况下，提高了效率。 1 。4 当前研究存在的主要问题 由于显著目标检测可以应用于图像检索、图片浏览、图像压缩和图像剪裁多 个领域，近年来众多学者对显著目标检测进行研究，取得了不错的成果，但还存 在不足。 l a )( b j( c l 幽1 = 2 当前具有代表性的两个算法“”1 对i a l 图片生成的显著度图l b l 和l c ) 图1 - 2i a 】描述了一片红色叶子放在一张灰白色的网上，显而易见地红色叶子 就是显著目标。( b 阍是i t t i 视觉注意力模型 1 2 1 生成的显著度图，可以看到叶子的 位置偏黑，认为叶子并不显著，这是一个错误的检测结果。该方法对低层次特征 进行处理，在像素级别上计算颜色、强度和方向三种特征的差异度。由于图片l a ) 中的黑色格子与灰白色条纹差异度大，所以显著度高。而红叶子的内部颜色、强 度和方向等特征非常一致，导致算法认为显著度低。这也是较多的基于像素级别 的方法存在的毛病。 图1 - 2 是使用近年来检测效果比较好的t i e 算法得到的显著度图。该方 6 基于区域的图像显著目标检测第1 章引青 法使用描述局部、区域和全局的特征来弥补| t t i & k o c h 模型的不足，可以看到它 的显著度图比( b ) 更符合人类视觉感知。但我们可以看到图【c ) 叶子的右边部分明 显比叶子其他部位暗，甚至比叶子左下方的方格子暗。红色叶子内部具有特征一 致性，是一个整体，应该具有一样的显著度。叶子的某一部分显著度低会导致不 能检测得到完整的叶子。另外，叶子以外的也有较亮区域，也会对显著目标的还 原造成干扰。还有，黑色的方格子广泛分布在图像中，人眼可以一下子判断为背 景，但以上两个方法都没有将其显著度降低。 在【2 6 】中通过对图像局部进行对比度分析得到显著度图，从显著度图中找出 特别显著的特征点( 小块) ，这些特征点经过模糊生长得到显著目标。由于对比 度有局部性，容易把亮斑等噪音作为特征点，即使模糊生长算法设计十分合理， 也只能得到错误的显著目标。而【2 9 】提出的残留光谱算法，一般只能检测到图像 中最显著的一块区域，而不论这块区域是否只是目标的一小部分，或者只是一块 应该被忽略的噪音块。由于缺乏对显著区域的分析，没有区域的组合，简单输出 显著目标，导致检测效果不好。 t h o m a s 的面向区域的视觉注意力框架1 3 1 】中由于首先对图像进行了区域划 分，不存在k o c h 视觉注意力模型和t i e 算法的一些缺点，但由于该方法在 计算显著度时只与相邻的区域进行比较，图1 - 2 ( a ) 中的黑方格子不能准确地认为 是背景区域。该方法在计算区域显著度时使用了多达五种特征，如何结合这五种 特征是一个值得考究的问题，而且算法总体效率比较低。其中，这五个特征中包 含区域的像素和区域重心与图像中心的距离这两个特征，文章只是简单地把这两 个特征值标准化，并没有提出区域像素数量和离中心距离是如何影响区域显著度 的。 下面总结当前一些算法出现的问题。 ( 1 ) 生成的显著度图跟人类对显著度的视觉感知有一定的差异。这是目前 研究需要克服的最主要问题，要得到跟人类视觉感知完全一致的显著度图基本上 是没可能的，但在具有特征一致性的区域内部的像素显著度值不同和明显为背景 的一些区域显著度却较高等问题上，我们还是可以想到解决的办法。 ( 2 ) 当得到显著度图后，现存没有较好的方法指导显著目标的还原。到目 前为止，较多方法采用简单的做阈值处理得n - 值图，再根据二值图输出显著目 7 基于区域的图像显著目标检测第1 章引言 标，这些方法容易受噪音干扰，获得的目标不够完整与准确。另外，有些方法需 要目标先验知识的指导，这种方法对于特定的对象( 例如人、车辆等) 是可行的， 但对于包含各种物体的自然图片，难以取得好效果。 ( 3 ) 效率上的问题。有较多算法需要分析大量的基于像素的低层次特征， 耗费大量的时间。 本文将针对以上提出的一些不足，提出新的显著目标检测方法，在保证具有 良好效率的情况下，改善显著目标检测的效果。 1 5本文的研究内容 1 5 1 本文的研究思路 一般人会认为具有特征一致性的区域是不可分割的最小块，构成目标的最小 单元，所以这些区域的内部像素应该具有相同的显著度。但是目前的一些方法会 出现具有特征一致性的区域内各部分显著度不同的现象，这种现象会导致显著目 标不能被完整还原的问题。还有些方法，在具有特征一致性的区域内部由于各种 特征对比度低而显著度骤降。为了解决这些问题，本文首先对图像进行区域划分， 得到不重叠的、具有特征一致性的区域。以区域作为显著度计算的基本单元，同 一区域内部像素将具有相同的显著度值，避免了区域各部分显著度不一致和区域 内部显著度骤降的缺点。 不少基于区域的显著目标检测算法计算区域显著度时，只与相邻区域比较， 这种方法得到的特征是区域性特征，很容易使到显著度的计算陷入图像的局部。 我们不但需要区域性特征，也需要全局性的特征。本文对区域进行聚类，把一些 具有特征一致性的区域聚集在一起，通过计算同一聚类的区域在图像中的分布得 到其显著度特征，这种特征属于全局性的特征。 目前一些基于区域的显著目标检测方法并没有充分利用区域的特性，求解区 域的显著度时还完全停留在像素级别上。本文从全新的角度思考区域的显著性， 提出了针对区域的面积与位置显著度特征。这两种特征计算速度快，也能较正确 地反映区域的显著性，对显著目标的检测有较大的帮助。 关于如何组合区域成为完整的显著目标的问题上，需要充分利用区域的特性。 g 基于区域的图像显著目标检测第l 章引言 由于目标的聚集性比较强，而且目标的面积与位置也是有一定规律，再加上每个 区域的显著度，我们应该可以有效地还原显著目标。 1 5 2 本文的研究方法 本文提出面积与位置两种针对区域的显著度特征和一种基于区域的显著目 标检测方法。这种检测方法首先对图像进行分割得到不重叠的具有特征一致性的 区域；对区域按照颜色类似度进行聚类；得到聚类结果后，计算中央环绕与颜色 分布两种特征；通过组合两种特征得到显著度图；进行区域的生长和合并得到最 终的显著目标。基于区域的显著目标检测流程图如图1 3 所示。 输入性式 1 l 图像分割 上 区域聚类 上 上 中央环绕特征计算颜色分布特征计算 夕央上芋特上少等布特征吵 组合特征图 上 显著度图 上 区域生长与合并 1 l 籼踏昧 图1 - 3 基丁二区域的显著目标检测流程图 9 基于区域的图像显著目标检测 第1 章引言 1 5 2 1图像分割 图像分割把输入的图片分割成若干区域，这些区域互不重叠，每一个区域具 有特征致性。因为分割后每个区域具有特征一致性，在人的视觉感知中每一个 区域都是不可以再划分的，所以显著目标由一个或者多个区域组成。根据这样的 特性，可以通过组合区域还原目标。这样的区域还原方式相对于基于像素的还原 方法可以得到更准确完整的目标轮廓。图像分割不但有利于组合目标，而且加快 了显著度的计算。因为每个区域具有颜色纹理一致性，在人的视觉感知中可以认 为同一个区域的所有像素具有一样的显著度。这样就可以通过计算整个区域的显 著度来代替区域每个像素点的显著度，摆脱分析像素点的显著度的传统方法，使 得运算速度更快。更准确完整地还原显著目标和提高计算速度，这正是本文想达 到的研究目标。 1 5 2 2区域聚类 区域聚类是把颜色特征类似的区域聚集在一起，主要为计算颜色分布特征做 铺垫。在图像分割时，图像分割算法会把相邻的颜色类似的区域合并，但当两个 区域不相邻时，合并操作是没法进行的，这个问题需要区域聚类来解决。根据区 域聚类的结果可以计算具有类似颜色的区域在图片中的分布，如果某种颜色的区 域在图像中分布广泛，这一区域就不显著，因为它们很可能是背景。 1 5 2 3中央环绕特征 中央环绕特征是中央位置像素点与其周围( 环绕) 像素点的颜色对比度特征， 对比度越大中央位置的像素的显著度越高。中央环绕特征并不是本文首先提出， 但本文的基于区域的中央环绕特征计算方法是新颖的，而且比起目前出现的方法 更符合人的视觉感官。在上文的图像分割小节中提到，本文不是针对像素计算显 著度，而是针对区域计算其显著度，所以计算中央环绕特征时，以某一个区域为 中央，以该区域扩展得到的环状区域为环绕，根据中央与环绕的颜色差异计算该 区域的中央环绕特征。中央环绕只考虑一个区域的周边情况，该特征属于区域性 】0 基于区域的图像显著目标检测 第1 章引言 特征。 1 5 2 4颜色分布特征 颜色分布特征是说明颜色在图片中的分布情况。在图片中，某种颜色分布越 广越不显著，分布越集中越显著。本文提出新颖的基于区域的颜色分布特征，该 特征由计算颜色类似的区域块在图片中的分布而得到，这种特征计算方法提升了 效率。颜色分布特征考虑区域块在图片的总体分布情况，该特征属于全局特征。 1 5 2 5特征组合 特征组合是把区域性的中央环绕特征和全局的颜色分布特征组合在一起。本 文的特征组合方法是简单的线性叠加。在本文的实验部分将证明组合特征将得到 更好的检测效果。 1 5 2 6区域组合 由于显著目标是由一个或者多个区域组成的，所以组合若干区域生成目标是 必需的。本文提供两种的组合区域的方式： ( 1 ) 区域的生长与合并。这种方式首先需要选定种子区域，根据一定的规 则从该种子区域的邻接区域中选择某些区域进行生长合并。这种方式被选择的区 域都是连通的，主要针对图片中只含有一个显著目标。 ( 2 ) 区域的选择。这种方式是根据一定的规则直接选择若干由种子区域生 长得到的区域集合作为显著目标，主要针对图片中存在两个以上的显著目标。 最后的显著目标输出由一个目标显著度评价指标决定的。 1 5 3 本文的贡献 本文针对区域，提出了面积与位置两种显著度特性，通过对5 9 人进行的显 著度视觉测试，证实了面积与位置确实对目标的显著度产生影响，并通过显著目 标与图像面积比率和显著目标位置分布特性，定量化面积和位置对显著度的影响， 1 1 基于区域的图像显著目标检测 第l 章引言 使之可以投入真正的显著度计算中。 本文针对区域的特点，重新设计了中央环绕图特征和颜色分布特征，这两种 特征不但速度快而且结果更符合人类对显著度的视觉感知。 目前较多学者重点关注在显著度图的生成上，而对如何根据显著度图得到显 著目标的处理比较粗糙，一般只是使用二值化处理，得到的显著目标并不完整与 准确。本文根据区域的特点，使用区域的聚集度、面积与位置等特性指导区域的 生长与合并，使得检测得到的显著目标更完整更准确。 通过使用目前常用的显著目标图像库进行测试，与四个主流方法比较，实验 结果表明本文的方法效果更优越，而且由于本文方法在图像分割后都是基于区域 的运算，算法的效率得到了保证。 1 6 本文的结构 第一章阐述了研究的背景和当前的研究状况，指出了当前研究的不足，并提 出了本文的基于区域的显著目标检测方法和本文的贡献。本文几乎所有运算都是 基于区域的，而区域是图像分割的结果，故第二章将介绍图像分割的相关知识， 并对分割得到的区域进行聚类。第三章提出面积与位置两种显著度特征，并通过 显著度视觉测试实验证实面积与位置对显著度有规律的影响，并且通过对微软亚 洲研究院的显著目标图像库进行分析定量化这种影响。第四章提出计算基于区域 的中央环绕特征与颜色分布特征的方法，并组合这两种特征得到最终的显著度图。 第五章描述如何根据显著度图组合区域得到显著目标。第六章是实验部分，本文 算法与多个主流算法进行比较，实验结果表明，本文算法能取得更好的效果。第 六章将对本文方法进行总结，提出还未解决的问题和未来的工作。 基于区域的图像显著目标检测 第2 章图像分割与区域聚类 第2 章图像分割与区域聚类 图像分割是图像处理中一项常用的基本操作，其作用是把图像分割成互不重 叠的、具有特征一致性的区域。本文的显著目标检测是基于区域进行运算的，所 以首先对图像进行分割。当得到若干区域后，使用区域聚类算法寻找具有特征一 致性的、并不邻接的区域，以计算具有特征一致性的区域在图像中的分布情况。 2 1图像分割 图像分割( i m a g es e g m e n t a t i o n ) 是将图像划分成若干具有特征一致性且互 不重叠的图像区域的过程。理想的情况下，分割产生的区域对应于场景中的不同 物体或者物体的不同部分。图像分割技术有着极其广阔的应用空间，需要对视觉 信息进行分析和理解的场合都需要用到图像分割技术。 下面给出图像分割的形式化定义【3 s 】：假设输入图像，中所包含的像素的集合 为x = ( x u ) ( 1 ，h ，1 j w ) ，h 和w 是分别图像，的高与宽。图像，的分割r 是 对其像素集合x 的一个划分，设划分出n 个不同的非空子集为r = r i ，r 2 , ，r ，v ) ， 并称它们为分割产生的区域( r e g i o n s ) 。作为图像的分割，划分r 需要同时满足 以下四个限定条件： ( 1 ) 完备性：u 篇：1 r m = x ； ( 2 ) 无重叠性：对任意的m i 1 均有尺m n 如= 谚，其中国代表空集； ( 3 ) 连通性：记图像，中与像素锄相邻的像素集合为似砌，称之为砌在图像 ，中的邻域。对于任意的m = 1 ，2 ，v 和拗，如果x l jr m 且r m 中的像素 数目大于1 ，则必定存在n ( x u ) 满足； ( 4 ) 特征一致性：设h ( ) 是一个预定义的、用以判定集合特征一致性的布尔 值函数。对于单个区域，坝) = t r u e ；则对于任意的m 和1 1 ，如果 和r 。邻接，必有h ( u ) = f a l s e 。 以上的定义中，前面两个条件是任何集合划分都应该满足的共同限定，而后 面两个条件是图像分割所特有的。条件( 3 ) 要求分割产生的区域必须是内部连通 的。条件( 4 ) 强调分割结果的特征一致性，它包含两方面的意义：一方面，各区 基于区域的图像显著目标检测 第2 章图像分割与区域聚类 域的内部都应该具有某些相同或相似的特性；另一方面，相邻区域的特征应该互 不相同，可以借助这些特征对相邻区域加以区分。 图像分割常用到的特征 3 6 , 3 7 1 包括：灰度、色彩、纹理、轮廓、对称性、凹凸 性，以及图像中的对象的先验信息等。一般来说，我们可以把这些视觉特征分为 如下三个层次： ( 1 ) 像素级特征，例如色彩和亮度； ( 2 )区域级特征，例如纹理，轮廓，这些特征只能在图像区域上才可以测 度，单个的像素是不存在所谓的纹理或者轮廓特征； ( 3 )对象级特征，例如对象的形状、应具有的色彩和尺寸等。 在使用计算机来处理和分析图像时，需要定义一些数字量来描述和度量上述 这些视觉特征，我们称这些数字量为特征矢量。而对这些视觉特征的相似性的度 量( 可以说是h ( ) 函数) 往往是通过一些预定义的指标来量化计算得到的，例 如经常使用特征矢量间的欧氏距离来度量特征相似性。 按照分割过程中是否包含学习训练阶段，将现有的分割方法分为两大类：数 据驱动的分割方法和知识驱动的分割方法。数据驱动的分割方法是指不包含学习 训练阶段，分割的实现只依赖于从图像数据提取的元素特征以及特征之间相似性 的方法，并不依赖于一些包含高层语义的先验知识。因为本文方法并没有分割对 象的先验知识，所以采用数据驱动的分割方法。在【3 8 】中介绍了众多的数据驱动 的图像分割算法，下面列举一些主流的方法：基于随机模型 3 9 , 4 0 , 4 1 1 ，基于形态学 分水岭算法区域生长【4 2 1 ，基于色彩一致性的区域划分算、法【4 引，图划分算法 4 4 , 4 5 , 4 6 1 ， 能量扩散方法f 4 7 j 。 本文使用图像分割算法的目的是划分图像得到具有特征一致性的区域，这些 区域将成为显著度计算和显著目标重组的基本单位。严格的特征一致性表示同一 区域具有完全相同的颜色或者具有几乎完全相同的纹理形状等。在实际的自然图 像中，如果按照严格的特征一致性去分割图像，即使两块特征十分接近( 人类视 觉认为属于同一区域) 的区域也会被划分开，这并不符合人类的对区域的视觉感 知。因此，本文中的区域特征致性指的是人类视觉感知认为区域具有某种特征 的一致性，是对严格特征一致性一定程度的放宽。 大多数图像分割算法可以通过参数控制特征一致性函数，而且具有一组默认 1 4 基f 域的图像显著h 标橙测第2 章圈像分割# 日域聚类 参数。目前流行的知名图像分割算法在其默认设置的参数下，能得到比较符合人 类视觉感知的区域划分，所以本文可以通过图像分割的方式获得区域。 图像分割算法不是本文研究的重点，它只是本文得到特征一致性区域的一种 有效的方法，所以在本文不展开讨论。 a j 【b ) b 圈2 - 1 a 是原始图片；恤 是使_ i jj s e g 洲分割算法得到的分割结果( 每个区域由白线圈起) 2 2 区域聚类 图像分割的结果是若干具有特征一致性且互不重叠的图像区域，而区域聚类 的目的是把非邻接的具有一致性的区域聚合在一起。聚类的结果将用作计算各个 区域在整张图片的分布，从而得到这些区域的颜色分布显著特征。 区域聚类可以直接采用图像分割的特征一致性评价函数州) ，也可以根据 特定需要自行设计h ) 。如果州r 。ur o ) = t r u e f m ，州，那么区域s 。和s 属 于同一聚类。本文利用图论的思想去实现聚类算法，把每个区域看作图的顶点， 刚开始时没任何边，所有顶点都是孤立的。对任意两个顶点计算h i ur ) ， 如果结果为t r u e 则加一条连接这两个顶点的边。最后，图中的每个子图就是一 个聚类。图2 - 2 是本文区域聚类算法对图2 - 1 ( b ) 中的区域进行聚类的结果，从图 2 2 扭) 和l b 同阻看到，区域聚类把具有特征一致性的区域聚合在一起。 摹于区域的翻像著目标捡测 第2 章图像分割与区域聚交 2 3 本章小结 图2 - 2 对图2 1 l b ) 的区域进行聚类的结果 l f l 图像分割是图像处理中的常用操作，各种分割技术都相当成熟。本文需要使 用图像分割技术得到区域块，这些区域块将成为后面算法的摹本运算单元，所以 图像分割是本文方法的基础。区域聚类可以把一些并不相邻的具有特征一致性的 区域聚合在一起，聚合后可以计算具有特征一致性的区域在图像中的分布情况， 略 基于区域的图像显著目标检测 第2 章图像分割与区域聚类 通过其分布情况可以计算其显著度。 1 7 基于区域的图像显著目标检测 第3 章面积与位置显著度特征 第3 章面积与位置显著度特征 目前对于显著度的研究几乎都集中在分析颜色、亮度、方向等特征上，我们 称这些会影响物体显著度的特征为显著度特征。颜色和亮度等显著度特征对显著 度的影响是显而易见的，但它是低层次的像素级的特征，有时候会误判一些毫无 意义的区域为显著区域，导致检测效果跟人的视觉感知出现偏差。近年也不少研 究通过训练学习的方法来检测显著目标，但其学习训练阶段时的特征输入也是颜 色和亮度等特征，还是会出现一定程度的误判，而且对这些低层次特征进行训练 要付出大量的时间开销。如果可以有其他较高层次的显著度特征与颜色、亮度和 方向等低层次特征结合，或者可以取得更好的效果。 本文针对区域的特性，提取新颖的显著度特征：面积与位置。面积与位置是 面向区域的，本文中的面积是指区域的最d , # l - 包矩形的面积，而位置是指区域的 最小外包矩形的对角线交点坐标。面积与位置显著度特征属于区域性的显著度特 征，把这两种特征结合其他低层次特征，将会取得更好的检测效果。本文的显著 度计算方法将结合颜色、面积和位置三种显著度特征。 3 1显著度视觉测试实验 如果一个物体在图像中占据的区域很小，那么它就不容易被人所重视；如果 物体在图像中占的比率很大，几乎分布在图像中的每个部位，因为缺乏明显的对 照它也不容易吸引人的注意力；面积适中的物体更容易被人所关注。另外，由于 人类一般会重点关注视窗中央部位，拍摄图片时也习惯把重要景物摆在视窗中央， 所以一个物体的中心位置越靠近图像的中央，人类会觉得这个物体越显著。 总的来说，物体的面积和位置影响这物体的显著性，一个物体的面积越适中 而且中心位置越靠近中央，这个物体越有可能成为显著目标。为了验证这一结论， 本文做了一个显著度视觉测试实验。 图3 - 1 给出( a ) ，( b ) ，( c ) ，( d ) ，( e ) 五张图片，用来测试物体的面积与位置对显著 度的影响情况。为了尽可能减少颜色、亮度和形状等因素对显著度的影响，这些 图片中最多只有红、绿、蓝三种颜色，图片中的物体都是圆形，背景都是蓝色。 1 8 基f e 琏的日像显著目标检测第3 章面积与位置显著度特缸