（信号与信息处理专业论文）基于区域特征的图像检索技术研究.pdf

中文摘要 传统的基于文字标注的图像检索技术一般采用手工进行标注，具有耗时、工作量大及 主观性等缺点，9 0 年代出现的基于内容的图像检索技术在一定程度上克服了其缺陷。但是 由于图像的底层特征和人们的主观感知存在较大差异、单一的特征对图像内容的描述不充 分等原因，使得基于内容的图像检索技术还很难满足用户的一般检索需求。近年来，人们 又提出了基于多特征的图像检索技术以及基于区域特征的图像检索技术。 本文对基于区域特征的图像检索技术进行了相关研究，重点讨论了图像特征点的提取 算法，并提取特征点周围区域内的颜色和纹理特征用于图像检索。主要内容如下： 首先，通过对原始h a r r i s 兴趣算子进行适当改进，得到了一种新的基于h a r r i s 兴趣算 子的彩色图像特征点提取算法。实验结果表明，与b a m a r d 、f o r s t n e r 、s u s a n 三种兴趣算 子及边缘检测算子所提取的特征点相比，利用改进h a r r i s 兴趣算子所提取的特征点取得了 良好的分散性。 其次，将小波变换引入到图像的特征点提取中，提出了一种基于小波变换和b a m a r d 兴趣算子的彩色图像特征点提取算法。新算法结合了小波变换和b a r n a r d 兴趣算子的优点， 在一定程度上克服了边缘检测算子和兴趣算子所提取特征点容易在某些小区域聚集的缺 点，所提取的特征点更能有效的表示图像的不同区域。 最后，将两种新算法所提取特征点应用于图像检索，提出了一种新的基于区域特征的 图像检索方法。新方法提取了特征点周围区域图像的颜色微分不变量、颜色矩、t a m u r a 纹 理及共生矩阵等特征，通过综合比较查询图像特征和库内图像特征( 根据特征点匹配数目) 返回检索结果。实验结果表明，利用本文的改进h a r r i s 算子、基于小波变换和b a r n a r d 算子的方法提取的特征点分散性较高，其用于图像检索时的准确率比经典算法有大幅提 高：其中，基于小波变换和b a r n a r d 算予提取的特征点用于检索时的准确率高于经典方法， 取得了较好的检索效果。 关键词：图像检索；特征点；边缘检测算予；兴趣算子；小波变换：特征提取 第1 页 a b s t r a c t t h et r a d i t i o n a lt e x t - b a s e di m a g er e t r i e v a lt e c h n o l o g ym a i n l yd e p e n d so nm a n u a ll a b e l i n g , w h i c hh a st h ed i s a d v a n t a g eo fl a r g ea m o u n to fw o r k , t i m e - c o n s u m i n ga n ds u b j e c t i v i t y c o n t e n t - b a s e di m a g er e t r i e v a lt e c h n o l o g ya p p e a r e di nn i n e t i e sc a nm a k eu pf o rt h el i m i t a t i o no f i tt os o m ee x t e n t h o w e v e r , b e c a u s et h e r ei so b v i o u sd i f f e r e n c eb e t w e e nt h ei m a g ef e a t u r ea n d s u b j e c t i v ea p p e r c e p t i o n , a n ds i n g l ef e a t u r ec a nn o t e x p r e s st h ei m a g es u f f i c i e n t l y , t h e c o n t e n t b a s e di m a g er e t r i e v a lt e c h n o l o g yi sh a r dt o s a t i s f yt h er e t r i e v a ld e r n a n d so fu s e r s t h e r e f o r e , m u l t i - f e a t u r e - b a s e di m a g er e t r i e v a lt e c h n i q u ea n dr e g i o n - b a s e di m a g er e t r i e v a l t e c h n i q u eh a v eb e e np u tf o r w a r dr e c e n t l y t h i sp a p e rf o c u s e so nt h er e s e a r c ho fr e g i o n - b a s e di m a g er e t r i e v a lt e c h n i q u ea n dm a i n l y d i s c u s s e st h ea l g o r i t h mo f i m a g es a l i e n tp o i n td e t e c t i o n t h ec o l o ra n dt e x t u r ef e a t u r ea r o u n dt h e p o i n t sa r ee x t r a c t e df o ri m a g er e t r i e v a l t h em a i nc o n t e n t sa r ea sf o l l o w s ： a tf i r s t , an e wc o l o ri m a g es a l i e n tp o i n td e t e c t o ri sp r o p o s e dt h r o u g hp r o p e r l yi m p r o v i n g t h eo r i g i n a lh a r r i si n t e r e s tp o i n td e t e c t o r c o m p a r e dw i t ht h eb a m a r d ，f o r s t n e r , s u s a ni n t e r e s t p o i n td e t e c t o ra n d t h ee d g ed e t e c t o r s ，t h i si m p r o v i n ga l g o r i t h mh a sab e t t e rd i s t r i b u t i o ne f f e c t s e c o n d l y , a p p l i e dt h ew a v e l e tt r a n s f o r mt oi m a g es a l i e n tp o i n td e t e c t i o n , an o wc o l o rs a l i e n t p o i n td e t e c t o rb a s e do nw a v e l e tt r a n s f o r ma n db a r n a r dd e t e c t o rh a sb e e np r o p o s e d t h i sm e t h o d c o m b i n e st h em e r i to f w a v e l e tt r a n s f o r ma n dt h eb a r n a r dd e t e c t o r i to v e r c o m 鼯t h es h o r t c o m i n g t h a ts a l i e n tp o i n t sa r ee a s i l ya s s e m b l e di ns o m es m a l lr e g i o n sw h e nc o m p a r i n gw i t ht h ee d g e d e t e c t o r sa n di n t e r e s tp o i n td e t e c t o r s t h es a l i e n tp o i n t se x t r a c t e db yt h i sm e t h o da l ee x t r e m e l y e f f e c t i v eo ne x p r e s s i n gd i f f e r e n ti m a g er e g i o n s f i n a l l y , t h et w on e ws a l i e n t 口o i n td e t e c t o r sa r eu s e df o ri m a g er e t r i e v a la n dan e w r e g i o n - b a s e di m a g er e t r i e v a lm e t h o di sp r o p o s e d c o l o rd i f f e r e n t i a li n v a r i a n t s ，c o l o rm o m e n t ， t a r n u r at e x t u r ea n dc o e c e r i t 。i c em a t r i xa e x t r a c t e di nt h er e g i o nn e a rt h es a l i e n tp o i n t s t h e r e t r i e v a lr e s u l t sa r eg i v e nb yc o m p a r i n gt h eq u e r yi m a g ef e a t u r e sa n dt h ei m a g ef e a t u r e si n d a t a b a s e e x p e r i m e n t ss h o wt h a tt h ep o i n t se x t r a c t e db yt h et w on e wd e t e c t o r s a r em o r e d i s p e r s i v et h a no t h e r s w h e na p p l y i n gt h e mt oi m a g er e t r i e v a l ，h i g h e ra c c u r a c yi sa c h i e v i n g a n dt h es a l i e n tp o i n t se x t r a c t e db a s e do nw a v e l e tt r a n s f o r ma n db a m a r dd e t e c t o rc a ng e tm u c h b e r e tr e s u l t st h a nc l a s s i c a lm e t h o d sw h e nu s e di ni m a g er e t r i e v a l k e yw o r d s ：i m a g er e t r i e v a l ；s a l i e n tp o i n t ；e d g ed e t e c t o r ；i n t e r e s tp o i n td e t e c t o r ；w a v e l e t t r a n s f o r m ；f e a t a r ee x t r a c t i o n 第页 信息- 稃大学硕士学位论文 表目录 表1 直到阶为l o 的z e r n i k e 列表矩列表 表2 边缘检测算子特征点提取的性能比较 表3 兴趣算子特征点提取的性能比较 1 1 i 2 8 3 5 表4 小波特征点提取算法的性能比较( 只6 ，= o 5 ，0 6 ) 4 4 表5 不同图像检索方法的查全率一查准率比较5 2 表6 区域图像检索时不同图像检索方法的查全率一查准率比较5 5 第v 页 信息工程大学硕士学位论文 图目录 图1 基于内容的图像检索系统框架7 图2 色彩空间示意图8 图3 前1 0 个z e r n i k e 实多项式1 6 图4 边缘灰度变化曲线及其一阶、二阶导数示意图2 2 图5 差分边缘检测模板2 4 图6p r e w i t t 边缘检测算子。2 5 图7 非极大值抑制的梯度方向划分2 7 图8 边缘检测算子所提取的特征点示意图2 9 图9s u s a n 角点检测。3 2 图1 0 基于h a r r i s 算子的彩色图像特征点提取算法流程3 3 图l1 兴趣点算子特征点提取3 4 图1 2 小波变换时间一频率窗( 0 口 砺) 3 7 图1 3 图像的小波分解示意4 1 图1 4 不同尺度上小波系数的关系( 1 t a a r 小波) 4 3 图1 5 基于小波变换和b a r n a r d 算子的彩色图像特征点提取流程4 3 图1 6 采用h a a r 小波和d b 4 小波所提取的特征点4 4 图1 7 图像检索系统流程图4 8 图1 8 基于区域特征的图像检索系统运行界面5 0 图1 9 系统框架5 0 图2 0 平均查准率一查全率曲线 图2 1 原始图像和区域图像示意图。 图2 2 区域图像检索示例 5 3 5 4 5 4 第v i 页 独创性声明 所提交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中标注和致谢的相关内容外，论文中不包含其他个人或集体已经公开的研究成 果。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 意。 学位论文题目：基王区堡挂堑数图堡捡塞撞苤班究 学位论文作者签名：一一；玉二丝 日期：2 。年月2 ，e t 学位论文版权使用授权书 本人完全了解信息工程大学有关保留、使用学位论文的规定。本人授权信息工程大学 可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅和借 阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 涉密学位论文在解密后适用本授权书。) 学位论文题目： 基王区域挂延的图像捡塞撞苤班宜 学位论文作者签名： 丞遥 日期：o 辞占月2 ，日 作者指导教师签名： ! 娶瑚翘 日期：力繇年月“日 信息工稃大学硕士学位论文 第一章绪论 1 1 研究背景 近年来，随着数字技术的迅速发展、普及与应用，每天从政府机关、军方、民间组织 甚至个人都产生出的大量的数据，其中有很大一部分是图像和视频之类的多媒体数据。在 各种多媒体数据中，图像是最基本最常用的媒体形式。图像作为信息的一种载体，具有包 含信息量大、直观、易理解等优点，并与人们的工作和生活关系变得越来越密切。因此， 如何对图像数据进行有效地组织、管理，并从中筛选出用户需要的信息就成为一个非常重 要的课题，即图像检索技术。 如果没有对图像数据的自动和有效的描述，大量的信息将淹没在信息的海洋之中，无 法在需要时被检索出来。因此，如何将数字图像处理、模式识别技术、计算机视觉技术与 传统数据库技术结合起来，建立高效的图像检索机制成为目前亟待解决的问题。 传统的图像检索方法是通过文字标注来进行的。它先对图像加上描述性的文字标注， 然后采用基于文本的检索技术进行检索。这种方法虽然简单但存在着明显的局限性。首先， 由于人类感知的主观性和图像内容的丰富性，对同一幅图象，不同的人有不同的认识，这 些使得手工标注常常具有不规范性、片面性和很强的主观性；其次，对于大型的i 虱像数据 库，手工标注耗时、工作量大等问题也很突出。这使得传统的图像检索方法在很多情况下 不能满足实用的要求。 正是在这样的背景下，基于内容的图像检索( c b i r ：c o n t e n t b a s e di m a g er e t r i e v a l ) 应运 而生。基于内容的图像检索借助于对图像从低层到高层进行处理、分析和理解的过程来获 取其内容，并根据内容进行检索。目前，由于图像理解技术的局限，基于内容的图像检索 主要采用颜色、纹理、形状等低层视觉特征来描述图像内容。这些特征是通过一些数学和 统计的方法从图像中自动提取出来的，克服了传统方法主观性强、工作量大等弊端。因此， 基于内容的图像检索逐渐受到越来越多的关注，并已成为图像领域的一个研究热点。 图像的内容是多方面的，每一种特征仅表示了图像内容的一个侧面。然而，由于不同 的特征的提取方法不同，其特性也存在不同程度的差异。基于单一特征的图像检索通常不 能得到令人满意的检索结果。因此，如何组合多种特征进行检索，提高检索的性能，成为 基于内容图像检索中的一种关键技术。利用多种特征进行图像检索能够综合考虑图像内容 的不同方面，弥补单一特征的不足，从而使用户获得更加准确的检索结果，进而使实用的 基于内容的图像检索系统成为可能。 在基于内容的图像检索系统中，由于查询的范围是整幅图像，因此需要提取大量信息 的并对其进行处理，通常的做法是提取图像的全局特征用于检索。然而实际应用中用户感 兴趣的可能只是图像中的一个或多个对象，这里的对象可以是一个物体，也可以是一个区 第1 页 信息工程大学硕士学位论文 域。而全局特征无法描述图像内容在空间上的差异，所以基于全局特征的方法只能比较图 像全局的统计相似性，不能在物体层次比较图像的相似性，检索效率不高。为了弥补全局 特征在描述图像内容上的不足，近年来许多研究者提出了基于区域特征的图像表示和检索 方法。 本课题来源于某部科研项目“基于内容的海量信息智能筛选”，主要研究了基于区域 特征的图像检索技术。 1 2 国内外发展现状 1 2 1 图像检索的发展阶段 图像检索自上世纪7 0 年代以来便成为一个非常活跃的研究领域，图像检索的推动力来 源于两大研究团体：数据库系统和计算机视觉，它们从基于文本和基于内容两个不同的角 度，对图像检索进行了研究m 事实上，人工智能及模式识别领域的研究团体，也对图 像检索中的分类问题、学习问题给予了很大帮助。 按年代和研究特点来划分，基于内容的图像检索( c b i r ) 的研究可分为三个阶段： ( 1 ) 基于文本标注的检索阶段 基于文本的图像检索埘，可以追溯到上世纪7 0 年代“1 ，图像检索的典型框架是：首先 对图像用文本进行标注，然后用基于文本的数据库管理系统( d b m s ) 来进行图像检索。采用 基于文本标注的方法实质上是把图像检索的问题转换成传统的文本检索问题，这样可以借 助许多相对较为成熟的数据库技术来解决。 但是，随着图像数据库中数据量的增大( 如数万或数十万以上) ，基于文本标注的图像 检索存在的问题就显现出来。其一是手工对图像进行标注所需的工作量太大；其二，由于 图像内容的丰富性和个人感知的主观性之间的矛盾，使得图像标注存在主观性和不精确 性，这会在以后的检索过程中造成无法挽回的错误匹配。 ( 2 ) 基于图像特征抽取表示的检索阶段 进入9 0 年代以来，由于大规模图像数据库的出现，用手工进行标注这一方法带来的困 难变得十分突出。为了克服这一困难，研究者们提出了基于内容的图像检索，其思路是： 不同于基于关键字的手工标注，图像是由其自身的视觉内容，如颜色、纹理和形状等特征 来表示的，检索则是基于这些特征来进行。在这一思路的指导下，在研究方面发展出许多 技术，同时一些商用性质和研究性质的系统也应运而生。基于图像特征抽取表示的检索是 建立在计算机视觉技术及图像处理技术基础上的，其主要工作是图像特征的提取和表示， 这是基于内容图像检索的基础。 c b i r 采用可以直接从图像中获得的客观视觉特征，如颜色、纹理、形状等来判断图 像之闻的相似性。它的主要研究内容是在数字图像处理基础上进行视觉特征提取，多维索 引以及检索系统设计嘲。这类系统主要支持基于范例检索( e x a m p l e b a s e dr e t r i e v a l ) 、基 第2 页 信息t 程大学硕十学位论文 于草图检索( s k e t c h - b a s e dr e t r i e v a l ) 、随机浏览及其组合工作方式的检索等。就图像特 征的作用域而言，c b i r 系统可分为：基于全局特征的检索和基于区域特征及其空间关系 的检索删。基于全局特征的检索不区分图像的前景和背景，通过整幅图像的视觉特征进行 图像相似度匹配；而基于区域特征及其空间关系的检索需先进行图像分割，图像的整体相 似性不仅要考虑到分割出的区域间的相似性，还要考虑区域空间关系的相似性。c b i r 的主 要特点是它主要利用图像本身包含的客观视觉特征，图像的相似性不需要人来解释，而是 体现在视觉相似性上。这使得它不需要或者仅仅需要少量的人工干预，因此在需要自动化 的场合取得了广泛的应用。 然而，在基于内容的图像检索中，提取的图像特征均是低层次的统计意义上的特征， 与真正的图像的语义概念有较大的差距，因此检索结果难以令人满意。 ( 3 ) 基于相关反馈技术的检索阶段 自1 9 9 6 年以来，出现了基于相关反馈技术的图像检索方法，即允许用户对检索返回的 结果进行评价和标记，将“相关”和“不相关”的信息返回给系统，系统对相关信息学习 后，再次进行检索以改善查询结果。相关反馈技术试图找出低层特征和高层语义概念之间 的联系，或语义概念在特征空间的分布规律，从而使检索结果更好地接近语义层次的要求。 例如，q b i c 系统中采用了交互式图像分割方法”1 ；m i t 认识到不同的纹理表示方法在各自适 用的领域中有各自的优势，研究重点从“自动”的p h o t o b o o k 系统转移到“交互”的 f o u r e y e s 系统”1 ；在m a r s 系统中，形式化地在图像检索中提出了相关反馈的体系结构9 1 。 这方面研究存在的问题是：同一语义概念的图像集合，在低层特征空间中的分布非常 复杂，问题难度较大，同时依赖于图像的低层特征。 从上面可以看出，图像的视觉特征仍然是基于内容图像检索技术研究中的一个热点和 难点。利用单一特征进行图像检索不能达到理想的效果，因此需要深入研究综合利用多特 征的图像检索技术。图像具有多种视觉特征，每一特征具有不同的表示方法。例如同为颜 色特征，可以有直方图特征、颜色距、颜色集、主颜色等多种特征表示法。如何有机地组 织这些多种特征、利用特征之间的互补能力提高检索效率，使在应用中能够调用合适的特 征和特征表示来支持查询，并按照用户的查询要求合并各种特征的检索结果，是一个值得 深入研究的问题。 1 2 2 图像检索的主要研究内容 在过去的十多年里，基于内容图像数据检索一直是一个比较活跃的研究方向。政府研 究机构、工业界和许多大学都对此进行了大量的投入。国际标准化组织( i s o i e c ) 还设立 了一个新的工作组，m p e g - 7 ，来定义一个标准的媒体内容描述接口。每年都有许多综合性 国际会议涉及该研究方向，如：a c mm u l t i m e d i a 、c v p r 、i c m e 、i c p r 、i c i p 和i c a s s p 等 以及一些专门性会议如：i n t e r n a t i o n a lc o n f e r e n c eo i li m a g ea n dv i d e or e t r i e v a l 、s p i e 的s t o r a g ea n dr e t r i e v a lf o ri m a g ea n dv i d e od a t a b a s e s 等。许多重要的国际刊物如： 第3 页 信息工程大学硕士学位论文 i e e et r a n s 。o np a m i 、i e e et r a n s o ni m a g ep r o c e s s i n g 、p a t t e r nr e c o g n i t i o n 和i m a g e a n dv i s i o nc o m p u t l n g 等都为此出过专刊“2 “。圳以及这方面的综述“”“。另外，也 涌现出许多基于内容的图像检索系统。可以看出，虽然基于内容图像检索技术还远未成熟， 但该方向的研究展现着勃勃生机。 回顾该领域这十多年的研究工作，可以把基于内容图像检索的主要研究内容归纳如 下。 ( 1 ) 特征提取 图像特征的提取与表达是基于内容的图像检索技术的基础。从广义上讲，图像的特征 包括基于文本的特征( 如关键字、注释等) 和视觉特征( 如颜色、纹理、形状等) 两类。由于基 于文本的图像特征提取在数据库系统和信息检索等领域中己有深入的研究，本文中我们主 要考虑图像的视觉特征。而视觉特征还有通用和专用之分，通用的特征主要包括颜色、纹 理及形状等；而专用的特征则与具体的应用有关，例如用于人脸和指纹识别的特征。本文 中我们只涉及通用的视觉特征。对于每一种特征来说，还存在着多种的表示方式，如颜色 特征的表示有颜色直方图和颜色矩等。对特征的初期研究工作主要集中在全局特征，但它 们不能很好地刻画图像的局部信息。之后有不少研究者致力于结合这些特征和空间信息来 设计新特征，如颜色连贯向量、颜色相关图等等；进步的方法还有先把图像分解为子图 或对图像进行分割，再提取各部分的特征等。 ( 2 ) 高维特征索引 目前多数用于研究的基于内容图像检索系统都只处理几百到上万数量级的图像库，因 此把查询图像的特征与图像库中的图像特征依次进行比较还是可行的。但当图像库比较大 后，检索速度就会成为瓶颈。而由于采用的低层特征通常都有上百维，传统的索引方式如 h a s h 表、b 树都不再适用，因此就需要研究高效的高维索引技术。目前研究者们已提出了 多种高维索引方法，比较有代表性的有：k - dt r e e 、r - t r e e 、s s t r e e 、t v - t r e e 等等。另 外在模式识别中应用的聚类技术和神经网络技术也可以作为有效的索引技术。本文将不涉 及这方面的内容。 ( 3 ) 图像检索中的入机交互 图像检索的初期研究工作致力于设计出全自动的检索系统。但当前图像理解技术和计 算机视觉技术的发展水平，极大地制约了这些全自动检索系统的性能。于是更多的工作开 始转入到设计交互式的系统，把人的参与引入到检索系统的各个环节。在特征提取的环节， q b i c 研究组”1 采用了交互式区域分割技术。在检索的环节。t p m i n k a 等人帆“”1 引入了相 关反馈技术，把检索模式从一次进行( o n e s h o ts e a r c h ) 变成交互式的多次进行。相关反 馈算法根据用户反馈进行学习以更好地把握用户的需求，提高系统的检索性能。在用户界 面的设计上，研究工作主要致力于图像库或捡索结果的可视化。s s a n t i n i 等人魄“2 1 把检 索结果图像投影到2 维或3 维空间，并使它们间的位置和距离尽量反映它们在特征空间交互 第4 页 信息工程大学硕十学位论文 式图像检索中的位置关系。目前已有的研究表明相关反馈技术能显著的提高检索性能，因 此相关反馈方法的研究吸引了越来越多的注意。 ( 4 ) 低层特征到语义概念的映射 由于存在低层特征与语义概念的间隔，同时用户更倾向于使用语义概念进行图像检 索，因此在基于低层特征的图像检索中结合语义信息是很有益的。一些研究工作通过监督 学习的方法把图像分类到一些简单的语义概念。b b r a d s h a w 把“度假”图像按室内、室 外进行分类，并进一步把室外图像分为城市或风景8 ；j a m e sz w a n g 嘲1 对图像按纹理、 非纹理和图画、照片等分类。另外一些方法啪1 把低层特征和关键字结合，它们主要用于因 特网上的图像检索，从网页上环绕图像的文字提取关键字，作为对图像的描述，然后以一 定的策略把基于关键字的检索和基于低层特征的检索相结合。 ( 5 ) 图像检索系统 在过去的十几年里，人们开发出了许多图像检索系统，既有商业上的、也有用于学术 研究的、还有因特网上图像检索引擎。我们在这里列举一些有代表性的系统。代表性的商 业系统有：i b m 的q b i c m n 、v i r a g e 公司的v i ri m a g ee n g i n e 汹1 、e x c a l i b u r 的v i s u a l r e t r i e v a l w a r e 等。一些学术研究的系统有：m i t 的p h o t o b o o k 和f o u r e y e s 啪1 、c o l u m b i a 大学的v i s u a l s e e k 、u i u c 的m a r s m l 、i n r i a 的s u r f i m a g e 删、u c s b 的n e t r a 1 以及u c b e r k e l e y 的b l o b w o r l d m l 等等。因特网上的图像搜索引擎有a l t a v i s t a 、l y c o s ，还有越来 越受欢迎的g o o g l e 。y a h o o 也采用了g o o g l e 的图像检索技术。目前，总的来说商业图像检 索系统还不太成功；而针对不同研究目的的研究型系统层出不穷：一些图像搜索引擎己有 不错的性能，但主要都是按文字检索。 除了以上研究内容外，一个公认的评价标准和测试数据集对于该领域的研究也非常重 要，好的准则把技术的发展引入正确的方向，不好的准则则可能起到误导的作用。在图像 检索领域，目前还不存在令人满意的评价标准和测试数据集。一个主要的原因就是对图像 认知的主观性。由于这种主观性，所以就很难定义一个客观的评价标准。 1 3 课题研究内容及论文的组织 基于区域特征的图像检索是一种建立在图像内部包含的图像对象或区域的特征基础 上的检索技术。每个对象的特征可以用颜色、纹理、形状或它们的组合来表示。区域特征 检索还可以利用空间的约束逻辑关系，即基于两个或多个图像对象之间的空间和拓扑关系 来查询，这些空间约束关系可以为方向、邻接、包含关系等。 基于区域特征的方法首先把图像分割成若干区域，然后提取区域特征来描述和检索图 像。“。该方法在一定程度上实现了物体层次上的图像检索，改善了检索效率。尽管至今 已有很多类型的图像分割算法，但是由于分割的效果依赖于图像的具体内容，因此没有一 种适合于所有图像的分割算法。因此，基于区域特征的检索方法往往需要在用户的辅助下 第5 页 信息 二稃大学硕十学位论文 才能完成分割和检索。 图像的不同区域所含的信息量是不同的，因此它们的重要程度也不同。为了考虑区域 在重要程度上的差别，近年来相关领域的研究者提出了基于特征点( s a l i e n tp o i n t ) 匹配 的图像检索方法。特征点是指图像中最能反映区域信息变化的那些点( as a l i e n tp o i n t i sl o c a t e dw h e r et h ep h o t o m e t r i ci n f o r m a t i o ni st h em o s ts i g n i f i c a n t ) ，因此将 图像不同区域的特征点收集起来就可以用来表示图像的不同部分。由于像素点是构成图像 的最基本的单位，因此利用图像特征点的检索方法可以避免对图像进行分割。研究表明， 通过计算图像局部信息得到的特征点对于图像的几何变换具有很好的适应性。基于特征点 的图像描述和检索方法既利用了图像的局部特征，又消除了次要信息的干扰，从而可以更 准确地概括图像的内容。 本文主要研究基于区域特征的图像检索技术，在分析现有特征点提取算法的基础上， 对其中一些关键环节进行了改进，主要内容安排如下： 第一章，绪论本章介绍了论文的研究背景和国内外相关领域的发展现状，并对本文 所做的工作进行了简要说明。 第二章，基于内客的图像检索基础本章首先介绍了基于内容的图像检索系统的框架， 然后讨论了图像特征的提取与表示方法，重点介绍了其中的颜色和纹理特征的提取，最后 给出了图像的相似度比较方法和图像检索结果的评价指标。 第三章，基于h a r r i s 算子的彩色图像特征点提取本章首先介绍了利用边缘检测算 子和兴趣算子提取图像特征点的算法；然后针对原始h a r r i s 算子的特点，提出了一种基 于改进h a r r i s 算子的彩色图像特征点提取算法，并将新算法的性能和经典方法进行了比 较。 第四章，基于小波变换和b a r n a r d 算子的彩色特征点提取本章首先介绍了小波变换 的一些基础知识，然后将基于小波变换的一维信号特征点提取算法推广到二维图像信号， 提出了一种基于小波变换和b a r n a r d 算子的彩色图像特征点提取算法，最后通过实验验证 了新算法的有效性。 第五章，基于区域特征的图像检索本章将前述章节的特征点提取算法应用到图像检 索过程中。首先给出了本文图像检索算法的工作流程及算法描述，然后介绍了本文实验系 统框架，最后在s i m p l i c i t y 图像库上进行测试，并对各种方法的图像检索结果进行了比 较和分析 第六章，结论与展望本章简单总结本文的主要工作，并对下一步需要做的工作进行 了展望。 第6 页 信息- 稗大学硕士学位论文 第二章基于内容的图像检索基础 2 1 基于内容图像检索系统框架 一般来讲，基于内容的图像检索系统的总体框架可以分为图像收集子系统、图像内容 分析与处理子系统、存储子系统以及检索子系统四个部分，如图l 所示。 图像收集子系统负责收集各种图像资源，并对所收集到的图像进行适当的预处理，如 颜色的量化等。图像内容的分析与处理子系统则主要负责图像伴随文字的索引、各种图像 特征的提取、高维特征索引的分析与建立以及反馈历史信息的分析。存储子系统负责各个 数据库的建立与管理工作。检索子系统则直接面对用户，它根据用户的查询请求进行i 虱像 相似度计算，并返回与查询目标最相似的图像。检索子系统还负责联机相关反馈分析，并 根据分析结果来修改相似度计算。 图1 基于内容的图像检索系统框架 2 2 图像特征的提取与表示 2 2 1 颜色特征 颜色特征是一种重要的视觉特征，最早在基于内容的图像索引中得到应用。与其它特 征相比，颜色特征对于图像的旋转、平移、尺度、背景等变化具有较强的鲁棒性。又由于 颜色特征的定义比较明确、计算相对简单，因此颜色特征在图像检索系统中得到了广泛的 重视和研究。目前已经提出了很多种提取颜色特征的算法，一些有代表性的对颜色感知和 颜色空间的研究可参考文献瞄“”。 1 颜色直方图 在基于内容图像检索系统中，颜色统计直方图是最常用的颜色特征表示方法它所描 第7 页 信息工稃大学硕七学位论文 述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空阃位置，即无法 描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像和不需 要考虑物体空间位置的图像。 当然，颜色直方图可以基于不同的颜色空间和坐标系。最常用的颜色空间是r g b 色彩 空间，原因在于大部分的数字图像都是用这种颜色空间表达的。然而，r g b 空间结构并不 符合人们对颜色相似性的主观判断。因此，有人提出了基于h s v 空间、l u v 空间和l a b 空间 的颜色直方图，因为它们更接近于人们对颜色的主观认识。 其中h s v 空间是直方图最常用的颜色空间。它的三个分量分别代表色彩( h u e ) 、饱和度 ( s a t u r a t i o n ) 和值( v a l u e ) 在这种颜色空间中的颜色三元组之间的欧几里德距离与人眼 感觉到的相应的颜色差具有线形关系。基于h s v 颜色空间的测度能够很好地逼近人眼的感 觉。h s v 模型如图2 所示。 图2 色彩空间示意图 给定r g b 颜色空间中的值( r g ，6 ) ，其中，g ，b o ，2 5 5 】，则转换到h s v 空间的计算方 法如下：设1 ，= m a x ( r ，g ，b ) ，定义，g ，b 为： ，= 定义h 为： 一一r v ，一m i n ( r ，g ，6 ) h 2 9 7 = f 面v t 而- - g ； ( 5 + b ) ，= m a x ( r ，g ， ( 1 一g ) y - - - - - m a x ( r ，g ，6 ) ( 1 + ，) g = m a x ( r ，g ，6 ) ( 3 6 ) g = m a x ( r ，g ，6 ) ( 3 + g ) b = m a x ( r , g ， ( 5 一，) 6 ，= ! ：= 垒 v 7 一n l i n ( ，g ，6 ) a n d g = m i n ( r ，g ，6 ) a n dg m i n ( r ，g ，b ) a n d b = m i n ( r , g ，6 ) a n d b m i n ( r ，g ，6 ) a n d ，= m i n ( r , g ，6 ) e s e l v = v 2 5 5 j j ：v - m i n ( r , g , b ) iv i h = 6 0 h ( 3 ) 第8 页 信息工稃大学硕十学位论文 计算颜色直方图需要将颜色空阃划分成若干个小的颜色区间，每个小区间成为直方图 的一个b i n ，这个过程称为颜色量化( c o l o rq u a n t i z a t i o n ) 。然后，通过计算颜色落在每 个小区间内的像素数量可以得到颜色直方图。量化有许多种方法，例如，向量量化方法、 聚类方法或者神经网络方法等。其中最常用的做法是将颜色空间的各个分量( 维度) 均匀的 进行划分。相比之下，聚类算法则会考虑到图像颜色特征在整个空间中的分布情况，从而 避免出现某些b i n 中的像素数量非常稀疏的情况，使量化更为有效。另外，如果图像是r g b 格式的而直方图是h s v 空间中的，可以预先建立从量化的r g b 空间到量化的h s v 空间之间 的查找表( 1 0 0 ku pt a b l e ) ，从而加快直方图的计算过程。 2 颜色矩 另一种非常简单而有效的颜色特征可以使用由s t r i c k e r 和o r e n g o 所提出的颜色矩 ( c o l o rm o m e n t ) 方法得到嘲。这种方法的数学基础在于图像中任何的颜色分布均可以由 它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩上，因此仅采用颜色的一阶矩 ( m e a n ) 、二阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 就足以表达图像的颜色分布。与颜色直方 图相比，该方法的优点是特征维数较低，处理速度比较快。颜色的三个低阶矩依次可表示 为： n h = 吉乃 ( 4 ) 户l 1 i 吼= 喀( 乃一鸬) 2 ) i ( 5 ) ；l ， n l 墨= 咕( 乃一h ) 3 ) j ( 6 ) j z l 其中，办是图像中第，个像素的第i 个颜色分量。因此，图像的颜色矩一共只有9 个分 量( 3 个颜色分量，每个分量上三个低阶矩) ，与其它的颜色特征相比是非常简洁的。在实 际应用中为避免低阶矩较弱的分辨能力，颜色矩常和其它特征结合使用，而且一般在使用 其它特征前起到缩小过滤范围的作用。 3 颜色集 为了能够在大型图像数据集中进行快速的检索，s m i t h 等人提出了颜色集汹“”的概念， 这种方法首先将r g b 颜色空间转化为与人类视觉感知一致的色彩空间( 例如h s v 色彩空间) ， 然后，将色彩空间量化为m 等份。颜色集被定义为从量化后形成的色彩空阋选择多种颜色 形成的颜色集合。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域空间关系( 包 括区域的分离、包含和交等操作，每种对应于不同的评分) 。由于颜色集特征向量是二进 制的，可以利用二叉查找树来对特征向量集合进行快速查找，这对于大规模的图像集合十 分有利。 4 颜色微分不变量 第9 页 信息1 二程大学硕士学位论文 颜色微分不变量是v g o u e t 所提出的一种图像颜色特征表示方法，它仅用到了图像数 据的一阶倒数，因此对噪声的影响不敏感。若i r ，g ，b ) ，表示单一通道的图像数据，v ， 和l v ，1 分别表示，的梯度和梯度的模，则颜色微分不变量哥可以表示为： i = ( r ，j v r l , g ， v g 2 , b ，l 劝1 2 ，v r v g ，v r v b ) ( 7 ) 其中， v ，：丝i + 坐，( 8 ) 巩 咖。 i v l l =