（机械电子工程专业论文）基于harrisaffine特征的图像检索系统研究与实现.pdf

大连理工大学硕士学位论文 摘要 随着数码影像设备的广泛普及和网络技术的迅速发展，图像数据量正以惊人的速度 不断膨胀，基于内容的图像检索技术因此成为信息领域的一个研究热点。耳前多数系统 利用图像的全局信息，如灰度、颜色、纹理等，进行匹配进而检索，检索效果一般。在 实际应用中，往往存在视角变换、尺度变化和遮挡等干扰，导致匹配与检索效果都不理 想。 该论文深入研究h a r r i s a f f i n e 算法，详尽阐述其原理及特点，认为h a r r i s a f f i l i e 局 部区域具有较强视觉不变性，不仅能够应对模糊、光照变化、噪声等常见干扰，而且对 视角和尺度变化也具有良好的不变性能。在单幅图像匹配实验中，该算法提取出的区域 在匹配过程中表现出了极强的鲁棒性。随后又将其应用于基于内容的图像检索领域，在 存在遮挡和大视角变化的情况下，与传统基于全局方法相比，查准率和查全率都得到了 较大程度的提高。 常规基于内容的图像检索方法在实现过程中，由于数据量巨大匹配过程繁琐，常 常导致检索速度很慢。该文针对此问题，结合文本检索的思想，提出一种基于局部特征 的图像检索系统框架。该框架使用模式识别领域中聚类的相关知识，联系文本检索中关 键词的概念，引入视觉关键词、词频向量等概念，从而达到进行数据压缩，加速匹配与 检索的目的。 为了验证上述方法的有效性与实用性，该文在包含有2 0 0 类，每类5 幅图像的1 0 0 0 幅图像数据库中进行实验验证。结果表明，该文所提出的方法及检索框架，不仅在查准 率和查全率上有较大提高，而且，查询速度上也能满足用户需求。进而说明，h a r r i s a f f i n e 算法在基于内容的图像检索领域，特鄹是大视角变换等较强嗓声干扰下，仍具有较强鲁 棒性，具有较高使用价值。而且，视觉关键词、词频向量等概念的引入，在加速图像匹 配与检索的过程中，也发挥了巨大的作用。 关键词：h a r r is - h f f i n e ；视觉不变；视觉关键词；基于内容的图像检索 r e s e a r c ha n di m p l e m e n t a t i o no fi m a g er e t r i e v a ls y s t e mb a s e do n h a r r i s a f f i n e a b s t r a c t w i t ht h ep o p u l a r i z a t i o no fd i g i t a le q u i p m e n ta n dt h ed e v e l o p m e n to fi n t e r n e t ，t h e a m o u n to fi m a g ed a t ag r o w sd r a m a t i c a l l yf a s t t h e r e f o r e ，t h ec o n t e n t b a s e di m a g er e t r i e v a l ( c m r ) h a se m e r g e dt ob eo n eo ft h eh o tr e s e a r c ha r e a si ni m a g ed o m a i n a tf i r s t ，m o s t p e o p l em a k eu s eo fg l o b a li n f o r m a t i o nt om a t c ha n dr e t r i e v a l ，s u c ha sg r a y ，c o l o r , t e x t u r ea n d s oo n i np r a c t i c e ，t h e r ea r em a n yk i n d so fn o i s e sb e t w e e nt h ei m a g ep a i r st h a tn e e dt ob e m a t c h e d ，s u c ha sv i e w p o i n tc h a n g i n g ，s c a l i n g ，s h a d i n ge t c a sar e s u l t ，t h er e t r i e v a lr e s u l t sa r e f a rf r o ms a t i s f a c t o r y t h i sp a p e rd e e p l yr e s e a r c h e st h eh a r r i s - a f f i n ea l g o r i t h ma n dm a k e sd e t a i l e dd e s c r i p t i o n o fi t sp r i n c i p l ea n dc h a r a c t e r i s t i c s i ts a y st h a tt h eh a r r i s - a f f i n el o c a lc h a r a c t e d s t i cr e g i o n s a r ev e r yi n v a r i a n ti nv i s u a l 1 n h cr e g i o n sa r en o to n l yr o b u s te n o u g ht od e a lw i t hb l u r ， b r i 曲t n e s s ，n o i s e ，b u ta l s os t a b l ee n o u g hw i t ht h ep r e s e n c eo fp e r s p e c t i v ea n ds c a l ec h a n g i n g c o m p a r e dt ot h et r a d i t i o n a lm e t h o d s ，i t sp r e c i s i o na n dr e c a l lr a t eh a v eb e e ni m p r o v e dt oa h i g h e rl e v e l b e c a u s eo ft h ee n o r m o u sa m o u n to fd a t aa n dt h ec o m p l e xm a t c h i n gp r o c e s s ，t h e c o n v e n t i o n a lc o n t e n t b a s e di m a g er e t r i e v a ls y s t e ma r ev e r yt i m ec o n s u m i n g i no r d e rt o r e s o l v et h a tp r o b l e m ，t h i sp a p e rm a k e san o v e ll o c a lr e g i o nb a s e di m a g er e t r i e v a lf r a m e w o r k ， c o m b i n i n gw i t ht h ei d e ai nt e x tr e t r i e v a l n ef r a m e w o r kp u t sf o r w a r dc o n c e p t ss u c ha st h e v i s u a lw o r da n dt h ew o r df r e q u e n c y v e c t o r ，c o m b i n i n gw i t hk n o w l e d g ei np a t t e r nr e c o g n i t i o n a n dt e x tr e t r i e v a lf i e l d t h em a i n p u r p o s eo ft h ef r a m e w o r k i sa c c e l e r a t i n gm a t c ha n dr e t r i e v a l t h r o u g hd a t ac o m p r e s s i o n i no r d e rt ov e r i f yt h ev a l i d i t yo ft h ea b o v e - m e n t i o n e dm e t h o d sa n df r a m e w o r k ，t h i sp a p e r c a r r i e so u ta ne x p e r i m e n ti na ni m a g ed a t a b a s ew h i c hc o n t a i n s1 0 0 0i m a g e s t h ei m a g e r e t r i e v a lr e s u l ts h o w st h a tt h em e t h o da n dt h ef r a m e w o r ki n t h i s p a p e ra r eb o t hu t i l i t y c o m p a r e dt ot h et r a d i t i o n a lm e t h o d s ，i t sp r e c i s i o na n dr e c a l lr a t eh a v eb e e ni r e p r o v e dt oa h i g h e rl e v e l i na d d i t i o n ，t h er e t r i e v a ls p e e dc a ns a t i s f yt h en e e d so ft h eu s e r s t h ee x p e r i m e n t i l l u s t r a t e st h a tt h eh a r r i s a f f i n ea l g o r i t h ma n dt h ei m a g er e t r i e v a lf r a m e w o r ki nt h i sp a p e ra r e v e r yu s e f u le s p e c i a l l yi nm a n yk i n d so fn o i s ei n c l u d i n gs t r o n gp e r s p e c t i v et r a n s f o r m k e yw o r d s lh a r r i s a f f i h e ；v i s u a li n v a r i a n t ；v i s u a lk e y w o r d ：c o n t e n t b a s e di m a g e r e t r i e v a l 一i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：基王旦垒! ! i 墨二垒i 坠曼缝征鲍图像撞室苤统砑究皇塞趣 作者签名：一扭谴一 日期：三! ! 年竺月 日 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本人完金了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保馨论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：基王h 垒! ! i 曼二! i 旦星挂焦鲍图篮拴塞歪统堑究生塞趣 作者签名：扬筐二 日期： 趁! 年，三月j 丘日 导师签名：二盈鞋址 日期：二堡年三月上色日 大连理工大学硕士学位论文 1 绪论 1 1研究背景 近几年来，以图像匹配技术为基础的图像检索技术得到了迅猛发展，其应用范围不 断扩大，全球几大搜索引擎的图像搜索次数均成倍增长。因此图像的匹配与检索技术己 成为国内外研究的热点，也成为未来信息高速公路、数字图书馆等重大项目中的关键技 术【l 】o 图像的检索经历了两个阶段：第一阶段是以关键字等文本为基础的检索；第二阶段 是以图像自身的内容为基础的检索。 基于关键字的图像检索技术( t e x t b a s e di m a g er e t r i e v a l ) 的历史可以追溯到2 0 世 纪7 0 年代末期【2 】。当时流行的图像检索系统是将图像作为数据库中存储的一个对象，用 关键字或自由文本对其进行描述。查询操作是基于该图像的文本描述进行精确匹配或概 率匹配，有些系统的检索模型有词典支持。目前绝大多数的商用图像检索系统都是先用 文本来描述图像的语义，然后在这些图像文本标注基础上应用成熟的文本搜索算法，为 用户搜索预期的图像的，而且与基于内容的检索相比，设计一个基于关键字或文本描述 的图像检索系统要简单得多，这种搜索引擎可以利用成熟的关系数据库技术，所以检索 比较准确，速度很快。利用基于文本的图像检索技术可以用来管理数量不多，但比较有 价值的图片库。图像数据模型、多维索引、查询评价等技术都在这样一个框架之下发展 起来。 然而，完全基于文本的图像检索技术存在着严重的问题。首先，目前的计算机视觉 和人工智能技术都无法自动对图像进行标注，而必须依赖于人工对图像做出标注。这项 工作不但费时费力，而且手工的标注往往是不准确或不完整的，由此建立的类似于文本 文献索引数据库，并通过检索这些数据库获得图像编号，继而利用这些编号索引实际图 像的方法将不可避免地带有主观偏差。虽然在实际运用中有许多研究者通过分析图像的 说明获得图像的文本标注，如网页等，在一定程度上减少了人工标注的劳动量，但是网 页等对图像的说明仍然是人工的，仍然不可避免主观性和不确定性的问题。也就是说， 不同的人对同一幅图像有不同的理解方法，这种主观理解的差异将导致图像检索中的失 配错误。此外，一幅图像所表达的意思是不可能由少数的几个关键词来表达清楚的，不 同国家不同民族也难以用同一种语言来对图像加注标识，这也极大的限制了系统的广泛 适用性，而且图像中所包含的丰富的视觉特征( 颜色或纹理等) 往往无法用文本进行客 观的描述。 基于h a r r i s - a f f i n e 特征的图像检索系统研究与实现 9 0 年代初期，随着大规模数字图像库的出现，上述的问题变得越来越严重。为了克 服这些问题，基于内容的图像检索技术( c o m e m b a s e di m a g er e t r i e v a l ，简称c b i r ) 应运 而生。区别于原有系统中对图像进行人工标注的做法，基于内容的检索技术自动提取每 幅图像的视觉内容特征作为其索引，如颜色、纹理、形状等。此后几年中，这个研究领 域中的许多技术发展起来，一大批研究性的或商用的图像检索系统被建立起来。这个领 域的发展主要归功于计算机视觉技术的进步。 应该认识到，基于内容的图像检索系统具有与传统基于文本的检索系统完全不同的 构架。首先，由于图像依赖其视觉特征而非文本描述进行索引，查询将根据图像视觉特 征的相似度进行。用户通过选择具有代表性的一幅或多幅图例来构造查询，然后由系统 查找与图例在视觉内容上比较相似的图像，按相似度大小排列反馈给用户。这就是所谓 的通过图例的检索( q u e r yb yi m a g ee x a m p l e ) 。另外，基于内容的检索系统一般通过可视 化界面和用户进行频繁的交互，以便用户能够方便地构造查询、评估检索结果和改进检 索结果。 目前的检索系统大多是基于图像底层特征的，主要利用诸如颜色、纹理、形状等全 局特征进行图像内容描述及相似性匹配检索【3 7 】。然而，如果仅使用全局特征来表示图 像，可能就找不到在局部上类似的图像，而且当图像发生去色、局部遮挡等变化时，效 果相当不理想。因此，基于内容的图像检索技术又由基于全局特征的图像检索发展为基 于局部特征的图像检索。这样图像检索系统就需要利用局部特征来进行相似性匹配。目 前，针对基于局部特征的图像检索的研究大多集中在基于对象和区域的特征提取以及相 似度匹配算法上。 在实际应用环境中，待匹配的图像之间往往存在一些干扰，如噪声干扰、亮度和颜 色变化等，甚至会出现对象被遮挡、尺度变化和仿射变换( 即视角发生变化) 等。目前 比较通用的局部算法能应对部分干扰形式，但对尺度和仿射变化往往无能为力。因此， 本文将要深入研究h a r r i s a f f i n e 算法，大胆提出将h a r r i s a f f i n e 特征应用于基于内容的 图像检索引擎中去。 1 2 发展现状 1 2 1基于内容的图像检索技术 近十年来，图像内容分析和检索成为当前计算机视觉、数字图书馆、图像和视频处 理中最活跃的研究课题之一。每年都有相关的国际会议召开，如s p i e 的s t o r a g ea n d r e t r i e v a lf o ri m a g ea n dv i d e od a t a b a s e s ，a c mm u l t i m e d i a , i n t e r n a t i o n a lc o n f e r e n c eo n 大连理工大学硕士学位论文 i m a g ep r o c e s s i n g ，i n t e r n a t i o n a lc o n f e r e n c eo nm u l t i m e d i ac o m p u t i n ga n ds y s t e m s 和 i n t e r n a t i o n a lc o n f e r e n c eo ni m a g ea n dv i d e or e t r i e v a l 等。许多重要的学术期刊也有此类 内容的专刊，如i e e ec o m p u t e r ，i e e ep a m i ，i m a g ea n dv i s i o nc o m p u t i n g 等。 国内外一些大学和公司在这方面早己开展了相当多的研究工作，并研制了比较成熟 的图像检索系统。其中几个具有代表性的图像检索系统有： q b i c ( q u e r yb yi m a g ec o n t e n t ) ，它是最早的一个基于内容的图像检索的数据库【引。 它的模型和框架一直被其他的许多基于内容的图像检索的数据库所采用。q b i c 支持基 于例子，草图以及特征( 颜色，纹理，形状) 的查询。颜色特征一般是在( r ，g ，b ) 以及在 ( l ，a ，b ) 坐标系中提取的基于直方图的特征【9 】。纹理特征主要采用t a m u r a 提供的一些改 进过的特型1 0 1 ，比如说粗糙度，对比度还有方向性等。形状特征主要采用形状面积，圆 心率，偏心率等【1 1 1 。q b i c 同时也考虑了高维的特征索引，在这个系统中，主要利用了 k l t 算法来降维以及r 树结构来组织多维索引结构【1 2 】。另外它还提供了综合文本和内 容相结合的图像检索。 v i s u a l s e e k ，它是哥伦比亚大学开发的图像检索原型系统【1 3 1 。它先让用户画出需要 查找的图像的草图，然后根据草图的颜色和区域的位置等特征返回检索结构。用户可以 在结果中选择图像作为样例，进行下一步的查询。该系统的主要特点是用到了图像区域 的空间关系查询和直接从压缩域中提取视觉特征。v i s u a l s e e k 已经应用于数字图书馆 中。 m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) ，该系统注重于如何将不同的视觉 特征组织成为有意义的检索系统，以动态的适应不同用户和应用场合的需要。 c i r e s 是美国德克萨斯大学研究并开发的鲁棒性很强的基于内容的图像检索系统 【1 4 1 。该系统基于低级视觉模型和高级视觉模型相结合的原理。高级视觉模型通过感知、 推理和分组策略来提取描述图像内容的语义信息。低级视觉模型运用渠道能量模型来描 述图像纹理，并且使用了颜色直方图技术。该系统能够提供查询服务范围从单纯的场景 性自然物体，如植被、树木、天空、图像等，到包含结构性的物体，如建筑物、塔、桥 梁等。 当然还有许多其他的系统，比如w e b s e e k 等，基本原理大致相同。主要的区别在 于不同的系统采用的特征提取算法不同。 1 2 2 局部特征提取技术 局部特征的提出始于上世纪9 0 年代，相对比较新颖。发展至今，大体上可分为点 特征和区域特征两大类。点特征中，以h a r r i s 点检测【l5 】最具代表性。该方法认为当某点 基于h a r r i s a t t m e 特征的图像检索系统研究与实现 的灰度值沿着x 方向和y 方向都发生强烈变化的时候，这样的点具有较强稳定性，该点 即为h a r r i s 局部特征点。然而，由于角点检测结果缺乏尺度和形状信息，难以准确表达 图像局部结构，在应用当中往往存在一定局限。 近几年国内外关于局部区域特征的研究越来越多。在国内，学者们普遍认同的区域 特征提取的主要思路是通过图像分割技术提取出图像中感兴趣的物体，依靠区域内像素 的颜色分布信息提取图像特征，适合于区域能够较为准确地分割出来、区域内颜色分布 较为均匀的图像应用变形模板【l6 】技术，把用户提供的形状看作模板，与图像库中的形状 进行匹配。由于是直接比较两个形状，因此具有较高的精度，但同时计算量也较大。有 人提出了一种形状弹性匹配算法【1 7 】，首先确定感兴趣区域，在这些区域中采用爬山优化 算法获取图像边缘，并用这些边缘代表物体形状。这种方法的优点是对图像边缘进行了 筛选，缺点是需要人工干预。 在国外，n e l s o na n ds e l i n g e r 1 8 】使用了图像边缘提取的局部特征，并显示出比较好的 匹配结果，p o p ea n dl o w e 1 9 】也使用基于层次的图像边缘特征，这些边缘特征比较适用 于那些缺少细节纹理特征的图像之间的匹配。局部特征区域中比较有代表性的是l o w e 于2 0 0 3 年提出的一种尺度空间内基于d o g 滤波函数局部极值的局部区域提取算法【2 0 1 。 该算法虽然能够在一定程度上应对尺度变化带来的干扰，但是仍然无法应对由于视角变 化而引起的仿射变化带来的影响。不仅如此，该算法计算会得到大量的特征区域，在匹 配过程中正确匹配率并不高，而且计算耗时严重，一般无法满足用户在线使用的需求。 1 3 应用前景 基于内容的图像检索是应对当前信息大量膨胀的重要手段，它与数据库技术相结 合，可以实现海量图像数据的存储和管理，丰富和方便我们的多媒体生活。基于内容的 图像检索技术已经在多媒体搜索、数字图书馆、电子商务、艺术博物馆等领域得到了广 泛应用。比较典型的应用利2 l j ： ( 1 ) 知识产权保护 许多知识产权的载体都是图像，如商标和艺术作品。商标的查询和识别是很重要的 工作。商标管理机构有一个商标库，商标注册人员从商标库中检查申请的商标是否与商 标库中的已注册商标有相似之处。可见，可以利用基于内容的图像检索技术实现商标图 形的自动审查。 ( 2 ) 医疗和诊断 4 - 大连理工大学硕士学位论文 现在很多医生都使用图像来协助诊断，保存患者的一些图片资料对于治疗和之后的 跟踪观察都是很有用的。当图像规模不断增大时，准确有效的图像分析和检索方法就凸 显其重要性。 ( 3 ) 新一代网络搜索 基于文本的搜索引擎已经深入我们的生活，而网络中还有很多图像资源，新一代网 络搜索引擎应该具有协助用户从海量且无序的图像资源中寻找指定图像的能力。 ( 4 ) 犯罪与安全预防【2 2 】 当将图像的内容限制在特定领域时，基于内容的图像检索技术将找到更为具体的应 用。例如，安全部门可以将人的主要特征( 如指纹和脸部) 的图像存储在数据库中，通 过指纹识别和人脸识别就有可能从大量的指纹库或者人脸库中自动识别出特定的目标。 毫无疑问，这具有重大的社会价值。互联网的飞速发展也带来另外一个负面的影响，即 网上不健康内容的大量增加，特别是一些低级趣味的图片。在某些情况下可能需要对这 些信息进行过滤。基于内容的图像检索技术完全可以应用到类似的具有图像过滤需求的 应用中。 1 4 本文工作概要 由于图像检索涉及到很多领域：计算机视觉、模式识别、信息检索、数字信号处理 以及数据库，因此它是一个交叉学科。本文在理解相关领域的知识后，主要研究了基于 图像局部区域的特征提取算法、特征区域描述算法、聚类及标准加权等知识、以及匹配 与检索理论，实现了基于h a r r i s a f f i n e 特征区域的图像检索系统，并给出了具体程序实 现。 基于局部特征区域的图像检索系统通过用户指定查询图像，搜索相似图像。该系统 的研究内容主要包括：特征提取、区域描述、数据压缩和匹配检索。具体步骤是： ( 1 ) 基于图像的局部灰度信息提取图像的局部特征区域h a i s a f f i n e 特征区域； ( 2 ) 对( 1 ) 提取出的特征区域在图像空间中进行归一化处理，得到若干个标准大小圆 形或正方形区域块； ( 3 ) 对归化处理后的区域进行数学描述，即用一个若干维的特征向量来表示( 1 ) 所 提出的特征区域； ( 4 ) 对图像数据库中的所有图像所得特征向量进行聚类，进行数据压缩，仅用代表 类中心的类的编号来表示图像中的特征； ( 5 ) 利用文本检索的思想，将每幅图像内的特征表示成视觉关键词后，运用标准加 权的方法生成图像词频向量； 基于h a r r i s - a f f m e 特征的图像检索系统研究与实现 ( 6 ) 按照区域匹配准则，将代表每幅图像内容的向量进行比较，计算相对距离，最 终得到图像的匹配度，给出检索结果。 本学位论文对基于h a r r i s a f f i n e 特征区域的图像检索技术展开了深入的研究，并自 行实现了一套实用性很高的基于内容的图像检索系统，本文组织如下： 第一章为绪论，对基于内容的图像检索系统的研究背景进行了阐述，叙述了基于内 容的图像检索系统尤其是基于局部特征的图像检索技术的发展现状，简要说明了图像检 索技术的应用前景，对部分典型的c b i r 系统进行了介绍。 第二章主要介绍了图像局部特征提取方法，包括h a r r i s 特征点、多尺度h a r r i s 特征 区域及h a r r i s l a p l a c e 特征区域等，并重点研究了h a r r i s a f f i n e 特征区域算法的原理及 特性。在这章的最后，该特征区域算法在各种干扰形式下的性能表现做了详尽的实验验 证和客观评价。 第三章首先介绍了特征区域的标准化方法，接着阐述了s i f t ( s c a l e i n v a r i a n tf e a t u r e t r a n s f o r m a t i o n ) 描述方法及其在基于内容的图像检索系统中的应用前景，然后研究了聚 类算法，并在重点介绍k 均值聚类算法之后，结合文本检索的思想，提出了视觉关键词 的概念，并叙述了生成词频向量的过程。 第四章主要研究了图像匹配中常用的约束条件和匹配方法，并结合第二、三章所介 绍的特征提取方法和特征描述方法等理论基础和前提条件，实现了图像匹配系统，而且 对匹配性能做了详尽分析与评价。 第五章主要是基于h a r r i s a f f i n e 局部特征的图像检索系统的设计实现与性能评价。 在根据实际图像数据库的特点做出总体框架设计后，又分别详细设计并实现了每个功能 模块的细节，同时给出了用户界面截图。作为本章的重点，在本章后半部分，给出了大 量检索结果和统计数据，并对结果数据进行了详尽分析。同时，还将本系统的实验结果 与其他基于内容的图像检索系统所得结果进行比较，结果表明本系统在综合性能上大大 优于其他系统，有力地证明了本文所提出的系统框架的有效性和实用性。 最后，全文的最后是结论，对全文进行总结，对本文的主要工作给出体评价，并指 出需要进一步研究的方向。 一6 一 大连理工大学硕士学位论文 2h a tris - a f fin e 算法原理及特性 h a r r i s a f ! f i n e 算法由k m i k o l a j c z y k 和c s c h m i d 在2 0 0 2 年首次提出1 2 引，并于2 0 0 4 年【2 4 】总结并完善。它建立在h a r r i s 特征点的基础之上，引入了尺度和位置的自适应迭代 调整过程，克服了h a r r i s 点特征的弱尺度特性，同时又引入了特征区域形状的自适应迭 代过程调整，克服了视角变化引起的仿射变换带来的干扰。这样就能够很好的应对大尺 度变化和视角变化等干扰，表现出了极强的抗仿射变换能力，故命名为h a r r i s a f f i n e 方 法。而基于内容的图像检索系统中，往往由于待匹配图像和数据库中图像存在上述干扰， 使得内容相同或相近的图像无法匹配到一起，误检率升高，传统全局方法对此无能为力。 如果能够将图像中的若干h a r r i s a f f i n e 区域作为特征，即用图像的某些有代表性的局部 区域表示整幅图像，那么，上述问题将迎刃而解。 2 1 局部特征概述 局部特征提取是计算机视觉领域的一个重要研究内容，在图像匹配、图像检索、视 频检索、三维重建、目标识别等领域都有应用。局部不变特征的稳定性、可重复性直接 影响到这些处理任务的效果。 图像的局部特性非常适合于图像匹配或者目标识别，这主要是因为在目标被局部遮 挡或者存在干扰的情况下，这些局部特性会显示出非常好的鲁棒性。但是，对于在某些 条件下，例如图像之间发生了仿射变换，如何才能获得用于匹配或者识别的不变量特征， 却是有一定难度的。在过去几年，关于这方面的研究不断的涌现出来【2 5 ，2 昭7 。这些方法 都是首先检测到特征，然后计算出描述这些特征的描述子。在仿射变换比较严重的情况 下，就不得不调整那些用于匹配或者识别的特征以适应这些严重的仿射变换，并实现匹 配；或者说，至少要有一部分特征必须在两幅图像之间存在匹配一致性( 也称视觉不变 性) 。相关文献【2 啦8 】中提出了基于尺度空间的不变性特征点。然而，上述的这些特征点 描述子都不具有仿射不变性。如何能提取出具有仿射不变性特征点，是近两年来该领域 的研究热点，也是本章将要重点讨论的问题。 局部不变特征的提取方法总体上分为角点检测和区域检测。角点检测中，以经典 h a r r i s 点检测最具代表性。但由于角点缺乏尺度和形状信息，难以准确表达图像局部结 构，在应用往往当中存在一定局限。本章将主要研究区域检测，重点介绍h a r r i s a f f i n e 算法的原理，作为预备知识，在此之前我们要先分析经典h a r r i s 算法i l5 1 、多尺度h a r r i s 方法1 2 圳以及h a r r i s l a p l a c e 方法。 丝1h a r r i s a f f i n c 特女e 的目慷检索系统研究，实现 21 1 h a tr is 角点检j 则 h a r r i s 角点是基于二阶矩矩阼( s e c o n d m o m e n l m a l n x ) 。阶矩矩阵又称为白相关 矩阵( a u t o c o r r e l a t i o nm a t r i x ) 经常被用j 。特征检测或者局部图像结构的描述。二阶矩 矩阵定义蛐下： 肌，也外叫裂，搿i 犯， 其中，表示数字图像，) 表示图像在点处沿着x 方向的 阶导数， ，旺) = ，) 。) ，o - 表示尺度、f 滑因子，g p ) 为平滑园子为口的高斯核，与矩 阵做卷秘相当于对圈像窗口进行高斯平滑提高算法的抗 噪能力。 泼矩阵描述了在某点的一个局部邻域内的梯度分布情况。这个二阶矩矩阵的两个特 征值代表了特征点邻域内两个主曲率的变化情况。根据二阶矩矩阵的这个特性可以提耻 h a r r i s 特征点，即在止交方向上两个主曲率都很大的点。在光照等条件发生变化时，这 样的点稳定性较虫，而且能够比较准确的表达图像的局部结构。 接下来定义一个h a r r i s 量如下： c = d e t ( , u ，硼一a t r2 缸，d w ( 2 2 ) 其中d c t ( , u 似，口”表示矩阵的行列式值，n “，硼表不矩阵的迹，口为参数，一般墩 值枰00 4 o0 6 之呲木文墩值00 4 。在图像中逝个点计算，h a r r i s 量c 大于给定闽值的 点即为h a r r i s 特征点。从= 立；际图像中提取h 的h a r r i s 点如图21 所示： h 21 实拍幽像r | 的l l a r r is 特扯点 f i g2 1h a r r i sp o i n t si nr c a li m a g e 大连理工大学硕士学位论文 h a r r i s 点检测算法作为一代经典算法，不可否认其存在以下一些优点： ( 1 ) 对于旋转、光照、噪声、平移和灰度变化具有一定的不变性； ( 2 ) 可隐式使用滑动窗口； ( 3 ) 因为只用到灰度的一阶差分，因此计算简单。 然而，由于图像的导数对于尺度变化非常敏感，因此该检测子在实际应用中表现出 弱尺度性【1 6 3 0 1 ，给存在尺度变化的图像之间的匹配带来了较大困难。而且，实际应用中， 存在尺度变化的图像不占少数。因此，如何能够在多尺度上检测出特征点，成为进一步 研究的焦点问题。 2 1 2 多尺度h a r ris 角点检测 定义多尺度二阶矩矩阵如下： 如m o - d , 0 5 ) = l l i 爱，管卜鹏r ；, c 5 ) d # d r l ( 2 3 ) 其中，三，= l x ( x 善，y - t l ；c r d ) ，l ，= l y 一f ，y - 1 7 ；t y d ) ，表示偏导数。接下来，我们 采用和上面方法类似的方法计算该矩阵的特征值，并定义多尺度h a r r i s 量如下： m 。( x ，y ；盯d ，仃，) = d e t ( , u ( x ，y ；t 7 d ，c l r ) ) 一口幸t r 2 ( 4 x ，y ；c r d ，仃，) ) ( 2 4 ) 为了简化计算，可以选取一个比例系数将局部尺度参数盯n 和全局尺度参数仃，联系起来： 乃= y 2 0 d( 7 【2 ，2 】) ( 2 5 ) 这样，我们就可以在任意尺度a r d 上计算多尺度h a r r i s 量恤( z ，y ；c r o ，7 2 ) 从而获得一系 列h a r r i s 点。从实际图像中提取出的多尺度h a r r i s 点如图2 2 所示。 图2 2 中，”代表特征点所在位置，圆圈给特征点指定了大小，此时特征点有了 大小信息，也常常因此被称为特征区域，在图像匹配和检索领域均指代某个局部特征。 特征区域可以看作特征点的某一固定半径的邻域，而特征点可以看作特征区域的中心或 圆心。本文在此之后，除特殊说明之外，尤其是对圆形区域，并不严格区分“特征点” 和“特征区域这两个概念。 上述多尺度h a r r i s 角点检测算法，在多个尺度上提取特征点，将一个图像局部结构 表示成为一系列相邻尺度的局部图像结构，即特征点，并使用所有这些特征点来表示一 幅图像。一般情况下，一个图像局部结构会出现在多个尺度中。那么该局部结构就会被 多个尺度同时表示，从图2 2 也可以明显看出，同一区域被多个圆圈所包围，即出现了 一9 一 难rh a m s - a h n e 特祉的h 像垃寨系统q f 究j 实现 多个特征点衷小的是侧一个图像结构的情况。这样，从图像巾提取h 来的信息就存在较 大冗余，后续匹配过程将变得繁琐而缓慢。而1 7 ，山于这雌特征点是在不同尺度幽像上 提取的，所以它们的位胃和尺度有时会有一定偏差。往实际应用当中，f 是这些大量位 置和尺度小准确的特征点导致了严重的误配，并且增加了匹配算法的复杂程度和程序的 运行时川。鉴于以上分析，我们必须对多尺度h a r r i s 算法加以改进，接下柬介缁种高 效的检测力法h a r r i s l a p l a c e 算法。 图22 贫拍图像中的多尺度i l a r r ls 特征区域 f i g2 2 m u l t i s c a l eh a r r i sr e g i o n si nr e a li m a g e 213h a rr js l a p la c e 区域检测算法 k d , 节已经分析得m ，多尺度h a r r i s 特彳【 ：提取算法为了达到尺度小变性向在多个尺 度i 。检测特征，对同个区域保留了大量的冗余信息，即存杓：同绱社j 被重复衷达的问 题。如果能够在图像或u 札、发生尺度变化时，算法能够自动判断出缓图像或图像的某个 j n 】部属于哪个尺度，那么卜述问题即町迎卅而解。进一步讲，每个结构斋任有其比较柏代 表性的尺度，可能是个尺度或是多个尺度，我们可以称其为特征尺度。如何进行自动 尺度选择将是问题解决的天键所在。 2 13 1 自动尺度选择 赴文献1 1 7 1 中，作芹l i n d e b e r g 深入地探时了自动尺度选扦和被选尺度所具有的惟质。 其卜耍思想就是刘某个局鄞站构来说，在整个尺度那内，使得某个响鹰晒数取得极值 大连理1 人学硕士学位论文 的尺度即为该局部结构的特征尺度。给定图像中的一个点，计算l o g 尺度响应函数对尺 度口。的响应曲线，如图2 _ 3 所不。特征尺度就对应于响应曲线的局部极值。注意，可能 会存在多个极大值或极小值，这就是说会存在多个特征尺度，这是因为这些不同的特征 尺度对应十以该点为中心的不同的局部图像结构。特征尺度独立于图像的分辨率，印特 征尺度只与图像结构有关，而与该图像的分辨率无关。极值点的特征尺度之比就是这些 极值点所在邻域之间的尺度因子。实验表明，l o g 算子能找到很多正确的特征尺度： l l o g ( x ，吒) | = 一j 。，l 。( 上，吒) + l ，y ( x ，吒) l ( 2 6 ) 由于l o g 的中心对称性，它非常适用于检测块状区域，同时l o g 也适用于估算诸如角点、 边缘、脊线和多节a 交y - - 等局部图像特征上的特征尺度。许多先前的研究【2 0 ，3 1 ，3 2 ，3 3 都说明t l o g 对于尺度检测的价值。 蚓23 特征t 度选择实例 f i g2 3e x a m p l e s o f c h a r a c t e r i s t l cs c a l ed e t e c t o r 基于h a r r i s a f f i n e 特征的图像检索系统研究与实现 上：使用不同焦距拍摄的同一个场景的两幅图像；下：l o g 函数对尺度仃。的响应 曲线；左右两幅图像的特征尺度分别是2 5 0 和5 1 2 。两幅图像之间的尺度之比为尺度因 子2 0 。图中圆形区域的半径等于特征尺度的3 倍。特征尺度之比o 4 9 ，非常接近由拍 摄时记录下来的焦距之比，即实际尺度之比0 5 0 。这说明用l o g 方程的极值确定出来的 尺度关系真实地反映了实际图像之间的尺度变化关系。即可以将该尺度认为是图像或图 像的某一特定结构的特征尺度。 2 1 3 2 具体实现方法 下面将详细介绍尺度不变性特征检测算法。h a r r i s l a p l a c e 检测器使用尺度自适应 h a r r i s 方程( 公式2 6 ) 来确定特征点的特征尺度；当l o g 方程在整个尺度空间内取得 极大值的时候来选择特征点。 该迭代算法主要包括两步：多尺度h a r r i s 初始点的检测和尺度与位置的迭代选择。 ( 1 ) 多尺度h a r r i s 初始点检测 构建尺度空间：尺度空间每层的尺度为o - , = r o 0 ，其中的f 为相邻层之间的尺度因 子，根据经验，选择孝= 1 4 ，刀 1 ，2 ，1 7 】。 在这个尺度空间里，使用h a r r i s 度量来确定某一层内初始点x 的空间位置。 确定积分尺度和微分尺度：盯，= 盯。，o d = s 吒，盯。= 孝”c r o 。此处，s 为一个常系 数，在本文中，取j = 0 7 。 在尺度空间的某层里( 假设第圪层) ，利用h a r r i s 度量来初步确定该初始点的空间 位置，首先在初始点x 的8 邻域内，求初始点x 以及其8 邻域点的h a r r i s 度量： c o r n e r n e s s x 、c o r n e r n e 贼、c o r n e r n e 蝎，如果： 那么就保留这个初始点，否则就忽略这个初始点；同时设定一个阈值，删除那些 c o r n e r n e s s 较小的点，因为这样的点并不稳定，剩下的点就是初始点： 朋p m p 舳= d e t ( ( x ，q ，) ) 一口t r a c e 2 ( ( x ，q ，) ) 珐厂e s h o l d ( 2 8 ) 由于在这一步里面积分尺度仃，和微分尺度o d 都与盯。有关，上面的公式可以改写成： c o r n e r n e s s = d e t ( t ( x ，) ) 一口t r a c e 2 ( ( x ，c r ) ) t h r e s h o l d ( 2 9 ) 大连理工大学硕士学位论文 ( 2 ) 特征点尺度与最终位置的迭代选择 对每个初始点都使用迭代算法，使用该迭代算法能够同时检测出特征点的最终位置 及其尺度。假设上一步检测出的初