（信号与信息处理专业论文）基于局部特征的图像分类方法研究.pdf

摘要摘要图像自动分类是计算机视觉领域的一个研究热点。图像分类的关键技术在于特征提取和基于特征的分类。近年来，局部特征描述凭借其出色的稳定性和可区分性，受到越来越多学者的重视，并且成功地应用于计算机视觉的多种应用中。在利用局部特征对图像描述时，每幅图像被分解成很多部分，每个部分对应一个特征向量。这样区别于全局特征描述每幅图像对应一令特征向量，利用局部特征描述时每幅图像对应一个特征向量集合。然而，由于传统的相似度度量以及分类算法都是基于全局特征设计的，因此，在我们对基于局部特征描述的图像进行分类时，存在着很多的问题和挑战。例如：如何度量两个特征向量集合之间的相似度，如何将传统的学习算法应用于局部特征描述的图像分类等等。本文从局部特征出发，分别对局部特征的提取方法以及基于局部特征的图像分类方法进行研究和讨论，并将局部特征应用于遥感图像的目标定位中。本文的主要工作和贡献包含以下几个方面：1 对目前主要的基于局部特征学习分类的算法进行了研究，针对传统基于“词袋”的图像分类算法中的不足，本文进行了一系列的改进。在训练的过程中，我们采用t f i d f 算法结合“区分度 函数对“词典中的每个“单词”进行加权，以区分每个“单词”在图像分类中的作用；此外，本文采用改进的层次化k m e a n s 聚类算法代替传统的k m e a n s 聚类，以提高学习速度。建立遥感图像目标数据库，并将基于“词袋”的图像分类算法应用遥感图像分类。2 将局部特征应用于遥感图像领域。针对遥感图像中的目标定位，提出了基于局部特征分类的目标定位框架流程。首先采用快速的显著性区域提取算法，去除大面积背景区域，提取感兴趣目标候选区域；然后对于提取出来的感兴趣目标候选区域进行局部特征提取；最后将候选区域作为测试图像进行基于局部特征的图像分类，从而实现感兴趣目标定位。由于该流程采用了快速的显著性区域提取方法提取目标候选区域，并利用基于局部特征的图像分类对候选区域进行进一步的分类判别，从而实现了定位精度和定位速度上的兼顾。摘要3 针对遥感图像的目标定位，提出了一种快速的显著性区域提取方法。首先通过定义自相似特征来反映栅格区域与周围邻域区域的相似程度。对于与周围邻域相似的栅格区域，认为该区域为背景区域；反之，对于与周围邻域存在较大差异的栅格区域，则认为可能包含感兴趣的目标。然后，基于自相似特征，利用大津算法( o s t u ) 自动的从全图中挑选出一部分显著性区域作为目标候选区域，以待迸一步分析验证。实验证明，本文所设计的显著性区域提取算法具有较好有效性和较低的计算复杂度，能够在较短的时间内实现候选目标区域的提取。关键词：局部特征，图像分类，遥感图像，目标定位，显著性区域，自相似特征a b s t r a c ta b s t r a c tt h ep r o b l e mo fa u t o m a t i ci m a g ec a t e g o f i z a t i o nl i e sa tt h eh e a no fc o m p u t e rv i s i o nr e s e a r c h t w ok e y st e c h n i q u e sl j ei nj m a g ec a t e g o r i z a t j o na r ef e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o nm e t h o d r e c e n t iy m o r ea n dm o r er e s e a r c h e r sb e g i nt of o c u st h e i rr e s e a r c h e so nl o c a lf e a t u t er 印r e s e n t a t i o nd u et oi t s9 0 0 ds t a b i l i t y 彻dd i s c r i m i n a b i l i t y u pt on o w 1 0 c a lf e a t u r er 印r e s e n t a t i o nh a sb e e ns u c c e s s f u l l ya p p l i e di naw i d er a n g e0 fc 0 m p u t e rv j s i o na p p l i c a t i o n s w h e nw eu s eg l o b a lf e a t u r er e p r e s e n t a t i o n ，w ed e s c r i b et h ei m a g ea sa 、讪o l ea n dm a pe a c hi m a g et oas i n 百ef i x e dl e n g t hf c a t u r ev e c t o r q u i t ed i f f e r e n t l y w h e nu s el o c a lf e a t u r cr e p r e s e n t a t i o n ，e a c hi m a g ei sd i v i d e di i l t os e v e r a lp a r t s ，e a c hp a r ti sd e s c f i b e db yaf e a t u r ev e c t o lt h e ne a c hi m a g ei sc o 玎e s p o n d e dt 0as c t0 ff e a t u r ev e c t o f s h o w e v e r ，m a n yc o n v e n t i o n a ls i m i l a r i t ym e a s u r e sa n dc l a s s i f i c a t i o na 1 9 0 r i c h m sa s s u m ev e c t o ri n p u t s c o m p a r i n ga n dl e a m i n gf r o mi m a g e sr e p r e s e n t e db ys e t so fl o c a lf e a t u r e si st h e r e f o r ec h a l l e n g i n g ，s i n c ee a c hs e tm a yv a r yi nc a r d i n a l i t ya n di t se l e m e n i sl a c kam e a n i n g f u l0 r d e r j n g i nt h i st h e s i s if o c u st h er e s e a r c ho nl o c a lf e a t u r ee x t r a c t i o na n dl o c a lf e a t u r eb a s e di m a g ec a t e g o r i z a t i o n ，a n df i n a l l ya p p l yl o c a lf e a t u i er e p r e s e n t a t i o ni nt h ea p p l i c a t i o no fo b j e c t1 0 c a l i z a t i o ni nr e m o t es e n 等i n gi m a g e s t h em a i nw o r ka n dc o n t r l b u t j o no ft h i st h e s l si n c l u d e ：1 s u r v e yt h em a i nm e t h o d s0 fl o c a lf e a t u r eb a s e dl e a m i n ga n dc l a s s i f ：i c a i i o n a d d r e s so nc h es h o n a g eo fc o n v e n t i o n a l “b a g so fw o r d s m e t h o d ，p r o p o s eas e r i a lo fi m p r o v e m e n t s ho r d e rt od i s t i n g u i s ht h ed i f f e r e n c e so fe a c hw o r d ，c o m b i n et f i d fa l g o r i t h ma n dd i s c r i m i n a t i v ef u n c t i o nt o g e t h e rt oa s s i g nd i f f e r e n tw e i g h t st ot h ew o r d s ，i na d d i l i o n ，a d o p tt h ej m p r o v e dh i e r a r c h i c a lk - m e a n si n s c e a do fs t a n d a r dk m e a n st 0b u i l dv o c a b u l a r y a sw e l l ，ar e m o t es e n s i n gi m a g ed a f a b a s ej sc o n s t r u c l e dt oe v a l u a l el h ep e r f b r m a n c eo fi m p r o v e d “b a g so fw o r d s 2 a d d r e s so nt h ea p p l i c a t i o no fo b j e c tl o c a l i z a t i o ni nr e m o t es e n s i n gi m a g e ，p f o p o s et h el o c a if e a t u r eb a s e d2c l a s s e sc a t e g o r i z a t i o nf r a m e w o r k f i r s t l y ，a p p l ys a l i e n tr e g i o nd e t e c t i o nm e t h o dt oe l i m i n a t el a r g er e g i o no fb a c k 伊o u n da n de x t r a c fas e ti i ia b s t r a c to fc a n d i d a t eg f i dr e g i o n s t | h e n ，e x t r a c tl o c a lf e a l u r ei ni h ec a n d j d a c eg r j dr e g i o n s f j n a l 】y ，l a b e le a c hc a n d i d a t eg r i dr e g i o na so b j e c ta n db a c k g r o u n dr e s p e c t i v e l yb yt h et r a i n e dc l a s s i f i e r 3 p f o p o s eas j m p l ea n de f f i c i e n ts a l j e n tr e g i o nd e t e c t i o nm e t h o d d e f i n ea n de x t r a c tt h es e l f - s i m i l a r i t yf e a t u r et od e s c r j b et h es i m i l a “t yb e t w e e ne a c hg r i dr e g i o na n di t sn e i g h b o r h o o d i fag r i dr e g i o ni sq u i t es i m 订a rt oi t sn e i g h b o r h o o d ，i ti sc 0 n s i d e r e da sb a c k 伊o u n d ；i nc o n t r a s t ，i ti sc o n s i d e r e da so b j e c t t h e nb a s e do no s t ua l g o r i t h m ，a u t o m a t i c a l l ys e l e c tas e to f 伊i dr e g j o n sa sc a n d i d a t er e g i o n e x p e r i m e n td e m o n s t r a t e dt h a t ，t h ep r o p o s e dm e c h o dc a ne f f j c i e n n ye x t r a c fas e to fc a n d i d a t eg “dr e g i o n si nas h o nt j m e k e yw o r d s ：l o c a lf e a t u r e ，i m a g ec i a s s i f i c a t i o n ，r e m o c es e n s j n gi m a g e ，o b j e c tl o c a l i z a t i o n ，s a l i e n tr e g i o n ，s e l f - s i m i l a r i t yi v中国科学技术大学学位论文相关声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确的说明。本人授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后也遵守此规定。)作者签名；勃礁砂孵厂月节日第一章绪论第一章绪论1 1 图像分类的背景及研究意义近年来多媒体数据库系统是一个非常活跃的研究领域。随着计算机视觉、多媒体技术、i n t e m e t 以及数据库技术的蓬勃发展，多媒体信息的产生、存储、传输以及访问数量呈指数增长。多媒体信息主要包括图像、音频、视频等，其中图像占据着重要地位。如今是信息爆炸的时代，每时每刻都有海量的数字图像涌现，仅依靠人力无法完成图像数据的及时归档、组织和管理。随着计算机处理速度的飞速发展，我们希望能够通过计算机对图像中的目标内容进行分析描述，并根据这些描述将图像数据快速、规范、自动地进行归类和管理。因此如何将计算机视觉技术、模式识别技术相结合，建立自动地图像分类对新一代的数据库管理有着重要的作用。此外在安全、监视等应用方面图像自动分类技术同样起着非常重要的作用。随着网络技术的蓬勃发展，每时每刻都有成千上万的网络用户上传图片。保证这些图片中内容的健康、合法是项非常迫切、重要的任务。然而，仅依靠人工的监视和判别将耗费大量的人力物力。因此我们希望依靠自动的图像分类技术，利用计算机分析判别上传图像所包含的内容是否属于预先定义的不健康、不合法的图像类别范畴，从而实现图像的过滤。同样地，在汽车、大楼以及机场等等的安全监视系统中，依靠计算机的图像分类技术对每时每刻所获取的视频图像进行分析判别，同样也可以将大量的人力从简单枯燥的目视判读工作中解脱出来。总而言之，图像自动分类是人工目视判读的延续和发展。得益于现代计算机技术的快速进步，计算机图像分类比人工图像分类速度高得多，分类准确性也达到了较高的水平。在“信息爆炸的当今世界中，图像信息的获取和使用越来越方便，图像文件的交换和传输也越来越频繁，海量图像信息的处理成了一个困扰我们的难题。在这种情况下，如何依靠计算机的高速计算能力快速准确地自动根据图像内容，进行分类判别有重要的研究价值和意义。1 2 图像分类技术发展现状图像分类工作的主要内容是如何对图像进行适当的描述，提取能够有效表示图像属性的特征，并在此基础上对图像进行准确高效的分类。图像分类技术可分为两第一章绪论个方向发展：第一、利用从图像数据中提取的新信息和新特征进行分类：第二、应用新理论进行分类，如：统计学理论、模糊集理论、贝对斯理论等等。总的来说，图像分类研究目前正朝着精确、快速的方向发展。1 国内外学者从不同角度提出了许多表征图像特征的方法f 5 j ，例如基于像素的灰度共生矩阵：基于纹理基元的结构法：基于能量谱、局域窗能量分析的频谱法等。近年来一些学者引入新的数学工具，提出了基于小波分解【3 l 多尺度特征、直方图分布特征、分形特征等表示方法。然而由于图像质量存在的变化，同类间目标的差异，以及背景因素等于扰，在图像分类中对图像中的目标使用一个特征向量进行描述往往是不充分、不稳定的，容易受到目标部分缺损，位置变化以及几何形变等干扰因素的影响。基于这些问题，这两年来，越来越多的学者提出采用局部特征对目标建立特征描述。区别于以往利用全局特征对目标个体进行描述时只产生一个特征向量，利用局部特征时，目标被分成很多个不同的组成部分，每个部分相应的用一个特征向量迸行描述。基于局部特征的目标描述能够更好的适应图像质量变化、目标形变、部分缺损以及同类目标间差异等干扰因素的影响，在图像分类中能获得稳定、准确的分类精度，有着很好鸯勺发展前景。2 将用上述方法提取的图像特征输入分类器进行处理就可得到分类结果。典型的分类方法主要包括监督分类和无监督分类，比较常用的无监督分类法有i s o d a t a法和k 均值法：监督分类法有最小距离法、马氏距离法、最大似然法。近年来人们又提出了一些新的分类理论和方法，比如：统计分类和支持向量机算法等。同时在这些基于全局特征设计的分类方法和理论的基础上，针对局部特征设计了一系列基于局部特征的分类方法。a ) 统计分类是在模式识别长期研究发展过程中建立起来的经典分类方法。统计分类主要研究用概率统计模型对各类别的特征向量进行分类，而特征向量的分布基于个己知类别的训练样本集，因此是有监督学习的分类方法。统计分类研究是基于数据的机器学习，是现代智能技术中一个十分重要的领域。传统统计学研究的是渐进理论，即当样本数异趋于无穷大时的极限特性。但在实际问题中样本数目通常是有限的，这使得很多方法都难以取得理想的效果。支持向量机是b o s e r 、g u y o n 和v a p n i k 等人于1 9 9 2 年提出的一种新的基于统计学理论的学习机模型( 1 】o 支持向量机4 】【3 3 1 与其它机器学习方法相比在解决小样本、非线性及高维模式识别问题上表现出许多特别的优势，具有良好第一章绪论推广能力和很强的普适性，可用于模式识别、回归估计及函数逼近等方面。支持向量机的最终求解可以转化为一个线性约束凸二次规划问题，不存在局部极小；引入核函数方法可以将线性支持向量机简单地推广到非线性支持向量机，而且对于高维样本几乎不增加额外的计算量，成功地解决了维数灾难问题。b ) 基于局部特征的分类方法并没有采用全新的分类理论和方法，它主要是针对局部特征的一些特定的特点，为基于局部特征描述的图像设计一系列特定的相似度计算方法，以便将经典的学习分类理论方法结合应用到基于局部特征的分类方法中。目前基于局部特征的图像分类以其优越性吸引着越来越多学者的注意。1 3 局部特征在图像分类中的应用经过前文的分析发现，全局特征虽然一定程度上能对目标进行描述和区分，但是容易受到目标部分缺损、背景、仿射变换等因素的干扰【8 】。在传统方法中，为避免背景的干扰，通常采用分割算法先从图像中分割出疑似目标，再对疑似目标进行特征提取和分类。然而，到目前为止，尚没有一种很好的分割算法能够将目标完整地与背景分割开。因此基于整个目标图像所提取的全局特征容易与实际上的目标特征存在较大的偏差，这给后面的图像分类造成干扰。为了解决全局特征容易受到目标部分缺损、背景以及仿射变换等因素干扰的问题，目前很多学者提出了利用局部特征对目标图像建立特征描述。在利用局部特征对目标图像进行描述时，首先将每幅图像分成很多块子区域，然后对各个子区域建立特征描述。区别于全局特征描述时每幅目标图像对应一个特征向量，在用局部特征进行特征描述时，每幅目标图像对应着一系列的特征向量。每一个特征向量相应地描述图像中的一块子区域。在每幅图像的特征向量集合中，一定存在着一部分的特征向量对应地描述目标中的各个部分，并且对于包含同类目标的图像，每幅图像中描述目标的这部分特征向量集合应该相同或相似；相反地，对于包含不同类目标的图像，每幅图像中描述目标的这部分特征向量集合应该会存在较大的差异。我们可以通过对目标图像进行学习，得出抽象的目标特征向量集合或者分类面。目前，已经有很多的学者提出一系列相对于光照变化、尺度变化、仿射变化等不变的局部特征的提取方法【1 4 】【1 5 】【1 8 】【2 0 】 2 l 】【2 2 1 。此外，也有很多的研究者将局部特征应用到了自然景物图像、医学图像的分类、目标识别以及检索等相关领域【2 6 】【2 8 】【3 5 】【3 9 】【4 2 】【4 7 】【4 8 】【5 0 1 ，第一章绪论并取得了很好的实验结果。在遥感图像领域，局部特征也开始被应用到各种相应的应用中。美国南加州大学s u y a y o u 等人，利用局部特征实现了遥感图像中的目标自动识别以及遥感图像的自动配准1 7 1 。同样地，文献【8 】中也对局部特征进行深入的研究，并将局部特征应用于遥感图像中的目标自动识别和配准等应用中。基于局部特征的优越性，本论文主要讨论局部特征的提取方法以及基于局部特征的分类方法，以利用局部特征实现图像的自动分类。1 4 本文研究内容本论文主要对基于局部特征的图像分类技术进行了分析和研究，并将局部特征应用到遥感图像中的目标定位中。本文具体内容安排如下：第一章q 首先对图像分类技术的研究背景、意义进行了阐述：接着总结回顾了图像分类技术的发展现状；最后对局部特征在图像分类应用中的优越性以及发展前景进行分析、讨论。第二章中对局部特征的特性及提取算法进行了讨论和研究。并对本论文中所采用的d o g s i f t 特征提取算法进行了详细的说明和实验。第三章中讨论并深入研究了基于局部特征的图像分类方法。对几种主要的基于局部特征的分类方法进行详细的说明和比较。在标准数据集e t h 8 0 ，c a l t e c h 4 上对基于“金字塔匹配”的分类算法以及基于“词袋”的分类算法进行实验和改进。通过相关实验，证明了局部特征在图像自动分类中的有效性以及相对于基于全局特征图像分类的优越性。同时，相关实验验证了本文中的改进算法能够在保证分类精度不变甚至提高的基础上降低计算复杂度，提高运算效率。第四章中将局部特征应用到遥感图像的目标定位中，首先利用基于局部特征匹配的方法实现遥感图像中的特定目标定位。基于该方法存在的问题，本文将目标定位问题转换为一个两类的分类问题( 目标一背景) ，采用基于局部特征的图像分类技术，实现同类感兴趣目标的定位。此外，为了提高遥感大图中目标的定位速度，采用了一种快速的显著性区域提取方法。结合人的视觉特性以及遥感图像的特性，提出了一种简单、有效的自相似特征，并基于该特征实现遥感图像中快速的显著性区域提取。第五章中对全文进行总结，同时给出了基于局部特征应用的发展方向和前景。4第二章局部特征提取方法研究第二章局部特征提取方法研究2 1 引言图像特征提取是将图像的视觉特征转化成计算机能够识别的数学形式的过程，图像特征提取一直是图像分析领域中一个非常活跃的课题。通常来说，图像的特征包括文本的特征( 如关键词、注释等) 和底层特征( 如颜色、纹理、形状等) 【引。基于文本的特征主要是用户对图像的语义描述。图像底层特征是基于图像基本属性所提取的特征。主要包括灰度、颜色、纹理和形状等。目前使用较多，发展较成熟的底层特征一般为全局特征。这些特征都存在着一些局限性：1 对于文本特征，一般需要人手工进行标注，耗费大量的人力。此外，由于人工标注的主观性，对于图像的标注往往不够准确，全面。虽然目前已有大量研究工作致力于基于图像内容的自动标注，但目前的标注精度尚未达到满意的程度。2 对于全局特征，是一种发展比较成熟的特征描述。但是全局特征一般忽略掉了很多图像的局部信息。此外，虽然它在一定程度上能对图像进行描述，但是它对于目标被遮挡、背景干扰以及光照、角度、仿射变换等变化比较敏感。基于上述特征存在的问题，目前越来越多的学者开始致力于局部特征的研究。局部特征的主要思想是将图像分成不同的部分；然后分别对图像的各个部分建立特征描述。这样，区别于全局特征每幅图像用一个特征向量进行表述。在使用局部特征进行描述时，每幅图像是通过一系列的特征向量进行描述，每个特征向量对应于图像中的一个部分。一般地，一个局部特征分析方法需要特征提取和特征表达两步来完成。根据计算机视觉领域的国际通用术语，在这里我 f j 把特征提取部分的算法称为检测算子( d e t e c t o r ) ，特征表达部分的算法称作描述算子( d e s c r i p t o r ) 。通过很好的设计特征检测算子( d e t e c t o f ) 和特征描述算子，可以对图像建立具有高度稳定性和可区分性的局部特征描述。稳定性是指所选取的局部特征应该保持对场景光照变化、物体平移与旋转、物体的尺度变化、观察视角的变化以及图像噪声的不变性，能够在低匹配率情况下实现物体的正确识别。可区分性是指很少有特征会得到相同的描述子，不同的特征对应的描述算子不同。目前，大多局部特征分析方法都致力于保持特征描述算子对图像变化的不变性上，其基本思想是在目标图像上建立起一些不变区域作为关键点区域，继而在这些关键点区域上建立起高稳定性的局部特征描述算子。图2 i 给出了局部特征提取的两个示例。图2 1 中为不同时期机场目标图第二章局部特征提取方法研究像。虽然两幅图像之间存在光照、尺度、位置以及目标本身的变化等变化，但是通过局部不变特征进行描述可以有效的排除一部分这些因素的干扰。图2 1 局部特征不例在本章中，我们首先对目前存在的一些主要的局部特征进行回顾，然后对本文巾所采用的d a v i dl o w e 2 0 0 4 年提出的局部特征检测算子( d e t e c t o r ) d o g( d i f f e r e n c e o f - g a u s s i a n ) 【1 7 】和局部特征描述算子( d e s c r i p t o r ) s i f t ( s c a i ei n v a r i a n tf e a t u r et r a n s f o 丌n ) 1 7 1 进行详细的介绍。2 2 相关工作回顾2 2 1 检测算子局部特征点的检测算子决定了在日标图像上的哪块区域计算特征的描述算子，即在目标图像上建立起上文提到的关键点区域。目前文献中提出的局部特征检测算子有很多，典型的有如下几种：1 ) d e n s i y r a n d o ms a m p l e 【1 3 1 ：其关键点区域通过对图像栅格化后密采样( 随机采样) 获得。关键点区域的大小有栅格窗口决定。虽然这种提取算法看起来过于简单并且并没有严格的数学证明，但是通过该算法检测出的特征在实际的图像分类应用中却被证明也是很有效的。但存在问题是检测出来的特征过多，给后面的特征描述以及检测分类带来压力。2 ) k a d i r & b r a d y 1 5 】 1 6 】：其关键点通过计算不同尺度上每点周围邻域信息熵相对尺度的极值来确定。通过该检测算子检测出来的每幅图像的关键点区域数量较少，倾向于检测出圆形和块状( b l o b i i k e ) 结构的区域，而对角点区域不敏感。3 1m u l t i s c a l eh a 盯i s 1 7 】：1 9 9 7 年m i k o l a i c z y k 和s c h m i d 通过一个尺度可变的h a r r i s 【1 8 】函数检测，在l a p l a c e 算子的尺度空间上做出最终选择，所选的尺度决定了关键点区域的大小。该算子对图像旋转、仿射变化和像素灰度值的变化保持不变性。4 ) d i f f e r e n c eo fg a u s s i a n 1 4 】：其关键点由基于差分高斯滤波器( d i f f e r e n c e 第二章局部特征提取方法研究o g g a u s s i a n ，d o g ) 的尺度空间上的局部极值确定的，所选的尺度决定了关键点区域的大小。该算子的最大优点是可以保持对图像尺度变化的不变性，同时对图像的旋转和仿射变换也保持不变。利用d o g 算子检测出来的区域既包含圆形、块状( b l o b i i k e ) 区域，也能检测出包含角点区域。5 ) s a m p i e de d g ed e t e c t o r c u r v es e g m e n t s 【1 9 】：区别于前面提到的四种基于区域的检测算子，s a m p l e de d g ed e t e c t o “，c u r v es e g m e n t s 检测算子通过检测目标的边缘信息来提取目标的外界轮廓。c u r v e 提取出较长的相关联的边缘而s a m p i e se d g e 随机的提取出图像中的强边缘。2 2 2 描述算子检测算子所选定的关键点区域确定以后，接下来就要在这个关键点区域上计算局部特征的描述算子，对其做出数学上的描述。这样，特征之间才便于比较和匹配。近年来，人们提出了许多局部特征描述算子。典型的算子可分为以下几种：1 ) 基于菲参数变换的算子：z a b i h 与w 0 0 d f i 【2 l l 提出了一种建立在非参数统计基础上的局部变换，这种变换依据所用数据的正序和倒序的信息而得，最终得到依据感兴趣点的邻域点之间关系的特征描述。2 ) 基于差分技术的算子：f l o r a c k f 2 2 】等人推导出了依据局部导数的差分不变性，由此可以得到图像的旋转不变性；f r e e m a n c 2 3 1 【2 4 1 和a d e l s o n 提出了可以对感兴趣点的梯度方向保持旋转不变的s t e e r a b l e 滤波器。3 ) 基于尺度不变的算子：l o w e 【1 4 】提出了一种在感兴趣点邻域利用多层金字塔图像得到的对目标图像的尺度变化保持不变的s i f t ( s c a l ei n v a r i a n c ef e a t u r et r a n s f o r n l )描述算子。在选定窗口内利用梯度直方图技术为每个感兴趣点来分配主方向，最终得到一个可去除尺度变化、图像旋转等几何因素的特征向量。2 3 基于d o g & s i f t 局部不变特征提取2 3 1 尺度空间构建。k w e 利用尺度空间( s c a l e s p a c e ) 理论，提出了一种具有尺度不变性的局部不变特征构造方法，称之为s i f t ( s c a l ei n v a r j a n tf e a t u r et l m n s f o r n l ) 。在尺度空间理论中，图像与方差递增的一系列高斯函数卷积，可得到尺度从小到大的尺度图像，这种方式称为图像的多尺度表示。设图像为s ( x ，y ) ，则图像的多尺度表示为：( x ，j ，盯) = g ( 工，y ，盯) 书，( z ，y )( 2 一1 )第二章局部特征提取方法研究其中g ，少，) = 丢e x p ( 一兰芋) ，式( 2 - 1 ) 将图像表示为 ，y ，仃) 三个参数的函数。( x ，y ) 代表图像的像素位置，盯称为尺度空间因子，其值越小表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对用于图像的细节特征。l i n d e b e 唱【2 5 】利用式( 2 2 ) 热扩散方程提出了一种图像尺度自动选择的机制。竺：四2 gf 2 2 )a 仃、。m i k o l a j c z y 指出，盯2 v 2 g ( 归一化l a p l a c i a n ) 算子的极值可以为图像提供最稳定的特征。为了在尺度空间检测出稳定的关键点，l o w e 提出d o g ( d i 仃e r e n c eo f g a u s s i a n )算子近似l o g ，利用d o g 实现特征点和该尺度的自动选择。d o g 算子定义为两个相邻尺度的高斯卷积图像的差分，如式( 2 3 ) 所示：d ( x ，少，万) = ( ，( x ，y ：七仃) 一g ( x ，夕，仃) ) 宰( x ，y )( 2 3 )= ( x ，y ，露盯) 一三( x ，y ，仃)、使用d o g 算子的原因之是因为该算子计算简单。此外，很关键的是d o g 算子提供了一个很好的归一化l o g ( l a p l a c i a no f g a u s s i a n ) 盯2 v 2 g 的近似。d o g 和盯2 v 2 g 之间的关系可以通过式( 2 2 ) 而扩散方程来理解，用式( 2 4 ) 表示为：田z g ：箜业：! ：塑二坠! 兰! 型f 2 - 4 )a gk 6 一g因此，g ( x ，y ，膏c r ) 一g ( x ，y ，c r ) ( 七一1 ) c r 2 v 2 g( 2 5 )从式( 2 5 ) 可以看出，d o g 算子可以近似成归一化的l a p l a c i a n 算子乘上一个常数因子( k i ) 。当k 趋向于1 的时候，近似误差趋向于0 。一种有效的构造d ( z ，y ，盯) 的方法如图2 2 ( a ) 所示。其基本原理是：首先将初始i 型像与尺度递增的g a u s s i a n 函数进行卷积，在尺度空问获得一系列由常数k 分隔开的平滑图像，如图2 2 ( a ) 中左边一列图像所示。设每两个频程o c t a v e 之间图像尺度之比为2 。我们将尺度空间中的每一个频程o c t a v e 等分成s 份，则每相邻两个尺度问的参数之比为尼= 2 以。为了能在后面进行极值点检测的时候覆盖频程o c t a v e 中所有的尺度，必须为每个频程o c t a v e产生s + 3 幅平滑图像。按相邻尺度间图像相减就得到d o g 图像，如图2 2 ( a ) 右侧所示。当一个频程内所有尺度都处理完后，重新采样高斯图像。此时尺度因子仃变为初始值的2 倍。可以通过对原始高斯平滑图像行列每隔2 个像素采样得到。这样对精度并没有任何区别，但是却可以大大减少计算量。第二章局部特征提取方法研究图2 3 所示为原始图像在各个尺度空间经高斯平滑后得到卷积图像。设初始尺度因子仃为1 6 。相邻两个尺度间尺度因子比值七= 2 夕3 ( 即s = 3 ) 。从图2 3 中可以发现，大部分的关键点都应该在小尺度上被检测出来。随着尺度的增加，关键点的数目会逐渐减少。此外。检测出的关键点的数目与相邻两尺度间尺度因子的比值k相关。k 越小，尺度空间的划分越细，所检测出来的关键点数目越多，相应的计算复杂度也增加；反之，k 越大，检测出来的关键点数目越少，计算复杂度相应降低。在实验中对检测精度与计算复杂度进行权衡，一般选择尼= 2 3 ( 即s 寻3 ) 。( a )锘油i 澎籀图2 2 尺度空间构建及极值点检测图2 3 尺度空间构建示例图一一一一卜旷一畛妻；一一一一一一一一一势势一一一一一第二章局部特征提取方法研究2 3 2 关键点( k e y p o i n t ) 检测为了检测d ( x ，y ，j ) 的局部最大和最小值点，在所得至0 的d o g 图像中每个样本点都要与其周围邻域的8 个点的取值以及上下两层对应位置上9 水2 个点的取值进行比较，如果该点的取值是这些点中的最大或者最小值，则选择该点为关键点候选点，并且选择d o g 图像对应的尺度为该点的特征尺度，如图2 2 ( b ) 所示。随着尺度的增大，图像将越来越模糊，将不会产生新的特征。换句话说。随着尺度的增大，关键点候选点的数量会越来越少。事实上，大部分的样本点在第一次检测的时候就被排除。所以，这种检测的代价是比较低的。一旦通过上述像素点与相邻区域比较找到关键点候选点后，接下来就是对候选点附近的数据进行更具体准确的位置、尺度、主曲率比的拟合。通过这些信息，可以排除低对比度的点和边缘上的点：1 ) 对于低对比度的点来说，可以通过一个二次拟合精确确定极值点的坐标，然后计算极值点的尺度空间函数，排除函数值、于c h r e s f l o 沁的点( 实验中我们设t h r e s h o l d 为o 0 3 ) 。2 ) 瘦于边缘上的点对噪声的干扰敏感。因此银不稳定。对于边缘上的点主要是通过计算纵向曲率与横向曲率之比，并排除该比值大与r 的点( 实验中我们设r 为1 0 ) 。在确定了关键点后，我们就初步确定了特征点区域的中心位置。幅图像中所有这样区域的集合就是图像局部特征描述的基础。图2 4 所示为对某机场图像进行局部特征关键点提取的结果。图2 4 ( a ) 为原始图像。图( b ) 中所示点为经过极值点选取获得的关键点候选点。图( c ) 中所示点为候选点经过对比度阀值筛选后得到的特征点。图( d ) 中所示的点为进一步经过边缘曲率比值闽值筛选后得到的特征点。这些特征点即为最后得到的图像的关键点。2 3 3s i f t 局部不变特征描述d a v i dl o w e 在2 0 0 4 年【1 4j 总结了现有的基于不变量技术的特征描述检测方法，并提出了一种基于尺度空间、局部不变特征描述符s i f t f s c a i ei n v a r i a n tf e a i u r et r 勰s f b m ) 。s i f t 特征向量具有如下特性：1 ) s i f t 特征作为局部不变特征，对旋转、尺度缩放、亮度变化保持不变，对视角变化、图像的仿射变换、噪声等干扰也保持一定程度的稳定性。2 ) 可区分性好，信息量丰富，能够实现海量特征数据库中的快速、准确地匹配识掰。第二章局部特征提取方法研究3 ) 多量性，对每幅图像都能产生丰富的s i f t 特征向量进行描述。下面首先介绍主方向的设置，解释如何实现s i f t 特征的旋转不变。然后对s i f t 特征的如何构建进行解释说明。图2 4 关键点检测及细化2 3 3 1 主方向设置因为对于发生过旋转的图像其局部描述相对于该局部邻域内的主方向仍然是没有发生变化的。因此，通过给每个关键点分配一个相对于图像局部属性一致的方向，并建立相对于与该方向的关键点的描述，实现图像局部特征描述对于旋转的不变。与1 9 9 7 年s c h m i d 和m o h r 提出的方向不变量描述符相比，s i f t 描述符具备更多的优越性。因为，s c h m i d 和m o h r 是在旋转变化测量的基础上获取图像属性的，这样不但限制了使用描述符，而且因为没有基于一致旋转进行测量，使得描述符抛弃了很多图像信息。下面介绍s i f t 特征描述中主方向设置的方法，实验证明，该方法具有很好的稳定性，其主要步骤如下：1 ) 首先使用关键点的尺度信息来选择高斯平滑图像l ，这样后面所有的计算都是基于尺度不变的方式。2 ) 对于尺度空间的每个图像样本l ( x ，y ) ，先使用像素差分来计算每一点的梯度大小m ( x ，y ) 和梯度方向目( x ，少) ，如下式所示：第二章局部特征提取方法研究m ( x ，j ，) = ( 上( x + 1 ，y ) 一( z l ，y ) ) 2 + ( ( z ，y + 1 ) 一( x ，y 一1 ) 2 )( 2 6 )p ( x ，y ) = t a n 叫( ( 三( x ，少+ 1 ) 一( x ，y 一1 ) ) ( 三( x + 1 ，j ，) 一( x 一1 ，y ) ) )( 2 - 7 )3 ) 根据每个关键点的邻域内的所有样本点的梯度大小m ( x ，y ) 和梯度方向秒( x ，) ，) 建立一个方向直方图。直方图有3 6 个输入，每l o 度为一个输入。直方图包含的范围为0 3 6 0 度。关键点邻域中每个样本的方向按照梯度大小和以关键点为中心的高斯权重形成的圆形窗口( 仃= 1 5 关键点所在尺度)进行加权( 如图2 6 ( a ) 所示) 。4 ) 搜索每个关键点对应直方图中的峰值，该峰值所在的角度代表了该关键点邻域内的主方向。在检测到了直方图内的主峰值后，若还存在另一个相当于主峰值8 0 能量的峰值，则将这个方向认为是该关键点的辅方向。至此，每个图像的关键点都包含三个信息：位置、尺度、方向。图2 5 中给出了某机场的s i f t 特征主方向设置示例，每一个关键点的方向为从红点出发的短直线所指方向。图2 5 关键点主方向设置示例2 3 3 2s i f t 描述符提取在提取局部特征描述符之前，先将坐标轴旋转为关键点的主方向，以保证旋转不变性。接下来以关键点为中心的8 8 窗口为例( 如图2 6 所示) 说明s i f t 描述符的构建。图2 6 中左边正方形中心点表示关键点的位置，每个小格代表关键点邻域所在尺度空问的一个像素，箭头方向表示该像素的梯度方向，箭头长度代表梯度大小。圆圈代表高斯加权的范围( 越靠近关键点的像素，其梯度方向信息的贡献越大) 。第二章局部特征提取方法研究然后将该关键点邻域进行2 2 的子区域划分，则每个子区域中包含4 4 个像素。在每4 4 的小块上统计该子区域内8 个方向的梯度方向直方图，这样对每个子区域可形成8 个方向的向量信息，如图2 6 ( b ) 所示。这种邻域方向信息联合的思想增强了算法的抗噪声能力。在实际计算过程中，为了提高局部特征的可区分性和提供更丰富的局部特征信息，对每个关键点周围1 6 1 6 的邻域上建立局部特征描述：将每个关键点周围1 6 1 6 的邻域划分成4 4 的子区域；每个子区域内建立8 个方向的方向直方图，这样对每一个关键点就可以产生4 4 8 = 1 2 8 维特征向量；最后再将特征向量进行归一化。此时得到的s i f t 特征向量去除了尺度的变化、旋转以及灰度变化等因素的干扰。矿t，xt，入，tt、-、1 q |，爻，t匕一一7 一弋山。桨。墓7 。八。j。瓜。i m a g eg r a d i e n t sk e y p o i n td c d p 泔图2 6 s i f t 特征构建s l f t 特征提取整个过程可以通