（机械设计及理论专业论文）基于标准化局部特征组合的图像检索.pdf

大连理工大学硕士学位论文 摘要 随着计算机技术的飞速发展和多媒体的广泛应用，基于内容的图像检索技术已成为 目前较活跃的研究方向之一，但大部分图像检索是基于传统的全局特征。全局特征提取 技术虽简单通用且能够获得某种不变性，但当图像发生了局部遮挡、扭曲等仿射变换时 效果相当不理想，然而局部特征通过提取目标局部区域的信息构造特征量，可实现在复 杂背景中识别目标。由此，基于局部特征的图像检索也成为当前图像检索领域的一个研 究热点。 由于局部特征提取算法多种多样，而各种特征提取算法之间的差异较大，难以使用 同一检索方法，因此，如何结合多种局部特征成为一个亟待解决的问题，为此，论文建 立了局部特征参数标准化机制。在分析和研究现有多种局部特征的基础上，选取了两种 原理不同但具有互补性的局部特征m s e r 和h e s s i a j l a f ! f i n e 作为底层特征。由于局部特 征m s e r 和h e s s i a n a m n e 仿射不变区域规整为椭圆区域原理不同，为统一形式首先建 立标准椭圆方程，然后根据图像特征区域的特征值与特征向量计算出标准椭圆的长短轴 和旋转矩阵且含有尺度信息，实现了m s e r 和h e s s i a n a 衢n e 两种不同局部特征区域都 规整为标准椭圆区域，并采用统一的参数形式描述。 该文在局部特征标准化机制基础上构建了局部特征m s e r 和h e s s i a n a f j f i n e 结合的 图像检索。为了避免根据不同特征建立图像检索系统的繁琐，论文首先在同一系统中实 现了基于局部特征组合查询的图像检索。此检索系统可有针对性地根据待检图像类别采 取合适的检索方法：在基于全图和基于目标( 特别是角点丰富的几何图像) 的图像检索 时，h e s s i a n a f j f i n e 算法检索准确率较高；对目标含有文字信息的图像，m s e r 算法的 基于目标( 加入空间关系) 的图像检索准确率较高；而针对图像内容复杂( 特别是结构 和角点信息参半) 的图像采用m h f s 的图像检索方法以获得较为满意的检索效果。这种 检索方案与基于单一特征的图像检索相比准确率提高了1 1 8 。其次，为改善局部特征 结合的图像检索精度，论文从相似性度量角度出发实现了基于局部特征m s e r 和 h e s s i a n a 伍n e 相对得分加权组合的图像检索，通过设置权值增大语义上相关图像同时 被检索到的几率，将图像检索准确率提高了9 7 。实验表明：从不同的角度，即基于 底层特征结合和基于相似性度量原理，实现基于两种具有互补性特征组合的图像检索都 可有效地提高图像检索准确率。 关键词：基于内容的图像检索；m s e r ；h e s s i a n a f f i n e ；参数标准化；特征组合 基于标准化局部特征组合的图像检索 t h ei m a g er e 仃i e v a lb a s e do ns t a n d a r dl o c a lf e a t u r e sc o m b i n a t i o n a b s t r a c t w i mt h er a p i dd e v e l o p m e n to fc o m p u t e ra n dw i d ea p p l i c a t i o no fm u l t i m e d i a ，t h e c o n t e n t e d b a s e dl m a g er e t r i e v a lh a sb e c o m eo n eo f t h em o s ta c t i v er e s e a r c h e si nr e c e n td a y s ， w h i l em o s tr e s e 踟c h e sa r eb a s e do nt r a d i t i o n a lg l o b a lf e a t u r e s t h eg l o b a lf e a t u r e se x 仃a c t i o n t e c h n i q u e sa r es i m p l ea n dc a p a b l et oo b t a i ns o m ek i n do fi r l v a r i a n t ，b u tt h er e s u h sa 】- e u n s a t i s f a c t o r yw h e ni m a g e sh a v ea m n et r a i l s f 0 订1 1 a t i o n ，s u c ha sp a r t i a lo c c l u s i o n ，d i s t o n i o n s h o w e v e r ，w i t ht h el o c a lf e a t u r ei n f o m l a t i o ne x t r a c t e d 在o mt h et a r g e tp a r t i a la r e a ，i ti s a c h i e v a b l et oi n d e n t i 黟t a 唱e t si nt h ec o m p l e xb a c k g r o u n d s ，s oi m a g er e t r i e v a lb a s e dl o c a l f e a t u r e sh a sb e c o m eah o to f r t h ep r e s si nt h ec u n e n ti m a g er e t r i e v a l d u et ot h ed i v e r s i f i c a t i o no ft h ea l g o r i t h m si nd i f 俺r e n tl o c a lf e a t u r ee x t r a c t i o n ，i ti s d i 衔c u l tt ou s et h es a m er e t r i e v a lm e t l l o df o ra l li o c a lf e a t u r e s ，a n dh o wt 0i n t e g r a t ev a r i o u s l o c a lf e a t u r e si s 锄u r g e n ti s s u et os o l v e ，s ot h em e c h a n i s mo fl o c a lf e a t u r ep a r a m e t e r s s t a n d a r d i z a t i o ni sp r o p o s e d a c c o r d i n gt oa n a l y s i sa n ds t u d yo ft i l ee x i s t i n gl o c a lf e a t u r e s ， 帆od i 仃e r e n t l o c a lf b a t u r e sm s e ra n dh e s s i a n - a 踊n e ，w h i c hh a v ed i 行e r e n tp r i n c i p l e sa n d c o m p l e m e n t a 叫n a t u r e ，a r es e l e c t e da st l l eu n d e r l y i n gf e a t u r e s a st h ea p p r o a c h e so fm s e r a n dh e s s i 锄一a 衔n ew a 叩i n ge l l i p t i c a la f j ( i n ei n v 撕a n tr c g i o na r ed i 仃e r e n t ，i no r d e rt ou n i 矽 t h ef o 册s ，s t a n d a r de l l i p t i ce q u a t i o ni se s t a b l i s h e da n dt l l e nt h ea x i a ll e n g t ha n dr o t a t i o n m a 仃i xo fe l l i p s ew i t i ls c a l ea r ec a l c u l a t e di na c c o r d a n c et ot h ee i g e n v a l u e sa n de i g e n v e c t o ro f i m a g ef e a t l l r er e g i o n s f i n a l l ym s e ra n dh e s s i a n - a m n er e g i o n sa r ec o n s t n l c t e da sa s t a n d a r de l l i p t i c a lr e g i o n ，a n dd e s c r i b e da sau n i f i e dp a r 啪e t e rf i o n n b a s e do nt h el o c a lf e a n l r es t a n d a r d i z e dm e c h a n i s m t 1 1 i st h e s i sc o n s t r i l c t sam e t h o do f i m a g er e t r i e v a lb a s e do nm s e ra n dh e s s i a n a f e n ec o m b i n a t i o n f i r s t l y ，t h i sp a p e ra c h i e v e s am e t h o do ft h ei m a g er e t r i e v a lb a s e do nl o c a l 佗a t u r e ss e a r c hc o m b i n a t i o ni nt h es 锄e s y s t e mt oa v o i dt h ec u m b e r s o m ee s t a b l i s l l i l l e n to fi m a g er e t r i e v a ls y s t e m sb a s e do nd i f r e r e n t f e a t u r e s i nt h es y s t e m ，t h ea p p r o p r i a t er e t r i e v a lm e t h o d sc 锄b ea d o p t e da c c o r d i n gt 0u s e r s i m a g ec a t e g o 叫：h e s s i a n - a 踊n ei sm o r ea c c u r a t ei ni m a g er e t r i e v a lb a s e dm l l m 印a n d t a r g e t - b a s e d ，e s p e c i a l l yf o rt h ec o m e r - r i c hg e o m e 仃i ci m a g e s ；m s e ra l g o r i t h mb a s e do n o b j e c t i v ea d d i n gs p a t i a lr e l a t i o ni sm o r ea c c u r a t et 0s e a r c hf o ri m a g e sp a r t i c u l a rf o r t h eo b j e c t w i t ht e x t u a li n f o m l a t i o n ：w h i l et h ei m a g er e 仃i e v a lb a s e do nm h f sc a no b t a i nam o r e s a t i s f a c t o 拶r e s u l t sf o rc o m p l e x i t yi m a g ee s p e c i a l l yw i t i lt h es t m c t u r ea n dt h ep r o p o r r t i o n m i x e dc o m e rp o i n tr e g i o n a li n f o r m a t i o n t h i ss e a r c hs y s t e mh a sg r e a t l ye n h 锄c e dt h ei m a g e r e t r i e v a la c c u r a c yl1 8 t h a nt h a to ft h es i n g l ef e a t u r e - b a s e d s e c o n d l y ，f 而mt h ep e r s p e c t i v e 大连理工大学硕士学位论文 o fs i m i l a r i 母m e a s u r e ，t l l i sp a p e ra c h i e v e sam e t h o do ft h ei m a g er e t r i e v a lb a s e do nm s e r a n dh e s s i a n a f n n ew e i g h t e dc o m b i n a t i o no ft h er e l a t i v es c o r e s b ys e t t i n 2t h ew e i g h tt o i n c r e a s ep r o b a b i l i t yo ft h es e m a n t i c a l l yr e l a t e di m a g e sr e t r i e v e da tt h es a m et i m e ，t h ei m a g e r e t r i e v a la c c u r a c yi n c r e a s e sb y9 7 e x p e r i m e n t a ir e s u l t ss h o wt h a t ：f 沁md i f f e r e n tp o i n to f v i e w ，w h i c hm e a n sr e s p e c t i v eb a s e do nt h eu n d e r l y i n gf e a t u r e sc o m b i n a t i o na n dt h ep r i n c i p l e o fs i m i l 撕t ym e a s u r e s ，t h ei m a g er e t r i e v a lc a ne 腩c t i v e l y i m p r o v et h ei m a g er e t r i e v a l a c c u r a c yr a t et a k i n ga d v a n t a g eo fc o m b i n a t i o no ft w oc o m p l e m e n t a r yf e a t u r e s k e yw o r d s ：c b i r ；m s e r ；h e s s i a n a f f i n e ；s t a n d a r d i z a t i o n jf e a t u r e sc o m b i n a t j o n i i i 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：基王拯壅丝屋叠持焦玺佥数图像捡塞 作者签名：塑垦垦日期：地仝年笠月l 日 导师签名：j 牡魁l 一吼掣年上月卫日 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 基王握准丝屋韭挂堑玺佥鲍图速捡塞 作者签名： 壅垦垒 日期：边年尘月丝日 大连理工大学硕士学位论文 1 绪论 随着信息化社会的到来，各种数字图像采集设备、计算机软硬件的普遍使用以及多 媒体技术的提高和网络的迅速普及，庞大的图像信息库不断更新和飞速增长。图像信息 的使用逐渐渗入到社会的各行各业，越来越得到重视，同时图像信息库的无序性越来越 突出，建立准确、高效的图像信息管理系统成了亟待解决的问题。因此，如何将数字图 像处理、模式识别技术、计算机视觉、数据库查询等多种技术集成在一起，建立基于内 容的图像检索机制已成为一个研究热点。基于内容的图像检索通过提取图像中的特有信 息来表达、识别和理解图像的内容，这给在海量图像中查找相关图像带来了方便，已成 为未来信息高速公路、数字图书馆等重大项目中的关键技术，实用性很强有着广阔的应 用前景【1 捌。 1 1 论文研究背景 图像的检索经历了两个阶段：第一阶段是基于文本的图像检索；第二阶段是基于内 容的图像检索。 基于文本的图像检索技术( t e x tb a s e di m a g er e t r i e v a l ，t b i r ) 例的历史可以追溯到2 0 世纪7 0 年代末，查询操作是基于图像的文本描述。该方法首先对图像添加关键词、文 本标注以及一些附加描述信息，然后借助文本检索的方法，利用关键字对图像进行检索。 t b i r 技术发展已经比较成熟，当前商用w e b 图像搜索引擎如g 0 0 9 l e 、百度、雅虎等都 是采用这种方式。 尽管文本标注是描述图像内容的一种简便手段，但以文本标注为基础的t b i r 存在 以下难以克服的问题：( 1 ) 图像信息表达的不充分性，区区几个标注关键词难以描述图 像丰富的细节。( 2 ) 对图像理解的主观性和不确定性，这使查询结果难以满足用户需要； ( 3 ) 对图像进行文本标注工作量大、处理速度慢。由于传统的t b i r 不能全面的表达图像 的视觉内容【4 ，5 j ，因而在多数情况下不能满足实际需要。例如，商标注册部门在审理新的 商标注册时需要对已注册商标进行检索，看是否有雷同。这仅靠对商标的文字标签进行 检索是不能解决的。 为了解决以上问题，就需要全面地、客观地、自动地提取图像内容并进行检索，9 0 年代初期，随着大规模数字图像库的出现，上述的问题变得越来越严重。于是基于内容 的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 】应运而生。 c b i r 主要是利用图像中视觉特征来进行检索，它突破了传统的基于文本的检索技 术的局限，直接对图像内容进行分析并抽取特征，然后对这些特征建立索引。与基于文 本的检索方式相比，c b i r 方式具有如下特点： 基于标准化局部特征组合的图像检索 ( 1 ) 由计算机自动分析直接从图像内容中提取特征信息，避免了人工描述的主观性， 也大大减少了工作量。 ( 2 ) 利用描述图像内容的特征来建立索引，自动化程度高。 ( 3 ) 采用相似性度量对图像库中的图像进行匹配，是一种近似匹配而非精确匹配。找 出与查询图像最相似的图像，系统按相似程度返回列表。 h ) 通过可视化界面具有很强的交互能力并给用户提供直观的操作、反馈和结果显 示，使得用户可以快速定位到需要的单个图像或多个图像上。 综上，c b i r 突破了t b i r 的检索局限性，涉及模式识别、计算机视觉、数据库、 图像理解和心理学等学科和技术，是一个极富挑战性的研究课题。 1 2 基于内容图像检索技术概述 基于内容的图像检索是在缺乏图像理解的情况下，研究如何通过图像的视觉特征 ( 如颜色、纹理或形状等) 来表示图像的内容，并以从图像中所获取的视觉特征作为图像 内容的索引。基于内容的图像分析的目标并不是去追求对图像语义的真正理解，而是希 望经过对图像分析后抽取一些具有较强区分能力而且尽可能向图像语义靠近的特征，利 用这些特征作为索引来实现图像的相似性检索1 7 】。 1 2 1c b ir 结构框架 c b i r 是对视觉媒体从低层到高层进行处理、分析和理解的过程中获取其内容，通 过对图像视觉特征和上下文联系的分析，自动提取包含图像内容的颜色、表面纹理、几 何形状和相互关系等可视特征【8 】，同时为了使获得的图像描述更能体现图像的高层语义 信息，需要提取局部特征信息，如图像分割、兴趣点提取等；对数据库中图像和查询样 本图像在特征空间进行相似匹配【9 】，检索出与样本相似的图像，涉及到对图像的视觉信 息进行有效的查询、索引、浏览、搜索和提取，而且这种工作是直接根据图像的内容含 义而展开和进行的，它区别于传统的检索手段【l o ，】，融合了图像理解技术、模式识别， 从而可以为信息用户提供更加有效的检索手段。 一个实用的基于内容的图像检索系统需要合理的框架结构，需要众多模块的合理组 织，图1 1 给出一个基于特征对图像进行归档和查询的原理框图。 在离线状态下，图像数据库管理系统对图像库做特征抽取和索引构建，特征信息存 储在特征数据库里。在线状态下，用户通过人机界面提交特征信息或示例图像给检索系 统，检索系统提取其特征并与索引库里的图像特征做匹配计算，将符合检索阈值的图像 返回给用户，检索结果通常按相似度从大到小的顺序排列。通过c b i r 的体系结构图可 以看出，c b i r 系统主要涉及到图像特征的提取、图像特征索引、图像的相似性度量， 以及检索结果评价准则等关键技术。 大连理工大学硕士学位论文 图1 1c b i r 体系结构 f i g 1 1 f r 锄e r o r ko f c b i r 由于基于内容的图像检索还处于实验探索阶段，所以研究中多采用一些研究性的图 像数据库，如c o r e l 图像数据库、b r o d a t z 纹理图像库等，研究重点集中在特征提取、相 似性测度和检索策略等工作中。图像检索是很多研究中的关键技术，在多媒体技术和互 联网迅速发展的驱动下，图像检索的用户、目的、使用方式、交互方式、应用领域、实 现方法等都在不断地发展变化，根据不同的索引技术对图像检索技术进行分析和比较。 1 2 2 国内外研究现状 近年来，基于内容的图像检索是当前计算机视觉、数字图书馆、图像和视频处理中 最活跃的研究热点之一。每年都有相关的国际会议召开，如i c i 乇的i n t e m a t i o n a l c o n f e r e n c eo ni m a g ea n dv i d e or e t r i e v a l ，a c mm u l t i m e d i a 和i n t e m a t i o n a lc o n 诧r e n c eo n m u l t i m e d i ac o m p u t i n ga n ds y s t e m s 等。国内外很多研究机构都在进行相关的研究工作， 如i b m ，u i u c ，c m u 等，国内的主要研究单位：中科院计算技术研究所智能信息处理 实验室，中科院自动化所模式识别实验室，清华大学，上海交通大学和浙江大学等也进 行了相应的研究并取得了一定的成绩。 自上个世纪末，国内外一些大学和公司对基于内容的图像检索技术进行了深入的研 究，并且成功地开发了许多图像检索系统。这些研究原型系统一般实现了图像的随机浏 览功能、按图像范例检索的功能、按草图检索的功能、文本检索的功能、按图像类别浏 览的功能等。 q b i c ( q u e r yb yi m a g ec o n t e n t ) ，它是i b ma l m a d e n 研究中心研究开发的，它是至 今为止基于内容检索系统的典型代表【i 引。q b i c 系统基于先验特征提取，可根据草图、 基于标准化局部特征组合的图像检索 用户指定的图像以及特征( 颜色，纹理，形状) 对图像库进行查询，是基于相似度的非 精确匹配、特征半自动提取的，另外它还提供了综合文本和内容相结合的图像检索。 v i s u a ls e e k ，它是哥伦比亚大学开发的图像检索原型系统。利用用户画出需要 查找的图像的草图，然后根据草图的颜色和区域的位置等特征返回检索结构。选择返回 图像作为样例，进行下一步的查询。v i s u a ls e e k 已经应用于数字图书馆中。 v i r s 系统4 j 是由v i r a g e 公司开发的一个比较著名的商业图像检索系统。它提供 四种可视属性检索：颜色、成分、纹理和边缘特征，支持上述四种属性检索的任意组合， 每种属性可以赋予o 到1 0 的权值，通过对四个属性权值的调整，显示出不同的检索结 果。简图是根据相似度降序排列。点击简图标题将得到该图像的一些详细说明，包括 v i r a g e 计算出的相似比。 m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) o 巧j 是由美国伊利诺斯大学i l l i n o i s 开发的，交叉计算机视觉、数据库管理和信息检索多个学科领域。该系统主要目的在于 如何将不同的视觉特征组织成为有意义的检索体系，以动态的适应不同用户和应用场合 的需要。m a r s 系统是正式提出相关反馈( r e l e v a n c ef e e d b a c l 【，r f ) 的图像检索系统。 c i r e s 是美国德克萨斯大学研究并开发的鲁棒性很强的基于内容的图像检索系统 【1 6 】。该系统基于低级视觉模型和高级视觉模型相结合的原理。该系统能够提供查询服务 范围从单纯的场景性自然物体，如植被、树木、天空、图像等，到包含结构性的物体， 如建筑物、塔、桥梁等。 当然还有许多其他的系统，比如w e bs e e k 等，基本原理大致相同。主要的区别在 于不同的系统采用的特征提取算法不同。基于内容的图像检索技术常用的方法有：颜色 直方图、颜色矩方法、颜色相关图方法、t 锄u r a 纹理方法、小波变换方法、共生矩阵 方法等。目前的检索系统大多是基于图像底层特征的，主要利用诸如颜色、纹理、形状 等全局特征进行图像内容描述及相似性匹配检索i l 卜1 9 j 。全局特征提取技术简单而通用， 然而目标位于复杂环境中或有部分遮挡时就很难达到理想的效果，限制了图像检索的实 际应用，主要表现在以下几点： ( 1 ) 颜色特征 在基于内容的图像检索中，颜色描述了图像中所包含的物体或景物的表面性质，具 有较好的判断能力，是最早被使用且应用最广泛的特征之一。相对于其它视觉特征而言， 颜色具有与生俱来的旋转不变性( r o t a t i o n i n v a r i a n c e ) 和尺度不变性( s c a l e i n v a r i a n c e ) ，因 而对图像的尺寸、方向、视角等的依赖性小。因此多数情况下，颜色是描述一幅图像最 常用的特征。但单纯的颜色特征没有保留原图的空间信息，当图像发生遮挡、平移、剪 切等变化时不能捕捉图像中对象的局部特征，这对要求高准确率的图像检索无疑是不够 准确的。 大连理工大学硕士学位论文 ( 2 ) 纹理特征 纹理指相邻像素的灰度或颜色的空间相关性或是图像灰度和颜色空间位置变化的 视觉表现1 2 】是某些图像所具有的局部不规则而宏观有规律的特性，可以从微观上区分图 像中不同的物体。由于不同材料的纹理千差万别，所以，对不同的材料常常需要设计不 同的纹理分析方法，一般可把典型不同纹理的图像分类，对具有明显纹理特征的图像进 行检索。 ( 3 ) 形状特征 形状1 2 j 描述涉及到对封闭曲线的描述，或对轮廓所包围区域的描述，必须以对图像 中物体或区域的划分为基础，是刻画物体的本质特征之一。因此利用物体形状轮廓来检 索可提高检索的准确性和效率，但在真正实用化前基于形状的图像检索还有很多问题需 要解决：首先，形状特征并不像颜色特征那样天然满足对变换、旋转和缩放的不变性； 其次，描述目标的形状是极其复杂的问题，由于用户提供的草图只是要检索形状的粗略 描述，它与实际图形还有较大的差距，形状特征只能应用在某些特定的场合。 如上所述，尽管基于全局特征的相似性匹配能够获得待检图像的某种不变性，比如 旋转或平移不变性，如果仅使用全局特征来表示图像，可能就找不到在局部上类似的图 像，而且当图像发生了去色、局部遮挡、扭曲等仿射变换时效果相当不理想。基于全局 特征而构建的相似性度量是不能有效获得待检图像的，因此单纯基于这些全局特征的相 似性进行图像检索常常不能获得理想的检索结果。 与全局特征相比，局部仿射不变特征【2 叩l 】只利用目标局部区域的信息构造特征量。 由于这些一定数目的局部区域可能离散地出现在目标的不同位置，当对每个区域独立地 提取特征时，即使目标位于复杂环境中或有部分遮挡，通过局部特征提取仍可得到目标 的部分信息，从而实现复杂背景中识别目标。由于不需要得到目标的全部信息，因此与 全局特征相比，其适用面更广。出现了大批研究成果，其中部分成果已达到了实用阶段。 因此，基于局部不变特征图像检索的研究已成为了一个非常活跃的研究方向。 基于局部特征的图像检索技术，比基于全局特征的传统检索技术更符合用户的查询 需求，既能对整幅图像进行检索也能根据用户指定感兴趣的目标进行检索。大多基于局 部不变特征图像检索集中在基于对象和区域的特征提取以及相似度匹配算法上。由于图 像目标存在视角变化、亮度变化、尺度、目标变形、遮挡、复杂背景以及目标类内差别 等影响，使得图像目标识别非常困难。针对这些问题，各种不变性的局部特征能够有效 解决。但综合来看并不存在某一种局部特征提取技术能够解决全部的问题。 c b i r 系统在发展初期大多提取单一底层特征，这类方法相对简单易行，但却将图像 中各类特征孤立对待，忽视了性质不同的特征间具有的关联性，不足以同时涵盖图像所 提供的各种分类信息，从而造成识别效果不够理想，离真正的使用还有一定的距离【2 2 】。 基于标准化局部特征组合的图像检索 作为一种解决方案，两种或多种底层特征的组合能够更好地利用图像提供的各类“内 容”，更接近人在感知图像间相似程度时，同时利用和接纳综合信息来源的特点，逐渐 在c b i r 系统中被采用f 2 3 2 6 】。而目前这些多特征的组合检索大多都是基于全局特征【2 7 ，2 8 1 ， 基于局部特征的组合检索还很少涉及到，也是目前图像检索研究的一个重点内容。 由于不同特征提取算法对多种结构和纹理图像描述效果不同，有时甚至相差很大， 因此对于哪种特征算法更适合作底层特征进行图像检索难以做出正确选择，限制了局部 特征的使用，该局限性主要表现在三方面：( 1 ) 没有统一的特征表达形式，多特征不能同 时使用，将每种特征算法建立一套检索系统工作量大、操作繁琐；( 2 ) 尚未能实现多种局 部特征组合进行检索；( 3 ) 尚未能实现根据用户待检图像类别选用合适特征的检索方式。 因此该论文重点研究各种局部特征并分析其优缺点及应用，选取两种具有互补性的 局部特征作为底层特征，构建局部特征进行组合的机制，在此基础上采取不同的算法实 现这两种局部特征结合的图像检索。该检索方法在实际应用环境中，即使待检测图像之 间存在干扰的情况下，如噪声干扰、亮度和颜色变化等，甚至会出现对象被遮挡、尺度 变化和仿射变换( 即视角发生变化) 等，仍能准确提取、描述目标，准确地检索到与待 检图像相似符合用户需要的图像信息，较大程度的提高检索准确率。 1 3 关键技术 通过对基于内容的图像检索系统的了解，可以看到图像的特征提取，相似性测度是 相关领域研究的关键问题【2 5 1 ，检索系统性能主要取决于特征提取和所用的底层特征相似 度方法。此外，检索系统的性能评价方法对于c b i r 也是很重要的，下面将对这三个方 面进行介绍。 特征提取是c b i r 的一个重要环节，特征提取的方式决定了对图像的描述形式，也 影响着相似度算法的选择和检索的准确率，影响图像检索进一步发展的主要原因是由于 计算机视觉以及人工智能发展的不成熟，导致各种算法提取的特征不能够表示图像的精 确意义【2 刿。图像具有多种不同的特征，对于每种特征有不同的表示方法，如何有机的组 织多种特征，能够调用合适的特征支持查询并按照用户的查询要求返回检索结果，是一 个值得研究的问题。由于图像特征提取和相似度度量的复杂性，理论上仍然有许多难点 问题等待解决。该文根据局部特征的优势，将不同的局部特征进行组合尽可能全面地表 示图像内容，图像内容的完整性表达可有效地提高图像检索准确率。 图像相似度的比较也是图像检索中的难点之一【3 0 】，目前得到广泛应用的主要有欧氏 距离、直方图相交、二次式距离和马氏距离等。这些方法各有利弊，可以根据不同的应 用场合加以选择。该文基于不同局部特征在相似度测量上进行组合检索，综合两种不同 局部特征的检索性能，也可有效地提高检索准确率。 大连理工大学硕士学位论文 衡量一个检索系统好坏需要一个公正的性能评价标准，对信息检索系统而言，检索 评价准则是用来评价信息检索系统的质量标准，也可以评价信息检索所采用的检索方法 的有效性、所制定的检索策略的合理性以提高检索效率，对图像检索技术的发展具有重 要的意义【3 1 1 。该文采用了用户视觉评价比较直观的平均检索准确率，进行各图像检索算 法之间的性能比较，客观评价新的检索算法，同时评价效率也很高。 1 4 本文的组织结构 基于内容图像检索的研究对推动图像技术的发展和丰富信号与信息处理的理论有 重要的意义，融合了信息检索、图像处理、计算机视觉、认知心理学等多个学科分支的 研究结果，值得研究的问题很多。本课题重点研究了基于局部特征的图像检索技术，针 对局部特征进行参数标准化提出了多特征组合来进行图像检索方法，以进一步改善图像 识别检索的效果。本文共分5 章，具体的章节安排如下； 第一章为本文的绪论部分，介绍了基于内容的图像检索的研究背景，国内外研究现 状及关键技术和本文的主要内容。 第二章介绍局部特征的性能选择合适的底层特征。详细介绍了多种局部特征的特征 提取技术，如：h a 耐s a m n e 、h e s s i 柚a m n e 、m s e r 等特征提取算法及性能表现、匹 配分析，对这多种局部特征的综合评价等内容。 第三章建立了局部特征参数标准化机制以实现两种图像特征m s e r 和 h e s s i a n a m n e 组合互补应用。首先分析了m s e r 和h e s s i a n a m n e 特征区域椭圆化描述 的方法，由于两种特征区域都归整为椭圆形式，在标准椭圆方程基础上采用特征区域特 征值及特征向量变化，将m s e r 和h e s s i a n a 伍n e 特征区域都化为统一的标准化参数形 式表述，并总结出局部特征标准化算法以及标准参数描述特征椭圆区域的算法， 第四章在局部特征参数标准化机制的基础上提出了m s e r 和h e s s i a l l a 珩n e 特征组 合进行检索的方法。首先介绍了图像检索的基本技术路线，然后从底层特征结合的角度 提出了局部特征组合查询的图像检索方法，又从相似性度量角度出发在视觉关键词得分 索引基础上提出了局部特征加权组合的图像检索方法。 第五章介绍了基于标准化局部特征组合的图像检索系统。首先介绍了总体框架结构 的设计和系统的开发环境及参数设置，然后分别根据不同的检索方法进行了检索实验分 析，由实验结果可以看出，本文实现了基于标准化局部特征组合的图像检索，有效地提 高了图像检索的准确率。 最后对该论文进行了总结，并指出了进一步的研究方向。 基于标准化局部特征组合的图像检索 2 局部特征提取技术 在图像检索系统中，图像特征提取和表达对系统的检索结果起着至关重要的作用。 目前基于内容图像检索的发展，其中一个重要的方向是不断寻找更有效的图像特征提取 方法。而往往由于待匹配图像和数据库中图像存在尺度、视角等干扰，使得内容相同或 相近的图像无法匹配到一起，误检率升高，传统全局特征提取方法对此无能为力。为减 小图像低层特征和图像语义之间的差异1 2 】，即减小“语义鸿沟 ，用图像的某些有代表 性的局部区域表示整幅图像，那么上述问题将迎刃而解。局部不变特征是计算机视觉领 域的一个重要研究内容，在目标被局部遮挡或者存在干扰的情况下，仍会显示出较好的 鲁棒性，非常适合于图像匹配或者目标识别。本章介绍了几种典型特征提取方法，作了 较为深入的研究和评价。 2 1h a rris a f fin e 特征 h a r r i s a 缳n e 特征由k m i k o l a i c z y k 和c s c h m i d 在2 0 0 2 年首次提出【埘，并于2 0 0 4 年总结和完善【j 引，是一种基于h a r r i s 角点的局部仿射不变特征区域。 由于h a 喇s 角点本身并不具备仿射不变性，需要在此基础上构造一种新的具有仿射 不变性的特征提取算法。首先通过多尺度的h a r r i s 检测子提取初始特征点，为了避免特 征点受尺度变化的影响，对每个初始特征点计算其局部范围的拉普拉斯算子响应，当函 数达到极大值时所对应的尺度即为特征尺度。算法通过一个迭代收敛的步骤对初始兴趣 点及其特征尺度进行重新计算，不断修正其特征椭圆区域的中心、尺度和形状直到稳定 不变，迭代收敛后即获得一个不受仿射变化影响的h a r r i s a m n e 特征区域。二阶矩矩阵 定义如下： 伍= 眨笼 = g 吐左譬，譬餐) ， 其中，x 表示数字图像，t ( ) 表示图像在点z 处沿x 方向的一阶导数， 三，上，伍) = 三，伍) 三，似) ，仃表示尺度平滑因子，g p ) 为平滑因子为盯的高斯核，与矩 阵做卷积相当于对图像窗口进行高斯平滑，提高算法的抗噪能力。定义多尺度h a r r i s 量 如下： m 。( x ，y ；仃。，仃，) = d e t ( ( x ，y ；矿d ，仃，) ) 一口乃2 ( ( x ，y ；仃d ，仃j ) ) ( 2 2 ) 大连理工大学硕士学位论文 这样我们就可以在任意尺度上计算多尺度h a 币s 量丝( x ，j ，；，7 2 ) 从而获得一系 列h a 仃i s 点。 文献 3 4 】深入探讨了自动尺度选择和被选尺度所具有的性质。其主要思想就是对某 个局部结构来说，在整个尺度空间内，使得某个响应函数取得极值的尺度即为该局部结 构的特征尺度。极值点的特征尺度之比就是这些极值点所在邻域之间的尺度因子。实验 表明，d g 算子能找到很多正确的特征尺度。 i 三d g ( x ，吒) | _ 吒。) l k ( x ，吒) + 岛( x ，吒) i ( 2 3 ) 由于d g 的中心对称性，它非常适用于检测块状区域，同时三d g 也适用于估算诸如 角点、边缘、脊线和多节点交叉等局部图像特征上的特征尺度，对于尺度检测具有很高 的价值。 2 2h e s sia n a f fin e 特征 h e s s i a n a 伍n e 特征区域检测子是一种应用于计算机视觉和图像分析领域的特征检 测子，h e s s i a n a 蚯n e 检测子被认为是特征兴趣点识别算法的一个具有代表性的前处理 过程，是众所周知的仿射不变特征检测子的一种。h e s s i a n a m n e 特征检测算法和 h a r r i s a 伍n e 检测子几乎一样，事实上，这两种算法都是由k 巧s t i a n 、m i k o l 4 i c z y k 和 c o r d e l i as c h m i d 在2 0 0 2 年提出来的吲。 h e s s i a n a m n e 特征点依赖于在多尺度下检测的兴趣点，多尺度检测算法和二阶矩 矩阵h a 州s 角点检测方法相同，通过一个多尺度迭代算法进行空间定位、选择尺度不变 兴趣点。在每个独立的尺度下，h e s s i a n a m n e 检测子是基于h e s s i a n 矩阵选择兴趣点的： 日= 日c 五如，= ：笔 = i 乏譬2 ；乞譬2 ；l c 2 川 其中，k ( x ，) 是在x 方向上的二阶偏微分，k ( x ，) 是在x 、y 方向的混合二阶偏微 分，在当前迭代尺度下偏微分计算是非常重要的，因此，需要通过g a u s s i 卸核对图像平 滑滤波处理后再求偏微分。 该二阶矩阵对图像的块状区域和脊状区域具有很大的响应。当矩阵日的行列式达到 局部极大值时，对应点即为块状区域的特征点。在每个尺度下，兴趣点是同时达到 h e s s i 锄矩阵的行列式和迹的局部极值的那些点，这一法则处罚在单一方向上有较小二 阶微分的较长结构【3 5 】。这个法则和用于斑点检测的法则非常相似。因此，h e s s i 锄也可 用于自动选择尺度的斑点检测。 基于h e s s i 锄矩阵的兴趣点也通过一个三d g 迭代搜寻定位空间位置。因此这些兴趣 点叫做h e s s i a n l 印l a c e 兴趣点。而且，通过这些初始检测点，h e s s i a i l - a f j f i n e 检测子用 基于标准化局部特征组合的图像检索 一个迭代自适应算法计算每个兴趣点的局部仿射转换，而且在尺度空间能获得更高的准 确度，并且在尺度选择上的准确度也高于h a s l a p l a c e 。h e s s i a n a 所n e 选取h e s s i 锄 特征点作为初始点，在仿射尺度空间内，对于某个给定点x ，