（通信与信息系统专业论文）基于sift的商标图像检索技术研究.pdf

摘要 基于内容的图像检索技术是目前的研究热点，和传统的文本标注检索方式相比，检 索结果更符合人的视觉感受，它通过提取特征，对特征进行比对，来判断两幅图像的相 似度，最后排序输出检索结果。因此，图像特征的提取直接影响了图像检索的准确率和 速度。商标是人们生活中随处可见的一类图像，它给我们传达了丰富的信息。本文分析 了商标图像检索存在的问题，并提出了两种解决方案。 本文首先分析了基于内容的图像检索发展现状和目前存在的问题，讨论了基于特征 点检测的特征提取方法。其次，深入研究了特征描述子的生成方法，尤其是s i f t 特征 描述子。在此研究基础上，针对商标图像特点和s i f t 算法的优缺点，对s i f t 特征本身 进行了必要的优化，目的是为了保留更多有效的特征而去除冗余特征，以减小计算量， 提高匹配速度，对简化后的算法进行性能测试和实验验证，并构建了一个商标图像检索 系统，将简化的s i f t 算法应用在商标图像检索中，实验结果表明，该方法较之原s i f t 方法，具有更快的计算速度和更高的匹配精度。最后，提出了一种结合s i f t 算法和基 于小波变换的模极大值边缘检测算法的图像特征匹配方法，并做了大量的实验，证明了 该方法的稳定性和有效性。 关键词 特征提取，商标图像，s i f t 算法 a b s t r a c t c b i r ( c o n t e n t - b a s e di m a g er e t r i e v a l ) t e c h n o l o g yi s ar e s e a r c hh o ts p o ta tp r e s e n t c o m p a r e dt ot h et r a d i t i o n a lt e x tr e t r i e v a l ，t h ei n d e x i n gr e s u l t sa lem o r ei nl i n ew i t hh u m a n p e r c e p t i o n r e t r i e v a lp r o c e s si n c l u d i n gf e a t u r ee x t r a c t i o n ，f e a m r ec o m p a r i s o n ，t h ef i n a lo u t p u t o ft h er e t r i e v a lr e s u l t s t h e r e f o m ，t h ei m a g ef e a t u r ee x t r a c t i o na n dd e s c r i p t i o nd i r e c t l ya f f e c t s t h ei m a g er e t r i e v a la c c u r a c ya n ds p e e d t h et r a d e m a r k sp l a yt h em o r ea n dm o r ei m p o r t a n t r o l e i nt h ec u r r e n ts o c i e t ya n dc o n v e ya b u n d a n ti n f o r m a t i o n t h i st h e s i sa n a l y z e dt h e t r a d e m a r ki m a g em a t c h i n ga n dr e t r i e v a lp r o b l e m s ，a n dp r o p o s e dt w os o l u t i o n s f i r s t l y , t h et h e s i sa n a l y z e dt h ep r e s e n ts i t u a t i o na n dp r o b l e m so f r e c e n tr e s e a r c hi nc b i r ， a n dd i s c u s s e dt h e a p p r o a c h e st o f e a t u r ep o i n te x t r a c t i o n s e c o n d l y , t w oa l g o r i t h m so f d e s c r i p t o rg e n e r a t i o nw e r ed i s c u s s e da n dr e s e a r c h e do i l ，e s p e c i a l l yo ns c a l ei n v a r i a n tf e a t u r e t r a n s f o r m ( s i f t ) f e a t u r e s b a s e do nt h i sr e s e a r c h ，r e g a r d i n gt h ec h a r a c t e r i s t i c so ft r a d e m a r k i m a g ea n dt h es i f tf e a t u r e s ，t h i st h e s i sp r o p o s e dan e wm e t h o do fs i m p l i f i e ds i f tf e a t u r e a l g o r i t h mf o rt r a d e m a r ki m a g e sr e t r i e v a lt oe l i m i n a t ea l lt h ea n r o b u s ta n du n n e c e s s a r y f e a t u r ek e yp o i n t sa n di m p r o v et h ec o m p u t i n gs p e e d t h e nc o n s t r u c t e da nt r a d e m a r ki m a g e r e t r i e v a ls y s t e m ，w h i c hu s e dt h en e wa l g o r i t h m ，t h ec o m p a r i s o ne x p e r i m e n t ss h o wt h a tt h e m e t h o dh a sh i g h e rp r e c i s i o na n df a s t e rs p e e d ，a n dd ow e l li nt r a d e m a r ki m a g er e t r i e v a ls y s t e m t h i r d ，t h i st h e s i sp r o p o s e dan e wm e t h o db a s e do nt h es i f ta l g o r i t h ma n dt h ee d g ed e t e c t i o n b a s e do nm a x i m u mo fw a v e l e tt r a n s f o r mm o d u l u sf o rt r a d e m a r ki m a g e sr e g i s t r a t i o n b y c o m p a r i n gt h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o di sm o r es t a b l ea n de f f e c t i v e k e y w o r d s f e a t u r ee x t r a c t i o n ，t r a d e m a r ki m a g e ，s i f ta l g o r i t h m 1 1 1 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许 论文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论 文收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：鸷扯指导教师签名 上。p 年占月偌日l 。 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 本论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西 北大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的 同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 ：6 己 思0 学位论文作者签名：立。) 啼 土ol 口年毛旯 西北大学硕士学位论文 第一章绪论 随着社会的进步，多媒体技术日新月异的发展，计算机性能和网络速度的提高，信 息不再由单一的文本方式来表示，而是逐步发展成以图像、f l a s h 动画、视频等多媒体为 载体的表达方式，丰富的多媒体信息带给我们大量的信息和资讯。特别是在新世纪网络 的迅猛发展，大到国家、政府，d , n 每个人都可以拥有个人的博客和相册，能够建立个 人网站，甚至数据库，这样就产生了海量的数字视频数据和图像数据。比如商标图像， 就是我们日常生活中随处可见的商品l o g o ，商标是商品的重要标识，代表着商品的质量 与商家的信誉，注册后的商标是受到法律保护的，由于不同的商品不能使用同一商标， 因此商标的注册量以每年数以万计的数量增长着，使得检索范围很大，相似的图像有很 多。这样的信息在巨大的互联网网络中，是没有组织和顺序的，没有任何固定结构和模 式。当人们想要获取某一信息的同时就会发现有大量无关信息存在，信息难以准确定位。 因此人们首先要解决的问题就是如何能有效地组织、管理、搜索和查询这些图像信息。 基于内容的图像检索技术的产生为解决该问题提供了很好的支持，它能够自动提取图像 内容特征，并以此作为索引，为快速大量的搜索信息开辟了很好的途径。 本文主要讨论如何获取图像的点特征，以及特征描述子的生成，并能将其应用在商 标图像检索中，最后达到精确的图像检索效果。文章首先论述了研究课题的背景和意义， 然后研究了基于内容的图像检索的关键技术，分析了商标图像检索存在的问题，并针对 商标图像的特点，对s i f t 算法进行了简化，且应用在商标图像的检索系统中。最后提 出了一种新的图像特征提取方法。 1 1 研究背景及意义 正如上文所说，图像已经成为人们生活中获取信息的一个重要途径，以图像的形式 表达、存储和传递信息，这样就产生了各种各样的图像数据库。在数据库中查询和检索 图像的技术就是图像检索技术。传统早期的检索技术是基于文本的，即大量的图像文件 都是由人工标注，人们根据视觉和丰观印象用关键字或者附加信息来表示一幅图像的内 容，然后建立图像存储路径和图像关键词之间的关系，以达到搜索查询的目的。随着数 字图像数量的惊人增长，人工标注的缺点日益明显： ( 1 ) 手工标注所需人力物力很大，成本高，既浪费成本，又不能满足当前发展的要求； ( 2 ) 由于检索范围大，图像相似性靠人工识别，工作量太大，效率低； ( 3 ) 人工标注丰要依赖于人的主观理解，而不同的人对同一件事物有着不同的看法， 第。章绪论 角度不同，结论大相径庭，因此，查询的结果会造成很大差距。 随着大规模数字图像库的增多，上述问题也日益严重，为了解决这些问题，研究者 提出了基于内容的图像检索技术( c o n t e i l t - b a s e x ii m a g er e t r i e v a l ) 啦】，简称c b i r 检索系 统。基于内容的图像检索技术是目前国际上研究的热点，它是将提取出来的图像特征作 为检索的索引，通过比较图像的特征来对图像进行匹配，最后按照相似程度输出排序结 果。基于内容的图像检索技术为图像检索开辟了新的探索方向。 基于内容的图像检索涉及到很多方面，图像分析、图像匹配和图像识别 3 】等。传统 的基于特征的图像处理技术，只能对图像进行简单的分析，提取例如颜色、形状、纹理 等底层特征，底层特征与人的主观理解和判断关系不大。与底层特征对应的是高层语义 特征【4 】，高层语义特征指的是抽象的图像特征，是对图像内容的描述，现在人们重点研 究如何利用底层特征和高层特征各自的优点，使得两个领域的研究成果能有效地结合起 来，达到更好的图像处理结果。图像数据的特点是信息量大，提取的图像特征维数高， 与传统的数据库数据有很大不同，需要高效快速的搜索技术，基于内容的图像检索技术 的研究和发展将弥补这方面的技术缺憾，为图像检索提供强有力的支持。 在i n t e m e t 网上，存储和共享了大量的图片和文字信息，电脑对这些信息很难识别， 要将这些信息加工成计算机可以理解的信息才能够进行识别和相应的处理。而基于内容 的图像描述和检索使得计算机对多媒体信息可以自动进行加工和识别，这就大大提高了 效率和准确性。另外，基于内容的图像检索技术可直接应用于视频识别和检索【5 一，广告 设计，商标图像管理，医学图像等。因此在实际生产和生活中，应用很广泛，基于内容 的图像检索技术具有很大的研究意义。 1 2 研究对象和内容 基于内容的图像检索技术，是一门涉及多种学科和学术领域的课题，是综合了诸多 方向的学术研究成果的一种技术，比如图像处理、计算机视觉、信息检索、模式识别与 人工智能等。典型的图像检索系统一般有两部分组成：一是数据库生成子系统；二是图 像查询子系统。每个子系统含有相同功能的对应模块。 ( 1 ) 图像预处理模块。如转换格式，调整大小，灰度变换等，一般在图像入库时进 行统一规格的调整，为后面的特征提取模块做准备。 ( 2 ) 图像特征提取模块。这一模块是基于内容图像检索的重点部分，它的优劣性直 接决定了后面匹配和检索的精确度和质量。如何提取有效的图像特征是c b i r 系统的关 2 西北大学硕士学位论文 键一步，提取特征即是从图像中提取出含有该图像信息量最大的那些特征信息，有效特 征应该意义直观，具有很强的代表性和可区分性，是该图像比较显著的特点。特征分为 局部特征和全局特征，本文讨论的基于特征点提取方法都属于局部特征。 ( 3 ) 数据库系统。它是由三个库组成，即图像库，特征库和知识库。 典型的图像检索系统的结构图如图1 1 所示： ；二举_ ，_ - j 一。上：弋。 视觉特征：颜色、纹理、形状等各种点特征高层语义特征 么二二7 二 囤橱 -_-l=：。：暑嚣。j 磊一 了u 磊 厂、 f 用户 1 特征提取模块 索引模块 相似性度量模块 用户模块 图1 1 检索系统基本构架 基于内容的图像检索中的一个关键技术就是图像特征的提取与描述。因此，图像特 征提取技术是基于内容的图像检索的基础。本文第二章重点研究了基于特征点的图像检 索技术，并详细分析和实现了几种典型的特征点提取算法。本文基于特征点的图像特征 匹配流程如图1 2 所示： l 目标图像 刊预处理图像 专 图像 - - - 生成 = 爿目标点集 。 特 1 ， 特征特征 征 点提描述匹 取 子配 i 图像库 剖预处理图像 令 - - - - - - h = 纠待匹配点集 。 1 ， 图1 2 研究对象流程图 首先获取图像，对图像进行必要的预处理，使图像以统一规格和标准入库，方便对 图像进行分类存储，为下一步骤图像特征提取奠定基础。也可以不进行图像预处理，可 以根据获得的图像类型灵活选择。 接着是图像的特征提取，不同的特征提取方法有着各自的特点，在某些条件下或者 针对不同专业类型图像可以结合不同的特征提取方法，扬长避短。图像特征点一直是很 3 第一章绪论 重要的局部特征，它计算量少，对于图像的旋转、亮度等变换不敏感，本文重点研究基 于特征点的检测方法，因此该模块对图像采取不同的特征点提取方法，得到特征点之后， 对特征点进行描述，如何描述特征点能得到稳定有效的特征直接影响了后面的匹配和检 索，这是本文的主要研究内容和研究重点。 特征匹配模块涉及到对应特征点的搜索，以及对应点相似度的测量，即采取高效的 搜索算法，和某种相似性度量方法，确定对应的匹配点对，得到匹配的数目，再采取方 法对其进行错误匹配的排除，这部分也是本文研究内容的一部分。 本论文第四章详细分析和具体实现了原始s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 算 法【7 】后，针对算法的特点，结合商标图像的外观特点，提出了一种基于简化s i f t 特征 的商标图像检索方法，并搭建了一个商标图像检索系统。实验结果表明，该方法较之原 s i f t 方法，具有更快的计算速度和更高的匹配精度，能很好的应用在商标图像检索系 统中。 本论文第五章提出了一种基于小波变换模极大值的边缘检测方法和s i f t 算法结合 的图像特征匹配方法。s i f t 算法在多数情况下，对于普通图像的特征提取都是很有效 的。但是由于其固有的特点，计算复杂，速度慢，一幅2 5 6 2 5 6 的图像可以产生8 0 0 多个特征点，而且特征点分布的过于均匀，不能很好的表达商标图像的信息，冗余的信 息量反而会浪费资源，增加运算的负担，甚至会影响正确匹配率，这样反而削弱了s i f t 的优点。本文通过详细分析各种边缘检测算子的优缺点，利用其能很好的描绘图像边界 轮廓的性能，将基于小波变换模极大值的边缘检测方法和s i f t 算法结合，实验结果表 明，该算法提高了匹配准确率，有较强的有效性和实用价值。 综上所述，就是本文研究的对象和主要内容。 1 3 存在的问题 目前大部分c b i r 系统在特征提取技术上主要采用基于颜色、纹理、形状以及高级 语义特征等视觉特征提取方法，但是由于图像特征的提取、表达和描述，以及相似性度 量等技术的复杂性，在一定程度上还是存在很多缺陷，其理论和技术都不是十分成熟和 完善，很多问题亟待解决，存在的问题主要有以下几个方面： ( 1 ) 图像的特征提取技术 目前基于内容的图像检索系统采用最多的就是颜色特征，它是c b i r 的一个主要研 究对象，颜色计算简单，视觉信息直观，容易理解。对图像的形状和纹理等都很不敏感， 4 西北大学硕士学位论文 有一定的稳定性。但是，对颜色特征相似性的定义和人的视觉判断存在一定的差距，而 且很容易受光照的影响，会影响匹配结果，导致最后的检索效果误差太大。 纹理特征也是图像的一个重要的特征描述方法，纹理特征反映了图像的纹理变化， 但是该方法的匹配效果对图像分割技术有很强的依赖性，图像分割技术的优劣直接影响 了图像纹理特征的提取和表达。而图像分割技术也是图像处理的一个难题，是一个计算 量很大的工作，理论技术还有待提高。 形状特征相对于前两种方法，更具有挑战性的一个课题。图像形状含有丰富的信息 量，提供给人们一个很直观的视觉感受，然而如何准确提取出图像的边界轮廓而不受噪 声等的影响，是技术上的难题，还有很多困难需要我们从技术上克服。目前的形状特征 提取方法仍然不具有很好的区分能力。 最高层特征是语义特征，它的提取则更为困难。如何建立图像高层概念和低层视觉 特征之间的关系则成为理论的难点，要缩短人机之间的理解差距是重点，这方面的技术 还很不成熟。 ( 2 ) 相似性的判断标准多种多样，在很多融合多种特征的检索研究中，没有统一的 衡量相似性的标准，仍需要研究技术的进步。 ( 3 ) 由于海量的信息，以及多样性，采用的单一的检索方式已经不能满足人们检索 的要求，由于其约束力不足，往往产生错误的匹配结果，与人们的理解产生很大的差距。 另外由于图像数据存入数据库时，特征向量的维数很高，有的甚至高达1 0 0 维以上，这 就增加了检索的复杂度和计算量，高维索引技术的研究是当务之急。目前基于c b i r 系 统采取结合多种检索手段的方法来提高检索的效率和准确性。 ( 4 ) 针对专业图像的检索研究较少，大多数c b i r 都是面向普通图像的。专业图像 比如说商标图像、医学图像、红外图像、人脸图像以及植物图像等。如何结合各种专业 图像的特点来进行特征提取和图像检索，并提高检索精度，这一领域具有很高的研究价 值和意义。 ( 5 ) 目前为止，没有一个统一的标准来评价和衡量检索系统的优劣性。现在大多数 研究采用的是查全率和查准率，但是有一定缺点，需要一种可靠的客观的评价性能价标 准来进行评判。后面本文会详细讨论。 1 4 本文的组织结构 本文内容按如下结构安排： 5 第一章绪论 第一章绪论，论述了课题的研究背景和研究意义，c b i r 系统的研究现状以及存 在的问题。另外，论述了本论文的主要工作内容。 第二章首先综述了基于特征点检测的图像检索技术的相关研究现状，重点研究了 基于图像内容的特征提取和表示方法，从常用的三大底层特征到点特征，点特征也是近 年来的研究热点，并对各种特征点提取方法进行了详细的分析和比较。最后，详细论述 了相似性度量方法。 第三章论述了两种特征描述子生成方法，重点研究了s i f t 算法的原理和思想， 并编程将算法实现。 第四章分析了商标图像存在的问题，根据商标图像独有的特点，对尺度不变特征 提取方法进行了简化，以达到降低特征维数，提高运算速度的要求，在保证原算法性能 的同时，提高图像的正确匹配率。针对提出的简化算法，搭建了商标图像检索系统，用 于评估和测试算法的性能，并与使用原算法检索的结果进行比较分析。 第五章提出一种新的图像特征匹配方法，将边缘检测算子与稳定特征提取算子结 合，并进行了详细的理论支持和具体实现。 第六章对全文总结，提出了今后的研究工作方向。 1 5 本章小结 基于内容的图像检索系统是基于计算机视觉、模式识别领域发展基础上的，克服了 基于文本检索的局限性，直接对图像特征进行分析和提取，并对特征进行参数描述，然 后对这些特征建立索引，采取高效的搜索算法，通过某种相似度算法计算相似性，最后 排序输出检索结果。但是基于内容的图像检索系统也有不足，也是它必须要攻克的一个 难关，那就是“语义鸿沟”问题，即人们对于图像的主观理解和计算机通过特征对图像的 识别和匹配有着很大的差距，这样的差距使得检索的结果往往会产生很大的偏差。 本章主要论述了基于内容图像检索的研究背景和意义，以及目前存在的问题，确定 了本文的主要研究工作内容，最后说明了本论文的组织结构。 6 西北大学硕七学位论文 第二章基于特征点检测的图像检索技术研究现状 基于内容的图像检索方法，就是指先提取出图像中物体的颜色、形状、纹理等图像 特征，以及这些特征的组合，再生成特征向量，用特征向量来表征图像内容，通过对特 征向量进行相似性度量，来查询检索图像的方法。从定义就可以知道，基于内容的图像 检索技术的关键就是特征提取和匹配，主要包括：图像的特征提取、相似性度量和相关 性反馈等方面。本章将详细论述图像的特征提取和相似性度量。 2 1 基本的特征提取方法 图像匹配和检索的关键问题就是图像特征的提取，即提取出的特征是否具有代表 性，是否富含图像信息，是否是图像的关键识别标志，是否能有效而完整的表达图像所 包含的信息。图像特征的不同表达方式从不同角度表达了图像的性质。 图像的特征根据图像的内容可以分为底层特征( p r i m i t i v ef e a t u r e s ) 和语义特征 ( s e m a n t i cf e a t u r e s ) 。底层特征主要就是指颜色、形状、纹理和空间关系等一些定量的特 征。现在c b i r 系统中图像的高级特征，即语义特征逐渐被采用。语义特征是一种定性 特征，是对图像内容的关系的抽象描述，通过类似的概念建立起结构关系，它包括对图 形涵义的理解和客观场景的解释。目前已经有大量关于语义特征提取的研究，但是计算 机理解水平有限，还是有待发展。首先论述基于内容的图像检索技术中最常用特征提取 方法。 2 1 1 颜色特征 颜色特征是一种视觉特征，在图像检索中应用最为广泛的视觉特征，主要原因在于 颜色往往和图像中所包含的物体或场景十分相关。此外，与其他的视觉特征相比，颜色 特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。 基于颜色的特征提取方法主要可分为两大类，一类是全局颜色特征，另一类是空间 颜色特征。 基于全局颜色特征的方法主要有颜色直方图、累加直方图、颜色矩等。颜色直方图 是最常用的方法，具有特征提取和相似度计算简便，对图像尺度、旋转等变化不敏感的 特剧8 1 。颜色直方图也存在许多缺点：( 1 ) 颜色直方图描述的是图像颜色的统计特性，丢 失了颜色的空间分布信息，因此，对于两个颜色直方图相似的图像来说，如果颜色的空 间分布差别很大，图像的内容会很不相同；( 2 ) 存在特征维数过高的问题；( 3 ) 由于对图 7 第二章基于特征点枪测的图像检索技术研究现状 像颜色的量化处理，可能将视觉不同的颜色量化到同一区间，也可能将视觉相同的颜色 量化到不同的区间，因而造成误检现象。 基于空间颜色特征的方法主要有颜色聚合向量( c o l o rc o h e r e n c ev e c t o r ) 方法和颜色 相关图等。颜色聚合向量是由p a s s 等人【9 】等人提出的，其核心思想是将颜色直方图中每 个柱区间的像素分为两部分，如果该区域某些像素所占据的连续区域的面积大于某一阈 值的时候则认为是聚合像素，否则认为是非聚合像素。然后计算它们的和，做为该颜色 所占的图像百分比。这样，颜色聚合向量就包含了图像颜色的空间分布信息，可以得到 更好的匹配和检索结果。但是阈值的确定是一个难点，设置的不合适就可能会造成误检， 如何确定连续闭合的区域的阈值是影响该算法的一个关键要素。 颜色相关图是h u a n g 等人 1 0 】提出的方法，利用图像中像素间的颜色关系，即图像中 某一距离内像素颜色出现的概率组成的相关矩阵来描述图像颜色空间分布的另一种表 达方式。颜色相关图不仅刻画了各种像素颜色所占的比例，还反映了不同颜色的空间相 关性，很好的弥补了颜色直方图的不足，具有一定的鲁棒性。 2 1 2 形状特征 物体给人的直观感受就是颜色和形状，人们通过形状就可以判别物体【1 1 】。因此形状 也是图像匹配和检索的一个重要特征，和颜色与纹理特征相比，形状特征的提取和表达 更复杂，要获得可以正确描述物体形状的参数，所以可以说是相比颜色特征更高一层的 特征。形状特征依赖图像分割技术，图像分割的效果直接影响到形状特征的提取和表达。 事实上，人眼对目标物体形状的识别是个很复杂的过程，因此要完全准确的描述目标物 体的形状是非常困难的，而且到目前为止没有很好的形状模型能和人的主观视觉感受相 一致的。另一方面，形状特征从不同角度来看会有一些甚至很大的差别，容易受到图像 平移、缩放、旋转等变换的影响，人眼对于物体形状的各种变换并不敏感，可是计算机 对图像形状的变换非常敏感，为了得到好的匹配和检索效果，我们要研究如何提取鲁棒 性强的形状特征。 近年来，小波变换也被用来进行图像形状的分析，李云峰【1 2 】将g a b o r 小波变换用于 人脸识别，二维g a b o r 小波可以将邻域的像素联系起来，从不同频率尺度和方向反映局 部区域灰度变化。董卫军【1 3 】采用小波模极大值，对图像进行小波变换提取多尺度下的不 变矩，从而得到特征描述符，这方法能很好的描述图像的形状和空间信息。 8 西北大学硕士学位论文 2 1 3 纹理特征 纹理特征也是一种重要的图像特征，它是物体表面材质的一种本色体现，反映了图 像中物体表面结构组织排列的规律，例如树木、石块、山体、河流、云彩等。纹理特征 和颜色、亮度等变化无关，人们可通过提供相似纹理的信息找到所需含有该纹理的图像， 因此得到了广泛的应用。 纹理特征的分析方澍1 4 】通常有以下三种：( 1 ) 统计分析方法：主要有灰度共牛矩阵、 直方图各阶矩；( 2 ) 结构分析法：分析图像的纹理基元及其排列规律；( 3 ) 频谱分析方法： 主要是利用傅里叶频谱特性，现在也有很多利用小波变换来分析。纹理特征的描述方法 常常被用于和其他特征相结合，来进行图像的检索。本论文对此不做重点研究。 2 1 4 语义高级特征 语义高级特征的产生是要解决“语义鸿沟”的问题，语义鸿沟是基于内容的图像检索 系统广泛存在的问题。对图像内容的理解要通过一定的经验和知识来进行推理和判断 的。其中，对于一些高层次抽象概念，比如战争，场景等，计算机和人类的理解上有着 巨大的不同，这主要是因为人和计算机之间对相似性的判别依据不同。因此，语义鸿沟 就是说计算机获取的视觉信息和人对图像理解的语义信息有着很大的不一致而导致的 底层和高层检索需求之间的距离。 e a k i n s 根据语义复杂性，构建了较为规范的语义模型【15 1 ，如图2 1 所示： 情感语义 t 行为语义 i 场景语义 - - - - 午- - - - 空间关系语义 t 对象语义 - - t - - - - - 底层特征语义 这二层组成了语义的概念层，场景语义指 的某一场景，比如雪景，山水，日出等。 上升到行为语义则比如一场球赛，做饭等， 最后则是情感语义，比如战争、饥饿、悲 伤等，这是最难的一层语义。 日标和背景在图像所处的位置关系，如人 在车的前方或者在车尾处 含有动物、人物、或者车辆等特定目标 颜色、纹理、形状等，单一或者是组合 图2 1 层次化的语义模型 第一层是底层语义特征，是对象层语义的基础。这一层主要是基于视觉的特征，没 有可利用的语义特征。大部分的基于内容的图像检索系统就是基于这些底层特征的，或 9 第二章基于特征点检测的图像检索技术研究现状 者建立在单一特征的提取之上，或者是建立在多特征融合基础上。 第二层是对象语义和空间关系语义，即要对图像中的对象进行逻辑识别并进行分 类。这就要用到模式识别的技术。其核心问题则是对图像对象的识别和建模，以及对象 间空间位置的拓扑关系。 第三层是就是概念层语义，这一层比对象层语义复杂，由场景语义、行为语义、情 感语义组成，涉及到的都是图像的抽象属性，是建立在一定的经验理解的基础上的，场 景、行为、情感即是独立的，又是可以互相推理联系的，情感语义相对于两种语义场景， 含有更多的主观成分，这就增加了提取该特征的复杂性。比如一幅战争的图片，里面是 饥饿的人们，即对象是人，可是通过整个图像的场景以及对象饥饿的状态，说明表达的 情感又是悲伤和愤怒。概念层语义是抽象，靠经验知识理解的，所以目前应用不多，还 有待进一步研究。 2 2 典型特征点提取方法 上一节简单论述了基本常见的底层特征和高级语义特征的提取技术，基于内容的图 像检索技术的关键就是图像特征的选择和提取，要求提取出的特征稳定、准确、具有可 区分性。本节重点研究和分析基于图像特征点的提取技术。在图像特征点提取技术中， 主要包括图像特征点的检测和特征点向量描述这两个方面。本章我们重点讨论如何提取 显著特征点的方法，下一章讨论如何生成稳定性好的特征描述子。 目前对图像特征点没有明确标准的定义，有的文献认为是图像中灰度变化剧烈的 点，有的认为是图像边界上具有曲率最大的点等等。图像特征点的定义不同，对应的检 测方法也不同。常用的特征点有边界交叉点，局部极值点等。因此特征点包括边缘点、 角点、交叉点等，是图像内容的抽象描述，反映了图像特征的结构信息，可区分性强， 不易受图像的形变、噪声等的影响而变化，而且与图像灰度计算相比，参加运算的像素 点少了很多，减轻了运算负担，提高了速度，更加稳定，因此应用越来越广泛。特征点 是一种重要的局部特征，属于底层特征。理想的特征点应具有以下特点： ( 1 ) 独特性好，具有很强的可区分性。 ( 2 ) 对位置敏感，定位准确； ( 3 ) 对噪声不敏感； ( 4 ) 提取方法尽量简单，提取速度快。 最具有代表性特征点之一就是角点【1 6 】，角点特征提取方法一般可以分为两类：基于 1 0 西北大学硕七学位论文 边缘和基于灰度。基于边缘的特征点提取算法是指计算得到边界交叉点的特殊点，受图 像分割影响。先得到图像的边缘信息，然后提取边界上的特殊交叉点作为特征点。z h a n g 等人【1 7 1 提出通过分析平面曲线梯度特征分布，构建梯度相关矩阵，通过编码得到曲率特 征和特征点，该方法定位精确，有很高的检测率。a s i f m 等人【1 8 】通过三个矩形窗口，沿 着曲线边界轮廓滑动，计算在每个矩形窗口出现的边界点的数目，它从图像形状的多个 角度进行计算，然后获得特征点。该方法可以很好的从嘈杂的背景中检测到图像的边界 特征点。基于灰度的特征点提取算法主要是根据图像像素的灰度或者梯度信息进行特征 点提取，基于灰度的特征点提取算法比如m o r a v e c 算子，著名的h a r r i s 算子，其实h a r r i s 角点检测技术是m o r a v e c 算子的改进。下面主要论述几种经典的基于灰度角点检测算子 和多尺度特征点的提取方法，并进行性能比较。 2 2 1m o r a v e c 算子 h a n sp m o r a v e c 在1 9 7 7 年提出m o r a v e c 算子【1 9 1 ，通过角点测度，设定阈值来确定 角点。角点测度就是指以图像中某一像素为中心点，设定一个矩形窗口，3 * 3 大小，共 九个小块，如图2 2 所示，然后沿着八个主方向之一进行平移，然后计算该方向的对应 像素点灰度差的平方和，定义为灰度变化。角点测度是判断像素是否为角点的一个很好 的度量标准。公式( 2 1 ) 表示如下： 9 v = ( 4 - b ，) 2 ( 2 1 ) i = 1 m o r a v e c 算法是先计算得到灰度变化的极值，作为该像素的兴趣值，再给定一个经 验阈值，把兴趣值大于该阈值的点构成候选点集，小于阈值的点值设为零。最后则是求 图像的局部极大值，即在一定大小窗口内去掉兴趣值中不是最大值的候选点，剩下所有 的极大值点集就是角点集。 图2 2m o r a v e e 算子 m o r a v e c 算子是最早的角点检测算子，它利用像素灰度值的变化思想，计算简单直 观，速度快。但是由于孤立点处测度也可能为局部极大值，边缘上也会有非角点的极大 第二章基于特征点检测的图像检索技术研究现状 值，所以对噪声不能有效抑制，还具有各向异性性。在此基础上，1 9 8 8 年h a r r i s 提出了 著名的h a r r i s 算子，至今仍广泛应用。 2 2 2 h a r r i s 算子 h a r r i s 算子【2 0 1 继承了m o r a v e e 算法的思想精髓，是m o r a v e c 算子的改进，利用泰勒 级数展开，使移动方向不再受限制而得到了扩展，同时引入平滑因子，增强抗干扰能力。 利用信号处理中自相关函数的思想，计算出矩阵m ，m 阵的特征值是白相关函数的一阶 曲率，如果两个特征值曲率值都高，则认为是点特征。 因此，h a r r i s 重新定义了灰度变化，灰度函数，g ，y ) 在( x ，y ) 点的灰度变换如公式( 2 2 ) 所示： e i ，y - - e w ，i i 批，+ ，一， 1 2 ( 2 2 ) 将上式在像素点0 ，1 ，) 展开，局部图像灰度变换函数e ，y 可近似表示成一级t a y l o r 多项式( 2 3 ) 为： e ，y = 比以，一l ，1 2 = ， x x + y y + o ( x 2 , y 2 ) ( 2 3 ) = 舭2 + 砂2 + 2 氏 这样就能把所有方向的小偏移都表现出来。为了减低噪声影响，采用平滑的圆形窗 口对图像进行预处理，h a r r i s 采用的高斯平滑窗口，如下式( 2 4 ) 所示： 比，= e x p 一丢g 2 + v 2 ) 万2 c 2 4 ， 么= x 2ow , b = y 2o w , c = ( 胛) w( 2 5 ) 比小瞄- a ( x , y 漶c ( x , y y 翔 亿6 ， 得到的m 矩阵描述了与自相关函数有密切关系，m 的特征值与局部自相关函数的 主曲率成比例，设a l 和a 2 为m 矩阵的2 个特征值： ( 1 ) 当a l a 2 或者a 2 a l 时，表明局部自相关函数表现为山脊状，说明处于边缘。 ( 2 ) 当二者都很小的话，则表明局部自相关函数表现平坦，那么图像窗口的亮度近 似不变。 ( 3 ) 当两个曲率都很大，则表明局部自相关函数出现一个尖峰，那么任何方向的偏 1 2 西北大学硕士学位论文 移都会增大e 的值，则该点是角点。 因此，为了避免计算m 矩阵的特征值，h a r r i s 特征点的响应函数r 可以用下式( 2 7 ) 表示： r = d e t ( m ) 一七乃2 )( 2 7 ) 凇d e t ( m 高t 艺彳二b ：(28)2 a bc ) = = 一 2 、7 式( 2 8 ) 中t r 似) 是矩阵m 的迹，d e t ( m ) 是m 的行列式；k 值实验用的是0 0 4 。r 在角 点区域大于零，在平坦区域值很小，在边缘处的值小于零。因此在计算r 值时，如果大 于一个给定的阈值，则认为这个点是角点。 h a r r i s 算法稳定性好，对噪声有很强的鲁棒性。提取出的特征点比较均匀，并且对 于图像的旋转和灰度的变化不敏感，比较稳定。但是要计算多次高斯滤波，所以计算量 大。另外，它对图像的尺度变化较为敏感。 近年来有不少文章对h a r r i s 角点检测进行了改进，总结有两方面： ( 1 ) 将其与l a p l a c i a n 算法和s i f t 算法结合，前者是提取图像尺度空间中尺度规格 化l a p l a c i a n 极值点作为特征点，后者是计算尺度空间的高斯差分作为极值点。这两种 算法都是基于尺度空间理论的。这类算法复杂度高，但是稳定性很强，抗噪声，对图像 变形、光照等不敏感。 ( 2 ) 将h a r r i s 和全局特征结合，最后用k - m e a n s 对提取的特征点进行聚类，可以应 用于人脸识别和目标定位领域等等。 2 2 3s u s a n 算子 s u s a n 算子首先由牛津大学的s m i t h 和b r a d y 2 9 于1 9 9 7 提出，全称为s m a l l u n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ，是基于u s a n ( f i 口核值相似区) 实现的。如图2 3 ， 以一套圆形为模板，模板的圆心为核心，假如模板中的某些像素的亮度与核心相同或相 似，就定义这些像素组成的区域为u s a n 区域。图2 3 ( c ) 显示出了不同位置的u s a n 区 域面积大小。 u s a n 区域包含了图像结构的以下信息： 在a 位置，核心点在角点上，u s a n 面积达到最小； 在b 位置，核心点在边缘线上时，u s a n 区域面积接近最大值的一半； 在c 位置，核心点处于黑色矩形区域之内，u s a n 区域面积接近最大值。因此， 1 3 第= g 基f 特征点榆删的图像椅索技术研究现状 町以根据u s a n 区的面积大小检测出角点。考虑上述三种情况，对于核心点在区域 内，其区域最大核心点位于边缘，其区域为整个邻域面积的而角点附近区最小。基于这 一原理，s m i t h 提出了基于u s a n ( u n i v a l u es e g l n e n t 柚s 埘i l 灿gn u c l e u s ) ，即最小核值相 似区的角点检测算法。将模板中的吾点与核心点( 当前点) 的亮度值用下面的相似比较函 数来进行比较( 这里采用的是3 7 象素的模板，最小的模板为3 3 的模板) 。 横扳一 模板迦缘 模板圆心一 图2 3s u s a n ( 2 子的u s a n 示意图 ( a ) 模板曲) 模板与图像区域的位置关系和) ( b ) 图中的u s a n 区域 乇柚= 也 若 若 ( 2 9 ) 式中r 0 为二维图像中核心点的位置，；是模扳其他点的位置t j 是模板中任意象 素点的亮度值，t 是表示亮度差值的个门限值，c 是一个用来比较输出的函数。 c 由模板中所有象素参与运算得出。u s a n 的大小可由下式计算出 n ( x y ) = 4 2 ，y ) ( 2 1 0 ) 式f 2 一1 5 ) 中n 是区域内象素的个数。参数决定了u s a n 区域各点之间最大的亮度差 值。将n 与一个特定的门限值g 进行比较，s u s a n 角点检测算法将g 设定为”w x ( 定义 ”m x 为的最大暗l 积) 人小的一半，通过下式采产牛角点初始响应函数： 、lj ll 0 0 p p r 一 一 、ij p p r 两北大学硕士学位论文 叫球g g 亿 综上，s u s a n 算子角点检测算法的具体步骤如下： 1 在图像的核心点处放置一个3 7 象素的圆形模板： 2 用式( 2 1 0 ) 来计算圆形模板中和核心点有相似亮度值的象素个数； 3 用式( 2 1 1 ) 来产生角点初始响应函数，函数值大于某一特定门限值的点被认为是角 点。 s u s a n 算法不用对图像求导，抗噪声能力强，可以检测所有类型的角点，精度好。 但经研究发现s u s a n 算法仍然存在三个问题： ( 1 ) 相似比较函数计算复杂； ( 2 ) 图像中不同区域处目标与背景的对比程度不一样，取固定门限值t 不符合实际情 况； ( 3 ) u s a n 的三种典型形状为理想情况，即认为与核心点处于同一区域物体或背景的 象素与核心点具有相似亮度值，而另一区域则与它相差较大。实际中，由于图像边缘亮 度的渐变性，与核值相似的象素并不一定与它属于同一物体或背景，而离核心点较远， 与它属于同一物体或背景的象素亮度值却可能与核值相差较远。 以上三种角点算子都是基于图像灰度的特征点提取方法，利用图像的灰度信息获得 特征点和特征向量的描述，反映了图像的灰度变化