（通信与信息系统专业论文）基于特征点提取和几何型哈希法的图像检索方法.pdf

摹于特征点提取和几何型哈希法的图像榆索方法 基于特征点匹配和几何型哈希法的图像检索方法 摘要 本文提出了一种新的基于内容图像检索的方法基于特征点匹配和几何 型哈希法的图像检索方法。该方法利用小波变换方法提取图像的特征点，并以每 一个特征点为中心将图像划分成图像块，提取图像块的颜色特征，并利用几何型 哈希法索引图像，通过考虑块与块之间的相互位置关系进行匹配图像。 由于利用颜色特征能够简化目标的提取和识别，所以在图像检索中，颜色是 应用最广泛的视觉属性。其中利用全局颜色特征方法是最常用的方法。但是利用 全局颜色特征方法有下列缺点：不能扑捉具有不同特征的图像的全部内容；不能 包含颜色的空间分布信息：计算量较大。为了克服这种方法的缺点，本文提出了 一种新的基于特征点提取的图像检索方法。该方法利用小波变换方法提取图像的 特征点，以每一个突变点为中心将图像划分成图像块，对每一个图像块，计算它 们的颜色特征矢量，这样，图像之间的相似性度量就变成了图像块之间的相似性 度量，图像之间相似的块越多，两幅图像的相似度就越高。并将几何型哈希法运 用到图像检索中，以实现图像的快速匹配。应用几何型哈希法进行图像匹配时， 首先把图像转化成大小、位置和方向无关的不变量坐标，然后存放在以不变量坐 标为地址的哈希表中，在哈希表水平进行匹配。 实验证明，用此方法表示图像可以实现对无约束场景图像的快速和有效的检 索，检索效果优于全局颜色特征方法，而且即使当图像经历了几何变化( 旋转、 压缩、尺度变化) 或局部遮挡仍然能够实现匹配。 关键词：基于内容的图像检索；特征点；几何型哈希法；图像块 基于特征点提取和几何型哈希泣的蚓像检索方法 i m a g er e t r i e v a lu s i n gs a l i e n tp o i n t sa n dg e o m e t r i ch a s h i n g a b s t r a c t i ni m a g er e t r i e v a l ，g l o b a lf e a t u r e sr e l a t e dt oc o l o ro rt e x t u r ea r ec o m m o n l yu s e dt o d e s c r i b et h ei m a g ec o n t e n t t h ep r o b l e mw i t ht h i sa p p r o a c hi st h a tt h e s eg l o b a l f e a t u r e sc a n n o tc a p t u r ea l lp a r t so ft h ei m a g eh a v i n gd i f f e r e n tc h a r a c t e r i s t i c s t h e r e f o r e ，l o c a lc o m p u t a t i o no fi m a g ei n f o r m a t i o ni sn e c e s s a r y b yu s i n gs a l i e n t p o i n t st or e p r e s e n tl o c a li n f o r m a t i o n ，m o r ed i s c r i m i n a t i v ef e a t u r e sc a nb ec o m p u t e d t h i sp a p e rp r e s e n t sac o n t e n t b a s e di m a g er e t r i e v a lt e c h n i q u eb a s e do ni n t e r e s t p o i n t sm a t c h i n ga n dg e o m e t r i ch a s h i n g w ee s t i m a t ep o i n t sw i t hw a v e l e tt r a n s f o r ma s s a l i e n tp o i n t s as m a l lr e g i o na r o u n dt h es a l i e n tp o i n ti sl o c a t e da sa l li m a g ep a t c h l o w l e v e lf e a t u r e sa r ee x t r a c t e dt od e s c r i b ee a c hi m a g ep a t c h t op r o v i d eg e o m e t r i c i n v a r i a n ti m a g em a t c h i n g ，w ei n d e xt h ei m a g ep a t c h e si n t oa2 - dh a s ht a b l eb y g e o m e t r i ch a s h i n gt e c h n i q u e t h u s ，t h em a t c h i n gi si n v a r i a n tt og l o b a la n dl o c a l g e o m e t r i ct r a n s f o r m s i na d d i t i o n ，s i n c ew eu s et h ei m a g ep a t c ht oc a p t u r et h el o c a l i n f o r m a t i o n ，t h ei n d e x i n gc a l le f f e c t i v e l yh a n d l ep a r t i a lm a t c h i n g w ef o r m u l a t ea m a t c h i n g c r i t e r i o n b yw e i g h t e dv o t i n gt e c h n i q u e t o i n c o r p o r a t e t h es p a t i a l i n t e r r e l a t i o n s h i pi n t oc o n s i d e r a t i o n w eh a v ep e r f o r m e das e r i e so fe x p e r i m e n t st o c o n f i r mt h ee f f e c t i v e n e s so fo u rm e t h o d i m a g e sa r eg l o b a l l yt r a n s f o r m e da n dl o c a l l y m a n i p u l a t e dt oe x a m i n et h ee f f i c i e n c yo fo u ri n d e x i n gs c h e m e e x p e r i m e n t a lr e s u l t s i n d i c a t e s a t i s f a c t o r y r e t r i e v a li nt h ec a s eo fp a r t i a l m a t c h i n g a n dg e o m e t r i c t r a n s f o 。r m a t i o n k e y w o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ；i n t e r e s tp o i n t s ；g e o m e t r i ch a s h i n g ；i m a g e o a t c h e s 基寸。特征点提取取l 几何型哈希法的翻像检索方法 0 前言 随着互联网上多媒体信息的迅速膨胀，人们越来越多地接触到各种各样的图 像信息。图像作为一种内容丰富，表现直观的媒体，长期以来一直受到人们的重 视。每天人们熟知的天气预报离不开卫星云图的帮助；公安部门的迅速破案，需 要大量的罪犯图像信息作为辅助；战场信息的可视化，离不开图像信息的分析与 重构；现在网上时兴的电子购物，也多半是以图像的形式向用户展示商品。各种 各样应用需求的出现，使得图像信息的有效检索成为迫切需要解决的问题。基于 内容的图像检索技术( c b i r s ) 则是解决这些问题的关键i l 】。 基于内容的图像检索技术兴起于上个世纪9 0 年代早期，它是通过分析图像的 内容，如颜色、纹理和主题对象特征等建立索引库，用户在检索时只需把自己对图 像的模糊印象描绘出来，就可以在图像数据库中找到所需的图像。这种方法有很 强的人机交互性，它对图像的检索是一个逐步求精的过程。它运用传统的模式识 别技术、多媒体人机交互技术对图像进行查询，是多种高新技术的集合，有着广阔 的应用前景。基于内容的图像检索可以分为三个层次【2 j 。第一个层次的检索是从 视觉内容中直接提取、抽象出图像的描述予。第二个层次的检索是根据图像的逻 辑特征进行查询的，逻辑特征是从图像所包含的内容中推理出来的。计算机视觉， 特别是基于模型的视觉就包含这样的检索技术。第三个层次的检索是用抽象的概 念属性进行查询，需要对图像的内容作更深的推理。目前，研究者还是主要集中 在对第一个层次的图像检索的研究，并且在众多方面取得显著成绩。随着相关理 论的发展和研究的不断深入，第二、第三层次的检索技术必然会有突破性进展。 检索技术的提高必然会给图像检索工作带来质的飞跃。 颜色是描述图像内容的重要特征，被广泛用于描述图像的内容。基于颜色特 征检索图像的代表方法是全剧颜色提取方法。但是对检索大型图像数据库来说， 仅描述颜色的组成和比例是远远不够的，因为它没有包含颜色的空间分布信息， 不能很好的区分颜色组成相似但是空间分布不同的图像。 为了更好地描述图像的内容，本文提出了一种基于特征点提取和几何型哈希 法的图像检索方法。该方法利用小波变换方法提取图像的特征点，以每一个突变 点为中心将图像划分成图像块，提取每一块的颜色特征矢量，将图像之间的相似 性度量转变为图像块之间的相似性度量，并将几何型哈希法运用到图像检索中， 以实现图像的快速匹配。 论文内容安排如下：第一章简要介绍基于内容的图像检索技术的现状；第二 章阐述了特征点提取和几何型哈希索引方法；第三章通过分析实验结果，论证了 基于特征点提取和几何型哈希法的图像检索方法 本文提出的方法的有效性；第四章是本论文的工作总结，并讨论进一步研究的方 向。 2 基于特征点提取和几何型哈希_ 圭的图像检索方法 1 基于内容的图像检索( c b i r ) 随着图像信息的计算机存储和获取技术的不断改进，图像检索技术已从2 0 世纪7 0 年代基于文本的图像检索发展到今同基于内容的图像检索。这一变化具有 重要的现实意义，因为基于文本的图像检索是对图像用文本进行注解，然后用基于 文本的数据库管理系统( d b m s ) 来进行图像检索这种方法很难准确地描述图像。 同时，它采用人工方法为图像数据库建立索引也需要耗费大量的时间。进入9 0 年 代以来，为了克服上述困难，研究人员提出了基于内容的图像检索方法。它是通过 分析图像的内容，如颜色、纹理和主题对象特征等建立索引库，用户在检索时只需 把自己对图像的模糊印象描绘出来，就可以在图像数据库中找到所需的图像。这 种方法有很强的人机交互性，它对图像的检索是一个逐步求精的过程。它运用传 统的模式识别技术、多媒体人机交互技术对图像进行查询，是多种高新技术的集 合，有着广阔的应用前景【j j 。 目前对基于内容的图像检索技术仍然主要集中在颜色、纹理、形状、轮廓等 低层物理特征提取的基础上【4 】，针对高层语义的检索正在研究之中。基于内容的 图像检索技术是一门综合性的交叉学科，其研究有赖于图像理解、图像处理、模 式识别、人工智能以及数据库技术等多种学科的不断发展，研究涉及到数据模型、 查询接口、相关反馈、标准编码等众多问题。接下来将就图像的检索方法以及有 待研究的主要问题分别进行讨论。 1 1 基于内容的图像检索的主要特点 ( 1 ) 直接从图像中提取语义线索和特征，并根据这些线索从大量存储在数据库的 图像中查找、检索出具有相似特征的图像数据来。它突破了传统的基于字符 表达式检索的局限。传统的图像检索主要是通过给图像赋予一组特征描述数 据，用来表达图像数据的内容，将对图像本身的检索转化为对特征数据的检索， 根据字符的匹配查找到相应的图像。显然这个转换过程妨碍了有效地交互， 被称为“转换障碍”，难以满足用户各种各样的需求。对于建库者来说，要准 确地对图像进行特征描述比较困难，往往会因个人的知识、经验、理解不同而 有所差异，而且并不是所有的图像对象的特征都能用字符描述出来。基于内容 的图像检索直接对图像内容进行分析，抽取特征和语义，把检索过程与语义提 取直接地联系在一起，使得检索过程更加有效，适应性更强1 5 j 。 ( 2 ) 以相似比对取代吻合比对。在字符检索中，因为一字一码，所以通常采用吻合 基于特征点提取和几何型哈希法的图像检索方法 ( m a t c h ) 比对方式，以精确匹配为主。在基于内容的图像检索中，由于相同内容 的图像有不同的表现方式，如同一场景的照片就有远景和近景之分，故通常采 用相似( s i m i l a r i t y ) 匹配方式，以获得类似结构，不断缩小检索范围，直至定 位于所要求的目标，这是一个迭代过程，与常规数据库检索的精确匹配不 样。 ( 3 ) 采用直观的可视化提问方式。基于内容的图像检索通常采用示例查询法，当用 户不清楚检索提问要求，或不熟悉图像信息结构类型时，可通过浏览选择例子 或自己绘制图形，作为查询条件，并可以通过浏览结果检视查询方式的好坏， 从而作必要的修正，然后再次进行提问。 ( 4 ) 交互性强。用户参与检索过程，可对检索方式不断改进，反复提问，直至找到满 意的结果为止。这种把检索结果的全部或部分内容再作进一步细化检索的过程 称为相关反馈，可以弥补相似比对时一些没有或无法考虑到的因素，能引导查 询方向，以便满足用户的特定需求。足用户的特定需求。 ( 5 ) 能满足多层次的检索要求。c b i r 系统通常包括了图像库、特征库和知识库， 可满足多方面的检索要求。如常规的基于客观属性( 关键词) 的检索、基于内 容的检索、对象关联检索以及概念查询检索等【6 1 。 ( 6 ) 检索效率较高。能从大型分布式数据库中以较快的速度套找到有关图像。它 可以不去理解和识别图像中的对象，所关注的是基于内容，快速地发现信息。 1 2 常用的图像检索方法 1 2 1 基于浏览的图像检索方法 基于内容的图像检索技术依据图像的特征进行标引和检索，在当前的图像检 索系统中分为两类。一类是根据图像的外表特征，如形状、颜色、纹理等：另一类 是根据图像的内容特征及所描述的实际内容，如图像中的人、车、建筑等。基于 形状特征的图像检索工具的中心技术问题是通过定义一个图像相似性的概念，确 定所检索的图像资料同图像的画面内容的相关性。因此，可以采用浏览工具帮助 用户浏览一些图像资料，使用户在特定的图像检索类别和范围内把想要的图像资 料同浏览的图像资料进行相似性比较，检索所需的图像资料。这种方式可以给用 户提供一些对话框，用户在不断浏览过程中向对话框中输入所要图像的确切内容 进行逐步求精的检索【7 l 。建立一个功能强大的浏览工具，需要确定对图像相似性 的有效概念。同时，要为这样一个检索系统构建个友好的用户界面。让用户方 便使用检索系统，能够通过它清楚地、简单地表达想要检索的图像特征，并提供给 基于特征点提取和几何型哈希法的图像检索方法 计算机。计算机可清楚地显示用户的提问，以便不断改进检索策略，提高检索的命 中率【8 j o 1 2 2 基于颜色特征的图像检索方法 颜色特征是图像检索中使用的最可靠的视觉特征，而颜色直方图是最通常的 颜色特征表示方法。直方图的横轴表示颜色等级，纵轴表示在某一个颜色等级上 具有该颜色的像素在整幅图像中所占的比例。由于颜色直方图简单且对图像的大 小、旋转变化不敏感等特点，得到了研究人员的广泛关注，目前几乎所有基于内 容检索的图像数据库系统都把基于颜色的检索方法作为检索的一个重要手段，并 提出了许多改进方法。归纳起来主要可以分为两类：全局颜色特征索引和局部颜 色特征索引t 9 , 1 0 1 。 l 全局颜色特征索引 全局颜色特征索引方法目前采用最多的是颜色直方图的方法【1 1 1 ，s w a i n 的主 要思想是根据颜色直方图统计每种颜色在图像中出现的概率，然后采用颜色直方 图的交来度量两幅图像颜色的相似性，其最大的缺点是完全丢失了图像色彩的空 间信息。p a s s 等人提出以图像的色彩聚合矢量c c v ( c o l o rc o h e r e n c ev e c t o r ) 来作为 图像的索引【l ”，它是图像颜色直方图的一种演变，其核心思想是将图像中在感知 上颜色相似的像素所占据的连续区域的面积大予一定的阈值时。该区域中的像素 为聚合像素，否则为不聚合像素。这样统计图像所包含的每种颜色的聚合像素和 不聚合像素的比率称为该图像的色彩聚合矢量，在图像检索过程中匹配目标图像 的聚合矢量和检索图像的聚合矢量，聚合矢量中的聚合信息在某种程度上保留了 图像色彩的空间信息。s t r i c k e r 和o r e n g o 提出了累计颜色直方图方法并且提出 了色彩矩的方法。认为色彩信息集中在图像颜色的低阶矩中。他们主要对每种颜 色分量的一阶、二阶和三阶矩进行统计i l 。r i c k m a n n 和s t o n h a m 提出了色彩元 组直方团的方法【l4 1 。将一幅图像中的所有颜色用一些颜色元组来表示，这些颜色 元组特征形成了一个特征编码簿。然后对一幅图像中特定位置的n 个采样点所对 应的颜色元组的持征值在特征编码簿中出现概率进行统计，就形成了一个颜色元 组的直方图。这种方法同一般颜色直方图方法不同的是：不是对每个像素点进行 统计，而仅仅对一些设定的采样点进行统计；每个采样点的特征由周围一些像素 的色调的组合来表，目的是试图捕获一些颜色空间信息。 关于图像颜色直方图之间的距离。目前主要有直方图的交，直方图的绝对值 距离，n i b l a c k 和比b a r b e r 等人采用直方图的欧几里德距离的度量方法，h a f n e r 等人提出了颜色直方图之间的加权距离作为直方图之间的度量方法。 基于特征点提取和几何型哈希法的图像检索方法 但是，全局直方图无法捕捉颜色组成之间的空间关系；全局矩方法也丢失了图像 的空间信息。事实上，颜色的不同空间分布极大地影响了人们对图像的相似性判 断。基于此，许多研究人员着手研究颜色的空间索引技术。颜色的空间索引技术 上要可以分为两大类：( t ) 基于图像空间的固定划分方法，即人为地将图像划分 成适当的分块，然后为每个分块提取相应的局部颜色特征。例如，分块的颜鱼直 方图和分块的颜鱼矩；q b l c 从预定义的颜色集中为每个分块选择主色，h s u 和 c h u a 则按照某种方法为整幅图像提取c 种主色，然后确定各分块属于主色中的 哪种。( 2 ) 基子像素颜色的空间相关性的聚类方法，其出发点是基于如下推断： 不同的图像如果在空间相近的位置同时存在颜色相似的大片区域，则这两幅图像 具有较大的相似性。 2 局部颜色特征索g 由于全局色彩特征索引捕获了整幅图像色彩分布的信息，丢失了许多局部的 色彩空间信息。目前从划分局部区域的角度来说可分为：基于固定块的图像分割、 基于手工的区域分割、采用交互的半自动的区域分割以及一些自动的色彩分割方 法。局部区域中的色彩信息可以表示为平均色彩、主色彩、颜色直方图和二进制 色彩集。 h s u 等人试图结合图像的色彩信息和图像色彩的部分空间信息对色彩的直 方图进行检索m 。其主要思想是从图像中选择一些代表色彩，然后将图像划分成 一定的矩形区域，每个区域中以一种主要的单一色彩作为代表，两个图像之间的 相似性是两个图像之间具有相似色彩区域的重叠程度，i b m 公司的q b i c 系统通 过交互的工具对图像中对象轮廓进行提取，并统计对象区域的平均色彩和色彩赢 方图等来作为对象色彩的特征s t r i e k e r 和d i m a i 认为图像中最有意义的区域是 位于图像的中心。将图像划分为5 个模糊的区域，其中心的区域为一个椭圆形， 将椭圆外的图像进行一定的模糊化，目的是保持图像中的色彩信息对小的平移和 旋转影响不敏感。然后再对每个区域中每种色彩通道的一到三阶矩进行统汁，这 种方法保留了图像色彩的一部分空间信息。s m i t h 和c h a n g 采用色彩的自动分割 方法 1 8 , 1 9 】，形成一个二进制的色彩索引集，在图像匹配中，比较这些图像色彩集 的距离和色彩区域的空间信息。色彩的空间关系主要有色彩区域的分离、包含、 交，每种关系对应一定的评分，查询的空间距离是所有这些色彩区域所对应的空 间关系的评分和。 单纯提取颜色信息对于准确检索图像来说是不够的，颜色空间分布信息是必 不可少的。考虑到距离一定的两个像素颜色的空间关系，j h u a n g 和s r k u m a r 提出了颜色相关图。h y ，k w o n 和h y h w a n g 提出一种基于三种颜色特征关 基于特征点提取和几何型哈希法的图像检索方法 系检索图像的方法【2 l 】。首先找出在颜色直方图中所占比例最大的三种颜色，计算 每种颜色所有像素的平均坐标，这三个平均坐标连成一个三角形。特征矢量就是 由三种主要颜色的直方图值、平均坐标、三角形边长和三个内角组成。颜色还可 以和一些不变特征结合起来作为图像特征。例如，颜色和边缘密度、强度梯度、 纹理信息相结合表述图像特征。还有基于信号、基于分割、基于聚类的三种颜色 空问检索技术等。 综上所述，人们对色彩索引方法的研究已经相当多。它们都分别从不同的方 面对色彩检索问题进行了研究。但目前主要存在的问题是色彩空间选择并不完全 统一。有人使用r g b 色彩空间，更多的人采用h s v ，m u s h e l l 等视觉意义上 的色彩空间等，而且这些方法之间关于色彩之间的度量方法也不统一给各种方 法检索效果的评价带来了一定的难度。色彩检索方法仅仅是基于内容检索的一种 方法，在实际应用中和其它检索方法相结合，效果可能更佳。 1 2 3 基于纹理特征的图像检索方法 所谓纹理，是指图像象素灰度集或颜色的某种规律性变化。纹理特征主要包 括粗糙度、方向性、对比度以及规则性。基于纹理的检索适用于检索诸如水波、 布匹、建材等类型的图像关于纹理的定义和纹理的量化方法有许多，通常采用 统计方法、结构方法以及频谱分析方法进行。 关于纹理的定义和纹理的量化方法有许多，其中主要有两种：一种是结构方 法；一种是统计方法。前者是将图像中非常具有结构规律的特征加以分析，后者 则是对图像中的色彩强度的空间分布信息进行统计。h a r i l i c k 纯粹从数学上研究 了图像纹理中灰度级的空间依赖关系。根据图像中像素之间的方位和距离关系构 造了一个共生矩阵( c o - m a t r i x ) 。然后从中提取有意义的统计特征作为纹理特征的 表达，使用的特征主要有能量、熵、相关性和惯量，该方法的最大缺陷是这些统 计特征没有和人在视觉上对纹理特征鉴别之间建立对应关系。关于人类视觉对纹 理特征的鉴别，j u l e s z 已作过大量的心理实验。目前已有不少人提出了纹理特征 的度量方法，其中t a m u r a 提出的纹理持征集很好地对应于人类视觉感知。这些特 征包括：粗糙度( c o a r s e n e s s ) 、对比度( c o n t r a s t ) 、方向度( d i r e c t o i n a l i t y ) 、线像度 f l i n e l i k e n e s s ) 、规整度( r e g u l a r i t y ) 和粗略度( r o u g h n e s s ) 。在这些特征中最重要的特 征主要是纹理的粗糙度、对比度和方向度，随后有不少人提出了纹理的特征集。 目前还没有个统一的标准来精确地表示纹理的特征。因为人对纹理的视觉特 征的认识非常主观。 随着小波变换在图像纹理分析中的广泛应用，一些人也采用小波变换后的系 数作为图像的索引。如s m i t h 和c h a n g 从小波子波段中提取统计特征作为图像的 基于特征点提取利几何型晴希法的围像检索方法 系检索图像的力法“。首先找出在颜色直 图中所占比例最大的三种颜色，计算 每种颜色所有像素的平均坐标，这三个平均坐标连成个三角形。特征矢量就是 由三种主要颜色的直方图值、平均坐标、= 角形边长和= 个内角组成。颜色还可 以和一些不变特征结合起来作为恻像特衍。例如，颜色和边缘密度、强度梯度、 纹理信息相结合表述矧像特征。还有基于信号、基于分割、基于聚类的三种颜色 空间检索技术等， 综上所述，人们对色彩索引方法的研究已经相当多。它们都分别从不同的方 面对色彩检索问题进行了研究，但目前主要存在的问题是色彩空间选择并币完全 统一。青人使用r g b 色彩空间，更多的人采用h s v ，m u s h e i i 。等视觉意义上 的色彩空间等，而且这些方法之间关于色彩之间的度量方法也不统一给各种方 法检索效果的评价带来了一定的难度。色彩检索方法仅仅是基于内容检索的一种 方法，在寅际应用中和其它检索方法相结合，效果曰j 能更佳。 12 3 基于纹理特征的图像检索方法 所谓纹理，是指图像象素灰度集或颜色的某种规律性变化。纹理特征主要包 括粗糙度、方向性、对比度以及规则性。基于纹理的检索适用于检索诸如水波、 布匹、建材等类型的图像关于纹理的定义和纹理的量化方法有许多，通常采用 统计方法、结构方法以及频谱分析方法进行。 关于纹理的定义和纹理的量化方法有许多，其中主要有两种：一种是结构方 法；一种是统计方法。前者是将图像巾非常具有结构规律的特征加以分析，后者 则是对图像中的色彩强度的空间分布信息进行统计。h a r i l i c k 纯粹从数学上研究 了图像纹理中灰度缴的空间依赖关系。根据图像中像素之间的方位和距离关系构 造了一个共牛矩阵( c o - m a t r i x ) 。然后从中提取有意义的统计特征作为纹理特征的 表达，使用的特征主要有能量、熵、相关性和惯量，该方法的最大缺陷是这些统 计特征没有和人在视觉上对纹理特征鉴别之间建立对应关系。关于人类视觉对纹 理特征的罄别，j l l l e s z 已作过大量的心理实验。目前已有不少人提出了纹理特征 的度量方法，其中t a m u r a 提出的纹理持征集很好地对应于人类视觉感知。这些特 征包括：粗糙度( e o a r s e n e s s ) 、对比度( c o n t r m s t ) 、方向度( d i r e c t o i n a l i t y ) ，线像度 ( 1 i n c l i k e n e s s ) 、规整度( r e g u l a r i t y ) 和粗略度( r o u g h n e s s ) 。在这些特征中最重要的特 征主要是纹理的粗糙度、对比度和方向度，随后有不少人提出了纹理的特征集。 目前还没有个统的标准来精确地表示纹理的特征。因为人对纹理的视觉特 征的认识非常主观。 随着小波变换在例像纹理分析巾的广泛应用，一些人也采用小波变换后的系 数作为图像的索引。如s m i t h 和c h a n g 从小波子波段中提取统计特征作为图像的 数作为图像的索引。如s m i t h 利c h a n g 从小波子波段中提取统计特征作为剧像的 基于特征点提取和几何型啥希法的图像榆索方法 纹理表示。取得了很好的检索效果i ”。c h a n g 和k u o 探索了小波中波段的特征， 采用树结构小波变换来进一步提高图像分类能力的准确度f 2 3 】，m a 和m a n j u n a t h 评价了各种小波变换形式，发现基于g a b o r 基小波变换的纹理检索方法的效果最 好【2 4 1 。 1 2 4 基于形状特征的图像检索方法 形状是图像目标的显著特征之一，许多物体具有不同的颜色，但其形状总是 类似的。例如，一套以国徽为主要图案的邮票，其形状大体都是圆形。再比如苹 果公司的商标，基本形状都是一个圆形缺一角的苹果，差别仅在于一些细微的地 方，如苹果中有无横线。形状包括面积、连通性、环形性、偏心率、主轴方向等 特征。形状的表征方法很多，包括本征方程、几何常量、f o u r i e r 级数、力矩等 等。 在二维图像空间中，形状通常被认为是一条封闭的轮廓蘸线所包围的区域， 所以对形状的描述涉及到对轮廓边界的描述以及对这个边界所包围区域的描述。 目前的基于形状检索方法大多围绕着从形状的轮廓特征和形状的区域特征建立 图像索引。基于形状特征的检索方法有两种： 1 分割图像经过边缘提取后，得到日标的轮廓线，针对这种轮廓线进行的形 状特征检索。 2 直接针对图像寻找适当的矢量特征用于检索算法。 关于对形状轮廓特征的描述主要有：直线段描述、样条拟合曲线、傅立叶描 述予以及高斯参数曲线等等，j a i n 等人将形状用封闭的直线段来描述，然后对形 状中每条边的斜率进行分别计算【2 5 1 ，按一定的角度间隔对线段进行统计形成斜 率直方图。并计算形状的7 个无关矩信息，在图像查询的时候，计算斜率直方图 和形状矩的加权距离来区分两个图像中的形状。庄越挺提出了形状的内角直方图 概念，采用的方法是对每相邻两条边之间的内角进行计算。按一定的角度间隔统 计形状内角的分布情况g u d i v a d a 采用样条曲线对形状的边界进行拟合【2 6 1 ，然 后按一定的长度间隔对形状边界上的各个控制点计算斜率、曲率的正负等信息， 在图像检索的过程中采用h a u s d o r f f 距离来度量两个特征之间的相似距离，两个 图像的相似距离是这些距离的加权和。上述方法存在的主要问题是些形状特征 的描述不是独立于形状的大小、位置和方位，在使用时有一定的局限性。而且这 些表示方法对形状边界信息丢失较多，致使检索的效果不是十分理想。 z a h n 和r o s k i e s 早在1 9 7 2 年就提出了傅立时描述子的方法口”用傅立叶系数 来描述形状，发现用这种方法对图像形状进行描述具有良好的尺度，旋转，平移 基十特征点提取和几何型哈希注的图像检索方法 不变性。y o n gr u i 将这种方法用于图像检索中，得到良好的检索结果1 2 8 】。使用 发展纯熟的傅立叶变换法来描述图像形状，具有较好的理论基础，但也有其局限 性，傅立叶描述子不能描述图像的局部信息。g u n s e l 提出了基于特征形状的图像 检索方法1 2 9 j ，其主要思想是对一个形状的边界控制点中的任意两个点之间的高 斯加权距离所形成的邻接矩阵计算其特征向量。将归一化后的特征向量叫做特征 形状( e i g e n s h a p e ) 。这样两个形状之间的相似性就转变为对两个归一化的特征向量 之间距离的计算。该方法的一个优点是对形状的轮廓不是封闭曲线也同样可以处 理。 1 2 5 基于草图的检索方法 基于草图( s k e t c h b a s e d ) 的方法是一种类似与基于形状特征、但更直观的检 索方法【3 0 】。用户提供一个草图作为查询，草图包含的信息量取决与画草图的人即 用户，好的草图能很好的利用各种技术，如：颜色，阴影等。假设一幅草图就是画线 这些线中包含图像中目标的形状、方向信息基于这种假设，图像的特征就是与合 理地抽象表示图像有关的边的集合。这种方法比较准确，但是，受方向、尺度变化 的影响。使用更复杂的边表示及匹配算法可减少其影响。 1 2 6 利用图像注释和分割图像的检索方法 通过图像的注释检索图像也是较常用的图像检索方法。它是通过图像的纹理 注释来区别不同的图像，帮助用户检索所需的图像。这种注释是通过对图像的分 割和识别来达到检索目的的，因为把图像分割之后，就意味着在比较i 訇像时能够 抛弃不相关的信息。如我们在寻找带有东北虎的图像时就不能把重心放在背景 雪地或草地上，因为这不是我们寻找的中心。但如果这个图像是被用来辨别两个 图像的区别时，那么，一个在草地上的东北虎和一个在雪地上的东北虎是很不同 的。因此，在对一些图像进行分割时，应把具有相同意义的图像因素放在一起。在 适应图像自动化检索系统中，把图像分割为几个连贯的颜色区域，供用户提问。通 过分割可以把图像的多种主要成分分离出来，供用户检索图像 1 2 7 基于边缘特征的图像检索方法 边缘是图像的基本特征，是指其周围像素灰度有阶跃变化或屋顶变化的所有 像素集合。边缘是灰度不连续性的反映，边缘广泛存在于目标与背景，目标与目 标，基元与基元之间，是图像分割所依赖的重要特征。边缘的种类可分为两类： 一种是阶跃性边缘，边缘两边像素灰度有显著不同；另一种是屋顶状边缘，它位 基于特征点提取和几何型哈希法的图像检索方法 于灰度值从增加到减少的变化转折点。对于阶跃性边缘，二阶方向导数在边缘处 呈零交叉；对于屋顶状边缘，二阶方向导数在边缘处取得极值。边缘结构特征包 括边缘长度、边缘复杂性、边缘包括的环数和它们在整个图像中的统计值f 3 l 】。 边缘检测算子检查每个像素的邻域，并对灰度变化率进行量化，也包括方向 的确定。大多数使用基于方向导数掩模求卷积的方法。y i n g w u 提出两种边缘检 测的方法 3 2 1 。一种是利用图像的导数求边缘，局部导数最大的像素被判定为边缘。 另一种方法是对图像作拉普拉斯变换( l a p l a c i a n ) ，图像拉氏变换的零交叉点就是 边缘点。边缘直方图也可以表示边缘信息。m p e g 7 的边缘直方图算子只包括局 部边缘分布信息口t ”j ，为提高检索的有效性，可以从局部直方图中取得全局和半 局部的边缘直方图【3 “。x i a n gs c a nz h o u 用注水算法提取边缘映射图中的结构特 征表示图像的边缘i j “。 1 2 8 兴趣点特征的提取 1 角点特征提取 对于数字图像来说，角点( c o r n e rp o i n t ) 是表示和分析图像形状的重要特 征，它被广泛应用于计算光学流量、模式识别、图像匹配和运动分析等方面。角 点隐含了图像位置的大量信息，利用角点可以增加图像匹配的可靠性。很多方法 是在灰度图像中使用的，主要是用方向导数计算角点。灰度级角点通常被定义为 在灰度升降迅速的线条上，平面曲率最大的点p 6 】。凳点检测器就是检测定位这种 突出的点，并确定其内在属性。灰度级角点检测器主要有两种：基于模板的角点 检测器和基于几何的角点检测器。无论是何种检测器，都可以用四个性能指标评 判，即检测能力、定位能力、稳定性和复杂性。 角点检测器分为两种：一种是基于弯曲的，认为角点是梯度方向的变化率； 另一种认为角点是在每个方向都有很大的强度或亮度变化的点。传统的角点检测 器方法是将图像分割成若干区域，然后用链码( c h a i nc o d e ) 找出曲率最大的点 表示目标的角点。r o s e n f e l d 和k i t c h e n 用k 一曲率法检测角点。a s a d a 和b r a d y 先用高通滤波，平滑去噪声，再用三次b 样条计算k 一曲率，就可检测到角点。 l i uw e n y u 利用形态学的骨架理论，提出一种角点检测的快速算法p ”。 2 突变点特征提取 视觉焦点不一定是角点，当我们观察图像时，通常被图像的某部分所吸引， 这部分对我们识别图像最有意义。例如，平滑的边缘也可能是视觉焦点，它们不 能被角点检测器检测出来，但是进行分析图像时，我们希望能够描述出这种信息。 0 基于特征点提取和几何型晗希法的图像检索方法 突变点的基本信息是视觉对刺激的反映，主要是从能量角度分析的。人们根据视 觉所关注的内容，提出几种不同模型。一种方法是将尺度空间方法与角点提取算 法相结合( l i n d e b e r g ，1 9 9 8 ；m i k o l a j c z y k 和s c h m i d ，2 0 0 1 ) 。其思路是选择一个 特征空间，寻求在特征空间的极值。另一种方法旨在寻找被称作突变点的兴趣点 集合，突变点是与所有的视觉焦点相关的，不论它是平滑的还是突变的都可用小 波分析的方法检测到1 ) ”。 小波变换作为一种新的数学工具，由于其良好的时频局部化特点和计算上的 简单，己广泛应用于图像处理。奇异点检测是小波变换应用的一个重要方面，所 谓奇异点检测是要找出信号突变部分的位置，f o u r i e r 变换不具备空间局部性， 因而只能确定个函数奇异性的整体特征，两，j 、波变换是一种多尺度变换，在对 应奇异值的点上，在不同尺度上的小波变换系数会出现局部极大值，同时噪声也 在不同尺度下被平滑。 1 3 图像索引 1 3 ，l 文本检索在图像检索中的应用 与c b i r 相比，文本检索是一个比较成熟的领域。在数字图书馆和国际交流的 需要的推动下，文本检索已成为像y a h o o 和a l t a v i s a 这样的w w w 搜索引擎中重要的 组成部分。在三十年问，文本检索领域的研究人员尝试着用数以千计的特征( 字) 索引上百万的文件。在研究图像索引时，很多研究人员都想到借鉴比较成熟的文 本索引技术索引图像， 用索引文本的方法索引图像的例子很多。信号通常用在索引文本方面，信号 指示个体在集合中是否出现。信号同样可以用在图像索引技术中1 3 9 1 。在检索图像 时，可以用信号表示某种颜色在特定的图像中出现的频率。每种颜色用t 比特表 示，描述了特定颜色出现的频率。当某一颜色出现在图像中时，根据其频率标志 其相应的频率范围比特，这样就可以确定一个信号的位置。将所有颜色信号不重 叠地连在一起，就是图像信号了。为了提高信号文件的性能，可以用s 树或h a s h 表将信号组织起来。 从文本数据库中检索文件主要用到的两种机制是：布尔查询和分级查询。在 布尔查询中，查询条件用逻辑运算符联系在一起被当作识副文件的条件_ 。分级 是匹配文件是否符合查询条件的过程，并且根据文件与查询条件之间相似程度给 文件一个相似度【4 0 。分级排序比布尔查询要占用更多的内存和时间。 一种支持布尔查询的标准机制是倒排文件索g i h ) o 在文本检索系统中，倒排 基于特征点提取和几何型哈希法的图像榆索方法 文件是应用最广的数据结构。倒排文件索引包括两部分：倒排文件实体集即包含 每个索引关键字的纪录列表；查询结构或称字典，确定每个关键字对应的实体位 置。如果在图像检索中应用倒排文件的方法，那么对倒排文件的定义就要作相应 的修改。在关于图像的倒排文件中，每一种可能出现的特征都对应着个实体， 每个实体包含一个含有此特征的图像列表，特征在每幅图像中出现的频率，特征 在集合中出现的频率都记录在列表中出现。处理一条查询时，用字典把查询条件 映射成倒排文件的地址，用逻辑操作处理这些倒排文件，就可以找到符合条件的 图像。 1 ，3 2 图像的多维索弓 数据库中的图像是以一定的形式存储的，当图像数目较少时，用顺序存储结 构就能较快地检索出图像。然而，随着图像数目的激增，按照顺序查询图像需要 较长的时间。为了解决这一问题，需要根据图像特征，建立合适的索引结构加快 查询速度。 在c b i r s 中，特征矢量的维数较高，常常是上百维的。要想索引高维的特 征矢量，用传统的数据结构是不行的，只能用多维索引技术。多维索引技术是一 个十分丰富的领域。以树型结构为例，有k - d 树【4 2 】、四叉树 4 3 1 、k d b 树1 4 4 、r 树及其变化形式r + 树h 叼和疋树【4 刀等。其中r 树及其变化形式是应用最广的。 r 树是一个和二叉树形式相似的索引结构，树内的节点表示一个k 维的超矩形， 而不是一个标量。因此，这种结构适合高维索引，特别是范围查询。r 树的主要 缺点是超矩形相互重叠，所以在一次查询中可能有一个节点下的多个子树被访问 到。这将导致性能退化。19 9 0 年，b e n k m a n 和k r i d g e l 4 8 提出了r 树动态变化 形式心树，它将节点之间的重叠降到最小，大大提供了搜索性能。最近出现 了一些新的技术，例如v a mk - d 树、2 d h 树等1 4 8 , 4 9 1 。 为了索引高维的图像特征，人们研究出一些新的索引技术。s p y - t e c ( s p h e r i c a lp y r a m i d t e c h n i q u e ) 是在高维数据空间为相似查询定义的一种新的索 引方法。s p y - t e c 是基于特殊空间划分策略的，先把d 维数据空间分成2 维金 字塔，然后把一个金子塔分成几部分。这种变换把d 维空间变成1 维。再用b + 树处理一维数据。实际证明，这种方法比多维空间索引方法b + 树快的多。 1 3 3 相似性度量 在通常情况下，图像都是用多维特征矢量表示的，两个图像的相似度通过计 算特征矢量在特征空间的距离得到0 5 0 1 。最常用的方法是阈值法，如果特征的距离 2 基于特征点提取和几伺型哈希法的图像榆索方法 小于预先设定的阈值，那么就认为两个特征相似。相似度不但可以用在特征比较 上，还可以用在聚类上。特征聚类建立在“等价”的基础上，等价与否是由特征 在多维空间上的距离定义的。最经典的距离量度标准有欧氏距离、马氏距离、明 氏距离、霍斯多夫距离等。 欧氏( e u c l i d e a n ) 距离 置y 是d 维的模式样本向量，它们之间的欧式距离定义为 d e g ，y ) ：卜y | l = 1 壹k 叫1 2 ( 1 - 1 ) vj ：i 由上式可知，若样本x ，y 位于同一类型区域里，欧式距离是比较小的；若是 位于不同的类型区域里，欧式距离则比较大。判断距离的大小就要定义一个门限。 门限的选取是正确分类的关键。若门限选取过大，则全部样本被视为同一类型； 若门限选取的过小，可能会出现每个样本都视为一种类型的情况。欧式距离具有 旋转不变的特性。 马氏( m a h a l a n o b i s ) 距离 ，2 = b 一“) 7 。1 g 一”) ( 卜2 ) 上式是马氏距离的定义式。其中“是均值向量，是协方差矩阵。马