（通信与信息系统专业论文）基于颜色和形状特征的图像检索.pdf

摘要 随着图像等多媒体资源的日益丰富，传统检索方式已不能再满足检索需求，为了便 于图像的检索，基于内容的图像检索技术应运而生。本文在分析总结现有的基于内容的 检索技术的基础上分别从颜色特征、纹理特征和形状特征三方面详细分析了现有的特征 提取方法。构建了一个实用的图像检索系统。在此基础上提出了基于颜色和形状特征进 行图像检索的新算法。本文主要研究内容如下： 首先，在图像特征提取方面，分别对颜色、纹理和形状三个图像特征进行了分析和 研究，并实现了几种常见的特征提取方法。 其次，在研究颜色特征的基础上提出了一种基于显著兴趣点结合颜色矩和距离直方 图进行图像检索的新算法，该方法将兴趣点作为图像中用户关注的主要视觉线索，结合 颜色特征进行图像检索。包括显著兴趣点检测、距离直方图和颜色矩的特征提取三个步 骤，既利用了兴趣点的局部颜色特征，又考虑了兴趣点间的空i 、日j 距离关系，克服了传统 颜色矩没有空间位置信息的缺陷。实验结果表明，该方法实现简单，有效提高了图像检 索的效率。 最后，提出了基于形状特征进行图像检索的新算法。该方法首先利用偏微分方程中 的g a c 模型提取出图像的轮廓，在此基础上计算图像轮廓的h u 不变矩，作为图像特 征的描述子进行图像检索。在数值实现上，通过对g a u s s i a n 函数以及差分运算的讨论， 简化了图像的平滑预处理和图像梯度的计算，提高了运算速度。实验表明，该方法具有 对尺度、旋转的不变性。 关键词 图像检索，距离直方图，颜色矩，测地线活动轮廓模型，h u 不变矩 a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i ar e s o u r c es u c ha si m a g e ，t h et r a d i t i o n a lr e t r i e v a l m e t h o d sc a nn ol o n g e rs a t i s f yt h er e q u i r e m e n to nr e t r i e v a l c o n t e n t b a s e di m a g er e t r i e v a l t e c h n o l o g ye m e r g e si n t h i sc i r c u m s t a n c e ，w h i c hi sc o n v e n i e n tt or e t r i e v ei m a g e w i t ht h e a n a l y s i so nc o n t e n t - b a s e dr e t r i e v a lt e c h n o l o g y , t h i sp a p e rw o u l de x h a u s t i v e l ya n a l y z et h e e x i s t i n gf e a t u r ee x t r a c t i o nm e t h o d sf r o mc o l o rf e a t u r e ，t e x t u r ef e a t u r ea n ds h a p ef e a t u r e r e s p e c t i v e l y , c o n s t r u c t i n gp r a c t i c a li m a g er e t r i e v a ls y s t e m t h e nt h i sp a p e rw o u l dg i v ef u r t h e r a n a l y s i so nan o v e li m a g er e t r i e v a la l g o r i t h m sb a s e do nc o l o ra n ds h a p e t h er e s e a r c hc o n t e n t i sa sf o l l o w s ： f i r s t ，t h i sp a p e rw o u l da n a l y z ea n ds t u d yi m a g ee x t r a c t i o nf r o ma s p e c t so fc o l o rf e a t u r e ， t e x t u r ef e a t u r e ，a n ds h a p ef e a t u r e ；a n dg i v es o m ef u r t h e re x p l a n a t i o no nc o m m o ne x t r a c t i o n m e t h o d s s e c o n d ，t h i sp a p e rw o u l dd e m o n s t r a t ean o v e lc o l o r b a s e di m a g er e t r i e v a la l g o r i t h mt h a t c o m b i n e sp r o m i n e n ti n t e r e s tp o i n t s ，c o l o rm o m e n t s ，a n dd i s t a n c eh i s t o g r a m t h i si sam e t h o d t h a tt a k e su s e r - c o n c e r n e di n t e r e s tp o i n ta st h em a i nv i s u a lc u ea n dc o m b i n e st h ec o l o rf e a t u r e t or e t r i e v ei m a g et h r o u g ht h r e es t e p s ：t h ed e t e c t i o no fp r o m i n e n ti n t e r e s tp o i n t s ，f e a t u r e e x t r a c t i o no fd i s t a n c eh i s t o g r a m ，a n df e a t u r ee x t r a c t i o no fc o l o rm o m e n t s t a k i n gb o t hl o c a l c o l o rf e a t u r ea n ds p a t i a ld i s t a n c er e l a t i o no fi n t e r e s tp o i n t si n t oc o n s i d e r a t i o n ，t h i sm e t h o d o v e r c o m e st h ed e f e c t so ft r a d i t i o n a lc o l o rm o m e n t sl a c k i n go fl o c a t i o ni n f o r m a t i o n t h e e x p e r i m e n tr e s u l t s s h o wt h a tt h i sm e t h o di se a s yt ou s ea n ds u c c e s s f u l l yi m p r o v e st h e e f f i c i e n c yo fi m a g er e t r i e v a l t h i r d ，t h i sp a p e rp r e s e n t san o v e ls h a p e b a s e di m a g er e t r i e v a la l g o r i t h m o nt h eb a s i so f i m a g ec o n t o u re x t r a c t e db yu s i n gg a c m o d e lo fp a r t i a ld i f f e r e n t i a le q u a t i o n ，t h eh ui n v a r i a n t m o m e n t sc o u l db ec o m p u t e d ，w h i c hw o u l db et h ei m a g ef e a t u r ed e s c r i p t o rf o ri m a g er e t r i e v a l a st on u m e r i c a li m p l e m e n t a t i o n ，t h e r ew o u l db ed i s c u s s i o no no a u s s i a nf u n c t i o na n d d i f f e r e n t i a t eo p e r a t i o n ；a c c o r d i n gt ow h i c h ，t h es m o o t hp r o c e s s i n go fi m a g ea n dt h e c o m p u t a t i o no fi m a g eg r a d i e n tw o u l db es i m p l i f i e d ，a n dt h ec o m p u t i n gs p e e dw o u l db e i i i i m p r o v e d t h ee x p e r i m e n tr e s u l t sd e m o n s t r a t et h a tt h i sm e t h o di ss c a l ea n dr o t a t i o ni n v a r i a n t i m a g er e t r i e v a l ，d i s t a n c eh i s t o g r a m ，c o l o rm o m e n t s ，g e o d e s i ca c t i v ec o n t o u r ( o a c ) m o d d ， h ui n v a r i a n tm o m e n t s 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许 论文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论 文收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：筮盗 加口年6 月侈日 指导教师签名：j 娶阵 砂7 q 年6 月l - 7 日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本 论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：杂药 访i 口年月3 日 西北大学硕士学位论文 1 1 研究背景与意义 第一章绪论 多媒体是计算机和视频技术的结合，多媒体数据包括图像、音频和视频等信息。 而其中图像作为一种表现直观的多媒体信息，所包含的信息内容远远超出纯文本所能表 达的范围。因此长期以来一直受到人们的青睐。图像作为越来越普遍的信息载体，所产 生的数据量也是日益庞大。如何快速准确的检索到所需的图像，己经成为迫切需要解决 的问题。只有快速、有效地组织和检索图像数据，才能高效率地利用这些数据信息。基 于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，简写为c b i r 1 】) 是2 0 世纪9 0 年代兴 起的图像检索技术，由于其直观、高效、通用、与领域知识无关的特点，近年来一直是 国内外学者的研究热点。 首先，它是- - n 有关图像检索的新技术，有别于传统的图像检索技术。传统的图像 检索是基于文本( 或关键词) 的信息检索，但是这种检索方式由于以下几点原卧2 】影响 了检索的效果：第一，图像检索系统内的图像用关键词标识，检索线索是与标识相匹配 的关键词，所以这种方法在查询图像中常会出现错误。第二，文字描述是对图像的一种 特定抽象，如果文字描述的标准改变，就需要重新制作文字标签以适应新的查询要求。 第三，由于图像的文字描述是由观察者标识的，因此受观察者本身的主观因素影响，不 同的观察者在相同的条件下可能给出不同的描述，即使是同一个观察者，在不同的条件 下对同一副图像也会给出不同的描述，因而评判标准不够客观，常会自相矛盾。而基于 内容的图像检索是图像特征相似性匹配，系统内的图像标识是图像内容的某一特征描 述，把一般用户难以完成的图像特征描述、提取与识别等问题交由系统解决。避免了关 键词不准确和人为的主观因素影响。 其次，它是- - n 有关图像特征相似性匹配的新技术，不同于计算机视觉、模式识别、 图像数据库等专门的图像分析与处理技术，但是又与这些研究领域的技术成果结合起来 作为其重要的研究基础。基于内容的图像检索需要深入的研究图像特征描述方法、特征 提取与索引方法，以及相似性度量与快速检索算法等问题，这些研究的应用可以很大程 度上避免以文本为主观标识所造成的图像内容理解方面的歧义。 现代科学技术的发展，已经在人们生活的各个领域带来了根本性的变革，随着多媒 西北大学硕士学位论文 体技术、通信技术、网络技术的迅猛发展以及广泛应用，使得人们在信息的采集、传输、 处理和应用上发生了很大的变化。针对基于内容的图像检索系统的深入研究，将具有重 大的理论价值和广阔的应用前景，其成果将积极的推动我国此类信息产业的形成与发 展。 颜色和形状特征作为基于内容的图像检索中两个非常重要的图像底层特征，包含着 非常丰富的图像信息。很多成熟的基于这两种特征的图像检索算法都已经被证明是非常 有效的。本文的研究就是在研究这些成熟算法的基础之上分别提出基于颜色特征和基于 图像特征的检索算法，并实验论证了这两种算法的有效性。 1 2 国内外研究现状 在2 0 世纪9 0 年代中期，研究者们提出了基于内容的图像检索。基于内容的图像检索 查询时是针对图像本身，而不是标识。事实上，可视特征是对图像内容的压缩、抽象， 与人类的观察角度具有相当程度的相似。 目前，基于内容的图像检索的研究主要集中在特征层次上，根据图像的可视内容 特征，如颜色、形状轮廓、纹理结构、空间位置关系等特征以及这些特征的组合建立图 像的索引，并以它们之间的距离来影射图像相似度。在这一思路的指导下，无论是在理 论研究领域，还是在商业应用领域，相关的研究人员对c b r 进行了积极的探索和实践【3 】， 各种基于内容的图像检索系统相继问世，促进了c b i r 的发展，他们都是基于特征矢量 的检索。其中具有代表性的是q b i c 系统。 i b ma l m a d e i l 研究中心开发的q b i c ( q u e r yb yi m a g ec o n t e n t ) t 4 系统，是第一个商用 基于内容的图像检索系统。该系统同时支持关键词检索与内容检索，支持示例图像、绘 制草图、定制图像特征模板来检索图像库选择的颜色、纹理的查询等。它的系统结构及 所采用的技术对后来的检索系统有很深远的影响。q b c i 系统由图像入库、特征计算、 查询阶段三部分组成。索引技术方面颜色使用r g b ，y i q ，l a b 和m t m 颜色空间，纹理使 用改进的t a m u r a 嚷示：粗糙度，对比度和方向性等，形状特征有目标面积、各阶矩、离 心率和主轴方向等。并且开发了基于聚类的索引技术基。在它的新系统中，又把基于文 本的关键字查询与基于内容的相似性查询结合在一起。由于的检索效率非常高，它可能 是目前应用最广的图像检索系统，如旧金山现代艺术博物馆以及法国文化部等机构均在 2 西北大学硕士学位论文 使用该系统。 v i r a g e 公司开发的v i r a g e 系统。与q b i c 相似，v i r a g e 支持基于颜色、纹理和结构的 可视化查询，但比q b i c 更进一步，该系统将特征进行归类，用户查询时可以对特征进 行任意组合。 哥伦比亚大学开发的v i s u a l s e e k 和w e bs e e k ，前者是一个可视化图像特征搜索引 擎，后者是基于w w w 方式的文本图像搜索引擎。在索引技术方面，该系统提出了基于 色彩和纹理的索引方法，使用二进数进行索引，支持基于视觉特征和他们之间空间关系 的查询。m i t 媒体实验室开发的一套浏览检索图像的交互工具p h o t ob o o k ，查询时，系 统会首先根据目标类别划分数据库。美国伊利诺斯大学大学开发的m a r s 系统，与其它 系统在研究范围和技术上都有不同，它从计算机视觉、d b m s 、信息查询三个领域进行 研究，提出了相关反馈的体系结构。 在国内，较有代表性的系统有浙江大学的基于图像形状特征的检索系统p h o t o e n g i n e j f l 基于图像颜色特征的检索系统p h o t on a v i g a t o r ：南京邮电学院研制的基于纹理 和颜色特征的实验系统；中国科学院计算技术研究所和北京图书馆联合开发的“基于特 征的多媒体信息检索系统m i r e s ”【5 】。这些系统的框架和查询的处理过程都很相似，只是 采用的特征和搜索方法各具特色，性能也互有差异。 颜色和形状特征是基于内容图像检索中最常用的两种特征，现在已经有很多成熟的 算法应用于实际当中。 对于颜色特征，如颜色直方图，颜色矩，颜色集等方法都能作为图像的特征向量来 表征图像本身。但通常情况下，这些算法都是提取图像中所有像素点的颜色信息作为图 像的颜色特征，这样，在计算时就不可避免的产生信息冗余，影响了检索的时间和效率。 兴趣点作为一类特殊的点集，在不影响检索准确度的前提下能够很好的消除上述的缺 点，一幅图片，一般提取5 0 7 0 个左右的兴趣点就能够包含图像本身的大部分的信息， 这样就可以大大压缩颜色特征的提取时间，在图像数据库很大时，可大大缩短检索时间。 形状特征的描述一般分为两类：基于边界和基于区域的，虽然基于区域的方法比 基于轮廓的方法使用的更广泛，但基于区域的方法要求更大的计算量和存储量。而基于 轮廓的方法是利用图像的轮廓特征，符合人们的视觉感受。在现实世界中，大多数的目 标都有清晰的轮廓，而且不容易随周围环境的变换而变化，比较稳定。在国内外已有的 研究结果表明，基于轮廓的形状描述符更容易识别目标，在许多的情况下都取得了很好 的效果，因此，基于轮廓的形状描述符也越来越被普遍的应用。数字图像处理的偏微分 3 西北大学硕士学位论文 方程方法是一种有效地图像处理手段，在图像滤波、去噪、平滑、分割等方面都有非常 成熟的算法。测地线活动轮廓模型是基于偏微分方程( p d e ) 方法中关于图像分割的最基 本的活轮廓模型之一。该方法通过对初始曲线的不断演化，逐步完成对目标图像的边界 提取，所提取的边界能很好的表征图像的轮廓，在此基础上，再结合h u 不变矩，这样 所提取的图像形状特征就具有旋转和尺度不变性。 本文主要介绍图像低层视觉特征的提取。其中，如何从图像中提取有效的视觉特征 是影响图像检索系统性能的一个重要方面。目前常用的基于内容的图像检索技术【6 】包括： 1 颜色特征 颜色是一种重要的视觉信息属性，也是图像内容组成的基本要素，是人识别图像 的主要感知特性之一，作为图像最直观而明显的特征，颜色特征是在基于内容的图像检 索中最早被使用也是被最广泛使用的视觉特征【7 1 。相对于其它特征，颜色特征非常稳定， 对于旋转、平移、尺度变化，甚至各种变形都不敏感，表现出相当强的鲁棒性。目前的 各种颜色特征的提取方法具有特征提取和相似度计算简便的优点，但它不能反映图像中 对象的空间特征。需要进一步的研究。 2 纹理特征 纹理是所有物体表面共有的内在特性，它反映的是图像中同质现象的视觉特征【引。 图像可以看成是不同纹理区域的组合。纹理反映了图像本身的属性，不同的物体具有明 显不同的空间特征。纹理特征可用来对图像中的空间信息进行一定程度的定量描述。由 于纹理描述比较困难，一般对纹理的检索都采用以下三类：统计的、频谱的和结构的。纹 理特征提取方法适用于对具有明显纹理特征的图像进行检索，不足是对于普通图像需要 结合其他特征共同检索。 3 形状特征 与颜色特征和纹理特征不同，形状特征经常和目标联系在一起，从而形状特征具有 一定的语义含义。图像的形状信息不随图像颜色信息的变换而变化，并具有位移、旋转、 尺度变换的不变性，是物体的稳定特征【9 1 。采用该特征进行检索时，用户通过勾勒图像 的形状或轮廓，从图像库中检出形状类似的图像。形状特征的表达必须以对图像中物体 和区域的分割为基础，提取的形状特征应具有旋转、缩放和平移不变性，这对形状特征 的提取带来了困难。通常来说，形状特征的描述一般可分为两类：基于边界和基于区域。 由于物体的形状自动获取很困难，基于形状的检索一般仅限于非常容易识别的物体，这 些形状特征提取方法大都通过几个统计特征对形状进行描述，而人们对物体形状对理解 4 西北大学硕士学位论文 包含了整个形状的轮廓区域的描述。 4 空间关系特征 图像中对象所在位置和对象之间的空间关系也是图像检索中非常重要的特征f 1 0 1 。基 于空间关系特征的图像检索可以分为两类，一类是基于图像子块的方法，首先将图像均 匀划分为若干规则的子块，然后对每个图像子块提取特征建立索引。另一类是基于图像 分割的方法，这种方法也是最近研究的热点。这类方法中的图像空间关系特征主要包括 二维符号串、空间四叉树和符号图像法等 基于内容的图像检索研究已取得的丰硕的成果，为语义图像检索打下了一定的基 础。但仍存在一些有待研究的热点问题。例如当涉及图像高级特征时，会受到知识领域 和检索任务的限制，因此往往需要外界知识提供辅助，给研究工作带来限制。 1 3 本文的研究内容和工作安排 第一章：绪论。介绍了开展基于内容图像检索的研究背景与意义、国内外的研究现状， 阐明了本文的研究内容和工作安排。 第二章：介绍了基于内容的图像检索系统基本技术。包括的系统结构以及该系统各个 模块的功能和采用的关键技术，并且详细讨论了基于内容图像检索的系统性能指标和评 价准则。 第三章：介绍了图像特征的提取和表示。对基于颜色特征、纹理特征、形状特征的 特征提取方法和特征归一化方法进行深入的研究。 第四章：提出了一种基于颜色特征的新算法，该方法结合兴趣点颜色特征和距离直 方图进行检索。通过检索结果与已有的相关算法进行比较，论证本算法的准确性，并且 对旋转和尺度变换的鲁棒性和有效性进行了检验。 第五章：研究了偏微分方程中的测地线活动轮廓模型算法结合h u 不变矩进行图像的 形状特征检索。并且与c a n n y 变换结合h u 不变矩的算法做比较，论证了这种算法的优点。 最后对本文的研究工作做了一下总结，并对未来的基于内容图像检索领域作了一下 前景展望。 5 西北大学硕士学位论文 第二章基于内容的图像检索基本技术 2 1图像检索系统的基本结构 一般的基于内容图像检索系统可以看作是介于信息查询用户和图像数据库之间的 一种人机交互平台。用户通过该平台从图像数据库中提取出满足某种检索要求的图像。 这类系统的通用框架可见图1 ，主要由五个模块组成，见图中虚线矩形框内。用户首先 选取示例图片，然后采取不同的图像特征提取算法如颜色、纹理、形状等特征及其组合 特征发出查询要求，检索系统将查询要求转化为计算机内部描述并借助这些描述与图像 数据库中信息进行匹配，按照相似度大小提供查询结果呈现给用户。 曼，。：。- ；。：- 。- 。二；。参 图1 基于内容的图像检索系统基本框图 在本文中，图像的平台采用v i s u a lc + + 6 0 为编程语言进行开发，数据库采用s q l s 9 1 v c ! r 2 0 0 0 ，采用a d o 技术访问数据库，应用自动化组件的技术动态添加特征生成和像检 索组件，该平台运行于w i n d o w sx p 操作系统上，可在实验室应用。下面介绍系统各个 模块的功能： 1 查询模块 由于用户可能会进行不同类型的查询工作，即用户会根据不同的图像内容描述子提 出不同的检索条件，所以查询模块要能接受用户不同的查询要求并对用户提供多样的查 询手段。通常包括的查询方法有利用采样图像查询、利用范例图像查询、利用局部图像 查询、利用绘制图像查询、利用图标查询和利用描述查询，前4 种方法基本上利用了视 觉范例来查询，而利用图标查询和利用描述查询主要是应用于高层语义查询。范例查询 7 西北大学硕士学位论文 的一个主要优点是用户不必提供对查询对象的详细描述，这些描述将由系统根据不同的 图像特征算法自动获取，在范例查询中用户都提供了个用作参考的原型图像，比较适 于表达视觉内容的低层或中层特征的感知面貌。在本文中主要利用采样图像查询，即选 择图像数据库中的图像作为查询图像。用户在检索中常要搜索同一类的图像，所以查询 可先从图像数据库中的采样图像出发，也可以在检索完成之后，选取检索结果中的图像 开始下一次的检索。 2 描述模块 其主要功能是将用户的查询要求转化为对图像内容的抽象描述。通过对图像的视觉 分析，用户便可以计算机方便表达的某种数据结构完成对建立对图像内容的描述。描述 模块涉及对图像视觉信息的分析与理解。 3 匹配模块 在基于内容的图像检索中，图像匹配是基于内容图像检索系统中的一个关键步骤。 在选取了特征之后，需要选择适当的判别准则，从而判断出待识别的图像的特征与数据 库中的哪些图像的特征最接近，符合用户的要求。 检索中的匹配模块所使用的方法与特征的描述方法密切相关，对匹配要采用一定的 计量或测量方法，可以采用心理学中能计量的空间距离来度量人类的相似感觉。设 墨，是，s ，为3 个刺激，则下面的计量定理成立【1 1 】： ( 1 ) 自相似性 d ( 墨，墨) = d ( 是，曼) ( 2 1 ) ( 2 ) 最小性 d ( 墨，最) d ( 墨，墨) ( 2 2 ) ( 3 ) 对称性 d ( 墨，是) = d ( ，墨)( 2 3 ) ( 4 ) 三角不等性 d ( 墨，岛) + d ( 曼，马) d ( 墨，岛) ( 2 4 ) 距离的计算公式有很多种，以下是目前在基于内容图像检索系统中常用的特征矢量 相似距离函数： 令x ，y 为两个向量，x i ，y i 分别代表向量x ，y 的第i 个分量，则两个向量之间的距离的表示 方法分别为： 8 西北大学硕士学位论文 ( 1 ) m i n k o w s 距离 l d ( x ，y ) = ( i 五- y , 1 7 ) 7 i - - 1 ( 2 ) m a n h a t t a n 距离，是r = l 的m i n k o w s 距离的特例。 d ( x ，y ) = l t 一乃i i = l ( 3 ) 欧几里德距离( e u c l i dd i s t a n c e ) d y ) = ( 2 5 ) ( 2 6 ) ( 2 7 ) 这是m i n k o w s 距离当r = 2 时的特例，其优点是在各点连续可微。欧几里德距离是最简 单的距离公式，也是在基于内容的图像检索系统中应用较广的距离公式。然而使用欧几 里德距离时要注意各特征分量的量纲。它完全不考虑向量各维之间的关系，而且各维必 须是同等重要的，这就大大影响其使用范围和有效性。 ( 4 ) 加权欧几里德距离 厅一 d ( 戈，y ) = 、w ( 而一乃) 2 ( 2 8 ) yi = l 加权欧几里德距离考虑了不同维之间的不同重要性。由于基于内容的图像检索系统 通常会抽取了大量的特征向量，不同特征向量的在检索中所占的比重是不同的，因此加 权欧几里德距离在基于内容的图像检索系统中应用很广。 ( 5 ) m a h a l a n o b i s 距离 d ( x ，y ) = ( i 雌 - x j i i ) 口j ( 1 4 q m j l l ) ( 2 9 ) i = oj - - - o 即马氏距离，a 矩阵是相应的协方差矩阵。当协方差矩阵a 为对角矩阵时，各个特征 分量就互相独立。马氏距离注意到样品的统计特性，排除了样品间的相关性影响，因此 是较为常用的距离。 ( 6 ) q u a d r a t i c 距离 d ( x ，y ) = ( 1 4 q - ) j i ) a ( i 删一h j l l ) ( 2 1 0 ) j - - oj = o 式中是特征i 和特征j 之间的相似因子，该距离类似于马氏距离，是为计算颜色直 方图的相似性而提出的。 ( 7 ) 直方图交集 9 西北大学硕士学位论文 m i n ( x i ，y e j ) d ( x ，y ) = 上l 育7 一 ( 2 1 1 ) m i ( e 娴，州) i - - 01 = 0 该距离只能用于直方图，当纹理用直方图表示时，也适合使用该公式。 当然，特征的相似度量不能完全按照相似距离函数计算，对不同的特征还应考虑人 的相应的主观相似感知特性。 4 提取模块 其主要功能是根据某一特征匹配的结果，在图像数据库中对相似度较高的图像定位 并自动地提取出来，按照相似性的大小排列以让用户使用。如果事先对图像数据库建立 了索引，这样在提取时就可提高效率。 5 验证模块 其主要功能是帮助验证提取出的图像能否满足用户查询要求。由于受目前的技术水 平和设备条件所限，在自动查询和提取的基础上，仍需要用户主观的考察检索结果，如 果认为检索效果不满意，可通过修改条件开始新一轮的查询。 6 图像数据库 基于内容检索的图像数据库是图像处理技术和数据库技术相结合的产物，它是传统 数据库技术的进一步的发展应用。在基于内容的查询系统中，图像的预处理和特征提取 是一件非常耗时的工作，一般情况下，会建立与各个检索特征对应的特征索引库：从图 像库中提取对象的某一特征，构建与之对应的特征索引库，在检索时，将待检索图像的 特征与特征索引库中的特征按照某种相似性准则进行匹配运算，从而找到所需的图像。 基于内容检索的图像数据库应用系统，应该能够提供可视化的查询，即通过提供检索图 像，由系统从数据库中抽取出所有可能匹配的图像按照相似度的大小排列并呈现给用 户。由于数据库的组织与管理技术要以最快捷、最有效的手段遍历图像库中的每幅图像， 进而找出所需图像。因此基于图像内容的查询是传统的数据库查询技术的增强，而不是 替代。 。 图2 是基于内容图像检索的图像数据库模块。该模块的作用是将图像进行特征提取 后存入到数据库中各个特征对应的表里。所显示的分别是原图、j p e g 转成b m p 后的灰度 图、经过c a n n y 变换后的二值图、提取的兴趣点图和三维的h s i 彩色图像转化为灰度值为 2 5 6 级的灰度图。根据不同的特征检索方式，在数据库中分别建立了基于颜色直方图的 l o 目北大学额学位论文 特征索引表、基于h u 不变矩的特征索引表、基于c 妯n 抛缘检测特征索引表、基于同心 圆环结合颜色矩算法的特征索引表和基于显著兴趣点颜色矩结台距离直方图算法的特 征索引表，以此来满足不同特征条件下的图像检索。 图2 田像数据库界面 2 2 图像检索系统性能指标和评价准则 在基于内容的图像检索中。需要对各种算法的检索结果进行评判，以保证在相同的 条件下拽出最佳算法。图像检索的日的是遍历图像数据库提取出所需要的图像，一般情 况下要考虑检索出来的相似图像的数量和捧序等级。下面是4 种“1 习常用的评价准则： i 壹全率和查准率 在评价检索算法的时，用户可以先选定某一类圈像作为相关图像，然后根据检索结 果计算查全率和查准率，如果查全率和查准率高，则说明该检索算法的效果越好，反之 越差。查全率是指检索结果中相关图像的数目r 和数据库中相关的所有图像数目r 的比 值，而查准率指检索结果中得到的相关图像数目r 与查询到的所有图像数目n 之比。即： p r e c s i o = 二n f 21 2 ) 西北大学硕士学位论文 re伽=二r(2131 2 有效性 要测量系统的有效性，需要一个较小的试验图像组。这些图像包含与查询图像不完 全相同的视觉要素，但又与查询图像属于同类图像，实验中可采取将查询结果与用户对 比的方法来评判系统的有效性。具体而言，对试验组中的每幅图像i 和每一个查询范鳓 确定一个以系统分配的序p - ，为中心宽度为s ，( 0 的窗，通过比较系统和人分别对第f 幅图像相对于查询范侈! ，的排序来推断检索的有效性。一个排序所用的测度可表示为： s j ( o = q j ( i ，j j ) ( 2 1 4 ) 1 2 弓( f ) 一o - ( i ) 这个测度值给出了将图像i 排在弓( f ) 一_ ( f ，- 与5 ( o + _ ( 订之间的人数躺) 的和，根据测 度值可比较检索效果的优劣。 3 检索效率性 对一幅给定的图像，设是图像库中与检索图像相关的图像总数，刀是检索出的相 似图像数，r 是系统检索出的总的图像数，则检索效率可定为： i 刀n t r l t = 刀肌二矗丁( 2 1 5 ) 4 匹配百分数 有一种实用的判别方法，例如给定一幅大小为5 1 2 5 1 2 的图像，选取两块不重叠的 2 5 6 * 2 5 6 子图像，其中的一幅作为查询图像，另一幅作为检索结果的目标图像，在理想情况 下，目标图像应该排在检索结果中的第一位。然而，在实际中很难要求检索算法每次都 能把目标图像排在第一的位置，故定义： m p = 筹o ( 2 1 6 ) 其中，n 是数据库中目标图像的总数，r 代表在检索结果中的排位。 2 3 本章小结 本章主要介绍了基于内容图像检索系统基本技术，再给出系统框架的前提下，详 细的描述了系统各个模块的功能及其在本文中应用的相关技术，最后详细讨论了基于内 容图像检索的系统性能指标和评价准则。 1 2 西北大学硕士学位论文 第三章图像的特征提取和表示 图像内容的描述是基于内容图像检索的基础。本章主要介绍反映图像内容低层物 理特征的颜色、纹理、形状特征的提取方法，最后讨论了特征的归一化问题。 3 1 颜色特征 3 1 1 颜色特征的描述 颜色征是人类感知和区分不同物体的一种基本视觉特征，世界上每一物体都有其固 有的颜色特征，颜色特征非常稳定，对于旋转、平移、尺度变化，甚至各种变形都不敏 感，表现出相当强的鲁棒性。是基于内容图像检索中最常用的特征。在图像的自动分析 中，颜色是一种能简化目标提取和分类的重要描述符。颜色模型指的是在计算机技术 中运用软件分析所显示的颜色类别及色差颜色，一般称为“颜色空间。颜色模型主 要有r g b 颜色模型、c m y 颜色模型、h s v 颜色模型、h s i 颜色模型、l a b 颜色模型 等【”】。下面仅讨论本文中用到的两个模型：r g b 颜色模型和h s i 颜色模型。 r g b 由红绿蓝三原色组成，对应于监视器的三个刺激值，组成三维正交坐标系， 任何色彩都落入r g b 彩色立方体内。h s i 模型由色调( h u e ) 、饱和度( s a t u r a t i o n ) 、亮度 ( i n t e n s i t y ) 三个互不相关的属性组成。常需要把r g b 空间转换成h s v 空间，对任何3 个 在 0 ，1 】范围内的r ，g ，b 值，h s i 颜色模型与r g b 颜色模型之间有如下关系： h = 一s f 竺丝型型! ) _ 一 2 x ( r - g ) 2 + ( r - b ) ( b g ) 。 s - 1 一志吣( 印，硼 ( 3 1 ) ，= 三( 尺+ g + 曰) 由于r g b 颜色模型不能很好的反映人的视觉对色彩的感知，因此在彩色图像的分 析与处理中较少使用该模型。通常是将r g b 颜色模型转换成能较好地反映人对色彩感 知的颜色模型，如h s i 颜色模型或y c r c b 颜色模型，然后再进行颜色特征的分析与处 理。下面讨论几种典型的图像颜色特征的提取与匹配方法： 1 3 西北大学硕士学位论文 1 颜色直方图 颜色直方图( c o l o r h i s t o 莎锄) 是使用最广的特征【1 4 】。它所描述的是不同颜色在整幅 图像中所占的比例，而并不关心每种色彩所处的空间位置。颜色直方图描述了图像 中的全局和局部颜色分布，既易于计算叉非常有效，而且对图像中的对象的平移和旋转 变化不敏感。颜色直方图特别适于描述那些难以进行自动分割的图像。但是它的缺点 也很明显：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，并且随着直 方图的级数的增加，相应计算量就会明显增加，这样对大图像库就不太适合。 计算颜色直方图需要将颜色空间量化成若干个小的颜色区间，每个区间成为直方图 的一个柄m 蛐。通过统计颜色落在每个小区间内的像素数量可以得到颜色直方图。颜色 直方图的横坐标表示颜色经过归一化后的值，纵坐标表示每个区间中所对应的图像像素 的数量。记s ( x i ) 为图像p 中某一特征值为x i 的像素的个数，对s ( x i ) 做归一化处理，即： 悱端 ( 3 2 ) 2 累积颜色直方图 当颜色特征并不能取遍所有取值时，在统计颜色直方图时会出现一些零值，这些零 值对计算直方图的相交带来很大影响，使得计算的结果不能正确反映两幅图像之间的颜 色差别。为解决上述问题，可利用累积直方图法【1 5 l 。 累积颜色直方图法是将颜色直方图中每个分量进行逐步累加，生成新的直方图，利 用新的直方图进行图像的相似匹配，累积直方图能大大减少原来统计直方图中出现的零 值数量，使两种颜色在特征轴上的距离将保持与它们之间的相似程度成正比，表示如下 m ) = 窆吾k - - o ，1 ，l ( 3 3 ) 上式中k 代表图像的颜色特征的取值，l 特征可取值的个数，n 。是图像中具有特征值为k 的象素的个数，n 是图像象素的总数。 累积直方图能体现信号在分布轴上各抽样点的相关性，即分布轴上相对某个抽样点 距离越近的点，在某种特定意义上就越相似于该点，但是累积直方图能体现这个性质的 前提是信号本身在特征分布轴上距离小的两点要比距离大的两点更相似。由于这个因 素，可以采取局部累积直方图算法，即把色度沿分布轴分成若干个局部区间，而在各个 局部区间内分别应用累积直方图算法。 1 4 西北大学硕士学位论文 3 颜色矩 颜色矩( c o l o rm o m e n t s ) 是s t r i c k e r 和o r e a g o 等提出的另一种简单而有效的颜色特征 提取与匹配方法。该方法适用于图像中有较大颜色差别的图像库。颜色矩的思想是图像 中的颜色分布可以用它的矩来表示。由于颜色分布信息主要集中在低阶颜色矩中，因此 仅采用颜色的一阶中心矩、二阶中心矩和三阶中心矩就可以表达图像的颜色特征【1 6 1 。它 们分别表示图像的平均颜色、标准方差和三次根非对称性。该方法的另一个好处在于： 它无需对颜色特征进行向量化。其表示如下： 胪i a e je j p , r 仃= 1 e 莩( 岛一) 2 “2 ( 3 4 ) s = 薛p l 3 其中，a 代表图像像素总数，p 代表彩色h s i 图像经过合成后的一维灰度图像在二维 空间坐标( i ，j ) 处的像素值。该方法用于颜色匹配比直方图具有更好的鲁棒性，但因为没 有考虑像素的空间位置，该方法仍存在着精确度和准确度不足的缺点。 4 颜色集 s m i t h 和c h 锄g 等人提出颜色集概念作为表示图像颜色特征的技术。颜色集是对颜色 直方图的一种近似。颜色集是m 维二值空间中的一个二值指示向量，其值指示在图像中 是否出现符合某种特定条件的颜色，1 表示出现， 0 表示不出现。在该方法中，首 先将图像从r g b 颜色空间转化成视觉均衡的颜色空间( 如h s v 空间) ，得到一个具有m 种颜色输出的颜色量化函数，每种颜色在m 维的二值指示向量中占一位。然后，用色彩 自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引， 为每一种颜色确定一个阈值，如果图像中属于此颜色的像素达到了此阈值，则相应二值 指示向量的对应位置置为，1 ，否则置“0 。从而将图像表达为一个二进制的颜色索 引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系。事实上， 颜色集只是一种表示方式，它等价于阈值直方图。因为颜色集表达为二进制的特征向量， 可经构造二分查找树来加快检索速度，这对于大规模的图像集合十分有利。 日北大学颈学位论文 3 12 颜色特征检索结果分析 本实验主要对颜色直方图、累积颜色直方图、颜色矩以及颜色集四种颜色特征的查 全率和套准率进行比较所采用的相似性度量方法为欧几里德距离。在颜色直方图计算 中，选用h s i 模型分别对h ，s ，i - - 个分量进行置化，即把色调分为1 6 份，饱和度分为 4 份，亮度分为4 份，将三维的h s i 彩色图像转化为灰度值为2 5 6 级的维分量k 然后将 颜色空间量化为等间隔的1 6 个区间分别统计落在各个区间中的值，这样就形成了一个 1 6 维的颜色特征向量，这样就可以用这1 6 维的颜色直方图表示一幅图像进行检索。 图3 是基于颜色直方图特征的检索结果示例。左上角的图像为检索示例图像，检索 结果按照相似度的大小从左向右、从上向下依次捧列检索结果中排在第一的是示例图 像本身。其余三种检索方法与结果与颜色直方图类似，实验结果见下表l 。 图3 基于颜色直方圈特征的图像检索示倒 从表1 中数据可以看出，在同样检索条件下，四种颜色特征提取方法的检索效果有 所不同。其中，颜色矩的方法稍好于其它三种方法。当然，上述各个颜色特征提取算法 方法有各自不同的适用情况。比如颜色直方图，主要统计不同颜色所占比例，所以