（通信与信息系统专业论文）融合多种特征的图像检索技术研究及系统实现.pdf

摘要 随着计算机技术及网络技术的发展，人们越来越多地接触到大量的图像信息，促使 c b i r 成为当前的一个热门研究课题。基于内容的图像检索是从图像中分析抽取其特征 来衡量图像之间的相似程度，目的是为了有效地组织、管理和检索大规模的图像数据。 本文对基于内容图像检索技术做了研究，首先介绍了其研究背景和意义，概述了其 研究现状和关键技术，并对国内外著名的图像检索系统及其应用领域进行了总结和论 述。详尽地介绍了颜色、纹理、形状、边缘及空间特征提取方法，同时也阐述了特征匹 配的方法。在分析多特征算法的基础上，提出了一种综合颜色、纹理和边缘特征相结合 的算法。通过与其它经典图像检索方法的比较，验证了算法的可行性，也说明了综合利 用多种特征检索方法比利用单一特征要好。 文中设计并开发了算法测试平台及基于内容的图像检索实验原型系统，是一个实验 性的框架系统。实现了几个经典的其于内容的图像检索算法，并对提出的综合多特征的 检索算法进行验证。实验证明，该系统具有较好的检索性能。 最后，对本文的工作进行了回顾，给出了其主要的研究工作，提出了进一步的研究 展望。 关键词：图像检索；特征提取；边缘特征；相似性度量 a b s t r a c t 渐坊曲ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n dn e t w o r kt e c h n o l o g y , m o r ea n d m o r e i m a 2 ei n f o m l a t i o nk nb e e nc o n t a c t e db yp e o p l e s w h i c hm a k e sc o n t e n t - b a s e di m a g e r e t r i e v a lf ，c b i r ) a l la c t i v er e s e a r c ha r e ai nr e c e n ty e a r s c b i ri sa n a l y s i n gc h a r a c t e r i s t i co i m a g e st oj u d g i n gt h es i m i l a r i t yo ft w oi m a g e s a n dt h ep u r p o s eo fc b i r i st oo r g a n i z e ， m a n a g ea n d s e a r c hh u g ei m a g ed a t ae f f e c t i v e l y t h i sp a p e rm a k e st h er e s e a r c hi n c b i rt e c h n o l o g y f i r s t l y , t h eb a c k g r o u n da n d s i g n i f i c a n c e o fr e s e a r c hi nc o n t e n t e d - b a s e di m a g e r e t r i e v a la r ei n t r o d u c e d t h ek e y t e c h n 0 1 0 9 ya n dc u r r e n ts i t u a t i o na r ed is c u s s e d a n d t h ef a m o u si m a g er e t r i v e a ls y s t e m sa n d i t sa p p l i c a t i o nf i e l dh a v eb e e ns u m m a r i z i n gi nh o m ea n da b r o a d w ei n t r o d u c e dt h em e t h o d s o fe x t 托l c t i n gc o l o r , t e x t u r e ，s h o e ，e d g ea n ds p a c ef e a t u r e o n t h eb a s i so fa n a l y l n g m u l t i f e a t u r e sa l g o r i t h m s ，w ep r o p o s e dam e t h o dw h i c hc o m p o s e s o fc o l o rf e a t u r e ，t e x t u 化 f e a t u r ea n de d g ef e a t u r e t h ec a p a b i l i t i e so ft h i sa l g o r i t h mi st e s t e da n dc o m p a r e d w i t hs o m e o t h e rc l a s s i c a la l g o r i t h m s i ta l s om a k e ss e n s e st h a tc o m p o s e so fm u l t i 。f e a t u r e sg e tg o o d r e s u l tt h a ns i n g l eo n e ac b i rs y s t e mf o rt e s t i n gr e t r i e v a la l g o r i t h m si sd e v e l o p e d i nt h i sp a p e r , w h i c hi sa n e x p e r i m e n t a l f r a m es y s t e m t h ep l a t f o r mh a v i n g r e a l i z e ds e v e r a lc l a s s i c sa l g o r i t h mo f c o n t e n t - b a s e di m a g er e t r i e v a la n dh a v i n gi m p r o v e da l g o r i t h mb a s e d o nt h em i x t u r eo fm a n y c h a r a c t e r i s t i c s t h er e s u i t so ft h ee x p e r i m e n t sa r es a t i s f y i n gt h es y s t e mo f t h i sp a p e rh a st h e f a i r l yg o o dr e t r i e v a lf u n c t i o n i nt h ee n do ft h i sp a p e r , t h em a i nw o r ko fo u rr e s e a r c h i sr e v i e w e d ，t h em a i np r o b l e m sa n d t e c h n i q u e si nt h i sf i e l da r ea n a l y z e da n d t h ef u t u rd i r e c t i o no fd e v e l o p m e n ti ss u g g e s t e d k e yw o r d s ：i m a g er e t r i e v a l f e a t u r ee x t r a c t i o n ，e d g ef e a t u r e ，s i m i l a r i t ym e 弱e m e n t 海南大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所早交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。 除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律结果由本人 承担。 论文作者签名： 高必、日期：知哆年月r 日 学位论文版权使用授权说明 本人完全了解海南大学关于收集、保存、使用学位论文的规定，即：学校有权保留并向国家有 关部门或机构送交论文的复印件和电子版，允许论文被奄阅和借阅。本人授权海南人学可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。本人在导师指导下完成的论文成果，知识产权归属海南大学。 保密论文在解密后遵守此规定。 论文作者签名：高姒 日期：砷年占月岁日 导师签 日期： 日 本人已经认真阅读“c a l l s 高校学位论文全文数据库发布章程9 9 9 同意将本人的学位论文提交 “c a l l s 高校学位论文全文数据库”中全文发布，并可按“章程”中规定享受相关权益。回蜜迨塞 握銮丘鲎丘：旦圭生i 旦= 生；旦二生蕉鱼。 论文作者签名：高三硅j 手、 日期：加1 7 年月岁日 导师签 日期： 1 绪论 1 1 研究背景及意义 随着计算机软硬件和国际互联网技术的飞速发展，多媒体数据的数量也以惊人的速 度增长。除了互联网以外，信息数字化技术给人们使用信息带来方便的同时，也面临着 如何有效地管理海量数据的问题。在各种多媒体数据中，各行各业对图像的使用越来越 广泛，图像信息资源的管理和检索显得日益重要。图像数据库的研究将对多媒体数字图 书馆、医学图像管理、卫星遥感图像和计算机辅助设计和制造、地理信息系统、罪犯识 别系统、商标版权的管理等等方面提供了有力的支持。图像数据库研究的核心技术是图 像检索，是近年来海量信息处理已经面临的“瓶颈”。如何有效地组织、管理和检索大 规模的图像数据库成为迫切需要解决的问题。各种各样应用需求的出现，使得图像信息 的有效检索成为迫切需要解决的问题。基于内容的检索是最具有本质性的，已成为国内 外研究的热点，并将成为2 1 世纪初必须攻克的关键技术之一。 传统的图像检索是基于文本方式【l 】的，由于计算机视觉技术的不成熟，达不到对图 像描述文本和语义信息的自动提取，而人工提取一方面费时，另一方面带有主观性，于 是人们提出了基于内容的图像检索( c b i r ，c o n t e n tb a s e di m a g er e t r i e v a l ) i 2 】【3 】f 4 】技术。这一 技术它的思路是：从图像中分析抽取其特征来衡量图像之间的相似程度。图像的特征包 括底层视觉特征和高层语义特征。视觉特征有颜色，纹理，形状，空间联系等及其它们 的组合；语义特征关心图像实体和客观世界实体的关系，或者视觉符号和场景事件，感 受和意图的联系，是基于内容的图像检索所要达到的最终目标。然而当前的计算机视觉 技术能够从图像的自动提取的大多是底层视觉特征。基于内容的图像检索技术它克服了 传统检索方法的缺陷，具有无法比拟的优越性，因此成为当前的研究热点。 1 2 基于内容的图像检索 基于内容的图像检索技术旨在对图像视觉特征提供强有力的描述，实现图像视觉特 征的结构化，最终达到用户对这些图像资源自由访问的目标。它是一门涉及面很广的交 叉学科，包括模式识别、计算机视觉、人工智能、数字信号处理以及多媒体数据库等相 关技术，它具有如下特点： 直接从图像内容中提取信息线索，基于内容的图像检索直接对图像进行分析和 特征提取，利用这些描述图像内容的特征来建立索引。图像特征提取和索引的建立，可 以由计算机自动完成，从而避免了人工描述的主观性，也大大减少了工作量。 基于内容的图像检索实质上是一种近似匹配的技术。在数据库中，需使用模式 识别的方法对图像库中的图像按不同索引特征分类。在检索过程中，它采用某种相似性 度量标准对图像库中的图像进行匹配，以获得检索结果。 整个检索过程是一个逐步逼近和相关反馈的过程。基于内容的图像检索系统应 具有很强的交互能力，用户可以参与整个检索的过程，这种交互性增加了用户表达查询、 评价查询结果以及基于这些评价上进一步检索的能力，从而可以使得检索结果更加接近 用户的需求。 1 2 1 研究现状 图像作为一种日常生活中表达最直接、应用最广泛的多媒体信息，人们从一幅图像 中可以获得很多有用的信息，而图像信息检索的就是建立在图像内容特征提取的基础上 的，因此，如何有效地描述图像的内容是图像信息检索的关键。图像的内容可以被描述 为三个不同层次上的含义1 5 j ，即可以把图像内容理解为一个简化了的三层模型结构，如 图1 1 所示： 第3 层：语义特征层 ( 人们对图像中内容的概念级反映) t 第2 层：物理特征层 ( 图像的颜色、纹理、形状等低层特征) j l 第1 层：原始数据层 ( 图像的原始像素点) 图1 1图像内容的层次 第一层为原始数据层，即图像中的原始像素点所代表的一些数据信息。 第二层为图像的底层视觉特征层，它是人们从视觉感官上觉察出来的图像属性，在 概念上表现为一些低层次的图像特征( 如颜色、纹理、形状、图像中对象间的空间关系 等) 。使用合适的图像处理方法，计算机可以自动地、有效地提取出图像中的一些感官 特征，从而完成对图像视觉内容的抽象。 第三层为图像的语义特征层，它属于人类认知领域的图像属性。是人们对图像内容 概念级的反映，一般是对图像内容的文字性描述。 目前，图像检索所用到的图像特征大多属于第二层和第三层特征，比如颜色、纹理、 形状、轮廓等底层视觉特征和图像的语义特征。对于图像底层视觉特征的提取主要通过 计算机视觉和数字图像处理与分析技术来完成，而目前对于图像语义的获取主要有三种 来源，分别是基于知识的语义提取、人工交互语义提取以及利用外部信息源的语义生成。 本文主要研究的图像的内容描述主要是基于第二层特征的，即图像的底层视觉特征( 比 如颜色、纹理和形状等) 。 2 颜色特征作为图像的最基本特征，定义比较明确，抽取也相对容易，所以基于颜色 特征的图像检索得到广泛的重视。对于颜色特征的表达方法有许多种，如s w a i n 的颜色 直方图法，s t r i c k e r 提出的累积直方图法和颜色矩法，m e h t r e 提出的参考颜色表法等。 纹理特征是所有物体表面固有的一种特性，其特征分析方法主要有共生矩阵分析 法，马尔可夫分析法，多尺度自回归模型以及小波变换法等。t a m u r a 等人提出了纹理特 征的表达的6 种属性，分别是粗糙度、对比度、方向度、线相似性、规整度和粗略度1 6 l 。 2 0 世纪9 0 年代初期，许多研究者开始用小波变换来表示纹理，如r a n d e n 对变换特征 的纹理分类进行综述【7 】o h a n i a n 比较了马尔可夫表示法和共生矩阵4 种纹理表示法， 结论是共生矩阵方法最好【8 】；m a 等用不同的小波变换来分析图像的纹理，其中包括正 交和双正交小波变换，树结构小波变换，g a b o r 小波变换，结论是g a b o r 小波变换最好， 也最符合人的视觉结梨9 1 。 形状是一种重要的图像特征，它常与目标联系在一起，有一定的语义含义，因而形 状特征可看作是比颜色和纹理更高层一些的特征。形状表示可以分为基于轮廓的形状和 基于区域的形状。前者只利用形状的外围边界，后者则用的是整个形状区域。基于轮廓 的方法有系列码、形状信号、多边形近似、自回归模型、傅罩叶算子和曲率尺度空间等 方法，这些方法揭示了形状边界信息，形状边界信息对于人类在视觉上判断形状相似性 是至关重要的；基于区域的方法有几何参数法、不变矩法和面积法，这些方法揭示了形 状内在信息，因此被广为应用。最成功的是傅罩叶算子和不变矩法，可以表示这两类形 状。 1 2 2 关键技术 在c b i r 系统中，主要针对图像自身的内容特征，涉及到数据库技术、图像处理、 模式识别等学科的各种方法，因此要使其理论与应用快速而有效地发展需要着重解决以 下几项关键技术： ( 1 ) 基于内容检索的图像数据库结构和各种索引技术 图像检索中，首先要分析图像，对其中的内容进行形式化表示，即建立图像索引。 首先要建立颜色、形状、纹理等图像视觉特征的数据模型，另外还要解决图像内容描述 的主观性太强以及二维像素阵列表示的物理层次与信息内容之间的“语义鸿沟 问题， 实现从物理内容到信息内容的映射。 ( 2 ) 图像分析及其特征的提取 图像特征提取是c b i r 技术的关键，有效的特征应该具有直观意义，区分能力强， 计算相对简单。以往的研究大多从颜色、纹理和形状的模式匹配角度处理这个问题，但 是从用户的角度来讲，相似性是一个非常主观化的评价准则，用户对图像的感知关系到 视觉、心理等等方面，用量化的距离标准来测试两幅图像的相似度仍会出现令人意想不 到的结果，如颜色直方图相近而图像内容各异的现象。目前需要做的工作主要是如何提 取更加能够有效表述人对图像感知的特征，使得这些底层视觉特征与图像的含义关联得 更紧密。 ( 3 ) 图像内容的相似度量方法 任何一个领域中的技术研究都需要有与之相对应的一套评价标准，好的评价标准将 引导这一领域沿着正确的方向发展。如何评价检索的实现结果是c b i r 里的一个关键问 题，基于内容的检索是一种近似匹配，在检索过程中，它采用相似性匹配的方法获得查 询目标的结果，而特征相似关系的理论研究通常使用几何模型，将图像的特征看作是坐 标空间中的点，两个点的接近程度通常用它们之间的距离表示。 ( 4 ) 图像的相关反馈检索技术 目前，基于内容检索的图像数据库中存在的一个主要问题是现有的检索方法都是以 计算机为中心，使得一些查询结果计算机认为相似而人却认为是不相似的，要解决这个 矛盾，一方面要对上面的检索方法进行改进，另一方面就是增进人机之间的通信，计算 机将查询的信息反馈给用户，用户将对查询结果的评判信息反馈给计算机优化查询果。 ( 5 ) 基于内容的图像检索效果评判 在基于内容的检索中，由于检索算法比较多，需要对各种算法的检索结果进行评判， 以比较其优劣。研究检索算法的评价方法能够在相同的条件下找出最佳算法，使不同的 检索方法能更好地改进和提高，以使基于内容的检索方法向更好的方向发展。目前，对 于系统的响应时间和吞吐量的评价论述得较少，对检索效果评价更多地放在对检索结果 的正确与否，主要使用的是查准率和查全率两个指标。 1 3 基于内容的图像检索系统及其应用领域 1 3 1 检索系统 随着基于内容的图像检索研究的进行，已经出现了许多研究成果，文献【l o 】【1 1 1 【1 2 1 对 其中的一些成果做了回顾。下面简单介绍一些图像检索系统。 i b m 的q b i c ( q u e r yb yi m a g ec o n t e n t ) 系统【1 3 】是第一个商业化的基于内容的图像检 索系统，它的系统框架和结构对后来对图像检素系统具有深远的影响。它的系统结构包 括图像人库、特征计算、查询阶段三部分组成，支持基于例子图像、手绘略图、选择的 颜色、纹理等的查询。q b i c 的基于内容检索的技术已经制成独立产品，如i b m 数字图 书馆、超媒体管理器、d b 2 数据库的图像扩展等工具软件。 v i r a g e t l 4 】公司开发的v i r a g e 是一种基于内容的图像搜索引擎。与q b i c 相似，支持 基于颜色、颜色布局、纹理和结构( 对象边界信息) 的可视化查询。但v i r a g e 比q b i c 更进一步，它也支持由上述四个原子查询的任意组合。v i r a g e 技术的核心是v i r a g ee n g i n e 以及在图像对象层上的操作。v i r a g ee n g i n e 主要有3 方面的功能：图像分析、图像比较 和图像管理。它将查询引擎作为一个插件，它即可作用到通用的图像查询，也对其进行 扩展并应用到特定的领域。 4 n e t r a 系列【l5 】：n e t m 系列的系统是u c s b 大学开发的基于图像分割的检索系统。它 从分割后的图像区域中提取颜色、纹理、形状和空间位置信息，并利用这些信息从数据 库中查找相似的区域。n e t r a 在研究方面的主要特点是采用了基于g a b o r 滤波器的纹理 特征，基于神经网络的图像辞典结构和基于边缘流( e d g f l o w ) ( n e t r a l 系统中) j s e g ( n e t r a 2 系统中) 的图像分割方法。 b l o b w o r l d l l 6 j ：b l o b w o r l d 是由加州大学b e r k e l e y 分校开发的基于图像分割的检索系 统。该系统能够将原始像素点转换到在颜色和纹理空间中局部相关的一组区域。该系统 的一个重要特点是用户可以清楚地看到提交的示例图像和查询结果图像的内部表达方 式。查询图像时，系统首先将示例图像的分割结果提供给用户，用户提交查询的同时， 可以定性的规定所选区域的重要性，其他区域的重要性，以及该区域各种特征( 颜色、 纹理、形状、位置) 的重要性。这样一来用户就可以知道为什么一些不相似的图像会被 检索出来，从而可以对查询做出相应的调整。 si m p l i c i t y l l7 j ：s i m p l i c i t y 最初是由s t a n f o r d 大学开发的基于图像分割的检索系统。 该系统采用k 均值方法对图像进行分割，检索时，与n e t r a 和b l o b w o r l d 系统不同，它 不针对图像中某块区域进行检索，而是利用图像中所有的区域信息对全图进行比较，从 而降低了分割不准确性带来的影响。在该系统中，还采用了语义分类的方法对图像进行 分类，以便使得适用于每一分类的基于语义调整的搜索方法能够被应用，同时，还可以 将搜索范围缩小为原图像数据库的一个子集，从而加快检索速度。 m a r s 1 8 j ：m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 是由伊利诺斯大学 u r b a n a c h a m p a i g n 分校开发的。m a r s 的特点是综合了数据库管理系统和信息检索的结 合、索引和检索技术的融合、计算机与人的结合。m a r s 的研究重点并不在于要找到单 一的最好的特征描述，而是在于如何把多种特征组织到一个可以动态适应于不同需求的 检索机制中。m a r s 首先在图像检索领域正式地提出了一个相关反馈的结构体系，并且 在检索的不同层次结合此技术，包括查询向量的优化自动匹配工具的选择和图像特征权 重的自动调整。 随着图像检索技术研究的不断深入，还出现了许多其他的c b i r 系统或框架【1 9 1 【2 0 】。 由于c b i r 系统涉及面广泛复杂，相关理论研究尚不成熟，因此还将存在不少的挑战并 面临着很大的发展机遇。 1 3 2 应用领域 基于内容的图像信息检索具有广泛的应用领域，例如： 遥感和地球资源信息的管理和共享； 电子图书馆、艺术博物馆、远程教育； 医学分析、研究和远程医疗系统，特别对远程会诊，基于内容的图像查询可提 高效率并节省大量的网络传输费用； 专利检索、商标注册管理； 人口户籍管理、档案查询，以及公安、安全监视系统； 数字视频的协同生产和编辑以及传输播发； 地图地理信息系统、地理事件分析； 军事侦察作战等应用； 服装设计：服装设计师可根据其设计的要求提出需要的图案进行选择； 建筑设计、内部装演。 以上各领域的成功应用表明，在现实生活中需要大量的基于内容的图像检索系统。 随着图像获取方式的改善和增加、各类图像库的建立和扩展，这种需求将变得更为迫切。 1 4 本文的研究内容及组织结构 由于基于内容的图像检索技术涉及了模式识别、计算机视觉、人工智能、数字信号 处理以及多媒体数据库等领域，本文在系统学习了基于内容的图像检索相关领域关键技 术的基础上，主要侧重于对图像特征提取算法的研究和实现。 本文共分6 章，各章的主要内容如下： 第1 章阐述了基于内容的图像检索技术的研究意义和选题背景；介绍了基于内容的 图像检索的研究现状及关键技术；并对国内外著名的图像检索系统及其应用领域进行了 总结和概述。 第2 章介绍了图像特征的提取。对基于内容的图像检索的特征提取中的颜色、纹理、 形状、边缘及空间特征的各种算法进行了介绍；着重提出了边缘特征的提取算法；并对 不变矩法和边缘方向直方图法进行实验分析。 第3 章介绍了图像特征的匹配。对相似性度量技术进行了说明。 第4 章介绍本章首先对特征向量归一化理论以及融合多种特征的图像检索技术进行 了深入研究；并实现了综合中心矩法，灰度共生矩阵法和边缘方向直方图法来提取图像 特征进行图像检索的方法；最后，通过实验对其检索方法的检索性能进行了比较分析。 第5 章设计了一个基于内容的图像检索的原型系统，主要是作为本文算法的测试平 台，同时也实现了一些经典的颜色、纹理、形状的检索算法。这是一个实验性的框架系 统。首先介绍了系统的框架结构，然后对系统各个模块进行描述，并详细说明实现过程。 第6 章总结本文的研究工作，并对今后的工作做出了展望。 6 2 图像的特征提取 图像特征提取是基于内容图像检索技术的核心，尽管各类图像偏向的特征不同，有 的颜色特征明显，有的纹理特征明显，有的形状特征明显，目前并没有一种通用的有效 的方法来表示所有的图像，而且己有的方法也各有优劣。但是，如何提取一些有效的图 像特征描述以便于检索和存储却有着实际的研究价值。典型的视觉特征包括颜色、纹理 和形状。 2 1 颜色特征 颜色特征是在c b i r 中应用最为广泛的视觉特征【2 1 】【2 2 1 ，因为颜色和图像中的物体或 场景十分相关。而且，与其他的视觉特征相比，颜色具有一定的稳定性，颜色特征对图 像本身的尺寸、方向、视角的依赖性较小。并且，在很多情况下，颜色是描述一幅图像 最简便、最有效的特征。 2 1 1 颜色模型 基于颜色的图像检索，其中比较关键的是选取合适的颜色模型，这将关系到颜色特 征的相似性比较和检索的结果。目前常用的颜色模型可分为两类2 3 】：一类是面向诸如彩 色显示器或打印机之类的硬件设备，另一类面向以彩色处理为目的的应用。面向硬件设 备的最常用的颜色模型是r g b ( r e d 、g r e e n 、b l u e ) 模型，面向彩色处理的最常用的模型 是h s i 模型，其中h 表示色调( h u e ) ，s 表示饱和度( s a t u r a t i o n ) ，i 表示亮度( i n t e n s i t y ) 。 这两种颜色模型也是图像处理技术中最常见的模型。 ( 1 ) r g b 模型 由于自然界中的任何一种颜色都可由红、绿、蓝三种颜色来确定。由此，红、绿、 蓝三种颜色被称为人类视觉的三基色，构成一个r g b 颜色表示系统。r g b 颜色模型是 基本的颜色模型，也是最直接的表示颜色的方法，它用红、绿、蓝来表示一种颜色。其 数学描述是，r g b 基于迪卡尔坐标系统，3 个轴分别为r 、g 、b ，来表示，对应空间 中三个分量所构成的一个空间点。在这个模型中，原点处3 个分量均为0 ，代表黑色； 与之相对的立方体的离原点最远处的顶点处三个颜色分量均为1 ，表示白色；这两点连 线即立方体的对角线上的三个颜色分量的含量相同，代表由黑到白的灰度值，为灰度线； 立方体的其余六个顶点分别代表光的三基色和三补色；立方体内的其余各点都可以分解 为三个坐标用r 、g 、b 三个颜色分量来表示。这个单位立方体就包括了所有的由红、 绿、蓝三个基本颜色构成的颜色。如图2 1 所示。 g f 州缘) l ； b h c 颤熏) b t i 鳆匿) 图2 1r g b 模型 ( 2 ) h s i 模型 h s i 模型是面向感知和彩色处理最常用的模型，由m u n s e l l 建立的。这个模型基于 两个重要的事实：一是1 分量与图像的彩色信息无关；二是h 和s 分量与人感受颜色的 方式紧密相连。这些特点使得h s i 模型非常适合于借助人的视觉系统来感受彩色特征的 图像处理算法。h s i 模型的空间坐标系统如图2 2 所示。 _ 图2 2h s i 模型 色调h 由颜色的名称来辨别，如红、橙、绿，它用角度一1 8 0 。1 8 0 。或0 。3 6 0 。来 度量；饱和度s 指颜色的深浅，例如同样是红色，也会因浓度不同而分为深红和浅红， 它也用百分比来度量，从0 到完全饱和的1 0 0 。亮度i 是颜色的明暗程度，通常用百 分比度量，从黑0 到白1 0 0 。对其中任意一点p ，其h 值对应指向该点的向量与水平 轴的夹角，s 值对应指向该点的向量的长度，i 值对应该点所在平面距离最下端黑色点 的距离。从图像中得到的一般是像素的r g b 值，r g b 值可以很方便的转换成h s i 值， 转换公式如下： 1 i = 妄( 尺+ g + b ) ( 2 - 1 ) j r h = s = 1 一i 羔m i n ( r ，g ，b ) r + g + b ?j 尘丝坚坠gbarccos= = = 三= = = = = = 二= = = 兰= = = = = = = = = = = = = 2 2 x ( r - g ) 2 + ( 尺一b ) ( g - b ) 2 ，r - a r c c o s 丝望丝坚坠g 0 ，对于实体a ，b ，c ，d 和它们的特征集a ，b ，c ，d ， 有如下公式： s ( a ，6 ) s ( c ，d ) s ( a ，6 ) s ( c ，d ) ( 3 - 1 5 ) s ( a ，b ) = f ( a n b ) - a f ( a b ) - f l f ( b - a ) ( 3 - 1 6 ) 其中f 是_ 个反映特征显著性的函数，它主要是用来衡量指定特征对相似度的贡献。 当口时，相似函数是不对称的。t v e r s k y 的理论扬弃了几何模型下相似性度量的优缺 点，提出了一个广泛的理论衡量方法。特征对比模型法只适合那些特征明显的对象，而 且对于f 函数的表示形式并不是唯一的，在具体的应用环境中还需要进一步的明确。 3 2 2j e f f r e y d i v e r g e n c e 度量法 j e f f r e y d i v e r g e n c e 度量【3 8 】也是一种非几何度量法，它具有很好的稳定性、均衡性和 鲁棒性。非几何相似性度量不再满足距离定义，正因为如此，它在复杂匹配算法中的统 计意义上表现出很强的鲁棒性，而且从心理学角度来看，也更近似于人类视觉的相似性 判断，j e f f r e y d i v e r g e n c e 度量函数定义为： d ( x ，) = 薯牛l o g 2 x , ( x ，+ m ) 】+ m 幸l o g 2 y 。( t + 只) 】) ( 3 - 1 7 ) 综上所述，图像特征的相似性度量方法种类繁多，而且对于不同的图像特征采取不 同的相似性度量方法可能得到完全不同的检索效果，如何选择一种合适的相似性度量方 法是图像相似度匹配的关键。所以，相似性度量仍然是图像检索技术研究中的一个重要 的问题，心理学研究表明，人对图像感知的相似性度量和目前使用的距离度量存在很大 的差异，也是导致检索效果不理想的重要原因之一，寻求一种便于计算而且更加符合感 知相似性度量的数学模型是提高图像检索性能的关键。 4 融合多种特征的图像检索技术 由于图像数据库中的图像千差万别，而颜色特征，纹理或形状特征只能描述图像的 某一方面的特征，包含的图像内容信息也比较片面，如果只是采用单一特征进行图像检 索往往还不能满足用户的检索需求。于是为了提高图像检索性能，研究人员考虑融合多 种特征进行图像检索即综合利用颜色、纹理、形状和空间关系等特征，全面描述图像内 容的检索方法。 4 1c bir 中的鬲虫合多特征 通过对现有融合特征提取算法的分析发现，底层内容特征的融合操作可以认为是在 两个层面上展开的，即加权融合和深层融合。底层内容融合特征的分类体系如图4 1 所 不： 图4 1 底层融合特征分类体系 第1 个层面是权重求和意义上的融合，即运用加权求和的方法完成融合操作。按照 加权对象的不同，又可将权重求和层面上的融合方法分为两类，一类是对多个特征向量 的加权求和，求和结果为图像的融合特征向量【3 习；另一类是对多个单一特征相似度的加 权求和，求和结果为特征的融合相似度【4 0 1 。这个层面上的融合相对简单并且易于理解， 目前的融合算法大都在此层面上进行，但不足之处在于：简单的加权融合方式仅仅实现 了代数几何意义上的合并，未能真正完全的利用和发掘特征间存在的相互关系，并且权 重值不容易确定，权重值的选择对检索结果影响也比较大。 在第2 个层面上进行的融合则在特征的提取过程中体现了信息合并的意义，称其为 深层融合。深层融合的内容在于发掘底层内容特征间的内在联系和一致性，特征提取算 法本身就包含了同时对多类信息的抽取，特征向量中容纳了多于一种的底层内容特征。 根据特征中所包括的内容，在第2 个层面上进行的特征融合又可以分为3 类：第l 类是颜 色特征与空间信息的融合，这类融合方法十分常见，实现的形式也比较多样，可以细分 为颜色直方图派生出的方法，变换矩阵相关方法与其他方法；第2 类是颜色特征与纹理 特征的融合；第3 类是颜色、纹理和空间信息3 种特征间的融合。 4 1 1 颜色特征与空间信息的融合 颜色与空间信息的融合方法主要分为直方图派生方法和变换矩阵相关方法。 ( 1 ) 直方图派生方法 最直接地将颜色信息与空间信息结合的方法是局部直方图方法【4 ，即将图像按规则 划分为若干子块，提取每个子块图像的直方图特征，计算对应的子块间局部直方图的相 似度，局部直方图相似度向量之间具有最大匹配度的图像即为检索结果。局部颜色直方 图方法还可以扩展到对子块图像提取其他颜色相关的统计特征，如主颜色【4 2 1 、颜色矩【4 3 】 等等。 2 维直方图是在两个变量张成的2 维空间下进行直方图统计。l i u 将图像按包含图像 主体内容可能性的高低划分为8 个图像块，图像块间允许重叠并对其进行编号来表征空 问信息【4 4 1 。以3 2 个颜色量化级和图像块的编号为2 维直方图的两个变量，构成3 2 x 8 的栅 格状的直方图单元，每个单元的内容是落在指定编号的图像块内某一颜色量化级的像素 个数。l i 计算小波分解后近似图像中每个像素点颜色的梯度向量模值和梯度向量角，在 颜色梯度模值和向量角张成的2 维空间下进行直方图统计1 45 1 。l e e 禾l j 用像素的8 个邻域方 向的颜色向量角来辨识图像的边界点，在像素和该像素对应的最大颜色向量角构成的颜 色对张成的空间下，统计位于边界上的像素个数构成颜色邻域2 维直方图作为图像的颜 色特征【4 6 】。 h u 计算某子块图像与相邻8 个子块间局部颜色直方图的欧氏距离，距离越大表示子 块问的颜色差距越明显【4 7 1 。将每对子块图像视为一个颜色对，统计符合每对局部直方图 间距离的颜色对的个数，将其作为颜色对直方图中每个量化阶的数值，选前m 个最大的 颜色对个数所对应的颜色对作为特征提取。该方法利用子块与周围子块间的颜色差值关 系来反映空间特征，在尺度和旋转条件下具有不变性。 p a s s 等人提出了全局颜色直方图的改进方法【4 8 1 ，将每个颜色量化阶对应的像素数目 按照一些指定的规则拆分成若干类别，不属于同一类别的像素尽管在全局直方图中属于 同一个颜色量化阶，彼此间也不具有一致性。该方法在一个比颜色量化阶更细致的层面 上进行匹配，避免了直方图相同而图像相异的情况。颜色相关矢量是直方图改进方法中 的一个特例，将像素的空间连通相关性作为分类指导规则，把每个量化阶包含的像素拆 分成相关和不相关两部分。 l u 等人提出符合感知规律的权重直方图方法【4 9 1 ，在c i e l u v 颜色空间内将每个像 素都加权累加到与其最相近的1 0 个颜色量化阶中去，权重由像素本身所在的颜色量化阶 与这1 0 个颜色量化阶间的距离决定。这种方法可以在一定程度上弥补内容不同的图像 却拥有相同颜色直方图的不足。 ( 2 ) 变换矩阵相关方法 在颜色与空间信息的融合中，有一类方法根据像素的颜色( 或灰度) 与距离( 或方向 角) 之间的空间关系为元素构造矩阵，可归结为基于变换矩阵的方法。h u a n g 等人定义了 颜色相关图的概念，用矩阵来描述图像中任一点珐在取颜色值c 。的同时与它距离为k 的 一点p ，取颜色值c ，的概率【5 0 1 。该方法统计了图像中符合某一特定距离的两种颜色值出 现的概率，对灰度共生矩阵的特点加以利用，通过强调不同的颜色值之间在图像中的空 间距离相关性，将颜色特征与空间信息有效地结合在一起。 n i u 等人将r g b 图像作一层小波分解，对近似图像的r ，g ，b 分量分别在 e ( e = 0 ，1 ，1 8 0 。) 方向上做r a d o n 变换投影，得到以o 值为横坐标，图像对角线上像素的 个数为纵坐标的投影矩阵【5 l 】。该投影矩阵中包含了图像在间隔= 1 。的各个方向上的颜 色密度信息，可以视为包含了颜色和空间信息的特征。 4 1 2 颜色特征与纹理特征的融合 在某种程度上纹理特征是颜色特征的另一种表达方式，因此找出这两类特征间的联 系相对比较容易。 h u a n g 将像素间的灰度差值与差值出现的概率联系起来，认为灰度差值较小而出现 概率较大的情况对应了粗糙纹理，差值较大而出现概率较小的情况则对应了细腻纹理， 从而通过两者间关系的统计来生成融合特征【5 2 】。首先计