（计算机应用技术专业论文）基于颜色的图象检索技术研究与系统实现.pdf

摘要 ， ：随着图象数据库的出现，如何有效组织、快速检索阔象信息，一媛 照国内外研究的一个热点0 本课题分析了目前基- 7 = 内容的图象检索技术 的发展状况，在学习和掌握已有研究成粜的基础上，对基于颜色的图数 检索技术进行研究： l 、罐出了一种踅为有效酌、基于颜色空闯的颜色象类算法。 2 、偌罄参考颜色表，提密了基予示傍j 图象韵主颜散表算法。 3 、针瓣传统叛色壹方罄裰交距离受图象背景颜色虢影桷润惩，攥 出了先提取嚣图象懿提交瑗包焉诗算瑟銎象蹇方霾赘耀交距离瓣 算法，凰时考虑示例图象的生颜包在德检索图象中熬分毒馕况。 4 、开发了一个图象检索系统h d c b i r ，实现了本课题的算法恩想。 实验结果表明，系统的检索耩度获得了很大提高。 关键词n 颜色、图象检索颜色聚类主颜色表颜色直方图 直方图相交距离 a b s t r a c t w i t ht h ea p p e a r a n c eo fi d b ( i m a g ed a t a b a s e ) ，t h e p r o b l e mh o wt o m a n a g ee f f i c i e n t l ya n d r e t r i e v eq u i c k l yt h ei m a g ei n f o r m a t i o nh a sb e i n gt h e h o t s p o t o fr e s e a r c h t h i s p a p e ra n a l y z e s t h e d e v e l o p m e n t o ft h ec b i r ( c o n t e n t - b a s e di m a g er e t r i e v a l ) t e c h n o l o g y h a v i n gr e v i e w e da n dm a s t e r e d t h er e s e a r c h a c h i e v e m e n t ，t h i sp a p e rw o r k so nt h ec o l o r - b a s e d i m a g e r e t r i e v a l ： l 、am o r ee f f i c i e n tc o l o rc l u s t e ra l g o r i t h mb a s e do nt h ec o l o rs p a c ei s a d v a n c e d 2 、r e f e r r i n g t ot h er e f e r e n c ec o l o r t a b l e ，aq u e r y - i m a g e - b a s e dp r i m a r y c o l o rt a b l ea l g o r i t h mi sp u tf o r w a r d 3 、a i m i n ga t t h e p r o b l e m t h a tt h e i m a g eb a c k g r o u n d e f f e c t st h e t r a d i t i o n a lc o l o rh i s t o g r a mi n t e r s e c t i o nd i s t a n c e ，an e w a l g o r i t h mi s p r e s e n t e d t h i sa l g o r i t h me x t r a c t st h ei n t e r s e c t a n tc o l o ro fq u e r y i m a g e a n dr e t r i e v a li m a g e ，t h e n c o m p u t e st h ei n t e r s o c t a n td i s t a n c eo f t h i st w oh i s t o g r a m s a tt h es a m et i m e ，w ea l s ot a k et h ep r i m a r y c o l o rd i s t r i b u t i o no f t h er e t r i e v e di m a g ei r i t ea c c o u n t 4 、a n i m a g er e t r i e v a ls y s t e m - - h i ) 一c b i ri sd e v e l o p e dt oi m p l e m e n tt h e a l g o r i t h m sp r e s e n t e d i nt h i sp a p e r 下h e e x p e r i m e n t i n d i c a t e st h a tt h er e t r i e v a l p r e c i s i o n o ft h i s i m a g e r e t r i e v a ls y s t e mh a sg r e a t l yi m p r o v e d 。 k e y w o r d s c o l o r i m a g e r e t r i e v a lc o l o rc l u s t e r p r i m a r y c o l o r t a b l ec o l o rh i s t o g r a m h i s t o g r a mi n t e r s e c t i o nd i s t a n c e 第一章绪论 1 。1 图象检索的基本内容 1 1 。1c b i r 的出现 基于内容检索是多媒体数据库的关键技术乏一。众所周知，如果要 对数据露串酌多媒体数据遗行检索帮麓询，早期的方法是零j 焉文本将图 象、视频、声音等其他非格式化的多媒体数据进行标识，检索时以文本 为貔础进行。对图象数据瘁而言，即通过入对图象的观察理解，对数据 痒中的镣一蠛图象建立关键字注释等文本攒述傣惠嚣为凰象驰索弓l 。这 样处理之后，图象的检索变成了对关键字的查找，因此，只需采用传统 豹数据簿技术就胃实现。毽是，这种方法存在着许多滔题； l 、由于图象本身的特殊性，它所蕴涵的信息犬多只能意会而不能 富传，因此，狠难瑙文字来表达清楚。 2 、在不同毂疲是场合中，慰图象感兴趣的部分是不露戆，不阉数 人对图象的理解也是不同的，甚至有的图象所蕴涵的信息如果 不逶避专鼗技本匏分析鲶理，光凭肉鞭是裰本无法了解静，饲 如隐藏在数字图象中的水印。这也说明了用文字来标识图象十 分困难。 3 、熙翦的图象数掇痒容量往往是以g b 或t b 采挺量驰，图象记录 数成千上万、有的数百万，通过手工进行一条一条注释，其工 作量怒巨大熬、甚至是无法敲甏静。 因此，通过手工方式对每一条图象记泶进行文本描述是行不通的， 必须寻求一种更为合理的图象信息搐述方法，使得计算机能够从数字图 象中自动提取图象特链，实现图象的快速梭索。予楚，从9 0 每代初舞 始出现了基于内容的图象检索技术( c b i r ，c o n t e n tb a s e di m a g e r e t r i e v a l ) 。 基于内容的图象检索技术，是指从图象库中查找含有特定物体的图 象( 氇包括获连续的视频鬣象中检索含有特定物体的视颡片段) ，其主 要思想是根据图象所包含的形状、颜织、纹理以及对象间的空阅关系等 信惠，建立图象的特征矢量作为索引，从而实现检索。检索方法目前主 要是基于图象的多维特征进行相似性查询，传统的数据库技术不具备这 些功能，必须研究和开发基于内容检索的图象数据库技术。这项技术充 分体现了图象的信息特点，又充分结合了传统数据库技术，是一项在理 论研究和实际应用中都极有前途的新技术，成为了当今的研究热点，它 涉及计算机图象处理( i m a g ep r o c e s s i n g ) 、计算机图象识别( i m a g e r e c o g n i t i o n ) 和图象数据库技术( r o b ，i m a g ed a t a b a s e ) ，把这三个领域 的研究成果进行有效结合是该技术取得成功的基础。 近年来，随着i n t e r n e t 应用热潮的掀起，随着各个行业对i d b 技术 的新的要求的不断涌现，基于内容的图象检索技术的应用前景变得更为 诱人。目前，国外许多机构都在进行有关的研究工作，在已实现的系统 中，m 的q b i c 计划便是其中颇引人注意的一个，它通过友好的图形 界面提供了多种检索方法口】。美加州大学伯克利分校( u c b e r k l e y ) 与 加州水资源部( d w r ，s t a t eo f c a l i f o r n i ad e p a r t m e n to f w a t e rr e s o u r c e s ) 合作进行了c h a b o t 计划口j ，以便对水资源部的大量图象提供基于内容检 索的有效手段。此外麻省理工学院f 4 】、纽约州立大学布法罗分校等以及 其他研究机构都有类似的计划在进行之中。 1 1 2 c b i r 的研究内容 基于内容的图象检索系统，根据其处理的对象可将其分为静止图象 检索和活动视频图象检索，根据图象库的内容可分为通用检索系统和专 用检索系统。 专用检索系统往往根据系统的要求而采用专门的检索技术，在特定 的知识领域中进行，如基于头像、基于指纹的系统等。而通用检索系统 所采用的技术则较为普遍，不局限于某一领域。静止图象检索的研究对 象是一幅幅静止的图片，而活动视频图象检索的研究对象则是视频片 段，但实质上是由一系列的静止图片所组成的动画，因此，也可以应用 静止图象检索技术。 目前，对于通用的静止图象检索，用于检索的特征主要有颜色 ( c o l o r ) 、纹理( t e x t u r e ) 、草图( s k e t c h ) 、形状( s h a p e ) 等，其中颜 色、形状、纹理应用得尤为普遍。但是，在选取特征参数时应该注意到， 相同的物体在不同的图象中出现，具有如下特点： ( a ) 其尺寸大小有可能是不同的，例如：缩小、放大或变形，甚至 有时只是部分出现； ( b ) 其方向有可能是不一致的，例如：旋转； ( c ) 在图象中的相对位置有可能是不一致的，例如：平移。 因此，不论采用何种特征提取算法，都要满足尺度不变性、旋转不 2 变性和位移不变性。 基于颜色的图象检索技术是根据图象中组成目标对象的颜色特征信 息进行检索，是基于内容的图象检索技术中最基本的方法。这项技术的 实现一般采用颜色直方图法，涉及颜色模型空间的选择、颜色直方图距 离的度量、颜色间的相似性及背景颜色影响的处理等关键问题。 基于形状的图象检索技术是根据图象中组成目标对象的形状特征进 行检索，所采用的形状特征量主要有：圆形度、狭长度、惯性主轴方向、 二阶矩常量、多边形的顶点数及凹点数、内角平均值、内角标准方差等。 该技术涉及边缘检测、形状识别、特征量的计算及匹配算法等关键问题。 基于纹理的图象检索技术是根据图象中组成目标对象的纹理结构信 息进行检索。纹理至今还没有一个标准定义，通常意义上的纹理是指图 象象素灰度级或颜色的某种规律性变化，而且这种变化是空间统计相关 的。纹理反映了图象本身的属性，不同的物体具有明显不同的空间特征。 纹理的分析方法一般采用统计方法和结构方法，如共生矩阵法、t a m u r a 模型等。 由于不同的应用背景，不同的基于内容检索系统在其检索实现中采 用的技术也各有侧重，但一般都能在传统的计算机视觉和图象处理技术 中找到其出处。可以说，基于内容检索是图象处理和计算机视觉各种技 术应用的综合。 1 1 3 c b i r 系统的特点 基于内容的图象检索，属于种语义检索，它根据图象对象的语义 进行检索，具有如下特点： 从图象内容中提取信息线索。基于内容的图象检索突破了传统 的基于表达式检索的局限，它直接对图象进行分析，抽取特征， 利用这些内容特征建立索引进行检索。 基于内容的图象检索是一种近似匹配。在检索的过程中，它采 用近似性匹配方法逐步求精来获得查询的结果。即查询是一个 迭代过程，不断减少查询结果的范围，直到定位到目标。这一 点与常规数据库检索的精确匹配方法有明显不同。 基于内容的图象检索是一种大型数据库的快速检索。在实际的 图象数据库中。不仅每幅图象的数据量较大，而且图象的数量 也繁多，因此要求c b i r 技术也能象常规的信息检索技术一样， 快速地实现图象信息检索。 因此，一个实用的c b i r 系统必须从速度和精度两方面进行考虑。 首先，图象检索系统必须满足一定的精度要求。图象检索的结果是 一个符合某种条件的一系列图象的集合，集合中的图象按照与示例图象 的相似程度依次排列，要求在视觉感觉上完全相同的及相似度较高的图 象能够检索到，不能有遗漏； 其次，图象检索系统必须保证一定的速度，图象检索的应用对象是 包含有大量图象的图象数据库，检索结果具有时效性，若系统速度太慢 就失去了检索的意义。为提高检索的速度，这就要求对图象进行检索时 所提取的特征量应该足够简单，并且能够事先计算和存储。 由此可知，图象检索采用的匹配算法与模式识别中的匹配算法有所 不同，模式识别属于精确匹配，而图象检索不要求精确的匹配，在必要 的时候，可以在精度和速度之间作一个折衷。事实上，对于图象、视频 数据库来说，分阶段的检索过程更加适合于实际应用的需要。在检索时， 首先利用一些不需要任何领域知识的特征识别方法来大大地缩小数据空 间，最后进入细节时再采用更细致的方法进行进一步的识别和查找。从 数据库角度来看，真正将对象识别并理解出来并不重要，重要的是以一 个可以接受的速度将检索的空间进行有效地限定。最后的识别和理解可 由用户自己去完成，这不仅符合人机结合、相互分工的原则，而且也易 实现和实用。 1 2 图象检索的意义及应用领域 随着信息化社会的到来及信息高速公路计划的实施，人们接触到大 量的图象。高科技的发展以及大容量存储器和数字化图象设备，诸如扫 描仪、数码相机等技术的发展和普及应用，卫星、医疗、安全等部门每 天都有大量的图象信息在不断地产生，图象数据呈现级数的增长。据统 计，单是美国的军事卫星，每年就产生1 5 t b 的图象信息，这些图象都 是由计算机来存储和处理的。在1 9 9 5 年末，美国的国家罪犯历史档案 就有o 4 9 8 亿条罪犯历史记录，其中8 6 ，即0 4 2 8 亿条罪犯历史记录 存储在计算机上口】。 图象中蕴涵着丰富的信息，“一幅图象胜过千言万语”，无论你用多 么华丽的词藻、多么动听的言语，都不及一幅生动的图象所带给你的信 息更为直观、明了。大量图象信息的产生，如何有效组织、快速检索这 些信息，就成为一个迫切需要得到解决的问题。在一个含有数百万幅图 象的数据库中，靠人工来查找某一幅图象或具有某个特征的一个图象集 合，那是无法想象的事情，而这样的需求在许多领域里都会经常遇到， 例如： 在医学上，找出以往某种病变情况的病例c t 片，以便研究、分析、 处理当前病例。 4 在公安上，找出脸上具有某个特征标记的所有疑犯。 在天文上，找出具有某种特征的历史云图，以便预测未来的天气变 化情况。 在艺术上，找出某一类别的艺术珍品或具有某种特征的历史文物。 等等。 所有这些问题都具有一个时效性，检索结果要求马上得到，超过一 定的时域就失去了意义，甚至会造成巨大的损失。试想，如果我们仍然 沿用原始的办法，通过肉眼一幅幅图象地去查阅，其结果肯定是不能满 足要求的。计算机不但具有海量存储能力，而且具有高速运算能力，我 们为什么不利用它来完成这项工作呢? 因此，利用计算机来进行图象数 据库检索的研究具有非常重要的现实意义。 c b i r 自提出以后，得到了飞速的发展，广泛应用在w w w 、公安、 天文、艺术馆藏、医学等诸多领域。 1 3 当前国内外c b i r 研究状况 1 3 1 国内外c b i r 主要研究状况 1 、基于颤色的检索 基于颜色的检索算法的基本思想是进行颜色空间直方图匹配，采用 的颜色空间和匹配方法因算法不同而异。1 9 9 0 年，s w a i n 和b a l l a r d 提 出了颜色检索( c o l o ri n d e x ) 的基本思想和算法，采用了互补颜色 ( o p p o n e n tc o l o r ) 空间直方图来描述物体，并通过定义在直方图的相 交( i m e r s e c f i o n ) 及反投影算法( b a c k p r o j e c t i o na l g o r i t h m ) 来完成物 体的识别( 检索) 和在图象中的定位【6 】。通过直方图相交算法，给定图 象直方图后，颜色检索就变为在模型库中查找具有最大匹配度的图象。 基于这种思想的算法要求解决几个问题：光照不变、背景颜色、颜 色相似性等。 s w a i n 算法对于光照异常敏感，解决光照不变问题的研究主要有： n o v a k 的监控颜色恒常性( s u p e r v i s e dc o l o rc o n s t a n c y ) 、f u n t 和f i n a l y s o n 的颜色恒常性颜色索引( c c c i ，c o l o rc o n s t a n tc o l o ri n d e x ) 以及h e a l e y 的从直方图分布求取光照不变量的思想等。 s w a i n 算法识别效果不受图象背景的影响，因此不需要对图象进行 预先分隔。以后的多数算法都不具有此性质，必须采取相应的处理去除 背景干扰。例如在h e a l e y 的实现中，己不再采用整个物体的直方图， 而仅仅选取物体局部小块颜色丰富区域作为特征，再对特征集进行匹 配，以避免背景干扰。 基于颜色检索的大部分算法实现都是基于颜色成像的物理模型，着 眼于图象中特定物体的识别和检索，反映的并非人对颜色的主观感觉， 忽视了颜色间的相似性问题。在i b m 的q b i c 系统中，采用二次型距 离来解决颜色的相似性问题洲”。 2 、基于形状的检索 对于基于形状的检索来说，形状的表示和匹配无疑是需要解决的重 要问题。传统的计算机视觉中，曾先后用f r e e m a n 链码、曲线、f o u r i e r 描述子、二次曲线及b 样条曲线等来描述平面曲线。在其后的研究中， t e b o u l t 和a d g r o s s 采用超二次曲线来表示形状，g c c h u a n g 和 cj k u o 则给出了形状的小波描述逼近。在复杂形状( 不连通) 的表示 方面，s ，s w a n g 和e c c h e n 等提出了f o u r i e r 描述子方法，并将其用于 汉字识别，而d k e r e n 和dc o o p e r 等则采用了隐式多项式的表示方法， 并对其表示能力进行了分析。 对于形状匹配来说，h o u g h 变换是最经典的方法，而且对于噪声和 遮挡具有良好的抗干扰性。但h o u g h 变换仅能解决形状的平移、旋转 和缩放所带来的匹配问题，而对实际应用中广泛的变形匹配问题无能为 力。针对由关节点联结起来的活动物体( 如剪刀) ，m e h r o t r a 等提出了 f i b s s r ( f e a t u r ei n d e x b a s e ds i m i l a r s h a p er e t r i e v a l ) ，用于此类物体的 匹配。 对于更广泛的变形形状的匹配问题，则需要与变形模型的研究相结 合。根据模型的不同特性，可将常见的变形模型分为两类：自由变形模 型和参数变形模型。对于自由变形模型来说，模板没有全局的结构约束， 而仅受局部的连续性和光滑性的约束。通过对图象中的显著特征如直 线、边缘等建立能量函数而建立一个势场，使模板通过变形与这些特征 匹配。 3 、基于纹理的检索 作为物体的一个重要特征，纹理也是基于内容检索的一条主要线 索。纹理检索和纹理分类技术有着密不可分的关系，针对不同系统的应 6 用黉求，在纹理检索韵实现中往往采用不阏的纹理谈掰技术。 纹理的分析方法可分为统计方法墨珏结构方法，统计方法主要有空闻 域和频率域方法。空间域方法中，最简单的直方图统计特征法由予只能 反浚一维的灰痉交纯，旱蠢不震。h a r a l i c k 窝s h a n m u g a m 摄出了共生 ( c o c o c u i t e n c e ) 矩阵法，挟生矩阵定义为从灰度为i 的象索点开始离 开某个蠲定使蠢t = ( d x ，d y ) 的象索点鹃灰度为j 的概率。获获度共 生矩阵可以分橱图象的纹理。共生矩阵法算法简单，但共生缀阵通常较 大，而鼠含有不少冗余信息。 t a m u r a 等扶视觉心理拳角发出发，提塞了叛弱分车嚣方法。t a m u r a 定义了粗糙度、方向、归熬性等六种特征，这魑特 芷都悬相互独立而且 其有可视性。与获生缒薄楣眈，t a m u r a 特往凡乎没有冗余信怠，效率 相当矗，因此，t a m u r a 方法在c b i r 系统神应用较广，如鹰m 豹q b i c 。 基于频率域的方法主要是傅立叶变换和小波分析。图象在傅立叶交 接之后，其缝量谱在一定稳度土反跌了强象黪褪糙敷方是蛙。9 0 年代 以后，小波分析在纹理分析方面发展很快，出现了很多新的算法。 1 3 2 当嚣主要的c b i r 系统介缨 从9 0 年代中期开始，c b i r 逐渐成为活跃的研究领域。到目前为止， 邑毒不少的疆究謦爨亵披系统。这些系统斡框架嬲捡索规镶各具特色，采 用不同的特征和检索算法，检索性能也各肖差髯，然而，由于c b 酞方 法存在着不少阔麓，各个系统静功能程效率都缀有隧，离寞蕾的实瘸还 有一定的距离，商待予这一研究领域的继续发展。下面介绍目前一些主 要的c b i r 系统。 1 、q b i c ( q u e r yb yi m a g e c o n e n t ) 1 1 1 2 q b i c 怒由猕m 公司推出豹、最早静c b i r 系统。在所有的c b 承 系统中，q m c 最广为人知，它的商业舨本可能也是应用最为广泛的， 它可用于美术馆内进行艺术品的检索，如美国1 日金山的f i n ea r t s m u s e u m s ，法国戆f r e n c hm i n i s t r yo fc u l t u r e 。在它懿整令发袋历程孛， q b i c 曾采用过了这个领域内的几乎所有的研究成果及技术。它主要使 焉颜色、阍游也便厝纹瑾及轮薄等特征进行检索，现在戳使用注释。其 中，当使用轮廓特征来检索雕，是通过手工方式对图象进稽分割的。q b i c 使用k = 6 4 的颜色直方图。纹理是改进的t a m u r a 模型，包含粗糙度、 对比度、方糍。轮薅将拯夸圆形、奇舞度警。q b i c 搜震k - l 交换溱降 低特征维数，再用r 。树构造索引树。 ， 2 、v i r a g e l 4 l v i 穗g e 憝另一个籁有名气静c b r 裔敬系绞，毒v i r a g e 公司开发。 它早期采用的方、法基本和q b i c 相同。v i r a g e 的特征集包含颜色、颜色 布局、纹理及形状等，用户可以调整各个特征的衩值。最近，v i r a g e 开 始疆究在一些专业领域的应用，如黢部检索及o p h t h a l m o l o g i c a li m a g e s 等。 3 、v l s u a l s e e k 【7 1 1 8 1 嘲【1 0 】【1 1 l 【1 2 l v i s u a l s e e k 由哥伦比藏大学开发，采用了一种和其宦大多数c b i r 系统不闲的方法。它使用颜色集期杰夺波分辑提取熬纹理特缝。链们发 明了二进制树( b i n a r yt r e e ) 算法构造索引树。v i s u a i s e e k 支持基于空 闯位置关系瓣检索。 4 、p h o t o b o o k m ”j p h o t o b o o k 囊美藿癍省理工学院黪媒体实验室努发，霹戆是这个鬏 域内评价最高的一个系统。它包含轮廓、纹理、脸部特征三本书 ( b o o k ) ，丽户筲戳箭剐褒询这三本书。为了把入酌能动性加进系统， p h o t o b o o k 提出了一种“s o c i e t yo fm o d e l ”的方法，该方法根据用户的 反馈动态采用不同的模型。 5 、p i c h u n t e r s p 3 l p i c h u n t e r 由n e c 研究所歼发。它利用菲常简攀的图象属性，如图 象尺寸的比攀、颜色百分比率以及频率特性等。它比较突出的工作是在 图稼数据库梭索中，利用贝塞因概率公理，实现了关联性反馈算法。 6 、c h a b o t p c h a b o t 生要利用注释来实现图象检索。通_ i 建对豳象的描述、图象拍 摄的角嶷、方向等来分类，难一是动提取的特程是羧色酉分比率，躲j 比 之外，其它特征都是手工输入的。 8 7 、e x c a l i b u r m 1 3 】 e x c a l i b u r 非常类似于q b i c 及v i r a g e 模式，综合使用各种常用的技 术，如颜色、形状、纹理，象p i c h u n t e r 一样，还使用不常用的图象尺 寸的比率，它也提取图象的亮度和颜色结构作为特征，并且允许用户指 定何种特征为最重要的特征。 8 、i m a g e f i n d e r 1 3 l i m a g e f i n d e r 由a t t r a s o t t 公司开发的基于神经网络的图象检索系统。 它需要用户提供一组以备检索的图象集合对波尔兹曼机进行训练，然后 把要查的图象训练，最后系统给出图象集合按相似度打分。 9 、m a r s ( m u l t i m e d i a a n a l y s i sa n dr e t r i e v a ls y s t e m ) 【5 】【2 6 】 m a r s 由伊利诺斯大学开发。m a r s 系统从计算机视觉、d b m s 、 信息查询三个领域进行研究。m a r s 系统提出一个相关反馈体系结构， 该结构从用户的反馈对系统的参数进行调整，以求满足用户的需求。 1 0 、j a c o b t m j a c o b 是针对视频数据库检索的一个名气不大的系统。它综合使用 颜色、纹理及运动等特征来检索视频段，允许用户指定每一种特征的权 值。 11 、数字圈书馆计划( d i g i t a l l i b r a r yp r o j e c t ) 嘲 由b e r k e l e y 大学开发，除了采用非常唯一的点阵特征来检索外，还 使用标准的颜色百分比率。用户可以指定检索何种颜色及该颜色所占的 比率，也可指定检索何种颜色及尺寸大小的点阵。 1 4 本课题的研究内容 1 4 1 本课题的主要研究内容 本课题在学习和掌握已有研究成果的基础上，对基于颜色的图象检 索技术进行了研究，提出了更为合理有效的颜色聚类算法、颜色直方图 表示方法以及颜色直方图距离度量算法，以提高系统的检索效率和检索 精度。在此基础上，我们还开发了一个实际的图象检索系统l i d c b i r 。 本课题的研究选取h s v 颜色模型空间，主要从三方面展开研究： 1 、颜色聚类算法 首先根据h s v 模型空间的特点及h s v 模型空间中任意两种颜色间 的距离公式，对整个h s v 模型空间的颜色进行量化、聚类，得到一个 颜色索引表。经过颜色聚类后得到的颜色索引表覆盖了整个颜色空间， 属于同一类的各颜色间距离足够小。该算法克服了已有聚类算法的片面 性，同时考虑了颜色直方图矢量维数的降低、颜色间的相似性以及计算 复杂度的简化等，实验结果表明，这种聚类方法是非常有效的。 基于示例圈象的主颤色裹算法 实际上，一幅图象中，构成目标对象的主要颜色一般只占少数的几 种或几十种。基于这样一个事实，在提取示例图象颜色特征时，可以设 定一个阈值，舍去那些不重要的颜色，然后根据颜色聚类后的颜色索引 表，建立示例图象的一个主颜色表，待检索的图象就可根据此主颜色表 创建相应的颜色直方图，这样，检索时就可不必考虑检索图象中那些不 在示例图象中出现的颜色，以节省检索时间。 传统直方圈相交算法的改进 直方图相交算法的基本思想是获取两图象颜色的交集，它考虑整幅 图象的颜色，包含背景颜色在内，相同颜色在图象中所占比例的交集越 大，两图象越相似，在类似“找出红色占3 0 、绿色占4 0 0 的所有图象” 1 0 等基于主色调的图象梭索中，这种算法非常有效。然而，在实际当中， 往往要求检索含窍菜一个躁标对象的一类夔象，如一朵芯、一株擎或考 一条狗等等，这时候，如果有褶同的一个目标对象，分别处在两懈背景 羧色不鼹豹强象中，当嚣栋对象占鬓象静魄恻不禳大对，采瑙壹方窝穗 交算法就可能检索不到。为此，本课题对其进行了改进。提出了棚交颜 色直方阔的相交算法，同时考虑示铡图象和检索图象中相同颜色在各自 图象内所占比例的分布情况，孵决了检索结果受图象鹜蓉颜色影响的阕 题。 1 4 。2 本课题系统的实现 h d 西i r 鬣象检索系统采用v i s u a ! c 抖6 0 编程语言，在w i n d o w s9 8 环境下实现。系统拥有一个包含5 0 0 蝠各秘色彩的芯革建筑等皇然景鼹 图片的图象库，这些图片均来自网上的q b i c 图象数据库。系统由m f c 编程，赛瑟友好、操黪笾馁，霹鞋隧意指定示铡图象，熬个躜冀或图片 的某一矩形区域，检索结果自动生成h t m l 页面，直接送m 浏览器输 出。实验结粱表翳，在傈话检索速度的前提下，使系统的检索精度获得 了很大提高，达到了本课题研究的目的。 第二章基于颜色的图象检索 技术理论基础 2 1 颜色模型空间 图象的颜色有多种表示方式，每一种表示方式对应于一种颜色模型 空间。一种颜色模型是一种在某种特定上下文中对颜色的特性和行为的 解释方法，没有哪一种颜色模型能够解释所有的颜色问题p i 。某些模型 用于叙述在打印机和绘图仪上如何输出彩色，而另一些模型则为用户提 供更直觉的颜色参数。 认知科学及视觉心理学证明，人类不能象通常在计算机显示器那样 只使用r g b 成分感知颜色。一个恰当的颜色空间是实现颜色直方图方 法的基础。同时，这个颜色空间中两种颜色的差别应与人类的感觉差别 相对应，才能使颜色值间的距离转变为人眼感觉上的不同。因此，为了 使图象检索的结果更符合人的视觉感觉，保证检索的效率和性能，颜色 模型空间的选择对基于颜色的图象检索技术至关重要。 下面介绍与本课题研究相关的两种颜色模型空间： 2 1 1r g b 模型空间 r g b 颜色空间是根据颜色的三基色( r e d 、g r e e n 、b l u e ) 相加原理 而得到的颜色空间，非常适合图形图象及文本在视频监视器上的显示， 因此成为彩色视频监视器的工作模式，为了和计算机的显示相兼容，r g b 空间是数字图象普遍采用的颜色空间。 如图21 所示，r g b 颜色空间为一个立方体，三个轴代表三个颜色 分量( r 、g 、b ) ，这三个分量分别代表视频监视器中三个磷发光体的能 量等级，把它们独立开来是没有真实含义的，如果只是考察三个分量中 的一个或两个，并不能确定当前的颜色，只有当它们组合起来才能代表 一种确定的颜色。例如：当能量均为最小值0 时表现为黑色；当能量均 达到最大值2 5 5 时表现为白色；当能量为其它组合时，表现为黑色与白 色之间的某一种颜色。 o 1 0 ( 烛n 0 a o b 吐 i 0 0 r c d 图2 1 r g b 颜色空问 0 1 1 m 雌口协 由于这个特性，如果使用r g b 空间来进行检索，那么必须考虑r g b 三个分量间的相关性，故只能采用三维颜色直方图的方法，这种方法增 加了颜色直方图矢量的维数，使得计算复杂。因此，r g b 颜色空间不 适宜于基于颜色的图象检索。 2 1 2h s v 模型空间 h s v 颜色空间是1 9 7 8 年由a l v e rr a ys m i t h 建立的，它把彩色信号 表示为三种属性：色调( h u e ) 、色饱和度( s a t u r a t i o n ) 和亮度( v a l u e ) 。 这种颜色空间用m u n s e l l 三维空间坐标系统【1 。】表示，坐标之间具有心理 感知的独立性，可以独立感知各颜色分量的变化，并且这种颜色空间具 有线性伸缩性，可感知的颜色差与颜色分量的相应值的欧几里德距离成 比例【7 j 1 8 j 【9 】【”l 【1 1 】1 1 2 】。因此，h s v 空间能较好反映人对颜色的感知和鉴别能 力，非常适合基于颜色的图象相似性比较。实际上，在所有的颜色模型 中，h s v 颜色模型对应于画家配色模型。 如图2 2 所示，h s v 颜色模型为一个圆柱体，色调h 是由颜色名称 来辨别的，如：红、橙、绿等，它用角度1 8 0 0 1 8 0 0 或0 0 3 6 0 0 来度量： 亮度v 是颜色的明暗程度，通常用百分比来度量，从黑0 到白1 0 0 ； 色度或色饱和度s 指颜色的深浅，例如同样是红色，也会因浓度不同而 分为深红和浅红，它也用百分比来度量，从o 到完全饱和1 0 0 。 圈2 2 h s v 颜色空间 h s v 颜色空间是一个连续的颜色空间，任意两种颜色间的距离用它 们在h s v 空间中所在空间位置的两点间的直线距离来定义，即，若有 两种颜色c ，= ( 曩，s i ，叶) ，c ，= ( ，s ，v ，) ，则它们的距离为： d ( c j , c i ) = 【( 咋一v ，) 2 + ( 5 ，c 。s h ，一j ，c o s h ，) 2 + ( j s i n h ，一j ，s i n h ，) 2 5 1 在h s v 颜色空间中，任意两种颜色间的最大距离为i ，由此，两 种颜色间的相似度被定义为【3 】： 螈c ，) = l 一忑l d ( c f ，c ，) 当s = 1 时，两种颜色为同一种颜色，当s = 0 时，两种颜色最不相 似。 2 1 3r g b 到h s v 的转换 由于h s v 颜色空间的的感知性良好，大多数c b i r 系统均选用h s v 颜色空间，r g b 到h s v 的转换非常方便，并且这种转换是可逆的。从 r g b 到h s v 的转换关系刚8 脚”j f l l m l 如图2 3 所示。 给定r g b 颜色空间的值( ，、g 、6 ) ，r 、g 、6 0 2 5 5 】，则转换 到h s v 空间的h 、j 、p 计算如下 设y = m a x ( ，g ，6 ) ，定3 ( r ，g ，b 为： 1 4 图2 3r g b 到h s v 的转换关系图 v 一厂 r = ：一 v 。一r n i n ( r ，g ，6 ) 则： v = v 2 5 5 s = h = v m i n ( r ，g ，们 g 2 再蠢如忑r a 高m ( r bv 一 ，p ，) v ( 5 + 6 ) ，= m a x ( r ，g ，b ) 和g = m i n ( r ，g ，b ) ( 1 一g ) ，= m a x ( r ，g ，6 ) 和g m i n ( r ，g ，b ) ( 1 + r 。) ，g = m a x ( r ，g ，b ) 和b = m i n ( r ，g ，b ) ( 3 6 。) ，g = m a x ( r ，g ，b ) 芹口b m i n ( r ，g ，b ) ( 3 + g ) ，b = m a x ( r ，g ，6 ) 和，= m i n ( r ，g ，b ) ( 5 一r ) ，其它 h = h 6 0 这里， o 3 6 0js 【0 1 lv 0 1 】。 4 、直方图相交算法( h i s t o g r a mi n t e r s e c t i o n ) 【1 4 】 m i n 娩，1 ，) d ( q ，) = j 专_ 可 m i n l q l ，1 ，l j = o i = o 该算法于1 9 9 0 年由s w a i n 和b a l l a d l 6 1 提出，成为了这一方面的奠基 性工作。由于它比二次型距离算法简便，又比m a n h a n t t a n 距离、e u c l i d e a n 距离的效率高得多，因此，这一算法目前仍被广泛采用。 采用这一算法时，为了做到尺度不变，使用归一化的直方图。 定义1 归一化直方图 设h 为一个直方图，h 仔) 为h 的一个分量， h ( ，) = 1 则称为归一化直方图。如果一个直方图h 图，可以用下式归一化： 日( r ) = h ( r ) ( ，) 定义2 归一化直方图的交 如果满足 一j 不是归一化直方 设q 和皿为两个归一化直方图，则其交定义为： s i r e ( h l ，h 2 ) = m i n ( h l ( r ) ，h 2 ( r ) ) ， 2 3 颜色间的相似性问题 在颜色直方图的各种距离公式中，除二次型距离外，在计算中对直 方图特征的各种颜色都是平等对待，即没有考虑颜色间的相似性，如有 三幅单色图象，颜色分别为红色，粉红和绿色，用欧氏距离对三幅图象 的直方图进行相似度量，结果粉红色图象与红色图象的相似程度等同于 绿色图象与红色图象的相似程度，这不符合人的视觉感觉。 目前克服这一缺陷的一种方法是改进距离计算方法，使得距离计算 中考虑颜色的相似性因素。例如w 以在计算直方图特征向量的欧氏距离 嚣雩，类经二次型距离，热逡颜色穰 菝矩簿。 d ( q ，l 、* h q a h j 其中：q 为示例图象，i 为检索图象，产毛为示例图象q 的颜色直方 图，臻为检索图象j 的颜色直方匿，么。，走颜色楣 娃矩阵，其元素壤， 为直方图向童中曩和a ，两个分量所代表的颜色的相似系数。 q b i c 系统便是采用这种方法。但该方法计算量大、复杂，黼且相 似矩阵的元素值确定困难，诧夕 ，随着颜色分辨率酌变纯，矩阵的大小 及其元素值均要相应修正。 妥秘方法裁是采用簇毪塞繇、聚类算法，在诗算颜色灌方鹜之蔫， 对相似颜色进行归类。如果颜色的聚类效果非常好，则颜色间的相似性 阉题就霹以忽臻。攥是，不论如露聚类，聚类瓣缝粟爨然燕一令离散空 间，因此，颜色间的相似性问题怒始终存在的，只能尽量减少它的影响 丽已。 本课题的研究采用第二种方法来解决颜色间的相似性问题。 2 l 第三章基于颜色的图象检索系统设计 的一般方法 3 1 系统构成 c b l r 是针对图象数据库的一种信息检索系统，系统结构如图3 1 所 示，一般由两个子系统组成：数据库生成子系统和数据库查询子系统。 每个子系统由相应的功能模块组成。 孛嘻 l 一一一一：一一一z 、 日日日 j 图象库特征库 ：知识库 - - - 一：一一一- 一 数据库生成子系统：数据库查诲子系统 图31c b i r 系统结构 3 1 1 数据库生成子系统 数据库生成子系统完成数据库的生成与维护工作。 生成的数据库由图象库、特征库和知识库组成。图象库保存图象的 原始数据，即图象的完整信息；特征库保存用户输入的特征信息及预处 理自动提取的内容特征信息：知识库保存领域知识和通用知识。 数据库的维护应包括图象的入库、特征自动抽取、用户对图象的特 征描述信息的输入、图象的出库及其特征信息的删除、知识库领域知识 和通用知识的输入及更新等。为提高检索速度，数据库的维护模块中还 应具有高效的图象索引，过滤机制，如r 树、四叉树等。 3 1 2 数据库查询子系统 数据库查询子系统完成目标标识和图象检索的工作。 目标标识模块完成对示例图象的指定，应具有浏览图象库的功能， 并能够让用户通过鼠标来标识图象中的某个感兴趣的区域作为示例图 象，以及其它查询条件的输入。 图象检索模块完成图象的检索，并把检索结果输出。检索过程要达 到一定的速度，检索结果要满足一定的精度。 3 2 用户接口 3 2 1 查询和检索分类 一般来说，通过c b i r 系统实现的查询主要有以下几类： 1 、客观属性查询图象的客观属性，如图象或视频拍摄的日期、 地点，住宅平面图中的卧室数等。与常规数据库的结构查询语 言相似，检索是基于属性值的精确匹配。 2 、主观属性查询图象的主观属性是用户凭经验主观赋予图象 或图象内目标的属性特征值。例如，对于面部图象中的眼睛， 用户可能赋予的属性是小、平均或大。这是一种相似性查询。 3 、颜色查询使用户查询到与选择颜色相似的图象或目标。 4 、纹理查询使用户查询到含有相似纹理的图象或目标。 5 、草图查询让用户勾勒一幅草图，然后检索数据库中相似的 图象或目标。通过匹配主要边界来检索。 6 、形状查询用户选择某一形状，利用形状特征( 区域、主轴 方向、矩、偏心率、圆形率等) 来匹配形状特征。 7 、浏览当用户不清楚它们的检索要求或不熟悉数据库中的信 息结构和类型时，需要先浏览。 8 、空间约束查询基于两个或多个图象目标之间的空间和拓扑 关系来查询，这些空间约束关系可以为方向、邻接、包含等。 以上查询类型并不是同时用于具体的应用，对于某一具体应用，可 能只需要其中的某几种查询方式。 3 2 2 查询说明的形式 无论用哪种形式来形成一个查询，都应以最方便的图形查询接口方 式向用户提供。即在图形环境下，提供数据库查询的一致视图。 图象检索过程一般是这样的：用户指明检索查询要求，系统按查询 要求进行查找和匹配，最后将一组结果按相似的顺序排出并返回给用 户。用户可以再次调整查询要求，继续对已有结果进行查询。因此，可 以说所有的图象查询都是相似性查询。由于用户难以对图象给出一致准 确的描述，所以在大多数系统中都以示例查询( q b e ：q u e r yb ye x a m p l e ) 为主。事实上。q b e 是多媒体信息检索