（信号与信息处理专业论文）用于cbir的图像颜色和纹理特征提取.pdf

卜海大学硕 ：学位论文 摘要 计算机技术、多媒体技术以及i n t e r n e t 技术的长足发展导致了大量图像的出 现，如何有效地、快速地从大规模图像数据库中检索出所需的图像是目前一个 相当重要又富有挑战性的研究课题。基于内容的图像检索( c o n t e n tb a s e di m a g e r e t r i e v a l ，c b i r ) 正是为了解决如何有效地从图像数据库中检索出相关图像的问 题，近年来，此项技术的研究非常活跃，在许多领域都有应用。 本文首先简述c b i r 领域的一些关键技术，包括颜色空i 训、图像主要低层 特征( 颜色、形状和纹理) 的描述方法、图像特征间的相似性度鼍准则等。图 像特征提取通常是c b i r 的第一个步骤，它对整个检索系统的性能有着至关重 要的影响。本文重点研究颜色和纹理特征及其在基于内容图像检索中的应用， 主要研究内容和成果如下： 分析了颜色直方图用于c b i r 时存在的问题，在此基础上提出一种应用 边缘空间分布的图像检索方法。利用颜色向量角仅对色度和饱和度敏感而对亮 度不敏感的特性提取彩色图像边缘。在边缘像素及其近邻提取颜色向量角直方 图，同时又在平滑像素区提取颜色直方图，将两种直方图结合起来描述图像内 容特征。这一方法较充分地利用了颜色和图像边缘信息，具有良好的光照不变 性。实验结果表明，检索效果优于单纯使用颜色直方图的方法。 令提出了一种图像特征提取方法，可用于以图像关键块为基础的图像检索 系统。以图像块灰度矩阵前两个奇异值之比为其信息量大小的判据，低于阂值 的图像块表示含有足够的信息量，从其中提取由亮度统计参数、颜色成分和纹 理特性共1 2 个量，构成初始特征向量，并应用主分量分析法降维，得到代表图 像块的6 维向量。对大量图像块的特征向量进行k 均值聚类，结果表明所提出 的特征提取方法能够较准确地描述图像块的内容特征。 关键词：基于内容的图像检索( c b i r ) ，直方图，颜色向量角，特征向量，图 像分块 v 上海人学硕上学位论文 a b s t r a c t d u et ot h es t e a d yg r o w t ho fc o m p u t e r , m u l t i m e d i a ，a n di n t e m e tt e c h n i q u e s ，a h u g ea m o u n to fi m a g e sa r ea v a i l a b l e c u r r e n t l y , r a p i da n de f f e c t i v es e a r c h i n gf o r d e s i r e di m a g e sf r o ml a r g e - s c a l ei m a g ed a t a b a s e sb e c o m e sa n i m p o r t a n ta n d c h a l l e n g i n gr e s e a r c ht o p i c c o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) i st h es e to f t e c h n i q u e st oa d d r e s st h ep r o b l e mo fr e t r i e v i n gr e l e v a n ti m a g e sf r o ma ni m a g e d a t a b a s eb a s e do na u t o m a t i c a l l yd e r i v e di m a g ef e a t u r e s i nr e c e n ty e a r s ，c b i ri sa v e r ya c t i v er e s e a r c hd i r e c t i o na n dh a sb e e na p p l i e dt om a n yf i e l d s t h et h e s i sf i r s ta n a l y z e sa n dd i s c u s s e ss e v e r a lk e yt e c h n i q u e sa n da l g o r i t h m s o fc b i rs u c ha sc o l o rs p a c e ，l o w - l e v e lf e a t u r ed e s c r i p t i o n si n c l u d i n gc o l o r s h a p e ， a n dt e x t u r e ，a n ds i m i l a r i t ym e a s u r eb e t w e e nt h ef e a t u r e s i nc b i r ，f e a t u r ee x t r a c t i o n i su s u a l l yp e r f o r m e da st h ef i r s ts t e pa n ds e t st h eo v e r a l ls y s t e mp e r f o r m a n c et oa l a r g ee x t e n t ，w h i c hi st h ep r i n c i p a lc o n c e r no ft h i st h e s i s t h em a i nc o n t r i b u t i o n so f t h ea u t h o r sr e s e a r c ha n dd e v e l o p m e n tp r e s e n t e di nt h i st h e s i sa r ea sf o l l o w s ： 冷an o v e lc o n t e n t - b a s e d i m a g e r e t r i e v a ls c h e m e u s i n gi m a g ee d g e i n f o r m a t i o ni sp r o p o s e da f t e ra n a l y z i n gt h el i m i t a t i o no ft h em e t h o db a s e do nt h e t r a d i t i o n a lc o l o rh i s t o g r a m s i n c ec o l o rv e c t o ra n g l e sa r eo n l ys e n s i t i v et oh u ea n d s a t u r a t i o nb u ti n s e n s i t i v et ol u m i n a n c e ，e d g ei n f o r m a t i o ni nac o l o ri m a g ec a nb e e x t r a c t e db a s e do nt h e m ac o l o rv e c t o ra n g l eh i s t o g r a mi so b t a i n e df o re d g ep i x e l s w h i l eac o l o rh i s t o g r a mc a l c u l a t e df o rs m o o t hr e g i o np i x e l s b o t hh i s t o g r a m sa r e j o i n t l yu s e dt oc o n s t r u c tac h a r a c t e r i s t i cv e c t o ro ft h ei m a g e ，w h i c hm a k e sf u l lu s eo f c o l o r ，e d g ea n ds h a p ei n f o r m a t i o ni nt h ei m a g e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e p r o p o s e dm e t h o d i sr o b u s t a g a i n s t l u m i n a n c ev a r i a t i o n sa n dt h er e t r i e v a l p e r f o r m a n c ei sb e t t e rt h a nt h o s eo n l yu s i n gc o l o rh i s t o g r a m s 令a ni m a g ef e a t u r ee x t r a c t i o nm e t h o ds e r v i n gf o rt h ec bi rs y s t e mb a s e do n v i 上海人学硕上学位论文 k e y - b l o c ki sp r o p o s e d i m a g ef e a t u r ev e c t o r sa r ef o r m e df o rb l o c k sc o n t a i n i n g s u f f i c i e n ti n f o r m a t i o n ，w h i c ha r es e l e c t e du s i n gas i n g u l a r - v a l u ec r i t e r i o n w h e nt h e r a t i ob e t w e e nt h ef i r s tt w os v sa r eb e l o wag i v e nt h r e s h o l d ，t h eb l o c ki sc o n s i d e r e d i n f o r m a t i v e at o t a lo f12f e a t u r e si n c l u d i n gs t a t i s t i c so fb r i g h t n e s s ，c o l o r c o m p o n e n t sa n dt e x t u r em e a s u r e sa r eu s e dt of o r mi n t e r m e d i a t ev e c t o r s p r i n c i p a l c o m p o n e n ta n a l y s i si st h e np e r f o r m e dt or e d u c et h ed i m e n s i o nt o6t og i v et h ef i n a l f e a t u r ev e c t o r s t h er e s u l to fk - m e a n sc l u s t e r i n go nt h ec o n s t r u c t e df e a t u r ev e c t o r s o fl a r g en u m b e ri m a g e ss h o wt h er e l e v a n c eo ft h i sm e t h o d k e y w o r d s ：c o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) ，h i s t o g r a m ，c o l o rv e c t o ra n g l e ， i m a g ef e a t u r ev e c t o r , i m a g eb l o c k v u 上海人学硕t 学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人己发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：嗡一日期： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：哮泛 导师签名：啦日期：呈竺墨互三一 i i 上海人学硕 ：学位论文 1 1 研究背景与动机 第一章绪论 随着现代电子技术、网络通信技术以及多媒体技术的快速发展，不断出现 庞大的、不同内容的图像信息库。图像信息的使用逐渐渗入到各行各业中，图 像己成为大众化数字信息的一种重要形式。如何有效地组织、管理和充分地利 用图像信息库的资源一直是国内外科学研究工作者关注的问题。图像检索技术 就是在这种背景下产生的新兴研究领域。 在数据库系统和计算机视觉两大研究领域的共同推动下，图像检索技术已 经逐渐成为一个非常活跃的研究领域。其中基于内容的图像检索技术是多媒体 信启、处理面临的“瓶颈”问题。如何实现快速有效的图像检索，关键在于采用 何种特征作为索引以及特征如何匹配，这正是基于内容的图像检索技术的核心 问题，对它的研究具有十分重要的意义。 对图像检索所做的工作最早可以追溯到2 0 世纪7 0 年代。早期的检索是 基于图像的文本注释( t e x t b a s e di m a g er e t r i e v a l ) 。首先对图像进行文本标注， 如关键词、标题以及一些附加的描述信息，然后采用传统数据库管理系统的某 种基于文本的方法检索。虽然通过文本描述可以根据图像的主题或者说语义来 组织、管理图像，而且有成熟的数据库理论和应用系统支持，但是这种方法本 身存在着无法克服的缺点： 1 图像领域包含的范围非常广泛，目前的技术还无法实现描述文本的自 动生成，对于大型的图像数据库来蜕，手工加注释是一件非常繁琐而 且费时的工作； 2 人工注释带有很大的主观性，不同的人对图像内容可能有不同的理解， 即使是同一个人在不同的环境中对图像的理解也不尽相同； 3 图像的内容丰富，很多情况下是无法用语言来完全描述清楚的。 二十世纪九十年代初期，随着大型图像数据库的出现上述问题变得越来越 l 海大学硕t 学位论文 严重。为了克服这些问题，人们提出了基于内容的图像检索( c o n t e n t b a s e di m a g e r e t r i e v a l 。c b i r ) 技术，认为表示可视化信息更为有效和直观的方法是基于图像中 的内在特征，并且把计算机视觉、数据库管理、人机交互和信息查找的综合研 究引入了该领域【l 】。基于内容的图像检索的主要思想是根据图像本身所包含的 视觉特征( 如色彩、纹理、形状以及对象的空间关系等) 表示图像，并据此建立 图像的特征向量，基于图像的多维特征进行相似性查询。由于利用图像本身的 物理内容描述图像，而且特征的提取和索引的建立都可以用计算机自动实现， 避免了人工标注的主观性，大大减少了工作量，很好地解决了基于文本检索中 存在的问题。 基于内容的图像检索是多媒体领域的一个重要研究方向，它在医学图像管 理、军事领域、犯罪识别系统、考古、教育、家庭娱乐、卫星遥感图像、地理 信息系统等多个领域有很大的应用需求。近十多年来，基于内容的图像检索发 展很快。1 9 9 7 年以来，关于可视化信息提取、组织、索引、用户查询和交互以 及数据库管理的文章和出版物的数目快速增长；同时，大量的学术和商业检索 系统由一些高等院校、商业公司、科研部门相继开发出来。例如，商业领域中， i b m 公司最先研制出了q b i c t 2 】系统；在学术研究领域，有m i t 的p h o t o b o o k t 3 1 ， c o l u m b i a 的v i s u a l s e e k t 4 1 和w e b s e e kf 5 1 ， s t a n d f o r d 大学的s i m p l i c i t y 6 1 等； 一些优秀的原型系统，如m i c h i g a n 大学和m i t 多媒体实验室开发的v i r a g e 【r l , u i u c 开发的m a r s 8 】等，在一些领域得到了很好的应用。 基于内容的图像检索研究的涉及面非常广泛。要设计出可靠有效的检索算 法、系统结构、以及友好的人机界面，需要以图像处理、模式识别、计算机视 觉、图像理解等领域的知识为基础、从认知科学、人工智能、数据库管理系统、 人机交互、信息检索等领域借鉴数据表示、存储模型和检索方法，其中很多技 术都是相应领域长期以来的研究重点和难点。因此，尽管基于内容的图像检索 己经研究了十多年，在理论和应用中取得了非常大的成果，但是很多关键问题 尚未得到很好的解决，尤其是系统自动提取的图像底层视觉特征和图像的高层 语义特征之间存在的巨大语义鸿沟，制约了系统检索的性能。 2 上海人学硕 j 学位论文 1 2 国内外研究热点及现状 基于内容图像检索有两个核心问题：( 1 ) 图像的表示。对于计算机而言图 像只是具有一定颜色值的像素点阵，像素不像文本关键词那样本身就是一个独 立的语义单元，只有当像素以某种方式排列在一起时，才形成具有实际语义的 图像。如何通过分析像素的颜色属性以及像素间的关系得到图像的可视化内容， 用何种方式来表示和存储图像的视觉特征，是c b i r 研究首先要考虑的问题。 ( 2 ) 图像的相似度比较。经过特征提取后，可以抛开图像本身仅以所提取的特 征作为图像内容的表示。对于c b i r 系统来说，图像的相似度必须是确定的而 且可以用量化形式计算出来，通常用查询图像和库中图像的特征i 日j 的距离来刻 画，不同的相似性度量方式会带来不同的检索效果。采用什么样的测度方式能 够很好的表示图像i 日j 的相似性也是c b i r 的一个重点。 最仞的图像检索研究也主要集中在这两个方面，研究者提出了很多的特征 表示和相似性度量方法，并且致力于找到每类特征最佳的表示方法和最好的度 量方式。这时的c b i r 系统一般使用图像的全局特征进行检索。例如，i b m 公 司a l m a d e n 研究中心开发的q b i c i2 】图像检索系统、m i t 媒体实验室开发的 p h o t o b o o k 3 l 系统、美国c o l u m b i a 大学图像和高级电视实验室开发的 v i s u a l s e e k t 4 】系统等。 随着研究的深入，人们逐渐发现c b i r 系统的性能主要受到图像底层视觉 特征和高层语义特征之间差距的限制。为了减少这两者之间的差距，研究者在 二十世纪九十年代后半期提出了基于区域的特征表示和相关反馈两种方法。 基于区域的图像检索方法( r e g i o n b a s e di m a g er e t r i e v a l ) 主要是用分割后区域 的特征来描述图像，并且以区域为粒度进行相似性比较。在分割效果理想的情 况下，这些区域将分别对应图像中的物体。相对于整体特征而苦，对象层次的 特征更能反映用户的主观感受。代表性的系统有：u c s b 大学的n e t r a t 9 1 ， c a l i f o r n i a 大学的b l o b w o r k d 10 1 ，s t a n d f o r d 大学的s i m p l i c i t y t 6 】等。基于区域方 法的实际检索效果受到图像分割技术的影响，在现有的技术下无法做到精确而 且符合语义的分割。 上海大学硕i ：学位论文 基于全局特征和基于区域特征均以图像为中，6 ( i m a g e - c e n t r i c ) ，研究如何对 图像分析提取最佳描述特征、进而以这些特征为基础进行比较，没有考虑实际 检索中用户的需求。人对图像相似的感觉是主观的、依赖于任务的；而视觉特 征的每个类型趋向于仅仅捕获图像特征的一个方面，对于用户来说准确且清楚 地描述不同特征是如何组合在一起构成检索目标通常是很困难的。为此，有研 究者在c b i r 中引入了文本检索的一项基本技术一一相关反馈( r e l e v a n c e f e e d b a c k ) ，希望通过和用户的交互来学习用户检索的意图，并且根据用户的需 求调整系统检索的相似性测度公式中的参数或者测度方法。反馈技术最早由r u i y o n g 】引入，由于实验证明非常有效，因此成为一个研究热点，如m a r s 8 1 ， p i c h u n t e r t 幽，f o u r e y e s 1 3 】等。此外，一些研究者也把机器学习算法用于图像检 索的在线学习( o n 1 i n el e a m i n g ) 过程，如b a y e s i a n 14 1 、神经网络、支持向量机【1 5 】 以及其他的学习理论【1 6 】等，以此来提高系统的检索性能。 需要指出的是，在实际应用研究中上述三个方向并不单独使用，而是相互 借鉴、相互融合的。 基于内容的图像检索技术所指的内容主要包括图像的颜色、形状、纹理和 语义等特征，其中，图像的颜色、形状和纹理特征具有相对直观的特点，而语 义内容具有相对主观抽象的特点。虽然人们偏爱语义查询，但是这种查询方式 的完全智能化目前还不可能实现。 目前基于语义特征的图像检索主要研究如何从多种渠道获取图像语义信 息、获取的语义信息如何与图像的低层特征结合并通过相关反馈在图像之间传 递语义信息以及如何将图像的低层特征与图像的关键词结合进行图像的自动标 注以提高检索的准确率等。从多种渠道获取语义信息并且传递语义信息的工作 包括文献 1 8 ，1 9 ，2 0 ，2 1 】等，利用低层特征与语义信息相结合并通过相关反馈进 行语义传递的工作包括文献 1 8 ，1 9 ，2 2 ，2 3 ，2 4 ，2 5 ，2 6 等，利用低层特征和机器 学习算法进行语义传递的工作有文献 1 8 ，2 7 ，2 8 等。 1 3 论文的主要研究内容及安排 本文面向c b i r ，围绕图像低层特征即颜色和纹理的提取这一关键技术展开 4 上海人学硕上学位论文 研究。探讨了基于内容图像检索系统的体系结构，回顾并简述了该领域的研究 概况，分析了当前各种图像视觉特征的描述方法。在此基础上重点对图像颜色 和纹理特征的提取进行探索，主要研究内容和所取得的成果可归纳为以下两个 方面： 令分析了单纯使用颜色直方图在图像检索中存在的不足，提出一种应用图 像边缘空间分布的检索方法。根据颜色向量角仅对色度和饱和度敏感，而对亮 度不敏感的特性，在彩色图像中提取反映颜色差异的边缘。在边缘像素及其邻 域构建“颜色向量角直方图”，同时又将它与平滑像素区的“颜色直方图”相结 合，实现了对图像内容较全面的描述。该方法能更充分地利用图像的颜色和边 缘信息，具有良好的光照不变性。将这一方法用于图像枪索的效果优于单纯使 用颜色直方图的方法。 根据基于图像关键块的图像检索方案，提出了一种可准确描述图像块内 容的特征向量提取方法。以图像块矩阵两个最大奇异值之比为判据，用以判断 图像块是否含有足够多的信息量，从低于阈值的重要图像块中提取特征向量。 初始特征向量由亮度和颜色的统计参数以及纹理特性等1 2 个分量组成，用主分 量分析降维，最终得到6 维的特征向量。对大量图像块的特征向量进行k 一均值 聚类，所得结果表明本文所提出的特征提取方法能够较准确地描述图像块的内 容特征。 论文各章节安排如下： 第一章为绪论，主要介绍c b i r 的技术背景和研究现状。 第二章扼要介绍基于内容图像检索领域研究的基本概念和若干关键技术， 主要内容包括图像检索系统的结构、图像检索方法的分类、颜色空间、图像低 层视觉特征的描述方法、特征i 日j 的相似性度量方法。 第三章和第四章是本文的重点。第三章针对颜色直方图在基于内容的图像 检索中存在的问题，提出一种应用图像边缘空间分布的检索方法，并用实验验 证了算法对检索性能的改进。 第四章提出了一种面向基于关键块的图像检索系统中的图像块特征提取方 法，并对此方法的有效性进行了实验检验。 上海人学硕卜学位论文 第五章对论文进行了总结，并对未来需进一步研究的工作予以展望。 本论文的研究成果分别以利用颜色向量角直方图进行基于内容的图像检 索和( ( i m a g eb l o c kf e a t u r ev e c t o r sb a s e d o nas i n g u l a r - v a l u ei n f o r m a t i o nm e t r i c a n dc o l o r - t e x t u r ed e s c r i p t i o n ) ) 为题发表于上海大学学报( 录用) 和j o u r n a lo f s h a n g h a iu n i v e r s i t y ，1 1 ( 3 ) ，2 0 0 7 。 6 上海大学硕上学位论文 第二章图像检索技术概要 本章内容提要： 图像检索系统的体系结构 图像检索的分类 颜色空间 低层视觉特征描述方法 2 1 基于内容图像检索的体系结构 基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) ，是一种利用图像 的颜色、纹理、形状或其他内在特征等进行检索的技术。它融合了模式识别技 术与多媒体等良好的人机交互技术，有着广泛的应用前景。 基于内容图像检索的体系结构划分为两个子系统：特征提取子系统和查询 子系统，如图2 1 所示。各部分的主要功能如下： 1 预处理 包括图像格式的转换、尺寸的统一，图像的增强与去噪等功能，为图像的 特征提取打下基础。同时，将预处理过的图像存入图像库，用于后续工作。 2 目标标识 目标标识为用户提供一种工具，以全自动或半自动( 需要用户干预) 的方式 标识图像中用户感兴趣的区域或目标对象，以便针对目标进行特征提取并查询。 当进行整体内容检索时，利用全局特征，这时不用目标标识功能。目标标识功 能是可选的。 3 特征提取 对图像数据库进行特征提取。具体实现系统中支持的各种特征的提取算法， 也可提取用户感兴趣的、适合检索要求的特征。特征提取可以是全局的，即整 7 上海人学硕t ：学位论文 幅图像，也可以是针对某个目标的，即图像中的子区域。它与预处理模块共同 作用，生产完整的图像数据库信息。 4 用户查询接口 系统的用户界面，用户使用查询接口来组织自己的查询要求，用户可以用 整幅图像、特定对象以及各种特征的组合等形式进行查询，系统检索所得到的 图像也是通过此接口返回给用户。 5 查询处理模块 将用户查询接口送来的查询请求( 目标图像) 通过特征提取模块转换为用特 征描述的待查特征，然后调用匹配模块检索特征库，并计算每个特征与待查特 征的相似程度，从中挑出相似的若干图像，并按相似程度由大到小排列返回给 用户。 特征提取予系统查询子系统 图2 1c b i r 的体系结构 上海大学硕i ：学位论文 6 图像匹配模块 图像匹配模块与查询处理模块是实现基于内容的图像检索系统检索功能的 核心部件，它计算目标图像与查询图像之间的特征相似程度，完成各种特征 的匹配算法。 7 图像数据库 图像库和特征库形成图像数据库，有时还需要知识库。图像库为数字化的 图像信息：特征库为图像的内容特征和客观特征；知识库包含专门和通用知识， 以利于查询优化和快速匹配。前两者之间存在一一对应的关系。 2 2 基于内容图像检索的关键技术简述 要想成功地实现一个c b i r 系统必须解决多方面的问题，主要包括以下四 项关键技术： 1 图像数据描述模型。它是指采用图像理解技术实现图像内容描述的方法。 选择合适的图像数据模型表示图像内容特征是进行基于内容的图像检索的基 础。图像存在各种视觉特征，如颜色、形状、纹理、空间特征等。图像的特征 集合构成了它的内容描述集。图像特征的提取是基于内容的图像检索技术中的 一个必不可少的关键步骤。一个好的图像特征应具有以下特点：特征对用户 而占具有直观的含义，换句话说，特征表达的信息和用户的需求之间存在清晰 联系。用户易于指定查询，系统也可以进行有效的检索。特征能够明确地区分 相关图像和非相关图像。图像的颜色、形状、纹理和轮廓等特征适用于各种 图像内容的描述，在图像数据描述模型中具有较好的通用性。 2 特征索引结构。一般情况下，描述图像内容的特征集合可看作是高维空 间中的一个向量，这样，基于内容的图像检索就转化为高维空间点集的最近邻 搜索问题。由于c b i r 系统中往往含有海量图像数据，单纯的线性搜索方法难 以满足实时检索的需要，有必要在特征库中使用相似索引技术来建立特征索引 结构，以支持对中、高维特征向量的基于相似性的查询。在特征匹配时。c b i r 系统将计算出来的向量距离由d , n 大排序，以确定返回的结果。结果的返回方 式大致可分成两类：k 个最近邻居查询和球形范围查询，前者返回的结果与查 9 1 - 海大学硕 学位论文 询向量的距离最小的k 个特征向量所对应的图像；后者则返回与查询向量的距 离小于阈值的所有图像。 3 相似性度量。在c b i r 系统中，查询的结果是一系列的图像，按照相似 的程度依次排列。一般来说，图像的内容含有语义信息( 主观的) 和视觉特征( 客 观的) 。在语义信息上的相似性度量需要专家系统的支持，这不属于c b i r 系统 的范围，因此c b i r 系统对相似性的度量应建立在图像视觉特征的基础上。通 常基于图像特征相似性的度量可分为几何模型和集合理论模型。几何模型使用 距离表示两点之间的相似程度。而距离度量函数的定义需要满足距离公理的自 相似性、对称性、三角不等性条件。常见的距离度量有欧几里德距离、m a n h a t t a n 距离、m i n k o w s k y 距离、m a h a l a n o b i s 距离等，在2 4 节会对相似性度量算法进 行详细的介绍。 4 查询方式的表达形式。这是因为在多数情况下，用户的查询目标很难通 过一幅或几幅查询图像来精确表达。具体地讲，用户在开始查询时无法准确预 知自己所需要的图像，同时，目前还不存在通用的数据模型来描述所有类型的 图像。此外，语义表达与视觉特征存在明显差异，因此，特征相似的图像有可 能完全不是用户所要的结果。鉴于上述原因，一个好的图像查询方式应包括三 方面的内容：多种特征的组合查询；相关反馈，它是逐步求精的查询过程， 线性加权相关反馈和基于统计模型分析的相关反馈是目前采用最多的查询方 式；在上述两种内容基础上与文本查询相结合，即语义查询，这是未来c b i r 系统查询方式的发展方向。 2 3 基于内容的图像检索的分类 基于内容的图像检索可以帮助用户通过多种途径找到所需的相关图像，可 以在更深的层次对图像媒体进行理解与控制，可以帮助各个部门更充分地开发 和利用图像信息资源。 基于内容的图像检索技术通常需要明确两个问题：一、如何提取特征；二、 特征如何进行匹配。根据所提取的特征不同，当前基于内容的图像检索可以分 为以下几种： 1 0 上海人学硕t ：学位论文 1 基于颜色特征的检索 色彩是图像内容组成的基本要素，是人识别图像的主要感知特征之一。最 早采用颜色特征进行图像检索的是由s w a i n 和b a l l a r d 提出的基于色彩直方图的 检索方法【2 9 】。 颜色具有一定的稳定性，它对大小、方向都不敏感。对利用颜色特征进行 图像检索要解决三个关键问题：颜色的表示，颜色特征的提取和基于颜色的相 似度量。颜色特征描述有两种方法：直方图和二值向量。直方图主要描述图像 颜色的空间分布，二值向量主要描述图像的特征元素。在进行相似度比较时主 要有欧几罩德矩、海明矩、二次矩等。在检索过程中，主要可以采用以下两种 方式：一是直接事例查询法；二是基于图像的颜色主色调进行查询。 2 基于纹理特征的检索 纹理是图像的一个重要属性。关于纹理的定义和纹理的量化方法至今还没 有一个统一的标准，针对图像处理领域，相关的定义有：“纹理是一种反映一个 区域中象素灰度级空间分布的属性”【3 0 1 。目前主要有两种方法：一种是统计方 法，对图像中的色彩强度的空间分布信息进行统计；一种是频谱方法，先对图 像进行数学变换，将空域信息变换到频域，再对图像进行分析，提取纹理特征。 纹理特征是从物体的图像中计算出来的一个值，它对物体内部灰度级变化 的特征进行量化。通常，纹理特征与物体的位置、走向、尺寸、形状有关，但 与平均灰度级( 亮度) 无关。 3 基于形状特征的检索 形状是图像的重要可视化内容之一。在二维图像空间中，形状通常被认为 是一条封闭的轮廓曲线所包围的区域，所以对形状的描述涉及到对轮廓边界的 描述以及对这个边界所包围的区域。目前的基于形状的检索方法大多围绕着从 形状的轮廓特征和形状的区域特征建立图像索引。 但是，形状边界的自动提取一直是困扰图像处理领域多年的难题，在目f i 的检索系统中大多采用手工勾勒的方式，形状特征的提取是一项非常繁重的工 作，对于大批量图像数据，将显得更为突出。各种形状特征表达方式对形状信 息的丢失非常严重；只有少量的形状特征表达方法和形状的几何变化无关：再 上海人学硕上学位论文 者，形状度量方法仍不具有很好的形状区分能力，不能有效表达形状之间的相 似性。 4 基于对象的检索 用空间关系特征进行图像检索一直是图像数据库检索的重要研究方向。目 前的方法一般是采用a l l e n 提出的1 3 种时态间隔关系并应用到空间投影区来 表达空间关系。在x 轴和y 轴方向的组合关系共有1 6 9 种。对象的表示可采取 质心表示或者分割成多个子对象，并用最小外接矩形表示。基于空间关系的检 索，目前的主要问题是如何保证各种空间关系的方法与旋转无关，如何实现空 间特征的相似度量从定性到定量的表示。 本节部分内容的展丌可详见本章2 5 节。 2 4 颜色空间 从数字图像中提取颜色特征依赖于对数字图像中颜色的表示和颜色理论的 理解。颜色空间对于相关颜色以数字形式表示是一个很重要的成分，在不同颜 色空间之间的转换和颜色信息的量化是给定特征提取方法的首要决定因素。 2 4 1 颜色视觉 颜色首先由牛顿在1 6 6 6 年“发现”，他观察到白光通过棱镜可以分解为从 紫色到红色的一段连续光谱。通常，被人类感觉到的颜色称为光，它是一段连 续的电磁波，波长从3 5 0 n m 到7 8 0 n m 。光由发光体产生，也可以由发光体通过 物体反射，或通过半透明物体透射产生。神经生理学实验发现，在视网膜上存 在三种不同的颜色感受器，它们是三种不同的锥体细胞，每一种有自己独特的 光谱灵敏度和灵敏范围，感受到的颜色也就是我们通常所说的三原色：红色、绿 色、蓝色，它们相应的波长分另u 为7 0 0 n m ，5 4 6 1n m ，4 3 5 8 n m t 3 0 l 。 在人的视觉系统中，形成视觉的视网膜细胞主要是锥细胞和柱细胞，这两 种细胞分别对颜色和照度比较敏感。根据人眼的结构，所有颜色都可看作是3 种基本颜色：红( r ) ，绿( g ) 和蓝( b ) 的不同组合。但从心理学和视觉的角 1 2 上海人学硕上学位论文 度出发，颜色有如下三个特性：色调( h u e ) 、饱和度( s a t u r a t i o n ) 和亮度( v a l u e ) 。 所谓色调，是一种颜色区别于其它颜色的因素，也就是我们平常所说的红、绿、 蓝、紫等。饱和度是指颜色的纯度，鲜红色饱和度高，而粉红色的饱和度低。 亮度是与所观察物体明亮程度相关的视觉特性，由物体漫反射或漫透反射光的 程度决定。与之相对应，从光学物理学的角度出发，颜色的三个特性分别为主 波长( d o m i n a n tw a v e l e n g t h ) 、纯度( p u r i t y ) 和明度( 1 u m i n a n c e ) 。主波长是产 生颜色光的波长，对应于视觉感知的色调，光的纯度对应于饱和度，而明度就 是光的亮度【3 0 , 3 1 】。这是从两个不同方面来描述颜色的特性。 对彩色图像进行研究，必须在特定的颜色空间中进行，实际应用中常用的 颜色空间很多，在图像检索中，主要采用的颜色空间有r g b ，h s v , c i el 宰a 宰 和c i el 木u ，i v 宰等【3 0 , 3 1 】。本小节对这四种颜色空间进行简要的介绍。 2 4 2 r g b 颜色空间 r g b 颜色空间是图像处理中最基础、最常用的颜色空间，因为现有的图像 采集设备最初采集至怕勺颜色信息是r g b 值，颜色显示设备最终使用的也是r g b 值，图像处理中使用的其它颜色空间也是从r g b 颜色空间转换来的。数字图像 一般都采用r g b 颜色空间来表示，它的三维空间包括r 、g 、b 三个坐标轴， 如图2 2 所示。 图2 2r g b 彩色模型 我们感兴趣的部分是个立方体，原点对应黑色，离原点最远的顶点对应白 上海大学硕l 学位论文 色，立方体与三个坐标轴的交点对应于三基色：红色、绿色和蓝色，剩余的三 个顶点对应于3 补色：品红( 即红加蓝) 、蓝绿( 即绿加蓝) 和黄( 即红加绿) 。 在这个模型中，从黑到白的灰度值分布在从原点到离原点最远顶点间的连线上， 而立方体内其余各点对应的不同颜色可以用该点到原点的向量来表示。方便起 见，可将立方体归一化为单位立方体，因此r 、g 、b 值部在区间 o ，1 】中。 根据这个模型，每幅彩色图像包括3 个独立的基色平面，或者说可分解到3 个 平面上。 色觉的产生需要发光光源的光通过反射或透射的方式传递到眼睛，刺激视 网膜细胞引起神经信号传输到大脑，然后人脑对此加以解释产生视觉。设为组 成某颜色c 所需的三个刺激量分别用x 、y 、z 表示，三个刺激量与r 、g 、b 有如下关系3 1 1 ： x = 0 4 9 0 r + 0 3 1 0 g + 0 2 0 0 b y = 0 1 7 7 r + 0 8 1 3 g + 0 0 1 0 b ( 2 - 1 ) z = 0 0 0 0 r - t - 0 0 1 0 g + 0 9 9 0 b 对白光，有x = i ，y - - 1 ，z 三1 。设每种刺激量的比例系数为五y ，z ，则有 c = x x + y y + z z 。比例系数x , y ，z 也称为色系数，其定义为 3 l 】： x x + y + z y ：熹( 2 - 2 ) v = 一 。x + y + z xj r y + z 可得x + y + z = l 。 r g b 颜色空间的主要缺点是不直观，从r g b 值中很难知道该值所表示颜 色的认知属性，因此不符合人对颜色的感知心理。其次，r g b 颜色空| 日j 是最不 均匀的颜色空间之一，两种颜色之间的知觉差异不能采用该颜色空间中两个颜 色点之间的距离来准确表示。 1 4 上海人学硕 ：学位论文 2 4 3 h s v 空间 h s v 颜色空间是一种面向视觉感知的颜色模型，上面提到的r g b 彩色模 型是从硬件的角度提出的，并不能很好的与人眼的视觉特性相匹配。人眼的色 彩知觉主要包括三个要素：色调、饱和度和亮度【3 1 1 。 色调( h u e ) 是指光的颜色，它与混合光谱中主要光波长相联系的，如红、 橙、黄、绿、青、蓝、紫分别表示不同的色调。就波长的意义上讲，不同波长 的光呈现不同的颜色，就是指色调不同。 饱和度( s a t u r a t i o n ) 是指彩色的深浅程度，即与一定色调的纯度相关。饱和度 高表示颜色深，如深红，饱和度低，则颜色浅，如浅红。饱和度的深浅与色光 中白光成分的多少有关，一种纯彩色光中加入的白光成分越少，其饱和度就越 高，反之，白光成分越多，饱和度就越低，因而饱和度反映了某种色光被冲淡 的程度。 亮度( v a l u e ) 是指人眼感受到的光的明暗程度，亮度与物体的反射率成正 比，如果是无彩色就是指只有亮度一个维的变化。对彩色来说，颜色中掺入白 色越多就越明亮，掺入黑色越多亮度就越小。 用一个三维空间纺锤体可以将色调、饱和度和亮度表示出来，如图2 3 所 示。其中立体的垂直轴代表黑自系列亮度的变化，圆周上各点代表不同的色调， 从圆周向圆心过渡表示饱和度逐渐降低。h s v 颜色空间便是这样一个可以用于 描述颜色的色调( h ) 、饱和度( s ) 和亮度( v ) 的彩色模型，因而h s v 颜色空间反映 了人观察彩色的方式 3 0 1 。 v c y a n 图2 3h s v 颜色空间 上海人学硕t ：学位论文 h s v 颜色空间有两个特点：其一，亮度分量与图像的彩色信息无关；其二， 色调和饱和度分量与人感受颜色的方式是紧密相连的，这些特点使h s v 颜色空 间非常适合于借助人的视觉系统来感知彩色特性的图像处理算法【3 0 】。h s v 颜色 空间直接对应于人眼色彩视觉特征的三要素，通道之间各自独立，因此可以独 立感知各颜色分量的变化，其中色调尤其影响着人的视觉判断，因此在基于内 容的图像检索中，应用这种彩色模型会更适合用户的视觉判断。 由于数字图像一般均采用r g b 彩色模型来显示，因此需要将颜色值由r g b 空间转换至h s v 空间。给定r g b 颜色空间中的值( 足g 卫) ，r ，g , b e o ，1 ，则转 换到h s v 空间的h ，s ，v 值计算如下【3 0 】： 1 v = 若 尺+ g + b 】 ( 2 3 ) ， l 、 ，= 肛1 _ 等m i n ( 尺，g ，b ) ( 2 - 4 ) = ：9g 三口，其中0 - - - - c o s - i h2ngb = ，其中 一9 0 0 0 8 8 5 6 r = 9 0 3 3 ( y i y ) i f r i , - 0 0 0 8 8 5 6 ll a 。= 5 0 0 ( x 以) 3 - ( r r ) 3 】 il b = 2 0 0 ( y y ) 7 一( z 乙) j 】 c i ex y z c i el 木u 拳v 木 其中，“。= 1 r = 1 1 6 (