（计算机软件与理论专业论文）基于底层特征的图像检索.pdf

摘要 随着计算机科学技术的发展、i n t e m e t 的应用普及以及多媒体数据库的迅速 增加，我们拥有了海量的数字图像和视频信息。为了有效的管理和检索这些信 息，基于内容的图像检索( c o n t e n t b 矗e di m a g er e t r i e v a l ) 即基于底层特征的图 像检索技术应运而生，并成为图像领域研究的热点问题之一。 本论文围绕基于内容图像检索中的一些关键技术，进行了深入的研究，主 要内容包括： ( 1 ) 本文提出了一种基于图像彩色边缘块划分的检索方法。首先，利用 c a n n y 算子对2 4 位真彩色图像进行边缘提取，进而对处理后图像网状分区， 然后在每个网格中进行颜色和纹理直方图特征的提取。仿真实验表明，该方法 可以很好的描述图像中感兴趣区域的颜色和纹理特征，使检索的查全率和查准 率都有所提高。 ( 2 ) 本文以性能优越的回归型支持向量机( s v r ) 理论为基础，结合重要的 图像边缘信息，提出了一种鲁棒的多特征彩色图像检索新方法。该方法首先利 用回归型支持向量机( s v r ) 理论，对原始图像进行去噪处理及彩色边缘提取；然 后将整个彩色边缘划分成局部网格区域，并分别计算出每个网格区域的颜色直 方图和纹理直方图：最后综合利用上述网格区域的颜色直方图和纹理直方图计 算图像间内容的相似度，并进行彩色图像检索。实验结果表明，该方法不仅能 够准确、快速的检索出用户所需图像，尤其对噪声图像效果特别明显。 ( 3 ) 本文以性能优越的伪z e m i k e 矩理论为基础，结合重要的图像颜色信息， 提出了一种结合伪z e m i k e 矩与颜色特征的图像检索方法。实验结果表明，该方法 不仅能够准确、快速的检索出用户所需图像，而且对光照、锐化、模糊等噪声攻 击均具有较好的鲁棒性。 关键词：基于内容图像检索，彩色边缘，噪声，支持向量机，伪z e m i k e 矩 a b s t r a c t ，i t ht h ed e v e l o p m e n to fc o m p u t e rs c i e n c ea n dt e c h n o l o g y , t h ea p p l i c a t i o no f i n t e m e ta n dt h er a p i di n c r e m e n to fm u l t i m e d i ad a t a b a s e w eh a v eal o to fd i g i t a l i m a g e sa n dv i d e oi n f o r m a t i o n i no r d e rt om a n a g ea n dr e t r i e v et h o s ei n f o r m a t i o n t h e c b i r ( c o n t e n t 。b a s e di m a g er e t r i e v a l lh a se m e r g e dt ob eo n eo ft h eh o tr e s e a r c h a r e a si ni m a g ed o m a i n i nt h i sd i s s e r t a t i o n 1 0 t so fe x p l o r a t o r yr e s e a r c hw o r kh a sb e e n d o n ea r o u n ds o m e k e yt e c h n i q u e so fc b t t h em a i nc o n t f i b u t i o n so ft h i sd i s s e r t a t i o na r es u m m a r i z e d 勰f o l l o w s ： ( 1 ) an e wi m a g er e t r i e v a lm e t h o db a s e do nt h ep a r t i t i o no fc o l o re d g ei s p r o p o s e d f i r s t l y , t h ec o l o re d g eo f2 4b i t st u r ec o l o ri m a g ei se x t r a c t e db yu s i n g c a n n yd e t e c t i o no p e r a t o r s e c o n d l y , t h ec o l o re d g ei m a g ei sd i v i d e dt os o m e 鲥d r e g i o n s ，a n dt h ec o l o ra n dt e x t u r eh i s t o g r a m sf o re a c hg r i da r ec o m p u t e da si m a g e f e a t u r e s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e di m a g er e t r i e v a li sm o r ea c c u r a t e a n de f f i c i e n ti nr e t r i e v i n gt h eu s e r - i n t e r e s t e di m a g e s ( 2 ) ar o b u s tc o n t e n t b a s e dc o l o ri m a g er e t r i e v a lu s i n gm u l t i p l ef e a t u r e si s p r o p o s e d ，w h i c hn o to n l yt a k e si n t oc o n s i d e r a t i o nt h ei m p o r t a n ti m a g ee d g e s ，b u ta l s o u t i l i z e st h es u p p o r tv e c t o rr e g r e s s i o n ( s v r ) t h e o r y f i r s t l y , t h ei m a g ed e n o i s i n ga n d c o l o re d g ed e t e c t i o na r ep e r f c i r m e db yu s i n gt h es v rc l a s s i f i c a t i o n s e c o n d l y , t h e w h o l ec o l o re d g ei sd i v i d e di n t os o m el o c a lg r i d s 。a n dt h ec o l o rh i s t o g r a m sa n d t e x t u r eh i s t o g r a m sf o r1 0 c a lg r i d sa r ec o m p u t e da si m a g ef e a t u r e s f i n a l l y , t h e s i m i l a r i t yb e t w e e nc o l o ri m a g e si sc o m p u t e db yu s i n gac o m b i n e df e a t u r ei n d e xb a s e d o nt h ec o l o rh i s t o g r a ma n dt e x t u r eh i s t o g r a mf o rl o c a lg r i d s e x p e r i m e n t a l e x p e r i m e n t s ，i n c l u d i n gc o m p a r i s o n sw i t hs t a t e o f - t h e a r t s ，s h o wt h ee f f e c t i v e n e s so f o u ra l g o r i t h mi ni m p r o v i n gt h er e t r i e v a lp e r f o r m a n c e ( e s p e c i a l l yf o rn o i s yi m a g e s ) ( 3 ) ac o l o ri m a g er e t r i e v a la p p r o a c hb a s e do np s e u d o z e m i k em o m e n t sa n d c o l o rf e a t u r ei sp r o p o s e d w h i c hn o to n l yt a k e si n t oc o n s i d e r a t i o nt h ei m p o r t a n tc o l o r i n f o r m a t i o n b u ta l s ou t i l i z e st h ep s e u d o z e m i k em o m e n t st h e o r y e x p e r i m e n t a l e x p e r i m e n t s ，i n c l u d i n gc o m p a r i s o n sw i t hs t a t e o f - t h e a r t s ，s h o wt h ee f f e c t i v e n e s so f o u ra l g o r i t h mi ni m p r o v i n gt h er e t r i e v a lp e r f o r m a n c e k e yw o r d s ：c o n t e n t b a s e di m a g er e t r i e v a l ，c o l o re d g e ，n o i s e ，s u p p o r tv e c t o r r e g r e s s i o n ，p s e u d o - z e r n i k em o m e n t s 基于底层特征的彩色图像检索技术研究 学位论文独创性声明 本人承诺：所呈交的学位论文是本人在导师指导下所取得的研究成果。 论文中除特别加以标注和致谢的地方外，不包含他人和其他机构已经撰写或 发表过的研究成果，其他同志的研究成果对本人的启示和所提供的帮助，均 已在论文中做了明确的声明并表示谢意。 学位敝储妣能建 日期：口9 - 易、 学位论文版权的使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规 定，及学校有权保留并向国家有关部门或机构送交复印件或磁盘，允许论文 被查阅和借阅。本文授权辽宁师范大学，可以将学位论文的全部或部分内容 编入有关数据库并进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。保密的学位论文在解密后使用本授权书。 学位做赭戳。锄 指导教师签名： 日期： m ，、王。 基于底层特征的彩色图像检索技术研究 第一章绪论 1 1 引言 随着多媒体技术与网络技术( 特别是i n t e r n e t 技术) 的迅猛发展，图像数据 来源的不断扩大，世界的数字图像容量正以惊人的速度增长。无论是军用还是 民用设备，每天都会产生容量相当于数万兆字节的图像，这些数字图像中包含 了大量有用的信息。然而，由于这些数字图像是无序地分布在世界各地，数字 图像所包含的信息无法被有效地访问和利用。因此，人们迫切需要一种能够快 速而且准确地查找访问图像的技术，这就是所谓的图像检索技术【l 】。自从2 0 世 纪7 0 年代以来，在数据库系统和计算机视觉两大研究领域的共同推动下，图像 检索技术已逐渐成为一个非常活跃的研究领域。数据库和计算机视觉两大领域 是从不同的角度来研究图像检索技术的，前者基于文本的，而后者是基于视觉 的。 基于文本的图像检索技术( t e x tb a s e di m a g er e t r i e v a l ，简称t b i r ) 的历史 可以追溯到2 0 世纪7 0 年代末期。当时流行的图像检索系统是将图像作为数据 库中存储的一个对象，用关键字或自由文本对其进行描述。查询操作是基于该 图像的文本描述进行精确匹配或概率匹配，有些系统的检索模型还是有词典支 持的。另外，图像数据模型、多维索引、查询评价等技术都是在这样一个框架 之下发展起来的。然而，完全基于文本的图像检索技术存在着严重的问题。首 先，目前的计算机视觉和人工智能技术都无法自动对图像进行标注，而必须依 赖于人工对图像做出标注。这项工作不但费时费力，而且手工的标注往往是不 准确或不完整的，还不可避免地带有主观偏差。也就是说，不同的人对同一幅 图像有不同的理解方法，这种主观理解的差异将导致图像检索中的失配错误。 此外，图像中所包含的丰富的视觉特征( 颜色或纹理等) 往往无法用文本进行 客观地描述的。 从理论上讲，解决上述问题的理想方案是由计算机自动理解图像内容，并 给图像加上客观而且全面的概念性标注。但这涉及到图像理解与模式识别领域 许多尚未解决的疑难问题。特别就目前技术而言，当不限定图像内容范围时， 要做到对任意图像的自动理解还远远是一件不可能的事情。因此，需要从一个 中间层次来研究图像内容的表示以及检索问题，即基于内容的图像分析与检索 技术的研究。 9 0 年代初期，基于内容的图像检索技术( c o n t e n tb a s e di m a g er e t r i e v a l ，简 基于底层特征的彩色图像检索技术研究 称c b i r ) 应运而生【2 训。区别于原有系统中对图像进行人工标注的做法，基于内 容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、 形状等。这样，除了文本标注外，用户还可以利用图像的视觉特征来表达查询。 基于内容的图像分析的目标并不是去追求对图像语义的真正理解，而是希望通 过对图像的分析后抽取出一些具有较强区分能力而且尽可能的向图像语义靠近 的特征，利用这些特征作为索引可以实现图像的相似性检索。 1 2 基于内容的图像检索技术所面临的挑战 图像不同于简单的文本，它在一个“二维”的空间里展现内容，其包含的 信息量远大于文本。特别是文本自身就拥有语义上的定义，而图像信息的表达 必须通过图像本身来进行。因而，基于内容的图像检索要比基于文本的图像检 索困难的多。具体来说，主要存在以下几个方面的挑战。 1 2 1 图像检索的表达 图像本身拥有多方面的视觉特征，除了颜色、形状特征外，还包含纹理和 子对象空间位置关系。即使是一种视觉特征，也有多种不同的表达方式，以便 从不同的角度模拟人类感知的主观性。如图像颜色的表达，既可以用颜色直方 图表现图像中各种颜色所占的比例，也可以用图像的主色调信息，反映图像的 基本概貌。图像的这种多特征性和特征表达的多面性，给图像检索的表达带来 了一定的困难。现有的图像检索系统的检索表达机制都十分简单，仅对多特征 检索融合进行了一些探讨【5 曲】，在实际的图像检索中，用户往往需要表达更加复 杂的检索要求。 随着图像检索的进一步深入，开发出一种灵活有效的检索表达机制来表达 用户复杂的检索要求将显得十分必要。这种表达机制要能够充分反映用户的检 索要求，并将用户的检索要求转换为底层索引的查找操作f 7 9 1 。对于图像检索表 达机制的研究，将是图像检索中需要面临的一个重要的挑战。 1 2 2 图像特征的提取n 州2 1 目前对于图像的检索，主要是基于图像特征的匹配。图像特征提取的好坏， 直接影响着图像检索系统的性能。从图像中提取出来的图像特征，主要分为三 个层次：低层次、中层次和高层次。 低层次的图像特征可以是如形状、纹理、颜色、轮廓等图像某一方面的特 征。这些特征各自相对独立，与数学联系较为紧密。对于图像的检索，可以直 接针对这些低层次的图像特征进行。 2 基于底层特征的彩色图像检索技术研究 中层次的图像特征即将图像的特定区域或者是图像中包含的目标物体作为 图像的索引，用于图像检索。这种特征检索能较好的迎合人们检索图像所提出 的自然表达，满足了人们对图像检索的客观需求。但中层次的图像特征离不了 低层次图像特征的支撑。它的表达往往是在综合各低层次的图像特征的基础之 上的，正如自然界中的实物是由颜色、形状、纹理等各方面的综合表达一样。 高层次的图像特征是在图像中层次基础上的再一次抽象，它赋予图像一定 的语义信息，是图像所包含内容的一种抽象概况，也是基于内容的图像检索所 要达到的最终目标。如何将低层图像特征与高层图像特征建立起有效的联系， 将是高层次图像特征检索的核心内容。 对于图像特征的提取，科学家们长期以来一直在进行仔细的研究，提出了 小波分析、颜色统计图、神经网络、区域选择、模板匹配、动态相关反馈、模 糊分析等多种图像特征的提取方法，并且已经有很多成功的检索原型或系统。 但可视化特征的提取仍然是图像分析领域中具有挑战性的研究方向。 1 2 3 图像索引的组织 为了让基于内容的图像检索能够真正的适合大型的图像数据库，特征向量 的高维度( 通常具有1 0 2 的数量级) 问题是必须要解决的问题之一。 对此，科学工作者们提出了多种解决方案【1 3 1 5 】。其中的一个方案就是对特 征向量的内在维度进行缩减，典型的方法主要有k l 变换和列向聚类两种。除此 之外，选择合适的多维度索引算法也是较好的解决方案之一。这方面的研究主 要在三个领域，即计算几何、数据库和模式识别。目前，最流行的多维度索引 技术主要有k d 树，r 树及其变种( r + 树、i r 树、四叉树等等) 以及聚类法、神经 网络法等。对于图像索引组织的研究，有待进一步的深入。 1 2 4 图像特征的相似性度量 在基于内容的图像检索中，特征的相似性度量【l 驯也是需要解决的问题之 一。合适的距离度量函数的选择，将使得图像特征向量的比较更加符合人类视 觉对图像内容的感知，有助于基于内容的图像检索性能的提高。 一个好的距离度量函数应该满足以下几个特点： ( 1 ) 与图像的视觉感知相似度成正比，即距离度量函数d i s t ( i ，) 越小，表 示图像，从人类的视觉感知上来看，越接近；反之，越不相似。 ( 2 ) 计算尽量简单。对于图像的特征向量的距离度量函数d i s t ( i ，) 应该尽 量计算简单，从而有效的节省计算时间。 3 基于底层特征的彩色图像检索技术研究 目前，使用的距离度量主要有街区距离( 即l 距离) 、一般欧几里德距离( a p l a 距离) 和加权欧几里德距离。其它的还有用于随机分布特征距离度量的 m a h a l a n o b i s 距离和k u l l b a c k 最小交叉熵定理等。对于图像特征相似性度量的研 究，在今后很长的一段时间将是一个富有挑战性的课题。 1 3 基于内容的图像检索技术应用领域 基于内容的多媒体信息检索是一项实用的高技术，有着广阔的应用前景。 目前主要应用于以下几个方面【l9 】： 1 知识产权保护 科技的飞速发展使得人们越来越关注知识产权的保护问题。许多知识产权 的载体都是图像，最明显的是商标和艺术作品。商标知识产权体现在专用的文 字描述和专用的图形标记两个方面。为了防止侵权，需要通过严格的商标审查 程序来确认新申请的候选商标是否与已注册商标过分相似。毫无疑问，利用基 于内容的图像检索技术实现商标的专用图形标记的自动审查具有非常现实的意 义。 2 网上搜索 网络正逐渐渗透到人们的日常生活中，除了文本资源外，网上还存在非常 丰富的图像资源。新一代网上搜索引擎应该具有协助用户从海量而且无序的网 上图像资源中寻找符合要求的图像的能力。 3 医学和遥感图像的分析和处理【2 0 2 2 1 尽管传统的图像处理领域早就开始涉足医学和遥感图像的分析和处理的研 究，但它们仍然是一个开放的研究课题，无论是民用还是军事，医学和遥感图 像的分析和处理都具有非常重大的现实意义。特别当图像规模增加时，准确有 效的图像分析手段以及快速的图像识别和检索技术将凸现其重要性。 4 犯罪与安全预防【2 3 j 当将图像的内容限制在特定领域时，基于内容的图像检索技术将找到更为 具体的应用。例如，安全部门可以将人的主要特征( 如指纹和脸部) 的图像存储在 数据库中，通过指纹识别和人脸识别就有可能从大量的指纹库或者人脸库中自 动识别出特定的目标。毫无疑问，这具有重大的社会价值。互联网的飞速发展 也带来另外一个负面的影响，即网上不健康内容的大量增加，特别是一些低级 趣味的图片。在某些情况下可能需要对这些信息进行过滤。基于内容的图像检 索技术完全可以应用到类似的具有图像过滤需求的应用中。 4 基于底层特征的彩色图像检索技术研究 1 4 基于内容的图像检索技术的发展情况 多媒体技术和i n t e m e t 的发展给人们带来巨大的多媒体信息海洋，并进一步 导致了超大型多媒体信息库的产生，光凭关键词是很难做到对多媒体信息的描 述和检索的，这就需要有一种针对多媒体的有效的检索方式。如何有效的帮助 人们快速、准确地找到所需要的多媒体信息，成了多媒体信息库所要解决的核 心问题。 目前已有许多通用目的的图像搜索引擎，下面介绍几个典型的c b i r 系统。 1 q b i c 2 4 】 q b i c 图像检索系统是m m 公司9 0 年代开发制作的图像和动态影像检索系 统，是第一个基于内容的商业化的图像检索系统。q b i c 系统提供了多种的查询 方式，包括利用标准范图( 系统自身提供) 检索、用户绘制简图或扫描输入图 像进行检索、选择色彩或结构查询方式、用户输入动态影像片段和前景中运动 的对象检索。 2 v i r a g e t 2 5 1 v i r a g e 是由v i r a g e 公司开发的基于内容的图像检索引擎。同q b i c 系统 一样，它也支持基于色彩、颜色布局、纹理和结构等视觉特征的图像检索。j e r r y 等人还进一步提出了图像管理的一个开放式框架，将视觉特征分为通用特征( 如 颜色、纹理和形状) 和领域相关特征( 如用于人脸识别和癌细胞检测等) 两类。 v i l l a g e 公司的v 瓜( v i s u a li n f o r m a t i o nr e t r i e v a l ) 图像引擎提供了四种可 视属性检索( 颜色、成分、纹理和形状) 。每种属性被赋予0 到1 0 的权值。通 过颜色特性检索是最简单明了的，该软件对选出的基础图像的色调、色彩以及 饱和度进行分析，然后在图像库中查找与这些颜色属性最接近的图像。成分 ( c o m p o s i t i o n ) 特性指相关颜色区域的近似程度。用户可以设定一个或多个属性 权值来优化检索。要达到最佳平衡度需要反复试验，但检索过程是相当快的。 在结果显示矩阵中可以选择查看3 、6 、9 、1 2 、1 5 或1 8 个简图。通过对四个属 性权值的调整，显示出不同的检索结果。简图是根据相似度降序排列。点击简 图标题将得到该图像的一些详细说明，包括v i r a g e 计算出的相似比。 3 r e t r i e v a l w a l e r e t r i e v a l w a r e 是由e x c a l m u r 科技有限公司开发的一种基于内容的图像 检索工具。早期版本中，可以看到该系统的重点在于运用神经网络算法实现图 像检索。在比较新的版本中提供了基于6 种图像属性的检索，分别是颜色、形 5 基于底层特征的彩色图像检索技术研究 状、纹理、颜色结构、亮度结构和纵横比。颜色属性是对图像的颜色及其所占 的比率进行测定，但并不包括对颜色的结构或位置的测定，这一项是由颜色结 构属性控制的；形状属性指图像中物体的轮廓或线条的相对方位、弯曲度及对 比度；纹理属性是指图像的平滑度或粗糙度，一幅图的表面特性；亮度属性是 指构成图像的象素组合的亮度。这是一个非常有力的图像检索工具。 4 p h o t o b o o k 2 6 】 p h o t o b o o k 是美国麻省理工学院的多媒体实验室所开发的用于图像查询和浏 览的交互工具。它由三个子系统组成，分别负责提取形状、纹理、面部特征。 因此，用户可以在这三个子系统中分别进行基于形状、基于纹理和基于面部特 征的图像检索。 在p h o t o b o o k 的最新版本f o u r e y e s 中，p i c a r d 等人提出了把用户加入到图像 注释和检索过程中的思想。同时由于人的感知是主观的，他们又提出了“模型 集合”结合人的因素。实验结果表明，这种方法对于交互式图像注释来说非常 有效。 5 v i s u a l s e e k 【2 7 】 v i s u a l s e e k 是基于视觉特征的检索工具，w e b s e e k 是一种面向w w w 的 文本或图像搜索引擎。这两个检索系统都是由哥伦比亚大学开发的。它们的主 要特点是采用了图像区域之间空间关系和从压缩域中提取的视觉特征。系统所 采用的视觉特征是利用颜色集和基于小波变换的纹理特征。v i s u a l s e e k 同时支 持基于视觉特征的查询和基于空间关系的查询。w e b s e e k 包括三个主要模块： 图像视频采集模块，主题分类和索引模块，查找、浏览和检索模块。 1 5 本文的研究内容 图像检索技术自2 0 世纪7 0 年代开始便成为一个活跃的研究领域，早期的图 像检索技术主要是对图像进行人工标注，即基于文本的检索。随着时代的发展， 利用人工标注的图像检索已不能满足人类的需要，从2 0 世纪9 0 年代开始，基于 内容的图像检索技术得到了广泛关注，并已成为国际学术界研究的一个热点。 人们围绕图像内容的分析与处理开展了卓有成效的研究工作，陆续提出了一系 列基于内容的图像检索系统。 本学位论文对基于底层特征的图像检索技术展开了深入的研究，本文组织 如下： 第一章对图像检索技术的研究现状及所面临的挑战进行了阐述，简要说明 6 基于底层特征的彩色图像检索技术研究 了图像检索技术的应用领域，对部分典型的c b i r 系统进行了介绍。 第二章介绍了基于内容图像检索的若干关键技术，包括图像颜色模型的选 择、基本的图像底层特征描述方法、图像匹配中一些常用的相似性度量方法和 检索性能评价的准则。 第三章提出了一种基于图像彩色边缘块划分的检索方法。首先，利用 c a n n y 算子对2 4 位真彩色图像进行边缘提取，进而对处理后图像网状分区， 然后在每个网格中进行颜色和纹理直方图特征的提取。仿真实验表明，该方法 可以很好的描述图像中感兴趣区域的颜色和纹理特征，使检索的查全率和查准 率都有所提高。 第四章以性能优越的回归型支持向量机( s 之) 理论为基础，结合重要的图像 边缘信息，提出了一种鲁棒的多特征彩色图像检索新方法实验结果表明，该方 法不仅能够准确、快速的检索出用户所需图像，而且对噪声攻等击均具有较好 的效果。 第五章以性能优越的伪z e m i k e 矩理论为基础，结合重要的图像颜色信息， 提出了一种结合伪z e m i k e 矩与颜色特征的图像检索方法。实验结果表明，该方法 不仅能够准确、快速的检索出用户所需图像，而且对光照、锐化、模糊等噪声 攻击均具有较好的鲁棒性。 最后在第六章中，对全文工作进行了总结和展望。 7 基于底层特征的彩色图像检索技术研究 第二章基于内容的图像检索关键技术 2 1 引言 本章将系统地介绍基于内容图像检索的若干关键技术，包括图像颜色模型 的选择、基本的图像低层特征描述方法、图像匹配中一些常用的相似性度量方 法和检索性能评价的准则。 2 2 颜色模型的选择 所渭颜色模型【2 8 】指的是某个三维颜色空间中的一个可见光子集。它包含某 个颜色区域的所有颜色。通过理论研究和实践结果，人们现在对颜色的物理本 质己经有了相当大的掌握和了解。区分颜色常用到三种基本特征量：亮度、饱 和度和色调。亮度与物体的反射率成正比，如果没有彩色，则只有亮度( 灰度 级) 这一维量的变化。对于彩色来说，颜色中掺入白色越多就越明亮，掺入黑 色越多亮度就越小。色调则与混合光谱中的主要光波长相联系。饱和度与一定 色调的纯度有关，纯光谱色是完全饱和度，随着白光的加入饱和度逐渐减少。 实际上，人们在不同的应用场合会使用不同的颜色模型，常见的有如下几种。 2 2 1r g b 颜色模型隆鲫们 根据人眼结构，所有颜色都可看作是三个基本颜色的不同组合。利用三基 色叠加可产生光的三补色：品红( m a g e n t a ) ，青( c y a n ) 和黄( y e l l o w ) 。按 一定的比例混合三基色或将一个补色与相对的基色混合就可产生白色。 每个象素实际上任何可能要量化的颜色都能用三维空间中的一个点来 表示，如图2 1 中的立方体所示。 b i m a g e n t a ( 1 ，0 b l a c k ( 0 ，0 ，o ) r e d ( 1 ， ，1 ) w h i t e ( 1 ，1 ，1 ) 图2 1r g b 颜色模型 三色图像的灰度级直方图是r g b 空间的点分布。在r g b 颜色空间的原点上， 任一基色均没有亮度，即原点为黑色。三基色都达到最高亮度时表现为白色。 亮度较低的等量的三种基色产生灰色的影调。所有这些点均落在彩色立方体的 8 基于底层特征的彩色图像检索技术研究 对角线上，该对角线被称为灰色线。彩色立方体中有三个角对应于三基色。红 色、绿色和蓝色。剩下的三个角对应于二次色，黄色、青色( 蓝绿色) 和品红 ( 紫色) 。 数字图像一般用r g b 颜色空间来表示。r g b 颜色空间便于c r t 设备显示图 像，使用最广泛，但它并不是以一致的尺度表示色彩，不符合人的感知心理。 在r g b 颜色空间中改变一个颜色时，三个通道全部需要修改：由于不是一个均 匀视觉的颜色空间，r g b 颜色空间上的距离并不代表人眼视觉上的颜色相似性。 2 2 2h s v 颜色模型聆” h s v 色彩模型是从人的视觉系统出发，用色调( h u e ) 、饱和度( s a t u r a t i o n ) 和亮 度( v a l u e ) 来描述色彩。h s v 模型的色调h 是由颜色名称来区别的，如红、橙、 绿，他用色度0 3 6 0 度量，两度v 是颜色的明暗程度，通常用百分比度量，从 黑( 0 ) 到白( 1 0 0 ) ；饱和度s 指颜色深浅，例如同样是红色，可分为深红和浅 红，用百分比来度量从0 到完全饱和1 0 0 。 r g b 到h s v 的转换关系如下： t ? r + g + b y = 一 3 日= 击卜a r c t a n ( f 压) + o g 召；1 8 0 ，g 叫 、 9 ：1 一n f i n ( r , g , b ) v h s v 到r g b 的转换关系： ( 1 ) 当0 h 1 2 0 。时 尺=去l+而scos(h)cos(60卜击( 咽 g - 西一r 一曰 3i 。一日) l 3 、 ( 2 ) 当1 2 0 。h 2 4 0 。时 乳击lh鬻cos(180卜去”趴肚肛肛g 3f 。一日) l 3 、 7 。 ( 3 ) 当2 4 0 。h 0 0 1 6 幸= 2 0 0 l ( 】，k ) “3 一( z z o ) 3l 其中x 、y 、z 是物体的三刺激值；x 。、虼、z 。为c 1 e 标准照明体的三刺激值； l + 的百分数来表示。 i l 。 - 气- 图2 2l a 空间坐标系 色差是指用数值的方法表示两种颜色给人色彩感觉上的差别。若两个色样 样品都按p 、a 水、b 宰标定颜色，则两者之间的总色差a e * a b 以及各项单项色差 可用下列公式计算： 1 0 基于底层特征的彩色图像检索技术研究 明度差a l = 工1 - l 2 色度差a a * = a 1 一口掌2 扩= a b l a b 2 总色差a e * a b = 陋) 2 + ( 血 ) 2 + ( 6 幸) 2 j 心 2 3 图像特征的提取 图像特征的提取是基于内容图像检索技术的基础。选择好的特征不仅可以 减小计算复杂度，提高分类准确度和运算效率，而且有助于寻找更精简、更易 理解的算法模型。本节主要研究图像低层特征的提取与表达。 2 3 1 颜色特征的提取 颜色是物体表面的一种视觉特征，每种物体都有其特有的颜色特征，譬如 人们说到绿色往往是与树木和草地相关，谈到蓝色往往是与天空和大海相关， 同一类物体往往有着相似的颜色特征，因此我们可以根据颜色来区分物体。 2 3 1 1 颜色直方图 颜色直方图是众多图像检索系统广泛采用的颜色特征3 2 3 5 】。它所描述的是 不同色彩在整幅图像中所占的比例，其函数表达式如下： 日( 七) = 等( 后= 0 ，1 ，三一1 ) 川 其中，k 代表图像的特征取值，三是特征可取值的个数，刀。是图像中具有特 征值为k 的像素个数，是图像像素的总数。显然，颜色直方图并不关心每种色 彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描 述那些难以进行自动分割的图像。 计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间 成为直方图的一个b i n ，这个过程称为颜色量化( c o l o rq u a n t i z a t i o n ) 。然后，通 过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。颜色量化有许 多方法，例如向量量化、聚类方法或者神经网络方法。相比之下，聚类算法则 会考虑到图像颜色特征在整个空间中的分布情况，从而避免出现某些b i n 中的像 素数量非常稀疏的情况，使量化更为有效。 2 3 1 2 颜色中心矩 无论是一般直方图还是累加直方图，量化柄数都是必须考虑的参数。我们 很难找到一种最优的量化柄数，而且，即使量化是最优的，也可能产生意想不 到的效果。量化并不是检索问题固有的，我们希望有一种不需要量化参数的方 法。这种方法能够鲁棒的提取图像颜色分布的主要特征，将其作为图像索引来 基于底层特征的彩色图像检索技术研究 度量图像的相似性，并且存储量和计算量都较小。由概率论可知，矩可以作为 概率分布的特征 3 6 - 3 7 】，图像颜色分布是一种概率分布，我们也可以用矩作为图 像颜色分布的特征。 图像颜色的前三阶中心矩公式如下： e = 寺p ， n 台“ 盯= 瞵计 s = 唏计 其中，p ；为图像第f 个像素的颜色值。 2 3 1 3 颜色对 颜色特征不能捕捉图像中对象的局部特征，借助图像子块之间颜色的邻接 关系，通过颜色进行组对建模，就可以基本做到对图像的基于内容检索。如果 两幅图像具有相同的颜色组对，那么这两幅图像就可能是相似的。这就是颜色 对( c o l o rp a i r ) 方法的原理【3 引。颜色对方法比较具有鲁棒性，根据颜色邻接关 系的不同，能够适应对象大小、位置及旋转的改变。 我们用图例的方法说明颜色对的概念，如图2 3 所示将两幅图像分成3 x 3 个 小块，网格中的数值代表每- - d , 块的灰度平均值。把i m a g ea 中左上角的小块与 右下角的小块交换形成i m a g e b 。 923 456 78 l 图2 3 网格分块图像 1 2 i m a g e b 基于底层特征的彩色图像检索技术研究 图2 4 图像的颜色对列表 如果用直方图方法，两幅图像是没有区别的，但如果用颜色对方法，仅考 虑左右相邻小块的距离，两幅图像的颜色对列表分别如图2 4 所示。 这样，目标的空间特征就表现出来了，对于每一幅图像，如果考虑每个小 块与周围8 个小块的距离，那么目标的平移、旋转将不影响检索的结果。 2 3 2 形状特征的提取 形状特征【3 9 】对于人来说是识别物体的主要信息，是一种重要的图像内容表 达手段。不同于颜色或纹理等底层特征，形状特征的表达必须以对图像中物体 或区域的划分为基础。形状特征表达的一条重要准则是要求对位移、旋转、变 化的不变性，因为人类出于识别和检索的目的，总是趋向于忽略这种变化。但 是因为现在计算机视觉技术的局限，我们无法将目标从背景中精确地分割出来， 从而也很难让计算机来表达和理解其形状特征。这使基于形状特征的检索成为 了当前c b i r 系统的一大障碍。 通常来说，形状特征有两种表示方法，一种是轮廓特征的，它只用到物体 的外边界；一种是区域特征的，它关系到整个形状区域。 2 3 2 1 傅立叶描述符【4 0 l 傅立叶描述符( f o u r i e r - b a s e ds h a p ed e s c r i p t o r s ) 的主要思想是：利用区域 边界的封闭性和周期性，以边界上某一固定点b 为起始点，沿边界曲线上的动 点b 的坐标变化就是个周期函数。对这个周期函数可以用傅立叶级数展开来 表示，相应的，傅立叶级数中的一系列系数就称为傅立叶描述子。采用傅立叶 变换后，用较少的参数可以包纳很复杂的边界。 假设一个二维物体的轮廓是由系列坐标为( x 。，y ，) 的像素组成，其中 0 s n 一1 ，n 为边界点的总数。从这些边界点序列我们可以得到三种轮廓表 示：曲率函数、质心距离、复坐标函数。 某点的曲率定义为该点处切向角度的变化相对于弧长的微分。曲率函数的定 义式为 1 3 基于底层特征的彩色图像检索技术研究 k ( s ) = 口q ) 其中，臼( j ) 是轮廓切向角度，其定义为 ) 一缸1 1 ，：盟 川d s 扣誓 质心距离定义为物体边界点到物体中心( 石。，y 。) 的距离： r ( s ) = 4 曰；1 8 0 ，g 召 】 s = i m i n ( r , g , b ) y 基于底层特征的彩色图像检索技术研究 颜色的量化是将原来图像中的多种颜色根据人的视觉效果归类到少数目的 颜色，从而实现彩色直方图维数的降低，以获得更高的存储和检索效率。本文 采用以下的量化方式： h = s 矿 善 如果h ( o ，2 2 l 如果h ( 2 2 ，4 5 l 如果h ( 4 5 ，7 0 i 如果h ( 7 0 ，1 5 5 i 如果h ( 1 5 5 ，1 8 6 l 如果h ( 1 8 6 ，2 7 8 l 如果h ( 2 7 8 ，3 3 0 l 如果s ( o 2 ，0 6 5i 如果s ( o 6 5 ，1 i 如果v ( o 2 ，0 7 i 如果v ( o 7 ，1 l 按照以上的量化级，把三个颜色分量合成为一维特征矢量，如下公式所示。 这里，对于合成的每一个一维特征矢量，对应于h s v 颜色空间的一个区域。 所统计的直方图就是落在各个空间区域里的像素的分布情况。 i u ， 如果1 ， 0 2 ，= ( v _ o 2 ) 牛7 0 8 】 如果j o 2 ，o 2 l 4 h + 2 s + ，+ 8 否贝i j 其中i 口i 表示不小于口的最小整数。 3 3 检索算法 3 3 1 特征的提取 对于经过边缘检测和网状分块的图像，要在每一个子块( 如图3 3 ( a ) 为分块 图，( b ) 为其中某子块) 中进行颜色和纹理特征的提取。生成纹理和颜色全局分 块直方图。经过空间转换和颜色量化后的图像，每个边缘点p ( x ，y ) 都对应h s v 空间的一个l ，从而每个网格分块中的所有象素点可以得到一个l 的累加和即： l ( s u m ) = l ( x ，y ) 或者 i = l c o i m i l ( s u m ) = l ( x ，y ) ， 其中，k ，+ 屹) ，0 院，o k + 岛) ； 基于底层特征的彩色图像检索技术研究 一 、 人一 矜，。隰 爆瀚 、 。 ( a )( b ) 图3 3 分块图像特征提取 纹理特征的提取可令s 以，仇) 为网格g + 乃，o k ，o k + 吼) 分布的点的总 数，即 s g ，仇) = 渺，臼) l ，k ，l + 乃) ，臼 o k ，o k + 吼) ) 。 图3 4 中：( a ) 为r 分量的传统直方图，( b ) 为g 分量的传统直方图，( c ) 为 b 分量的传统直方图。 图3 4 原始图像 惫 基于底层特征的彩色图像检索技术研究 ( a )( b ) 一一一；eq憎憎挪瞄 ( c ) 图3 5 图像的颜色传统全局直方图 图3 6 中( a ) 为经过网状分块的图像，( b ) 为经过本文算法生成的纹理直方 图，( c ) 为经过本文算法生成的颜色直方图( 文中将图像的径向分成2 0 份，角 向分成8 份，直方图共1 6 0 个b i n ) 。 饭瀚 烬 ( a )( b ) 一5 3 3 3 1 1 。ijlii 图3 6 本文算法中的直方图 3 3 2 相似性的度量 在本文的图像检索中，对于给定的两幅图像p 、q ，处理后分别计算出它们 的分块颜色、纹理直方图，并计算出它们的相似性d ：( p ，q ) ，越小认为它们越 相似。我们仍采用l i n o l i n 距离进行图像问的相似性的度量，图像间的距离描 述为 跣( p ，q ) - - w l d ：p ，q ) + w 2 磋p ，q ) 其中，d 彳( p ，q ) 表示纹理特征的相似性，d 三( p ，q ) 表示颜色特征的相似性。 w 1 ，分别表示颜色、纹理直方图的权重，w l ，w 2 【o ，1 l + w 2 = 1 。本文算法取 权值w l = o 5 ，= o 5 ( 对于本文颜色、纹理等比重) 。其中： 基于底层特征的彩色图像检索技术研究 硝p ，q ) = 怫( f ) 一心叫 i