（计算机应用技术专业论文）综合颜色和形状特征的图像检索关键问题研究.pdf

山东师范大学硕士学位论文 、 摘要。 随着妣m e t 的普及和发展，图像数据飞速膨胀，使得如何高效、快速地检 索到所需要的图像数据成为当前图像应用领域的一个研究热点。传统的基于文 本的图像检索技术已经不能满足日益增长的图像检索的需要，为了便于图像的 检索和识别，基于内容的图像检索技术应运而生。 基于内容的图像检索是从图像本身的内容出发，根据图像所包含的颜色、 纹理、形状等底层特征和语义等高层特征来分析图像信息，建立图像的特征向 量作为其索引，通过检索这些信息对图像数据库进行检索，以满足甩户对大量 图像的检索要求。颜色是应用最为广泛的视觉属性之一，经典的基于颜色特征 的直方图法具有计算简单，平移、旋转和尺度不变等良好特性，而且抗噪声能 力较强。它的缺点是没有包含颜色的空间分布信息，难以区分颜色组成相似但 是空间分布不同的图像。针对颜色特征检索的这一缺陷，本文提出了综合颜色 和形状特征的图像检索方法。 本文在简要介绍了基于内容的图像检索研究背景、国内外应用现状以及目 前存在的一些关键技术研究的基础上，将图像的颜色和形状特征综合起来对图 像进行检索。在前人研究的基础上对颜色和形状特征的检索方法进行了改进与 完善，主要从各自特征的提取方法、特征的表达、相似性度量方面做了研究和 探索，并用具体理论推导和实验结果证明了文中算法的正确性和有效性。其次 为了使检索的结果尽可能与人对图像内容的理解一致，减少语义鸿沟，本文将 相关反馈技术运用于颜色和形状特征检索中。 本文的主要工作和创新如下： ( 1 ) 在阅读了大量材料之后，针对颜色直方图不能准确表达图像的颜色空间分 布特征这一缺点，我在文中提出了一种将图像进行分块的方法，分块可以体现 图像的空间特征但是同时也增加了用户检索的复杂度。为了减轻用户负担和减 少系统检索时间，采用k m e a 璐聚类的方法来将分块进行聚类，这样减少分块 的个数同时能够让聚类后的分块集中保留图像的信息。 ( 2 ) 回顾所看的论文，都是采用一般颜色直方图、累加直方图或局部累加直方图 来提取图像颜色特征。在文中通过在m a t l a b 条件下对图像直方图进行改进发现 规范化后的直方图比一般直方图更能体现图像的亮度，因此，我对提取聚类后每 块图像的颜色直方图，将其进行直方图的均衡化、规范化，以规范化后的直方图 作为图像的颜色特征来进行检索。 ( 3 ) 图像的相似性匹配也是进行图像检索的一个重要环节，在文中我采用已经经 过实验证明并且在发表的论文中验证了的相似性度量方法进行图像颜色特征的 匹配，该方法减少了图像检索的时间复杂度。 山东师范大学硕士学位论文 ( 4 ) 在图像的形状特征检索时，通过实验结果比较最终选择了c 锄y 算子对图 像进行边缘检测。为了让图像的边缘更加清晰，引入形态学中的膨胀腐蚀算法提 取图像的轮廓，并将其二值化，以形状的七个不变矩作为图像的形状特征进行检 索。 ( 5 ) 在v c + + 环境下结合m a t l a b 软件和a c c e s s 数据库设计了一个基于内容的图 像检索系统，并辅以相关反馈技术实现了图像检索，取得较好的检索结果。 关键字：图像检索规范化直方图边缘检测相似性度量相关反馈 i i 山东师范大学硕士学位论文 2 ) r e c a l l 证g b a c kt h ep 印e r s ，m o s to ft h e mu s et h eg e n e r a lc o l o rh i s t 0 莎a m ，t l l e c 啪u l a t i v e1 1 i s t o 伊a m0 rp a f t i a lc u m u l a t i v e1 1 i s t o 伊锄t oe x 住a c ti m a g ec o l o rf c a t u r e h lt l l et e x t ，id 0e x p 舐m e n t 谢t l lm a t l a bt 0i n l p r o v em ei m a g e s h i s t o 鲫na n d 蠡n dm e s t 锄d 川i z e dk s t o g r a mi sb e t t e rt h a l lt h eg e n e m lb r i 曲n l e s so ft h ei m a g e ，s ol e x n 狮t e de a c ho fm eb l o c k c o l o r h i s t o 鄹a r n ，f i g u b a l 锄c e ，s t a i l d a r d i z a t i o nu s ei ta s t h ec h a r a c t 甜s t i c so fi m a g er e t r i e v a l 3 ) h n a g es i m i l a d t ym a t c h i n gi s 锄i m p o n a n tp a r to fm er e t r i e v a l ，i nt l l i sp 印e ri u s e dam e 廿1 0 dt 1 1 a t h a sb e e np 玎0 v e d 勰dp u b l i s h e d t 1 1 i sm e 吐1 0 dc a i lr e d u c e 虹l e c o m p l e x i t yo ft i m e 4 ) h l 吐l ei l l l a g e ，s s h a p er e t 矗e v a l ，iu s es e v e l ls _ h a p em o m 跖ti n v 撕a n t s 觞t 1 1 e f e a t l l r et 0r e 仃i e v a l h lo r d e rt oa l l o wt h ee d g eo fm ei i i l a g em o r ec i e 羽y id om a l l y e x p 嘶m e i l t sa tl 碱c h o s ec 锄yo p e r a t o ro ft h ei m a g ee d g ed e t e c t i o n ，a 1 1 di n 臼0 d u c e t 1 1 ee x p a n s i o no fc o r r o s i o nm 9 巾h o l o g ye x t r a c t i o na l g o r i 也mi m a g ec o n t o u r s 5 ) 、矾也v c + + ，a n da c c e s sm a t l a bd e s i 印e dac o n t e n t b a u s e di m a g er e t r i e v a ls y s t e m f 0 rav 耐e t yo fi m a g e 砌e v a la n db a c k e du p b yr e l e v a n tf e e d b a c kt e c h n o i o g yt 0 r e a j i z ei m a g er e t r i e v a l 狮da c h i e v e db e t t e rs e a r c hr e s u n s k e yw b r d s ：i m a g er “r i “a l s t a n d a r d i z e dh i s t o g r a m m a r g i n 鑫le h e c k s i n l i l a r i 够m e a s u 他r e i a t i v ef e e d b a c k i v 独声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得 ( 注：如 没有其他需要特别声明的，本栏可空) 或其他教育机构的学位或证书使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名：导师签字： 学位论文版权使用授权书 囱务嗫 本学位论文作者完全了解堂撞有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。 本人授权堂撞可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在 解密后适用本授权书) 学位论文作者签名： 签字日期么游妒；d 日 导师签字：壶 山东师范大学硕士学位论文 1 1 课题研究的背景 第一章绪论 近年来，随着时代的进步和科学技术的推广，信息处理技术和计算机网络蓬 勃发展，特别是h 锄e t 技术的发展，使得信息的发布由单一的文本技术向多媒 体形式扩展，出现了信息众多的大规模图像数据库。为了满足用户信息的需要， 网络的宽带和网络上的信息量也飞速增长，因此因特网也就变成了海量的信息 库。信息库中的信息主要以文字、图像、声音和视频等各种形式存在。传统的 数据库检索采用基于关键字或描述性文本的文本检索方式，如g o o g l e 、百度、 d i t t o 、雅虎等。这些方法查询时要用户对图像用文本进行标注，这种方法在图像 库中的图像数量不大或者图像的内容比较单一的情况下算是一种简单易行的方 法，但是现在图像的数量每天以百万的速度增长，面对如此多的图像采用文本的 图像检索方法存在下列弊端：( 1 ) 图像内容的文本描述由手工完成，处理工作 繁重、检索速度慢、效率低，随着图像数据的来源r 益广泛，这种文本描述的方 法显得费时费力。( 2 ) 文本标注具有相当大的主观性，不同的人对同一幅图像可 能有不同的理解，因此当用户输入的查询关键词和数据库中的图像的关键词不一 致时，将查询不到所需的图像。( 3 ) 文本描述不能充分描述和揭示图像信息，简 单的文本标注词很难将图像的内容描述清楚特别是一些信息如纹理等很难用文 本来描述。为了解决这种检索方式的局限性，提高检索效果的精确度，基于内容 的图像检索方式应运而生。 基于内容的图像检索旺1 ，是指直接根据描述图像对象内容的各种特征进行检 索。它根据用户提出的反映图像内容特征的查询要求，能从数据库中查找到具有 指定特征或含有特征内容的图像( 包括视频片段) ，它区别于传统的基于关键字 的检索方法，融合了图像处理、模式识别、计算机视觉、数据挖掘、数据库管理 等多种技术。其主要思想是使用图像的视觉特征来描述图像的内容，进行图像信 息的检索。在建立图像数据库时，对输入的图像所包含的颜色、纹理、形状等底 层图像特征进行特征提取，表示为特征向量的形式，在图像入库时同时存入输入 图像及其对应的特征向量。在进行图像检索时，通过将待查图像的特征向量与数 据库中图像的特征向量采用一定的匹配策略进行匹配，然后根据匹配结果返回最 相似的若干图像给用户。由于利用图像本身的物理内容描述图像，而且特征的提 取可以用计算机自动实现，因此避免了人工标注的主观性，大大减少了工作量， 很好地解决了基于文本检索中存在的问题。 与传统的文本检索相比较，基于内容的图像检索技术有如下突出的特点u 1 ： 山东师范大学硕士学位论文 ( 1 ) 直接鼾些藿铺薹猁辫蔓鳖零童蠡塞姻药糖； 薹震翼用雾砸洌悟堪隔垂i 殴琢龟鳗疆雾静搞剑塞孺i | 蓁i 鞫藕鞠差霸滢箨籀霎需蓁佣垡薹羹孺滔滔耐童翼检索特征是基；支裕 震链酸蓄萧疑遵婴蓁l l 矍| l 霸壁冀叁霎羹雾些霞帑懈羹琵誊蕾擎帚咎薹驾蕤醐凿；孽垂鬻嚆垮译逍叫 瞳疆活动哇砑道痉薹饕磊智 ；喜蓖黪盟蛤提 取形状、纹理和人脸特征，用户可以分别作基于上 述特征上的一中的检索。由于目前还没有一种特征可以很好地对图像见模，在 p h o t o b 0 0 k 的最新版本f o u r e y e s 中，p i c a r d 等提出将人也包括在图像的标注和检 索过程中。实验结果显示这种方法对图像的自动标注很有效。 1 3 2 国内研究现状 从国内的研究来看，主要集中在基于图像颜色的查询和基于形状的查询。例 如：清华大学曾做过关于敦煌壁画的图像检索研究，用壁画的主色调来判断其绘 制的年代，并且开发了一个基于内容的图像检索系统1 1 1 9 r e 仃 可以根据主颜色、 纹理、颜色直方图、颜色分布、轮廓和主题词来对图像的内容进行描述，并采用 相似检索技术来加快检索速度。中国科学院计算机技术研究所研究的多媒体信息 检索系统m 冱s，可以在h l t 锄e t 上按照内容对图像信息或文本信息进行检裂。 近年来，图像检索技术在国内也取得了很大的进展。例如：浙江大学计算机系研 究的基于图像颜色的检索系统和基于图像形状的检索系统、清华大学的e t 上静态图像的c b瓜的原型系统、中国科学院计算机技术研究所的多媒体信息检 索系统等。 1 33c b i r 研究存在的主要问题 目前基于内容图像检索技术仍然主要集中在图像的底层视觉特征，如：颜色、 纹理、形状、空间关系等的基础上。由于计算机视觉以及人工智能发展的不成熟， 导致各种算法提取的特征不能够表示图像的精确意义。并且图像特征描述和特征 提取及相似性度量存在很大的复杂性，这种复杂性导致目前的关系型数据库不支 持现在的基于内容的图像检索。一个完善的图像检索系统需要解决以下三个难 题：特征提取、数据模型、高维索引。其中特征提取仍然是研究的热点和难点， 基于颜色的特征提取主要因为人眼对于色彩特征的时局感知原理还不清楚，虽然 山东师范大学硕士学位论文 在图像中的应用，一直到8 0 年代中期，随着计算机价格的下降和市场需求的驱 动，图像检索再一次引起众多学者的关注。从2 0 世纪9 0 年代早期开始，基于内 容的图像检索已经成为一个非常活跃的研究领域。许多研究机构和公司相继推出 了他们自己的商业系统或者研究原型系统。这些系统具有共同的特征巧1 ：( 1 ) 提取 多种能有效代表图像内容，并且维数较低的属性作为图像特征向量。( 2 ) 对高维 的特征向量添加高维索引结构以便更高效的管理这些图像特征。( 3 ) 支持多种检 索方式。( 4 ) 设计合理的用户接口以便用户查询。 在国外基于内容的图像检索技术是随着数字图书馆的发展，而逐渐发展成为 一个研究热点。虽然当前基于内容的图像检索技术的研究还不是很成熟，但是作 为作为商业软件包的图像检索系统已经问世。 目前比较著名的系统有：i b m 的q b i c 系统；n e t r a 系统：u m c 开发的m 鲇峪 系统；以及由r a g e 公司开发的v i r a g e 系统等。下面简单介绍一下这些原型系 统。 q b i c 系统 q b i c 嘶1 是m m 公司开发的最具代表性的基于内容的图像检索系统。q b i c 是第一个商品化的基于内容的图像检索系统，它的系统框架和技术相对后来的图 像检索系统具有深远的影响。它支持基于例图、用户构造的略图、选择的颜色、 纹理等的查询。q b i c 中使用的颜色特征采用r g b 、y 、l a b 和m 1 m 坐标和 k 维颜色直方图来表示。纹理特征采用改进的t a m u m 纹理表示法，其本质是粗 糙度、对比度和方向性三个特征的结合。它的形状主要包括形状区域、圆周率、 离心率、主轴方向和一些代数不变矩。近年来q b i c 的应用领域越来越广。m m 也致力于将之应用于诸如商业图形检索、艺术图像检索及医学等领域中。 v i r a g e 系统 r a g e 公司推出的基于内容的图像搜索引擎v i r a g e ，被应用于址t av i s t a 的网 络图片查询工具a vp h o t of i n d e r 中。同q b i c 系统一样，它支持颜色、颜色分 布、形状和结构这4 种图像特征。用户不但可以针对某一特征来查询图像，还能 将对这4 种特征的查询进行任意的组合构成复杂的查询功能。但r a g e 要比 q b i c 在技术上向前迈了一步，它支持以上四种基本查询的任意组合后的查询方 式，用户还可以根据需要来调整一些基本图像特征的权重。 m a r s 系统 m 6 嬲系统为美国u m c 大学所开发，其不同之处在于用到了多领域的知 识：计算机视觉、数据库管理系统和信息检索。m a r s 系统的注重点不在于寻找 单个的最佳特征表示，而在于如何将不同的视觉特征组织成有意义的检索体系， 以动态适应不同的用户及应用场合。m a r s 系统是正式提出相关反馈的系统，它 将相关反馈技术集成到检索的不同层次过程中。 n e t r a 系统 山东师范大学硕士学位论文 ( 1 ) 图像特征。特征提取是c b 取技术的关键强1 。基于颜色特征进行检索是许 多c b 瓜系统的一个主要研究对象，但定义颜色之间的相似性度量与视觉上人对 颜色的判定仍有一定的差距。定义一种和人的视觉相一致的度量可以进一步提高 检索效果，这需要对人类心理学和人类视觉以及颜色物理几方面进行综合深入地 研究。 ( 2 ) 基于形状的图像检索一直以来是图像内容检索的一个难点问题四1 。各种形 状特征表达方法对形状信息的丢失非常严重；而且目前各种形状度量方法仍不具 有很好的形状区分能力，不能有效表达形状之间的相似性。研究形状特征检索仍 然是基于内容检索较具挑战性的研究课题，而且较之于颜色和纹理特征，形状特 征更加接近于对象水平。基于纹理的特征提取的主要问题在于纹理特征提取的算 法仅仅适用于某一特定物体，无法对图像库中的其他物体适用。 ( 3 ) 由于检索对象和范围的多样性，基于内容检索的研究具有广泛的内容们。 目前基于内容检索还要解决多种检索手段相结合的问题以提高检索的效率。对于 单一检索手段，由于其约束信息不足，在返回目标图像的同时往往会返回大量无 关图像。采用多个检索手段相结合的方法无疑可提供更多的约束而使得返回图像 中目标图像的比率得到提高，但检索手段间的融合是所要解决的问题。此外，使 系统在与操作者的检索交互中进行学习，更好地理解检索的内容，以及使检索性 能更接近人类视觉的特性，也是未来研究中所要解决的问题。 ( 4 ) 图像特征多种多样，不同特征采用的相似性度量也不同，而且不同的用户 对图像数据库检索有不同的要求，如何设计一个友好的，具有更好亲和力的人机 交互界面也是c b 瓜面临的一个难题。这涉及到用户对图像内容的感知表达、交 互方式的设计、用户如何形成并提交查询等方面。现代多媒体信息系统的一个重 要特征就是信息获取过程的交互性，人在系统中是主动的。除了提供示例和描述 查询基本接口之外，用户的查询接口应提供丰富的交互能力，使用户在主动的交 互过程中表达对图像语义的感知，调整查询参数及其组合，最终获得满意的查询 结果。用户的查询接口应该是直观易用的，底层的特征选择对用户是透明的。这 罩涉及到如何把用户的查询要求转换为可以执行检索的特征矢量，以及如何从交 互过程中获取用户的内容感知，以便选择合适的检索特征问题。 ( 5 ) 索引技术一直是图像检索研究的重要问题之一，由于图像的特征通常是几 十维甚至是上百维，一般的索引技术显然不适用，如何降低维数成为一个值得关 注的问题。 1 4 图像检索的应用领域 基于内容的图像检索技术推动了图像技术的发展，适应当前信息时代的发 5 山东师范大学硕士学位论文 展，其应用领域相当广泛，包括1 ： ( 1 ) 遥感及g i s 的应用。在地质图中确定某种地质构成的位置，或它与其它地 质构造的空间关系。 ( 2 ) 电子图书馆、数字博物馆、远程教育。网络正逐渐成为人们日常生活中的 一个必需品，网上除了文本信息外，还存在很多非常丰富的图像资源。作为新一 代的网上搜索引擎起码应该具有协助用户从大量而且无序的网上图像资源中寻 找符合要求的图像的能力。另外，日益成熟的数字图书馆正在改变传统的图书馆 的概念。历史资料的存储以及人们对资料的查阅和浏览方式也在发生本质的改 变。因而，对于数字图书馆中的多媒体数据，基于内容的图像分析和检索技术是 非常有用的。对于艺术博物馆利用图像检索技术可以帮助用户检索出与给定查询 图像具有某些相似性的所有油画，以便发现不同画家问的共同特性或他们在使用 颜色、安排空间和表现主题方面的相互影响。 ( 3 ) 医学分析、研究和远程医疗系统，网络会诊例如医生需要通过检查医学数 据库中的2 d 放射照片以发现多个病人间的某种相似病状或分析一个新病人的 病情和发展。特别对远程会诊，基于内容的图像检索可提高效率并且可以节省大 量的网络传输费用。 ( 4 ) 专利检索、商标注册管理。商标注册人员在申请商标时需要检出是否与商 标库中已经登记注册的商标有相同或相似之处。q b i c 和r a g e 检索系统已经采 用了商标数据库。 ( 5 ) 除了这个功能之外，基于内容的图像检索还可以应用到数字视频的协同生 产和编辑以及传输播放，服装设计、建筑设计、内部装潢、军事侦察作战等应用。 随着图像、获取方式的改善和增加，各类图像库的建立和扩展，这种需求将变得 更为迫切。因此，它的研究将会具有很大的应用价值和应用领域。 1 5 本文的主要工作 6 本文在总结他人研究成果的基础上，针对图像低层的特征颜色和形状进行 了研究。本文研究了基于颜色特征的图像分析算法，如颜色的分块聚类、颜色 的规范化直方图算法等；研究了在形状特征提取时形状的不变矩、边缘检测的 常用算法、轮廓提取的算法和轮廓的二值化；在提取图像的轮廓时结合形态学 的研究算法。下面介绍本文的工作：第一章绪论，主要介绍本课题的目的、研 究本课题的意义以及目前国内外该领域的发展状况和课题的应用领域。第二章 介绍了本课题所包含的基本概念，对一些理论知识进行介绍。第三章基于图像 颜色特征的检索，在本章提出了将图像进行分块然后聚类进行各块颜色直方图 的提取，将该颜色直方图进行均衡化、规范化，以规范化后的直方图作为图像 山东师范大学硕士学位论文 第二章基于内容的图像检索基础知识 2 1 基于内容的图像检索系统组成 基于内容的图像检索系统主要由特征提取模块、数据库建立模块、用户查询 接口、查询处理模块与特征匹配模块五大部分组成”图像查询和检索可以看成 是一个逐步求精的过程，结合反馈技术存在着一个特征调整，重新匹配的循环过 程。其系统组成如图2 1 图2 1 基于内容的图像检索系统结构图 在用户查询端存在一个人机反馈的过程，在这一过程中需要作四个工作： ( 1 ) 提交查询说明 用户查找一个数据对象时，利用系统人机界面提供的输入方式( 可视化的输入界 面或查询语言) 形成一个查询条件。与传统的文本查询不同的是，在将查询条件 传递给搜索引擎之前，一般要对所提交的数据进行预处理，在分布式应用中这一 点尤其重要。 ( 2 ) 相似性匹配 将查询特征与数据库中的特征按照一定的匹配算法进行匹配 ( 3 ) 返回侯选结果 满足一定相似的一组侯选结果按相似度大小排列返回给用户 ( 4 ) 特征调整 对系统返回的一组初始特征的查询结果，用户可以通过遍历挑选到满意的结果， 山东师范大学硕士学位论文 也可以从候选结果中选择一个示例，进行特征调整，最后形成一个新的查询。如 果逐步缩小查询范围，直到用户对查询结果满意为止。 该过程如图2 2 所示： 图2 2 用户端查询过程示意图 2 2 目前常用的基于内容的图像检索关键技术 2 2 1 基于内容的图像检索关键技术 基于内容的图像检索是9 0 年代兴起的一种新的检索技术，实现一个完整的 图像检索系统包含四个关键技术1 3 m ，： ( 1 ) 图像数据描述模型。它是指采用图像理解技术实现图像内容描述的方 法。选择合适的图像数据模型表示图像内容特征是进行基于内容的图像检索的基 础。图像存在各种视觉特征，如颜色、形状、纹理、空间特征等。图像的特征集 合构成了它的内容描述集，图像特征的提取是基于内容的图像检索技术中的一个 必不可少的关键步骤。一个好的图像特征应具有以下特点：特征对用户而言具有 直观的含义，也就是说，特征表达的信息和用户的需求之间存在清晰联系，用户 9 山东师范大学硕士学位论文 质，或是对局部区域中像素之间关系的一种度量，纹理特征可用来对图像中的空 间信息进行一定程度的度量描述。根据纹理特征进行检索主要考虑粗糙性、方向 性和对比性三种特征。由于纹理描述比较困难，一般对纹理的检索都采用示例查 询( q u e r yb ye x 锄p l e ) 方式，用户给出示例的全部或部分区域特征，从而找到 类似图像。纹理表示法中有t r a m u r a 纹理特征、基于小波变换的纹理特征表示法 等。 ( 3 ) 基于形状特征的检索 采用该特征进行检索时，用户通过勾勒图像的形状或轮廓，从图像库中检索 出形状类似的图像。基于此特征的检索方法有两种：分割图像经过边缘提取后， 得到目标图像的轮廓线，针对这种轮廓线进行的形状特征检索；直接针对图形寻 找适当的矢量特征用于检索算法，但处理这种结构化检索更为复杂，需做更多的 预处理。 2 2 3 颜色特征的常用表示方法 颜色特征的表示方法有颜色直方图法、颜色矩、颜色集和颜色聚合向量等。 ( 1 ) 颜色直方图 颜色直方图是图像的重要的统计特征，可以把直方图看成是图像灰度密度函 数的近似。从数学的角度看，该方法的关键是在一定的颜色空间中对颜色出现的 频数进行统计，然后采用色彩直方图的交来度量两幅图像色彩的相似性。它具有 明显的优点，即能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像 中所占的比例，它特别适用于描述那些难以自动分割的图像和不需要考虑物体空 间位置的图像。缺点在于，它无法描述图像中颜色的局部分布及每种色彩所处的 空间位置，即无法描述图像中的某一具体的对象或物体。最早使用颜色直方图检 索方法的是s w 锄和b a l l a r d 1 卯，具体地，颜色直方图指假设一幅图像包含m 个像素，图像的颜色空间被量化为n 个不同颜色，颜色直方图定义为： # = 红 式中，忽为第i 种颜色在整幅图像种具有的像素数。 与灰度直方图类似，颜色直方图也可以定义为归一化直方图，即： 尸：鱼 l m 利用颜色直方图必须要确定颜色的级数，当颜色很大( 如真彩色2 2 4 级) 时，要 通过减少颜色样点数，将颜色级数限制在一个较小的范围内。 ( 2 ) 颜色集 山东师范大学硕士学位论文 1 靳双溉s s ) 蹄( 专善( 删嵋 其中弓是图像中第歹个像素的第刻l 謇驿秭醐硝为；箍蕤目i 上l 癫；醣麓羹飘昏 匿蕴蘩幽嘲建始趟煎i 藿车曛万_ 壶萋i 昆落璧禧霎些鋈薪鞘引塞龚移嵩瓣错；薹 滔僚槲召舞- 蔺鬻些冀董量剐鞲：i 耄墼鬈捱篡霾；矧捌醋犁卜戆翅厦囊术将图 像分为若干区域，每个区域用 量化颜色空间的某个颜色分量来表示，从而将图像表达为一个二进制的颜色索引 值。因为颜色集表达为二进制的特征向量，可经过构造二分查找树来加快检索速 度，因此该表达方式支持大规模图像库的快速查找 。 ( 3 ) 颜色聚合矢量 针对颜色直方图无法表达图像色彩的空间位置的缺点，p a s s 等提出以图像的 颜色聚合矢量c c v ( c o l o rc o h e r e n c e 娥o r ) 作为图像的索引 。它是图像直方图 的一种演变，其核心思想是考虑颜色分布的连续性，当图像中颜色相似的像素所 占据的连续区域的面积大于一定的阈值时，该区域中的像素为聚合像素，否则为 不聚合像素。统计图像所包含的每种颜色的聚合像素和不聚合像素的比率称为该 图像的颜色聚合矢量。假设口i 与i 分别代表直方图的第i 个b i n 中聚合像素和 非聚合像素的数量，那么图像的颜色聚合向量表达为，其中n 为量化颜色个数。显然， 就是图像的颜色直方图。聚合矢量中的聚合信息在某种程 度上保留了图像颜色的空间信息。在图像检索过程中匹配目标图像的聚合矢量和 检索图像的聚合矢量来度量图像的相似度。这种方法的检索精度比直方图的检索 精度要高c h u a 在颜色聚合矢量的基础上提出了伪对象模型( p s e u d oo b e c t m o d e l ) 1 8 1 h u a n g等人提出了类似的颜色相关图方法( c o l o rc o 玎e l o 昏锄) ，他们考 虑了颜色的局部空间相关关系。 ( 4 ) 颜色矩 颜色矩嘲是s t r i c k e r 和o r e n g o 在概率论基础上提出的，该理论的数学基础 是图像颜色分布可以由图像像素的各阶矩来描述。颜色信息主要集中在图像颜色 的地界矩中，因此我们只要对每种颜色分量的一阶、二阶和三阶矩进行统计。颜 山东师范大学硕士学位论文 得到的，因此避免了这个缺点。区域的7 个不变矩具有位移、尺度、旋转不变性， 但是小波变换后的模极大值点所对应的是边界( 曲线) ，所以可对不变矩的计算 公式进行修正后用来表示多尺度边界的特征。在检索时对图像的特征向量归一化 后用欧式距离来度量相似度。 ( 4 ) 基于高层语义特征的检索2 ” 图像的高层语义包含对象层语义和概念层语义。对于基于对象层语义的检 索，通常建立在底层特征，尤其是局部底层特征提取的基础之上，然后通过对象 建模，最后在对象知识库的辅助下进行对象的识别和检索。 2 3 图像相似度的距离度量函数 一个合格的距离度量函数应该满足以下几点2 4 “2 钉： 1 与图像的视觉感知相似度成f 比，即距离度量函数的值越小，表示图像从人类 的视觉感知上来看，越接近。反之，越不相似。 2 对于图像的特征向量的距离度量函数应该尽量计算简单，从而有效的节省计算 时间。 目前对于图像特征向量间相似性度量的算法没有完全统一的规律可遵循，但 是在设计图像特征的相似性度量算法时必须遵守以下的规则。 假设n ( i 。，i y ) 和n ( i y ，i 。) 分别表示图像x 与图像y 和图像y 与图像x 特征向量的相 似性，那么n ( i 。，i y ) n ( i ，i 。) 应满足下列要求： ( 1 ) n ( i 。，i y ) 和n ( i y ，i 。) 为非负值。即，n ( i 。，i y ) o 且n ( i y ，i 、) o 。 ( 2 ) n ( i 。，i y ) n ( i y ，i x ) 。即，x 与y 的相似性等于y 与x 的相似性。 ( 3 ) n ( i 。，i y ) ，n ( i y ，i 。) 【o ，l 】。即，n ( i 。，i y ) 和n ( i y ，i x ) 是小于等于l 的值。 ( 4 ) 当n ( i 。，i y ) = l n ( i y ，i 。) = 1 时，相似检索成为精确检索。 ( 5 ) 当n ( i 。，i y ) = - n ( i y ，i 。) = o 时，表明图像x 与y 完全不相似。 在满足上面五个条件的前提下，用户可以根据所选择的向量式来确定合适的相似 性度量方法。 在c b i r 中定义d ( ，) 为图像，和图像- ，之间的距离，( ，) 表示图像，中第f 个特 征向量。常用的相似度度量函数有m i n k o w s k i 测度、直方图相交距离、二二次式距离、 m a h a l a l l o b i s 距离。 1 6 山东师范大学硕士学位论文 2 3 1 m i n k o w s k i 测度 如果图像特征向量同等重要而且相互独立，可以采用m i l l l ( o w s k i 距离乙衡 量图像之间的相似性：d ( ，) = l l z ( ，) 一z ( 州pl 这里p = 1 ，2 和，d ( ，- ，) ， 。二 v ，_ i j i 分别称为厶距离和厶距离( 欧式距离) ，厶距离。许多c b 瓜系统都使用m 破o w 出 距离测度。例如，n 如用欧式距离计算颜色和形状特征的相似性，用厶距离计 算纹理的相似性。v o o r h e e s 和p o g 季。嘶1 用厶距离计算纹理图像之间的相似性。 2 3 2 直方图相交距离 个图 直方图相交距离叫s t o 缪蚰i n t e r s e c 缸o n ) 可以看做厶距离的一种特殊形式，两 像直方图之间的距离定义为：s ( ，) = 上l 1 广一。s w i 勰f 1 8 1 等用来 疵姒( n z ( 刀 计算图像颜色之间的距离。 2 3 3 二次式距离 z ，1 二次式距离( q u 删cf 。傩) 的数学表示为：d ( ，) 二坂瓦= 瓦歹夏两， 这里彳= 1 l 是一个对称矩阵，表示特征向量之间的相关性，口i f 表示颜色直方图 6 伽f 和之间的相似性，矩阵4 可以通过对色彩心理学的研究中获得2 7 1e ，e 表示图像，和图像的特征向量。相对于欧式距离，q u 删c 测度考虑到颜色之 间的相关性旺8 1 ，检索结果更加符合人的视觉感觉，只是相关性对称矩阵的计算 量较大。 2 3 4 m a h a l a n o b i s 距离 当特征向量之间具有相关性并且各个特征对距离测度贡献大小不同的时候 1 7 山东师范大学硕士学位论文 系统要求通过调整，使得查全率和查准率两者达到一个最优平衡。 2 5 相关反馈技术 由于图像低层特征和高层语义之间存在很大的差别，并且基于内容的图像检 索系统常以计算机为中心，我们还不能利用已有的计算机视觉和人工智能技术获 得二者之间满意的映射关系，因此通过特征提取进行检索在效果上往往不能满足 用户需求。为了解决这个问题，人们引入相关反馈技术来帮助基于内容的图像 检索。相关反馈，最初发源于文本文档检索，是一种用来提高信息系统有效性的 有监督的学习技术。其主要思想是通过来自用户的肯定或否定的样例( 正例或反 例) 提高系统性能。 文本检索模型与图像检索模型有着很大的差别，前者只涉及内部形式而不考 虑媒体的表现。图像对于人和计算机而言，它的数据与表现是完全不同的，对基 于内容的图像检索涉及特征的分析与提取，还要考虑相关性问题与用户相关性反 馈问题，所以必须用一套合理的检索模型对其进行量化，使得检索结果是可以依 赖的。下面对基于相关性反馈的图像检索模型进行说明b 。 首先定义图像对象的模型，一幅图像对象，可表示为：，= j ( d ，r ) ，其中 d 是原始图像数据，例如册格式的图像等等；，= f 是此图像对象的底层 特征的集合，这些特征包括颜色、纹理和形状特征等；r = ， 是某种给定特征z 的表达式，如颜色直方图和颜色矩都是颜色特征的表达方式，每一种特征表达 本身可能就是由许多分量组成的向量，可以写成如下形式：，；，= 毛，乃： 其 中k 是向量的维数。为充分表达图像的丰富内容，该对象模型允许采用多个特征 表达对图像进行描述，每个特征都有动态权值与之对应。图像特征权值存在于上 述模型的每一级上，有彤、和分别对应于图像特征z ，特征表达，；：f 和特征 表达的每一分量。相关反馈的目的就是找到最能体现用户信息需要的恰当权 值。一个图像对象模型，( d ，r ) 同一组相似测度算法m = ， 一起构成了 c b r 模型( d ，尺，m ) ，其中相似度算法m 是用来计算两个图像对象之间的相 似度。因此基于相关反馈的图像检索过程描述如下：3 ( 1 ) 将所有权值肜= 形，呒，形，。 初始化为矽o ，形。是一组无偏权值，使所有的 1 9 山东师范大学硕士学位论文 特征和特征分量具有相i 司的权重： 彬= 形o ，= 圭 川o ，= 去 圳妒古 其中是图像特征的数目，以是特征z 的表达形式的数目，是特征向量吩的 维数。 ( 2 ) 将用户提供的查洵对象q 按照权重形分解成一组图像特征z ，每个特征z 又按权重进一步分解到相应的特征表达上。 ( 3 ) 在某个特征表达乃上，图像j 和范例图像q 之间的相似度是根据相应的相 似度算法脚乒和权值来计算的：s ( 勺) = 吩， ，图像，和范例图像q 之间 在某个图像特征z 上的相似度是通过合并每个特征表达上的相似度来得到的： s ( 乃) = s ( 乃) ( 4 ) 图像，和范例图像q 的总相似度s 是通过合并各个s ( 五) 给出的： s = s ( z ) ( 5 ) 计算数据库中所有图像与范例图像q 的总相似度，按相似度大小排列图像， 返回最相似的前幅图像给用户，其中是用户所需要的图像数目。 ( 6 ) 用户根据自己的查询需求和主观意见，判断返回的每一幅图像与查询之间 的相关程度。相关程度共分为五类，分别是极相关、相关、无判断、不相关或极 不相关。 ( 7 ) 系统根掘用户的反馈意见调整权值，转到步骤( 2 ) 。 2 6 本章小结 本章介绍了基于内容的图像检索的基础知识，包括图像检索的概念、图像检 索的关键技术、图像特征的表示方法、图像检索的度量函数以及图像检索的评价 山东师范大学硕+ 晕位语爻 琮滩茹基藐副剃篓磊蹦l 霎卷瓦躜! 镯* 萋i * 山东师范大学硕士学位论文 3 1 引言 第三章基于图像颜色特征检索 在基于内容的图像检索中，人们从颜色、形状和纹理等方面对图像特征进行 了深入的研究。颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在 于在计算机的内部表示中，图像是由一个个像素组成的，而且每一个像素都是直 接由颜色表示的。并且，颜色特征具有相当的稳定性，对于旋转、平移、尺度变 化都不敏感，表现出很强的鲁棒性。其他的如纹理和形状特征都是从像素的颜色 特性上分析得到的。同时，在许多情况下，颜色又是描述一幅图像最简便而有效 的特征，在本文中，基于颜色进行一次检索。针对经典的颜色直方图法没有包含 颜色的空间分布信息的缺点，在本章提出了基于聚类的块划分的颜色直方图方法 提取图像的颜色特征。该方法的思想是，将图像分割成很多小块，然后通过聚类 的方法将小块聚类到一起，这样减少块的个数，聚类后的每一块都表示一定的图 像信息。提取聚类后每一块的颜色直方图，将其规范化，用规范化后的颜色直方 图进行匹配计算图像之间的相似性。通过实验证明该方法检索的结果优于采用一 般直方图的检索结果。 3 2 颜色空间 颜色空间模型是指某个三维颜色空间中的一个可见光的子集，它包含某个颜 色区域的所有颜色。实际上，不同颜色就是不同的电磁波，但是人们却将不同频 率的电磁波感知为不同的颜色。从人的眼睛的角度来看，颜色是一个三维的空间， 所有的颜色都可以看成三个基本的颜色红、绿、蓝的不同组合，即三基色原理。 在原理中指出：( 1 ) 自然界的可见颜色都可以用三种基色按照一定的比例混合得 到；反过来，任何一种颜色可以分解为三种基色。( 2 ) 作为基色的三种颜色应该 相互独立，即其中任何一种颜色都不能通过其它两种颜色混合得到。( 3 ) 三基色 之间的比例直接决定混合色调的饱和度；混合色的亮度等于各基色的亮度之和。 目前提出的颜色模型主要有四大类u 玎： ( 1 ) 比色色度颜色模型，基于对光谱反射的物理测量 ( 2 ) 生理学颜色模型，基于人类视网膜中存在3 中基本的颜色感知锥细胞 ( 3 ) 精神物理学颜色模型，基于人类对颜色的感知 ( 4 ) 对立颜色模型，基于感知实验。 山东师范大学硕士学位论文 柱坐标系统，但一般用六棱锥来表示。跟r g b 颜色空间相比较，h s v 颜色空间 更加满足人类视觉感知的需要，更加适合人类肉眼对颜色的识别，因而被广泛应 用于计算机视觉领域。该模型把彩色信号表示成三种属性：色调h ，饱和度s 和 亮度v 色调h 表示光的不同的颜色如黄、红、绿等。不同波长的光呈现不同的 颜色，则具有不同的色调。发光物体的色调就取决于它产生的辐射光谱的分布特 性：不发光物体的色调由它的吸收、反射、透射和照明光源的特性所共同决定。 在0 到3 6 0 度的标准轮上，按位置度量色调。通常情况下，色调是由颜色名称标 识的。 饱和度也称彩度，是指颜色的深浅或浓淡程度，即颜色的纯度。饱和度表示 色相中灰色分量所占的比例，使用从o 到1 0 0 的百分比来度量。在标准色轮 上从中心向边缘饱和度是递增的。亮度通常是颜色的相对明暗程度，主要受光源 强弱的影响。通常用从0 到1 0 0 的百分比来度量。如图3 2 所示。 -， 尺 、黄 。 、它rm 、 k v 4 j 1 品红 f| j o 0 s ，7 图3 2h s v 颜色空问模型 i 由r g b 颜色空间转换到h s v 颜色空间的公式如( 式3 2 ) ： 设v = m a x ( r g ，b ) 贝i j 、，= = v 2 5 5 v 一m i n ( ，g ，6 ) 萨 1 ， h 2 ( 5 + 6 t ) ，矿，= m a ) ( ( 厂，g ，6 ) 口，z jg = m i n ( ，g ，6 ) ( 1 一g - ) ，z 厂r = m a ) 【( ，g ，6 ) 口，z dg m i n ( ，g ，6 ) ( 1 + 厂) ，矿g = m a ) 【( ，g ，6 ) 口刀d6 = m i n ( ，- ，g ，6 ) ( 3 6 - ) ，矿g = m a x ( ，g ，6 ) 口以d6 m i n ( ，g ，6 ) ( 3 + g ) 矿6 = m a ) 【( 厂，g ，6 ) 口咒d ，= m i n ( ，g ，6 ) ( 5 一厂t ) ，d f 粥 h _ = h 6 2 4 山东师范大学硕士学位论文 3 3 2 图像划分 图像划分技术克服了图像分割过程中常见的目标提取困难且对图像外观敏 感的缺点，选取局部颜色直方图作为特征矢量具有较好的鲁棒性。虽然图像分割 所提供的目标是识别图像较好的依据，但是复杂场景中的目标分割仍然是有待解 决的问题。在误差允许的情况下，可以将图像用栅格划分成若干个小块，每一个 小块表示一定的内容信息。对这些小块进行聚类，产生一些最具有代表性的小块， 这些小块叫关键块。在所有基于块划分的图像描述方法中，如何选择块大小是一 个影响特征表示的有效性的重要问题。通常情况下较小的块反映局部的图像内容 信息，较大的块描述相邻子块的相关信息 x 山东师范大学硕士学位论文 3 3 3 聚类 聚类在数据挖掘、模式识别、图像处理和数据压缩等领域有着广泛的应用。 聚类分析的目的就是将数据库中的数据划分成具有一定意义的子类，使得不同子 类中的数据尽可能不同，而同一子类中的数据尽可能相似。通过对大型图像库采 用聚类算法并按照某种相似度原则进行分类，可以把相似的图像聚合在一起，缩 小了图像