（计算机应用技术专业论文）基于颜色和纹理特征的图像检索技术研究(1).pdf

河海人学颅上学位论文 摘要 摘要 近年来，随着信息技术的发展，数字图像的数量正在飞速增长。如何在这海 量的数字图像中找到我们所需要的图像数据越来越被人们所关注。基于内容的图 像检索成为当前的一个热门研究课题。 本文针对基于内容的图像检索的主要方法进行了研究。在颜色特征提取和匹 配中，通过研究和分析不同的颜色空间和颜色特征，提出对h s v 颜色空间进行 合理的量化，提取颜色直方图形成特征矢量用于检索的方法。针对颜色直方图不 包含任何空间信息以及传统分块丢失了图像旋状不变性的问题，提出一种融合空 问、颜色信息的特征提取和匹配算法，即合理地将图像分成若干子块，为图像提 供了一定程度的位置信息，并且对子块编号进行拉普拉斯算子运算，这样所得到 的位置信息是子块的相对位置而非绝对位置，不仅可以有效地区分具有相同或相 近颜色直方图的图像，同时保证了图像检索中具有旋转不变性。考虑到单纯颜色 特征对图像信息表达能力的不足，引入对图像纹理的分析，确定了基于灰度共生 矩阵的纹理特征提取算法，并且综合颜色、纹理两种特征描述图像内容。 本文设计并实现了相关的算法，并对算法有效性进行了分析。实验结果表明， 本文的算法的检索结果较令人满意，具有更好的性能和一定的实用价值。 关键词：图像检索，颜色特征，纹理特征 洲海人学硕上学位论文 a b s t r a c l a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fm o d e mi n f o r m a t i o nt e c h n o l o g y , t h en u m b e ro f d i g i t a li m a g e s i sg r o w i n gr a p i d l y h o wt of i n dt h ei m a g ed a mw en e e di nt h em a s s i v ed a t a b a s ei sa t t r a c t e db y m o r ea n dm o r ep e o p l e n o wt h ec o n t e n t - b a s e di m a g er e t r i e v a lt e c h n i q u eh a sb e e na ni m p o r t a n t r e s e a r c hs u b j e c t t h em a i nt e c h n i q u e so f c b i ra r ed i s c u s s e di nt h i st h e s i s d u r i n gt h es t u d yo f c o l o rf e a t u r e s e x t r a c t i o na n dm a t c h i n g , h s vc o l o rm o d e li sc h o s e na n dd i v i d e di n t os m a l ls p a c e sa c c o r d i n gt o t h ep e r e e p t i o no f h u m a ne y e s t h ed e t a i l so f e x t r a c t l n gh s v - b a s e dc o l o rh i s t o g r a ma l ed e s c r i b e d i no r d e rt od e a lw i t ht h es h o r t c o m i n go fc o l o rh i s t o g r a m i ti n c l u d e sn os p a t i a ld i s t r i b u t i o n i n f o r m a t i o no f t h ei m a g e ，t h i st h e s i sp r o p o s e san e wc o n t e n t - b a s e dc o l o ri m a g er e t r i e v a lm e t h o d , i nw h i c hb o t ht h ec o l o ra n dt h es p a t i a _ lr e l a t i o n s h i po fi m a g ea l et a k e ni n t oa c c o u n t , t h ei e w m e t h o dd i v i d e st h ei m a g ei n t ob l o c k s ，w h i c hc o n t a i ns p a t i a li n f o r m a t i o n ，b e s i d e s ，t h el a p l a c e o p e r a t o ri se m p l o y e do nt h eb l o c k s n u m b e r st oo b t a i nt h er e l a t i v el o c a t i o n so f b l o c k sr a t h e rt h a n t h ea b s o l u t el o c a t i o n so f b l o c k s , w h i c he n s u r e st h ep r o p e r t yo f d i s t i n g u i s h i n gd i f f e r e mi m a g e sa s w e l l t h ei m a g e sr o t a t i o ni n v a r i a n t i ne x t r a c t i n gt h et e x t u r ef e a t u r e s t h et h e s i sc o m p r e s s e st h e i m a g e ，c o n v e r t si t t og r a yi m a g ea n dc a l c u l a t e sf o u rn u m e r i c a lf e a t u r e si d e n t i f y i n gt h ec o n t e n to f i m a g eb yg r a y - l e v e lc o - o c c a l t c l l c em a t r i xo f t h ei m a g e i na d d i t i o n , t h ee x t r a c t e dt e x t u r ef e a t u r e s a r eu s e dt or e t r i e v a lm o r ef i n er e s u l t so nt h eb a s i so f c o l o ra n ds p a t i a lf e a t u r e sr e t r i e v a lr e s u l t s t h ea b o v er e t r i e v a lm e t h o d sa ”p r o g r a m m e da n dr e a l i z e db ym a t l a b e x p e r i m e n t a l r e s u l t ss h o w st h a tt h ep r o p o s e da l g o r i t h mi se f f e c t i v ea n dt h en e wc o l o r - s p a t i a lb a s e di m a g e r e t r i e v a la l g o r i t h mh a sb e n e rp e r f o r m a n c et h a nt h en o r m a lc o l o rb a s e di m a g er e t r i e v a la l g o r i t h m k e y - w o r d s ：i m a g er e t r i e v a l ，c o l o r , t e x t u r e 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一 同工作的同事对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意如不实，本人负全部责任。 论文作者( 签名) ： 妞毖阻抽9 年午月2 7 日 u一1 、j j 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期 刊( 光盘版) 电子杂恚社有权保留本人所送交学位论文的复印件或电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允 许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河 海大学研究生院办理。 敝作者c 签孙鼬咎岬铄月叩 河海大学硕 j 擎位论文第一章绪论 1 1 选题背景 第一章绪论 随着多媒体技术和w e b 技术的发展，包括图像、音频和视频等信息的多媒 体数据大量涌现，多媒体数据已经广泛应用于i n t e m e t 和企事业信息系统中，用 户不仅要存取常规的字符数字数据，而且越来越多的商业活动、事务交易和信息 表现都包括多媒体数据。如何有效地按照多媒体数据的特性去检索这些数据便成 为了多媒体技术研究中的热点问题。 在2 0 世纪7 0 年代人们利用常规关系数据库管理系统来管理多媒体数据，对 多媒体数据人工输入各种属性，建立多媒体数据的元数据库来支持查询。但是， 随着2 0 世纪9 0 年代多媒体技术的发展，可获取的图像和其它多媒体数据越来越 多，数据库容量不断扩大，而这种利用人工输入属性和注释的方法就暴露出了它 的缺点i l 】。一个缺点是人工注释需要大量的人力，尤其是对于大型的多媒体信息 库，如w e b 网络资源、数字图书馆等。在这样的信息环境中，每天都有大量的 新资料出现，需要及时把这些资料归档，没有计算机的自动或者辅助处理，资料 的更新周期就不能满足用户的需要。另一个缺点是人工注释难以解决蕴藏在多媒 体数据中丰富的内容以及内容感知描述的主观性。人们常说，幅图胜过千言万 语，而音频视频等媒体包含了更丰富的内容，这些内容的许多部分很难用文字来 描述清楚。第三个缺点就是，对于实时广播流媒体的处理，手工处理是完全不可 行的，必须用计算机进行实时的内容分析。由此，基于内容的多媒体检索研究应 运而生。 1 2 研究现状及进展 1 2 1 图像检索技术综述 基于内容的图像检索( c o n t e n t - b a s e di m a g er e t r i e v a l ，简称c b i r l 2 , 3 1 ) 是一 门2 0 世纪9 0 年代兴起的新技术，因其直观( 示例描述) ，高效( 相似性匹配检 索) 、通用( 与领域知识无关) 等特点，近年来在国际国内均是一个热门研究课 河海大学硕i _ - 学位论文 第一章绪论 题。 首先，它是一门有关信息检索的新技术，有别于传统的信息检索技术。传统 的信息检索是基于文本的信息检索，即输入文本，检索出与之相匹配的文本对象。 哪怕检索对象本身不是文本，而是其它类媒体( 如声音、图形、图像、视频等) ， 往往也是先用文本对这类媒体对象进行标识或索引，建立起与这类媒体对象之间 的逻辑联系，无非是一种“以文找文”检索方式的拓展，本质上仍然是基于文本 的检索。此时，图像检索系统内的图像用关键词标识，检索线索是与标识相匹配 的关键词，即输入为关键词，输出为图像( 所谓“以文找图”) 。目前，在i n t e m e t 上，多数图像搜索引擎( 网站) ，如g o o g l e 、y a h o o 、搜狐等普遍采用此种方式。 而基于内容的图像检索是图像特征相似性匹配检索，系统内的图像标识是图像特 征描述，检索线索是一目了然的图像示例或图像示例特征描述，输入为图像示例， 输出为所有与示例特征相同或相近的图像( 所谓“以图找图”) ，按相似性程度排 列，供用户选择，把一般用户难以完成的图像特征描述、提取、识别等难题交由 系统解决，避免了“似是而非”的关键词匹配输入及由此产生的“答非所问”的 检索结果。 其次，它是一门有关图像特征相似性匹配的新技术，有别于图像处理、模式 识别、计算机视觉、图像理解等专门的图像技术，而以这些技术作为其重要的研 究基础。它需要深入研究图像特征描述方法、特征提取与索引方法，以及相似性 度量与快速检索算法等问题，便于以图像中包含的各类典型特征( 即图像内容本 身) 为客观检索对象，避免以文本为主观标识所造成的图像内容理解方面的歧义。 基于内容的图像检索技术中所用到的图像特征有两类，一类为底层特征或物理特 征，如颜色、纹理、形状等，另一类为高层特征或语义特征，即图像内容的语义 描述以及各类物理特征之间的逻辑联系。在目前的研究水平上，基于内容的图像 检索技术主要针对通用图像的检索，它以通用图像底层特征的相似性匹配检索为 主，辅以高层特征。这也体现出通用图像检索与专用图像识别之间的联系与区别。 图像高层特征的描述需要借助专门领域的知识，涉及到专用图像的精确识别，如 指纹识别、面貌识别、虹膜识别、步态识别等等，这类识别构成了生物特征识别 技术分支。 总之，基于内容的图像检索属于多媒体的集成综合技术，不仅要确定是否能 海人学硕t 学位论文第一章绪论 够找到，而且还要确定相应的输入输出方法、存储方法、媒体间的组织方法等。 它利用认知科学、用户模型、图像处理、模式识别、知识处理、计算机图形学、 数据库管理以及信息检索等方法，建立新的媒体数据表示方法和数据模型，采用 有效和可靠的查询处理算法，使得用户可以在智能化查询接口的辅助下，从多媒 体数据库( 或大型分布数据库) 中，以用户可以接受的响应时间、尽量以与领域 无关( 在需要时也可以是与领域有关) 的方式检索到所要求的数据。 1 2 2典型的图像检索系统介绍 基于内容的图像检索从提出以来，技术上各种新的方法就层出不穷，经过相 当长一段时间的发展，在理论上和技术上做了不少探索，产生了许多较成熟的基 于图像特征的检索算法，并相应地开发出一些有价值的通用系统。最为著名的系 统有：i b m 的q b i c 系统 4 , 5 1 ，v i r a g e 公司开发的v i r a g e 系统f 6 j 以及美i $ - 哥伦比 亚大学的v i s u a l s e e k 和w e b s e e k 图像查询系统1 7 1 ，并在一些领域得到了应用。 除此之外还有许多优秀的原型系统，如m 盯多媒体实验室开发的p h o t o b o o k 系 统1 8 1 ，u i u c 开发的m a r s 系统【9 1 等。国内的些研究单位，如中科院自动化所 国家模式识别实验室、清华大学、上海交通大学等也进行了研究并开发了些实 验系统。 1 q b i c ( h t t p ：w w w g b i c a l m a d e n i b m c o m ) q b i c ( 即q u e r y b y i m a g e c o n t e n t ) 是由i b m 开发的一个商业化的基于内容 的图像检索系统。该系统的框架和采用的技术对后来的图像检索系统产生了深刻 的影响。q b i c 系统支持基于范例图像的查询方式，以及其它一些查询方式。在 q b i c 系统中，色彩特征用r g b ( 标准色彩显示标准) 、y i q ( n t s c 补色t v 标 准) 、l a b 和m t m ( 孟赛尔数学变换) 颜色空间和k 维颜色直方图等来表示。采 用的纹理特征是用改进的t a m u r a 纹理表示方法，其本质是租糙度、对比度和方 向性三个特征的集合。形状特征主要包括形状区域、圆周率、离心率、主轴方向 和一些代数不变矩。q b i c 系统是极少数考虑到高维特征索引问题的系统之一。 在它的索引子系统中，首先用k l 变换来完成维数缩减，然后采用r + 树来构造 多维索引结构。在q b i c 的最新版系统中，基于文本的关键字查询方式与基于内 容的相似性查找方式相结合，共同完成查找功能。 河海大学硕l 学位论文第一章绪论 2 v i r a g e ( h t t p ：w w w v i r a g e c o m c g i - b i n q u e 盟- e ) v i r a g e 是由v i r a g e 有限公司开发的基于内容的图像检索引擎。同q b i c 系统 一样，它也支持基于色彩、色彩布局、纹理和结构特征( 对象边缘) 的视觉查询 功能。但是v i r a g e 要比q b i c 在技术上向前迈进了一步，v i r a g e 支持以上四种基 本查询的任意组合后的查询方式。用户还可以根据需要来调整一些基本图像特征 的权重。j e f e r y 等人进一步提出了图像管理的开放式框架，他们将图像的视觉特 征分为两类：一类是通用特征( 如色彩、形状或纹理) ，一类是领域相关的特征 ( 如用于人脸识别、癌细胞检测的特征) 。根据不同领域的具体需要，各种有用 的基本特征就可以加入至这个开放式结构中。 3 p h o t o b o o k ( h t t p ：w e b m e d i a m i t e d u - t p m i n k a p h o t o b o o k ) p h o t o b o o k 是美国麻省理工学院的多媒体实验室所开发的用于图像查询和浏 览的交互式工具。它由三个子系统组成，分别负责提取形状、纹理、人脸特征。 这样来，用户就可以分别在这三个子系统中根据相应的特征来进行查找。然而， 对于不同的领域，没有哪一种“最好”的特征能够单独地描述一幅图像，所以， 在p h o t o b o o k 更新一些的版本f o u r e y e s 中，p i c a r d 等人提出了把用户加入到图像 注释和检索过程中的想法。更进步，由于人的感知是主观的，他们叉提出了“模 型集合”来结合人的因素。实验表明，这种方法对于交互式图像注释来说非常有 效。 4 v i s u a l s e e k 和w e b s e e k ( h t t p ：w w w c o l u m b i a e d u 一s f e h a n g d e m o s h t m l ) v i s u a l s e e k 是基于视觉特征的搜索引擎，w 曲s e e k 是种面向w w w 的 文本或图像搜索引擎。它们都是由哥伦比亚大学开发的。这两个系统的主要技术 特点是采用了图像区域之间空间关系和从压缩域中提取的视觉特征。系统采用的 视觉特征是颜色集和基于小波变换的纹理特征。为了加快检索速度，系统采用基 于二叉树的索引算法。v i s i l a l s e e k 同时支持基于视觉特征的查询和基于空间关 系的查询。举例来说，用户如果要查找一幅“日落”的图像，那么他可以通过提 交这样一幄草图作为查询：草图的上半部分是桔红色的区域，下半部分是蓝绿色 的区域。w e b s e e k 是一个面向w w w 的搜索引擎，它由三个主要模块组成，分 别是图像，视频采集模块，主题分类和索引模块，查找、浏览和检索模块。该搜 索引擎不仅支持基于关键字的查找，还支持基于视觉内容的查找。 河海人学硕上学位论文第一蠹绪论 5 m a r s ( h t t p ：j a d z i a i f p u i u c e d u ) m a r s ( 即m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 是由伊利诺斯大学 u r b a n a - c h a m p a i g n 分校( u i u c ) 开发的。m a r s 无论在研究角度还是应用领域 都和其它的图像检索系统有很大的差异。这主要体现在m a r s 是个多学科交 叉融合的产物，包括计算机视觉、数据库管理系统以及传统的信息检索技术。 m a r s 在科研方面的主要特点包括数据库管理系统d b m s 和信息检索技术i r 的 结合( 如何进行分级的精确匹配) ，索引和检索技术的融合( 即检索算法如何发 挥底层索引结构的优点) ，以及计算机和人的融合( 相关反馈技术) 。m a r s 系统 的重点并不在于找到所谓“最好”的图像特征，而在于根据实际的应用环境和用 户需要在检索框架中动态地组合调整各种不同的图像特征。m a r s 在图像检索领 域正式提出了相关反馈的体系结构。相关反馈技术在各种层次上融合到检索的过 程中，包括查询向量的优化，相似度算法的自动选择，以及图像特征权重的调整。 1 3 论文的主要工作 针对大多数已有图像检索系统存在的不包含空间内容和关系信息的问题，本 文在前人研究的基础上，根据c b i r 的基本原理，提出了一个融合颜色、空间和 纹理特征的图像检索方法，并实现了一个原型系统及测试相关算法。该系统以数 字图像为研究对象，对数字图像进行特征提取，包括颜色、空间和纹理特征。在 检索时，用户输入一幅图像，系统自动获取其特征，就能检索出图像库中相似图 像，自动实现了对图像的管理工作。本文重点在于将空问特征融入颜色特征中的 检索，针对纹理特征，仅仅实现了基于灰度共生矩阵的特征提取，用于增加检索 的精度。本文主要在以下几个方面展开工作： 1 归纳和总结了颜色、纹理和形状等特征提取及相似性度量的诸多方法； 2 提出了一个将空间信息融合到颜色特征中的图像检索算法，并且以实验为基 础，验证了改进的基于颜色特征算法的有效性，对相关的算法进行了性能分析： 3 针对纹理特征，介绍了基于灰度共生矩阵提取特征的具体步骤，并且与颜色 空间特征进行结合设计了图像检索方法。 4 实现了一个基于颜色空间和纹理特征检索的原型系统。 河海人学硕学位论文第一章绪论 1 4 本文组织结构 第一章绪论 对图像检索技术的研究现状及典型的c b i r 系统进行了简单介绍。 第二章基于内容图像检索的相关技术 对基于内容的图像检索的相关技术，包括图像特征提取、特征索引结构、 相似性度量技术、相关反馈及性能评价进行了概要介绍。 第三章基于颜色特征的图像检索 归纳总结了诸多颜色特征的提取和相似性度量方法，如颜色直方图法、 颜色矩法、颜色集法、颜色相关图法以及颜色聚合向量法：并且重点描 述了本文提出的改进算法的原理和实现。 第四章基于纹理特征的图像检索 归纳总结了诸多纹理特征的描述算法，包括统计纹理特征和频谱纹理特 征描述方法，并且比较了各种算法的优缺点，给出了本文采用的纹理特 征提取算法实现的具体步骤。 第五章c b i r 实验系统的设计与实现 描述了基于颜色和纹理特征的系统实现，包括系统结构，系统功能及操 作，并进行实验分析，得到结论。 第六章总结与展望 总结了本文的要点和主要工作，并对本课题的迸一步研究方向和未来发 展进行了展望。 6 河海人犟硕。l 学位论文第_ 二章基于内容图像柠索的相关技术 第二章基于内容图像检索的相关技术 基于内容的图像检索相关技术主要包括：图像特征提取：特征索引结构；相 似性度量技术；相关反馈，即对系统给出的结果，查询者如何给出正确的反馈， 进行再次查询来优化结果；性能评价，即对不同的检索系统，评价系统性能的标 准等方面。 2 1c b i r 的工作原理 典型的图像检索系统一般由两个部分构成：库生成子系统和图像查询子系 统。每个子系统包含相应的功能模块和部件。 库生成子系统负责图像的存储和特征提取，并以特征信息索引库形式存储图 像特征信息的表达式。主要有：图像的预先处理，如格式转换、统一规格和图像 修饰等；图像的特征提取，即从包含大量信息的图像中分解出不同种类的特征信 息，包括视觉特征和统计特征，可以从整幅图像、局部或者内容对象提取特征， 前者指具有直观意义的图像的形状与颜色特征，后者指图像像素与纹理等特征的 统计；数据库系统，其由三部分组成，图像库、特征库及知识库，图像库存储数 字化的图像信息，特征库存储图像内容特征和客观特征，知识库存储专门和综合 性知识，用于优化检索和快速匹配。 图像查询子系统负责基于内容的检索功能，由查询接口、检索引擎和结果显 示接口三个模块组成。查询接口主要是完成一些人机交互工作，用户通过查询接 口迸行参数设置，包括显示的图像数目，用户感兴趣的图像特征以及一些阈值； 检索引擎主要是完成图像的相似性匹配工作，把样例图像的特征和特征库中的特 征进行相似性匹配，并按照相似度的大小对图像进行排序；结果显示接口主要把 检索得到的结果在用户界面上显示。 典型的图像检索系统结构如图2 1 所示。 河海大学硕：i 二学位论文第一二章基十内容图像检索的相关技术 2 2 图像特征提取 图2 ，i 典型的图像检索系统体系结构 图像特征的提取与表达是基于内容的图像检索技术的基础，用来在基于内容 的图像检索系统中建立图像的内容描述，其方法和技术直接来源于图像处理与理 解和计算机视觉等领域的研究成果。颜色、形状、纹理、空间信息是图像最基本 的特征，也是人们研究基于内容的图像检索的切入点，下面分别予以讨论。 2 2 1 颜色特征 从人类视觉角度看，颜色特征是人类感知和区分不同物体的一种基本视觉特 征，世界上的每一物体都有其固有的颜色特征，同类物体通常有相同或相近的颜 色特征，不同类物体则可能表现为不同的颜色特征。最早采用颜色特征进行图像 检索的是由s w a i n 和b a l l a r d 提出的基于颜色直方图的检索方法i lo j 。 颜色具有一定的稳定性，它对大小、方向都不敏感。利用颜色特征迸行图像 检索需要解决三个关键问题：颜色的表示，颜色特征的提取和基于颜色的相似性 度量。颜色特征描述有两种方法：直方图和二值向量。在进行相似度比较时主要 有直方图相交，欧氏距离，二次矩等。在检索过程中，主要可以采用以下两种方 式：一是直接事例查询法，二是基于图像的主色调查询。 河海大学硕士学位论文 第一二章基于内容图像柃索的相关技术 2 2 2纹理特征 纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，它 是所有物体表面麸有的内在特性，例如云彩、树木、砖、织物等都有各自的纹理 特征。关于纹理的定义至今还没有个统一的标准，针对图像处理领域，相关的 定义是：纹理是一种反映一个区域中像素灰度级空间分布的属性j 。目前主要有 两种方法：一种是统计方法，对图像中的色彩强度的空间分布信息进行统计；一 种是频谱方法，先对图像进行数学变换，将空域信息变换到频域，再对图像进行 分析，提取纹理特征。 2 2 3 形状特征 形状是图像的重要可视化内容之一。在二维图像空间中，形状通常被认为是 一条封闭的轮廓曲线所包围的区域，所以对形状的描述涉及到轮廓边界的描述以 及这个边界所包围的区域。目前的基于形状特征的检索方法大多围绕从形状的轮 廓特征和形状的区域特征建立图像索引i i ”。 但是，形状边界的自动提取一直是困扰图像处理领域的难题，目前检索系统 中大多采用手工勾勒的形式，形状特征的提取是项非常繁重的工作，对于大批 量数据，将显得更为突出。各种形状特征表达方式对形状信息的丢失非常严重， 而且只有少量的形状特征表达方式和形状的几何变化无关，此外形状度量方法仍 不具有很好的形状区分能力，不能有效地表达形状之间的相似性。 2 2 4 空间信息特征 上述的颜色、纹理和形状等多种特征反映的都是图像的整体特征，而无法体 现图像中所包含的对象或物体。事实上，局部特征提取具有更高的精确性，图像 中对象所在的位置和对象之间的空间关系同样是图像检索中非常重要的特征。例 如：蔚蓝的天空和蓝色的海洋的颜色直方图是非常接近而难以辨别，但如果我们 指明是“处于图像上半部分的蓝色区域”，则一般来说就可以区分天空和海洋。 由此可见，包含空间关系的图像特征对检索有很大帮助。空间关系特征可以分为 两类： 1 首先对图像进行自动分割，划分出其中所含的对象或颜色区域，然后根 i j 海大学硕士学位论文第二章筚于内容图像榆素的相关技术 据这些区域对图像索引。好的图像分割技术将使局部特征提取得到更令人满意的 结果。例如，在颜色特征提取中采用颜色层( c o l o rl a y o u t ) 描述方法；在纹理 特征提取中进行局部纹理分割：在形状特征提取中对形状进行轮廓分割和分形等 技术都需要图像分割技术的支持。图像分割技术也使德小块图像之间的方向空间 关系被用作特征描述。文献 1 4 1 对图像的方向空间关系进行了细致的讨论，并提 出了用于图像检索的相似性匹配方法。 2 将图像均匀划分若干规则子块，对每个图像子块提取特征建立索引。为 了避免图像自动分割的困难，同时又要提供一些有关图像空间关系的基本信息， 一种折衷的方法是将图像预先等分成若干子块( 可能是重叠的) ，然后分别提取 每个子块的各种特征。在检索中，我们首先根据特征计算图像的相应子块之间的 相似度，然后通过加权计算总的相似度。虽然这类方法从概念上来说非常简单， 但这种普通规则的分块并不能精确的给出局部色彩的信息，而且计算和存储的代 价都比较昂贵。因此，这类方法在实际中应用较少，从而给基于对象空间关系的 图像检索带来了困难。 2 3 特征索引技术 一般情况下，描述图像内容的特征集合可看作高维空间中的一个向量，这样 基于内容检索( 查找与指定特征最相近的一组对象) 就转化为高维空间点集的最 近邻搜索问题。由于c b i r 系统中往往含有海量图像，单纯的线性搜索方法难以 满足实时检索的需要，有必要在特征库中使用相似索引技术来建立特征索引结 构，以支持对中、商维特征向量的基于相似性的查询。在特征匹配时，c b i r 系 统将计算出来的向量距离按由小到大的排序方法来决定返回的结果。结果的返回 方式大致分为两类：k 个最近邻查询和球形范围查询，前者返回与查询向量的距 离最小的k 个特征向量所对应得图像，后者则返回与查询向量的距离小于一个阈 值的所有图像。常见的索引结构是四叉树表示，此外，还有k - d 树和r 树。 2 4 图像的相似性度量 在c b i r 中，两幅图像是否相似是指两幅图像的特征向量是否相似。通常的 衡量方法是采用几何模型，将图像看成向量空间中的点，通过计算两点之间的接 1 0 河海大学颁i 学位论文第章幕于内容幽像柠索的褶关技术 近程度来衡量图像特征之间的相似度i 】。相似性度量定义如下f 1 4 】： 个集合x ( 其中的元素称为点) ，就是一个度量空闯，如果对于v ，q j ， 3 d ( p ，q ) r ，有： 1 ) 正定性：i fp qt h e nd ( p ，q ) 0 e l s e d ( p ，q ) ：0 ： 2 ) 对称性：d ( p ，g ) = d ( q ，p ) ； 3 ) 三角不等性：对v r x 有d ( p ，q ) 茎d ( p ，r ) + d ( r ，q ) ； 其中，实数d ( p ，q ) 为点p 到点q 的距离。具有上述三个特性的任何函数 d ( p ，q ) 我们称之为距离函数或者一个度量。 下面介绍几种常用的相似性度量方法。设x 、y 为图像特征，分量分别为x ，、 一( 1 i s 刀) m i n k o w s k i 距离公式为： d ( x ，y ) = ( i - y , l r ) l ，7 ，= l ( 2 1 ) 其中，= l 时称为m a n h a t t a n 距离，也叫c i t y - b l o c k 距离或l l 距离；，= 2 时 为e u c l i d e a n 距离或l 2 距离，这是人们通常所说的距离概念；，寸时为 c h e b y s h e v 距离，此时的表达式为： d ( x ，y ) = m a ) 【i 一y ， ( 2 2 ) j 尘s 8 采用e u c l i d e a n 距离度量时，假定图像特征的各分量之间是正交无关的，而 且各维度的重要程度相同。它的优点是简单易行，有清晰的物理意义，即距离越 小，说明两个特征之间的相似度越大，反之，距离越大，说明两个特征之间的相 似度越小。 i 海人掌硕士学位论文第二章基十内容图像榆索的相关技术 2 4 2 二次式距离 图2 2m i n k o w s k i 距离方法 二次式距离考虑了不同特征之间存在的相似度，二次式距离表示为： d ( x ，y ) = ( x y ) 7 x ( x 一】，) ( 2 3 ) 这种方法通过引入特征相似性矩阵爿，使其能够考虑到相似但不相同的特征 之间的相似性因素。其中，a = 口。】，气表示特征分量f 和特征分量- ，之间的相 似度。对于h s v 颜色直方图，它的计算如下： ：卜 ( v , - v , ) 2 + ( s qc o s h 9 - s , c o s h f , ) z + ( s q s h a h , - s , s i n h , ) 一2 t 2 ( 2 4 ) 一) 2 4 3 马氏距离 图2 3二次式距离方法 如果特征向量的各个分量| 日j 具有相关性或者具有不同的权重，可以采用马氏 距离( m a h a l a n o b i s d i s t a n c e ) 来计算特征之问的相似度。马氏距离的数学表达式 河海人学硕1 ：学位论文 第一章基于内容幽像擒索的相关技术 为： d ( x ，y ) = ( z y ) 7 c 。( z y ) ( 2 - 5 ) 其中，c 为图像的协方差矩阵。 2 4 4 其他相似度量方法 度量直方图距离还有一种方法是直方图相交( h i s t o g r a mi n t e r s e c t i o n ) 。直方 图的相交是指两个直方图在每个b i n 中共有的像素数量。有时，该值还可以通过 除以其中一个直方图中所有像素数量来实现标准化，从而使其值属于【0 ，l 】的值域 范围。令h 口( 七) 和h ，( 七) 分别为查询图像q 和数据库图像l 的特征统计直方图， 则两图之间的匹配值为： l 一1 m i n h o ( 女) ，h 雕) 】 j p ( q ，) = 丝t 广一 ( 2 6 ) h q ( k ) i - - o 以上的各种方法都是基于向量空间模型的，采用几何距离作为相似性度量方 法。这样的距离函数通常要满足正定性、对称性、三角不等性的条件。但是，距 离度量方法和人对相似性的感知判断之间存在一定差距。t v e r s k y 提出了著名的 特征对比模型( c o n s t r a s tm o d e l ) i i s l 。与几何距离不同，该模型不把每个实体看 作特征空间中的一个点，而将每个实体用一个特征集来表示。t v e r s k y 的理论扬 弃了集合模型下相似性度量的优缺点，提出了一个广泛的理论权衡方法，这个方 法的缺点是还不够实用，只适合那些特征明显的对象。 2 5 相关反馈( r e l e v a n c ef e e d b a c k ) 传统的基于特征提取和相似性距离度量的方法，由于计算机自动提取的图像 特征与人们所理解的语义之间存在巨大的差异，其检索结果难以令人满意。为此 需要研究如何使系统自动适应用户的需求，从而实现更好的查询效果。相关反馈 是提高系统查询效果的一种强有力的方法。相关反馈方法的基本思路是：在检索 过程中允许用户对检索结果进行评价和标记，指出结果中哪些是与查询图像相关 的，哪些是不相关的。然后将用户标记的相关信息作为训练样本反馈给系统进行 河海人学硕i ：学位论文第二章基于内容图像检索的相关技术 学习，以指导下一轮检索，从而使得检索结果更符合用户的需要。典型的相关反 馈方法，一方面是采用修改查询向量的方法，使其向相关图像的中心移动来改进 查询结果；另一方面，利用反馈信息修改距离公式中各分量的权值，突出查询向 量中较为重要的分量。 2 6 性能评价 评价检索性能的常用准则是效率和有效性，分别代表检索的速度和查找与查 询图像的成功率。 检索的效率用响应时间来评估。检索的有效性用查准率和查全率来评估，定 义如下： 设集合a 代表相关图像的集合，集合口代表返回的图像集合，q 为整个图像 数据库。 图2 4 口+ 6 + c + d = q 口+ c = a a + b = b 查准率j p 叫彳i b ) = 等= 南 ( 2 7 ) 查全率月刊刖) = 訾= 熹 ( 2 - 8 ) 所谓查准率就是检索结果中用户满意的图像数目与检索返回图像数目的比 值。所谓查全率就是检索结果中用户满意的图像数目与数据库中所有符合用户要 求的图像数目的比值。 如果一个系统具有较高的查准率，而查全率较低，则会导致大量图像被漏检； 相反，如果一个系统具有较高的查全率，而查准率较低，则会导致大量图像被错 检。所以，人们通常希望系统同时具备较高的查全率和较高的查准率，然而这两 4 河海人学硕学位论文第二章基于内容目像榆索的相关技术 个方面是互相牵制的( 类似于信号分析中的时一频关系) ，如果要求系统具有较 高的查准率，那只能以牺牲查全率为代价：反之亦然。因此，现实中我们需要根 据实际情况在这两者之间进行权衡。 用户在评价查询结果时，可以预先确定某些图像作为查询的相关图像，然后 根据系统返回的结果来计算套准率和查全率。这两个指标的值越高说明检索方法 的效果越好。 2 7 本章小结 本章介绍了基于内容图像检索的工作原理以及相关技术，包括图像特征提 取、特征索引技术、图像的相似性度量、相关反馈及性能评价等方面。 河海大学硕。l ：学位论文第三章基于颜色特征的i 室i 像检索 第三章基于颜色特征的图像检索 随着计算机应用的普及，在有关计算机视觉的研究中，颜色特征的研究及其 应用臼益深入，颜色成为刻画图像中物体的基本且重要的特征。在计算机视觉中， 一幅图像中的颜色包含了两类信息，一类称之为全局颜色信息，另一类称之为局 部颜色信息。全局颜色分布确定了一幅图像的主色调，而有关纹理、形状、轮廓 以及三维立体的感觉均与局部颜色的分布有关。进一步的研究表明，相对于几何 特征而言，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较 高的鲁棒性。因此，在许多情况下颜色成为描述一幅图像最简便而有效的特征。 在现有的基于内容的图像检索系统中，无一例外地将颜色特征作为首选特征之 一 3 1 颜色概述 所谓颜色，分为无彩色和彩色两类。无彩色通常指由黑白两色以及由白至黑 渐进变化的不同程度的灰色，它们构成了一个黑白系列。彩色通常指黑自系列之 外的各种颜色。 以上只是一种人为的定义。实际上，在自然界中，白光是一种复合光，其中 包含着丰富多彩的各类颜色。在1 7 世纪，牛顿通过一片三棱镜，将一束白光分 解为紫、蓝、青、绿、黄、橙、红等不同色彩的单色光，从而使人类对颜色的研 究步入一个新台阶。 自牛顿之后，较深入研究和解释视觉对颜色的感知能力并加以利用的是t y o u n g 及h e l m h o l t z 提出的y o u n g h e l m o h o l t z 三色假说。该学说认为，假设有三 种视觉( 锥体) 感受器，分别对红、绿、蓝三种颜色敏感，当光线同时作用在这 三种感受器，三种感受器产生的兴奋程度不同，不同兴奋程度的组合将产生不同 的颜色感觉，三种感受器处于等强度兴奋时，便产生白色的感觉。现代科学技术 的发展证实了三色假说的合理性。 人类对色彩视觉的研究结果表明，颜色只存在于眼睛和大脑，有如下几个特 性： 1 6 河海大学硕i 苷! 位论文 第三章基于颜色特征的图像抢索 1 眼睛本质上是一个照相机。人的视网膜( h u m a nr e t i n a ) 通过神经元来感知外部 世界的颜色，每个神经元或者是一个对颜色敏感的锥体( c o n e l ，或者是一个对颜 色不敏感的杆状体( r o d ) 。 2 红，绿、蓝三种锥体细胞对不同频率光的感知程度不同，对不同亮度的感知 程度也不同。这意味着，人可以使用数字图像处理技术来降低数据率，而不使人 感到图像质量明显下降。 3 自然晃中，可见光的波普光分布约在3 8 0 h m 至7 8 0 n t o 之间，对应紫、蓝、 青、绿、黄、橙、红等不同色彩。人对颜色的感觉来源于不同波长的可见光对视 觉器官的刺激所引起的反映。由于人对物体颜色的感知主要取决于反射光的特 性，所以如果物体能比较均衡地反射各种光谱，则所见到的物体呈现出白色，而 如果物体对某些光谱反射较多，则人眼看到的物体便呈现出相对应的颜色。因此， 自然界中的任何一种颜色都可以由红、绿、蓝三种颜色来确定。由此，红、缘、 蓝三种颜色被称为人类视觉的三基色，构成一个r g b 颜色表示系统。 3 2 颜色模型 所谓颜色模型指的是某个三维颜色空间中的一个可见光子集，它包含某个颜 色域的所有颜色。例如，r o b 颜色模型是三维直角坐标颜色系统中的一个单位 正方体。颜色模型的用途是在某个颜色域内方便地指定颜色。由于任何一个颜色 程度只是可见光的子集，所以，任何一个颜色模型都无法包含所有的可见光。 3 2 1 r g b 颜色模型 r g b 模型是基于三基色模型的代表。整个颜色空间位于边长为l 的立方体 中，每个像素实际上任何可能量化的颜色都能用三维空间中第一个象限 的一个点来表示，如图3 1 所示： 河海人擎颐j 二学位论文 第三章基于颜色特征的图像榆索 品红r 1 红n r b 图3 1r g b 颜色模型 1 ，0 ) g 这个模型基于笛卡儿坐标系。原点上，任一基色均没有亮度，即原点对应于 黑色。三个轴分别为r 、g 、b 三基色。离原点最远的顶点对应于白色。亮度较 低的等量的三种基色产生灰色的阴影，所有这些点均落在彩色立方体的对角线 上，该对角线被称为灰色线。该模型是数字图像处理所使用的最重要的彩色模型。 然而，r o b 颜色模型与人的视觉感知有定差距，例如给定一个颜色，人 很难判定其中的r ，g ，b 分量，这时使用面向视觉感知的颜色模型比较方便一 些。本文介绍一个r o b 转换模型：