（计算机软件与理论专业论文）基于内容的图像检索技术研究(3).pdf

摘要 多媒体技术的普及和 i n t e rn e t 技术的实施导致了大量图像信息的 出现，基于文本关键词的传统检索方法己不能适应图像信息检索的要 求，这使得基于内容的图像检索技术逐渐成为目 前的研究热点。 本文首先对国内外正在发展的基于内容图像检索作了广泛的调 研与分析， 并在此基础上研究了 一些该领域所涉及的关键算法和技术， 如基于颜色、纹理、形状和结合用户相关反馈的检索算法，以 及基于 相似度检索的索引结构等。 基于内容检索技术中必不可少的关键步骤就是图像特征的提取， 可提取的特征有颜色、 纹理和形状等。颜色特征的提取包括颜色直方 图、颜色矩、颜色集等方法;纹理特征的提取包括共生矩阵、小波分 析等方法。为了充分利用颜色的丰富表现性和小波变换的多分辨性及 其变换系数的统计特性， 文章采用图像金字塔小波分解的特征和图像 h s v颜色直方图 特征的结合， 从而提高了 算法的检索精度和效率。 基于内 容的图 像特征大多是高维向量，可用的索引结构有 k d b 树、r树家族及 s s树家族。 本文通过对这几种特征索引结构的比 较 分析，结果表明采用r . 树和s s 树的改 进版s r树作为最近邻居搜索 的数据结构， 能高效的存储高维度矢量， 并在多维特征空间进行搜索。 基于以上的研究，文章提出了一种结合图像多种特征的基于用户 反馈的检索模型。利用交互式遗传算法理论，将人的主观信息融入到 图像的检索过程中， 最大程度地体现了图 像的低级特征与高层概念之 间的相关关系， 一定程度上实现了 人的主观概念与计算机的相互结合。 采用分级检索的策略， 即先用颜色特征过滤， 排除掉区别显著的图像， 再用纹理特征计算相似性，既提高了 检索速度又保证了 检索精度。 关键词:基于内容的图像检索 图像特征 索引结构 相似度度量 相关反馈 未径作a , 导 师i 窟 勿全文公 布 abs tract a l a r g e n u m b e r o f i m a g e s c o m e f o r th b e c a u s e o f t h e p re v a l e n c e o f m u l t i m e d i a t e c h n o l o g y a n d t h e im p l e m e n t o f i n t e r n e t t e c h n o l o g y . s i n c e t r a d i t i o n a l t e x t k e y w o r d - b a s e d re t r i e v a l a p p r o a c h c a n t a d a p t t o t h e d e m a n d o f i m a g e d a t a r e t r i e v a l , s o c o n t e n t - b a s e d i m a g e re t r i e v a l ( c b i r ) t e c h n o l o g y b e c o m e s t h e c u r r e n t r e s e a r c h f o c u s . i n t h i s p a p e r , w e f i r s t m a k e a n i n - d e p t h s u r v e y a n d a n a l y s i s o n t h e k e y a lg o r i t h m s o f i m a g e r e t r i e v a l 勿c o n t e n t ， s u c h a s c o l o r , t e x t u r e , s h a p e f e a t u r e , r e l e v a n c e f e e d b a c k r e t r i e v a l a n d a n o v e l i n d e x s t r u c t u r e . a m o n g t h e c o n t e n d - b a s e d re t r i e v a l t e c h n o l o g i e s , f e a t u r e e x t r a c t i o n i s m o s t i m p o r t a n t . f o r i n s t a n c e , c o l o r , t e x t u r e a n d s h a p e f e a t u r e e t c . . i n t h i s p a p e r , w e t a k e a d v a n t a g e o f t h e r i c h r e p r e s e n t a t i o n o f c o l o r a n d t h e s t a t i s t i c s o f t h e w a v e l e t c o e f fi c i e n t s b y c o m b i n i n g t h e f e a t u r e o f p y r a m i d - s t r u c t u r e d w a v e l e t t r a n s f o r m w i t h t h e f e a t u re o f h s v c o l o r h i s t o g r a m. t h e m a j o r i t y o f c o n t e n t - b a s e d i m a g e f e a t u r e s a r e m u l t i - d i me n s i o n f e a t u r e v e c t o r t h a t u s e t h e i n d e x s t r u c t u r e s s u c h a s k d b t re e , r t r e e , s s t r e e e t c . i n t h i s p a p e r , w e f in d t h a t t h e b e s t p e r f o r m a n c e i s o b t a i n e d b y e m p l o y i n g s r - t r e e a s t h e i n d e x s t r u c t u r e o f k - n e a r e s t n e i g h b o r s e a r c h i n g . g r o u n d o n a b o v e res e a r c h e s , w e b r i n g f o r w a r d a i n t e r a c t i v e r e t r i e v a l m o d e l i n w h i c h s e v e r a l f e a t u r e s o f i m a g e a r e c o m b i n e d . b y i n t r o d u c in g t h e in t e r a c t i v e g e n e t i c a l g o r i t h m , t h i s e n a b l e i m a g e r e t r i e v a l p r o c e d u r e t o a u t o m a t i c a l ly c a p t u r e f e a t u r e r e l e v a n c e b a s e d o n u s e r s f e e d b a c k . h i e r a r c h i c a l - r e t r i e v a l p o l i c y i s e m p l o y e d . n o t o n l y d o e s i t p r o m o t e r e t r i e v a l s p e e d , b u t a l s o i t k e e p s r e t r i e v a l p r e c i s i o n . k e y w o r d s : c o n t e n t - b a s e d i m a g e s t r u c t u r e ; s i m i l a r i t y m e a s u re ;r e v e l a n c e 一 i i i r e t r i e v a l ; i ma g e f e e d b a c k i n d e x i n g 北京交通大学硕士论文 第一章 绪论 ， . ，研究背景 8 0 年代中后期发展起来的多媒体技术， 己成为世界性技术研究和 产品开发的热点，有着广阔的应用前景。它把文字、图形、图像、声 音、视频等媒体信息与计算机技术集成于统一的数字环境中，以扩展 这些媒体的组合应用。多媒体技术的普及和 i n t e rn e t 技术的实施导致 了 大容量多媒体信息的出 现，图像来源不断扩大，大容量高速存储系 统为图像的海量存储提供了基本保障， 各行业对图像的 使用越来越广 泛，图像信息资源的管理和检索显得日 益重要。图像数据库的研究将 对多媒体数字图书馆、医学图像管理、卫星遥感图像和计算机辅助设 计和制造、地理信息系统、罪犯识别系统、商标版权的管理等方面提 供有力的支持口 1 . 1 . 1 对圈 像致据库的早期检索方法 在图像数据库系统中，图像信息的检索是最需要也是最普遍的要 求， 对它的 研究自7 0 年代始就成为一个非常活跃的 研究领域。 一开始 人们都是通过对传统数据库进行简单的扩充来实现对图像数据库的管 理，常用的方法有以下两种: . 基于属性的检索( a t t ri b u t e - b a s e d r e t ri e v a l ) 尽管从本质上讲数据库技术不适于处理多媒体信息库的检索， 但 由于它是一门 成熟的技术，许多早期的图像库都采用数据库系统来进 行管 理。 在 这 类系统中 ， 每幅图 像用一 组 属 性 ( 域 ) 的 集合 来表 征， 通 过指定属性来完成对图像的查询. 这类检索方法的缺点在于图像的丰富内容难于用几个简单的属 性来充分描述。实际上，这类系统中，由于属性一般都是根据给定查 询要求而实现的， 导致系统对于给定查询以外的检索请求就很难处理， 即难于进行功能扩充。显然，这种直接采用传统数据库对图像信息进 行检索的技术不能满足人们的需要。 . 基于文本描述的 检索( t e x t u a l- b a s e d r e t ri e v a l ) i- 北京交通大学硕士论文 一种改 进的 方法是 对图 像标注 ( a n n o t a t e ) ， 即 对图 像 建立内 容的 文 本描述， 将对图像内容的检索转换为对文本描述的检索。检索时，系 统根据给出的关键字按照相似度大小排序返回部分匹配的结果。 采用基于文本描述的检索方法，一个明显的优点就是可以表达抽 象概念，但这种方法也具有如下缺点: . 文本描述难于充分表达图像的丰富内容 文本描述是一种定性的描述，描述能力有限，而图像中 往往含有 大量需要定量描述的信息。而且，许多图像对象的特征难于用文本描 述来表示， 如散布纹理和不规则形状等。 . 文本描述具有一定的主观性 对于一幅图像来说，由 于其内 容的丰富性以及不同人理解和感兴 趣方面的不同， 导 致内 容 描述的 建立具有很大的 主观性( 如不同 人 对颜 色的感知就不尽相同 ) 。 这样， 采用这种检索方法就会带来一定的 歧义. . 处理文本描述涉及到自 然语言的理解问题 采用文本描述的检索方法，本质就在于计算检索请求与图像文本 描述之间的相似度，这就涉及到目 前尚未解决的自 然语言理解问题。 目 前实 现的系 统中， 通 过采用同 义 词词典 ( 仆e s a u r u s ) 来 使问 题 得到 简 化，但同时也使检索的表达能力受到了大大的限制。 . 手工输入文本描述效率低，难以满足巨容图像库的要求 采用这种检索方法，图像内容的文本描述一般需要手工输入，效 率低，因此不能满足巨容图像数据库的检索要求。 1 . 1 . 2 基于内 容的 检索( c o n t e n t - b a s e d r e t r i e v a l ) 由于上述两种方法的局限性，使得人们希望能对于图像数据库建 立一种新的检索框架并发展一种新的检索技术，这就是基于内容的检 索技术的由来。 基于内容图像检索技术的主要思想是根据图像的颜色、纹理、图 像对象的形状以及它们的空间关系等内容特征作为图像的索引，计算 查询图像和目标图像的相似距离，按相似度匹配进行检索，返回图像 库中内容描述最满足要求的一组图像。基于内 容的图像检索具有如下 北京交通大学硕士论文 特点: . 从图像内容中提取信息线索.基于内容的图像检索突破了传 统的基于关键词检索的局限，直接对图像进行分析、抽取特 征，使得检索更加接近目 标。 . 提取特征的 方法多 种多 样。 可以 提取形状特征、 颜色特征、 纹理特征、轮廓特征等等。 . 人机交互进行。一般来讲，人对于特征比较敏感，能迅速分 辨出目标的颜色、轮廓等，但对于大量的对象，一方面难以 记住这些特征，另一方面人工从大量数据中查找目 标效率非 常低，而这正是计算机的长处，因此，使用基于内容检索的 系统时，人与计算机是相互分工配合进行检索的。 . 基于内容的检索是一种近似匹配。在检索过程中，存在一个 度量反映数据库中图像对象与检索要求的相似程度，而检索 目的就是查询相似程度最大的一组图像对象，按照相似程度 的大小顺序返回。 这一点与传统数据库检索的精确匹配算法 有明显不同。 目 前，国内 外许多机构都在进行有关的研究工作， 在己 实现的系 统中， i b m的q b i c 便是 其中 颇引 人注 意的 一 个。 它通过友好的图 形 界面提供了多种检索方法. 美加州大学伯克利分校与加州水资源部合 作开发了c h a b o t ，以 便对水资源部的大量图像提供基于内容检索的有 效手段。此外，麻省理工学院、纽约州立大学布法罗分校等以 及其他 研究机构都在进行相关的研究。 1 . 2 基于内 容检索的系统结构 1 .2 . 1 基于内容检索系统的结构 c b i r是指在图像数据库中找出满足特定视觉描述的图像的过程。 c b i r系统的基本思想是通过分析图像的 视觉特征和上下文联系来进 行检索， 它的实现方法是使用图 像数据库存储和管理图 像数据( 包括原 图 像和图像特征) ， 然后将c b i r技术作为数据库的引擎嵌入图 像数据 北京交通大学硕士论文 库中，提供基于内容的图像检索功能。 一个基于内容检索系统的结构如下所示: 底层特征 数据库建立 - - - - - 一 . _.二.二 番 数据库检索 搜索引擎 图7 - 1于内容位成系组结构圈 其主要功能有: . 查询界面是系统的用户查询接口，用户使用查询界面来组织 和表达自己的查询要求，系统检索所得到的图像也是通过这 个界面返回给用户。 . 查询处理模块将用户从查询界面送来的查询请求( 目 标图像) 通过特征提取模块转换为用特征描述的查询特征，然后调用 搜索引擎计算 特征库的 每个 特征与待查 特征的 相似程度， 从 中挑出相似的若干图像，并按相似程度由大到小排列返回给 用户。 . 数据库建立模块将图像集合存入图像库，同时，调用特征提 取模块对每幅图像进行处理，并将得到的特征信息也存入图 像库。 . 特征提取模块负责图像处理工作，它具体实现 c b i r系统中 支持的各种特征的提取算法，从而能够从图像中提取相应的 特征信息。它与数据库建立模块共同作用，生成完整的图像 北京交通大学硕士论文 数据库信息。 . 搜索引擎与查询处理模块是实现 c b i r系统检索功能的核心 部件，它计算目 标图像与查询图 像之间的特征相似程度，完 成各种特征的匹配算法。 . 图像和特征共同形成图像数据库，它们之间的关系是一一对 应的。 l 2 2 基于内 容检索系 统的 关 键技术 基于内 容的图 像检索的实现主要依赖于4 个关键问题: . 图像数据描述模型 它是指采用图 像理解技术实现图 像内 容描述的 方法。 选择合适的 图像数据模型表示图 像内 容特征是进行基于内 容检索的基础。图 像存 在多种视觉特征，如颜色、形状、纹理、空间特征等。图像的特征集 合构成了它的内容描述集。图像特征的提取是基于内容图像检索技术 中的一个必不可少的关键步骤。一个好的图像特征应具有以下特点: 特征对用户而言具有直观的含义，换句话说，特征表达的信息和用 户的需求之间存在清晰联系。用户易于指定查询，系统也可以进行 有效的检索。特征能够明确地区分相关图像和非相关图像。图像的 颜色、 形状、纹理和轮廓等特征适用于各种图 像内 容的描述，在图 像 数据描述模型中具有较好的 通用性。 . 特征索引结构 一般情况下，描述图像内容的特征集合可看作是高维空间中的向 量，这样，基于内容检索( 寻找与指定特征最相近的一组对象) 就转化 为高维空间点集的最近邻搜索问题。由 于c b i r系统中往往含有海量 图像，单纯的线性搜索方法难以 满足实时检索的需要， 有必要在特征 库中使用相似索引技术来建立特征索引 机构，以 支持对中、高维特征 向量的相似性的查询。在特征匹配时，c b i r系统将计算出来的向量 距离按由小到大的排序来决定返回的结果。结果的返回方式大致分成 两类:k个最近邻居查询和球形范围查询，前者返回与查询向量的距 离最小的k 个特征向 量所对应的图像;后者则返回与查询向量的距离 北京交通大学硕士论文 小于一个阐值的所有图像。 常见的特征索引结构是四叉树表示， 此外， 还有 k - d 树和 r树。 . 图像的相似性度量 这是c b i r系统中的一个重要问 题。 一般来说，图像的内 容含有 语义信息 ( 主观的 ) 和视觉 特征( 客观的 ) 。 在语义信息上的 相 似性度量需 要专家系统的帮助， 这不属于c b i r系统的范围， 因此， c b i r系统对 相似性的度量应建立在图像视觉特征的基础上。通常将欧氏几何距离 和集合理论作为图像的相似性度量。 . 查询方式的表达是多种形式的 这是因为在多数情况下，用户的查询目 标很难通过一幅或几幅查 询图像来精确表达。具体地讲，用户在开始查询时无法准确预知自己 所需要的图像，同时，目前还不存在通用的数据模型来描述所有类型 的图像。此外，语义表达与视觉特征存在明显差异，因 此，特征相似 的图像有可能完全不是用户所要的结果。鉴于以上原因，一个好的图 像查询方式应包括三方面的内容:一是多种特征的组合查询，选择图 像的多个特征组合模型比采用单一的模型来描述图像内容要更加可行 和富有成效;二是相关反馈，它是一个逐步求精的查询过程，即用户 根据系统输出的查询结果与自己所期望的结果之间的差异，向系统提 供相关信息的反馈，让系统依照用户的反馈重新调整查询过程，使得 查询结果接近用户的期望。线性加权相关反馈和基于统计模型分析的 相关反馈是目 前采用最多的查询方式;三是在上述两种内容基础上与 文本查询相结合， 即语义查询， 这是未来c b i r系统查询方式的方向。 以上四个关键问题并不是孤立的， 它们之间存在一定联系。 例如， 不同的图像数据描述模型，采用相同的相似性度量，相对应的查询效 果不一样。因此，在实际设计c b i r系统时，要针对具体应用环境， 整体考虑每个环节的实施过程。此外，在对图像数据库设计时，也要 注意在现有关系数据库设计技术基础上扩展其功能。 1 . 3 主要研究工作 多媒体信息中量最大最主要的一种就是数字图像信息，是本论文 . 6. 北京交通大学硕士论文 研究的主要对象。如何有效的提取图像的内容特征，根据图像的内容 特征进行有效的组织，给用户提供直观的操作界面，针对不同层次用 户的检索需求，研究符合人们视觉习惯的图像检索技术是本文研究的 主要内容。 针对目 前图像低层特征描述的效率不高、 系统检索率偏低、 检索过程持续时间等问 题，我们主要做了以下几方面的研究: . 图像低层特征描述的研究。比较了多种颜色、纹理特征的提 取方法在图像检索中的效果。将图像小波变换域中的纹理特 征与原始域中图像的颜色特征进行有效的结合，以充分利用 图像颜色特征的丰富表现性和小波分解的多分辨性及其变换 系数的统计特性。实验证明取得了比较好的检索效果。 . 多维索引技术的研究。分析和介绍了多维特征空间的索引技 术，比较了几种常用索引结构的特点。研究表明建立包含图 像颜色、 纹理、 空间信息的多维特征矢量的s r树作为最近邻 居搜索的数据结构，可以获得更好的数据检索性能。 . 相关反馈的研究。提出了一种结合图像多种特征的基于用户 反馈的检索模型。引入了交互式遗传算法，充分发挥其群体 搜索策略和随机信息交换思想，将人的主观信息融入到检索 过程中.通过采用分级检索的策略，即先用颜色特征过滤， 排除掉区别显著的图像，再用纹理特征计算相似性，既提高 了检索速度又保证了检索精度。 基于以 上的研究，作者建立了一个图像检索实验系统，其中实现 了多种颜色和纹理特征的描述方法和检索算法。并在测试图像库中进 行了多种比 较实验，验证了文章所提出的特征描述方法和检索算法的 检索效果。 1 . 4 论文安排 论文的其他各章节安排如下: 第二章，图像检索中视觉信息的描述。本章详细介绍了两种常用 图 像 低 层 视 觉 特 征 : 颜 色 和 纹 理 以 及 它 们 备自 的 描 述 方 法 。 第三章，小波分析理论及其在图像处理中的应用。本章介绍了小 北京交通大学硕士论文 波分析方法的理论基础，以及在图像颜色和纹理这两种低层视觉特征 描述中的应用。 第四章，图像检索的索引结构分析。本章详细介绍了五种基本的 索引结构，它们是后来很多高维数据空间索引结构的基础，并对其索 引的性能进行了比较。 第五章，图像检索实验系统的实现。本章详细介绍了作者实现了 图像检索实验系统，使用的图像视觉特征主要是颜色和纹理，并对提 出的颜色和纹理综合特征做了详细介绍和比较实验，验证了其检索效 果。 第六章，相关反馈算法和图像检索。本章首先介绍了相关反馈检 索技术的普通模型，接着介绍了本文对此模型的改进方案:引入了交 互式遗传算法，以 及将此方案引入到我们建立的图像检索系统中所取 得的实验效果。 第七章，结论和展望。 最后是参考文献和致谢。 北京交通大学硕士论文 第二章 图像检索中视觉信息的描述 所谓基于内容的检索，是指直接根据描述媒体对象内容的各种特 征进行检索。基于内容的图像检索能从数据库中查找到具有指定特征 或含有特定内容的图像，它有别于传统的基于关键字的检索手段，融 合了图像理解、 模式识别等技术，直接对图像进行分析，抽取特征。 显然，特征提取是整个系统中最基础、最重要的模块，是得到合理检 索结果至关重要的一步。广义来讲，特征既包括基于文本的特征如关 键字、 标 注等， 也包 括 视觉特征 ( v i s u a l f e a t u re s ) 。 本论文所讨论的 特征 将仅限于视觉特征。基于内容的图像检索之关键是找到合适的描述图 像内容的特征，包括通用特征和专用特征，目 前使用的通用图像特征 包括图 像 全局或 特定区 域的 颜色1 ! 、 纹理 5 l 、 形 状16 等， 这些都 是底层 视觉特征。 专用特征是与具体应用相关联的， 如人脸特征和指纹特征， 这些特征将不在本论文的讨论范围内。 2 . 1 颇色特征 颜色被公认为是图像检索中最有价值的底层特征，因此颜色就成 为了图像检索中用的最多的视觉特征。对于复杂背景图像，颜色特征 具有相对良 好的 鲁棒 ( r o b u s t ) 性， 并且不受图 像尺寸和方向的影响。 在 对 颜 色 特 征的 研 究 中 ， 颜 色 直 方图 ( c o l o r h i s t o g r a m ) 0 71 , 颜 色 矩 ( c o lo r m o m e n t s ) 和 颜 色 集 ( c o lo r s e t s ) 9 1 是 用的 最 多 的 。 2 . 1 . 1 颇色模型 对颜色特征的研究必须置至于颜色模型之中，常用的颜色模型 有: r g b , h s v e o , y u v , y i q i 2 1 , l u v 1 3 1 , l a b 13 1及m u n s e ll 10 模型。 这些模型都各有所长， r g b模型由红、 绿、 蓝三个颜色分量组 成，是最常用的颜色空间， 常用于硬件显示系统: h s v是一种反映人 类视觉特性的颜色空间模型，更适用于图像处理，其中h表示色调， 5表示饱和度， v表示亮度值，该模型被诸多算法所采用:y u v和 y i q主要用于视频 传输和 编码， 其中y为亮度 分量， u , v或i , q 为色差分量.l a b 和l u v为均匀色度模型，其中两点间的欧氏距离与 北京交通大学硕士论文 人所观察到的相应颜色的区别程度对应; m u n s e ll 模型是从心理学角 度，根据颜色视觉特点 所指定的 颜色分类和定 标系统，它由以 h ( 色 调) 、 v ( 明 度) 、 c ( 色度 ) 为 基 础系统排列的 色卡 组成。 研究 表明: l a b 模型和mu n s e l l 模型在各种颜色特征提取中有较好的表现。 2 . 1 . 2 颇色直方图 颜 色 直 方图 ( c o l o r h i s t o g r a m ) e4 是 用 来 表 达 颜 色 特征 的 最 常 用 的 手段。所谓颜色直方图是颜色信息的函数，它表示图像中具有同颜色 级别的象素的个数，其横坐标是颜色级别，纵坐标是该颜色出现的频 率( 象素的 个数) 。 从统计意义 上 讲， 它是指三个颜色通道强度的联合 概率。 图像特征的统计直方图实际上是一个 1 - d 的离散函数，即 h ( k ) = n k l n , k = 0 ,1 ， 二 ，, l 一 1 。 其中k 代 表图 像的 特征取 值 l 是 特征 可取值的个数， n k 是图像中 具 有特征值k 的 象素的 个数， n是图 像象 素的总数。公式表征了图像中具有特征值k 的象素出现的频率，提供 了该图像外观的一个全局描述。 图像的颜色特征用直方图来表示时，图像间的距离度量问题就相 应地转化为直方图间距离度量问题，常用的度量方法有以下几种: . 直方图相交法 令h q ( i ) 和1 1 0 ) 分别 代 表 查 询图 像 和数 据 库图 像的 直方图 分量， 则两图之间的匹配值为: 艺 m in ( h q ( i) , h , ( !) ) p ( q , i )井 上 么 一 一 一 一 一 一 一 一 艺h q ( i) . 直方图匹 配法 直方图间的 距离可使用一 般的欧氏 距离函 数m e ( q ,l ) 来衡量: m e ( q , i ) = ， 艺( h q ( i) 一 h , ( i) ) 2 北京交通大学硕士论文 也可以 使用加权距离函数m w ( q , i ) 来衡量 m w ( q , l ) = , iy-w ( h ( = ) 一 h , ( i ) ) 2 其中 h q ( i ) ， 如 果 h q ( i ) 0 且 h 7 ( i ) 0 1 加果 凡( i ) = 0 或 从( 7) = 0 !记!.t 一一 爪 . 距离法 为了 减少计算复杂度， 可以 用直方图的均值来粗略地表达颜色特 征，对图像的 r, g, b 三个颜色通道，匹配的特征矢量为: f 二 【 i r , p g , p b 了 。 这 样， 查 询图 像q和 数 据 库图 像i 之 间 的 匹 配 值 可以定义为: p ( q , i ) 一 v (f , 一 f ) ， 一 j e r ,g ,b (/ 。 一 产 ， ) ， 该方法计算简单、实现容易， 但是检索结果并不精确。 . 参考颜色表法 距离法太粗糙，直方图相交法计算量太大，一种折衷的办法是将 图像颜色用一组参考色表示，这组参考色应能覆盖视觉上可感受到的 各种颜色。参考色的数量要比原图的 颜色数少的多，这样可算得简化 的 直 方图 ， 相 应的 特 征矢 量 是f = f i ,f 2 , ， 二 ，,f n l t ， 其 中 代 表 第i 种 颜 色 出 现的 频率， n是 颜色参 考表的 长 度。 此时 加 权后的 查询图 像q和数 据库图像i 之间的匹配值为: p ( q , i ) = , 1艺w , ( f q , 一 f , ) 2 ， 其 中 w , 几， 如 果 几 0 月 ,f 0 1 ,如 果 f o = 0 4; 二 0 !仗!、 一一 2 . 1 .3 累积直方图 当图像中的特征并不能取遍所有可取值时，统计直方图中就会出 现一些零值， 这些 “ 零值”的出 现会对直方图的相交带来很大影响， 从而使得由直方图相交公式计算出的匹配值并不能正确反映两图像间 的颜色差别。为了解决这个问题，可以利用累积直方图。 北京交通大学硕士论文 图像特征统计的累积直方图也是一个1 - d的离散函 数，即有 (“卜 客 n ,k = “，一 l 一 ， 其中各参数的含义同直方图的一样。由于考虑了历史特征值，所 以相比直方图，累积直方图 将对亮度改变的敏感性降低，从而用在基 于内容的图像检索系统中会取得较好的效果。 2 . 1 . 4 颇色矩 由于量化误差产生的影响，往往两个很相似的图像，计算出的直 方图距离可能很大，为解决此问题，有人提出颜色矩的方法，计算每 一个颜色通道的前三阶中心矩， 共九个分量来描述图 像的 颜色特征1 8 1 对直方图来说，前三阶中心矩分别为: m _ 金 菩 h (i) m z 一 【_1l 客 (h (i， 一 m i)z1l/x m 3 一 :_ll 客 (h (i， 一 m l)31lt3 对 彩 色 图 像， 设m , ， b三个颜色通道直方图的 示为下面的公式: m 品, m 扬 分 别 代 表 查 询 图 像q 的r , g . i ( i : 3 ) 阶中 心 矩， 则它们之间的 匹 配值可以 表 p ( q , l ) + 33 qr 一 、 2 、 3z + w gd m i.-一 、 十 叽 3w b (m qh 一 m ) 其中wr . wg i w d 为颜色通道加权系数。 2 . 1 .5 颇色相关向， 图像的颜色直方图 算法简单。实现容易，计算复杂低，且具有平 移不变性、旋转不变性、缩放不变性( 归一化直方图 才具有此特性) 、 视角改变的基本不变性。 因此在图像检索中成为了应用最广泛的特征。 北京交通大学硕士论文 但是由于它“ 天生” 对颜色空间位置的忽视以 及对亮度改变的敏感性， 使其在基于内容图像检索系统中的应用受到了很大的限制， 在颜色空 间位置信息和亮度改变要求严格的图像检索系统中它先天的弊病就更 暴露无遗。 为了克服直方图 不能描述空间信息这个缺陷，出 现了 许多改造传 统直方图，直接加入空间信息的办法。颜色相关向量( c c v , c o l o r c o h e r e n c e v e c t o r ) 就 是 其中 一 种。 这个方法把每一个象素都划分到颜色相关( c o h e r e n t ) 和颜色不相 关( i n c o h e re n t ) 两类之中， 划分依据是这个象素是不是属于一大片颜色 相近的连续区域。 通过将颜色不相关的象素从颜色相关的象素中分离 出 来，该方法防止了 把图像中属于颜色相关的象素去匹配另一幅图像 中颜色不相关的象素，这样就提供了比 传统直方图更为细致的特征。 设 第j 个 离 散 化 颜 色中 颜 色 相 关 的 象 素 数 设 为a i l颜 色 不 相 关 的 象 素 数设 为马 。 很 显 然， 这 种 颜色的 象素 数为a i+ 马 ， 这 样改 进后的 颜色 直 方图 就 可以 表 示为: o 现在对于每一种颜色都定义了 个相关颜色对( c o h e re n c e p a i r ) ( c y , p j ) , 颜色相关向量( c o l o r c o h e re n c e v e c t o r ) 就由这些相关颜色对组成: ( a 3 , v 3 ) ， 二 ( q l , p l ) 设 两 个 待 比 较 的 图 像 为i 和i ， 它 们 对 应 的 c c v 分 别 为g i 和场 ， 第j 个离散 化后 颜色中 颜色相关的 象 素数分别为a i 和aj， 颜色不相关 的 象素数分别为p i 和o f 。 则有 g j= ( ( a i l p 1 ) ,( a 2 , 阳, ( a 3 , 0 3 ) . . . . ( a l , p l ) ) , g l = 其相似度侧量为: 。 = el ( a ， 一 a ,.) + ( 6 , 一 )6 ; ) i 2 . 1 . 6 颇色集 除了基于颜色直方图和颜色相关向量的方法外， 还有一些其它的 办 法 来构 造 颜色 特征， 其中 最有 名的 有 颜色 集 ( c o l o r s e t s ) 算法 9 。 它 北京交通大学硕士论文 是为了 在 大 规模图 像 库中 加快 检索 而 提出 的 ， 使 用 颜 色集 ( c o l o r s e t s ) 作为颜色直方图的近似。该方法首先将 r g b颜色空间转为与感知一 致的h s v空间， 然后对其进行量化。 颜色集定义为颜色空间中 颜色的 集合( s e l e c t i o n ) 。 因为 颜色集特征向 量是二进制( b i n a ry ) 的， 这样就可以 构造二叉检索树以加快检索过程。 2 . 2 纹理特征 纹理特征通常被看作是某个给定区域中局部模式的重复出现，是 图像低层特征中另一个重要部分。在图像检索中常用的纹理特征有基 于灰度共生 矩阵的纹理 特征 1 5 1 , t a m u r a 提出的6 个心 理学纹理 特征 1 6 1 和基于g a b o r 的 纹 理特征 1 7 1 等。 2 . 2 . 1 基于灰度共生矩阵的纹理特征 用灰度共生矩阵来描述纹理特征，能很好地利用纹理现象中各灰 度级的空间依赖关系，因此它在纹理分析中得到了 很广泛的应用。 灰度共生矩阵定义为灰度为i 的象素点离开某个固定位置关系6 ” ( d x ,d y ) 的点上的灰度为 的概率( 或者频度) ，即: 1 38 ( i j )= 集 合 ( x ,y ) i f x ,y ) = i并 且 1 ( x + d x ,y 十 d y ) = j或 f ( x - d x ,y - d y ) = j ; x = 0 , 1 , 2 , . . . ,m - 1 ,y = 0 , 1 , 2 , . . . ,n - 1 的 元素个数。 其中x ,y 是图像中 象素坐 标， f ( x ,y ) 是其灰度值; m和n是图 像的 长宽 象素数; i ,j = 0 , 1 ,2 , . . . ,l - 1 ， 这里l 是 量化 后的 灰 度 级的 数目 。 因此灰度共生矩阵是s = ( d x ,d y ) ， 及偏移量大小和方向的函数。 一 般在计算基于灰度共生矩阵的数字化特征时常使用归一化的共生矩阵 p ( i j ) 。令 ， : (，) = l-; ， ， )， ， (， ) l-ip x u ) = y- p (i,j ),p , u ) = e p (r,j ),p ，十， (* ) = e l p o , i ) i = o j - 0 . + y = k 则常 用的 一些基于共生 矩阵的 数值 特征有 8 1 , . 角二阶矩( a n g u l a r s e c o n ds ( t, a 沪 l-1艺问 m o m e n t ) : f , = 艺 北京交通大学硕士论文 . 对比 度( c o n t r a s t ) : f ,( i 一 .1 ) 2 p ( i j ) 刹艺j=o 洲艺间 工一 ilp ( i .1 ) 一 u x i m二 0 ,1 ， 二 ， m一 i , n = 0 , 1 , 2 , . .n一 1 s= a 0 ( x c o s b + y s i n b ) , y = a - ( - x s i n b + y c o s b ) 9=wr l n 其中m是多尺度分解的方向数， n是伸缩尺度。 具体g a b o r 滤波器族( g a b o r f i l e t e r d i c t i o n a ry ) 的设计依赖于三个 待定参数a , 6 、 ， 6 , 的 选择。 各参数的 选择如下: a = ( u , / u , ) a - ，w=u , ，戈 ( a 一 1 ) u , sy= tan(戮 u *一 ， (黔 2 1 n2一 给定一个图像1 ( x ,y ) ，它的g a b o r 小波变换定义如下: w m n ( x ,y ) = j i (x y o g . ( x 一 、 :， 一 、 ) d x ld y 这里的* 代表复共扼-假定局部纹理区域在空间上是均一的，那 么 均 值/ gy m 。 和 标 准差蠕就 可以 被 用 作这 片区 域 的 纹 理 特征。 、 。 。 一 j j, w _ ( . y ) ti d x d y , s m 。 一 v j j (1 w ,a (x , y ) 一 ， m n ) d x d y 具体的特征向量构造如下，这里选择m = 4 , n = 6 a .f = n o o , s o o , f o = 8 0 , . . . f s s , s s s 2 . 2 . 4 小结 不难发现，在图像检索所用到的各种纹理描述方法中，基于灰度 共生矩阵的方法和基于g a b o r 变换的方法是最出色的。前者充分利用 了统计方法，对于明显纹理现象、象素灰度在二维空间中处于某种规 则排列的图像，具有良 好的捕获特性，因此能很好的反映一种纹理的 本质特征， 从而对于多种不同纹理能有很强的分辨能力。 而基于g a b o r 变换的分析方法的优势在于，g a b o r变换通过加窗实现了对局部空间 北京交通大学硕士论文 的f o u r i e r 分析， 它能够在整体上提供信号的全部信息而又能提供在任 一局部空间内信号变化激烈程度的信息，因此它的结果最符合人的视 觉特征，能取得令人满意的结果。 使用共生矩阵来构建纹理的特征向量，关键在于首先要适当地挑 选具有最强分辨能力的统计特征，然后在不同的步长、不同的方向上 构造共生矩阵，分别求这些共生矩阵的统计特性。如果使用g a b o r 小 波的方法构建纹理特征向量，主要工作在于选择适合的g a b o r 滤波器 族，然后使用不同大小和方向的g a b o r 滤波器实现不同尺度的滤波， 得到描述纹理的特征矢量。 在基于内 容的图像检索所用到的底层特征中， 纹理特征易于表达 与计算，并且在大特征库中有很好的统计特性。但使用的难点在于: 由于在单个图像中往往存在多种纹理现象，难以找到性质均一的纹理 块以 提取特征， 必 须依赖有效的 分割，因 此对于基于区 域的图 像检 索 纹理特征是一个很理想的选择。 北京交通大学硕士论文 第三章 小波分析理论及其在图像处理中的应用 3 . 1 小波分析理论 自 1 9 8 6年，关于小波分析理论、方法与应用的研究一直为热门 课 题2 0 ,2 1 。 作为 一 种数 学 工具， 小 波 变换 是 人 们熟 知的 傅 立叶 变 换 与 短时( 窗口 ) 傅立叶变换的 一个重大突破， 无论是对古老的自 然学科 还 是对新兴的高新技术应用学科都产生了强烈冲击，特别是信号分析、 图像处理、量子物理及非线性科学的研究领域带来革命性的影响，是 2 0 世纪公认最辉煌的科学成就之一。 本章先对傅立叶变换与窗口 傅立叶变换做简单的回顾，再详细介 绍小波变换的定义与特性。 3 . 1 . 1 傅立叶变换与窗口 傅立叶变换 时域与频域是信号分析的两个领域，它们是由傅立叶变换联系起 来的。 傅立叶变换的 本质在于: 对于一个确定性信号f ( x ) , x e ( 0 , 2 ) r ) , 在整个区间是连续或分段连续，只要满足平方可积条件，即 犷 f (x )i2d x oo , 就 称 f (x ) 在 空 间 l z (0 ,2 7r) 上 可 测 ，且 f (x ) e l 2 (0 ,2 ;r) 可 以 表 示 为 一 标 准 函 数 族 e - i co e r ) 的 加 权 求 和 : a x ) = 法厂 g (m )e- d ay或 a x， 一 六霎 g (w )e- ， ， 其 中 权 函 数 g (o) ， 一 六f ., f (x” 一 (3.1.1.2)是 原 函 数 f (x ， 的 傅立叶正变换， 记作g ( 动 反傅立叶变换， 记作ax ) f 沙 ( x ) ; 而 式 ( 3 . 1 . 1 . 1 ) 称 为 原 函 数f ( x )