（模式识别与智能系统专业论文）基于内容的图像检索相关技术研究.pdf

硕士论文基于内容的图像检索相关技术研究 ab s tr8 c t a l o n g w l ththe d e v el 叩m e n t ofc o m p u 妞 r vi s l o 氏m u lti l理 d i a addd a laba set ech n o fo gy， 皿a g e l n 丘 兀 m a t i o n ， a k 运 d ofmul t i m edi a in fo rma t io 残i s w i d e l y u s e d inman y fi e l d s . ho r d e r tore trie v aithe u n a g e s w h 1 chu ser w a n t to血d quic kl y and acc ur at e ly 6 勺 m】 arge 别 口 。 u n t ofl ma g e s ， soc 0 n t ent-ba 女 月1 山 a g e r e trieval( c b i r) t echoo lo gyh asb e 叨s tu di eda lot c u n n d y. b a 锹 月onth e und e r s 加 . d in g o f th e c o ” t e n t on c bir姐d i tsrela t edfi e 】 d s t e c hoo fo gy， 面5 p a per s ets focus on th e fe a 仅 ir e ex红 a c t i o no f l ma g e ， 圈d the l n a 刃 。 res e aj 龙 hc o n t e n t of面5 p a per in c hi det h e fol 】 o w ing a spe c t s firs t i y，s in ceh sv colorhi s t o gr am c an，t des c r l besp a t i a l in fo n 刃 a 6 0 ll e 月 七 c t i v el y，so th isp aperhas ma d e so m e mod 沮 c a l l0 n ont h e re trieving al g o n 1 h mofcofor fe a tu r e . hth e col o r in d e x in g a p p roach u s in g th e dol d ” l ant c o l ors o f mu l ti 一 resol u t i o n p a rt l t i o n s u ses an o v erla p p in g re c tallg l e muhi 一 re s o hi t io n p ar t 1 t i ons w ay， and m a k e s upth e d e fi c i enc y o f 仕 a d i t i o n almulti一so lu ti onp a rt l ti ons w ays;inth e a p p ro a c h of山fo r coh e r e n ce、 re c tors， th i s p a per c h o o ses th e h s vcofor mo d el . b y the expen m e n t ， 而s p a 例 沈v al i d a 砚 e s t h e 化 a s 1 b i 1 i tyofth e a boveextr a c ting col orfe a tu r e al g o n th m 其次，由于个人感知的差异， 不同的人对相同的图像可能有不同的理解，图像注解的 主观性和不准确性可能导致的检索过程的产生误差。 所以， 利用图像本身的内容来进 行图像检索势在必行，从而产生了基于内容的图像检索技术 cbi 风c o n 咖卜 b 别 记 。 灿a g e r e tri e v 训2 。 基于内容的图像检索不同于以往的基于文本的图像检索方法， 它是指直接根据描 述图像对象内 容的各种特征进行检索， 它根据用户提出的反映图像内容特征的查询要 求，能够从图像数据库中检索出具有指定特征或含有特征内容的图像( 包括视频片 断) ，并且融合了计算机图像处理， 模式识别，数据库等关键技术。由于基于内容的 图像检索 (cbir)技术固 有的 优越性， 使得其正逐渐成为目 前研究的热点， 并广泛地应 用于众多领域。 目 前己 经存在很多应用于实践环境的基于内容图像检索系统， 如ibm 公司 开发 的qbic系 统 3 ，以 及由 哥 伦比 亚 大 学 研发的vi s u a l s e e k系 统 14 、 v ir a g e 公 司 开 发 的virage 系 统 阁 等。 所以 ， 基 于内 容 的 图 像 检 索 技 术 是 一 项 在 理 论 研究 和 实 际应用中都具有前途的技术。 本课题的选题背景为国家高新技术研究发展计划 ( 8 63计划) 项目 ，课题编号: 2 0 0 5 a a n4 0 5 0 ， 项目 名称为:“ 上海数字媒体基地建设关键支撑技术研究”子课 题2 : c g 制作流程与项目 管理关键技术研究，以 下简称为 c g 巧 句 ee 颐 目 。 c g pr oj ec t 项目 主要是对动画制作项目 的全过程进行管理和控制， 系统中所有的 功能都是按照动画制作的一整套规范来制定的， 用户可以方便地掌控一个或者多个动 画制作项目 的具体开发情况，具有良 好的实用性，该项目中包含一个资源搜索模块， 主要功能是对项目 中的 多 媒体库 进行搜索。 c g r 司 ec t 项目 的多 媒体数据库中 储存着 l 硕士论文基于内容的图像检索相关技术研究 大量的图像信息，比如素材库存储的供动画制作人员使用的场景图像、故事板图像， 在动画制作过程中动画制作人员己经制作完成的图 像等。 如何从大量图像资源中准确 地、 快速地检索出用户所需的图片就显得尤其重要， 但是传统的基于文本的图像检索 技术检索出的图像往往和用户的视觉感受相差甚远， 检索出来的图像集往往不能满足 用户的需 求。 所以 ， 如果在c g r dj ect 项目 的多 媒体数 据库的 检索模块中引 入基于内 容的图像检索技术， 根据图像的内容特征对多媒体数据库中图像进行检索在一定程度 上可以更好地满足用户的需求。 i j论文的研究内 容 由于基于内容的图像检索技术涉及了模式识别、 计算机视觉、 人工智能、 数字信 号处 理以 及多媒体数 据库等领 域6l ， 本文在系统学习了 基于内 容的图 像检索相关领域 关键技术的基础上，主要侧重于对图像特征提取算法的研究和实现。 在图像颜色特征的提取方面，由于基于h s v空间颜色直方图法不能有效地表达 图像颜色分布的空间信息， 所以本文在颜色直方图法的基础上， 对图像颜色特征的提 取算法做了以下一些改进。 在改进的分块主色法中， 本文采用了一种矩形重叠式分块 策略来反映图像颜色分布的空间信息， 同时也弥补了传统划分策略没有考虑分块之间 的联系的 缺陷;在颜色聚合矢量法中， 采用了 更加符合人的视觉感受的h s v颜色空 间模型来描述图像的颜色特征。 最后， 通过实验验证了这些颜色特征提取算法的有效 性， 并且对它们的性能进行了比较分析。为了提高图像检索系统的性能，本文在基 于改进的分块主色法的图像检索系统中引入了一种相关反馈策略， 并通过实验验证了 该相关反馈策略的有效性。 本文还对特征向量归一化理论以及融合多种特征的图像检索方法进行了研究， 并 实现了综合改进的分块主色法和灰度共生矩阵算法的图像检索方法， 最后通过实验验 证了 采用该图像检索方法能够有效地提高系统的查准率。 本文的 最终目 的是在c g pr oj ec t 项目 的资源搜索模块中引入基于内 容的图 像检索 技术。 在对上述图像特征提取算法的总结和实现的基础上， 设计并实现了一个简单的 图 像检索 系统c g p ro lma g e s e ar c h 系 统， 并 通过试验表明 该图 像检索系 统在c g p r q j ect 项目 具有良 好的实 用性， 从而更好地完善了c g r 句 ec t 项目 的资 源搜索模块的图 像检 索功能。 i j论文的组织结构 第一章 介绍基于内 容的图像检索技术的研究意义，阐述课题的选题背景。 第二章 介绍了基于内容的图像检索的起源和发展， 并对传统的基于文本的图像 硕士论文荃于内容的图像检索相关技术研究 检索技术和基于内容的图像检索技术进行了 对比分析; 介绍了基于内 容的图 像检索系 统的工作原理、系统架构以及系统性能的评价标准. 第三章对基于内容的图像检索的关键技术进行了全面地介绍，包括图像特征 ( 颜色、 纹理和形状特征) 的提取技术、图 像数据库索引技术、 相似性度量技术以 及相 关反馈技术。 第四章 对基于颜色特征的图像检索技术进行了深入地研究。按照图像颜色特征 提取的过程，首先对颜色空间模型的选择、颜色矢量量化方案的选择进行了研究;然 后并在基于h s v空间的颜色直方图法的基础上，对图像颜色特征提取算法做了一些 改进。 在改进的分块主色法中， 本文采用了一种矩形重叠式分块策略对图像进行分块， 从而有效地弥补了传统分块策略没有考虑了分块间的联系的缺陷; 在颜色聚合矢量法 中， 采用了更加符合人的视觉感受的h s v颜色空间模型来描述图像的颜色聚合矢量。 接着研究了相关反馈技术在基于改进的分块主色法的图像检索中的应用， 并实现了一 种相关反馈策略; 最后， 通过实验验证了上述颜色特征提取算法以及本章采取的相关 反馈策略的有效性。 第五章本章首先对特征向量归一化理论以及融合多种特征的图像检索技术进 行了深入研究; 然后介绍了基于纹理特征的图像检索技术， 并实现了采用灰度共生矩 阵法来提取图像的纹理特征;接着对综合颜色和纹理特征的图像检索技术进行了研 究， 并实现了综合改进分块主色法和灰度共生矩阵法的图像检索方法; 最后， 通过实 验对灰度共生矩阵算法以及综合颜色和纹理特征的图像检索方法的检索性能进行了 比较分析。 第六章本章主要介绍了 基于内容的图像检索技术在 c g p rojec t 项目中的应 用，并实 现了一个简单的图像检索系统 c g p ro h n a ge s e 田 弋 h系统. 首先，介绍了 c g p ro lina g e s e ar c b系统设计思想，实验系统环境和开发工具;然后介绍了 c g p r o ln l a g e s e ar c h系统的 工作 流程图和 各功能模块的 作用; 接着介绍了 系 统图 像数 据库的 设 计 和实现， 用户界面以 及c g n 旧 灿a g e search 系 统在性能 上的 优化。 最后， 通过实 验 表明 该系 统在c g pr oj ec t 项目 中 具 有良 好的 实用性。 第七章 对全文进行了总结， 并指出本文主要完成的工作以及今后下一步研究的 方向。 硕士论文基于内容的图像检索相关技术研究 2基于内容的图像检索概述 2. 1基于内容的图像检索技术的产生和发展 2. l i多媒体信息检索的起源 早在1 9 51年， 信息检索伽允 n 刀 a t io n 几tri eval ) 就被学者c al v inm0 o r e s 首次描述为 如下过程: 首先， 客户提交一个搜索信息的请求， 然后通过某种转换或计算，得到与 客户请求相似或相关的资料门 。 当时 m oore s 提出 信息检索概念时仅仅是指对纯文本文 件内容进行操作， 而没有考虑到信息的载体是图像、 声音、 视频等表现形式的多媒体 数据，但是他抓住了信息检索系统就是帮助用户通过检索请求去查询相似信息的本 质。 近年来， 随着多媒体技术、 数据库技术以及web应用技术的蓬勃发展， 包括图像、 音频和视频等表现形式的多媒体数据大量涌现， 多媒体数据己经广泛用于in l e rnet 和企 事业信息系统中， 用户不仅要存取常规的字符数据， 而且越来越多的商业活动、 事务 交易和信息表现都将包含多媒体数据。 如何有效地按照多媒体数据的特性去检索这些 数据便成为了多媒体技术研究中的热点问题，这就涉及到多媒体信息检索技术的内 容。 多媒体信息检索是指根据媒体和媒体对象的内 容以及上下文联系在大规模多媒 体数据库中进行检索， 它的研究目的是提供在没有人类参与的情况下能自 动识别或理 解多媒体重要特征的算法。 在多媒体信息检索中， 首先需要对媒体信息进行分割使其 成为单独的可供检索的媒体对象，比如视频检索， 就需要对连续的视频流进行镜头分 割， 使其成为一组镜头的集合， 这些镜头可以作为有效的检索对象; 然后再对每个媒 体对象采用特征提取算法提取相应的特征，媒体对象特征的集合就构成了其内容描 述; 在检索过程中， 根据用户检索要求， 查询并返回媒体库中内容描述最满足要求的 一组媒体对象。 2. i j 图像的内容描述 图像作为一种日常生活中表达最直接、 应用最广泛的多媒体信息， 人们从一幅图 像中可以获得很多有用的信息， 而图像信息检索的就是建立在图像内容特征提取的基 础上的，因此，如何有效地描述图像的内容是图像信息检索的关键。 假设给定一幅图像， 如果对其进行于不同程度的抽象， 图像的内容可以被描述为 三个不同 层次上的含义 181 ， 即可以 把图像内 容理解为一个简化了的 三层模型结构， 如 图2 . 1 . 2 . 1 所示: 硕士论文基于内容的图像检索相关技术研究 语义特征层 ( 人们对图像的内容的概念级反映 ) 低层视觉特征层 ( 图 像的 低层视觉 特征， 如颜色、 纹 理等特征) 原始数据层 ( 图像的原始像素点的信息) 图 2. 1 2 1 图像内容的三层模型结构 第一层为原始数据层，即图像中的原始像素点所代表的一些数据信息。 第二层为图像的底层视觉特征层，它是人们从视觉感官上觉察出来的图像属性 ( p e r c eptu al a tt ri b u 均，在概念上表现为一些低层次的图像特征( 如颜色、纹理、形状、 图像中对象间的空间关系等) 。使用合适的图像处理方法， 计算机可以自 动地、 有效 地提取出图像中的一些感官特征，从而完成对图像视觉内容的抽象。 第三层为图像的语义特征层，它属于人类认知领域的图像属性(c。 gn迈 ve a tt ri b u te ) 。比如对于一幅太阳的图片，“ 太阳” 就是图像所包含的语义内 容，而“ 红色 的圆形物体” 则可以看成是它的底层视觉特征内容，显然，图像的语义特征描述图像 内容时显得更准确也更自 然。 但是，目 前还没有有效的方法由计算机自 动从图像种提 取图像的语义信息， 这种更高层次的抽象只能通过人工标注图像来完成， 人们为每一 幅图像加上标题、 注释或关键字等附加数据以描述图像的语义内容， 查询时通过关键 字的匹配来查找图像。 目 前， 图像检索所用到的图像特征大多属于第二层和第三层特征，比如颜色、 纹 理、 形状、 轮廓等底层视觉特征和图像的语义特征。 对于图像底层视觉特征的提取主 要通过计算机视觉和数字图像处理与分析技术来完成， 而目前对于图像语义的获取主 要有三种来源， 分别是基于知识的语义提取、 人工交互语义提取以及利用外部信息源 的语义生成。 本文主要研究的图像的内容描述主要是基于第二层特征的， 即图像的底 层视觉特征( 比 如颜色、 纹理和形状等) 。 2. 1 3基于文本的图像检索 最早的图像检索可追溯到20世纪7 0 年代， 主要是基于文本的图像检索， 例如借助 对图像的编号即标签来对图像进行检索。 其主要思想是先对图像文件建立相应的关键 字或描述字段并将图像的存储路径与该关键字对应起来， 然后用基于文本的数据库管 理系统(db ms) 来进行图像检索，该方法的实质是把图像检索转换为对与该图像对应 的文本检索。 当图 像库中的图像数量不大， 图 像内 容比 较单一时， 传统的基于文本的 5 硕士论文基于内容的图像检索相关技术研究 图像检索不失为一种简单易行的方法， 但是当图像数据库中的图像的数量很大， 图像 包含的内容比较丰富时，基于文本的图像检索存在着如下弊端: (l )目 前的计算机视觉和人工智能技术都无法对图像自 动进行文本标注， 所以必 须依赖于人工对图像做出标注。 文字描述是一种特定的抽象， 如果描述的标准改变了， 则标签也需要重新制作才能适合新查询的要求， 所以手工对图像进行标注所需的工作 量就会很大。 (2 )由于图像包含的内容信息比较丰富，很难用有限的文字或者数字标签完全表 达， 而且容易受主观因素的影响， 不同的观察者或同一个观察者在不同的条件下对同 一幅图像可能给出不同的描述， 因而不可避免的带有一定的主观性， 而这种主观理解 的差异性可能会导致图像检索最后的检索结果产生很大的误差。 由于基于文本的图像检索不能完整地概括图像的视觉内容，纵然获取图片的日 期、 关键字等都可提供一定的有用索引线索， 但是仍然很难满足用户的检索需求。 而 且传统的基于文本的图像检索系统的检索准确率通常比较低， 并且缺乏一定的图像语 义信息。为解决上述问题，我们需要全面地、客观地来提取图像的视觉内容，而实际 上人们查询图像也是根据图像的视觉内容， 所以只有根据图像的内容特征进行检索才 能有效的获得用户所需的图像。 2. 1 月基于内容的图像检索的特点 基于内容的图像检索技术旨 在对图像视觉特征提供强有力的描述， 实现图像视觉 特征的结构化， 最终达到用户对这些图像资源自由访问的目标。 它是一门涉及面很广 的交叉学科， 包括模式识别、 计算机视觉、 人工智能、 数字信号处理以及多媒体数据 库等相关技术，它具有如下特点: ( 1)直接从图像内 容中提取信息线索， 基于内容的图像检索直接对图像进行分析 和特征提取， 利用这些描述图像内容的特征来建立索引。 图像特征提取和索引的建立， 可以由计算机自 动完成，从而避免了人工描述的主观性，也大大减少了工作量。 (2 ) 基于内容的图 像检索实质上是一种近似匹配的技术。 在数据库中， 需使用模 式识别的方法对图像库中的图像按不同索引特征分类。 在检索过程中， 它采用某种相 似性度量标准对图像库中的图像进行匹配，以获得检索结果。 (3 ) 整个检索过程是一个逐步逼近和相关反馈的 过程。 基于内 容的图 像检索系统 应具有很强的交互能力， 用户可以 参与整个检索的过程， 这种交互性增加了用户表达 查询、 评价查询结果以 及基于这些评价上进一步检索的能力， 从而可以使得检索结果 更加接近用户的需求。 硕士论文基于内容的图像检索相关技术研究 2 . 2基于内容的图像检索系统研究 z j .1基于内容的图 像检索系统的检索流程 作为传统数据库检索技术的 拓展， 基于内 容的图 像检索系统主要是根据图像的内 容特征进行检索的， 同传统的关系数据库检索系统相比， 基于内容的图像检索系统存 在很大的不同。 在传统数据库中， 检索匹配是精确匹配的， 而基于内容的图像检索系 统检索匹配过程是一个近似匹配的过程。 本文对典型的基于内容的图像检索系统的检 索流程归纳为以下几个步骤: 首先， 对用户选择的图像数据库中所有图像按照指定的特征提取方法提取其相应 的图像特征， 并且以多维特征向量的形式存储到数据库中， 从而形成了图像的特征库。 然后， 当用户提交图例或者草稿图作为查询图像时， 系统通过对查询图像的预处 理， 然后根据用户对检索参数的设置对查询图像进行特征提取， 把用户提交的查询图 像转换成其内部的表示形式即特征向量; 最后，计算图像库中所有图像和查询图像之间的相似度，并且进行相似度排序。 当遍历完整个图像特征库时， 系统会根据相似度排序结果， 把与查询图像最相似的前 k幅图像作为检索结果返回给用户，这样就完成了一次图像检索过程。 爽型的基于内容的图像检索系统检索流程图如图2. 2. 1.1所示。 图2. 2. 1 . 1基于内容的图像检索系统的检索流程图 硕士论文基于内容的图像检索相关技术研究 z j j基于内容的图像检索系统的体系结构 本文建立了一个典型的基于内容的图像检索系统的体系结构框图，如图 2. 2. 2 . 1 所示: 图像输入检索结果显示示例图像 图像预处理 巫 巫到 图2 2. 2. 1 基于内容的图 像检索系统的体系结构框图 由图2 一2 . 1 看出，基于内容的图像检索系统主要可以分为以下几个功能模块: ( 1)用户输入模块 图像输入模块的主要功能是方便用户对图像检索参数进行一些设置， 比如特征提 取方法的选择以及各种特征分量的权重初始化设定等; 另外， 还可以对用户提交的查 询图像进行一些预处理操作， 比如图像的格式转换、 尺度归一、 噪声滤除、 灰度处理、 颜色空间转换等处理， 主要是后续的图像特征提取模块做准备。 用户提交的查询图可 以是用户准备的图像样本，用户的构建的草图或者是图像特征模板等。 (2 ) 图 像特征提取模块 图像特征提取模块的主要功能是对入库图像集以及用户提交的查询图像进行特 征提取， 并把提取出来的特征向量存储到图像特征数据库中。 提取出来的图像特征可 以是全局的， 即针对于整幅图像的特征， 也可以是针对于某个目标， 即图像中某个子 区域的局部特征。目 前， 支持各种特征的提取算法种类繁多， 选择一种合适的有效的 特征提取算法对基于内容的图像检索系统的性能有很大的影响。 (3 )图像匹配模块 图像匹配模块的主要功能是选择一种合适的相似性度量方法计算特征向 量之间 的相似度来衡量图像之间的相似程度， 从而从图像库中检索出与用户提交的查询图像 相近或相似的图像。 8 硕士论文基于内容的图像检索相关技术研究 (4) 用户反馈模块 用户反馈模块的主要功能是方便用户对检索结果进行评价和标记， 并指出检索结 果中 哪些是与查询图像相关的图像( 正反馈) ， 哪些是不相关的图像( 负反馈) ，系统再 动态地学习用户反馈信息， 从而更好的把握用户的信息需求， 检索出更加满足用户需 求的图像集。这个过程中，体现了基于内容的图像检索系统具有很强的交互能力。 (5 )结果显示模块 结果显示模块的主要功能是把检索结果以一定方式返回给用户。 在特征匹配模块 中， 用户可以通过设定一个阐值r ，当图像之间的相似度小于这个阐值的图像才显示 给用户浏览; 另外一种方式则是通过特征匹配模块处理之后， 只选择与查询图像最相 似的k幅图像作为检索结果。 2 .2 3基于内容的图像检索系统性能评价 在基于内容的图像检索技术中， 由于特征提取算法种类繁多， 因此需要对各种特 征提取算法以及特征相似度匹配算法下的检索结果进行评价， 以比较其优劣性， 检索 性能的评价方法能够在相同的条件下找出最佳算法。 所以， 就需要对基于内容的图像 检索系统整体性能的评价标准进行研究， 以此作为改进各种特征提取算法以及特征相 似度匹配算法的依据. 目 前， 基于内容的图像检索系统性能评价比较通用的两个准则是: 效率准则和有 效性准则， 它们分别代表检索的速度和查找与查询图像相似图像的成功率。 本文主要 对以下几个常用的评价标准进行了研究。 (l )响应时间t 图像检索系统检索的效率通常是用系统的响应时间来评价， 响应时间t指表示的 是从用户提交查询图像起到系统为用户返回检索结果止的时间间隔。 由于系统在检索 时要进行复杂的特征提取运算以及特征匹配计算， 如果采取的特征提取算法或高维索 引算法不合理， 就会使得系统的响应时间过长， 降低系统的检索效率。 所以响应时间 t可以作为图像检索系统一个重要的性能指标。 (2 ) 查准率和查全率 图 像检索系统的检索有效性的评价可以 通过引入信息检索中传统方法来实现191 。 假设测试平台包含以下内容: 包含n个图像的图像集; m个基准查询样本: 每个图像相对于每个查询样本的相关值; 若干种有效性度量方法: 硕士论文墓于内容的图像检索相关技术研究 对系统发布一个基准查询样本， 图像检索系统给出了排序后的检索结果， 对于每 一个返回的检索结果图像数目k可以计算出以下值: 检 索 出 的 相 关 图 像 数目 :人= 艺k(2. 2. 3.1) 助 一 间k-l艺词 一- 凡 误检出的图像数目: ( 2 2 . 3 . 2 ) . 3 . 3 ) 3 4 ) (2(2 漏检的相关图像数目: 未检出的非相关图像数目: cx= 艺vn 一 人 马= 艺(l 一 代 ) 一 凡 其中 ， n 为 检 索 结 果 排 序的 序数， k为 序 数为n 的 图 像与 查 询图 像的 相关 值， k 取0 或1 。为了理解更加直观，可以把上述数值之间的关系通过集合的形式来表示， 如图2. 2.3 1 所示。 f c又 a 子爪. 丫 。 一d a+b +c十 d=所有图像 e 梢资 。相关图 像 f 幼涪 于检索出的图 像 图2 2.3 1 数值的 集合表示形式 假设e为图像数据库中所有与查询图像相关的图像集合， f 是所有检索出的图像 集合， a表示一次检索过程中 检索到相关的图像数目 ， b表示一次检索过程中所检索 到的不相关图像的数目 ， c为图像数据库中漏检的相关图像数目， d表示没有检出的 不相关图像数目。 这样，系统的查全率( r e c a 】 】 ) 和查准率( r 忱l s i o n ) 可以由以 下公式表示: 查准率几 检索出的图像中相关图像数目a 检索出的图像数目 a +b ( 2 . 2 . 3 . 5 ) 查全率r k 检索出的图像中相关图像数目a 二二 一二二 一 所有相关的图像数目a 十 c ( 2 . 2 . 3 . 6 ) 由 式( 2 .2 .3.5) 和(2.2. 3 一6) 可以 看出， 查全率反映的是图 像系统检索的全面性， 而查 准率则反映了图像系统检索的准确性， 所以， 可以 用查准率和查全率来评价和比较图 l 0 硕士论文基于内容的图像检索相关技术研究 像检索系统的有效性。 大量的检索评价表明， 查准率和查全率之间存在着特定的关系， 即 在一 个图 像检 索 系 统中 ， 当 查 准 率何查 全率 达到 一 定的 程度 之后， 两 者就 会呈 现非 线性反变换的关系。 目 前， 基于内容的图 像检索系统的评价标准主要采用了 信息检索中的查准率和查 全率方法， 但是现有的图像系统性能的评价标准和人的视觉感受存在很大的差距，目 前很多研究人员正在致力于定义一种完全客观、 更加有效的图像检索系统性能评价标 准。 2 3本章小结 本章主要介绍了基于内容的图像检索的起源和发展， 其中包括多媒体信息检索的 起源以及图像的内 容描述; 然后， 对传统的基于文本的图像检索技术和基于内容的图 像检索技术进行了对比分析; 最后，介绍了基于内容的图像检索系统的工作原理、 系 统架构以及系统性能的评价标准。 硕士论文基于内容的图像检索相关技术研究 3基于内容的图像检索的关键技术 3. 1图 像特征提取技术 理想的基于内容的图像检索希望采用图 像处理与计算机视觉技术自 动地从图像 中获得语义内容， 但是由于图像语义的内在复杂性， 目 前还很难实现对图像语义的自 动提取。 所以目 前的 基于内容的图像数据库检索系统是建立在基于图像的底层视觉特 征对比基础上的，图像的底层视觉特征一般可以分为颜色、 纹理、 形状和图像的空间 位置信息等。 3. l i颜色特征 颜色是物体表面的一种最直观、 最明显的视觉特征， 每种物体都有其特有的颜色 特征， 同一类事物往往有着相似或相同的颜色特征， 因此可以利用颜色特征来区分不 同物体。 作为图像内容组成的基本要素， 相对于其它低层图像特征而言， 颜色具有与 生俱来的旋转不变性和尺度不变性， 而且颜色特征计算起来比较方便， 因此利用颜色 特征进行图像检索己经成为基于内容检索技术中最重要的方法之一。 目前颜色特征的 描述方法主要有颜色直方图法，颜色相关图法，颜色矩法，颜色聚合矢量法等。 目 前采用最多的颜色特征描述方法是颜色直方图法， 颜色直方图法最早可以追溯 到s w a in和b allard提出的全局颜色直方图 方法l 101， 其主要思想是根据颜色直方图统计 每种颜色在图像中出现的概率，然后采用直方图的交来度量两幅图像颜色的相似性。 传统的颜色直方图方法算法简单， 计算效率高， 但是由于它主要是基于固定的颜色集， 存在计算量与存储量过大、 对亮度和噪声比 较敏感的弊端， 而且不能有效地表达颜色 分布的空间信息， 使得语义内容不同的图像可能具有相同的直方图， 从而导致查准率 和查全率降低。 为了解决上述问题， 出现了许多改进算法， 主要为了增强直方图反映颜色空间分 布的能力。比如p as s 等人提出以图像的颜色聚合矢量( color c 0 h e r e n c e v e c t o r ) 作为图 像的 颜色特征索引 11 ， 其核心思 想是考虑 颜色分布的 连续性， 当图 像中 颜色 相似的 像 素所占据的连续区域的面积大于一定的闽值时， 该区域中的像素为聚合像素， 否则为 不聚合像素。 统计图像所包含的每种颜色的聚合像素和不聚合像素的比率称为该图像 的颜色聚合矢量，聚合矢量中的聚合信息在某种程度上保留了图像颜色的空间信息。 s tri c ker和 伍切 90提出 的 颜 色 矩( cofo r mom e 0 i s ) 方法 112 ， 认为 颜 色信息主 要 集中 在图 像颜色的低阶矩中， 所以可以通过统计颜色分量的前三阶矩， 用它们来表示图像的颜 色特征，然后采用加权欧式距离作为图像的相似性度量标准。 由于颜色直方图法主要是基于固定的颜色集的，存在计算量与存储量过大的问 硕士论文基于内容的图像检索相关技术研究 题，因此出现了一些基于局部区域划分的颜色特征描述方法，比如h su 等人试图结合 图 像的 颜色信息 和图 像颜色的 部分空间 信息对颜色的 直方图 进行检索 113 】 。 其主要思想 是从图 像中 选择出 现频率频繁的一种或者若干种颜色作为代表颜色， 然后将图 像划分 成一定的矩形区域， 两幅图像之间的相似性是由两个图像之间具有相似颜色区域的重 叠程度来决定。 5 面th 和chang 采用颜色的自 动分割方法形成一个二进制的 颜色索引 集，在图像匹配过程中，比较的是这些图像颜色集的距离和颜色区域的空间信息。 3. 1 .2纹理特征 纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征。 纹理是 图像的 重要低层物理表征， 广泛存在于各种自 然物体表面1 14。 例如， 云彩、 水波、 织 物等都有各自 的纹理特征。 纹理特征包含了物体表面结构组织排列的重要信息以及它 们与周围环境的联系， 反映了图像或物体本身的属性。 正因为如此， 纹理特征在基于 内容的图像检索中得到了广泛的应用。目前， 纹理的描述和分析方法很多， 人们可以 从图像中具有结构规律的特性加以分析得到纹理特征， 或者可以对图像中颜色强度的 空间分布信息进行统计得到纹理信息。纹理特征的描述方法主要有:统计分析方法、 频谱分析方法和结构分析方法。 (l ) 统计分析方法 统计法分析纹理的主要思想是通过图像中灰度级分布的随机性来描述纹理特征。 最简单的统计法是借助于灰度直方图的矩来描述纹理， 但这种方法没有利用像素相对 位置的空间 信息， 于是， h 肛 a l ick等人提出 用灰度共生矩阵来表示纹理特征15 1 。该方 法研究了纹理的空间灰度级相关性， 构造出一个基于图像像素间方向 和距离的共生矩 阵， 并且从矩阵中提取出对比度、 能量、 嫡、 相关等统计量作为图像的纹理特征。 t a m u r a 等人 基于 对人类视觉的 研究提出 用一些不同 的 方法来描 述纹理特征 1 16 ， 给出 了 六个不 同的描述纹理特征的术语: 粗糙度，对比度， 方向 度， 线性度， 规则度和粗略度。 其 中 最重要的 特征是纹理的粗糙度， 方向 度和对比 度。 t 知 口 u r a 纹理和共生矩阵表示的主 要区别在于: 前者的所有纹理属性都是视觉意义上的， 而后者的某些纹理属性不具有 视觉意义( 如信息嫡) 。 这一特点使得t 田 口 u ra 的纹理表示在图像检索中 使用的较多，比 如q blc 系统和m a rs系统采用的就是这种纹理描述方法。 ( 2) 频谱分析方法 频谱法借助于频率 特性来描述纹理特征。 5 面th 和chang 利用从小波子带中提取的 统计量( 平 均值和方 差 ) 作为 纹理特征 1 切 ，该算法在1 12幅 b ro d a tz 纹理图 像中 达到了 90% 的 准确率。 为了 利 用中 间带的 特征， chan g 和k u o 提出了 利用树型结 构的 小 波变 化来进一步 提高分类的 准确 性 18 。 在文献1 19 中， m a 和m anju n a th 评估了 各种不同的小 波变换表示法， 包括正交和双正交的小波变换， 树型小波变换，以及g al ” r j 、 波变换， l 3 硕士论文基于内容的图像检索相关技术研究 他们的结论是 g a bo r j 、 波变 换的 结果 最符合人眼分辨的 结果 【圳. (3 ) 结构分析方法 结构法分析纹理的基本思想是假定纹理模式由纹理基元以 一定的有规律的形式 重复排列组合而成， 特征提取就变为确定这些基元并定量分析它们的排列规则。 要用 结构法描述纹理， 需要获得纹理基元以及纹理基元排列规则。 纹理基元描述局部纹理 特征， 对整幅图像中不同纹理基元的分布进行统计可获得图像的全面纹理信息。 纹理 基元的 排列规则方法一般借助字符串描述， 其中 规则是利用形式语法建立的。 文献121 1 结合纹理的结构分析方法， 提出一种区域状结构， 并把这种结构作为尺度空间中的特 征。 在基于区域状特征结构的尺度空间中， 结构状纹理分析可转化为尺度空间中对特 征结构的分析，从而实现了对纹理的多尺度分析。 目前， 纹理分析对于检索卫星遥感图像时非常有效， 也可以很好的支持基于分割 的识别技术， 但由 于纹理很少能提供图像语义信息， 因此通常作为检索过程的辅助手 段或者与其它特征结合使用。 3. 1 3形状特征 形状是图像表达和图像检索中的一个非常重要的特征内容，在二维图像空间中， 形状是一个非常直观的特征， 因此具备良 好的可区分性， 但是不同于颜色和纹理等特 征， 形状特征的提取必须以建立在对图像中物体或区域的边缘提取和分割基础上。 形 状一般指被一条封闭的轮廓曲线所包围的区域， 对形状特征的描述， 既可以 描述其边 界特征， 也可以 描述其所包围的区域122。 所以， 目 前常用的形状特征描述方法主要分 为以下两种: ( 1)基于边界的形状描述 基于 边界的形状 特征提取必须建立在边缘检测的 基础上， 用傅 立叶描述子1231， 小 波轮廓描 述子 1 24 等 形状描 述符来描述物体的 形状特征， 比 较适用于图 像边缘较为清晰 的图像。 傅立叶描述子建立在傅里叶变换的基础上， 具有旋转、比例不变性的特点， 常用 于比较分析图 像的 轮廓相似性。文献【251 把多尺度分析和通用傅立叶描述子结合起来， 得到多尺度通用傅立叶描述子， 并将其用于灰度图像检索。 实验结果表明， 多尺度通 用傅立叶描述子具有多尺度分析效果，不仅能较好的克服图像灰度噪声带来的干扰， 而且具有旋转、比例不变性，在灰度图像检索中能取得较好的结果。 小波轮廓描述子基于小波变换，用平移、尺度归一化的变换系数描述形状轮廓。 文献126为了 描 述数 字图 像目 标轮廓， 提出了 一种适用于 描述序列点 轮廓的小波描述 子。 研究表明， 与傅立叶轮廓描述子相比， 小波轮廓描述子能通过较少的点数以较高 精度描述轮廓的信息，描述结果也更直观。 l 4 硕士论文基于内容的图像检索相关技术研究 (2) 基于区域的形状描述 基于区域的形状描述主要方法有区域的面积、 圆形度、 形状的纵横比、 不变矩等。 基于区域的形状特征提取的主要思想是通过图像分割技术提取出图像中感兴趣的物 体， 依靠区域内像素的颜色分布信息提取图像特征， 适用于区域能够较为准确的分割 出来、 区域内颜色分布较为平均的图像。 不变矩的主要思想是使用对变换不敏感的基 于区域的几个矩作为图像的形状特征， hu 提出了7 个不变矩来描述图像的形状特征 四。 文 献 28 1 提出了 一 种基 于形 状不 变 矩的 图 像 全 局形 状特征 提取 算法， 实 验结 果表 明， 使用该算法提取的形状特征向量具有对平移、 旋转和尺度变化的不变性， 适用于 基于形状特征的图像检索。 3 2 图像数据库索引技术 一幅图像可能用多种不同角度的特征来描述， 而每种特征又可能由多个特征分量 组成，因此最后得到的特征向量的维数可能比较高，对于容量比较大的图像数据库， 如果采用线性匹配的方法进行检索在速度上会比较慢， 因而不能满足用户对系统实时 性的需求。 为了解决这个问题， 可行的途径是首先采用维数缩减技术降低特征向量的 维 数， 因为虽然图 像 特征向 量的 维数非 常高， 但内 在必需的 维数并不高 1 291， 然后 使用 适当的多维索引技术组织这些特征向量。 因此在使用任何索引技术以前， 最好首先进 行维数缩减，目前常用的两种缩减方法是k 田 七 unen- 功eve 变换和按列聚类方法。 尽管经过了维数缩减， 但是图像特征向量的维度仍然比较高， 因此需要选择一种 合适的多维索引算法来为特征向 量建立索引。 多维索引技术将数据库中的一个数据项 映射到多维特征空间中的一个点， 而多维特征空间通常用一个多维数据结构来进行索 引， 这样对数据库中的相似性检索就可以转化为该数据结构中的范围检索。目前图像 数据库索引 技术主 要 包括两 个方面: s a m ( s p a t i a l a c c e s s m e th o ds ) 向 量空间的 索引 和 m 沐 m (me tri c accessm e th o d s) 度量空间的索引 【 30。 ( 1)基于向量空间的索引结构 基于向量空间的索引结构法是在空间数据库系统的研究基础上提出的， 该方法的 主要思想是利用高维矢量的坐标值对空间进行划分， 即将高维数据映射到向量空间上 的数据结构。 每一维的数据可以看成是一个坐标轴， 以坐标的值即某个特征值来定位 数据，建立树型的索引结构来管理空间数据结构。 图像的特征矢量可以 采用s a m方法建立索引，目 前常用的s a 五 嫂 方法有k-耳b 树， 依次 对每个坐标轴进行划分: 采用 最小 边界超矩形 (mb r)进行数据划分的 r 树 【311、 r+ 树 和r树 t32 ; 采 用最 小 边界 超 球体 (s b r) 划分 数据的 5 5 树 133 】等。 目 前，很多基于内容的商用图像检索系统都采用了s a m方法的索引结构。比如 ibm公司开发的 q bic 图 像检索系统其索引子系统中首先使用了 k l 变换来进行维数缩 l 5 硕士论文基于内容的图像检索相关技术研究 减， 然后 采用r* 树对高维特征 建立索引; 美国 加州 大学设计开发的 v ir a g e 图 像检 索系 统， 先后提出了 5 5 树和v a ms p l i t 树等索引结构来实现对多维特征建立索引。 (2) 基于度量空间的索引结构 m 叭 m索引方法的基本思想是利用一个或者多个参考对象，将待查询的图像与参 考图像相比较并计算相似度， 而参考图像与数据集中的其它对象的距离度量， 在图像 入库时己 经一并存入图像的数据库中了， 所以可以利用距离的三角不等性对数据集进 行删减，从而减少了计算量，提高了检索的性能。目 前，典型的m a m索引方法主要 有: 静态的结构s a 树、非树型的 f q a 结构以 及b k 树等。 与s a m方法不同的是， 侧 叭 m索引方法的建立的索引的节点结构存放的不是对象 的每一维坐标信息，即ma m索引不考虑查询的对象在高维空间上的绝对位置，而是 以对象之间的相对距离来组织和区分搜索空间的， 相比 较而言， 基于度量空间的索引 结构具有更加普遍的使用范围。 近年来，图像数据库索引技术被普遍采用，以提高检索效率，很多种索引结构 不断被提出， 但是到目前为止， 还没有哪一种索引方法已经被证明了它优于其它索引 方法， 而且图像数据库索引计算量和存储量过大仍然是一个有待研究的问题。所以， 图像数据库索引技术还面临很多问题，进一步研究的前景广阔。 3 3 图像特征的相似性度量技术 基于文本的检索方法中采用的是文本的精确匹配， 而基于内容的图像检索则是通 过计算查询图像和数据库中图像之间的相似度来完成的。 图像匹配是基于内容的图像 检索系统的一个关键步骤， 选择一种合适的图像特征的相似性度量方法直接影响到最 后的检索结果。 3 汪1基于距离函数的相似性度量方法 目 前， 基于内容的图像检索系统中图像特征大部分都是以向量的形式存储的， 因 此 常 用 的 图 像 相 似 度