（测试计量技术及仪器专业论文）基于内容图像检索中相关反馈技术研究.pdf

摘要 摘要 近年来，随着多媒体技术以及i n t e r n e t 技术的迅速发展，网络上的信息资源日益 丰富。传统的基于文本标注的图像检索已经不能满足用户的信息需求，需要全面地、 一般性地、客观地来提取图像的内容，而根据图像内容进行检索才有可能有效地获 取需要的信息。基于内容的图像检索就是这样一种利用图像的内容，如颜色、形状、 纹理等特征来检索相关图像的技术。本文主要研究基于内容图像检索中的相关反馈 技术，基于内容的图像检索( c b i r ) 及相关反馈技术是当前研究的热点之一。 本文首先分析了基于内容图像检索技术的研究现状及存在的问题，详细阐述了 基于内容的图像检索研究的各个关键技术，其中包括图像检索技术的发展阶段介绍、 检索性能评价及分析、图像视觉特征的提取与表达等等，并且分析了基于内容图像 检索中的多种相关反馈算法。为了弥补仅依赖低层视觉特征检索造成的“语义鸿沟” 问题，本文实现了基于s v m ( s u p p o r tv e c t o rm a c h i n e ) 的相关反馈检索算法，在分析了 该方法在基于内容的图像检索系统中的不足的基础上，提出一种基于传递性支持向 量机h s v m ( h a n d o ns u p p o r tv e c t o rm a c h i n e ) 的有记忆相关反馈图像检索方法。在人 机交互过程中，h s v m 分类器不仅对本次反馈过程中用户所提交的标记的正例和反 例样本进行学习，还对历次反馈过程中的正例和反例样本进行学习，并根据训练后 的分类器进行检索。应用表明该方法在样本集较小的情况下，仍可以检索出较多的 相关图像，在有限训练样本情况下具有良好的推广能力，其检索性能明显优于传统 的相关反馈方法- - m a r s ( m a c h i n er e t r i e v a ls y s t e m ) 方法和基于s v m 的相关反馈方 法。 关键词图像检索；相关反馈；特征提取；统计学习理论；支持向量机 河北科技大学硕士学位论文 寡昌昌昌= 目= 昌昌_ _ i l l _ i 一一- 昌置i _ l 重昌= 昌昌昌置墨_ 昌昌鲁昌昌置墨昌置- 皇宣昌罩皇昌_ _ 昌昌昌皇霉号昌昌昌昌皇昌昌瞄 a bs t r a c t o u rw o r l di sd o m i n a t e db yv i s u a li n f o r m a t i o nw i t ht h ed e v e l o p m e n to fm u l t i m e d i a a n di n t e r n e tt e c h n i q u e s t h et r a d i t i o n a lt e x t b a s e di m a g er e t r i e v a lf a c e ss o m ep r o b l e m s w h e nd e a l i n gw i t hl a r g es c a l ei m a g ed a t a b a s e s i ti sn e c e s s a r yt o e x t r a c tm o r e c o m p r e h e n s i v e ，m o r eg e n e r a la n dm o r eo b j e c t i v ei m a g e f e a t u r e st oc o n d u c ti m a g e r e t r i e v a l c o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) w a sp r o p o s e dt om e e ts u c har e q u i r e m e n t i ti sat e c h n i q u et h e nr e t r i e v e sr e l e v a n ti m a g eb a s e do ni m a g ec o n t e n t ，s u c ha sc o l o r , t e x t u r ea n ds h a p ef e a t u r e s t h i sp a p e rf o c u s e so nr e l e v a n c ef e e d b a c k i nc b i r c o n t e n t b a s e di m a g er e t r i e v a la n dr e l e v a n c ef e e d b a c ki st h eo n eo ft o pr e s e a r c hd o m a i n s t h ep a p e rf i r s t l yi n t r o d u c e sa n da n a l y z e st h er e c e n tr e s e a r c h e sa n dp r o b l e m so nc b 取， a n da n a l y s i st h ek e yt e c h n i q u eo fc bi ri nd e t a i l ，i n c l u d i n gt h ei m a g er e t r i e v a ls t a g eo f d e v e l o p m e n t ，p e r f o r m a n c ee v a l u a t i o no ft h er e t r i e v a la n da n a l y s i so f t h ec h a r a c t e r i s t i c so f t h ev i s u a li m a g ee x t r a c t i o na n de x p r e s s i o n ，a n ds oo n h a v eg i v i n gad e t a i la n a l y s i so f c o n t e n t b a s e di m a g er e t r i e v a lr e l e v a n c ef e e d b a c k t om a k eu pf o rt h es e m a n t i cg a p ，w e i n t r o d u c e da ni m p r o v e di m a g er e t r i e v a la p p r o a c hb a s e do nh s v m ( h a n d o ns u p p o r t v e c t o rm a c h i n e ) d u r i n gt h ei n t e r a c t i v ep r o c e d u r e ，t h er e l e v a n t a n di r r e l e v a n ti m a g e s r e s p e c tt ot h ei m a g em a r k e db yu s e r sb o t hi n c u r r e n tc i r c u l a t i o na n di nt h eh i s t o r i c a l c i r c u l a t i o na r el e a r n e df o rc o n s t r u c t i n gah s v mc l a s s i f i e r , w i t hw h i c hw ec l a s s i f yt h e i m a g e si nd a t a b a s ea g a i n e x p e r i m e n t sh a v ed e m o n s t r a t e dt h a tm o r er e l e v a n ti m a g e sc a n b ef o u n de f 矗c i e n t l yb vt h ei n t e r a c t i v em e t h o d sw i t han u m b e ro fp r o c e d u r e se v e nw h e n t h en u m b e ro ft h es a m p l e si ne a c hc i r c u l a t i o ni sl i n l e i na d d i t i o n ，i th a st h eg e n e r a l i z a t i o n a b i l i t yo fl i m i t e dt r a i n i n gs a m p l e s t or e t r i e v ei t sp e r f o r m a n c ei ss u p e r i o rt o t r a d i t i o n a l m e t h o d so fr e l e v a n c ef e e d b a c k - m a r s ( m a c h i n er e t r i e v a ls y s t e m ) a n dt h em e t h o do f s v mb a s e do nt h er e l e v a n tf e e d b a c km e t h o d k e yw o r d si m a g er e t r i e v a l ；r e l e v a n c ef e e d b a c k ；f e a t u r e se x t r a c t i o n ；s t a t i s t i c a ll e a r n i n g t h e o r y ；s v m i i ；- i j l 科技大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发 表或撰写过的作品或成果。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：化y 龛角 指导教师签名： 胁事 2 棚年厂月毋日 夕t ，帕扩年2 月莎日 ；- - i j b 科技大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权河北科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 口保密，在一年解密后适用本授权书。 本学位论文属于 刮不保密。 ( 请在以上方框内打“4 ) 学位论文作者签名：良伍肖 指导教师签名： 、￥矗s 心忽飞专 圳年，月汐日 沙芳年f 明多日 第1 章绪论 第1 章绪论 1 1 课题的研究背景与意义 随着计算机技术和网络技术的飞速发展，尤其是互联网的出现和普及，信息高 速公路的建设，网络上传输的信息也在飞速地增长。而娱乐、通讯和计算机的发展 促进了多媒体技术的快速发展。现代技术已能运用各种手段大量地采集和产生各种 类型的多媒体信息数据。 图像是最基本、最常用的多媒体形式。对图像检索的研究可以追溯到2 0 世纪7 0 年代末。1 9 7 9 年，一个关于图片应用数据库技术的会议在佛罗伦萨召开。自此以后， 图像数据库管理技术便吸引了众多的研究者。最初的图像检索技术采用基于关键词 的检索方式，这种方式依赖于文件i d ( i d e n t i f i c a t i o n ) 、一般性信息( 作者、时间、主题 等) 以及用关键词表示的与图像相关的文本信息( 如对图像的描述) 。早期的图像数据 库如k o d a kp i c t u r ee x c h a n g es y s t e m ( k p x ) 和t h et i m ea r c h i v ec o l l e c t i o n 就沿袭了 这种检索方式，采用描述性文本进行检索。由于基于文本的图像检索简单、速度：陕， 目前在i n t e r a c t 上，多数图像搜索引擎( 网站) ，如g o o g l e 、y a h o o 、a l t a v i s t a 、m f o s e e k 、 l y e o s 、s c o u r 、w e b s e e k 、搜狐等，也普遍采用此种方式。 这种方法虽然简单，但有几个根本的问题影响我们对图像信息的有效使用。第 一，由于图像内容丰富，事实上很难用文字标签完全表达。所以根据这种局限方法 进行的查询经常会出现与查询者查询意图不完全匹配的检索结果。第二，文字描述 是种特定的抽象，如果描述的标准改变，则标签也得重新制作。换句话说，特定 的标签只适合特定的查询要求。第三，目前这些文字标签基本是靠观察者选出来加 上去的，因此受主观因素影响很大。不同的观察者或同一个观察者在不同条件下对 同一幅图像可能给出不同的描述。由于不够客观而且没有统标准，这些描述常会 自相矛盾。第四，在大型图像数据库中，人工为每一幅图像标注的工作过于繁重。 在这一背景下，研究者们提出了基于内容的图像检索( c o n t e n t b a s e di m a g e r e t r i e v a l ，c b i r ) ，它是指利用图像本身的信息，借助现有的图像处理技术创造某种可 以辨别视觉特征的机制，再根据每幅图像都有的可比较特征来进行检索，它能从数 据库中直接找到具有指定特征或含有特定内容的图像。区别于传统的基于关键字的 检索手段，c b i r 融合了图像理解、模式识别等技术，具有如下特点： 1 ) 直接从图像媒体内容中提取信息线索。它突破了传统的基于表达式检索的 局限，直接对图像进行分析和抽取特征。利用这些描述图像的内容的特征 来建立索引。 2 ) 基于内容的图像检索实质上是一种近似匹配的技术。在数据库中，需使用 模式识别的方法对图像库中的图像按不同索引特征分类。在检索过程中，它采用某 】 河北科技大学硕士学位论文 种相似性度量对图像库中的图像进行匹配，以获得查询结果。 3 ) 特征提取和索引的建立。由计算机自动实现，避免了人工描述的主观性， 也大大减少了工作量。 基于内容的图像检索技术经过多年的发展与完善，已经成为数字图书馆等重大研 究项目中的关键技术。一些图像检索系统被相继推出，如i b m 开发的q b i c ( q u e r yb y i m a g ec o n t e n t ) ，m i t 多媒体实验室开发的p h o t o b o o k ，哥伦比亚大学开发的v i s u a l s e e k 等，这些系统存在一个主要问题是检索过程以计算机为中心，使得一些查询结果并 不能满足用户的要求。究其原因，主要为： 1 ) 计算机视觉对色彩特征的表示、相似度定义和人对色彩的感知存在着一定差 距。一般的相似性距离表示的只是图像特征空间中的距离，而不是真正的图像语义 之间的相似距离。 2 ) 高层语义概念同底层特征之间的差距。人们在日常生活中总是用一些高层次 的概念，而计算机视觉技术从图像中提取的特征主要是低层次特征，除了人脸识别 和指纹识别等特别领域，在大多数情况下，很难直接得到低层特征和高层特征之间 的联系。 3 ) 人类感知的主观性对于同一视觉内容，不同的人或者是同一个人在不同的情 况下可能有不同的理解，这就是人类感知的主观性。这种主观性可能存在于不同层 次上，例如某人可能对图像的颜色感兴趣；而另一人可能更多的注重图像的纹理特 征；或者两人同样都是注重纹理特征，但他们各自所理解的纹理相似性也是完全不 同的。事实上，任何一种纹理特征的表达形式都不能涵盖完整的图像信息，不同的 特征表示方法是从不同角度来体现视觉特征的n 1 。 4 ) 有一些图像检索系统采用了多特征检索，由于不同的特征采用不同的相似性 度量方法，很难找到一个比较合适的各特征综合距离以符合人对图像之间的相似度 感知。 基于内容图像检索对海量图像的查找带来了方便，但它也存在弱点，查找的准 确率不是很高，对图像语义级的检索还显得力不从心。图像检索系统的最终用户是 人，因此，从心理学角度来捕获人对图像内容的认知是相当重要的。为了把用户模 型嵌入到图像检索系统，最近几年在基于内容的图像检索领域引入了相关反馈机制。 相关反馈最先在文本检索领域中被提出，进入2 0 世纪9 0 年代后，它在图像检 索中的应用引起了人们的极大兴趣。短短的几年里，已经提出了很多种技术方法， 目前仍然是一个十分活跃的研究课题。基于内容的图像检索技术中所提取的图像特 征基本上是图像的低层视觉特征，它们与图像的实际语义是脱离的。低层视觉特征 目前尚无能力辨别出图像中所包含的物体。因此，无论采用何种特征，无论使用何 种距离度量，最终决定两幅图像是否相似还取决于实际用户。基于内容的图像检索 2 第1 章绪论 系统应尽可能地做到以用户为中心，而不是以计算机为中心。另外，由于侧重点的 不同，不同的用户对图像相似性的判断也存在不同的标准。为此需要研究如何使系 统自动适应这种特定的需求，从而实现更好的查询效果。相关反馈是提高系统查询 效果的一种强有力的方法。 相关反馈的目标就是从用户与查询系统的实际交互过程中进行学习，发现并捕 捉用户的实际查询意图，以此修正系统的查询策略，得到与用户实际需求尽可能吻 合的查询结果。由于相关反馈可以实时地修改系统的查询策略，从雨为图像检索系 统增加了自适应功能卫3 。相关反馈技术能促进图像检索技术的发展和应用，推动图像 技术的发展和丰富信息处理理论，解决信息膨胀以及能够有效快速的利用图像，因 此基于内容的图像检索反馈机制研究有着重要的研究意义和应用价值，是当前图像 检索的热点和趋势。 1 2国内外研究现状及存在的主要问题 1 2 1国内外研究现状 基于内容的图像检索经过十多年的深入研究，已经取得了长足的发展，也得到 了许多国际学术组织的重视和关注。例如，国际上召开的许多有关多媒体技术的大 会如：i c a s s p ，i c i p ，i c p r 等，都开辟了基于内容的图像检索主题和分会，而i e e e 和s p i e 都组织了专门的基于内容的多媒体信息检索会议。这些都大大推动了基于内 容的图像检索的发展。 在国外，基于内容的图像检索技术是随着数字图书馆的发展，而逐渐发展并成 为一个研究热点。1 9 9 4 年美国启动了持续4 年的“数字图书馆”项目。1 9 9 8 年，美 国自然科学基金会( n s f ) ，国防部高级研究计划署( d a r p a ) ，国家航空航天局 ( n a s a ) ，国家医学图书馆( n l m ) ，国会图书馆( l o c ) ，国家人文科学基金会( n e h ) 和联邦调查局( f b i ) 联合自主d l i 第二期计划的( d l l 2 ) 的实施，掀起了全球性的数 字图书馆研究( d l i i ) 热潮口1 。在数字图书馆中，个关键的问题是检索问题，集中在 以下两个方面：是解决目前i n t e m e t 的信息检索问题；二是多媒体信息的检索h 1 。因 为图像属于一种视觉信息，所以图像检索问题在两个方面中都存在。 虽然当前的c b i r 技术的研究还很不成熟，但是作为商业软件包的图像检索系统 已经问世，在网络上的演示版本也相应出现。具有商用价值的著名软件包系统包括 i b m 公司的q b i c 系统( f l i c k n e r e t a l ，1 9 9 5 ) 曲3 、v i r a g e 公司的v i r 图像工程系统 ( g u p t a e t a l ，1 9 9 6 ) 】、e x c a l i b u r 公司的e x c a l i b u r 视觉检索产品( f e d e r ，19 9 6 ) 盯1 。 i b m 公司的q b i c 系统可能是最著名的产品，它可以作为独立的软件产品使用， 也可以作为i b m 公司的d b 2 数字图书馆的一个组成部分。q b c 系统实现了基于颜 色、纹理或形状的组合查询，以及基于关键字的查询。查询接口方式实现了基于模 河北科技大学硕士学位论文 板图像的查找，基于调色板的查找，基于草图的查找。v i r a g e 公司的v i r 图像工程 系统也具有独立性及附属性，并且被应用于a l t a v i s t a 的网络图片查询工具a vp h o t o f i n d e r 中。e x c a l i b u r 公司的e x c a l i b u r 视觉检索产品( f e d e r ) 是在公司长期研究的模式 识别理论和数据库技术的基础上研制出来的，现已被成功地应用于m o o 上，即图 像冲浪组件，实现了基于内容的图像检索。这些产品共同特征是：都是基于图像特征 矢量的检索，数据库中的每一幅图像都由一个不超过5 0 0 个元素的特征矢量描述。 特征矢量一旦产生，就永久性地存储下来，查询时的搜索只是基于特征矢量的查询。 特征矢量之间的欧氏距离作为相似性度量的准则，按照距离的大小给出查询结果。 尽管基于内容的图像检索技术已经研究了十多年，并且有了很大的发展，但它 仍然无法满足人们的检索要求。其最大的困难就是：系统提取出的图像底层特征与用 户检索时具有的高层语义之间无法对应起来，也就是说图像的底层特征根本无法表 达用户的高层语义。2 0 世纪9 0 年代中期，相关反馈技术( r e l e v a n c ef e e d b a c k ，r f ) 被引入到了图像检索中。其主要的思想是通过人机交互，让系统能够根据用户的选 择猜测用户的兴趣，并能自动地调整相似性度量准则来提高检索的准确率。计算机 一般擅长大规模的计算，而人脑对图像的理解更加容易和准确，相关反馈将人和计 算机有机的联系起来，取长补短，这样在一定程度上能够弥补语义与图像特征之间 的鸿沟。相关反馈技术作为提高检索性能的一种有效技术，已成为图像检索系统不 可分割的一部分。近年来涌现出了许多相关反馈算法。根据系统对用户的不同反映 途径，相关反馈算法可以分为基于修改查询向量的方法、基于修改相似性度量权重 的方法、基于调整图像数据库分类的方法、基于机器学习的方法、基于记忆模型的 方法。在后续章节中，我们将对这些方法逐一展开分析。 1 2 2 存在的主要问题 目前，基于内容图像检索技术仍然主要集中在颜色、纹理、形状、轮廓等低层 视觉特征提取的基础上，但是由于图像特征描述和特征提取及相似性度量的复杂性， 其技术仍相当不成熟，理论上有许多问题有待解决。概括起来主要表现在以下几个 方面： 1 ) 颜色特征、纹理特征和形状特征都是许多c b i r 系统的主要研究对象，但颜 色之间的相似性度量的定义和视觉上人对颜色的判定仍有一定的差距；不同的图像 库难以有统一的纹理特征衡量，而且纹理特征的提取仍然没有很好的方法；如何精 确地提取图像的边界形状一直是困扰图像处理领域多年的难题，对于大批量图像数 据而言，这个问题将显得更为突出。图像的语义特征提取非常困难，如何使高层概 念和低层视觉特征之间的沟通成为可能，以缩短人机之间对相似图像理解之间的差 距，是目前主要的难点。 2 )实现图像特征的相似性度量从定性到定量的转变，是目前不能有效解决的问 4 第1 章绪论 题之一。在图像多特征的相关反馈中，由于不同特征的特征空间不一样，如何有效 统一表示特征元素，将图像间的相似性度量转化为人对图像之间相似性的理解与认 识，需要开展人类的心理学实验研究阻1 。 3 ) 由于检索对象和范围的多样性，基于内容检索的研究具有广泛的内容。目前 c b i r 还要解决多种检索手段相结合的问题，以提高检索的效率。对于单一检索手段， 由于其约束信息不足，在返回目标图像的同时往往会返回大量其他也满足此检索要 求的图像。采用多个检索手段相结合的方法无疑可提供更多的约束雨使得返回图像 中目标图像的比率得到提高，但检索手段间的融合是所要解决的问题。此外，让检 索系统在与操作者的交互中进行学习，更好地理解检索的内容，以及使检索性能更 接近人类视觉的特性，也是未来研究中所要解决的问题。 4 )目前的多数图像检索系统都针对般的图像检索，但由于图像检索应用领域 的不同，对于具体专业图像的检索更加有实用价值，因此需要将专业领域，的知识应 用到图像检索中，以提高检索的精度。 5 )如何评价和衡量一个检索系统的优劣还没有一个统一的标准，目前基于内容 检索结果的评价方法采用的是信息检索中的查全率和查准率方法，远不令人感到满 意，主要原因在于人们对图像内容认知上的主观性使得很难定义一个客观的准则。 检索效率将是今后研究中需要解决的问题。 6 ) 图像特征多种多样，不同特征采用的相似性度量也不同，而且不同的用户对 图像数据库检索有不同的要求，如何设计一个友好的，具有更好亲和力的人机交互 界面也是c b i r 面临的一个难题。这涉及到用户对图像内容的感知表达、交互方式的 设计、用户如何形成并提交查询等方面。现代多媒体信息系统的一个重要特征就是 信息获取过程的可交互性，人在系统中是主动的。除了提供示例和描绘查询基本接 口之外，用户的查询接口应提供丰富的交互能力，使用户在主动的交互过程中表达 对图像语义的感知，调整查询参数及其组合，最终获得满意的查询结果。用户的查 询接口应该是直观易用的，低层的特征选择对用户是透明的。这里涉及到如何把用 户的查询表达转换为可以执行检索的特征矢量，如何从交互过程中获取用户的内容 感知，以便选择合适的检索特征等问题。 1 3 本文主要研究内容及意义 本文主要阐述基于内容的图像检索的关键技术，分析了多种基于内容的相关反 馈算法，重点分析了基于s v m 的相关反馈检索算法，针对该算法在基于内容的图像 检索中不足提出一种基于传递性支持向量机h s v m ( h a n d o ns u p p o r tv e c t o rm a c h i n e ) 的有记忆相关反馈图像检索方法。应用表明该方法在样本集较小的情况下，仍可以 检索出较多的相关图像，在有限训练样本情况下具有良好的推广能力，其检索性能 明显优于传统的相关反馈方法基于s v m 的相关反馈方法，对提高图像检索的检索 5 河北科技大学硕士学位论文 效率有一定的实际意义。 1 4 论文的组织结构 论文内容结构安排如下： 第1 章绪论 提出了课题研究的背景与意义，对基于内容的图像检索中相关反馈技术的国内 外研究现状进行概要介绍，分析了c b i r 系统存在的问题，并阐述了本文主要的研究 内容及意义，最后给出了本文各章的组织结构。 第2 章基于内容的图像检索综述 阐述了图像检索技术的各个发展阶段，简单介绍了基于内容的图像检索系统的 特点及基于内容的图像检索的一般结构，针对基于内容的图像检索的关键技术作了 概述，并对检索性能作了评价与分析。 第3 章图像视觉特征的提取与表达 图像视觉特征的提取与表达是基于内容图像检索的关键技术之一。本章对基于 内容的图像检索中图像的颜色、纹理、形状等视觉特征的提取方法进行了较深入的 分析和研究，并简要阐述了多种视觉特征的结合及相似性度量。 第4 章基于内容图像检索中的相关反馈技术 在简要介绍相关反馈技术的研究背景及基本思想的基础上，重点给出多种基于 内容图像检索相关反馈算法，并对不同的算法作出分析对比。 第5 章基于s v m 的相关反馈技术研究 概述了支持向量机( s v m ) 的相关理论，重点阐述了基于s v m 的相关反馈算法， 并分析了其存在的不足，针对其不足点给出了改进了的s v m 算法一基于h s v m 的 相关反馈算法。 结论 综述了本论文的主要研究工作，并对基于相关反馈的图像检索算法的发展前景 作了概述。 6 第2 章基于内容的图像检索综述 第2 章基于内容的图像检索综述 2 1 图像检索技术的发展阶段 图像检索就是根据对图像内容的描述，在目标图像集中找到具有指定特征或包 含指定内容的图像嘲。它提供了一种能够在大容量图像数据库中查找所需图像的能 力。从2 0 世纪7 0 年代起开始对图像检索领域研究到现在，图像检索技术经历了四 个阶段：基于文本、基于内容、相关反馈和基于压缩域的图像检索。 2 1 。1 基于文本标注的图像检索阶段 2 0 世纪7 0 年代，有关图像检索的研究主要是借用文本索引技术，即基于文本的 图像检索技术( t e x t b a s e di m a g er e t r i e v a l ，简称t b i r ) n0 l ，查询操作是基于图像的文 本描述，其方法是对图像文件建立关键词或文本标注以及一些附加描述信息，然后 将图像的存储路径和图像关键词之间建立联系，即利用关键字对图像进行检索。基 于文本的图像检索技术发展已经比较成熟，如p a g e r a n k 方法、概率方法、位置方 法、摘要方法、分类或聚类方法、词性标注法等。基于文本的图像检索不仅技术发 展较为成熟，同时分析和实现的难度也略小。但存在人工标注工作量过大，主观性 太强的缺陷，导致不同的人对图像注解的主观性和不精确性而使检索匹配失败。 2 1 2 基于内容的图像检索阶段 图像的内容可以分为三个层次：原始数据层，低层物理特征和高层语义特征。 原始数据层，即图像的原始像素点，是未经任何处理和解释的图像表示，是进行图 像分析、处理、解释的基础；低层特征对应图像的物理特征，如颜色、形状、纹理 等：高层语义特征是人们对图像内容概念级的反映，一般是对图像内容的文字性描 述，如主题、人物、场景、空间对应位置等。为了检索图像，首先要抽取图像的内 容信息，对图像的内容进行结构化表示，即建立图像索引，建立图像索引要用到图 像处理、计算机视觉、人工智能、数据库等技术。由于图像内容的复杂性和人类的 认知主观性，建立高效、通用的图像索引是一项很困难的工作。目前，视觉内容的 提取一般可以通过图像处理自动获取，语义信息则往往要通过人机交互的方式才能 实现。 基于内容的图像检索技术是通过分析图像的内容，如颜色、纹理等，建立特征 索引，并存储在特征库中。用户在检索查询时，只需提交自己感兴趣的例子图像， 就可在大容量图像库中找到类似图像。查找结果的精确度和响应时间一方面受硬件 速度的影响，另一方面则取决于采用的图像检索算法。 7 河北科技大学硕士学位论文 2 1 3 基于相关反馈技术的检索阶段 基于图像特征提取的研究方法极大的推动了c b i r 技术的研究，但是随着图像库 规模的扩大和研究的深入，这种模式的检索方法很难给出令人满意的结果，主要原 因是无法用低层特征更好地描述图像的概念和语义( 如图像描述的主题类型、对象、 表达的情绪等) 。为了有效解决这一突出矛盾，一方面需要在图像处理领域研究更有 效的特征表示，另一方面就是试图捕捉和建立低层特征和高层语义概念之间的关联。 基于相关反馈图像检索方法的基本思路是在检索过程中，系统根据用户提交的 查询给出第一轮检索结果，用户可以对检索结果进行评价和标记，并将这些相关与 否的信息反馈给系统，系统通过对这些反馈的相关信息进行学习，进行下一轮检索， 直到检索结果能满足用户的要求为止h 1 j 。 2 1 4 基于图像压缩域特征的检索阶段 随着多媒体技术及网络信息的不断发展，图像普遍以压缩格式存在，所谓图像 压缩是指消除图像冗余或对图像近似的任一种过程，其目的是对图像以更紧凑的形 式表示，如j p e g 等压缩格式。使用现有的技术对压缩图像进行检索必须要先将压缩 格式图像解压缩，即使用和压缩编码相同的标准将压缩图像内容还原为最初的图像 内容，然后对已解压缩后的图像进行检索，这将严重影响系统的检索效率。因此人 们又进一步提出基于压缩域的图像内容检索技术，可在不解压或者不完全解压的情 况下提取目前图像的内容特征，从而避免了解码的过程，极大地提高了检索效率。 2 2 图像检索技术的主要应用领域 1 ) 数字图书馆随着计算机技术和网络技术的飞速发展，数字化图书馆也应运 而生，数字化图书馆中存有大量的信息资源，包含文字、图像、声音、视频等多媒 体信息。因此在数字图书馆中，如何快速有效的查找所需的信息，是基于内容的图 像检索系统的重要研究方向，数字图书馆也成为基于内容的图像检索系统的重要应 用市场。n e t r a 就是加里福利亚大学a d l ( a l e x a n d r i ad i g i t a ll i b r a r y 亚里山大数字 图书馆) 项目中，为图像检索开发的一个c b i r 原型系统n 羽。 2 )医疗和诊断现在很多医院利用图像帮助医生治病，同样保存病人的一些图 片资料对病人的治疗和以后的健康状况的掌握也很有用，如c r e t e 大学的二维放射图 像检索系统和c a r n g i c m e h o n 大学的三维神经图像检索系统等，就在这方面进行了尝 试。 3 ) 地理的信息和遥感系统通过地图规划商场和工厂的位置。军事上对卫星图 像的分析。农业学家和地理学家研究都离不开图像，把图像及其分析结果保存起来 对以后的研究有很大帮助，通过图像检索系统，可以方便的查找到所需的地理图像 信息。 r 第2 章基于内容的图像检索综述 4 )军事图像技术在军事上的应用非常广泛，如从雷达显示屏上识别敌机，从 卫星图上鉴别目标以及导弹引导系统等等。另外许多用于犯罪预防的图像技术也可 以用于军事领域。因此在对这些图像的管理和检索上，c b i r 也将发挥重要的作用。 5 ) 网络搜索 基于文本的搜索引擎随着互联网的发展得到了很大发展，但是随 着计算机技术的不断提高，互联网的不断发展，人们接受的图像也日益增多，早期 的检索仅仅基于文本，如目前著名的商用搜索引擎y a h o o 、g o o g l e 、i n o f s e e k 、a l t a v i s t a 和l y c o s 等，都是基于文本的关键词查询。但是图像等多媒体资料内部有着重要的 内容，它们是i n t e m e t 的重要资源，用关键词查询是不适合的。因而提供合适的基于 图像内容的检索工具是项重要而又迫切的课题。基于内容的图像检索系统正是为 了满足这种需要而研制的一种有效的检索工具。许多c b i r 技术已经应用到图像搜索 中，w e b s e e k 系统和i m a g e r o v e r 系统，商业化的图像搜索引擎有i m a g es u f e r 和 p h o t o f i n d e r 等等。 研究表明，当前研究开发的c b i r 系统还不成熟，并且许多技术正处于实验阶段， 主要表现在系统模型优化、通用性设计及和用图像特征相关性迸行检索等方面。譬 如，q b i c 系统只能做到在大规模数据库中的“粗查”或部分检索，更细致的检索和 查询还需要借助基于领域知识的方法或人工进行精确的定位。但是随着计算机技术 的发展和i n t e r n e t 的普及，c b i r 技术将在今后的几年得到飞速的发展。目前尽管己 经有了几个商业应用系统，但是相对传统的信息检索系统而言，图像检索的效果还 不是很理想，许多研究还停留在实验阶段。基于内容的图像检索作为图像处理，数 据库技术和信息检索技术的交叉学科，是个很有发展前途的研究方向n 副。 2 3 基于内容的图像检索技术的特点 基于内容的图像检索技术主要根据用户提出的查询要求，从数据库中找到具有 指定特征或含有特征内容的图像，完全区别于传统的基于关键词的检索手段，具有 以下特征： 1 ) 直接从图像内容中提取线索c b i r 的检索方式突破了传统的基于表达式检 索的局限，直接对图像内容进行分析，抽取特征和语义，利用这些内容特征建立索 引进行检索，其中特征提取和索引的建立由计算机自动实现，避免了人工描述的主 观性太强，工作量太大等诸多缺陷。 2 ) 基于内容的检索是一种近似匹配由于对内容的表示不是种精确描述，因 此，c b l r 系统采用逐步求精的相似性匹配方法来获得查询结果，即不断减少检索结 果的范围，直到达到检索要求为止，是一个不断求精的迭代过程。 3 )大型数据库的快速检索实际的图像数据库不仅数据量巨大，而且种类繁 多，因此要求c b i r 技术也同常规的信息检索技术一样，能快速实现对大型数据库的 检索。 9 河北科技大学硕士学位论文 4 ) 具有较强的交互性整个过程是一个逐步逼近和相关反馈的过程。基于内容 的图像检索系统应用具有很强的交互能力，用户参与整个检索的过程，它是图像数 据库的一个重要的方面。交互性增加了用户表达查询、评价查询结果和基于这些评 价上进一步检索的能力，是一个闭反馈结构。 5 ) 成功的c b i r 大多基于领域知识目前的c b i r 系统都是针对某一应用领域 要求进行开发的，比如病理图的理解、人脸识别及指纹识别等，这些系统中领域专 家的知识有着举足轻重的地位。 2 4 基于内容图像检索的一般结构 基于内容的图像检索一直是多媒体数据库的一个重要研究方向。近些年来，这 个研究领域中的许多技术发展起来，一大批研究性的或商用的图像检索系统被建立 起来。这个领域的发展主要归功于计算机视觉技术的进步。基于内容的图像检索， 根据其处理的对象可将其分为静止图像检索和活动视频检索，根据图像库的内容可 分为通用检索系统和专用检索系统。专用检索系统往往根据系统的要求采用专门的 检索技术，而通用检索系统所采用的技术则较为普遍。目前，对于通用的静止图像 检索，用于检索的特征主要是颜色( c o l o r ) 、纹理( t e x t u r e ) 、形状( s h a p e ) 、语义 ( s e m a n t i c ) 等，其中颜色、纹理、形状应用尤为普遍；活动视频检索来自于序列图像 分析中的技术。 基于内容的图像检索是指根据图像内容特征以及特征组合，从图像库中直接找 到含有特定内容的图像的技术。根据现有的一些图像检索系统提供的功能来看，图 像的内容特征包括图像的外观特征( 颜色特征、纹理特征、形状特征、空间位置关 系特征等) 和语义特征。其中，图像的颜色、纹理、形状等外观特征被认为是较低 层次上的特征，具有相对直观的特点；而高层次语义特征通常用一些概念来表示， 具有相对主观抽象的特点。事实上，图像的内容特征是对图像内容的压缩和抽象， 与人类的观察十分相似，因而基于内容的图像检索结果能够满足用户的一定需要。 应该认识到，基于内容的图像检索系统具有与传统基于文本的检索系统完全不 同的架构。首先，由于图像依赖其视觉特征而非文本描述进行索引，查询将根据图 像视觉特征的相似度进行。用户通过指定一幅图像( 称为示例图像) 等方式来构造 查询，然后由系统查找与示例图像在视觉内容上相似的图像，按相似度大小，返回 若干幅图像给用户。 2 。5 数据库索引 索引机制是数据库和多媒体领域的重要研究课题。除了多媒体检索之外，数据挖 掘( d a t am i n i n g ) 、决策支持( d e c i s i o ns u p p o r t ) 等需要在大数据集里进行相似度检索的 应用都需要有效的索引结构来加速查询过程。索引机制会对所能支持的相似度度量 10 第2 章基于内容的图像检索综述 有所限制。目前的方法主要支持一些比较简单的距离度量，例如欧氏距离、l p 范 数距离、二次型距离等) ，而对于一些使用复杂相似度度量的检索模型，还很难与索 引机制有效的结合。 这些索引方法在特征维度n 00 ；0 ， ( 3 2 4 ) 4 ) 三角不等式 d ( c 乙，0 ，) + d p y ，0 ：) d ( o ；，0 ：) 0 ，0 ，0 ： ( 3 2 5 ) 给定一些基本距离度量函数后，还可以将它们组合起来构成复合测试以增强应 用的灵活性。设c 为加权系数，d 。为距离函数，则满足下式： 1 ) 加法 d 4 = d l + d 2 ( 3 2 6 ) 2 ) 加权 d 缈= c d 】 ( 3 2 7 ) 3 ) 最大值 2 1 河北科技大学硕士学位论文 d 。= m a x ( d 1 ，d 1 ，- d 。) ( 3 2 8 ) 4 ) 最小值 d r a m = m i n ( d 1 ，d ”，d 。) ( 3 2 9 ) 3 5 2 相似性度量算法 距离相似性度量方法就是利用相关距离计算函数，计算被检对象和目标对象的 特征序列之间的结果，用该计算值来判别对象之间的相似性程度。一般情况下图像 都是多维特征矢量表示的，通过计算特征矢量在特征空间的距离可以得到两个图像 的相似度引。一个好的距离度量函数应该满足以下几个特点：第一，与图像的视觉感 知相似度成正比，也即距离度量函数d ( x ，y ) 的值越小，表示图像从人类的视觉感知 上来看，越接近。反之，越不相似；第二，对于图像的特征向量的距离度量函数d ( x ，y ) 应该尽量计算简单，从而有效的节省时间。 以下分别对目前在基于内容图像检索系统中常用到的几种距离度量算法进行分 析。 1 ) m i n k o w s k y 距离 设x ，y 为图像特征向量，分量分别为x iy ，( 1 i n ) 。 厂。 d ( 训) = l i x ，- y ，i ( 3 - 3 0 ) li = 1j 这是若干距离公式的通式表示，以下的m a n h a n t t a n 距离和欧几里德距离都是它 的特例。 2 ) m a n h a t t a n 距离 d ( x ，y ) = i 石，一y f i ( 3 - 3 1 ) i = 1 这是m i n k o w s k y 距离当，= l 时的特例。 3 ) 欧几里德距离 d ( x ，y ) = ( 3 3 2 ) 这是最简单的距离公式，也是在c b i r 中应用较广的距离公式。它可以单独用于 颜色直方图、纹理、形状特性的相似性度量。当考虑了不同维之间的不同重要性时， 欧几里德距离可以改进为加权欧几里德距离，见式( 3 3 3 ) ： d ( 石，少) = ( 3 - 3 3 ) 其中w 是各分量的加权系数。由于c b i r 系统通常提取了大量的特征，不同的 特征的重要性不同，因此加权欧几里德距离在c b i r 系统中应用也很广泛。 4 ) 直方图相交 直方图相交( h i s t o g r a mi n t e r s e c t i o n ) 是指两幅图像的直方图在 每个b i n