（模式识别与智能系统专业论文）基于内容的图像检索关键技术研究.pdf

摘要 基于内容的图像检索的研究是在九十年代以后发展起来的。主要应用于医疗图片、气象 数据、地理信息以及互联网媒体检索等领域。对图像检索的研究涉及诸多学科，如数据库管 理、计算机视觉、图像处理、模式识别、信息检索等等。 图像检索是一个完整的系统。它的关键技术主要包括选择合适的图像特征，建立良好的 目标描述模型以及使用高效的高维索引方法。这三个关键技术也恰好从前到后构成了图像检 索的框架。对这些关键技术的研究是很困难的，需要克服很多技术难点。 本文所做的工作主要就是围绕其中的图像特征和高维索引展开的。 图像特征的重要性在于它是图像检索的基础，一个好的图像检索系统必须能够提取出最 能描述图像内容的特征来，否则后面的相似性检索就无从谈起。在诸多特征中，色彩特征是 最为常用的种。它不仅有良好的视觉特性，在复杂背景下有较强的鲁棒性，而且对图像尺 寸和拍摄视角等具有相对的独立性。所以也是被使用最广的。目前对于色彩特征的研究，已 经从早期的直方图发展到了结合色彩和位置两方面的所谓色彩位置特征。本文正是从这方面 着手开始进行研究。由于在距离基础上的色彩相关特征能很好描述图像内容，而且计算简便， 所以本文第三章就以此为基础，给出了相应的快速分解算法，使其计算复杂度和图像大小成 线性关系，并提出了一种新的性能评估准则。另外，通过几种距离度量的定义，实验分析了 距离度量对色彩特征检索的影响。 ；高维数据空间的索引是最近发展的一个研究领域。一般来讲，图像检索中提取出来的特 征具有数据量大和维数高的特点，而传统的一维索引方法这时显然已不再适合，所以研究具 有高维索引能力的索引方法变得日益迫切。可以说，没有高效的索引方法就不会有高性能的 检索系统。对于高维索引的诸多问题，本文第四毒做了较为系统的阐述。文中不仅归纳了索 引结构，查询方法以及索引算法，而且还对几种典型的索引方法从结构、插入算法、分裂算 法、适用情况和实际性能做了深入的分析和比较，指出目录树结构虽是索引方法的主流，但 目前为止还没有一种方法取得了公认的优势。另外，考虑到数据索引中的数据分布、数据类 型、维数大小以及查询方式和距离度量等多种因素，对于索引方法的评价也是很重要的一个 问题。目前也没有建立确定的索引结构和查询处理标准，没有关于索引的计算复杂度、c p u 时间、i ，o 访问次数以及总耗时等陛能参数的公认评价。 目前的索引方法中，般在2 0 维左右，索引的性能就会急剧变差。这很不能满足图像 等高维数据的检索需求。为了克服这一缺陷，本文在第五章中，提出了种新的索引方法。 它基于一种对数据空间的划分，把高维的空间数据映射成一维的数值，然后通过传统的一维 索引方法b b - t r e e 等实现索引。该方法的最主要优点是不存在其它索引方法的在高维时的 瓶颈效应，在数据维数增加时，性能并不会明显变差。 对于图像的特征描述，作为进步的研究，本文第六章中提出了一种联合特征模型。该 模型综合了几种特征描述，目的是克服各种单特征描述时的片面性。另外，该模型很容易 实现加权处理，满足了用户对具体特征的需求程度不同时的检索。当然，它在一方面也相应 增加了特征的维数，但由于第五章的提出的索引方法并不存在“高维灾难”，这就为其实际 应用提供了保证。另外，为了进一步提高检索速度，第六章中还对高维数据的并行处理进行 了研究，提出了一种在空间划分基础上对数据分配磁盘的反聚类方法，该方法由于充分考虑 了数据的空间位置信息，所以能够更好地“打散”数据，将其稀疏地分配在各个磁盘上，极 大提高了检索的速度。 图像检索的研究总的来看还处在发展的初期，对于未来的发展本文在第七章进行了展 望。 t 关键词；图像检索，色彩特征，高维索引，联合砖征，并行处理 a b s t r a c t t h e s t u d yo n t h ec o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) h a sb e c o m e o n eo f t h em o s t p o p u l a r a r e a ss i n c et h ee a r l y9 0 s i tc a p , b ew i d e l yu s e di nm e d i c a lp i c t u r e s ：c l i m o g r a p h ：g i s ，i n t e r a c t m e d i aa n ds oo ni m a g er e t r i e v a li st h es y n t h e s i so fv a r i e ds u b j e c t sc o n c r e t e l y ：i tt o u c h e su p o n d a t a b a s e m a n a g e m e n t ，c o m p u t e rv i s i o n ，i m a g e p r o c e s s i n g ，p a t t e r nr e c o g n i t i o n ，i n f o r m a t i o n r e t r i e v a la n ds of o r t h i m a g er e t r i e v a l i sac o m p l e t es y s t e mi t sk e yt e c h n i q u e sc h i e f l yi n c l u d et h es e l e c t i o na n d e x t r a c t i o no fs u i t a b l ei m a g ef e a t u r e s ，c o n s t r u c t i n gan i c ed e s c r i p t i o no fo b j e c tm o d e l a n da d o p t i n g e f f e c t i v eh i g h d i m e n s i o n a li n d e x i n gm o d u l et h et h r e ek e y sc o n s t i t u t ea c c o r d i n gt os e q u e n c et h e f l a m eo fc b i rf o rt h e6 l r t l l e rs t u d yt oc b i r w eh a v et oo v e r c o m et h ek e y sr e f e r r e dt o t h ew o r ki nt h ed i s s e r t a t i o nm a i n l yc o n c e n t r a t e so nt h ee x t r a c t i o no fi m a g ef e a t u r e sa n dt h e i n d e x i n go f h i g hd i m e n s i o n a ls p a t i a ld a t a t h e s i g n i f i c a n c eo fi m a g e f e a t u r e sc o n s i s tt h a tt h e ya r et h em o u n d w o r ko fi m a g e r e t r i e v a la n i c ei m a g er e t r i e v a ls y s t e mm u s th a v et h ea b i l i t yt oe x a c tf e a t u r e s ，w h i c hc a nd e s c r i b e t h ec o n t e n t o fi m a g ea su n b i a s e da sp o s s i b l et h i si sa l s oap r e c o n d i t i o no f l a t t e rs i m i l a r i t yr e t r i e v a l a m o n g s e v e r a lo fi m a g ef e a t u r e s ，c o l o ri so n eo ft h em o s tc o m m o n l yu s e df e a t u r e sb e c a u s eo fi t sr e l a t i v e r o b u s t n e s st ob a c k g r o u n dc o m p l i c a t i o na n di n d e p e n d e n c eo fi m a g es i z ea n do r i e n t a t i o n r e c e n t a p p r o a c h e sa b o u tc o l o rh a v eg i v e np r o m i n e n c et ot h es o c a l l e dc o l o r - l o c a t i o nc o m b i n e d f e a t u r e s i n s t e a do fi n i t i a lc o l o rh i s t o g r a m sc o l o rc o r r e l o g r a mf e a t u r eo ns p a t i a ld i s t a n c ei s ak i n do f g o o d d e s c r i p t i o n t o i m a g ec o n t e n tw i t h t h e a d v a n t a g e o f e a s yc o m p u t e i nc h a p t e r3 ，an o v e l c o m p u t a t i o n ，w h i c hr e d u c e st h ec o m p l e x i t yt ol i n e a r i t yo v e ri m a g es i z e ，i sp r o p o s e da n dan e w p e r f o r m a n c em e a s u r e si sp r e s e n t e dt o of u r t h e r m o r e ：a f t e r t h ed e f i n i t i o n so fs e v e r a ld i s t a n c e m e a s u r e s ，i m p a c to f d i f f e r e n td i s t a n c em e a s u r e su p o n c o l o rf e a t u r e si sa n a l y z e d b ye x p e r i m e n t t h ei n d e x i n go fh i g l l - d i m e n s i o n a ld a t as p a c e si san o v e ls u b j e c t c o m m o n l y , t h ef e a t u r e s e x t r a c t e df r o mi m a g ec o n t e n th a v et h ep r o p e r t i e so fm a s s i v ed a t aa n dh i g l ld i m e n s i o n o b v i o u s l y ： t h et r a d i t i o n a li n d e x i n gm e t h o d sd e s i g n e df o ro n ed i m e n s i o na r eo b s o l e t es os t u d yo n e f f i c i e n t l y a n de f f e c t i v e l yh i g h d i m e n s i o n a li n d e xs t r u c t u r e sb e c o m ea l la r g e n tt a s k u h e r i o r l ys p e a k i n g t h e r ei su oe f f e c t i v ei n d e x i n g ，t h e r ei sn oh i g h p o w e r e dr e t r i e v a ls y s t e mi nc h a p t e r4 ，s e v e r a l a s p e c t sa r ce x p a t i a t e di n c l u d i n gi n d e x i n gs t r u c t u r e s ，q u e r y t y p e sa n di n d e x i n ga l g o r i t h m s a tt h e e n do f t h i sc h a p t e rad e e p l yc o m p a r a t i v ea n a l y s i st ot y p i c a li n d e x i n gs t r u c t u r e si sb r o u g h tf o r w a r d d e f i n i t e l y , t h e r ei s s t i l ln oa n yi n d e x j n gm e t h o do v e r w h e l m i n ga l lt h eo t h e r sc o n s i d e r i n go fd a t a d i s t r i b u t i o n s ，d a t at y p e s ，d i m e n s i o n sa n dd i s t a n c em e a s u r e sb yn o wt h o u g ht h ee x i s t i n go n e sh a v e t h e i ro v 0 1 1c h a r a c t e r i s t i c s t h ef a c t t h a tt h ei n d e x i n gp e r f o r m a n c eo r e nd e t e r i o r a t e sw h e na p p r o a c h i n gd i m e n s i o n h i g h e rt h a n2 0m a k e sag r e a tg u l ff i x e dt ot h ea p p l i c a t i o no fi m a g er e t r i e v a l f o rt h es a k eo f o v e r c o m i n gt h i sd r a w b a c k ，i nc h a p t e r5 an o v e l i n d e x i n g s t r u c t u r ei s p r o p o s e d b a s e do n e s p e c i a l l ys p a t i a lp a r t i t i o nt o d a t as p a c et h es t r u c t u r em a p st h eh i g l ld i m e n s i o n a ld a t at oo n e d i m e n s i o n a lv a l u e s ，a n dt h e nr e t r i e v a lt h ev a l u e sb yr e c u r r i n gt oc l a s s i c a lb w - t r e ei n d e x i n g s t r u c t u r et h em o s ti m p o r t a n ta d v a n t a g eo ft h es t r u c t u r ei st h a tt h eq u e f yp r o c e s s i n gi nt h e a b o v e m e n t i o n e dc a s ei sn o ts u b j e c tt ot h es o c a l l e d c a r s eo f d i m e n s i o n a t i t y t h ep e r f o r m a n c eo f q u e r yp r o c e s s i n gd o e sn o t d e t e r i o r a t ew h e n a p p r o a c h i n gh i g h e r d i m e n s i o n s f u r t h e rs t u d yo ni m a g ed e s c r i p t i o ni s d e p l o y e di nc h a p t e r6 f o rr e l a t i v e l yc o m p r e h e n s i v e d e s c r i p t i o nt oi m a g e c o n t e n tan e wu n i o nf e a t u r em o d e li sp r e s e n t e d i te s c a p e st oac e r t a i ne x t e n t t h ed r a w b a c ko fs i n g l ef e a t u r e d e s c r i p t i o nb e s i d e s ：i t sf a c i l i w t os e tw e i g h t so nt h ef e a t u r e e l e m e n t sm e e tw e l l 、斩t hu s e r sr e t r i e v a le m p h a s i st h o u g ht h eu n i o ni n c r e a s e st h ed i m e n s i o n so f t h ef e a t u r e ，t h ei n d e x i n gs t r u c t u r ep r e s e n t e di nc h a p t e r5g u a r a n t e e si t sf e a s i b i l i t y a d d i t i o n a l l y , f o rs p e e d i n gu p t h ei n d e x i n gan o v e ld e c l u s t e r i n ga l g o r i t h mb a s e d0 1 1ap a r t i t i o n t od a t as p a c ei sp r o p o s e di nc h a p t e r6t o o t h i sa l g o r i t h md e c l u s t e r st h ed a t ao n t ot h ed i s k sm o r e e f f e c t i v et h a ne v e rb e c a u s eo fi t si n h e r e n tl o c a t i o ni n f o r m a t i o n l a t e re x p e r i m e n t sp r o v ei t sb e t t e r p e r f o r m a n c e i nc o n c l u s i o n , i m a g er e t r i e v a li ss t i l li ni t si n i t i a ls t a g e hc h a p t e r7 s o m ef u t u r et e c h n i q u e s a r ep r o p o s e d k e yw a r d s ：i m a g er e t r i e v a l ，c o l o rf e a t u r e ，h i g l - d i m e n s i o n a li n d e x i n g ，p a r a l l e lp r o c e s s i n g 上海交通大学博士学位论文 第1 页 1 1 引言 第一章前言 随着通信和汁算机的发展，存储技术的提高和i n t e r n e t 的日渐普及，我们拥有了以往任 何时代都无法比拟的信息资源。这其中，不仅有简单的文本数据，更包括了大量的数字图像 和视频信扈、。很明显，只有合理地组织这些资源，并且研究高效的查询和检索方法，才有可 能充分使用这些资源。 早在1 9 5 1 年，信息检索( i n f o r m a t i o nr e t r i e v a l ) 这一术语就被c a l v i nm o o r e s 描述为使用 户的信息需求能够变为最终的有用信息的过程。当然，他当时指的是文本格式的文件检索。 但他的描述却揭示了信息检索系统的实质：帮助用户具体定位相关信息。 在1 9 7 0 年以后，随着数据库管理和计算机视觉两个领域的飞速发展，图像检索( i m a g e r e t r i e v a l ) 技术的研究成为热点。由于图像检索在这两个领域的不同应用，它们各自采用的研 究方法也有所侧重。数据库管理领域的研究采用基于文本( t e x t b a s e d ) 的图像检索方法，而计 算机视觉领域则偏重于基于视觉( v i s u a l b a s e d ) ) ) 图像检索。 基于文本的图像检索方法的流行做法是先用文本注释图像，然后用基于文本的数据库管 理系统( t e x t b a s e dd 1 3 m s ) 来完成图像的检索。虽然这方面的工作已经是卓有成效，但是，当 图像库很大时，这种方法却面临两个根本困难。一是需要进行大量的手工操作来注释图像， 二是由于图像内容的多样化和人对图像感知的主观性会使这种注释的方法产生难以预测的 偏差，而且这种偏差是无法恢复的，这就极大地影响丁图像检索的正确性。 为了克服上述困难，九十年代早期基于内容的图像检索f c o n t e n t b a s e di m a g er e t r i e v a l ) 技术应运而生。它避免了基于文本的关键词注释方法，取而代之以图像本身的视觉信息，如 色彩、纹理等进行索引。 最近一m p e g 专家组开始制定的m p e g 一7 标准，即“多媒体内容描述接口”，它规范化 了一组描述子，用于描述各种多媒体信息。旨在解决多媒体相关的各种处理，包括描述，检 索t 过滤等等。一旦这个标准制定完成，势必会极大促进多媒体信息检索技术的发展。 第2 页第一章前言 另外，国内外很多研究机构和商业组织部在这方面做了深入的研究，提出了g - 自的漠型 框架，有的系统已投入使用。国内复旦大学计算机系、中科院模式识别与智能控制研究所、 清华大学和浙江大学等也已建成了自己的实验系统。 1 2 本文的组织及工作成果 本文以基于内容的图像检索技术为研究方向，主要在图像特征、相似性度量以及商维索 引技术几个方面进行了比较深入的研究。全文的安排如下： 第二章主要介绍了基于内容的图象检索技术的研究现状，给出了图像检索的框架结构， 最后把图象检索的关键技术归纳为提取合适的圉像特征、建立良好的目标描述模型祁使用高 效的高维索引方法。 第三章研究了基于色彩特征的图象检索。在色彩相关特征的基础上，提出了相应的快速 分解算法，使得特征的计算复杂度和图像大小成线性关系。为了对性能进行评估，提出了 种新的性能评定方法。另外，对图像相似性度量中的不同距离函数进行了研究，实验比较得 出，d 。距离函数是一种适于检索的较好的特征相似性度量方法。 第四章讨论了高维数据空间索引的基本结构、建树算法、以及典型的查询方式，并对几 种有代表性的索引方法从结构、插入算法、分裂算法以及适用情况和实际性能等角度进行了 比较深入地分析和比较，指出了整个索引方法领域仍处在实验性阶段，并没有哪种索引方法 具有突出的优势，而且这些方法在高维索引中普遍存在性能缺陷。 第五章提出一种新的高维索引方法。该方法通过对数据空间的特殊划分，把高维的数据 映射成一维的数值，然后通过传统的b t r e e 实现检索。它最大特点就是适于离维甚至超离 维的空间数据检索。 第六章提出一种图像联合特征模型，并用它作为图像的全面描述，以前章的高维索引 方法实现了索引。同时，为了解决数据量大所产生的检索馒的问题，本章中还提出了种新 的高维数据检索的并行算法。它通过划分数据空间，把相近位置的空间点“打散”，使其稀 疏地分布在不同的计算机中处理，通过并行化提高了检索速度。 第七章总结了全文并对未来的检索技术进行了展望。 上海交通大学博士学位论文 第3 页 纵观全文，本文主要创新性研究成果包括： 1 在色彩相关特征的基础上，提出了一种快速分解算法，在水平和垂直两个方向上分 别计算，把计算的复杂度降低到与图像大小成线性关系。 2 提出一种检索性能评价准则，与传统的查到率和查准率相比，考虑了图像相似性的 排位关系，因此在一定程度上弥补了查准率和查全率的不足。并应用此评价准则进行了检索 评价。 3 研究了不同距离度量情况下的特征检索，比较了l l ，硝l ，2 ，j e f f r e y - d i v e r g e n c e 等几 种距离函数对特征检索的性能影响，并通过实验指出了- ，a 1 为其中较好的距离度量。 4 归纳总结了高维数据索引的基本结构、索引算法、查询方式，并对几种典型的索引 方法从结构、插入算法、分裂算法、适用情况和实际性能等方面做了深入的分析和比较，指 出没有种结构对于其它结构有明显的优势，而且它们普遍对于离维索引有明显的缺陷。 5 提出了一种新的适合于高维索引的方法。它基于对空间的特殊划分，将高维的空间 数据对应映射为一维的数值，并利用现有的b 1 3 - t r e e 实现检索。该方法的最大特点就是适 于高维甚至超高维的空间数据检索。实验验证了它在高维数据检索中的优势。 6 提出种图像联合特征模型。较之于单一特征，图像的联合特征能更为全面地描述 图像内容。对其索引的实现则是借助于前面提出的高维索引方法。通过实验比较，验证了其 对于单一特征检索在视觉效果上的优越性。 7 为了解决高维索引的维数高、数据量大的问题，本文还提出了一种新的基于空间划 分的高维检索并行算法，使得大量数据按照空间位置合理地稀疏分布在各个计算机中并行索 引大大提高了索引的速度。相应的实验也说明了这一点。 第4 页 第一章前言 参考文献 【1 】a m e m a t hg u p t a a n dr a m c s h j a m ，v i s u a li n f o r m a t i o nr e t r i e v a l c o m m u n i c a t i o n so f t h ea c m ， p a g e s7 1 7 9 ，m a y1 9 9 7 【2 】c o d i n go fm o v i n gp i c t u r e s a n da u d i o i s o i e cj t c l s c 2 9 w g i in 1 9 2 1 ，m p e g 9 7 , o c t 1 9 9 7 3 1t h o m a ssh u a n ga n dy o n gr u i ，i m a g er e t r i e v a l ：p a s t ，p r e s e n t ，a n df u t u r e ，i n v i t e dp a p e ri n f i a ts y m p o s i u mo nm u l t i m e d i ai n f o r m a d o np r o c e s s i n g ，d e c1 1 1 3 ，1 9 9 7 ，t a i p e i ，t a i w a n 4 】m a r k u ss t r i e k e ra n dm a r k u so r e n g os i m i l a r i t yo fc o l o ri m a g e s i np r o c s h es t o r a g ea n d r e t r i e v a lf o ri m a g ea n dv i d e od a t a b a s e s ，1 9 9 5 【5 】t h i r d d r a f to fm p e g 一7r e q u i r e m e n t si s o i e cj t c l s c 2 9 a v g l ln 1 9 2 1 ：m p e g 9 7 ，o c t 【6 】s - ec h a n g ，jr s m i t h ，mb e i g i ，a n dab e n i t e z v i s u a li n f o r m a t i o nr e t r i e v a lf r o ml a r g e d i s t r i b u t e do n l i n er e p o s r o f i e sc o m m u n i c a t i o n so fa c m ，s p e c i a li s s u eo nv i s u a li n f o r m a t i o n r e t r i e v a l ，p a g e s1 2 2 0 ，d e c1 9 9 7 【7 1c f a l o u t s o s ，mf l i c k n e r , wn i b l a c k ，d p e t k o v i c ，we q u i t z ，a n dr b a r b e re f f i c i e n ta n d e f f e c t i v eq u e r y i n gb y i m a g ec o n t e n tt e c h n i c a lr e p o r t , m mr e s e a r c hr e p o r t 1 9 9 3 【8 】a m a r n a t hg u p t aa n dr a m e s hj a i n v i s u a li n f o r m a t i o nr e t r i e v a l c o m m u n i c a t i o n so ft h ea c m ， 4 0 ( 5 ) ，1 9 9 7 9 】m p e g a p p l i c a t i o n sd o c u m e n t i s o e cj t c l s c 2 9 w g l ln 1 9 2 2 ，m p e g 9 7 o c t1 9 9 7 1 0 】m p e g - 7 ：c o n t e x ta n do b j e c t i v e s “5 ) ，i s o , q e cj t c l s c 2 9 w g l ln 1 9 2 0 ，m p e g 9 7 ，o c t 1 9 9 7 圭墨奎望查兰竺主兰堡垒奎 星i 星 第二章图像检索的研究现状及其关键技术 2 1 图像检索的研究现状 从目前发展水平来看，文本检索技术已经走向应用，例如，在i n t e r n e t 网上出现了诺如 y a h o o 、i n f o s e e k 等著名文本搜索引擎。然而，基于内容的视觉信息检索技术仍处于摇篮之 中，对它的研究刚刚开始，需要研究的问题也正在不断提出。例如，如果用户想要在一个图 像数据库中查找“一匹马在水边”这样简单的图像，那么现在唯的希望或实现方案就是已 经有人预先给所有这类图像加上了文字标注或解释；档案检索的经验告诉我们，几乎无法预 见可能会出现的所有查询要求，例如“找出有马和草地的所有图像”，那么检索系统可能需 要重新查看整个数据库；在现实生活中，检索数据库的用户具有不同的应用背景、不同的查 询目的，例如一位检索者想查询一家博物馆收藏的美术作品，以确定某种色调在描绘肖像画 中皮肤时所用的频率，另一位则想查询一个卫星图片以估计明年的粮食收成等等。上述几个 很平凡事例表明了要实现一个基于内容的检索系统是非常复杂和困难的，需要解决大量理论 和实际问题。 为了满足多种多样查询要求，基于内容的视觉信息检索系统需要一个完全自动化的图 像特征分析和目标识别系统，它能够辨别存储在数据库中的某一图像是否有一个具体的目 标，并能够正确鉴别所要寻找的目标，而不管它的颜色、大小及外形如何，也不管是从哪个 角度来观看。遗憾的是，人们现在对如何识别图像中的物体的认识水平还相当肤浅，远不足 以完成这项任务。尽管如此，研究人员正在不断努力，从许多方面来研究这个目标识别问题， 特别是把计算机视觉和自动推理等结合起来，可能最终会改进计算机分析图像特征和识别目 标的能力。 目前的图像信息检索可以通过三种方式来搜索感兴趣的图像： 找和一幅给定样板图像相似的图像： 靠图像的总体外观特征来检索，例如检索有大量黄色斑点的图像( 如长满野花的田 野) 或中央有一团明亮的红色区域的图像( 如日落等) ： 第6 页第二章图像检索的研究现状及其关键技术 明确语义的目标( 如水、马或人) 的检索。 这三种方式代表了三种不同的图像检索理念，即：寻找和已知样板图像相似的图像； 对图像特征( 例如几乎不变的颜色或纹理特征) 进行分析，然后依据特征进行检索：象人识 别“东西”那样来识别图像。实现这三种方法的任一种，其难易程度似乎同有用程度成反比。 直接将两副图像进行匹配的算法很简单，但其用途只限于寻找与表面有关的图像，对于寻找 具体物体来说，这种方法没有多大用处，因为在图像中物体的位置、组成和布局的变化将使 大多数匹配比较一无所获，例如匹马的正规图和侧视图肯定不匹配，因此对照样本图像进 行直接比较是行不通的；根据特征来检索图像具有较大的应用潜力，而且许多特征分析算法 复杂性并不是高不可攀，例如计算一幅给定图像中的红绿蓝等象素各自所占的比例只需几分 之一秒，由于图像蕴涵着丰富的特征，因此，第一步很自然的想法就是设法根据特征来检索 图像，而目前绝大多数图像检索系统正是面向以特征为基础的查询。至于仿人识别图象进行 检索，需要首先在语义描述方面有所突破，目前的应用仅仅剐刚起步。 自九十年代早期，基于内容的图像检索成为研究热点之后，出于商业和科研目的，已 有多个系统建成。主要应用于图书馆、博物馆、科学数据文档、照片图片库、w e b 引擎等。 总体可按以下几个标准来分类川： 自动化：手工或半自动或全自动 媒体：图像、视频、图形、音频和文本等 提取对象：特征、目标、句法和语义等 适应性：静态索引或动态学习 普遍性：具体域或自主域 应用范围：本地或网络 支持压缩图像：压缩域或像紊域 下面列举的是几个有代表性的图像检索系统。 l q b i c q b i c f 2 【”，即基于内容的图像查询，是第一个商用的基于内容的图像检索系统，由i b m 完成。它对以后的图像检索系统产生了很大影响。 q b i c 支持基于实例的查询，即它可根据图像实例、用户素描和草图以及用户选定的色 上海交通大学博士学位论文 第7 页 彩和纹理等进行查询。q b i c 的纹理特征表示使用t a m u r a 纹理表示的改进方法，包含粗糙 度、对比度和维度。它的形状特征包括形状区域( s h a p ea r e a ) 、圆度( c r c u l a r i 叻、离心度 ( e c c e n t r i c i t y ) 、主轴朝( m a j o ra x i so r i e n t a d o n ) 及代数不变量( a l g e b r a i cm v a r i a n t s ) 等。q b i c 是 少数考虑使用高维特征索引的系统。在索引子系统中，它使用k l t 来降维，r + 树处理多维 索引。在新的q b i c 系统里，基于文本的关键词检索也结合了进来。 2 v b c a g e v t r a g e 是v t r a g e 公司的基于内容的图像搜索引擎。与q b i c 类似v t r a g e 支持基于色彩、 色彩布局、纹理、结构( 目标边界信息) 的查询。比q b i c 更进一步的是它建立了判决器， 支持以上四个特征结合的查询。 3p h o t o b o o k p h o t o b o o k c 5 1 是m i t 媒体实验室图像浏览和查询的交互式工具。它把提取的形状，纹理 和面部特征存放在三个s u b b o o k s ，用户可根据相应的特征进行查询。 p h o t o b o o k 的最近版本，f o u r e y e s ，在图像检索中考虑了人的介入。这主要是基于即使 是最好的单个特征也无法满足任何场合的处理需求这一观点。实验表明，这种改进效果明显。 4v i s u a l s e e k 和w 曲s e e k v i s u a l s e e k t 6 是一个视觉特征搜索引擎，而w e b s e e k 是面向w n v 的文本图像搜 索引擎。它们都由c o l u m b i a 大学研制a 主要特点是支持图像域的空间关系查询( s p a d a l r e l a t i o a n s h i pq u c r y ) 和压缩域的视觉特征提取。系统中使用的视觉特征是色彩集和基于小波变 换的纹理特征。 v i s u a l s e e k 的查询既基于视觉特征又基于视觉特征之间的空间关系。而w e b s e e k 网 络搜索引擎主要包括三个模块：图像，视频模块、主题分类和索引模块以及查询、浏览和检 索模块。它支持基于关键词和视觉内容的查询。 5m a r s m a r s 9 舯】，即多媒体分析和检索系统( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) ，由 第8 页第二章图像检索的研究现状及其关键技术 u i u c 研制。它的研究范围和所用技术均与其它系统有所不同。主要涉及了包括计算机视觉、 数据库管理系统和信息检索在内的多个领域。m a r s 没有集中于寻找和研究单个最好的特 征表示，而是着力于组织各种不同的视觉特征，使其能够自适应地满足不同用户的各种应用 需求，并首先在图像检索中提出了相关反馈概念在目标模型的各个级别中均可灵活使用。 同时，m a r s 也支持视频和音频的检索。 6n e 仃a ：u c s b n e t r a 【为a l e x a n d r i a 数字图书馆项目而研制的原型系统，它用颜色、纹理、形状和分 割后图像区域之间的空域关系等视觉特征，纹理特征主要是用g a b o r 变换特征，提出了构造 纹理特征字典和基于边缘流向的区域分割等新技术。 7b l o b w o r l d b o l b w o r l d c “1 是u cb e r k e l e y 开发的，它将原始图像信息转换为一组局部相关的颜色和 纹理，该系统允许用户观看图像的内部表示和查询结果，从而让用户能够很直观地改进其检 索结果 2 2 图像检索的系统结构 图像检索虽然只是在最近几年才有所发展，但却涉及了数据库管理、计算机视觉、图 像处理、模式识别、信息检索和认知心理学等诸多学科。考虑到计算机视觉和模式识别的发 展水平，目前图像检索系统的高性能还必须建立在人机交互的基础之上。下面是一种可能的 系统结构框图( 图2 1 ) 。 系统结构中有三个数据库。原始图像数据库存储用于视觉显示的所有原始图像。考虑 到在图像检索过程中可能对图像的分辨率有不同要求，因此，最好在数据库中存储经过小波 压缩的图像。这个数据库主要涉及图像处理和压缩技术。 视觉特征数据库用来存储提取出的图像视觉特征。这是基于内容的图像检索的必备信 息。它主要涉及计算机视觉和图像理解技术。 文本注释数据库包括图像的关键词和对图像自由描述的文本。它是基于内容的图像检 上海交通大学博士学位论文第9 页 索的必要补充。主要涉及文本信息检索和数据库管理技术。 多维索引模块是为了提高在大规模图像库中检索图像时系统的运行速度。尽管目前大 部分实验系统尚未采用这项技术，但它却是未来高性能图像检索系统的必不可少的部分。这 个模块主要涉及计算几何、数据库管理和模式识别技术。 搜索引擎模块包括查询接口子模块和查询处理子模块。查询接1 3 子模块主要是检索用 户的信息需求，并显示系统的检索结果。为了与用户友善交流，查询接口应是基于图形的。 这个模块涉及用户心理学和接口设计技术。查询处理子模块确保系统能够以最佳的方式处理 用户的查询，这个模块主要涉及空间数据库查询技术。 u s e r f i g 2 - l a r c h i t e c t u r eo f c b f r s ”饽m 图2 1 基于内容的图像检索系统结构图 2 3 图像检索的关键技术 一个高性能的图像检索系统应主要在三个方面取得突破。 一特征提取 一 目标描述模型 - 索引技术 三者之间的关系如图2 - 2 【”i 。 兰! ! 至 笙三兰里堡竺童箜婴茎塾鉴垦茎茎壁茎垄 j 。峁酝： 爵曲眷0 m o d en 睡 lp 叫d e s c rl p t l n r h ，1 邕竺! ! ：型 c一i ! 竺竺! 竺c f i g 2 - 2r e l a t i o n so f t h et h r e ek e y s 图2 - 2 三者之问的关系 在这三方面，以特征提取的研究为最多，而索引技术和目标描述模型的研究相对较少， 虽然后两者更大程度上决定了整个系统的性能好坏。 另外，m p e g 正积极汲取各方的建议，希望能在今年推出m p e g 一7 标准的草案。这个 标准的正式命名为多媒体内容描述接h ( m u l t i m e d i ac o n t e n