（控制理论与控制工程专业论文）基于纹理和形状综合特征的图像检索技术研究.pdf

基于纹理和形状综合特征的图像检索技术研究基于纹理和形状综合特征的图像检索技术研究摘要基于内容的视觉信息检索( 主要包括基于内容的图像检索和基于内容的视频检索) 是当前信息领域的重要研究热点【1 】【2 1 。它是随着科学技术的进步、发展和推广应用，在视觉信息数据快速增长、信息急剧膨胀的情况下为满足人们快速提取有用的视觉信息的需求而逐步被重视起来的【5 1 0基于内容的图像检索是基于内容的视觉检索的一个重要的分支。在多媒体数据库管理和多媒体通信传输中得到越来越多的重视，其中图像的纹理、颜色、形状以及空间关系等特征是进行图像检索时的主要依据【2 2 】【2 3 1 。本文从图像的纹理和形状特征入手，采用基于共生矩阵的纹理描述模型及其描述符和基于边缘方向直方图的模型及其描述符分别作为纹理和形状特征的度量，研究了基于纹理和形状综合特征的图像检索技术，采用的是将两种特征进行加权综合的方法。本文介绍了设计的基于纹理和形状特征的图像检索系统【6 1 1 7 1 。本文在分析了多媒体数据库和基于内容的视觉信息检索技术目前状况的基础上，提出并用v c + + 语言实现了一个介于用户和多媒体数据库之间的图像检索系统。该系统只需要用户提供范例图或采样图，系统会自动提取图像的纹理和形状特征，并借助这些特征与库中基于纹理和形状综合特征的图像检索技术研究信息进行匹配，提取出需要的信息数据，用户对此验证后可直接使用或借以改进查询条件并开始新一轮检索。使用基于纹理和形状特征的加权综合检索方法，可以依据检索对象的特性调节两种特征的权值，很好的提高检索精度。本文的第一章介绍了本系统的开发背景，包括基于内容的视觉信息检索技术目前状况和开发系统的软硬件环境，第二章介绍了本检索系统的整体结构和模块划分，第三章着重从数学理论上分析并提出了本系统所使用的检索算法，第四章着重从软件设计的角度出发介绍了系统中五大模块的实现方法，在文章最后的附录中列出了本文中所涉及的所有函数的源代码。关键词：视觉信息；基于内容的图像检索；纹理特征；形状特征基于纹理和形状综合特征的图像检索技术研究i m a g er e t r i e v a lt e c h n i q u er e s e a r c hb a s e do nt e x t u r ea n ds h a p ef e a t u r e sa b s t r a c tc o n t e n t - b a s e di m a g er e t r i e v a li sb e l o n g i n gt oc o n t e n t b a s e dv i s u a li n f o r m a t i o nr e t r i e v a l ；i th a sg o tm o r ea n dm o r ea t t e n t i o ni nm u l t i m e d i ad a t a b a s em a n a g e m e n ta n dd a t et r a n s m i s s i o n t h ei m a g er e t r i e v a lm e t h o d sa r em a i n l yd e p e n d e n to nt h ef e a t u r e ss u c ha st e x t u r e ，c o l o r , s h a p e ，s p a t i a lr e l a t i o n s h i pa n ds oo n t ob e g i nw i t ht h et e x t u r ea n ds h a p ef e a t u r e se x t r a c t i o n ，t h i sp a p e rr e a l i z e st h et e x t u r ea n ds h a p ef e a t u r e b a s e di m a g er e t r i e v a lu s i n gc o o c c u r r e n c et e x t u r em o d e la n dd i r e c t i o n a ld e t a i lh i s t o g r a m t h ee x p e r i m e n tr e s u l t sa r eg i v e ni nt h ee n d i nt h i sp a p e r , t h ed e s i g n e ds y s t e mf o ri m a g er e t r i e v a lu s i n gs h a p ea n dt e x t u r ef e a t u r e sa r ef i r s td i s c u s s e d o nt h eb a s i so fr e s e a r c h i n gt h em u l t i m e d i ad a t a b a s ea n di m a g er e t r i e v a lt e c h n o l o g y , an e wt e x t u r eb a s e da n ds h a p eb a s e di m a g er e t r i e v a ls y s t e mb e t w e e nt h em u l t i m e d i ad a t a b a s ea n dt h ei n d i v i d u a lu s e ri sp r o p o s e d t h er e t r i e v a ls y s t e mr e q u i r e st h eu s e rt op r o v i d es o m ee x a m p l ep i c t u r e s ，t h es y s t e mw i l lo b t a i nt h es h a p ea n dt e x t u r ef e a t u r e sf r o mt h ep i c t u r e sa u t o m a t i c a l l y , a n du s i n gt h e s ef e a t u r e st ol o o k u pt h es i m i l a rp i c t u r e sf r o m3 -基于纹理和形状综合特征的图像检索技术研究t h ed a t a b a s e t h eu s e rc a nu s et h ed a t af r o mt h er e s u l td i r e c t l yo rb e g i nan e wq u e r y u s et h ei m a g er e t r i e v a lt e c h n o l o g yb a s e do nt e x t u r ea n ds h a p ef e a t u m sc a ne f f e c t i v e l yi m p r o v et h ep r e c i s i o no fi m a g er e t r i e v a l t h ep a p e rc o n s i s to ff i v es e g m e n t s ：t h ef i r s ts e g m e n tm a i n l yi n t r o d u c et h er e s e a r c h i n gb a c k g r o u n do fp r o je c t ，i n c l u d i n gt h ed e v e l o p m e n to fi m a g er e t r i e v a lt e c h n o l o g ya n dt h ed e v e l o p m e n tt o o l s ；t h es e c o n gs e g m e n tm a i n l yd e s i g nt h es t r u c t u r eo ft h er e t r i e v a ls y s t e m ；t h et h i r ds e g m e n tm a i n l yi n t r o d u c et h em e t h o d so fo b t a i ns h a p ea n dt e x t u r ef e a t u r e s ；t h ef o u t hs e g m e n tm a i n l yi n t r o d u c et h es o f t w a r ed e s i g no ft h ef i v em o d u l e si ns y s t e m ；a tt h ee n do ft h i sp a p e r , t h ea p p e n d i xs e g m e n tm a i l yc o n s i s to fs o u r c ec o d eo ft h ef u n c t i o n sr e f e r r e di nt h i sp a p e r k e yw o r d s ：v i s u a li n f o r m a t i o n ，c o n t e n t b a s e di m a g er e t r i e v a l ，t e x t u r ef e a t u r e ，s h a p ef e a t u r e东华大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：镌日期：0 铲年弓月2 - 日东华大学学位论文版权使用授权书学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于学位论文作者签名：保密口，在年解密后适用本版权书。不保密口。日期：0 哪年弓月2e t刁隆指导教师签名：豇付争日期：爸口辑月画基于纹理和形状综合特征的图像检索技术研究j l - - 一刖吾随着多媒体数据库尤其是大量图像库的广泛应用，对图像的有效检索手段逐渐引起人们重视。这不仅对图像库的管理也对图像库的网上应用至关紧要【8 】。传统的视觉信息检索方案是使用文字标识符。为实现检索，先给图像加上一个对其描述的文字或数字标签，然后在索引时对标签进行检索。这样一来对图像的查询变成了基于标签的查询。这种方法虽然简单，但有几个根本的问题影响对视觉信息的有效使用。首先，由于图像视频内容丰富很难用文字标签完全表达，所以这种方法在查询图像视频中常会出现错误。其次，文字描述是种特定的抽象，如果描述标准改变，则标签也得重新制作才能适合新查询的要求。换句话说，特定的标签只适合特定的查询要求。最后，目前这些文字标签是靠观察者选出来加上去的，因此受主观因素影响很大，不同的观察者在不同条件下对同一幅图像可能给出不同的描述，因而不够客观，没有统一标准，常会自相矛盾。为解决上述问题，需要全面地、一般性地和客观地来提取视频内容。实际上人们利用图像视频并不是仅根据他们的视觉质量而更重要的是根据他们的视觉内容，所以只有根据内容进行检索才能有效地获得所需要的视觉信息，同时在掌握视觉内容的基础上数据库中的信息才能有效地得到管理。近年来国际上广泛开展了基于内容的图像检索研究。其中，利用各种特征对图像检索的方法已取得相当进展。基于内容的图像检索技术日益发展起来。基于内容的图像检索技术是一种综合集成技术，它通过分析图像的内容，如颜色、纹理等，建立特征索引，并存储在特征库中。用户在查询时，只要把自己对图像的模糊印象描述出来，就可以在大容量图像库中找到想要的图像。基于内容的图像检索技术与其它相关学科的主要区别是：首先，它是一种信息检索技术，应能从大型分布式数据库中以用户可以接受的响应时间及尽量与领域无关的方式( 需要时也可以是与领域相关的) 检索到想要的图像信息。它可以不去理解图像中的对象，更关注的是信息的快速查询和发现。举个例子来说，用户想买一辆红色汽车，那么他选定了红色和汽车轮廓，数据库系统就能返回所有红色汽车的图像，从而帮助用户快速找到目标。其次，作为一种多媒体技术，它具有很强的交互性，即用户可以参与检索过程。最后，它引入了特征库和知识辅助的概念。用特征库保- 8 _基于纹理和形状综合特征的图像检索技术研究存描述图像内容的特征，知识辅助有利于查询优化和快速匹配。从图像检索的应用角度出发，除了采用传统的结构化查询方法以外，还可以采用可视的示例查询方式。具体可以分为以下几种：1 准确实例检索和查询准确实例检索和查询( r e t r i e v a la n dq u e r yb ye x a c te x a m p l e ) 针对用户给出的确切查询实例，如用户拿到某地区的照片或图样，需查询有关该地区的其它信息，这种查询称作完全的实例查询。由于用户可以给出要求查询的原图像，检索可以针对图像的任何特征进行，因此，相对来说比较容易。2 模糊实例查询在基于内容的查询中，大部分查询实际上都是模糊实例查询( r e t r i e v a la n dq u e r yb yf u z z ye x a m p l e ) 。因为在很多情况下，用户无法给出一个完全的例子，往往只能给出( 或者说从一部分示例中选择出) 一个想要检索的图像的例子，然后系统依照这个例子查找与它相似的图像，并将相似结果返回给用户，用户可以在这些相似的结果中决定或再次选择更接近用户查询的图像，从而进行下一次相似性计算，以达到模糊检索的目的。目前，大部分q b e ( q u e r yb ye x a m p l e ) 所用的实际上都是这种模糊查询。3 描绘示例检索和查询描绘示例检索和查询( r e t r i e v a la n dq u e r yb yd e s c r i b a b l ee x a m p l e ) 是针对用户给出的所需图像的粗略结构化描述进行处理。如用户提供一个( 可能是画的)需查找图像的“形状”的粗略轮廓，在这种情况下，一般没有一个完全的实例，因此，只有用一些局部特征，这时需要抽取这些局部特征，如形状或每个形状所定义的在图像中空间定位的相关结构。对于形状的每个部分，必须在库中找到相应的形状，并返回相应的图像集。不论哪种查询方法，都需要针对图像的具体特征进行匹配检索。在实际应用中，用户一般对颜色、纹理、形状以及目标的空间关系等特征比较敏感。在检索效果评价方法方面，基于内容的图像检索方法很多，在具体应用中只有采用恰当的检索算法才能得到满意的结果。因此，需要对这些算法进行评估，比较其优劣：检索算法评价方法能够在相同的条件下找出最佳算法。在目前己有的一些评价准则中，主要有以下两种：基于纹理和形状综合特征的图像检索技术研究1 以查全率和查准率为基准的方法查全率和查准率般定义为：查全率= 检索到的相关图像数目所有相关图像数目；查准率= 检索到的相关图像的数目已检索出的图像数目。为了评价算法的优劣，用户可以选定含有特定目标的图像作为一组相关图像，然后根据返回的结果计算查全率和查准率。查全率和查准率越高，说明该检索算法越有效。2 排序评价方法如果图像匹配采用相似性比较，那么，根据不同的相似性尺度，返回的图像数目可能不同，此时采用该方法。方法是：( 1 ) 选定一定数目的含有特定目标的相关图像，如水池、草坪、入与人会谈等。( 2 ) 固定返回图像的数目，把返回的图像按相似性大小排序。( 3 ) 计算有关返回图像的排序评价指标。比如计算检索到的相关图像在所有返回图像中的序号平均值。在理想情况下，所有相关图像都排在最前面，因此，平均值越小，表明检索算法越好。还可以计算丢失的相关图像占所有返回图像的比例，这个值越小，表明成功率越高。基于内容的图像检索技术由于能够根据图像的可视内容产生查询，从而方便了用户，因此在许多领域具有广泛的应用前景。如艺术馆和博物馆馆藏资料的管理、地球资源遥感图像的检索、建筑和工程设计图纸的查询、时装设计以及犯罪记录调查等，尤其是计算机网络技术和通信技术的发展，未来在网络购物和交互式电视方面，这项技术将会大有用武之地。基于特征对图像进行检索的基本方法是在建立图像库时，对输入的图像先进行图像分析，提取图像或目标的特征向量并在将输入图像存入图像库的同时将其相应的特征向量也存入与图像库相连的特征库。在进行图像检索时，对每一幅给定的查询图，进行图像分析并提取该图的特征向量。通过将该图特征向量与特征库中的特征向量进行匹配并根据匹配结果到图像库中搜索就可提取出所需要的检索图来。由上述工作原理可以知道基于特征的图像检索有三个关键，一是要选取恰当的图像特征，二是要采取有效的特征提取方法，三是要有准确的特征匹配算法。基于纹理和形状综合特征的图像检索技术研究纹理和形状是图像最重要的两个视觉特征。在接下来的几个章节中，将先分别对利用纹理和形状特征的检索进行讨论，并介绍自己所设计的算法。在此基础上，我们在第四章提出一种利用这两个特征进行检索的图像检索系统，并对实际图像进行了检索实验，取得了满意的结果。在纹理特征的提取上，采用的是基于共生矩阵的模型( 空间性质的纹理模型中的一种) ，并采用统计法纹理描述符作为纹理特征的度量。而在形状特征的提取上，采用的是基于边缘方向直方图的描述方法( 一种外部特征参数的形状描述方法) ，并提取该直方图的包络线，然后将得到的包络线变换到频域，以几个特定频率分量的振幅作为形状特征的度量。在特征的匹配上，利用纹理或形状特征查询时采用了欧式距离为相似度量的测度，另外，系统还提供了纹理和形状特征两者的加权距离。在系统的实现上，本设计将图像检索系统划分为查询、描述、提取、匹配和验证五个模块。各个模块都独立设计，采用v c + + 语言编写代码。模块的功能划分明确，并且可以协同工作组成一个介于个人用户和多媒体数据库之间的一个基于特征的图像检索系统。基于纹理和形状综合特征的图像检索技术研究第一章设计背景也许你想得到一幅贝多芬的肖像，或是一张奔驰汽车的照片，可是怎样找到它呢? 这是一个相当棘手的问题，一般的文字搜索引擎对于图形图像来说，几乎束手无策。伴随着互联网的高速发展，网上的信息量也呈几何级数爆炸性增长，n a t u r e ( 自然) 杂志统计互联网上现有8 亿个网页，面对着这样一个巨大的、实时扩展、变化的数据库，如何从中找到我们关心的数据? 对图像的有效检索被越来越多地关注。近年来，国际上广泛开展了图像检索研究；其中，利用各种特征对图像检索的方法已取得相当大的进展。1 1 图像检索系统的目前状况1 1 1 图像检索系统喜欢网上冲浪的网友一定不会对百度( w w w b a i d u c o m ) 、谷歌( w w w g o o g l e c o m ) 感到陌生。这些传统的基于文字的搜索引擎给用户提供了一个方便的网络服务平台，它们会带你到达要去的网站和要找的页面。然而，随着互联网的多媒体化和多媒体检索技术的不断发展，新一代的多媒体搜索技术正一步步从实验室走进互联网的大家庭中。那么，什么是图像检索呢?图像检索系统是专门用来查询图形、图像( 照片) 的检索系统。同文字搜索系统一样，它提供一个分类目录，并提供关键词检索的功能。用户可以通过分类在图像数据库中浏览，或者使用关键词检索，来查找想要的图片。与文字检索系统不同的是，查到的最终结果，不是文字形式的内容，。而是一幅幅缩微图片及他相关链接。1 1 2 图像检索中的关键技术现在国内外图像检索技术的研究水平如何? 隐藏在这后面的检索技术是怎样的呢?( 1 ) 借用文本索引技术基于纹理和形状综合特征的图像拉素技术研究早期的i 刳像抢索借川r 艾奉索引技术。文本搜索i 擎是将州站、网页的内存索口为系列天键宁，“1 用户输入关键7 ，后，系统可以根据数据库中的倒排文件将关键字映射为刚站或网页的地址。对于图像文件，一样可以根据其内容手l 将其标汪为系列天键字，并对关键字建立索引，这样，图像检索就转化为文本检索的问题。f n 是，这种力法很不实用，一是必须山人j = 完整地标注所自图像，对于小刚像集合也许问题不大，但随着罔像数日的增加，特别是嗍络上的罔像是无穷无尽的，这种方法显然币r 叮行：第j 个问题在于罔像所包含的信息董忘人，小h 川户对1 - 川张图像的看法不及相h ，这就导致对吲像的标泞没有个统标准，检索m 的结果不能很好符合用户的需求。采用a l t a v i s t a 系统检索“大琢”关键词得出来的结果如陶1 一l 所示，这是一种基于内容的图像检索系统，f i h d_ 盆幽耸幽z 一【一目1 ia l l a v i s t a 系统检索“人象”返回的结果界面r 2 1 基于内容的图像检索桀丁上述凼素，人们提出r 种新的检索技术，基j 图像自身内容的榆索。基于内容的榆索不需要用户的参t j ，而利用图像自身的特征，如颜色、纹理、形状等特征米进行检索，具订较强的客观性。通常，可以抽取罔像库c 所有文什的特征，用户检索的过程一般是提供一个样例图像，系统抽取该样例图像的特征，然厉数据库中所有的特征进行比较，_ j f 二将与样例特征十目似的图像返田i 给州广，这个过程称2 为基f 样例的罔像检索。当前研究图像枪索的币点和难点集c j 在如何在抽取的底层特征和图像内容所表示的语义特征怕】建立很好的联系，直到今天，这仍然足龋于内容图像检索的。个没有解决的问题。也就足| 兑，山于我们所谶凸凶翌鲞一一盆丝魁羔翌基于纹理和形状综合特征的图像检索技术研究拥有的特征并不能很好地体现图像真正的语义信息，以至于检索的结果往往不能令人满意。目前有的图像检索系统有【l 】：q b i c ( q u e r yb yi m a g ec o n t e n t ) 是i b ma l m a d e n 研究中心开发的第一个商用基于内容的图像及视频检索系统，它提供了对静止图像及视频信息基于内容的检索手段，其系统结构及所用技术对后来的视频检索有深远的影响；由m i t 的媒体实验室开发研制的p h o t o b o o k ，图像在存储时按人脸、形状或纹理特性自动分类，图像根据类别通过显著语义特征压缩编码；美国哥伦比亚大学开发的v i s u a l s e e k 图像查询系统，该系统的主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征。e x c a l i b u r 技术公司开发的r e t r i e v a lw a r e 系统；v i r a g e 公司开发的v i r a g e 检索系统能；香港中央图书馆的多媒体信息系统( m m i s ) 是i b m 和分包商i c o 于1 9 9 9年底开始承建1 9 0 万美元的数字图书馆项目，被认为是世界上最大且最复杂的“中文英文”双语图书馆服务之一，其采用的d b 2t e x t 和i m a g ee x t e n d e r s 既支持文本查找，也支持图片查找。( 3 ) 相关反馈和自动标注技术如何解决上述问题? 相关反馈和图像的自动标注技术是重要的突破。相关反馈是在信息检索系统中的一种指导性学习的技术，用以提高系统的检索能力。在基于内容的图像检索中，通常检索的结果不能令人满意，这时用户可以告诉系统哪些是符合用户需求的正反馈图片，哪些是不符合检索内容的负反馈图片，系统根据用户提交的指导信息，对内部检索参数进行调整，从而优化检索结果并提供给用户新的检索结果。对于图像的标注问题，可以手工标定很小一部分图，利用相关反馈的方法，将用户因为反馈而标定的信息不断加入数据库，同时对这些信息进行扩展，使具有相似内容的图像因为这些图的相似性而得到标注。试验表明，此方法使检索精度得到了很大提高( 如图1 2 ) 。基于纹理和形状综合特征的围像幢索技术研究t 下f “- 一| d鲤园囵圆圈翰园口团臼囵囵豳臼固囝口臼图1 2 干u 川捌戈反馈车自动标注技术得到了更准确的榆索结粜1 1 3 图像检索在生活中的应用首先，未来的互联删是多媒体数据的时代。刚像、视频将很快日【代文本成为丌联网f ：主要的信息，现在丛于文本的搜索将逐步被多媒体检索取代。也许您要| 兑，那大还很远吧。可是，h 算机技术的发展速度足如此之快，1 0 年以前，没有f | 么人会相信计算机可以实时处理图像数据，更别说视频了，面现在这些对j 。普通的微机都h 是小菜碟r 。可以预料，1 0 年甚至卫短的时州内，我们所向时的互联网将是一个多媒体网络。那时，搜孤、雅虎、a l t a v i s t a 这些搜索引擎也许主噩提供多媒体数据的查询，文奉椅索h 能躲在个很小的角落罩了。即使4 t 5 , 1 算机和网络还没订发展到很高水、f 的今天，图像检索也有相当多的实际应j b 。现在的报纸、杂志、址垒我们常做的撤表、幻灯 r l 经常会用到并种并样的小h 片不f h 美观，还可以方便他人理解。比如你要做一个关于k 城的报告想在报告单加入一些长城的图片，而手头叉没有这监俐片，这时你就可以找阿像搜索引擎帮忙了。比如，在a l t a v i s t a 的网站上键入g r e a t w a l l ，f 就出来搬多k 城的图片。如果想进步介绍长城的历史，斋要一张秦始皇的图片，简单，j l 要输入q i ns h i h u a n g ，出乎意料的尼不光秦始垒就连兵马俑的图片也找刮r ，虽然是意外收获，但恐h 3 后者也是你需要的d e ( 女u i 矧l - 3 ) 。基于纹理和形状综合特征的图像检索技术研究厂严瓢吲i - 3 以：a l t a v i s t a 上榆索k 城和辜始皇得到的部分倒片随着现代影像和图像处理技术的深入发联，r ，j 供医学临床、救学和研究使用的医学图像数量以指数速度膨胀。州广如何能方便地援到所需要的图像? 这就需要创建可供检索的罔像数据库，它应该其有检索的实时4 i 5 。现代化隈院信包系统发展迅速，电子病历将成为小缺少的组成部分。掘硼删，彤p 内，美国将有、仁咀l 的k 院配备电子病历系统，h i 时将配宵高级罔像检索数据库。e o r 以按h 期、特_ _ ! 、疾病、，正状、解剖部他、图像类型、医疗仪器等属性进行布尔检索f 基 二是j 判断的榆索) 。蚺丁i n t e r n e t 的全球虚拟病历系统已经住jr 发之中。，这个项目完成之n ，到地球l 任何地方旅行的人芨瘸时可以通过i n t e r n e t 调 他们自己的病历。其实图像检索已经运用在很多领域，例如公室的罪犯数槲、医学研究机构的病理图像资料管理，。l 蒙局的卫星照片管理等等方忆随着各行并1 i k 信息化水甲的逐步提高，图像检索技术的趋成熟，将来会玎史多的运用，定会给我们的i作和乍活带来更多的片便和快乐。2 基于内容的视觉信息检索的目前状况和回顾1 2 1 发展迅速基于内容的视觉信息检索自i o 年前i r 式“冠名”以来，得到罔内外信息领域瑚滋霞基于纹理和形状综合特征的图像检索技术研究科技人员的广泛重视和研究，迅速成为多媒体，特别是图像、视频和数据库技术中的研究热点之一和中国图像工程的新类别之一1 2 】 【3 】， 4 1 ，【5 】。同时在一些有关图像理解和计算机视觉的书中，基于内容的视觉信息检索已经占据了一席之地。基于内容视觉信息检索的发展也得到许多国际学术组织的重视和关注。在国际上每年召开的许多有关多媒体技术的学术大会中，有许多重要的系列大会( 如i c a s s p ，i c i p ，i c p r ) 都开辟了基于内容的视觉信息检索主题和分会，而i e e e和s p i e 都组织了专门的基于内容的多媒体信息检索会议。这些都极大地推动了基于内容的视觉信息检索的发展。基于内容的图像检索( c o n t e n t b a s e d l m a g e r e t r i e v a l ，简称c b i r ) 是基于内容的视觉信息检索的一个重要的分支，其主要指根据图像的颜色、纹理、形状等特征以及这些特征的组合来查询图像。它与传统的基于文本的图像检索技术的主要区别在于：它是一种基于图像特征的相似性匹配检索，系统内的图像标识方式是图像特征属性描述，检索线索是一目了然的图像示例( 或示例特征描述) ，输入为图像示例，输出为所有与图像示例特征相同或相近的图像，按照相似程度大小排序，供用户选择。从而把在传统的基于文本的图像检索技术中一般用户难以完成的图像特征描述、提取与识别等难题，交由系统去解决，避免了“似是而非”的关键字匹配输入以及由此产生的“答非所问”的检索结果。基于内容的图像检索技术是计算机图像处理技术和数据库技术的有效结合，它既充分利用了图像内部所包含的信息，又结合了传统数据库技术，是一项在理论研究和实际应用中都极有前途的新技术。基于内容的图像检索技术具有如下的特点：1 直接从图像本身提取线索。正是由于这一特点，使得基于内容的图像检索技术突破了传统的基于关键词检索的局限，直接对图像本身内容进行分析并提取特征，使得检索更加接近目标。2 特征提取和索引的建立，可由计算机自动实现，既避免了人工描述的主观性，又大大减少了工作量。3 可具有人机交互性。一般来讲，人对于目标的特征比较敏感，能够迅速分辨出目标的颜色、形状等信息，但是对于大量的对象，一方面难以记住这些特征，另一方面人工从大量数据中查找目标效率非常低，而这正足计算机的& 处。因此，在基于内容的图像检索中，入和计算机可以相互分工配合进行检索。基于纹理和形状综合特征的图像检索技术研究4 基于内容的图像检索是一种近似匹配，使用基于相似度度量的近似查询。基于内容的图像检索是通过计算查询图像和候选图像之间的视觉特征的相似度来完成的，返回的是候选图像中和查询图像相似度最大的前n 幅图像。这一点和传统数据库的精确匹配算法有明显的不同。由于基于内容的图像检索技术的这些突出特点，使其逐渐成为一个非常活跃的研究领域。在基于内容的图像检索出现以前，人们往往通过对传统数据库进行简单的扩充来实现图像信息的管理，常采用基于元数据的检索系统。在这类系统中，每幅图像都用一组元数据的集合来表征，通过指定属性来完成图像的查询。这种检索方法的缺点在于图像内容难以用几个简单的元数据充分描述。此外，由于这类系统一般是根据给定查询要求实现的，因而很难处理给定查询以外的检索请求，从而使得系统功能难以扩充。这类检索系统难以满足人们的要求。通常人们采用的基于关键字的图像检索是一种改进是给每个图像对象赋予一个字母一数字标签( ( t a g ) ，然后实现基于关键字的索引。标签可以是具有多个属性的数据结构，如图像名字、创建日期、图像尺寸等；也可以是无结构的，如描述文本或关键字等。在标签属性上运用传统的关系代数方法，采用不同的谓词，即可检索出满足不同需要的图像。使用标签对图像进行描述时，实际上是将每个图像从逻辑上看作一个大的属性，而没有考虑图像细节，即内容。因此，图像检索实际上是通过匹配查询文本和图像数据库中存储的描述关键字来实现的。由于该方法仅仅用到文本信息，而没有考虑图像的可视特性，因而存在以下几个问题【1 3 】【2 4 1 ( 1 ) 图像内容难以精确地用文本描述。文本描述是一种定性描述，而图像中往往含有太多这样的定量描述信息，因此，采用文本难以对图像精确描述。而且，许多图像特征难以用文本描迷来表示，如不规则形状，散布的纹理等。( 2 ) 文本描述有一定的主观性。对于图像来说，由于其内容的丰富性以及视觉的主观性，不同人在理解同一幅图像时会产生很大的差异，甚至同一个人在不同的环境下对同一幅图像的理解也可能不相同，从而导致内容的描述具有很大的主观性。如，咧嘴笑和扮鬼脸只能是人的主观描述，很难对二者作出严格的区别。因此，采用基于关键字的检索方法进行检索时，存在着语义描述的不确定性。( 3 ) 手工输入工作量大。即使在要求的信息已经标识后，标签的创建也是一个难题。因为标签的创建是交互的，人们必须针对图像一幅一幅的创建。北京航空航天大学学位论基于纹理和形状综合特征的图像检索技术研究文。( 4 ) 不支持相似性查询。由于文本是一种精确描述信息，因此，用文本描述图像信息时，不支持图像的相似性查询。为克服上述困难，以m y r o nf i l c k n e r ,p i c a r d ，h j z b a n g 和s ez h a n g 等为代表的研究人员提出了基于内容的图像检索技术【3 5 】【3 6 】【3 7 1 1 3 8 1 1 3 9 1 。该技术与传统数据库中的关键字搜索模式不同，主要是根据从图像数据中提取的可视信息，如颜色、纹理、对象的形状，以及样本图像生成查询，然后根据这些可视信息从图像数据中进行查找，检索出具有相似特征的图像。1 2 2 成果丰富经过国内外信息领域科技人员1 0 年的深入研究，基于内容的视觉信息检索研究和应用己取得长足的进展，已有大量相关理论研究和技术应用的论文发表。例如早i n s p e c 上用i m a g er e t r i e v a l 为关键词，可以搜索到的从1 9 9 2 年至今的文献以近3 0 0 0 篇。国际上不断有相关的综述文章发表。q b i c ( q u e r yb yi m a g ec o n t e n t ) 是i b ma l m a d e n 研究中心开发的第一个商用基于内容的图像及视频检索系统，它提供了对静止图像及视频信息基于内容的检索手段，其系统结构及所用技术对后来的视频检索有深远的影响。由m i t 的媒体实验室开发研制的p h o t o b o o k ，图像在存储时按人脸、形状或纹理特性自动分类，图像根据类别通过显著语义特征压缩编码。美国哥伦比亚大学开发的v i s u a l s e e k 图像查询系统，该系统的主要特点是用到了图像区域的空间关系查询和直接从压缩数据中提取视觉特征。e x c a l i b u r 技术公司开发的r e t r i e v a lw a r e 系统，v i r a g e 公司开发的v i r a g e 检索系统都是优秀的基于内容特征的视觉信息数据库系统。香港中央图书馆的多媒体信息系统( m m i s ) 是i b m 和分包商i c o 于1 9 9 9 年底开始承建1 9 0万美元的数字图书馆项目，被认为是世界上最大且最复杂的“中文，英文”双语图书馆服务之一，其采用的d b 2t e x t 和i m a g ee x t e n d e r s 既支持文本奋找，也支持图片查找。基于内容的图像检索是8 0 年代后期、9 0 年代初才开展起来的一门新型技术1 3 1 1 2 0 1 。目前，基于内容检索已成为智能信息处理领域追求的目标，许多杂志也开出专栏来讨论这一问题。1 9 8 9 年、1 9 9 2 年i f i p 搜集并出版了第一卷和第二卷基丁内容图像、视频检索的v i s u a ld a t a b a s es y s t e m s s p i e 也十19 9 3 ，l9 9 4 ，l9 9 5 召开tp r o c s t o r a g ea n dr e t r i e v a lf o ri m a g ea n dv i d e od a t a b a s e s基于纹理和形状综合特征的图像检索技术研究1 ，1 1a n di l l 专门会议。著名的国际刊物a c mm u l t i m e d i a ，m u l t i m e d i at o o l sa n da p p l i c a t i o n , i e e et r a n s o nc i r c u i t sa n ds y s t e m sf o rv i d e ot e c h n o l o g y , j o u r n a lo fv i s u a lc o m m u n i c a t i o na n di m a g er e p r e s e n t a t i o n ，i m a g ea n dv i s i o nc o m p u t i n g 等也都有相应的内容和专集【3 5 1 1 4 0 l t 4 1 】【4 2 1 4 3 1 4 4 1 1 4 5 1 。在国内，一些重点院校，如清华大学、国防科技大学、浙江大学和中科院计算所等也已经开始了这方面的研究工作1 5 2 1 1 5 3 1 5 4 l 。1 2 3 仍有问题基于内容对视觉信息检索是一个挑战性的研究，目前还方兴未艾。基于内容对视觉信息的检索涉及许多领域，必须要考虑许多问题，包括从获取和表达原始数据的方法，获取和表达原始数据中的信息，到通过对这些数据和信息的处理、分析和理解以提供对内容的访问以及发送、显示和操作这些内容等。这里的每一个步骤都受到数据种类、应用领域和用户( 对系统有要求的人或信息代理) 的影响。目前多数系统基本上由两个步骤组成：提取特征，并将形成的特征矢量存于数据库中：对给定的查询图像，根据特征矢量而非源数据进行查询。这些系统在一定程度上实现了相似性查询，但仍有许多方面还不完善。主要体现以下几个方面：1 多数系统假定图像尺度相同，很少考虑图像尺度不一致的情况；2 多数假定图像中的对象己标识，因而忽略图像特征表示；3 没有考虑图像分类，因而用户需要有较多的交互；4 多数系统只考虑按单一属性索引，没有考虑多种属性同时出现时索引结构的建立；5 多数系统强调“全自动系统”，并试图找“单一的最好特征”，但实际上是不现实的；6 不能提供有效的查询表达方式。因此，上述系统仍算不上是实用的系统。由于人的视觉的存在主观性，系统应强调“交互”监督学习。由于上述问题的存在，基于内容的视觉信息检索的研究和应用还面临许多挑战。例如，如何建立语义层次的描述，使用户自然地与检索系统交互，又例如如基于纹理和形状综合特征的图像检索技术研究何挖掘更多的实际应用场合，使得视觉信息检索真正使用起来，都是推动基于内容的视觉信息检索所必须解决的问题。1 2 4 研究现状目前，基于内容的图像检索关键技术研究主要集中在以下几个方面：1 图像数据模型研究为了有效地揭示图像信息，需要准确的和全面的模型来表示图像信息。使用这样的信息模型，不需要对实际源数据操作就能搜索和操纵存储的信息。由于图像具有大容量、时空属性、语义解释存在二义性等特性，传统模型不适合处理图像信息。在图像的直接管理上，至今仍无重大突破，通常采用的方法是对图像数据库中的图像数据和字母数字分开建模。为此，必须构造一个合适的一般性信息模型。该模型能表达从基本图像层到语义层每一层的抽象，实现低层视觉特征和高层语义属性的有效结合；同时能有效地存储和描述低层视觉特征及高层图像属性( 语义属性) ，更适合基于内容的图像查询。现有的数据据模型通常由一个三层体系结构组成【1 1 1 【6 8 】p l ( p h y s i c a ll e v e l ) ：物理层，不包含图像内容，其操作也不涉及图像数据内部的逻辑组织。从检索的角度看，图像数据仅仅被看成是一串长的、无结构的二进制流。f l ( f e a t u r el e v e l ) ：特征层，管理可度量的全局特征数据，如颜色分布、形状特征和纹理等。在特征层每个对象可用它的特征来索引。s 以s e m a n t i cl e v e l ) ：描述对象的语义特征。在s l 层，图像对象由特征对象及其空间关系描述。特征被分成基特征( ( d e r i v e df e a t u r e s ) - - - 从对应的轮廓提取；。，t：组合特征( c o m p o s i t e 。f e a t u r e s ) - - - 将几个特征组合成一多属性特征以反应某一对：，l象的内容；概念特征( c o n c e p t u a lf e a t u r e s ) - 源特征或组合特征附加一定的知识来表示图像语义或相似性。在一些专门的应用系统中，通常还结合领域知识，在三层体系结构的基础上增加知识层一一k 以k n o w l e d g el e v e l ) ，由解释图像语义和图像相似性的逻辑规则组成。如v 1 m s 丫s 系统，是一个用于人脸检索的图像检索系统，在该系统中就加入了有关人脸的先验知识。基于纹理和形状综合特征的图像检索技术研究但是，要想设计一个更一般的图像检索系统，采用上述三层体系结构往往难以更全面描述图像信息，如图像区域间的空间关系等。因此，需要设计新的数据表示模型。该模型应具有表示物理图像实体的基本属性，也应该具有表示可视特征、空间特征、语义特征的特征属性；既应该支持按基本属性的索引，也应该支持按特征属性的空间索引。2 相似性特征提取及其表示方法研究在基于内容的检索系统中，图像分析和识别的最终目的是对图像中的对象作定性或定量的描述。这些描述是基于图像对象的某些特征作出的。因此，需要一套特征抽取和特征描述方法。可视特征分为一般特征和面向领域的特征。前者包括颜色、纹理和形状特征等，后者与应用相关，如人脸检索、指纹检索和遥感图像检索的特定特征等。颜色是目前最广泛使用的特征之一，只要选择一种合适的颜色表示方法，在光照、视角和尺度有所改变的情况下也能实现部分图像匹配，因而常常可利用图像颜色实现信息过滤。常用的颜色表示方法有颜色直方图表示法、颜色矩、颜色集、颜色布局等。颜色表示方法的一个共同缺点是：对图像的尺度及亮度变化敏感。因此，需研究对图像的尺度及亮度变化等不敏感的颜色表示方法。纹理是图像的另一种特征，它指对象表面具有的内在特性，如云彩、树、砖、草和织物等，近来己被用于基于内容的图像检索中。纹理分析可分为两大类：一类是用统计的方法直接分析图像的灰度变化规律，如共生矩阵，可视纹理表示；另一类是在变化域进行，如小波系数分析方法等。目前，在所有检索系统中，纹理通常采用同一模式表示，缺乏按照纹理排列特性进行分类，这类表示存在较大冗余。因此，需要研究其分类及表示方法。；形状是图像的又一种特征。当图像由一个个子对象组成时i 可采用局部特征：提取与描述方法，即先分割出图像子对象并用空间描述方法描述各子对象的关系，然后用二维串等方法匹配。次度图像分割已有广泛的研究，但是针对彩色图像进行分割的工作相对较少。此外，多数分割算法仅仅能分割出对象的区域或轮，廓，而不是完整的对象。因此，除了进一步研究分割算法外，一种有效的方法是将检索模型和相似性度量进行有机结合，利用现有分割算法结果，实现对感兴趣的区域或对象进行查询。基于纹理和形状综合特征的图像检索技术研究对于每种可视化