（通信与信息系统专业论文）基于内容的图像检索研究与实现.pdf

摘要摘要随着信息化产业的飞速发展，图像信息越来越成为人们生活和工作中信息交流与服务的重要形式，使得图像数据日益剧增。如何灵活、高效的管理这些海量的图像数据，成为当前极具挑战的问题。基于内容的图像检索技术是一种有效的图像分析、管理图像数据库的方法，越来越成为研究热点。本文在分析研究基于内容的图像检索关键技术的基础上，深入研究了基于内容的图像检索的特征提取和图像相似匹配算法，以及它们各自的特点与目前存在的一些问题。简单分析了相关反馈技术及图像检索性能测试标准。实现了基于颜色的图像检索模型，着重研究了颜色直方图、颜色矩、颜色相关图等相关颜色特征提取技术。在h s v 颜色空间模型下，在不影响图像特征质量的前提下，对各个通道下颜色值进行量化，提取量化颜色直方图。运用特征向量绝对值距离算法进行图像间的相似匹配，并讨论了运用传统颜色特征进行图像检索存在的一些技术难题。基于单一图像特征不能充分表达图像内容信息，图像检索效果不佳的问题，提出了融入分形纹理信息，综合提取图像颜色特征和图像分形纹理特征的新方法。分析比较了现有图像分形维数的计算方法，验证了差分计盒方法是一个简单、准确估算图像分形维数的方法。根据当前计算图像分形维数算法特点，将图像分形维数非线性量化。综合估计图像在h s v 空间中各个颜色通道下的分形维数，提出了分形维数量化直方图的概念。实验证明运用分形维数量化直方图能够查询出具有相同图像粗糙度的图像信息，一定程度上满足了人眼对图像纹理的感知心理。本文在符合人眼感知颜色信息的h s v 颜色空间模型下，提取了颜色直方图特征，同时提取了与人类视觉感知图像纹理粗糙度紧密相关的分形维数特征，实现了基于内容的图像检索系统模型。实验证明，本文方法的图像检索结果基本符合人类查询心理，检索效果良好。检索精度较传统的基于颜色的图像检索具有很大的提高。关键词：图像检索( c b i r ) ；h s v 颜色空间；直方图：分形维数；非线性量化a b s t r a c ta b s t r a c tw i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o ni n d u s t r y ，p e o p l ec a ng e tm o l ea n dm o l ei m a g ei n f o r m a t i o n , b o t hi nl i v i n ga n dw o r k i n g ，f o rt h ei n f o r m a t i o nc o m m u n i c a t i o n t h a tm a k e st h ei m a g ed a t ai n c r e a s i n g l yr i s i n gd r a m a t i c a l l y h o wt or a p i da n de f f e c t i v em a n a g e m e n tt h e s eh u g ea m o u n t so fi m a g ed a t ab e c o m e sac h a l l e n g i n gp r o b l e m s c o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) i sa ne f f e c t i v et e c h n i q u ef o rt h ei m a g ea n a l y s i sa n dm a n a g e m e n t i nr e c e n ty e a r s ，c b i ri sav e r ya c t i v er e s e a r c ha r e aa n dh a sb e e na p p l i e di nm o l ea n dm o r ef i e l d s i nt h i sp a p e r , s o m eo ft h ek e yt e c h n i q u e si nt h ec b i rh a v e b e e ni n t r o d u c e d i ti sm a i n l ya b o u tt h ev i s u a lf e a t u r ee x t r a c t i o n , s i m i l a r i t ym a t c h i n g ，r e l e v a n c ef e e d b a c ka n dt h ep e r f o r m a n c em e a s u r e m e n to ft h ec b i r t h ef e a t u r e so ft h ei m a g e si n c l u d ec o l o r , t e x t u r e ，s h a p ea n ds p a t i a lf e a t u r ea n ds oo n t h ec o l o rf e a t u r ei sa l li m p o r t a n tv i s u a lc h a r a c t e r i s t i co fc b i i kh a sb e e ne x t e n s i v eu s e d c o l o rh i s t o g r a m ，c o l o rm o m e n ta n ds oo na r et h ec o l o rf e a t u r ee x t r a c t i o nm e t h o d s i nt h eh s vc o l o ra p a c e ，q u a n t i f i e dc o l o rh i s t o g r a mh a sb e e ne x t r a c t e d u s i n ge i g e n v e c t o ra b s o l u t ed i s t a n c ea l g o r i t h mo fi m a g em a t c h i n g ，a ni m a g er e t r i e v a ls y s t e mm o d e lh a sb e e nr e a l i z e d t h e nt h es h o r t c o m i n go ft r a d i t i o n a lc o l o rh i s t o g r a mh a sb e e nd e e p l yd i s c u s s e d t h es i n g l ef e a t u r eo fi m a g e sc a n tf u l l ye x p r e s si m a g e sc o n t e n ti n f o r m a t i o n ，m a k et h a tt h ep r e c i s i o no fc b i rb el i m i t e d t oo v e r c o m et h es h o r tp o i n t s ，f r a c t a lt e x t u r ei n f o r m a t i o ni su s e di nt h ec b i r t h ei m a g ec o l o rf e a t u r ea n df r a c t a lt e x t u r ef e a t u r ea r ec o m p r e h e n s i v ee x t r a c t e d t h ec o m p u t a t i o no fi m a g ef r a c t a ld i m e n s i o nh a sb e e na n a l y z e d m a k es r l et h a td b ci sas i m p l ea n da c c u r a t em e t h o df o rt h ei m a g ef r a c t a ld i m e n s i o ne s t i m a t i n g a c c o r d i n gt oc h a r a c t e ro fd b cm e t h o d , w ep r o p o s e dq u a n t i z e df r a c t a ld i m e n s i o nh i s t o g r a m t h ei m a g ef r a c t a ld i m e n s i o no ft h ee v e r yc o l o rc h a n n e lh a sb e e nc o m p u t e di n t h eh s vc o l o rs p a c e m a k et h ea p p r o x i m a t el i n e a rr a t i or e l a t i o n s h i pb e t w e e nt h er o u g h n e s so fi m a g e sa n dt h ef r a c t a ld i m e n s i o n e x p e r i m e n ts h o w st h a tf r a e t a ld i m e n s i o nq u a n t i f i c a t i o nh i s t o g r a m ，c a nf i n dt h es a m er o u g h n e s so fa b s t r a c tt h ei m a g e s ，a n ds a t i s f i e dt h ep s y c h o l o g yo fh u m a ns e n s a t i o na b o u ti m a g er o u g h n e s s t h ei m a g ef e a t u r e se x t r a c t e di nt h i sp a p e rb o t ha l ei na c c o r dw i t ht h eh u m a nv i s u a lp e r c e p t i o no fi m a g e si n f o r m a t i o n t h ee x p e r i m e n t ss h o wt h a t t h em e t h o do ft h i sp a p e ri ss i m i l a rt ot h eh u m a nv i s u a ls e n s ea n dc a ng e ta ne f f e c t i v es e a r c hr e s u l t s ，e v e nc a l le x t r a c tt h ea b s t r a c tm e a n so ft h ei m a g e s 1 1 1 er e t r i e v a lp r e c i s i o ni sh i g h e rt h a n仃a c l i t i o n a lc o l o rc b i r k e yw o r d s ：c b i r ；h s vc o l o rs p a c e ；h i s t o g r a m ；丹a c t a ld i m e n s i o n ；n o n l i n e a rq u a n t i f yi i i1 绪论1 绪论随着多媒体技术及计算机网络等现代信息产业的迅速发展，人们在工作和生活中越来越多的通过图像、视频等多媒体信息作为信息交流与服务的载体，使得多媒体信息数据呈现爆炸式增长。在大型多媒体数据库、计算机视觉以及模式识别等相关技术的发展推动下，基于内容的图像检索技术应运而生，越来越成为现代研究热点【l j 。基于内容的图像检索技术是计算机图像处理技术与数据库技术相结合的产物，涉及了多个学科和领域，综合运用了图像处理、图像理解、计算机视觉、模式识别等多学科的相关理论，充分汲取了计算机图形学、认知科学、用户模型、信息库系统、数据库管理系统以及信息检索等领域中的启示，并不断引入新的媒体数据表示和数据模型，有效提高查询处理算法和可视化查询接口效率及其精准度，以致力于计算机对图像的鲁棒性理解。本文重点研究了如何有效提取图像底层的视觉特征信息，通过相关相似匹配公式，获得图像特征信息间的相似度，高效准确的实现基于内容的图像检索相关技术。1 1基于内容的图像检索研究背景与意义早在2 0 世纪7 0 年代，在大规模数据库系统和计算机视觉技术两大领域的发展推动下，图像检索技术业已成为一个非常活跃的研究领域【2 】。由于图像检索在数据库系统和计算机视觉两大领域中的研究应用不尽相同，因此他们的研究方法也各有侧重，前者的研究运用基于文本( t e x t b a s e d ) 的方法，后者则侧重基于视觉( v i s u a l b a s e d ) 的方法。基于文本的图像检索技术( t e x t b a s e di m a g er e t r i e v a l ，t b i r ) 主要是对图像进行人工分析，将图像的内容特征、物理特征等用关键字人为标注、索引，然后运用基于文本的数据库管理系统( d b m s ) 进行关键字搜索，本质上属于“以文找文 的信息检索模型。2 0 世纪9 0 年代初期，随着大规模数据库在数字图像存储的运用，基于文本的图像检索技术越来越不能满足庞大的多媒体数据库的检索需求【3 】，越来越成1 绪论为信息检索的羁绊。首先，人工标注图像信息工作繁重，效率低下，随着图像数据的海量剧增，来源的日益广泛，几乎变成了不可能完成的任务；其次，人为分析、标注图像信息具有很大的主观性，因为不同的人对同一副图像有着不同的理解，甚至即使同一人在不同的环境下对同一幅图像的理解也不尽相同；再次，仅仅用少量的、简单的关键词等人工注释的方式，来表述丰富的图像内容信息，总是捉襟见肘，相形见绌，不能充分表达图像的真实内容。基于内容的图像检索技术( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 应运而生，该技术是通过机器对图像内容信息进行自动分析，直接根据获取的图像的视觉特征信息建立索引，并通过图像特征向量间的相似度量进行图像相似性匹配，从而实现图像的检索【4 】。同时基于内容的图像检索系统一般具有可视化的操作界面，有利于人机交互和信息反馈，使用户方便的构造查询、评估和改进查询结果。基于内容的图像检索涉及多个学科门类，应用前景十分广阔。诸如：卫星遥感、数字图书馆、天气预报、医疗卫生、公共安全监测以及军事等领域，都有广泛的应用需求【5 】。但目前该领域的许多关键技术尚不成熟，存在很多亟待解决的问题，故此，基于内容的图像检索仍然有极为广阔的研究空间，而且随着研究的深入，其理论价值和应用成果必将对信息产业的发展有积极的促进作用。1 2基于内容的图像检索的研究现状自基于内容的图像检索技术被提出以来，就受到了国内外学术组织和研究机构的重视和关注，纷纷投入了大量的人力和物力进行研究和开发，并取得了令人瞩目的研究成果。该技术主要对所提取的图像内容特征信息进行自动分析、索引、匹配，查找出符合用户需求的图像结果。克服了传统的基于文本图像检索的固有缺点。图像的特征信息一般分为底层的视觉特征和高层的语义特征【6 1 。底层视觉特征一般可由计算机自动获取，主要有颜色特征、纹理特征、形状特征以及相关空间特征等基于视觉感知的特征信息；高层语义特征是对图像内容进一步描述，是人脑对图像的抽象思维，难以用简单的机器语言来描述，由此产生了底层视觉特征与高层语义之间的“语义鸿沟。21 绪论传统的基于内容的图像检索系统，一般仅提取图像的某一性质特征，不能完全表达图像的所有特征信息，因此检索精度有限【7 j 。近年来，随着对基于内容的图像检索的研究深入，众多学者提出了综合多特征的研究方法，并取得了一定的研究成果。综合特征的方法，融合了图像的不同特征信息，检索精度一般高于单一特征的检索结果，具有很高的研究和探索价值。本文就是基于综合特征的研究，将分形纹理特征与图像颜色特征作为图像检索的分析依据。将彩色图像由真彩色r g b 颜色空间转换到与人眼感知图像颜色相近的h s v 颜色空间中。为减小存储空间和计算复杂度，将颜色特征在不影响图像特征提取质量的前提下，对图像的颜色特征进行量化降维。并加入描述图像纹理特征信息，而且与人眼感知图像纹理粗糙度相符的分形维数特征。为便于进行图像间相似匹配计算处理，对分形纹理特征进行非线性量化，获得分形维数量化直方图。经试验证明，本文方法较传统颜色直方图方法的图像检索效果有明显改善，图像效果与人眼感知相近。1 3国内外经典c b i r 系统介绍目前国内外研究者已经开发出了多种用于图像检索的系统，甚至有的已经成为特定应用领域的商用图像检索系统，另外许多网站也有d e m o 为研究与探索基于内容的图像检索提供了便利。以下介绍几种典型的基于内容的图像检索系统，并简述它们的特点：1 3 1q b i c 系统q b i c ( q u e r yb yi m a g ec o n t e n t ) 是由i b m 公司a l m a d e n 研究所开发的第一个基于内容的商用软件包【8 】，可完成静态图像和动态影像的检索。该系统能具有良好的人机交互界面，可实现颜色、纹理、形状等多特征检索。颜色特征采用颜色矩、颜色直方图等特征提取方法，并提供颜色空间位置分布和百分比情况查询；纹理特征采用综合了对比度、粗糙度、方向性的t a m u r a 纹理表示法；形状特征通过面积、圆周率、离心率、主轴方向以及一组代数不变矩来表示。同时该系统还支持系统内的标准样图检索、手绘草图或者扫描输入图像检索等方式。在计算图像间相似度的过程中，采用模拟人眼观测的匹配距离算法，来提高图像检索效果。31 绪论黜是最早运用于基于内容的图像检索系统，技术相对成熟，功能比较全面，对后期基于内容的图像检索技术的发展具有深远的影响。目前该系统应用于俄罗斯联邦的艾米塔吉博物馆中艺术品的w e b 图像检索。1 3 2v i r m g e 系统v i r a g e 系统是由v i r a g e 公司在q b i c 的基础上开发的基于内容的图像检索引擎，同样的选择了颜色、颜色分布、纹理、形状等特征。同时该系统还支持特征属性的任意组合查询，用户可以调整各个特征属性的权重，进行信息反馈来提高检索结果。j e f f e r y 等【9 】还提出了管理图像的开放式框架。将图像视觉特征分为通用性特征和专用性特征两类，根据用户不用的应用需求，将图像的所有相关特征添加到一个开放式框架结构内，以便于查询检索。1 3 3p h o t o b o o k 系统p h o t o b o o k 是由美国麻省理工学院的m i t 实验室开发的，基于图像的纹理特征、形状特征、人脸特征的交互式图像浏览和查询系统【10 。实用于图像的纹理识别、形状识别、人脸识别以及大脑形状识别等方面。其中基于人脸和大脑形状识别是p h o t o b o o k 的重要研究应用，其纹理、形状识别则相对比较单单。后期的p h o t o b o o k 还加入了相关反馈( r e l e v a n c ef e e d b a c k ，r f ) 技术，以提高交互式查询的语义检索信息，通过相关反馈以及机器自动学习，分析选择出最好的匹配结果。1 3 4v i s u a l s e e k 和w e b s e e k 系统v i s u a l s e e k 和w e b s e e k 系统是由美国哥伦比亚大学开发的基于内容的图像检索系统【1 1 】1 1 ，v i s u a l s e e k 主要利用图像的颜色特征及其空间关系特征，并加入了基于小波变换的压缩域纹理特征，实现图像检索功能。在相似匹配计算过程中，引入了二叉树索引的方法以便于进行快速索引。而w e b s e e k 是一个面向w w w 协议搜索引擎，可以支持分布式图像数据存储的网络图像检索，同时支持图像注释和图像内容等检索方式。1 3 5m a r s 系统m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 系统是由美国u u i c 开发41 绪论的图像检索系统【1 2 】。该系统综合了计算机视觉、图像数据库管理系统以及信息检索等多领域的相关技术知识，将视觉特征信息组织成具有特定意义的检索体系，根据用户需求和实际应用动态调整图像特征信息进行检索，并将相关反馈技术应用到检索的整个过程。国内许多学者也做了大量的研究，并取得了一定的研究成果。中国科学院计算机技术研究所和北京图书馆共同开发了可以在i n t e r n e t 对图像和影像内容检索的m i r e s 系统【l 引。清华大学研制了基于i n t e r n e t 图像查询引擎一一i m g r t e r 系统 1 4 】，该系统系面向多媒体素材库，融合了图像的各种通用特征来实现图像检索。国内其他大学院校和研究机构，在基于内容的图像检索技术方面也进行了相应的研究，同样取得了斐然的成绩。如浙江大学、国防科技大学、复旦大学、中科院模式识别与智能控制研究所、微软亚洲研究院等。1 4本文主要工作及论文结构安排本文主要研究基于图像底层视觉特征信息进行图像检索的相关技术，分析了颜色与分形方法表述纹理的图像特征信息，提出了一种新的综合特征的图像检索方法，并实现一个图像检索系统。本文主要研究工作及论文组织结构如下：第一章对基于内容的图像检索技术的研究背景、研究现状以及其研究目的与意义做了简单阐述，并介绍了国内外部分经典c b i r 系统模型及其特点。最后概括本文的主要工作及论文结构安排。第二章对基于内容的图像检索系统的关键技术做了相关介绍，包括颜色特征及其空间模型叙述，形状特征，纹理特征及其表述方法，图像间的相似匹配计算方法，检索过程中的相关反馈技术，以及系统性能的测量标准。第三章介绍了基于颜色特征的检索系统的特征提取，选择合适的颜色空间模型、颜色特征提取方法，实验总结基于颜色特征的图像检索的特点及其改进。第四章针对分形纹理特征能够描述图像粗糙程度的特性，提出了将分形纹理特征作为基于内容的图像检索系统的特征信息。并根据当前图像分形维数算法的实验特点，将分形维数非线性量化，提出了分形维数量化直方图的概念。实验结果表明分形维数能够区分图像的光滑粗糙特性，分形维数量化直方图能够运用到基于纹理的图像检索当中，检索出图像中具有人类感官特性的粗糙度信息。51绪论第五章设计实现了一个综合特征的基于内容的图像检索系统。综合了图像的颜色特征与描述图像纹理信息的分形维数特征，融合成图像的特征向量直方图，运用m i n k o w s k y 提出的绝对值距离进行相似匹配。实验结果显示，基于本文方法的图像检索系统，具有良好的检索效果。检索精度明显提高，检索结果与人眼感知图像信息的查找结果近似，加强了计算机对图像的鲁棒性理解。第六章为文章结论与展望，总结了本文主要的相关研究工作，并对未来基于内容的图像检索相关技术进行预测分析。62 基于内容的图像检索关键技术2 基于内容的图像检索关键技术基于内容的图像检索系统主要有目标图像输入、图像特征提取、特征相似匹配、检索结果显示四部分组成，还有一些系统为了增加人机交互性，添加了信息反馈模块，以便根据用户需要，通过若干反馈和机器学习的过程，进一步精确查询15 1 。典型的基于内容的图像检索流程框架如下图：图2 1基于内容的图像检索流程图在图2 1 中我们可以看出，查询图像输入、检索结果显示以及相关信息反馈属于人机交互界面模块部分。图像的特征提取用于提取图像库中所有图像及目标图像的相关特征信息。图像库中所有图像经过特征提取，与图像特征库建立索引机制，预处理图像库内信息，以便于进行快速相似匹配计算。相似匹配通过特定的数学方法计算目标图像与图像库中所有图像间的相关距离，可以确定目标图像与图像库中图像的相关程度，给图像显示模块提供最相近的初步检索结果。然后经过人机交互反馈信息，做进一步的精确查找。对于检索结果，可以根据查准率和查全率等测试标准，衡量检索系统的优劣。下面就对这些关键技术以及检索性能评测进行详细说明和分析。72 基于内容的图像检索关键技术2 1图像相关特征图像特征的提取与表达是基于内容的图像检索技术的基础，图像特征信息选取的好坏关系到整个图像检索系统的性能。目前我们一般研究提取图像的底层的视觉特征信息，来进行基于内容的图像检索。图像的底层特征信息主要包括：颜色特征信息、纹理特征信息、形状特征信息以及空间特征信息等。2 2 1颜色特征颜色特征是缤纷世界的最主要特征信息，同时也是人类视觉获取外界信息的最重要的途径，具有最直观，最明显的显著优点。而且颜色特征对图像分辨率、尺寸、旋转等变换不敏感，被广泛应用于图像分析、处理的相关技术中【1 6 】。现有颜色特征的提取方法包括：颜色直方图( c o l o rh i s t o g r a m ) 、颜色矩( c o l o rm o m e n t ) 、颜色相关图( c o l o rc o r r e l o g r a m ) 、颜色聚合向量( c o l o rc o h e r e n c ev e c t o r s ，c c v ) 以及颜色集( c o l o rs e t ) 等。其中颜色直方图和颜色矩是针对整幅图像的全局特征信息，丢失了图像中的空间分布信息特征，但因其算法简单而应用颇广；颜色相关图以及颜色聚合向量等特征在提取颜色直方图的同时，携带了图像中颜色的空间分布特征信息，但是该方法计算复杂，存在运算效率偏低的问题。2 1 2纹理特征纹理特征是独立于颜色信息，来表述物体表面所具有的内在特性的特征信息，它包含了关于物体表面结构的组织排列以及与周围环境的关系【l7 。，基于图像的局部信息来分析图像内容。一般分为规整性纹理结构和随机性纹理结构，分别运用纹理的结构特性和统计特性来对其进行分析、提取。结构特性分析用于描述纹理分布有规律、重复性的规整纹理特征。通过提取图像中的纹理基元，并定量分析其排列分布规律，以图像中局部纹理推导出全局纹理特征信息。具体方法包括形态学算子法和边界图法等。统计特性分析用于描述纹理特征是通过数学统计方法来表述图像灰度等级分布的随机属性来实现的。具体分为数学统计、频域分析、模型分析。数学统计分析直接运用统计方法表述纹理特征，包括共生矩阵和t a m u r a纹理描述法。上世纪7 0 年代h a r a l i c k 最早用共生矩阵法，来表述图像灰度间的方向、相邻距离关系的变化信息，提取出其中的能量、相关性、方差、熵等基82 基于内容的图像检索关键技术于统计的数学特征值来描述纹理信息。基于人眼对纹理特征的感知心理研究，t a m u r a 1 8 】提出的由对比度( c o n t r a s t ) 、粗糙度( c o a r s e n e s s ) 、方向性( d i r e c t i o n a l i t y ) 、线像性( 1 i n e 1 i k e n e s s ) 、规整度( r e g u l a r i t y ) 和粗略度( r o u g h n e s s )六个分量组成的纹理特征表述法。我们一般比较常用表征纹理统计分布信息的对比度、表征纹理粒度大小的粗糙度以及表征纹理走向的方向性来描述纹理特征信息。频域分析通过将图像由空间域变换到频域进行纹理特征分析、提取，包括f o u r i e r 变换法【1 9 1 、小波变换法【2 0 】、g a b o r 变换法【2 1 1 等。通过f o u r i e r 变换，提取图像功率谱来描述纹理特征。小波变换法则用小波变换中多分辨率系数间的相互关系来描述纹理特征。g a b o r 变换运用不同的滤波方法，描述不同的纹理特征。模型分析由特定的模型，少量的参数来表述图像纹理特征，如随机场模型、分形模型等。典型的随机场模型有：马尔可夫随机场模型、g i b b s 随机场模型以及布朗运动随机场模型等。分形模型运用p e n t l a n d 提出的自然物体表面大部分属于随机性纹理结构，而其映射的图像灰度分布具有分形特性为依据，由分形维数来表示图像纹理粗糙度的方法。2 1 3形状特征形状特征能够精确表达物体独有特征，成为c b i r 系统的另一重要特征。主要分析方式有基于边缘检测和基于区域检测等吲。基于边缘检测的侧重点在图像内物体的边界轮廓特性，提取其形状的周长、圆心率、角点等信息。分为直接提取边界特征的方法，包括h o u g h 变换和边界直方图法；f o u r i e r 描述符法，将图像内的边界封闭特性和周期特性进行f o u r i e r变换，提取其形状描述符；边界直方图法，用c a n n y 边缘检测算子提取形状边界特征【2 3 】等。基于区域检测侧重目标物体形状的整体区域，通过形状内部的颜色分布信息如面积、圆度以及高阶不变矩等来描述形状特征。主要有几何不变矩法，如h u 不变矩【2 4 】；小波形状描述符法【2 5 】等。形状特征不能保证放射变换的鲁棒性，其特征提取是个难点，目前技术仅对一些简单的具有某种特性的形状加以识别。其他的图像内容特征信息包括：空间特征，主要是表述图像中物体的位置92 基于内容的图像检索关键技术分布信息，通过相应的图像分割技术，将图像划分成几个不同特征的区域，综合分析图像中各个区域的特征信息，进行图像检索。语义特征信息，该特征属于图像的高层信息，目前很难用计算机语言表达该层图像特征，即所谓的“语义鸿沟 。基于以上图像特征分析，本文对综合特征的图像检索研究只提取了颜色特征和分形纹理特征，具有代表性的图像底层视觉特征信息，通过颜色直方图和分形维数量化直方图进行相似匹配，从而实现基于内容的图像检索系统。2 2相似匹配计算获得图像的特征信息后，我们就要通过特定的数学公式计算目标图像与图像库中图像的相关距离，找到与目标图像距离最小，即相同或相近的若干图像。此时合适的相似匹配算法的选择直接影响到图像检索系统的性能，算法的复杂度直接影响系统的响应时间。基于内容的图像检索中常用的相似匹配算法有m i n k o w s k y 距离算法、直方图相交法、二次式距离法等。下面对这些相似匹配算法做简单介绍：2 2 1m i n k o w s k y 距离算法m i n k o w s k y 距离算法公式如( 2 1 ) ：广糟 彤( 彳，召) = iea i 一吖l( 2 1 )lf _ 1j其中，彳，b 为特征向量，刀为特征向量维数，r 为范数。对于特征向量间的特点，我们可以在不同向量加入相应的权值，来度量各个向量间的侧重度。则m i n k o w s k y 距离可表示为：厂刀 彤l r ( a ，b ) = l w f 卜训( 2 2 )l 扛lj在m i n k o w s k y 距离算法中，如果范数r = 1 ，则t ( 彳，b ) 为向量( a ，b )的城区距离( 绝对值距离) ；范数，= 2 ，则t ( 彳，b ) 为向量( a ，b ) 的欧几里得距离( 欧氏距离) 。分别表示为如( 2 2 ) 和( 2 3 ) 式：1 02 基于内容的图像检索关键技术厶( 么，b ) = w f i 呸一岛( 2 3 )m i n k o w s k y 相关距离法通用性较强，算法简单明了。对于多特征向量间的相似匹配效果较好，能够辨别特征向量间的特征关系与重要度，在基于内容的图像特征匹配中具有良好的检索性能。2 2 2直方图相交法计算颜色直方图相关特征信息间的相似关系，直方图相交法( h i s t o g r a mi n t e r s e c t i o n ) 是一种简单快捷的计算图像间相似度的方法【2 6 】。设目标图像为q ，图像库图像为m ，直方图相交法可表示如( 2 4 ) 式：m i n ( q ，鸠)日= j 生了1 _幽( q f ，鸩)i _ oi = o( 2 5 )其中，刀为颜色值的最大等级，h “0 ，1 ，h 越小，则q 和m 间差异越大，日越大则q 和m 间越相近。实际运用中可使d = 1 一日来进行计算。2 2 3二次式距离二次式距离法一般用于颜色直方图的图像检索中，引入了不同颜色值之间的相似矩阵m 【2 7 】。其数学表达如( 2 5 ) 式：d ( a ，b ) = ( 彳一b ) 1m ( a b )( 2 6 )其中m 是一个对称矩阵，每个元素代表向量彳和b 中各个元素之间的相似度。该算法加入了颜色间的相关信息，运算结果更加符合人眼视觉感知。只是相关矩阵m 的提取计算相对复杂许多。也有学者将其他特征向量间距离计算公式运用到图像检索中特征的相似匹配中，如特征向量间的相关系数、散度、相对熵等方法。基于这些算法在图像4z巧1_晓岛一口11i瑚疗甜。l=、84，i 一，乙2 基于内容的图像检索关键技术相似匹配中的性能有限，对具体算法过程不于赘述。以上的相似匹配算法各有优劣，实际应用中我们一般根据提取的特征向量的性质来选择特定的相似匹配算法，来模拟人眼对相关距离的感知度量。基于本文运用颜色直方图法和纹理的分形维数描述直方图法提取图像的特征信息，我们可以首选颜色直方图相交法，因为颜色直方图相交法和城区距离法是理论结果一样，因此我们在相似匹配算法上选择了绝对值距离法。2 3相关反馈技术由于“语义鸿沟”的存在，仅仅依靠计算机提取的图像底层视觉特征，往往不能获得图像的高层抽象内容，使得检索结果不能达到我们的预期效果。针对这些问题，一些学者在基于内容的图像检索系统中引入了基于注释信息的相关反馈技术【2 踟( r e l e v a n c ef e e d b a c k ，r f ) 。相关反馈是用户通过输入相关信息、调整权重等方式，经过反复信息交互和机器学习来实现的。其主要目的有：经过相关反馈，提高检索精度，达到满足用户需求的检索结果，实现查询扩展功能；在用户不知预期结果的情况下，经过相关反馈，根据用户输入信息，缩小检索范围，提示用户的预期检索结果，实现查询修正的功能。相关反馈的形式很多，一般根据用户需要，有所侧重的引入相关反馈。由于不同用户对图像的理解不同，相关反馈对主观判断具有相当强的依赖性，故此其获得的反馈效果也有很大不同。2 4检索效果测试关于基于内容的图像检索系统的性能评价，还没有一个定性的评判标准，目前主要的评判方法基于查准率和查全率的检测【2 9 1 ，其他的检测标准还有检索系统的响应时间、匹配百分比等。查准率定义为在一次的检索过程中，系统检索结果中相关图像的数目占系统检索结果的所有图像的数目的百分比：查准率= 薏嚣黼。( 2 7 )1 22 基于内容的图像检索关键技术查全率定义为在一次的检索过程中，系统检索结果中相关图像的数目占图像库中所有相关图像的数目的百分比：查全率= 纛蒸鞣瓣枷。( 2 8 )其中相关图像的评判主要有主观判断和量化判断，主观判断主要是人为对图像分类，具有相当大的主观性；量化判断将图像预先客观的加以分类，评判标准客观，但有时又太过刻板。故此现有对基于内容的图像检索系统性能评价存在主观意愿，没有一个标准、通用的评判法则。本文的基于内容的图像检索研究所对应的图像库是c o r e l 图像数据库中的1 0 0 0 幅图像数据。已经预先对其量化：非洲人、海滩、汽车、建筑、恐龙、大象、骏马、鲜花、雪山以及食物1 0 个具有语义特征类型，故此我们运用量化判断方法，定性、客观的评价本检索系统。2 5本章小结本章主要是关于当前基于内容的图像检索系统所涉及到的相关技术问题。介绍了基于内容的图像检索系统的组成模块，以及检索过程实现。重点研究了基于内容的图像检索系统的特征种类，及其各自的提取方法。讨论分析其各自的特点，以及对于基于内容的图像检索系统的表现形式。然后介绍了基于内容的图像检索系统的相似匹配计算方法，讨论分析它们的各自的优劣。最后简单分析了相关反馈的原理及其实现，以及基于内容的图像检索系统的性能检测标准。通过以上讨论，我们对基于内容的图像检索相关技术有了大概了解。为本文相关方法的提出，提供了一定的理论基础。启发我们根据本文需要选择适合本文方法的图像特征及其提取方法，并通过相关相似度度量方法，最终实现基于内容的图像检索系统。1 33 基于颜色特征的图像检索3 基于颜色特征的图像检索研究颜色特征信息是人类视觉获取外界信息的最重要的信息源，是物体最直观、最明显的特征。而且颜色特征分析图像，具有对图像的分辨率、尺寸、旋转等变换不敏感的诸多优点，表现出相当强的鲁棒性，是描述图像内容信息最简单、最有效的途径，成为图像分析、处理的最重要的特征信息。基于颜色的图像检索系统主要关注颜色空间模型的选取、颜色特征的提取、颜色特征的量化等相关技术问题。本章主要研究分析了特定颜色空间下，颜色特征的提取技术及其量化方法，运用城区距离法，计算图像间相似程度，并实现在h s v 空间模型下，颜色直方图的图像检索。3 1颜色空间特征图像中的颜色特征信息，是在特定的色彩空间中进行的。每一种色彩空间模型都有自己的特点，研究者往往根据自己的需要来选择自己所用的空间模型。常用的颜色空间有：r g b 颜色空间模型、h s v 颜色空间模型、c m y k 颜色空间模型、l a b 颜色空间模型等。其中r g b 空间模型有红色、绿色、蓝色三基色以及它们的相互叠加组成的基本模型。h s v 空间模型由色调、饱和度、亮度组成，用于模拟人眼感知颜色的特性。c m y k 空间模型基于印刷技术中青色、品红、黄色油墨叠加的基础上加入黑色组成。l a b 空间模型由国际照明委员为( c i e ) 推荐的基于心理映射的模型，三表示心理明度，g 和b 均为心理色度。下面将对r g b 颜色空间模型和本文采用的h s v 颜色空间模型以及两个空间模型间的转换进行详细介绍。3 1 1r g b 颜色空间r g b 颜色空间是根据人眼锥状细胞对光线中的红( 尺) 、绿( g ) 、蓝( b ) 三基色敏感的特性提出来的。被大多数的图像采集设备都采用该颜色空间模型，其他的颜色空间模型都由该模型转化而成。r g b 颜色空间模型在笛卡尔坐标系的基础上建立起来的。三个坐标轴分别代表足、g 、b 相应的值，原点处r 、g 、b 三色值均为0 ，代表黑色；r 、g 、b三色值均为2 5 5 ，代表白色；黑色点至白色点间的虚线，它代表由黑到白的灰1 43基丁颜色特7 j f 的图像检索度值；立方体内其他颜色均有r 、g 、b 三色不同的值叠加组合而合成，共计：2 5 6 2 5 6 2 5 6 = 16 7 7 7 2 16 种颜色。r g b 颜色空问模型如f 图所示。i 到3 1r g 曰颜色空间模型i 纠在实际j 逝用中为方便处理，我们也町以将r g b 真彩色图像变换到其灰度图像，求取图像中每个像素点的r g bi 个颜色分量的平均值：g r a y ( “) = 堕丝掣( 3 1 )灰度图像凶其简巾实刚，而成为比较普遍的表征图像特征的一种力工i = 。将图像从r g b i 维空间，变为：维数值空间，以便于数值处理。例如c o r e l 图像库中一幅鲜饨语义h 像，媾原始彩色图像和耿瞍图像为： 邀幽3 2原始彩色图像15幽3 - 3狄度图像3 基于颜色特征的图像检索其三色分量图像分别为：r 空间分量图g 空间分量图b 空间分量图图3 4r 各个色彩分量图每个分量图中色亮的部分则该分量在此处取大值，红色分量在花瓣中其值较大，因此r 分量图中花瓣部分颜色就亮；g 分量图中花瓣部分不含绿色，颜色就暗，叶子部分绿色值较大，表现出亮色：蓝色成分在整幅图像没有较大的值，其小值部分也仅仅参与了颜色成分叠加，因此整幅b 分量图颜色呈现较暗色。第3 2 1 节图像的颜色直方图中将会验证以上内容。由于r g b 颜色空间是基于设备采集的颜色模型，为非均匀颜色空间，该空间模型下人眼获取颜色特征信息不够直观，而且该空间中颜色差异不能用相关距离运算表示。而h s v 颜色空间模型则克服了以上缺点。3 1 2h s v 颜色空间h s v 颜色空间能够直接反映了人类视觉观察色彩的方式，被广泛应用于计算机视觉模拟人眼感知颜色。该颜色空间由色调( h u e ) 、饱和度( s a t u r e a t i o n ) 和亮度( v a l u e ) 三个属性组成。h s v 颜色空间模型是在圆柱坐标系的基础上建立起来的。方位角、径向距离、高度分别由i - t , s 、v 来表示，色调日代表颜色成分的0 。3 6 0 0 ，r 为0 0 、g 为1 2 0 0 、b 为2 4 0 0 ；饱和度s 代表颜色深浅程度，通常用浓度百分比表示，浓度0 表示无色状态，浓度1 0 0 表示色彩达到饱和；亮度矿代表颜色的明暗程度，通常也用浓度百分比表示，浓度0 表示最暗的黑色，浓度1 0 0 表示最亮的白色。日、s 、y 三种属性组成圆锥形状，圆锥内其他颜色均有日、s 、y 的不同值的叠加合成。h s v 颜色空间模型示意图如下图所示。1 63 基于颜色特征的图像检索n图3 5册y 颜色空间模型图图3 2 中图像的h s v 颜色分量图为：h 空间分量s 空间分量v 空间分量【】r 】图3 6册y 各个分量图与r g b 色彩分量一样，图像亮色部分表示该处颜色分量值大。根据h s v 颜色空间分量的意义，h 空间分量图中，亮色部分表示红色色调，但是又不含绿色成分的红色，暗色部分表示含有绿色成分，或者色调取值小的部分，在稍亮色部分表示含有蓝色成分部分；s 空间分量图中亮色部分表示该处颜色程度较深，暗色部分表示该处图像中颜色成分值较小；v 空间分量图表示图像的明暗程度，整幅图像亮度适中，没有过亮色。基于h s v 颜色空间模型分析图像颜色特征，符合人眼感知颜色的特性，具有其独特的优点：亮度信息独立于图像色彩信息而存在；色调和饱和度分量与人眼感知色彩密切相关等。h s v 颜色空间模型有利于计算机模拟人类视觉感知图像色彩进行相关处理，故此本文采用该模型进行基于内容的图像检索。下面1 73 基于颜色特征的图像检索介绍r g b 颜色空间与h s v 颜色空间的相互转换。3 1 3r g b 与h s v 颜色空间互换任何颜色空间都是以r g b 颜色空间为理论依据，各个颜色空间之间可以相互转换，实际应用中我们根据需要选择合适的颜色空间下，提取我们需要的颜色特征。r g b 颜色空间转换成h s v 颜色空间的转换公式如下。对于给定的r g b 颜色空间值( r ，g ，6 ) ，其中，g ，b 0 , 2 5 5 。我们设。m a x v = m a x ( r ，g ，曰) ；m i n v = r n i n ( r