（计算机科学与技术专业论文）图像检索中的相关反馈和分类算法研究.pdf

图像榆索中的相关反馈和分类算法研究 摘要 随着互联网及多媒体技术的飞速发展，数字图像数量快速增长。如何快速、 有效地从海量图像数据库中检索出所需要的图像已显得日益重要，这也使得图像 检索技术受到广泛关注。9 0 年代出现的基于内容的图像检索直接利用图像的底 层视觉特征进行检索，有效地提高了图像检索的精度和效率，为图像检索提供了 广阔的应用领域。而相关反馈和图像分类作为图像检索中的重要技术，更是成为 基于内容图像检索领域中的研究热点。 粗糙集理论是当前处理模糊和不确定性问题的重要数学工具，它的优点在于 能够从客观数据中在无需外界额外条件的情况下推导出问题的内在规律，近年来 已在图像检索领域得到广泛应用。论文着眼于这一点，以基于内容的图像检索为 主线，粗糙集为理论基础，对相关反馈和图像分类方法作了深入研究。 相关反馈机制有效地解决了图像检索中的“语义鸿沟问题，大大提高了系 统的检索性能。本文在对相关反馈方法进行总结分析的基础上，针对相关反馈方 法的研究现状，提出一种基于粗糙集的相关反馈方法。该方法利用不完备熵和粗 糙熵相结合进行属性约简来归纳用户感兴趣的检索特征，实现了图像特征的降 维，减少了相似性匹配的计算量，提高了图像检索的效率；对化简后的特征，通 过调整其权重来突出用户感兴趣的内容进行相关反馈检索，进而提高了检索的准 确率。文章最后通过实验证明了所提出的方法具有较好的检索性能，并与r u i 的方法相比较，查准率和查全率都有显著提高。 图像分类是图像检索的基础，有效的图像分类技术是实现图像快速检索的有 效途径。本文将粗糙集的隶属度函数引入到分类方法中，利用隶属度函数来计算 属性集等价类的隶属度，无需求核值表，就可得到分类规则的最少条件属性集， 进而获得所有的分类规则。文章最后通过实验证明了所提出的分类方法具有较好 的分类性能，与传统的贝叶斯分类方法进行了比较，查准率有较大的提高。 本文设计并实现了一个基于内容的图像检索原型系统，验证了本文提出的算 法，也为进一步研究工作提供了实验平台。 关键词：基于内容的图像检索；相关反馈；图像分类；粗糙集 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e ta n dm u l t i m e d i at e c h n 0 1 0 9 y t h ea m o u n t o fd 嘲gt a l i m a g ei s i n c r e a s i n gr a p i d l yh o wt or e t r i e v en e c e s s a r yi m a g ef r o m1 a r g e a m o u n ti m a g ee f f i c i e n t l ya n dq u i c k l yh a sb e c o m ei n c r e a s i n g l yi m p o r t a n t t h e r e f o r e r e s e a r c ho ni m a g er e t r ie v a li s a t t r a c t i n gm o r ea n dm o r ea t t e n t i o n c o n t e n t - b a s e d l m a g er e t r i e v a lw a sp u tf o r w a r di n19 9 0 s ，a n di tp e r f o r m sr e t r i e v a la c c o r d i n gt ot h e v l s u a lf e a t u r e so fi m a g e s c o n t e n t - b a s e di m a g er e t r i e v a li m p r o v e st h e p r e c i s i o na n d e f n c i e n c yo fi m a g er e t r i e v a l ，w h i c hp r o v i d e si tw i t ha c a p a c i o u sa p p l i c a t i o nf i e l d s a sk e yt e c h n i q u e so fi m a g er e t r i e v a l ，r e l e v a n c ef e e d b a c ka n di m a g ec l a s s i f i c a t i o n h a v eb e c o m et h eh o t s p o ti nc o n t e n t b a s e di m a g er e t r i e v a lf i e l d s a sa n1 m p o r t a n tm a t h e m a t i c a lt o o l f o rd e a l i n gw i t hi n e x a c t ，u n c e r t a i n t v o r v a g u ek n o w l e d g e ，t h ea d v a n t a g eo f r o u g hs e tt h e o r yi st h a ti tc a no b t a i nt h ee s s e n t i a l r u l eo ft h ep r o b l e mf r o ma c t u a ld a t aw i t h o u to t h e ri n f o m a t i o n ，w h i c hm a k e s i th a s b e e nw i d e l ya p p l i e di nt h ef i e l do fi m a g er e t r i e v a li nr e c e n t y e a r s e m p h a s i z i n go n t h i sc h a r a c t e r ，t h et h e s i sm a k e sd e e p l yr e s e a r c ho nr e l e v a n c ef e e d b a c ka n di m a g e c i a s s l n c a t i o nw i t hr o u g hs e ta st h e o r yb a s i sa n dc o n t e n t b a s e d i m a g er e t r i e v a la s r e s e a r c hb a c k g r o u n d r e l e v a n c ef e e d b a c kh a se f f e c t i v e l ys o l v e dt h e p r o b l e mo fs e m a n t i cg a pi n 姗a g er e t r i e v a la n di m p r o v e dt h e s y s t e mr e t r i e v a l p e r f o r m a n c eg r e a t l y b v s y s t e m a t i c a l l ys u m m a r i z i n ga n da n a l y z i n ge x i s t i n gr e l e v a n c ef e e d b a c ka i g o r i t h m s t h i st h e s i sp r e s e n t sam e t h o db a s e do nr o u g hs e t t h i sm e t h o dr e d u c e st h ei m a g e t e a t u r e sw i t ht h er e le v a n c ek n o w l e d g eo fe n t r o p y ，a n dt h ec o m p u t eo fc o m p a r a b i l i t v m a t c h m g ，w h i c hi n c r e a s e st h ei m a g er e t r i e v a le f f i c i e n c ya sa r e s u l t b ya d j u s t i n gt h e f e a t u r e - w e i g h t i n g ，t h em e t h o de m p h a s i z e st h ei n t e r e s t i n gf e a t u r et or e t r i e v e a g a i n ， w h i c he n h a n c e st h er e t r i e v a lp r e c i s i o n e f f e c t i v e n e s so ft h ea l g o r i t h m s t h er e s u l t so ft h ee x p e r i m e n t ss h o wt h e i m a g ec l a s s i f i c a t i o ni st h eb a s i so fi m a g er e t r i e v a l ，a n de f f e c t i v ec l a s s i f i c a t i o n m e t h 。dc a na c h i c v et h e r a p i di m a g er e t r i e v a l t h et h e s i si n d u c t s m e m b e r s h i p f u n c t i o ni n t ot h ei m a g ec l a s s i f i c a t i o n w i t h m e m b e r s h i pf u n c t i o n ，w ec a nc a l c u l a t e t h em e m b e r s h i pv a l u eo fa t t r i b u t es e t ，a n d a t t a i na l lt h ed e c i s i o nr u l e so nd e c i s i o n t a b l ea n dt h em i n i m a lr u l es e to fr e d u c e dc o n d i t i o na t t r i b u t es e tw i t h o u t c o r e v a l u e d i i l 图像榆索中的相天反馈和分类算法研究 c o m p a r e dw i t hc o n v e n t i o n a lb a y e s i a nm e t h o d ，t h er e s u l t so ft h ee x p e r i m e n t si nt h i s t h e s i si n d i c a t et h ee x c e l l e n tp e r f o r m a n c ei ni m a g ec l a s s i f i c a t i o nf i e l d t h et h e s i sa c h i e v e sac o n t e n t - b a s e d i m a g er e t r i e v a ls y s t e m t h es y s t e m p r o v i d e sa ne x p e r i m e n tt o o lf o ra l g o r i t h m st e s ta n df u r t h e rr e s e a r c h k e y w o r d s ：c o n t e n t b a s e d i m a g er e t r i e v a l ；r e l e v a n c ef e e d b a c k ；i m a g e c l a s s if i c a t i o n ；r o u g hs e t i v 硕l j 学位论文 插图索引 图2 1基于内容的图像检索框架4 图2 2 相关反馈的交互过程9 图3 1相关反馈算法的具体过程1 9 图3 2n r = 3 0 的查准率比较2 6 图3 3n r = 3 0 的查全率比较2 6 图3 4n r = 6 0 的查准率比较2 6 图3 5n r = 6 0 的查全率比较2 7 图3 6 初次检索结果2 7 图3 7r u i 的一次反馈结果一2 8 图3 8r u i 的两次反馈结果2 8 图3 9 本文方法的一次反馈结果一2 9 图3 1 0 本文方法的两次反馈结果2 9 图4 1基于粗糙集的图像识别过程3 4 图4 2 分类准确率比较图一3 6 图5 1 图像检索系统结构图一3 8 图5 2 系统功能模块图3 9 图5 3图像检索系统的用户界面一4 0 图5 4 图像特征选择界面4 l 图5 5检索条件选择界面一4 1 图5 6 数据库选择界面4 2 图5 7系统的检索流程一4 3 图5 8 第一次检索结果4 4 图5 9两次反馈后的检索结果4 4 v i l 图像榆索中的相关反馈和分类算法研究 附表索引 表3 1检索系统局部决策表2 l 表3 2 化简后的决策表一2 3 表3 3 返回图像数目不同时的检索结果一2 5 表4 1 特征值化简表3 5 v n i 硕 ：学位论文 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特：另t 1 ) j n 以标注引用的内容外，本论文不包含任 何其他个人或集体己经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：0 叫甯夺 日期即年月吕日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“ ) 作者签名：刚寸币繁日期：铷歹年6 月莎日 导师签鸳易忪日期：) 矽年月9 日 硕上学位论文 1 1 研究背景及意义 第1 章绪论 随着多媒体技术的飞速发展和i n t e r n e t 的普及，数字图像的数量快速增长。 图像作为一种内容丰富、表现直观的多媒体信息，已在国防军事、工业制造、新 闻媒体、医疗卫生和大众娱乐等领域发挥着重要作用。而面对日益庞大的图像数 据库，图像无序化问题也越来越突出，如何在海量的图像数据库中快速找到用户 感兴趣的图像己成为一个亟待解决的问题。为此，基于内容的图像检索技术应运 而生，并已成为近年来的研究热点之一【l 】。 最初的图像检索是基于文本的检索，主要是利用文本描述的方法来标注图像 的特征，并且应用文本检索技术实现对标注图像的检索。但是图像的内容是复杂 多样的，不同的人对图像有不一致的理解，一般很难用准确的词汇来描述图像丰 富的内容；此外，对大量图像进行手工标注也是一项耗时耗力的工作，这些因素 都导致了基于文本的图像检索在实际应用中不能达到理想的效果。在此背景下， 为了提高图像资源的利用率，9 0 年代，出现了基于内容的图像检索( c o n t e n tb a s e d i m a g er e t r i e v a l ，简称c b i r ) 【2 1 。 c b i r 主要是利用图像的底层特征( 颜色、纹理、形状、空间关系等) 来表示 图像的信息，并在多维的底层特征空间中进行特征之间相似度的匹配。虽然该方 法克服了文本检索中的问题，但是由于它的检索过程以计算机为中心，系统自动 提取出的图像底层特征与图像的高层语义( 用户的主观评价) 之间存在着巨大的 差距( 即语义鸿沟问题) ，使得检索结果很难令人满意。 为了有效地缩小底层特征与高层语义之间的鸿沟，近年来，研究者将用户模 型嵌入到图像检索系统中，把人的作用引入到检索过程中来，通过人机交互的方 式来建立图像底层特征和高层语义之间的关联，从而缩小语义鸿沟，提高检索系 统的精度，这就是近年来出现的相关反馈技术。 相关反馈技术的应用一方面解除了用户的负担。用户在初始查询的提交阶 段，不需要再给出精确的查询表达，只需与系统进行交互作用，动态地来调整查 询表达式以改进检索结果；另一方面解除了计算机的负担。不再需要依靠计算机 去理解图像的高层语义，而是根据用户的反馈信息，系统进行学习自动地改进检 索结果；同时，利用相关反馈，可以将用户以往检索的历史信息记录下来，以帮 助系统来估计用户期望的检索图像。相关反馈技术的引入大大提高了系统的检索 图像枪索中的相关反馈和分类算法研究 效率和精度，对图像检索有着重要的意义，已成为图像检索领域重要的研究课题。 图像分类技术也是近几年来基于内容图像检索的研究热点，已经在数字化图 书馆的管理和建立、医学图像分类以及图像检索等领域都有着广泛应用。图像分 类是图像检索的基础，已有研究表明有效地图像分类技术是实现图像快速检索的 有效途径，对提高图像检索的效率和精度具有重要的研究价值。 1 2 研究目标及主要工作 本文将粗糙集理论引入到图像检索的研究中来，对相关反馈技术和图像分类 技术进行了深入研究分析，主要工作包括： ( 1 ) 本文在对现有的相关反馈方法进行总结和分析的基础上，利用粗糙集理 论在处理含糊和不确定性问题中的优势，提出一种基于粗糙集理论的相关反馈方 法。该方法通过对属性的约简来归纳用户感兴趣的检索特征，并通过调整其权重 来突出用户感兴趣的内容进行相关反馈。本文的方法主要有两大优势：一是利用 熵的相关知识进行属性约简，实现了图像特征的降维，减少了相似性匹配的计算 量，提高了图像检索的效率；二是利用粗糙集的支持量和精度来调整约简后的特 征权重，提高了图像检索的准确率。文章最后通过实验证明了所提出的基于粗糙 集的相关反馈方法具有较好的检索性能，与相关方法相比，查准率和查全率都有 较大的提高。 ( 2 ) 提出一种基于粗糙集理论的图像分类方法。本文将粗糙集的隶属度函数 引入到分类方法中，利用隶属度函数来计算属性集等价类的隶属度，无需求核值 表，就可得到分类规则的最少条件属性集，进而获得所有的分类规则。文章最后 通过实验证明了所提出的分类方法具有较好的分类性能，与传统的相关分类方法 进行了比较，查准率有较大的提高。 ( 3 ) 设计并实现了一个基于内容的图像检索原型系统，以验证本文所提出的 相关算法。 1 3 论文结构 本文的结构安排如下： 第一章：根据基于内容的图像检索技术的研究现状，提出了本课题的研究背 景及意义，并提出了本文的研究目标和主要工作。 第二章：描述了基于内容的图像检索关键技术，并对一些相关技术及知识进 行了研究分析；首先介绍了图像检索中典型的图像特征提取算法和特征相似度匹 配等关键技术；然后详细介绍了图像检索中的相关反馈技术，并对现有的相关反 馈算法进行了综述和分析；最后介绍了本文所用到的粗糙集理论知识。 硕卜学位论文 第三章：本章提出了一种基于粗糙集的相关反馈方法，给出了该算法的基本 思想及实现的具体步骤，从理论上证明了算法的有效性；最后通过实验证明了该 算法的可行性，并通过与相关算法进行比较分析，证明了该算法具有较好的检索 性能。 第四章：本章提出了一种基于粗糙集的图像分类方法。首先介绍了当前图像 分类的一些相关方法，在此基础上，给出了本文分类算法的流程及实现的步骤， 最后给出实验，并与相关分类算法进行比较，证明了该算法在图像分类的准确率 上具有较大的提高。 第五章：设计实现了一个基于内容的图像检索原型系统。给出了系统的结构 及开发条件；分析了系统各个模块的功能和作用；最后给出了在此平台上进行的 图像检索的示例图。 最后对论文工作进行了总结，提出了进一步的工作展望。 图像榆索中的相关反馈和分类算法研究 第2 章相关研究 2 1 基于内容的图像检索关键技术 所谓基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，简称c b i r ) ，是指 直接利用物体或区域的颜色、形状或纹理等底层特征以及这些特征的组合来检索 图像。基于内容的图像检索方法就是在将图像存入图像库的同时，自动提取出该 图像内容的特征向量，并将其存入与图像库相连的特征库。在进行图像检索时， 自动提取出给定的每一幅查询图像的特征向量，并将该图像的特征向量和特征库 中的特征向量进行相似性匹配，根据所得到的匹配结果到图像库中进行搜索，就 可提取出与所查询图像最相似的图像。 c b i r 是一门交叉学科，涉及了图像处理、计算机视觉、模式识别、神经网 络、人工智能以及数据库技术等多种学科领域，包括特征提取、高维索引、相似 性度量、特征约简、相关反馈、人机交互、检索性能评价等关键环节，这些环节 都对检索系统的性能有着很重要的影响。图2 1 是一个典型的基于内容的图像检 索系统的基本组成： 、 一 执行查询相关反馈a 特征提取图像特征 特征索引 数据库 、 一 检索 图2 1 基于内容的图像检索框架 如上图所示，上述的每个环节都对图像检索系统的性能起着十分重要的作 用，针对本文的研究内容，下面对其中的一些关键技术进行分析。 2 2 图像特征提取 c b i r 是根据图像的底层特征颜色、形状、纹理等视觉特征进行检索的。图 像特征的提取与表达是图像检索技术的基础，其特征提取算法的研究和应用已经 得到了长足的发展。图像的特征内容可以分为两大类：低层视觉特征内容和高层 语义特征内容。低层视觉内容主要包括颜色、形状、纹理、空间关系等图像特征， 系统可以通过特征提取算法获得。然而高层语义内容是指包含图像对应的语义相 关信息，通常要对图像中的目标区域进行检测、解释和识别，并且往往要借助人 4 硕一i j 学位论文 机交互的方式和人类的知识推理来获得。本节主要介绍了图像低层视觉特征的提 取方法，如何从图像中提取出有效的视觉特征是影响图像检索系统性能的一个关 键因素。 ( 1 ) 颜色特征：颜色是描述表达图像内容的最直接的视觉特征，也是在基于 内容的图像检索系统中最早被使用也是最广泛使用的视觉特征，主要原因在于颜 色特征的提取方法相对比较简单，定义比较明确，而且颜色特征能够较好的体现 图像中所包含的场景或物体。另外，与其它的视觉特征相比，颜色特征对图像本 身的尺寸、视角以及方向的依赖程度比较小，从而具有较高的鲁棒性。当前，颜 色特征的提取方法常用的有颜色直方图【3 1 、颜色矩【4 1 、颜色集【5 】和颜色聚合向量 【6 】等一些方法。这些提取方法主要用于根据图像的颜色特征进行检索的情况。颜 色特征的提取方法存在的主要弊端是不能很好的反映出图像中的空间位置信息。 ( 2 ) 纹理特征：纹理特征是一种不依赖于图像的颜色或亮度的反映图像中 同质现象的底层视觉特征，描述了一个图像的规则性，例如方向性、图案、粗糙 程度等。在m p e g 7 中定义了三种纹理特征的描述符，即均匀纹理、边缘纹理和 纹理浏览三种。纹理可以看作是某些相似形状的重复分布，它是物体表面共有的 内在特性，不同的物体都对应着各自的纹理特征。纹理特征在基于内容的图像检 索系统中也得到了广泛的应用，用户可以利用提交包含某种纹理的图像来检索含 有相似纹理的其他图像。纹理描述的困难之处在于它和物体形状之间存在非常密 切的关系，变化多样的物体形状和嵌套式的分布使得纹理分类变得比较困难。纹 理的分析和建模主要分为以下三类：频谱的、统计的和结构的。纹理的频谱分析 主要包括小波变换【7 】等；纹理的统计分析主要包括t a m u r a 8 】特征、共生矩阵【9 】和 自回归纹理模型【1 0 】等；纹理的结构分析是假设图像由较小的纹理基元排列组成 的，通常是采用句法分析方法，这些方法只适用于对规则的结构纹理进行分析， 目前的研究还不是十分广泛。上述这些纹理特征的提取方法适用于具有明显纹理 特征的图像检索，对于普通图像需要结合其他底层视觉特征进行共同检索。 ( 3 ) 形状特征：相对于其它特征来说，形状特征的定义比较简单，因此许多 自然存在的物体都是用形状来进行区别的。目标的形状是对图像进行描述和检索 的另一个重要特征。通常，形状特征的表示有两种方法：基于边界的和基于区域 的。在这两种表示方法中最为有效的是傅立叶描述符和不变矩表示法。不变矩表 示法的主要思想是采用对变换不是很敏感的基于区域的几个矩作为形状特征， h u 提出了7 个这样的矩】。傅立叶描述符表示法的主要思想是利用傅立叶变换 的外边界作为形状特征，为了将图像区域中的噪声点去除掉，r u i 等人对傅立叶 描述符进行了改进，既可以对几何变形具有不变性，又可以对噪声具有鲁棒性 【1 2 】。除此之外，文献 13 提出了一种有限元方法( f i n i t ee l e m e n tm e t h o d ，f e m ) ， 该方法定义了一个劲度矩阵( s t i f f n e s sm a t r i x ) 来描述物体上的点是怎样相互连接 图像检索中的相关反馈和分类算法研究 的。劲度矩阵的特征向量伸展成一个特征空间，而所有的形状特征都被映射在这 个空间中，然后用特征向量来计算形状特征的相似性。而文献【1 4 是用小波变换 方法来描述物体的形状，该方法有很多较为优良的特性，如稳定性、单值性、不 变性、多分辨率表示和空间局域化的性质等。在文献 1 5 】中，w i n t z 和w a l l a c e 提出了规范傅立叶描述符的方法，该方法可以在保留所有形状信息的同时来控制 计算量，并且该方法继承了傅立叶描述符可插值的特性，这一点在3 维形状表示 中是非常有效的。在此基础上，t a u b i n 提出了可以同时表示2 维形状和3 维形状 的一组几何不变矩，此方法大大减少了形状匹配的计算量【i 引。 ( 4 ) 空间关系特征：上面所介绍的颜色、形状和纹理等特征主要是反映了图 像的整体特征，却没有描述出图像所包含的目标或对象。然而，在实际中，图像 中的对象间的空间关系和对象所处的位置都是图像检索中很重要的特征。比如， 蔚蓝色的海洋和蓝色的天空，它们的颜色在颜色直方图上是非常接近的。然而， 在检索中如果说明“蓝色区域处于图像上半部分的”，则返回检索结果是天空， 而不是海洋。可以看出，图像的空间关系特征可以有效弥补其它图像特征不能确 定物体空间位置关系的不足。在q b i c 系统中，就使用了空间关系特征来表示图 像中的每个对象【1 7 】。图像空间关系特征的提取方法主要有两种：一种方法是简 单地将图像均匀地划分成若干个规则子块，再对划分的每个图像子块提取其特 征，并建立索引；另一种方法是先对图像进行自动分割，划分出图像包含的颜色 区域或目标对象，然后对这些区域提取其图像特征，并建立索引。 2 3 特征相似度匹配 基于文本的图像检索通常采用的是文本的精确匹配，而基于内容的图像检索 是采用非精确的匹配方法，主要通过计算示例图像的特征和图像库中图像特征之 间的相似度来完成的。对图像进行特征提取之后，就转化为在特征空间上，计算 不同特征之间的相似度，这就是图像的特征匹配。特征之间的匹配是通过特征的 相似性计算手段实现的。特征之间的相似程度，反映了属性间的相似程度，进而 也反映出图像内容的相似度。特征的提取是特征匹配的基础和前提，特征匹配是 图像检索的具体实现。通常图像所提取出的特征都可用向量形式表示，因此常用 的图像相似度计算方法一般都是基于向量空间模型的，即把特征向量看作向量空 间中的点，然后通过计算两点问的距离接近程度来判断图像特征问的相似度。 基于向量空间模型的相似度计算方法主要有以下几种。 定义查询示例图像为q ，存储在图像库中的待检索图像为t ，矗，( f ) 、坨( i ) 分 别为图像库中图像和示例图像的第i 种颜色像素的频数。 ( 1 ) 绝对值距离 6 硕上学位论文 d ( q ，l i t ) = zh q ( i ) 一向( 叫 ( 2 1 ) ( 2 ) 欧式距离 若图像特征的各个分量之间是正交无关的，并且每个特征维度的重要性都相 同，那么可用欧式距离来度量两个特征向量间的距离。 。( 只，q ) ： ( q 只) r ( 一只) 1 2 ： 羔k ( f ) 一瑰( f ) 一坨 ( 2 2 ) ( 3 ) 马氏距离 若特征向量的每个分量之间具有不同的权重或具有相关性，则计算特征之间 的相似度可以采用马氏距离来实现。 d ( 以，z ) = ( 只一只) 7 一一e ( 2 3 ) ( 4 ) 直方图相交距离 在19 9 1 年，dhb a l l a r d 和mjs w a i n 提出了直方图求交( h i s t o g r a m i n t e r s e c t i o n ) 的颜色相似度计算方法，该方法是采用互补颜色空间直方图对物体 进行描述，同时通过定义投影算法和直方图的相交来实现物体的检索以及在图像 中的定位。 设q c ( f ) 和t c ( i ) 分别为q 、z 在某颜色通道c 上的颜色直方图，其中f 1 ，, ， n 是亮度的水平数，那么在通道c 上的直方图距离为： r a i n 她( f ) ，z ( f ) )jl f c 、7j 磁，r = 旦- 一 疋( f ) i = l ( 2 4 ) ( 5 ) 二次式距离 对于采用颜色直方图进行图像检索的来说，有研究已经证明二次式距离比欧 式距离或是直方图相交距离更为有效。其原因主要是二次式距离考虑了不同颜色 间的相似度。设i 和q 是两个颜色直方图，则它们之问二次式距离可表示为： d ( q 一，) = ( q 一，) 。么( q 一，)( 2 5 ) 其中，a 为颜色相似度矩阵，a = ，为直方图下标为i 和j 的两个颜色 小区间之间的相似性。可看出，颜色直方图自身含有了不同颜色之间的相似度因 素，这也相当于对颜色直方图进行了预处理，其优势在于检索过程中相似性的计 算代价减小了。并且由于引入了颜色相似性矩阵a ，使得能够考虑到相似但不相 同颜色特征间的相似度因素。 7 图像榆索中的相关反馈和分类算法研究 2 4 相关反馈技术 2 4 1 相关反馈的引入 自从上个世纪7 0 年代以来，基于内容的图像检索( c b i r ) 技术已经得到了许 多研究学者的不断深入研究，然而同基于文本的检索相比，c b i r 中的一些技术 还是处于比较落后的状态。在c b i r 研究的早期，主要研究工作集中在各种底层 特征的表示，并且希望能够找出最好的特征表示方法。因此，在视觉特征表示和 描述方面展开了大量的研究工作，但对c b i r 系统设计的研究相对滞后。 随着图像检索系统的快速发展，人们已经认识到单纯以计算机为中心的检索 系统的性能及检索效果不能较好地满足用户需求，其主要原因有： ( 1 ) 图像的底层特征与高层语义之间存在差距。利用底层特征的检索方法认 为用底层特征可以方便地建立高层语义的概念，即由高层语义到底层特征的映射 用户很容易完成。这个假设在某些情况下是成立的，譬如将高层语义( 新鲜草莓) 映射到底层特征( 草莓的颜色和形状) ；但是在多数情况下这个假设是不成立的， 比如将印着复杂花纹图案的古董花瓶直接映射到其底层特征上就很困难。由此看 来，图像所蕴涵的高层语义与提取出的颜色、形状和纹理等底层特征间还有着很 大的差距，因此这也影响了基于内容图像检索的效果。通常来说，多数情况下， 很难直接得到底层特征和高层语义间的映射关系。 ( 2 ) 人类感知的主观性。对于一幅图像所蕴涵的高层语义内容，不同的人或 是同一个人在不同的情况下都会有不同的理解，这就是我们说的人类感知的主观 性。人类感知的主观性可能存在不同的层次上，比如，某人可能对图像的纹理特 征感兴趣，而另一个人可能更多地注重颜色或其它特征；也有可能两人都关注纹 理特征，但是他们对纹理特征的相似性理解是完全不同的。由于对不同特征的注 重程度不同，导致对检索结果的判断也有很大差异。 ( 3 ) 计算机视觉对颜色特征的表示、相似性的判断以及人对色彩的感知都有 一定的差距。一般的相似性距离表示的只是图像特征空间中的距离，而不是真正 的图像高层语义之间的相似性距离。 由于利用图像底层特征进行检索存在诸多问题，研究者试图采用人机交互方 式将人的知识更多地引入到检索中，使得计算机从人的反馈信息中进行学习，进 而提高检索性能。近年来，许多研究者将相关反馈技术引入到基于内容的图像检 索系统中，利用用户和系统的交互作用逐步使得检索结果向着靠近用户检索期望 的方向前进，并最终达到用户的检索要求。我们可以将检索过程看作是一个主观 和客观有机结合的过程，而相关反馈技术就是利用人机交互的方式实现主客观相 结合的个重要手段。 硕1 ：学位论文 2 4 2 相关反馈的概念 相关反馈技术最早是在文本检索中使用的，这可从l9 6 0 年k u h n s 和m a r o n 所提出的“与原始查询相近的特征项可以加到查询中，以便检索到更多的相关文 献 的观点中找到最初痕迹【1 8 】。1 9 7 1 年r o c c h i o 在s m a r t 系统中实现了最初 的相关反馈实验【1 9 】。19 9 7 年r u i 提出将相关反馈技术用于图像检索中，并在19 9 8 年在m a r s 系统中第一次将该技术运用到基于内容的图像检索中，实验结果表 明相关反馈技术有效地提高了图像检索的效率和精度【2 0 1 。 相关反馈技术是交互式的检索方法，它是将人的主观感觉引入到检索过程当 中，并且给用户提供了一个判断检索结果的机会。其基本思想是：用户是检索过 程的中心，在检索过程中用户可以对前一轮的检索结果作出标记和评价，指出哪 些图像是与示例图像相关的，哪些是不相关的，然后系统对用户的反馈信息进行 学习，从而调整各种参数以及检索的表达向量，以便指导下一轮的检索。通过这 种人机交互方式，系统能够实时地、动态地了解用户的查询需要，增加了系统的 自适应功能，并且也给检索系统提供了更多的检索信息。 在图像检索系统中融入相关反馈技术的目的是通过调整检索策略来增强相 关图像的响应而抑制非相关图像的出现，其工作的具体过程如图2 2 所示： 相关反馈循环 图2 2 相关反馈的交互过程 ( 1 ) 用户提交查询( 这个查询可以是示例图像、关键字或草图) ，然后系统进 行初次的图像检索，并对查询结果按照检索的相似性程度或相似性概率进行排 序，将前k 个检索结果显示给用户。 ( 2 ) 用户对返回的检索结果进行评价，根据自己的检索意图，给出它们是否 相关或相关程度的判断，并将评价的结果提交给系统。 ( 3 ) 系统通过对用户返回的相关信息进行学习进而对查询进行相应的调整 ( 如修改查询表示、修改相似性度量、修改图像中间表示等) ，得到新的查询策略， 进而进行下一轮的检索，并将结果返回给用户。如果用户对检索结果满意，则结 束；如果不满意，则返回( 2 ) ，继续进行检索。 9 图像柃索中的相关反馈和分类算法研究 2 5 相关反馈算法综述 近年来，随着研究者对相关反馈技术的不断深入研究，相关反馈算法也不断 的被推陈出新。以下是对当前存在的几种主要类型的相关反馈算法，如查询点移 动、特征权重调整、基于概率模型、基于机器学习、基于聚类分析等方法进行了 分类总结和分析。 2 5 1 查询点移动算法 查询点移动算法主要是利用用户的反馈信息，来改变查询示例图像与图像库 中每幅图像之间的距离，使得相似点移近示例图像，不相似点远离示例图像【2 1 1 。 该方法借鉴了在文_ 本检索中所采用的相关反馈技术，主要是利用r o c e h i o 公式： o = 口q + ( i t ) - 7 ( ，) ( 2 6 ) 胄i 最 o ，e p 式中口，7 是常数，只，只为反馈的不相关图像集合和相关图像集合， j ，为图像所对应的特征向量，。为不相关图像与相关图像集合中的图 像数目。利用这个公式，初始查询q 经反馈转换为q ，并用q 进行新一轮的检索。 经过这样不断的反馈学习，q 不断逼近最优的查询q d 查询点移动算法首先在m a r s 系统中被实现，随后的m i n d r e a d e r 系统也应用了 该方法。m i n d r e a d e r 系统以m a h a l a n o b i s 距离为相似性计算法，从理论上证明了 所有相关图像的加权平均为新查询点的最优化值。 j i n g 等人借鉴了r o c c h i o 公式的基本思想，提出一种稀疏的特征表示方法， 不管有多少区域包含在图像中，特征表示的长度是相等的【22 1 。该方法的思想是 最优的查询是用所有正反馈的平均来表示的，并且利用一个衰减因子来降低前一 轮正反馈图像的影响。另外，还存在一些方法是从不同的预定义距离度量中进行 选择。r u i 利用比较不同距离度量得出的正反馈排列与用户给出的排列相似度， 选择使得这两种排列最靠近的距离度量。p i e a r d 和m i n k a 在离线的情况下，将图 像所包含的区域按尽可能多的方式进行层次聚类，并且通过一种学习机制动态地 进行检索，进而确定哪一个特征模型或特征模型的组合最适合当前检索 2 3 1 。 2 5 2 特征权重调整算法 查询点移动方法忽略了不同的视觉特征在检索中所起的作用，若给重要的检 索特征赋予较高的权重，则会显著提高系统的检索性能。19 9 7 年，r u i 等人提出 了权重调整算法。该方法是对图像不同的特征给出不同的权重，系统根据用户的 反馈信息，将用户认为和示例图像比较相似的特征给予一个较大权重而不相似的 特征则给予一个相对较小权重，并根据调整后的权重计算图像间的相似性。 r u i 所提出的权重调整算法是计算所有正例图像在某一维上的相关性实现 1 0 硕一i ：学位论文 的，若该维特征上所有正例图像都比较相似，那么就给该维特征一个较大的权值， 否则就给予一个较小权值。同样在m a r s 系统中实现了这类算法，特征权重的 衡量是用方差的倒数来实现的。由于r u i 的方法只采用了正例反馈图像，而忽略 了负例图像的有用信息，a s h w i n 等人提出采用反馈负例图像来调整权重的方法 【2 4 1 。随后，文献 2 5 提出了利用正负反馈信息来调整权重的算法。文献 2 6 1 在r u i 的方法基础上，把查询时刻概念引入到系统中，即相关反馈是一个迭代的过程， 它具有时序特性。对于同一个查询主题来说，不同的用户在不同的时刻可能提供 不同的查询实例，但在某种程度上这些实例之间都会有一定的相关性。 上述方法多数是采用图像之间整体特征进行相似度比较，若用户对查询图像 的局部特征比较感兴趣的话，则区域之间特征的比较方法能更好满足用户。p e n g 等人提出一种用分类框架来预测局部特征相关性的方法，该方法是通过考察与分 量最靠近的n 个被用户标记的图像来计算该特征分量的权重值，若这n 个图像 中相关的图像越多则该分量权值越高【2 7 】。文献 2 8 】采用欧氏距离计算区域特征间 的相似度，如果欧氏距离的值低于下限s ，就认为区域间是相似的，若区域r 和 图像i 的至少一个区域相似，则r 与i 就是相似的，这种相关反馈算法主要用于 调整每块区域的权重。h u a n g 和z h o u 将图像分为固定的若干子图，并且将子图 特征和全图特征组合为一个特征向量，然后采用r u i 的层次加强机制通过相关反 馈动态地学习不同特征和子图的重要性【2 9 1 。在文献【3 0 】中提出了一种利用正负反 馈图像所占的比例和特征值的标准方差相结合的方法来调整对应的权值。 i s h i k a w a 等人将特征权重调整问题转化为一个优化学习的目标函数，最小化 各正例图像距离查询向量的距离和，通过求解这个优化问题，i s h i k a w a 等证明了 最优化的特征权重调整方法应与方差的平方倒数成正比【3 1 | 。 2 5 3 基于概率模型的相关反馈 由于图像检索领域存在着诸多的不确定性因素，而用于信息检索中的概率模 型是一种处理不确定性问题的重要方法，因此一直以来概率模型在相关反馈的研 究中得到广泛应用。 这种类型的相关反馈算法主要是基于概率学习理论的，其主要思想是将相关 反馈看作是分类问题，一般情况下考虑的是两类分类问题。通常是以贝叶斯 ( b a y e s i a n ) 理论等为基础，根据用户的相关反馈信息，估计图像库中每一幅图像 与查询示例图像间的相关概率，将高概率图像查询出来，进而提高系统效率。 c o x