（计算机软件与理论专业论文）基于内容的图像检索相关反馈研究.pdf

基于内容的图像检索相关反馈研究 摘要 近年来，基于内容图像检索逐渐成为一个活跃的研究领域。但由于当前图像理解 技术的局限以及人类视觉认知的主观性，使得依赖于低层视觉特征的基于内容图像检 索系统难以满足用户要求。相关反馈技术通过把人的参与引入到检索过程中来克服上 述困难，并成为提高检索性能的有效方法。本文对相关反馈的技术要点以及相关反馈 算法的发展现状作了系统的讨论和综述，并研究了两种相关反馈方法：基于反馈日志 信息分析的相关反馈方法；基于最小风险评估贝叶斯决策理论的相关反馈方法，以及 提出基于相关反馈技术的图像语义长期学习机制。 本文主要从图像颜色量化、反馈日志信息分析、自适应贝叶斯记忆、以及图像语 义长期学习等角度进行研究，主要工作包括： 1 图像颜色量化及特征提取方面：阐述了基于方差分析的颜色量化方法，并将该 方法与其他五种常用颜色量化方法进行了比较，给出了试验结果。试验证明该方法所 产生的图像质量层次感丰富，质量好，具有较好的视觉效果。描述了颜色空间模型、 颜色特征提取、颜色相似性度量，并采用颜色一致向量为图像颜色特征，其结合了颜 色与其空间分布信息。 2 反馈日志信息分析方面：讨论了监督学习存在问题，深入分析了当前基于相关 反馈日志分析的图像检索技术。在相关反馈过程中，对反馈日志信息进行分析、索引， 引入协同过滤思想扩展反馈样本。通过在线分析相关反馈历史数据从而提高速度和效 率。 3 自适应贝叶斯记忆方面：分析了基于移动查询点的反馈思想，贝叶斯决策理论， 通过引入一种自适应机制产生动态记忆，同时应用最小风险评估策略使用户获取满意 的检索结果。 4 图像语义长期学习方面：详细探讨了图像语义模型。提出基于相关反馈的图像 语义长期学习机制，引入最小风险判断机制进行图像语义标注，使得语义空间在多次 的反馈中能不断更新。 关键词：基于内容图像检索；相关反馈；协同过滤：自适应机制；语义标注 r es e a r c h0 fr e l e v a n c ef e e d b a c ki n c o n t e n t - b a s e di m a g er e t r j e v ：a l a b s t r a c t i nr e c e n ty e a r s ，c o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) h a sb e c o m ea na c t i v er e s e a r c h a r e a b u tt h ep e r f o r m a n c eo f ( c b i r ) s y s t e m sb a s e do nl o w l e v e lf e a t u r e si sp o o rd u et ot h e l i m i t a t i o no fc u r r e n ti m a g e u n d e r s t a n d i n gt e c h n o l o g ya n ds u b j e c t i v i t yo fh u m a np e r c e p t i o n r e l e v a n c ef e e d b a c ki sa p r o m i s i n gt o o lt oi m p r o v er e t r i e v a lp e r f o r m a n c e ，i nw h i c hh u m a n i si n v o l v e di nt h er e t r i e v a lp r o c e s s t h i sd i s s e r t a t i o nf o c u s e so nt w on o v e lr e l e v a n c e f e e d b a c kt e c h n i q u e s ：ar e l e v a n c ef e e d b a c kt e c h n i q u ei n i m a g er e t r i e v a lw i t ha n a l y z i n g f e e d b a c kl o g ；t h em e t h o do fb a y e s i a nd e c i s i o nt h e o r yr e l e v a n c ef e e d b a c kb a s e do n m i n i m u mr i s k ，a n dp r o p o s e sal o n g i m a g es e m a n t i cl e a r n i n gm e c h a n i s mb a s e do n r e l e v a n c ef e e d b a c k t h em a i nr e s e a r c h e so ft h i st h e s i sa l ef o l l o w e df r o mt h ee x t r a c t i o no fi m a g ef e a t u r e ； t h ea n a l y s i so fr e l e v a n c ef e e d b a c kl o g ；b a y e s i a nd y n a m i cm e m o r y ；a n dt h el o n g t e r m l e a r n i n go fi m a g es e m a n t i c ，t h em a i nw o r ki n c l u d e s ： 1 t h ee x t r a c t i o no fi m a g ef e a t u r ea n dt h eq u a n t i z a t i o no fc o l o r ：an e wv a r i a n c e a n a l y z i n gb a s e dc o l o rq u a n t i z a t i o nm e t h o di sa n a l y z e d ；t h em e t h o di sc o m p a r e dw i t ho t h e r f i v eq u a n t i z a t i o nm e t h o d si nt e r m so ft h er o o tm e a ns q u a r e de r r o le x p e r i m e n t a lr e s u l t s s h o wt h a tt h ev a r i a n c eb a s e dc o l o rq u a n t i z a t i o nm e t h o dp r o d u c e sr e s u l t st h a t a l ef a r s u p e r i o rt oo t h e rp o p u l a ri m a g eq u a n t i z a t i o na l g o r i t h m s t h ec o l o rs p a c em o d e l ，c o l o r f e a t u r ee x t r a c t i o n ，c o l o rs i m i l a r i t ym e a s u r ei sd e s c r i b e d c o l o rc o h e r e n th i s t o g r a mi su s e d f o rc o l o rf e a t u r ee x t r a c t i o n ；i tc o m b i n e sc o l o ra n ds p a t i a li n f o r m a t i o n 2 t h ea n a l y s i so fr e l e v a n c ef e e d b a c kl o g ：s o m ep r o b l e mi n s u p e r v i s e dl e a r n i n gi s d i s c u s s e d ；t h ec u r r e n tt e c h n o l o g yo fl o g - b a s e dr e l e v a n c ef e e d b a c ki m a g er e t r i e v a li s a n a l y z e dd e e p l y , i nt h ef e e d b a c kp r o c e s s ，t h ef e e d b a c kh i s t o r yl o gi sa n a l y z e da n di n d e x e d ， a n dc o l l a b o r a t i v ef i l t e r i n ga l g o r i t h m si si n t r o d u c e df o re x p a n d i n gt h ee x a m p l e o ff e e d b a c k 1 i i s a m p l e ，t h es p e e da n de f f i c i e n c yo fs y s t e mh a sb e e ni m p r o v e dt h r o u g ho n l i n ea n a l y z i n g f e e d b a c kh i s t o r yi n f o r m a t i o n 3 t h ea d a p t i v eb a y e s i a nm e m o r y ：t h ef e e d b a c ki d e ab a s e do nm o b i l eq u e r yp o i n ti s a n a l y z e d ，a n dt h eb a y e s i a nd e c i s i o nt h e o r yi si n t r o d u c e di nd e t a i l t h eb a y e s i a nd e c i s i o n t h e o r yr e l e v a n c ef e e d b a c km e t h o db a s e do nm i n i m u mr i s ki sp r o p o s e d ，i nw h i c hp r o d u c i n g m e m o r yi n f o r m a t i o nt h r o u g ha na d a p t i v em e c h a n i s m ，a n da p p l y i n gm i n i m u mr i s kt o s a t i s f yu s e r sw i t ht h er e t r i e v a lr e s u l t s 4 t h el o n g t e r ml e a r n i n go fi m a g es e m a n t i c s ：s e m a n t i ci n f o r m a t i o ni nt h er e l e v a n c e f e e d b a c ki sa n a l y z e d ，a n dal o n gl e a r n i n gm e c h a n i s mf o ri m a g es e m a n t i c sb a s e do n r e l e v a n c ef e e d b a c ki sp r o p o s e d am i n i m u mr i s kd e t e r m i n a t i o nm e c h a n i s mi si n t r o d u c e dt o t a gt h ei m a g es e m a n t i c t h es e m a n t i cm a t r i xc a nb eu p d a t ei nr e l e v a n c ef e e d b a c k k e y w o r d s ：c o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) ；r e l e v a n c ef e e d b a c k ； c o l l a b o r a t i v ef i l t e r i n g ；a d a p t i v em e c h a n i s m ；s e m a n t i ct a g g i n g i v 浙江师范大学学位论文独创性声明 笨久膨l 鹦鳓麓窝瀚掌缝沧震怒貔拿人缆够嬲攒镣下选 亍豹掰瓮绺教墩辫鹃饼 毵缓缀；沧交t ；狳了貉溺；j j i 以橛渡翱皴谢翰魂孝纷，币组岔毵绝入藏毵缎视掬晓经筏 袋绒攒缓拘磁毵裁聚，瓿纨筠志辩零礴就的翁笈期掰傲鳓爱敝内已镬逢交t | t 律丁弼 确酶黟确弦麓承7 瓣镦。参a 宪惫霪淤劐衣彩鳞豹法绛缟壤翅零人承拐。 黼镰黧：费翰 掰勰：叩锄哆鞠 学位论文使用授权声明 奉人宠仑r 鲆渤l f 秘i 茈久谚4 纷笼缀辩俊翊掌佼 龟趸麓规定。嬲：学後f ；秘 譬翳 黪融嘲泵嵇筵移0 毙残蓼l 辩落空泛空盼蜒印舛奢l f 毡严空精梦c 海沦支酸螽溺翱璐阐秘i 以浆；l l 黪弹缓彤线 l 猫铃汲缫存、锺编学佗沱交。醐寇溺 ：辫i 慧太学；辱以捌哥：扣遗 办j 宅办：夺黝援 辜 ? 麓爨，传掇沧之翰拿酃戏黟分内徉。 怯鬻豹穸忙澎乏痔缎衙鬏懋j t 兢貉注。 蝴麟避害 撇 6 5 il 嬲：研 二鑫搿多l l j ， 浙江师范大学学位论文诚信承诺书 我承诺自觉遵守浙江师范大学研究生学术道德规范管理条 例。我的学位论文中凡引用他人已经发表或未发表的成果、数据、 观点等，均已明确注明并详细列出有关文献的名称、作者、年份、 刊物名称和i 版文献的出版机构、出版地和版次等内容。论文中 未注明的内容为本人的研究成果口 如有违反，本人接受处罚并承担切责任。 承诺人( 研究生) ： 指导教 1 1 图像检索背景 1 绪论 大量实验证实，人类获取外界信息的绝大部分来自视觉上所接收的图像信息。图 像作为视觉信息的载体，理所当然的受到人们的重视。在上世纪初，为了使用图片传 输新闻事件，人们就开始了对图像处理技术的研究。随着数字图像处理技术的日益成 熟，大容量的存储设备价格不断下降和i n t e m e t 的迅速发展，直观形象的多媒体信息 备受人们青睐。数字化图像作为多媒体信息的一个重要组成部分，其数量呈现出爆炸 式的增长速度，己经成为商业、教育、科技等多方面广泛应用的媒体形式之一。面对 如此浩瀚的数字图像资源，如何管理、存储并迅速、准确地检索到所需图像，从而最 有效地利用图像提供给人们的便利，客观上促成了图像检索技术的产生与发展。图 1 1 是图像检索基本原理图。图像检索的主要应用领域包括科技、工业、医药、环境、 教育、娱乐以及所有可能应用视觉信息的领域，如数字图书馆、知识产权保护、地理 信息系统、建筑与工程设计、医学图像管理、卫星遥感图像管理、纺织与时装设计等 等。随着i n t e m e t 等网络技术的飞速发展，网络用户越来越多，i n t e r n e t 已经成为目前 最重要的信息来源之一。i n t e m e t 可以说是建立在非常灵活的通信技术上的一种非常 成功的并且迅速增长的全球数字化图书馆。这个图书馆提供了各种各样的用于创建、 浏览、访问、搜索、查看和传递信息的功能。由此在几十年的研究及应用中，出现了 各种方式的检索方法和技术，由于图像是最基本、最常用的多媒体形式，并且对图像 检索的研究也是视频检索研究的基础，图像检索因此而成为研究的热点。 2 0 世纪7 0 年代末，主要是通过对图像进行人工文字注释进行检索，利用文本检 索是相对图像特征的查找。但这种采用对图像建立关键词等文本描述信息的方式已经 l l 绪论 越来越不能适应网络信息检索的要求，不仅费时费力，而且文字也很难反映图像中的 完整内容。 2 0 世纪9 0 年代以来，随着大规模的图像集的不断涌现，研究人员相继提出了基 于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 。试图通过提取图像中固 有的信息来表达、识别和理解图像的内容。这种固有信息主要就是低层视觉特征。对 图像内容的描述有两个层次，一种对低层特征进行抽取、量化和相似度匹配。检索的 结果是基于视觉相似度的比较相近的图像。更高的要求就是试图从低层特征得到高层 的语义信息，通过语义信息的匹配进行检索。目前多数研究都处于低层特征的层次上， 如图像的颜色、纹理、形状及区域等。使用颜色、纹理、形状及区域等视觉特征，或 者融合多特征进行图像检索犯3 j 一6 j 引。根据检索例图在大图像集中进行检索，实现了 图像视觉内容特征的检索，这种以图找图的查询模式是对“以关键字找图的一大突 破。 根据图像的低层视觉特征进行检索还不能满足基于图像语义的智能检索需求，基 于语义图像检索3 便被提出，然而对于同一图像所蕴涵的语义内容，不同的人或者是 同一个人在不同的情况下可能会有不同的理解，这就是图像低层视觉特征和用户检索 丰富语义之间存在的“语义鸿沟”问题n 训。目前的以计算机为中心的图像检索方法中， 图像“最佳 特征和特征的相关权重大多是固定的，无法有效模拟图像所蕴涵的高层 语义和用户感知的主观性之间的差异。另外，制定权重的工作需要用户对检索系统所 用的低层特征有全面的了解，则对于普通用户而言是很大的负担，甚至可以说是不可 能的。 用 ， p 图1 1 图像检索基本原理 相关反馈技术首先是在文本检索领域n u 中提出的，在检索中，由于用户通常不能 准确地给出查询表达以及特征与语义间存在的“鸿沟”，出示的检索结果通常不能让 2 1 绪论 用户满意。于是，用户通过不断的修改查询表达以期望得到更好的检索结果，这被称 为查询优化( q u e r yr e f o r m u l a t i o n ) 。相关反馈技术代替用户来优化查询，用户只需 要查看检索结果并给出它们与用户信息需求是否相关或者不相关程度的判断，系统根 据用户反馈来构造更好的查询表达或者修改检索策略中的参数以更好的把握用户的 信息需求。相关反馈( r e l e v a n c ef e e d b a c k ) 是传统的基于文本信息检索中的一项有 力技术，把交互式概念引入基于内容图像检索领域，就是基于相关反馈的图像检索方 法。 1 2 图像检索相关反馈研究现状 1 2 1 相关反馈的交互过程 基于内容图像检索中的相关反馈过程与文本检索中的类似，具体过程如下： ( 1 ) 首先用户通过例子( e x a m p l e ) 、关键字( k e y w o r d ) 或草图( s k e t c h ) 等方式给出 查询，系统返回初始的检索结果； ( 2 ) 用户对当前显示的检索结果，根据自己的信息需求给出它们是否相关或相关 程度的判断： ( 3 ) 系统根据用户的反馈进行学习，返回新的检索结果，返回步2 或结束。 在相关反馈中，用户相关判断的度量方式和反馈中的用户模式是两个重要的环 节，它们决定了用户与系统交互过程的基本特征，并在很大程度上影响了相关反馈算 法的设计。 1 2 2 用户相关判断的度量方式 在当前的相关反馈方案中，度量用户相关判断的方式主要有采用二值相关尺度 ( r e l e v a n c es c a l e ) 或者多级相关尺度进行度量，以及采用间接的方式进行度量。 多数相关反馈方案都采用二值的相关尺度，即相关或者不相关来度量用户的相关判断 1 2 , 1 3 。一些研究人员也认识到采用多个相关级别( r e l e v a n c el e v e l ) 的尺度判断能更 好的反映用户的偏好。在r u i 等人的研究中，采用五级的相关尺度，五级标记为h i g h l y 3 1 绪论 r e l e v a n t ，r e l e v a n t ，n o o p i n i o n ，n o n r e l e v a n t ，h i g h l yn o n - r e l e v a n t ，对应的数值为3 ，1 ，0 ， 一1 ，一3 。中科院自动化研究所吴洪博士等人在文献n4 嘲进一步分析了进行多级相关度 量的必要性。另外有一些检索是不使用相关尺度，只要求用户比较不同图像的相关尺 度，给出相对的判断，如c o x 的工作n 6 3 中针对目标搜索，系统每次显示四幅结果图 像，要求用户指出其中哪一幅或几幅图像比较而言与目标图像更相似。在文献n 7 1 8 1 中，用户被要求按照自己对图像间的语义关系的理解来安排和调整图像在显示中的布 局，使图像间的位置关系能反映这种语义关系。另外，j o a c h i m s n 们在w e b 检索中的经 验也很值得借鉴，他直接运用偏好学习从用户的点击信息中学习用户对网页的相关判 断的间接度量以提高搜索引擎的性能，这样就避免了让用户显式的给出反馈，减轻了 用户的负担。 1 2 3 反馈中的用户模式 相关反馈过程中用户的参与方式可以区分为两种模式：“贪心模式 和“合作模 式”。贪心模式是指假设用户是没有耐心并且贪婪的，期望每轮交互过程中得到尽可 能好的结果，随时结束查询过程。合作模式是指用户愿意在看到最后满意结果之前进 行多轮的反馈。 1 2 4 目前相关反馈技术讨论 最近几年美国m i t 、i l l i n o i s 大学、荷兰a m s t e r d a m 大学等相继开展了相关反馈 在基于内容的图像检索系统中的应用，并取得相当多的学术成果。相关反馈的主要研 究成果可以主要分为以下几个方面。 1 2 4 1 基于特征权值调整方法 这种方法是通过调整低层视觉各个特征、特征各维的权重来优化检索结果。 i l l i n o i s 大学的y o n gr u i 等人将相关反馈的方法用于图像的检索中，其基本思路是在 特征空间中对特征分布标准差大的特征维降低权重，反之则增加权重，来提高检索的 效果。为此他们提出了一种多层的图像模型，他们假设一个图像对象o 有f 个特征，用 石，石，表示，这些特征之间的权值分别为，w 2 ，；对于每个权值有可能有多 4 1 绪论 种表示，每种特征，表示方法之间又存在着一定的权值w ，w l ：，此外，对于每 种特征的表示往往是高维的，每维之间也存在着一定的权值，它们可以用 嘞，w f 2 ，来表示。对于一个检索结果来说，比较的过程是从最低层特征表示的每 一维开始，然后进行权加和，直到计算到最高层的每种特征之间的加权和。权值更新 分为特征权值的更新和特征向量之间权值的逐级更新。这种方法的特点是通过动态调 整权值的方法来缩短用户高层语义概念和低层特征之间的差距，经过多次更新后可比 较准确的得到用户的查询意图。 1 2 4 2 基于查询矢量优化方法 查询矢量优化算法是通过用户的反馈信息，改变图像库中每幅图像与查询图像之 间的距离，使相似的点靠近查询图像而不相似的点远离查询图像，文献利用负反馈 作为对正反馈信息的补充，优化查询图像的特征向量，文献瞳门综合权重调整算法和 向量转义算法，建立一个灵活的学习反馈信息的模型，在系统的动态学习中，用户可 通过系统连续相互作用的检索过程，融入自己的高层语义信息，文献恤2 如提出改善这 两种算法的综合性算法。这种方法首先被m a r s 系统从文本检索领域移植到图像检 索领域。文献乜4 1 基于贝叶斯理论，有效改进以上方法，得到很好的反馈结果。 虽然基于矢量优化己经实现了多种方法，但其固有的问题就是低层特征并不能很 好地完整表达出图像的语义内容，而用户关心的恰恰就是语义内容如图像中的一个物 体或某个区域而不是背景，因此反馈图像可能在语义内容上是非常类似的，但是可能 由于背景或其它因素而在低层特征上差别很大，因此仅仅使用低层特征在表示用户的 反馈和描述其意图时并不是很有效。 1 2 4 3 基于模式识别分类方法 基于模式识别分类的相关反馈方法将其当作是一个类别分类的过程，直接把用户 反馈的相关的和不相关的图像作为正负样本，并利用已有的模式分类方法训练一个分 类器作为学习得到决策准则。分类器可以把所有的例子分为两类：相关和非相关的一 5 l 绪论 组，这样就可以把许多模式识别领分域的方法借鉴到相关反馈中来，如线性规划分类 器心引、贝叶斯分类器、支持向量机等。基于支持向量机( s v m ) 的分类方法池7 2 8 _ 9 3 具有较好的学习性能，s v m 并不像其它方法那样假设样本的分布情况，它基于结构 风险最小化原则，能够对小样本情况下的学习问题给出最优解，并且在样本趋于无穷 时可以保持良好的致性，s v m 就是通过核函数在原空间或经投影后在高维空间中 构造最优分类面，将给定的属于两个类别的训练样本分开，构造超平面的依据是两类 样本离超平面的距离最大化。从数学形式来看，采用高斯核函数的s v m 分类器具有 r b f 分类网络的形式，这种模型可以较好地描述混合高斯分布情况下的样本分布特 点。 此外还有决策树的学习、基于核的学习，以及基于神经网络的学习等一些方法。 对于分类和学习中的索引方法在高维情况下会面临维数灾难问题，基于向量近似的索 引方法是有效的高维检索方法。对向量近似方法中k 一近邻搜索算法n 加以改进，应 用到基于相关反馈的交互式图像检索系统中，根据反馈过程前后的距离变化特征，在 进行k 一近邻搜索过程中，将上轮的查询结果和用户反馈信息用作过滤信息，可减少 特征向量的访问数量。 1 2 5 几个已有基于相关反馈的图像检索系统简介 自2 0 世纪9 0 年代初以来，人们建立了许多图像检索系统口羽，为了提升检索性能， 不少系统都支持相关反馈技术，其中较为典型的有： ( 1 ) q b i c q b i c ( q u e r yb yi m a g ec o n t e n t ) t 3 3 1 是由i b m 公司著名的a l m a d e n 实验室开发 的。它可能是目前应用最广的图像检索系统，如旧金山现代艺术博物馆、俄罗斯博物 馆以及法国文化部等机构检索系统。虽然q b i c 只提供了3 种属性的检索功能：颜 色属性、形状属性和纹理属性，但它的检索效率非常高。颜色特性的查询包括颜色百 分比查询和颜色分布查询，利用颜色百分比查询，用户可以找到具有相似颜色及比率 的图像，而利用颜色分布查询可进一步找到不仅颜色相似且颜色分布也相似的图像。 纹理特性是对图像中线条的粗糙性、对比性、方向性三者的综合考虑。形状属性查询 包括对象形状查询和轮廓查询。当用户在获得系统响应后，可以进一步对检索图像的 6 l 绪论 颜色、纹理、形状等做出反馈，系统则根据用户的反应进行调整。q b i c 除了上面的 基于内容特性的检索，还辅以文本查询手段。不足的是，q b i c 系统对用户的要求比 较高，并非每个用户都清楚自己在颜色等方面的查询需求。 ( 2 ) m a r s m a r s 是多媒体分析与检索系统( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 的 英文缩写，是美国i l l i n o i s 大学u r b a n a - c h a m p a i n 分校( u u c ) 开发的。m a r s 系统 在图像检索领域正式提出了相关反馈的体系结构，并在检索中不同层次上结合了该技 ， 术，包括查询矢量优化，自动匹配工具选择和自动特征适应。m a r s 系统的重点并不 在于找到所谓“最好 的图像特征，而在于根据实际的应用环境和用户的需要在检索 框架动态地组合调整各种不同的图像特征。m a r s 在图像检索领域正式提出相关反馈 的体系结构，相关反馈的各种技术在各种层次上融合到检索的过程中，包括查询向量 的优化，相似度算法的自动选择，以及图像特征的权重的调整。m a r s 在科研方面的 主要特点包括数据库管理系统d b m s 和信息检索技术m 的结合，索引和检索技术的 融合，以及相关反馈技术。 ( 3 ) p i t h u n t e r p i c h u n t e r t 3 4 1 试图对用户需求进行建模，在假定用户检索的类型是“目标检索 的 前提下，采取主动学习的方式，每次向用户提交的不是“最相关图像”，而是能够使 后续比较次数最少的图像，让用户进行标注，由此快速逼近用户需求。该系统的特点 是没有采用查询求精的方法，而是利用贝叶斯规则，基于概率分布的估计，对可能的 目标图像进行预测。 ( 4 ) i f i n d i f i n d 【3 5 】系统将图像的语义特征和低层视觉特征进行了无缝集成，它通过用户对 检索的结果图像的评估，不仅调整查询向量的权重，而且动态修改正负图像与对应关 键字的关联权值。初始的关键字可以通过外部信息源得来，更多的关键字则是以半自 动的方式从用户的交互中获取，随着交互的增多，系统词汇库便会不断增加，同时关 键词与图像之间的映射就越来越接近真实情况。 当然还有由m i t 多媒体实验室开发的用于浏览和搜索图像的一套交互式工具 p h o t o b o o k 【3 6 1 ，以及由c o l u m b i a 大学开发的v i s u a l s e e k t 3 7 1 和w e b s e e k 3 s 】，从总体 7 l 绪论 上看，研究主要集中在特征提取和结构化、检索算法、索引结构、和查询接口方面。 对于特征提取，主要研究颜色、纹理、和形状特征。在索引结构上，主要研究高维索 引的低维化和新的索引机制。对于用户查询接口方面，主要研究图形化的示例查询接 口，以及相关反馈学习接口，提交内容查询。 1 2 6 用户查询接口 一般图像检索系统提供给用户的查询接口主要包括下列几种形式： ( 1 ) 关键词查找：输入关键词对查找图像进行描述。大多数网络搜索引擎提供的 是关键词查找的检索方式。例如，希望查找山水风景的图片，可以输入“山水画”； 又如希望查找关于猫的图片，可以直接输入“猫”。 ( 2 ) 浏览查找：浏览查找是指通过等级类目组织的图像检索入口。图像按照不同 的主题进行归类，用户在查找自己希望的图像时，通过点击层层类目的链接，到达自 己所希望的类目下的图像。 ( 3 ) 特征输入查找：对图像的特征进行设置。如希望图像中的色彩比例为 r = 1 2 8 ，g = 1 2 8 ，b = 6 4 ，或者对图像的亮度在0 至1 0 0 之间加以调节。 ( 4 ) 草图查找：用户亲自动手绘制希望查找的图像特征，以用户描绘的草图为检 索样本，查找与之相似的图像。 ( 5 ) 示例查询：包括系统随机给出样本和用户提交样本两种。由系统随机给出一 组图像检索样本时，让用户对这组图像进行评价，选择与自己的检索需求相似的图像， 然后根据用户选择的图像进行分析，检索出与之相似的图像。另外，也可以由用户提 供一幅图像的地址信息，由图像检索系统即时抓取、即时分析。 1 2 图像检索性能评价方法介绍 图像检索的算法不尽相同，客观上需要一个标准的评价方法对其性能优劣进行比 较。两个比较通用的检索算法性能评估准则是：效率和有效性，即检索速度与查找相 似图像的成功率。检索效率通常采用算法的响应时间与吞吐率评估，是大规模图像数 8 1 绪论 据库的研究重点。一般图像检索算法侧重算法有效性评估。目前，提高检索效率的主 要手段是对大型媒体库建立索引，以支持快速检索。一般思路是采用先降低特征维数， 然后采用适当的多维索引结构。虽然过去已经取得了一些进展，例如r 一树以及改进 的索引树结构，但仍然需要研究和探索有效的高维索引方法，以支持多特征、异构特 征、权重、主键特征等方面的查询要求。 1 3 1 查全率一查准率 信息检索的评价标准查准率( p r e c i s i o n ) 和查全率( r e c a l l ) 被广泛应用于图像检索算 法的有效性评估。记与查询图像相关的图像为 r e l e v a n t ) ，由系统检索到的图像为 r e t r i e v e d ) 。相关且被检索到图像为 r e l e v a n t ) n r e t r i e v e d ) ，如图1 2 所示。则查准 率是实际检索到的图像中与查询相关的图像所占的百分比，反映检索的正确性，其形 式定义如下： precision=ire可levan而t)n矿retrievedii ( 1 1 ) 查全率是与查询相关的图像被实际检索出的百分比，其形式定义如下： r p c 础：i ( r e 1 1 e v a n t ) n ( r e 丁t r i e v d ) i ( 1 2 ) l ( r e l e v a n t ) l 查全率反映系统检索相关图像的能力。查准率和查全率越高，说明检索算法的效果越 好。 图1 2 相关图像和被检索到的图像之间的关系 查准率与查全率二者存在一定的关系，当查准率与查全率达到一定的程度以后， 二者呈非线性反变关系：在查准率较高的阶段，查全率较低，反之亦然。 9 l 绪论 1 3 2 排序法 文献【3 9 1 提出了一种基于排序的检索算法评估方法。固定每次检索返回图像数目 ，z ，使用以下指标评价算法性能： ( 1 ) 检索到的相关图像在结果列表中的平均排序么凇r = 去喜屏该值反映了相关 图像排序的质量。 ( 2 ) 检索到的相关图像占所有相关图像的比例胛：= r 。 ( 3 ) 4 v r r uv m ，其中剧豫尺是最理想结果的平均排序“凇尺：妥。其中，r 是 n 幅图像中的相关图像，肛是第州唇相关图像的序号，丁是与检索图像相关的所有图 像数目。m t 越接近1 检索性能越好。在脚相同的情况下，a v r r 越小检索性能越 好。文献m 1 提出了另外一种利用相关图像排序的评价指标。令 q l ，q 2 ，q q 表示一组 查询图像。对查询q 假设q 是与其相关的图像。 ( 1 ) ，一度量方法：对所有正确的相关图像的排序求和，：圭r a n 七( g ) 。值越小， i = 1 算法的检索性能越好。 ( 2 ) a 一度量方法：a ：羔1 ，鲫七( q ：) 。排序靠前的图像对p l 指标贡献较大。p l 越 i = i 大，算法的检索性能越好。 ( 3 ) 查全率范围( ，e ，f - s c 印p ) 度量：假设查询图像为9 ， g ，鲮，包) 是多个 查询结果，查全率一范围定义为喀i ，口础( q ) j f 产a 其中，口是全部相关图像的数量。 这个指标较查全率查准率简单，但是也可以有效衡量算法的有效性。 上述评价方法在一定程度上解决了检索算法效果评估问题，但这些评估不能完全 反映检索系统的性能。由于相似图像程度的认知、判断很大程度上依赖于用户的主观 感知与实际应用需求，如何客观、准确地评估算法性能还是有待进一步研究的课题。 1 0 1 绪论 1 3 本论文主要工作和文章结构 多媒体技术和i n t e r n e t 的发展给人们带来巨大的多媒体信息海洋，并进一步导致 了大型图像信息库的产生，如何有效的帮助人们快速、准确地找到所需要的信息，成 了图像检索系统所要解决的核心问题。c b i r 尽管在某些特定领域取得了成功，但由 于低层特征往往无法完全把握人在图像相似性上的感受，图像检索需要用户更大程度 的主动参与，从而对用户的应用水平提出新的要求，这些原因给c b i r 的推广和应用 造成极大障碍。 ( 1 ) 目前基于记忆图像检索相关反馈技术都有一个缺点，就是反馈过程不能有效 利用“记忆( m e m o r y ) ”，如何把用户过去的反馈信息用来帮助未来的查询? ( 2 ) 在相关反馈中如何使用表达用户的反馈意见? 在现有研究中，总是假设用户 的反馈意见可以使用多媒体信息的一些特征权值来表达，通过修改权值进行再检索， 得到用户满意检索结果。 针对基于内容的图像检索的研究现状与发展趋势，本文主要对基于内容图像检索 中的相关反馈方法及其相关问题展开工作，主要包括以下几个方面： 基于颜色特征的图像检索 图像的视觉特征主要是颜色特征的表达和量化，本文针对颜色特征进行图像检索 以及相关反馈研究。 一基于反馈日志分析的图像检索相关反馈技术 通过对图像检索反馈日志信息的存储及使用进行分析，研究一种基于反馈日志分 析的相关反馈技术，引入协同过滤思想进行增量学习。 一基于最小风险评估贝叶斯决策理论的相关反馈方法 研究一种基于最小风险的贝叶斯决策理论相关反馈方法，引入自适应机制产生特 征权值动态更新，通过最小风险评估判断使用户获得满意的检索结果。 一基于相关反馈的图像语义长期学习机制 11 1 绪论 提出在相关反馈的基础上建立图像语义长期学习机制，并引入了最小风险贝叶斯 判断进行图像学习，分析了这种判断策略的优点。 一总结和展望 望。 总结了本文的工作并提出了基于内容的图像检索中相关反馈进一步的研究展 1 2 2 基于颜色特征的图像检索 基于内容的图像检索中常用到的视觉特征：颜色、形状、纹理等特征，它们也是 相关反馈算法的基础。与其他视觉特征相比，颜色特征对图像本身的尺寸、方向和视 角的依赖性较小。同时，许多情况下，颜色是描述一幅图像最简便而有效的特征。用 颜色特征进行图像检索可以追溯到s w a i n 和b a l l a r d 提出的颜色直方图的方法h 。 目前常用的基于颜色的图像检索方法有：平均颜色、主颜色、颜色直方图等参数进行 基于颜色的图像检索。基于全局颜色特征的检索方法是目前使用较为广泛的方法，大 多通过计算每种颜色的像素个数并构造颜色直方图，并通过图像的像素总数对颜色直 方图进行归一化，然后采用颜色直方图相交法来度量两幅图像的相似性。该类算法优 点是，对图像大小、平移、旋转的不敏感，算法简单，实现容易等；其主要缺点是它 作为一种图像全局表示方法，不包含任何有关颜色的空间分布信息，而且不同图像的 颜色直方图可能相同或相似h 羽。颜色特征的表达涉及若干问题，首先由于存在许多不 同的颜色色彩空间对不同领域的具体应用，需要选择合适的颜色色彩空间来描述图像 颜色特征，其次，需要采用适当的颜色量化方法将颜色特征表达为向量的形式，最后 要定义衡量不同图像之间颜色相似性的相似度标准。 2 1 颜色空间的选择 2 1 1 颜色空间模型介绍 光在频谱分布中的不同位置正好体现了各种颜色，颜色是人眼对光谱中可见区域 段的感知结果。不同波长的光引起不同的颜色感觉，同一种颜色可以由不同的光谱成 2 基于颜色特征的图像检索 分合成。而白光经过分光镜又可分解为红、橙、黄、绿、青、蓝、紫七色光。人眼之 所队d iz 日匕e o 辨色，是因为视网膜上有锥状细胞【4 3 1 。根据红，绿，蓝三基色光混合可以产生 各种颜色的色光混合规律，提出了一种视觉三色假设，假设在视网膜上有三种神经纤 维，每种神经纤维的兴奋都会引起一种原色的感觉。如当一种神经纤维处于兴奋状态， 而另外两种相对处于抑制状态，那么就产生一种原色觉，如果两种或三种神经纤维都 处于兴奋状态，那么就产生综合色觉。按照这一假设，人眼实际有三种光敏细胞分别 对三种颜色比较敏感，任意选取三种颜色，只要其中的一种不能由其它两种混合产生， 就可以作为三基色。而四种颜色就不行，因为它永远存在着线性关系。这说明只有三 种独立的颜色存在，即颜色是一种三维的量。基于这一结论，到目前为止，已经发展 了多种各具特色的颜色空间的表示模型。在每个颜色空间中，其能表示的每一种颜色 都可用一个三维坐标( x ，y ，z ) 来表示。 2 1 2 r g b 颜色空间 由于人眼对红、绿、蓝三种色光最为敏感，因此由这三种颜色相配所得到彩色范 围也最广，所以最常用的就是选用红、绿、蓝作为三基色，以此形成的颜色模型称为 r g b 颜色空间，其分量的取值范围均为 0 ，2 5 5 1 。目前，摄像系统以及彩色显示器等 硬件显示设备大都采用了r g b 颜色空间来表示各种不同的颜色瞰】。因此，r g b 颜 色空间也是数字化图像最为常用的彩色模型。但是，r g b 模型的混色是按加色法进 行混合的( 如图2 1 ) ，也就是说各种颜色的光会越加越亮，因此，直接作为人眼对颜 色视觉感知能力的度量手段是不太适合的。 黄= 红+ 白= 红+ 绿+ 图2 1r g b 三原色加色系统 1 4 红= 红+ 蓝 2 基于颜色特征的图像检索 如图2 2 所示r g b 颜色模型常采用单位立方体表示：在正方体的主对角线上， 各原色的强度相等，产生由暗到明的白色，也就是不同的灰度值。( 0 ，0 ，0 ) 为黑色， ( 1 ，l ，1 ) 为白色。正方体的其它六个顶点分别为红、黄、绿、青、蓝和品红。r g b 色 彩空间不能与人感知中的颜色模型联系。 蓝( 0 ， 品红( 1 ，0 ， 红( 1 ，0 ，0 ) 2 1 3 h s v 颜色空间 图2 2r g b 立方体 1 ，o ) 黄( 1 ，l ，0 ) h s v 空间是一种符合人类视觉感知特征的颜色空间，特别适合于人类肉眼对颜 色的识别，因此被广泛应用于计算机视觉领域h 5 1 。如图2 3 所示h s v 空间可表示成 个圆锥体： v 录 o 0 度) 歪犬，一 - - j 机制，在图像检索中对相关反馈的伙伴图 像进行存储并加以利用。它是基于这样一种思想，对每个查询过程后存储下每个正反 馈的图像中的几个伙伴图像，将这几个伙伴图像用于之后的检索中，系统将检索到更 多的精确的、不同的结果。为了能更好的获取检索结果，z h a n g 等人提出一种判断伙 伴图像的标准，通过这个标准，设计一种算法去扩大选择的伙伴图像的数量。因为提 出的机制只需要为每一幅图像提供一个固定存储空间，因此它对于大型图像库具有好 的可量度性。实验证明也具有高效性，但对于没有伙伴图像的检索，则不适用。 用户相关反馈对图像检索效果的改进表现出如下的特点：随着用户提交的反馈图