（计算机应用技术专业论文）图像检索中基于强化学习的相关反馈技术研究.pdf

图像检索中基于强化学习的相关反馈技术研究中文摘要 图像检索中基于强化学习的相关反馈技术研究 中文摘要 随着计算机互联网和各种数字化设备的普及，有关多媒体信息管理的研究特别是 图像检索越来越受到关注。目前，基于内容的图像检索技术成为图像检索的主流。为 了改善检索结果，图像检索中提出了相关反馈技术，很好的实现了人机交互，因此相 关反馈成为了图像检索中不可缺少的部分。 本论文通过对基于内容的图像检索、相关反馈算法以及强化学习等多方面的研 究，将强化学习中的q 学习算法结合到相关反馈中，提出一种基于q 学习的相关反 馈算法，实验结果证明，本文的算法检索效果良好。此外，本文还对现有的i r r l 模 型( 图像检索强化学习模型) 算法进行了改进，并实验证明其优于改进前的i r r l 算 法。 本文主要研究工作为： 1 分析了现有的图像可视化特征的提取算法，特别是颜色和形状特征的提取算 法，通过具体的实验，提出了一种更好的特征提取算法。 2 通过研究学习强化学习原理以及强化学习中q 学习算法，寻找与相关反馈算 法的可融合点。选择q 矩阵记录每幅图像的累加奖赏值，通过q 学习算法，根据q 矩阵，图像的q 值越大则越相关。 3 对现有的i r r l 模型提出改进，选择每类图像的中值图像来提取最优策略；每 次反馈时，根据用户的最新一轮的反馈值来选取具体的相关反馈算法。 4 获取策略后，根据策略进行图像检索时，存在不同的反馈算法间如何组合的 问题。本文采取特征加权分别与查询优化、贝叶斯分类器相结合的方法，获得了更好 的检索结果。 本文将强化学习原理结合到图像检索的相关反馈技术中，使相关反馈能更好的实 现人机交互，检索系统能更好的满足用户的检索意图。 关键词：图像检索，相关反馈，强化学习，q 学习，i r r l 模型 作者：孙惠萍 指导教师：龚声蓉( 教授) 图像检索中基于强化学习的相关反馈技术研究 中文摘要 本文的研究工作受国家自然科学基金项目( 编号：6 0 6 7 3 0 9 2 ) 、教育部科研重点项 目( 编号：2 0 5 0 5 9 ) 和江苏省高技术研究计划项目( 编号：b g 2 0 0 5 0 1 9 ) 的资助a n t h er e s e a r c hofrelevancefeedbackbasedonreinforcementlearninginimageretrieva1一abstract t h er e s e a r c ho fr e l e v a n c ef e e d b a c kb a s e do n r e i n f o r c e m e n t l e a r n i n g i ni m a g er e t r i e v a l a b s t r a c t a l o n gw i t ht h eu n i v e r s a l i z a t i o no fc o m p u t e ri n t e r a c ta n dv a r i o u sd i g i t a le q u i p m e n t s ， m u l t i - m e d i ai n f o r m a t i o nm a n a g e m e n tr e s e a r c h ，i np a r t i c u l a ri m a g er e t r i e v a l ，a t t r a c t sm o r e a n dm o r ea t t e n t i o n a tp r e s e n t ，t h ec o n t e n t b a s e di m a g er e t r i e v a lt e c h n o l o g yb e c o m e st h e m a i n s t r e a mo fi m a g er e t r i e v a l i no r d e rt oi m p r o v e st h es e a r c hr e s u l t s ，t h er e l e v a n t f e e d b a c kt e c h n o l o g yw h i c hr e a l i z e dag o o dm a n m a c h i n ei n t e r a c t i o nh a sb e e ni n t r o d u c e d i ni m a g er e t r i e v a l ，t h e r e f o r er e l e v a n c ef e e d b a c kb e c o m ea ni n d i s p e n s a b l ep a r to fi m a g e r e t r i e v a l i nt h i sp a p e r , 0 1 1t h eb a s i so fr e s e a r c h i n gc o n t e n t b a s e di m a g er e t r i e v a l ，r e l e v a n c e f e e d b a c ka l g o r i t h ma n dr e i n f o r c e m e n tl e a r n i n g ，i n t e g r a t i n gt h eql e a r n i n ga l g o r i t h mi n t o t h er e l e v a n tf e e d b a c k ，ar e l e v a n c ef e e d b a c ka l g o r i t h mb a s e do nql e a r n i n gi sp r e s e n t e d t h ee x p e r i m e n t a lr e s u l t sa r ei n t e n d i n ga n dg o o d i na d d i t i o n , t h ep a p e ra s l oi m p r o v e dt h e e x i s t i n gi r r lm o d e l ( i m a g er e t r i e v a l r e i n f o r c e m e n tl e a r n i n gm o d e l ) a l o g r i t h m ， c o m p a r i n gw i t ht h et r a d i t i o n a la l g o r i t h mt h en e w a l g o r i t h mh a sb e t t e re f f i c i e n c y t h em a i nw o r ko ft h i sp a p e rc o n t a i n s ： 1 t h ee x i s t i n gv i s u a l i z ef e a t u r ee x t r a c t i o na l g o r i t h m s ，i np a r t i c u l a r l yf e a t u r eo f c o l o ra n ds h a p ee x t r a c t i o na l g o r i t h m s ，h a v eb e e na n a l y z e d ，a n dab e a e rf e a t u r ee x t r a c t i o n a l g o r i t h mh a sb e e np r o p o s e dd e r i v e df r o ms p e c i f i ce x p e r i m e n t s 2 t h r o u g ht h es t u d yo fr e i n f o r c e m e n tl e a r n i n gt h e o r y a n dq l e a r n i n ga l g o r i t h m ，t h e t h e s i si st of i n dt h ei n t e g r a t i o np o i n t sw i t hr e l e v a n c ef e e d b a c ka l g o r i t h m c h o i c eq m a t r i x r e c o r d se a c hi m a g e 。sc u m u l a t i v er e w a r dv a l u e ；t h r o u g ht h eql e a r n i n ga l g o r i t h mt h e g r e a t e rqv a l u eo ft h ei m a g ei sm o r er e l e v a n ta c c o r d i n gt ot h e f i n a lqm a t r i x 3 a m e n d m e n tt h ee x i s t i n gi r r lm o d e l ，i t st oe x t r a c tt h eo p t h - n a ls t r a t e g yf o re a c h f e e d b a c kb yc h o o s i n gt h em i d d l ev a l u ei m a g ef o re a c ht y p eo fi m a g e s ，i na c c o r d a n c ew i t h t h el a t e s tr o u n df e e d b a c kv a l u eo fu s e rt od e t e r m i n et h ec h o i c eo ft h er e l e v a n tf e e d b a c k i i i a b s t r a c t t h er e s e a r c ho f r e l e v a n c ef e e d b a c kb a s e do nr e i n f o r c e m e n tl e a r n i n gi ni m a g er e t r i e v a l a l g o r i t h m 4 a f t e ra c q u i r e dt h es t r a t e g y , w h e np u tu pt h ei m a g er e t r i e v a li na c c o r d a n c ew i m t h es t r a t e g y , t h e r ea l eap r o b l e ma b o u tt h ec o m b i n a t i o nb e t w e e nd i f f e r e n c e sf e e d b a c k a l g o r i t h m s ，t h et h e s i sa c c e s st oam o t eg o o df e e d b a c kr e s u l tb yt h ec o m b i n a t i o no ft h e w e i g h t e df e a t u r e ，q u e r yo p t i m i z a t i o na n db a y e s i a nc l a s s i f i e r t h i st h e s i sm a k e st h er e l e v a n c ef e e d b a c kc a na c h i e v eb e t t e rh c ib yi n t r o d u c i n gt h e r e i n f o r c m e n tl e a r n i n gp r i n c i p l e sr e l a t e dt ot h ei m a g er e t r i e v a lf e e d b a c kt e c h n o l o g y , r e t r i e v a ls y s t e mc a nb e t t e rm e e tt h eu s e r ss e a r c hi n t e n t i o n k e y w o r d s ：i m a g er e t r i e v a l ；r e l e v a n c ef e e d b a c k ；r e i n f o r c e m e n tl e a r n i n g ；q l e a r n i n g ；i r r lm o d e l w r i t t e nb ys u nh u i p i n g s u p e r v i s e db yg o n g s h e n g r o n g ，n l er e s e a r c ho ft h i st h e s i sh a ss p o n s o r e db yt h en a t i o n a ln a t u r a ls c i e n c e f o u n d a t i o no fc h i n au n d e rg r a n t6 0 6 7 3 0 9 2 ，t h em i n i s t r yo fe d u c a t i o nk e ys c i e n c e r e s e a r c hp r o j e c tu n d e rg r a n t2 0 5 0 5 9 ，a n d1 1 1 eh i 曲t e c h n o l o g yr e s e a r c hp l a no f j i a n g s up r o v i n c eu n d e rg r a n tb g 2 0 0 5 0 19 i v 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其他个人 或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或其它教育机 构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体， 均已在文中以明确方式标明。本人承担本声明的法律责任。 研究生签名；盈：蕴聋日 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作 部、中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和 电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的 内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查 阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权苏州大学学位办办理。 研究生签名：盈：查莲e l 导师签名：日期：堡呈：三：望 图像检索中基于强化学习的相关反馈技术研究 第一章引言 1 1 研究背景与意义 第一章引言 随着计算机技术的发展和普及，很多机构、院校等地涌现出了大量多媒体信息 数据，包括图像、视频等信息，尤其以照片、图形等图像信息为主【。本章介绍的图 像检索技术，正是为了解决图像繁多，查找麻烦这一问题而诞生的一门技术，这项技 术可广泛应用于数字图书馆，医学、地理等专业图像数据库，公共安全以及国防等多 个方面。 1 1 b i r 基于内容的 图像检索技术 c b i r 图1 1 图像检索技术的发展 用 户 需 求 更 好 的 满 足 相关反馈 算法 图像检索技术的发展，如图1 1 。上世纪7 0 年代，为解决大量图像、图片等信息 的查找麻烦问题，最先出现了基于文本的图像检索技术( t b i r ：t e x t b a s e di m a g e r e t r i e v a l ) 【蚴，该技术借鉴一般文本信息检索的方式，根据图像的语义内容进行人 工标注，然后通过检索标注的文字信息来搜索图像。随着图像数据库规模的不断扩大， 人工标注麻烦而且工作量很大，而且由于人的主观性的影响，出现标注的语句不一致 的问题。 为了解决这些问题，研究者们提出了基于内容的图像检索技术 ( c b i r ：c o n t e n t - b a s e di m a g er e t r i e v a l ) 阳，4 l 。它借助于图像理解、模式识别、计算机 第一章引言图像检索中基于强化学习的相关反馈技术研究 视觉技术和数据库管理及信息检索等技术，首先对图像采用特征提取算法提取相应的 特征，如图像的颜色、纹理、形状等视觉特征，并对这些特征按有效的方式进行索引 和存储，形成对图像内容的有效描述；然后在检索阶段，根据用户的要求进行查询， 并返回给用户满足条件的一组图像。 由于机器对图像的理解与人对图像的理解存在差别，因此系统检索出的图像难以 满足用户的需求。上世纪9 0 年代出现了相关反馈机制，该机制允许用户对系统提交 的检索结果进行评价，即用户可以对系统返回的每幅图像进行标注，可标注为相关或 不相关，然后再提交给系统；系统将根据用户的反馈信息来修改检索特征，再给出新 的更符合用户需求的检索结果。如此反馈多次，直到用户收到满意的返回结果结束查 询。目前，相关反馈机制已成为图像检索中不可缺少的重要组成部分【5 ，6 】。 由于人对一幅图像的理解不是看这幅图像有哪些颜色，什么纹理。而是看图像的 内容。因此，基于内容的图像检索所反映的图像底层特征与人的理解存在着差异，这 被称为“语义鸿沟”。基于语义的图像检索技术( s b i r ：s e m a n t i c b a s e di m a g er e t r i e v a l ) 【7 】由此而生。它提取图像中的内容，将该内容和所处位置以语义的方式存储。如下图 l ，2 所示是一幅太阳照在海面的图像，可提取如下的语义：太阳，大海，天空，太阳 在大海上方，太阳在天空中。 蘸鬻 _ ? ；警羹蘸舞l 一+_!蛩；j p ，一： 一_ ! o o 山一 ， 一| ? 时、一 一：曩-嚣鼍乏 o ，：攥 ：薯，簪：- ! a z 羲z a 二参- ：_ 一l ：嚣凄雾羲露：。二 图1 2 一个图片例子 图像检索中基于强化学习的相关反馈技术研究第一章引言 1 2 研究现状 1 2 1 基于内容的图像检索技术 早期的基于内容的图像检索系统着重于研究如何自动提取图像的可视化信息，并 实现对大型图像库的可靠的检索。 如i b m 公司a l m a d e n 研究室研发的q b i c ( q u e r yb yi m a g ec o n t e n t ) i s 系统，它允 许用户给出希望查询的图像的视觉特征，然后系统以此为例从大型在线图像数据库中 搜索、浏览并提取库中满足条件的图像。该系统所提出的图像库、特征计算和查询三 个部分组成的系统框架是目前图像检索系统中广泛应用的框架。 由m i tm e d i al a b 开发的图像浏览与检索的交互工具p h o t o b o o k 系统【1 】，它是分 别提取图像的形状、纹理和面部特征，用户可以根据这三个特征分别进行相应的检索。 在其后来的扩展版本中，引入了相关反馈技术，改善了系统的查询能力。 系统所提取的图像底层的视觉特征与用户对图像的理解之间存在一定的差异，为 解决这一问题，研究者们引入了相关反馈机制，提出采用交互式检索模式的图像检索 系统。 ?n e c 研究协会开发的p i c h u n t e r 系统【lj 是较早引入相关反馈机制的图像检索系 统。它提取图像的颜色直方图、颜色空间分布、纹理特征，采用概率函数贝叶斯分类 器作为相关反馈算法，通过与用户的交互进行样本学习，提高检索正确率。 u i u c 大学研发的m a r s ( m u l t i m e d i aa n a l y s isa n dr e t r i e v a ls y s t e m ) 【2 3 ，9 】系 统，它的特点是使用比较全面的图像底层特征，提供基于树结构的多特征的组合检索。 具体为提取图像的颜色、纹理、形状特征，并采用查询点优化和特征加权相结合的相 关反馈算法来实现与用户的交互。 当前，基于内容的图像检索研究的主流是在基于用户交互的检索模式基础上进行 更深入的研究【6 】：根据人的视觉特征，研究更好的提取特征信息的算法，如刘忠伟等 人将多个颜色空间表示方法和直方图计算方法进行比较，寻找更好的颜色特征的描述 算法n 蜘；此外很多研究者通过模式识别、机器学习等相关领域的研究，将多个理论算 法应用到相关反馈中来，如贝叶斯分类器、决策树、支持向量机等算法，具体介绍见 下节。 第一章引言 图像检索中基于强化学习的相关反馈技术研究 1 2 2 相关反馈算法的研究现状 相关反馈技术是图像检索中重要的组成部分，在基于内容的图像检索系统中，检 索总是通过一系列的交互来完成。其基本步骤为： ( 1 ) 用户提交一个例子图像，检索系统返回初始的查询结果； ( 2 ) 用户对查询结果标上相关或不相关，并提交给系统； ( 3 ) 系统通过反馈算法进行学习，给出新的查询结果； ( 4 ) 返回到第( 2 ) 步，直到用户得到满意的结果，结束查询。 相关反馈( r e l e v a n c ef e e d b a c k ) 原是上世纪7 0 年代起，一种在文字检索系统中 使用的技术。它利用用户先前的检索结果信息进行反馈并自动调节当前的查询。上世 纪9 0 年代起，在图像检索技术领域，相关反馈的引入给检索系统提供了更多的信息， 对检索过程的正确性进行具有重要的指导作用【8 】。 目前，已经有多种算法应用到相关反馈中来。较早的查询点优化算法、特征权重 调整算法在t s h u a n g 等人的m a r s 系统中得到了很好的体现。查询点优化是根据用 户反馈的正例和反例来修改当前查询点，从而使查询点更接近用户的意图。特征权重 算法将每幅图像对应到特征空间中一个n 维特征向量，检索开始时特征空间每一维 上的权重都是相等的。在相关反馈过程中，如果所有正反馈在某个维度上的值相差很 大，说明这个维度和用户查询的关系不大，可以降低该维度的权重；反之，提高该维 度的权重。但该算法需要计算图像特征每一维的权重值，计算量大。 近来，很多对相关反馈算法的研究应用到模式识别、机器学习中的算法。如模式 识别中基于概率框架的算法贝叶斯分类器l l ，该算法将用户每次反馈的相关与不相关 图像作为样本学习，通过多次反馈学习，使分为正例的图像逐步接近用户的意图。 还有很多研究者把检索看成不同类型的监督学习闯题，并针对该问题的特点将机 器学习方法引入到相关反馈算法的研究中来。如m a c a r t h u r 等人【1 2 】采用决策树来解决 两类分类问题。先用一个决策树顺序来裁剪特征空间，直到所有在同个划分中的点 属于同一类，再把落到相关叶子节点的图像按它们到查询的距离排序并返回。 机器学习中的支持向量机( s v m ) 【l 训在有限样本的情况下具有良好的推广性。 该算法将首次反馈的n 幅图像中相关的1 1 幅图像作为正样本，余下的n - n 为负样本， 对正负样本进行学习训练，建立s v m 模型分类器，再根据分类器对库中的图像进行 4 图像检索中基于强化学习的相关反馈技术研究 第一章引言 分类。但该方法将图像绝对的分成两类，不能准确的描述非相关图像的分布。 2 0 0 5 年，p y y i n 等人将机器学习中的强化学习算法应用到相关反馈中，提出了 i k r l ( i m a g er e t r i e v a lr e i n f o r c e m e n tl e a m i n g ) 模型1 1 4 】。该方法通过结合多个现有的 反馈方法，为不同类型的图像寻找更适合的反馈算法，最终得到一个最适合该类型图 像的反馈算法策略。这一方法的提出首次将强化学习应用到图像检索中来，也是首次 在检索系统中应用多个具体的反馈算法。在本文的工作中，研究了i r r l 模型，并在 p y y i n 等人的工作基础上提出了改进和完善。 。 1 3 问题的提出 基于内容的图像检索以自动化程度高、检索方便而取代了基于文本的图像检索技 术；相关反馈技术很好地改善了机器对图像的理解与人对图像的理解存在着的差别， 但现有的检索系统以及反馈算法还存在着很多不完善的地方，如下： 图像检索中，用户是按照图像的内容进行检索，而不是单纯的某个视觉特征。 比如一幅红色花朵占主体的检索图片，用户的目的是检索出有关花朵这个内容的相似 图像，而不是红色占主体的其他内容的图像。 单一的反馈算法并不适用于所有类别的图像，同时，由于每个反馈算法都有 各自的优缺点，每一类图像的检索也不是都能找到一种最合适的反馈算法。 i r r l 模型的提出为用户检索提供了更好的反馈算法的选择，但同时也存在着 一些问题：如何更快而有效的通过每一次反馈学习到用户的检索意图，如何寻找更适 合用户当前提交的图像例子的反馈算法。 根据这些问题，本文的主要工作为以下四个方面： 寻找能更好的反映用户意图的特征提取算法； 提出一种基于强化学习的相关反馈算法； 更快捷地获得反馈算法策略； 改进检索算法，以便用户更好地使用策略来进行同类图像的检索。 强化学习的思想是，智能体通过与环境的交互学习，选择能达到目标的最优动作。 而交互式图像检索是通过与用户交互，给出用户更满意的查询结果。本文的前期工作 是将库中图像作为动作，每次反馈后修改的新的查询点为一个新状态，相关内容已发 表在计算机工程与应用上。 第一章引言图像检索中基于强化学习的相关反馈技术研究 1 4 内容安排 本文的研究内容主要分为以下几章： 第一章简单介绍了本文研究的背景和意义，图像检索技术和相关反馈算法的研 究现状和发展趋势，最后综述了本文的工作。 第二章首先介绍了检索性能的衡量指标，然后介绍并讨论基于内容的图像检索 技术中可视化特征的提取算法，以及这些特征内部的归一化和特征间的归一化。其中 重点分析颜色和形状特征，在结合现有方法的基础上提出了本文的颜色、形状特征的 提取算法。 第三章主要进行结合q 学习的相关反馈算法的实验，先介绍机器学习中的强化 学习，并以一个简单的例子说明强化学习中，智能体如何与环境交互，获得策略，然 后具体介绍强化学习中经典的q 学习算法函数和详细步骤。在此基础上提出本文的 具体实验算法，并与特征加权算法进行了比较。 第四章首先介绍i r r l 模型，然后对i r r l 模型算法提出改进并给出本文的具体 算法，为了详细说明问题，本实验做了两个算法，第一个算法是获得各个类型图像的 反馈算法策略；第二个算法是根据策略进行具体的图像检索。最后通过对实验结果的 分析比较，得出本算法优于改进前的i r r l 模型算法的结论。 第五章总结了全文内容，指出本文的研究成果并对下一步工作给予了展望。 6 图像检索中基于强化学习的相关反馈技术研究第二章图像检索的可视化特征提取 第二章图像检索的可视化特征提取 本文是在基于内容的图像检索技术下实现，如图2 1 所示的图像检索系统，先提 取可视化的特征作为检索依据，然后根据例子图像给出初始结果，依据一定的反馈算 法与用户进行交互，最终给出用户满意的检索结果。 1 1 一i 图2 1 图像检索系统图 本章先给出检索性能的衡量指标，本文的具体实验结果将参照这一标准。图像的 可视化特征主要有颜色特征，形状特征和纹理特征。目前各个特征都有多种提取方法， 本文提取颜色、形状特征进行实验，得出能获得更好的检索结果的图像颜色和形状特 征的提取算法。 2 1 检索性能的衡量标准 多媒体信息检索中一般采用查全率( r e c a l l ) 和查准率( p r e c i s i o n ) 来评判检索系 统的性能1 1 5 】： 朋= r e l e v a n t 而_ a l 赢l n r 巧e t r i e r v e d 一_ a l l i ( 2 1 ) l 比f ，f p v p d 口盯i 7 ，-i-i-i-11- 相关反馈过程 第二章图像检索的可视化特征提取 图像检索中基于强化学习的相关反馈技术研究 一：irelevantnretrrievediprecision (22，i = 了一 ( 2 2 ) r e t r i e v e d f 、7 其中，r e t r i e v e d a l l 表示当前检索所有反馈次数中系统返回的图像集合， r e l e v a n ta l l 表示数据库中与例子图像相关的所有图像集合。本文中，设每类图像相关 的图像有珂。个，根据相似度计算返回的前门。个图像中相关的图像个数，再按照式2 1 计算查全率。r e l e v a n t 表示当前反馈结果中相关的图像集合，r e t r i e v e d 表示当前反馈 的所有图像集合。式2 2 的查准率是根据每一次反馈结果计算相关图像占总返回图像 的比例。本文的实验结果采用如上的衡量标准进行评测。 2 2 颜色特征的提取实验 颜色特征是基于内容的图像检索系统中应用最广泛的视觉特征，它对图像本身的 尺寸、方向、视角的依赖性较小，具有较好的鲁棒性。颜色直方图是图像检索系统中 被广泛采用的颜色特征，它所描述的是不同色彩在整幅图像中所占的比例，而不关心 每种色彩所处的空间位置，因此颜色直方图特别适合于描述那些难以进行自动分割的 图像。 本实验最终采用非均匀量化后的累加直方图法，具体方法为先将r g b 图像转化 为h s v ( 色调、饱和度、亮度) 色彩空间，进行非均匀量化，然后计算图像的一般 直方图，最后将一般直方图转化成累加直方图。实验证明，该方法优于其他直方图算 法。 2 2 1 r g b 空间到h s v 空间的转换 颜色直方图需要基于一定的颜色空间。最常用的颜色空间是r g b 颜色空间，因 为大部分的数字图像都是采用这种颜色空间来表达的，但r g b 空间结构不符合人们 对颜色相似度的主观判断，因此研究者提出了基于h s v 空间的颜色直方图，它比r g b 颜色空间更接近人眼对颜色的主观认识。 r g b 颜色空间到h s v 颜色空间具体转换公式如下：若已知一幅r g b 图像中某 个像素的r 、g 、b 三个值，将它转化为h 、s 、v 值的具体公式如下： 8 图像检索中基于强化学习的相关反馈技术研究第二章图像检索的可视化特征提取 2 2 - 2 非均匀量化 ( 2 3 ) 实际计算中，有可能一幅图像的像素有多种不同的值，这样计算一般直方图占内 存大，而且有些像素值相差很小，肉眼难以区分。为减少运算量，缩减空间，在计算 直方图前需要先量化像素值。 量化方法有两种，一是均匀量化，这样计算方便，但不利于显示颜色特征间的差 别；二是根据人眼对颜色的感知特性，进行非均匀量化【1o ，1 6 1 ，该方法不但能有效的缩 减直方图所占的空间，方便计算，而且尽可能的不影响颜色特征间差别的显示。 本文采用的是非均匀量化。具体量化方法为，先根据式2 3 分别得到h 、s 、v 的值，然后： h 均匀量化成8 级，即h 0 1 2 5 ；， s 按照 o ，0 2 】，( 0 2 ，0 6 5 ，( o 6 5 ，1 】区间划分为三个量，分别取值为o ，1 ，2 。 v 的划分同s 。 量化后，将三个分量合成为一个特征向量l - 工= g q y h - i - a v s + y ，其中g 、 g 分别表示s 和v 的量化级数，在本实验中，取珐= 3 ，绋= 3 。则： 工= 9 h + 3 s + y ( 2 4 ) 如此，将颜色分成了7 2 个等级。 2 2 - 3 直方图的计算 先来看下一般直方图的计算方法【1 7 1 。如图2 2 所示是某个大小为3 8 4 * 2 5 6 的彩色 图像非均匀量化后的一般直方图。记s u m ( p ，x f ) 为图像p 中特征的值为】【i 的像素总数， n 为p 图像的像素总数，则p 图像的一般直方图为：何( p ) = ( 吃。，以2 ，h x i 历期) ，其 9 垫啦 玑舢 丝卅 州邸 甓黔 一 r g 嬲 嘶 七叠一 第二章图像检索的可视化特征提取图像检索中基于强化学习的相关反馈技术研究 k = s u m 可( p 一, x i ) 图2 2 非均匀量化的一般直方图 ( 2 5 ) 图像的检索结果是由人做主观评价，在h s v 颜色空间中，人眼对于h 色调的微 小变化不敏感，也即在相同亮度和饱和度的情况下，色调在一定范围中的变化人眼是 无法觉察的。 为了适应人眼视觉特性，有研究者提出加大量化间隔，将相近的颜色量化为同一 值，但这样存在着如何寻取量化点的问题。很可能两个数值很相近的颜色，被量化成 了两个不同的值，而两个相对差距大的颜色却量化成了同一个数值。此时若使用一般 直方图则误检的概率很大。由此，引入了累加直方图，累加直方图保证了在色调分布 轴上距离小的两个点比距离大的两个点更相似【1 0 1 。 累加直方图no 1 刀可定义如下：已知某个图像颜色特征的一般直方图为 h c p ) - ( 丸。，以：，k 。九) ，则该图像的累加直方图可由下式计算： 五( 一= ( 以。，k ，屯，以) 其中：丸= k ，j 为整数 ( 2 6 ) j - i 图2 3 所示是归一化后的非均匀量化的累加直方图，采用与图2 2 相同的图像。 根据非均匀量化公式可知道，式2 5 中置的值可有7 2 种选择。下面通过实验来证明 非均匀量化的累加直方图更获得更好的检索结果。 1 0 图像检索中基于强化学习的相关反馈技术研究 第二章图像检索的可视化特征提取 图2 3 归一化的非均匀量化累加直方图 2 2 4 颜色直方图比较的实验结果 为通过比较来说明本文采用的直方图方法更有效，实验给出均匀量化的一般直方 图、非均匀量化的一般直方图、均匀量化的累加直方图和非均匀量化的累加直方图， 共四种直方图计算方法，采用欧式距离计算相似度。实验采用1 9 8 幅各类图像组成的 图像库，随机抽取4 幅图像，每种直方图提取方法都检索这四幅图像，最后根据检索 。性能的衡量标准，计算每种提取方法中四幅图像检索的平均值，实验结果见表2 1 。 表2 1 四种直方图方法计算的检索结果比较 颜色特征提取方法查全率查准率 均匀量化的一般直方图 6 5 17 2 2 非均匀量化的一般直方图 6 3 38 0 1 均匀量化的累加直方图 6 4 28 3 3 非均匀量化的累加直方图 6 8 2 8 3 3 由表2 1 的数据可知，从查全率和查准率两个衡量指标来看，非均匀量化的累加 直方图比之其他三种方法能获得更好的检索结果。 2 3 形状特征的提取 物体和区域的形状是图像检索中的另一重要的特征。不同于颜色或纹理等特征， 形状特征的表达必须以对图像中物体或区域的划分为基础。 通常来说，形状特征有两种表示方法，一种是轮廓特征的，一种是区域特征的。 前者只用到物体的外边界，而后者则关系到整个形状区域。区域特征的典型算法是形 第二章图像检索的可视化特征提取 图像检索中基于强化学习的相关反馈技术研究 状无关矩，这也是本实验最终采用的形状特征提取方法。 不变矩又称形状无关矩，是一种基于区域的物体形状表示方法1 13 ，1 9 1 。设一幅图像 函数为f ( x ，y ) ，它的p + q 阶矩和p + 9 阶中心矩分别定义为 聊戌= x p y 4 厂o ，y ) ( 2 7 ) l y 刀用= o 一两户( y 一习9 厂( x ，y ) ( 2 8 ) 鼻j f f 式2 8 q bx = 刀l o n o o ，y = n o l n o o ，也即重心坐标。则厂o ，y ) 的归一化的中心矩 可表示为： k 月= 门腭n ，其中，= 华+ 1 ，p + q ：2 ，3 ， ( 2 9 ) 归一化的中心矩可以满足尺度无关性。将归一化的二阶中心矩毛1 、k 眈、k ：o 和 三阶中心矩k 。：、七：l 、k 。，k a o 进行组合可得到7 个对平移，旋转和尺度变化不变矩， 即有： h l = 七2 0 + 七0 2 h 2 = ( 后2 0 - k 0 2 ) + 4 碌 h 3 = ( k - 3 k j 2 ) 2 + ( 3 j j 2 l - k ) 3 h = ( 七3 0 + 露1 2 ) 2 + ( j 2 l + 后0 3 ) 2 h s = ( 七3 0 一3 k 1 2 ) ( 忌3 0 + 七1 2 ) 【( 露3 0 + 毛2 ) 2 - 3 ( k 2 l + 七) 2 】+ ( 3 七2 l 一七) ( 七2 l + 七0 3 ) d ( 七3 0 + 七1 2 ) 2 - ( k 2 l + 七0 3 ) 2 】 ( 2 1 0 ) h 6 = ( 七- k ) 【( k + 七1 2 ) 2 一( 七2 l + 七) 2 】+ 4 毛l ( | j 3 。+ 七1 2 墨：，+ k ) h 7 = ( 3 k 2 l k ) ( 后3 0 + 七1 2 ) 【( + 毛2 ) 2 - 3 ( k z l + ) 2 】+ ( 3 k 1 2 一k 3 0 ) ( 庀2 l + 七0 3 ) 【3 ( 七+ 毛2 ) 2 一( 七2 l + 七0 3 ) 2 】 形状特征的提取方法为：根据极大小波分解将图像分解成多尺度，得到每幅图像 的多尺度的边界描述，然后计算每一尺度的7 个不变矩。在姚玉荣等人的方法中，结 合形状不变矩提出了如下的算、法【1 9 】： 1 2 图像检索中基于强化学习的相关反馈技术研究第二章图像检索的可视化特征提取 算法2 1 结合小波分解的形状不变矩图像检索算法 ( 1 ) 对图像做小波分解，得到多尺度的模图像； ( 2 ) 记录下小波变换域中模是局部极大值并且模大于事先设定的阈值的那些点，这 样就得到了多尺度的边界图像： ( 3 ) 对每一尺度的边界图像计算出它的7 个不变矩，所有尺度上的不变矩共同组 成这个图像的特征向量； ( 4 ) 对特征向量进行归一化； ( 5 ) 查询时计算两幅图像归一化后的特征向量的欧氏距离作为两幅图像的相似度。 形状不变矩具有很好的变换、旋转和缩放无关性。本文的形状特征提取算法参照 算法2 1 。先将图像转化成灰度图，然后再对图像进行小波分解，根据观察不同尺度 分解后的形状图( 见图2 4 ) ，考虑分解的清晰度和图像矩阵的复杂性，最终采用小波 2 尺度分解，并记录局部极大值作为边界图像。 ( a ) 原图像( b ) 1 尺度分解图像( c ) 2 尺度分解图像 口 厂二 ( d ) 3 尺度分解( e ) 4 尺度分解( f ) 5 尺度分解 图2 4 小波多尺度分解图 2 4 图像检索中其他的可视化特征 图像的可视化特征除了本章介绍的颜色、形状特征外，还有纹理、空间关系等特 第二章图像检索的可视化特征提取 图像检索中基于强化学习的相关反馈技术研究 征。 纹理特征是一种不依赖于颜色或亮度的视觉特征，它反映的是图像的一种局部结 构化特征，具体表现为图像像素点在某领域内像素点灰度级或者颜色的某种变化。空 间关系特征是描述图像中具体对象所在的位置和对象之间的空间关系的特征。 由于时间关系，本文只研究并提取了图像的颜色和形状特征。 2 5 特征归一化 由于不同特征的物理意义不同，取值范围也大相径庭，因此不同的特征无直接的 可比性。当检索系统综合不同特征进行检索时，首先需要对不同特征的数值进行归一 化。特征的归一化分为内部归一化和特征间归一化。 2 5 1 特征内部归一化 高斯归一化方法【8 1 是一种较好的归一化方法。 设有一个n 维的特征向量：f = 【石，厶， 】，如果用，。，l ，厶代表图像库中的 图像，则对于任一幅图像，其相应的特征向量为：f = 【z 。，：，厶】。设相应的特 征分量值 z ，厶，厶】符合高斯分布，计算出均值m ，和标准差q ，然后可 将石归一化至 - 1 ，l 】区间，从而得到归一化的z 罗，上标n 表示归一化。 z 穸：f f , j - m j ( 2 1 1 ) d ， 实际应用中，会有少量值仍落在 - 1 ，1 】区间外，此时可将【- 1 ，1 】区间外的值设为 1 或1 ，从而保证所有的z 罗值都落在【- 1 ，1 】区间内。 2 5 2 特征外部归一化 特征的外部归一化实际上是对图像库内所有图像对之间的相似距离进行归一化。 设有一个n 维的特征向量：f = 【石， ， 】，如果用j ，：，厶代表图像库中的图像， 则对于任一幅图像i ，其相应的特征向量为：f = 【z ，z ：，厶】( 参数设定同2 5 1 节) 。归一化的主要步骤为： 1 计算图像库中每两个图像i ，j 所对应特征向量e ，c 间的相似距离： d - ，= a i s m c e ( f , ，乃) ，l = 】，2 ，。厨且i 了 ( 2 1 2 ) 1 4 图像检索中基于强化学习的相关反馈技术研究第二章图像检索的可视化特征提取 2 计算公式2 1 1 得到的m ( m 一1 ) 2 令距离值的均值m d 和标准差盯d ： 3 对查询图像o ，计算其与图像库中每个图像的相似距离，记为 d i 口，d 2 q ，d 肘q ； 4 对q 口，d 2 q ，d 蚴按下式进行高斯归一化( 上标n 表示归一化结果) ： 聊：五z 二丝 ( 2 1 务 。 g j 5 转换到【一1 ，1 】区间，作如下线性变换： 删i q = ( 等+ 沙 晓 这样得到的d 苍值有9 9 落在【o ，1 】区间。 实际应用中，图像间的相似距离不一定符合高斯分布，这时可借助于一个更