（计算机科学与技术专业论文）图像检索中相关反馈的半监督主动学习研究.pdf

j1i s e m is u r v i s e da c t i v el e a r n i n gf o rr e l e v a n c efeedbacksemi-sude s e a la c t i v el e a r n i n gf o rr e l e v a n c ef e e d b a c ki 。n i m a g er e t r i e v a l at h e s i ss u b m i t t e dt o d a f i a nm a r i t i m eu n i v e r s i t y i np a r t i a lf u l f d l m e n to ft h er e q u i r e m e n t sf o rt h e d e g r e eo f m a s t e ro fe n g i n e e r i n g b y z h a n g s h u a i ( c o m p u t e rs c i e n c ea n dt e c h n o l o g y ) t h e s i ss u p e r v i s o r ：a s s o c i a t ep r o f e s s o rf u y m g f i a n g j u n e2 0 1 1 嬲嬲一 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果，撰 写成博硕士学位论文“图堡捡塞史担羞厦焦的圭些督圭麴堂习硒塞 。除论文中已 经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明 确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开发表或 未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名：亟壶 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学位 论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论文的 复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制 手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士学位论文全 文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全文数据库 ( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式出版发行和提供信 息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密口( 请在以上方框内打“ ) 论文储躲莉巾导师徘彳旁肇 日期：羽j 1 年 月 中文摘要 摘要 随着多媒体与互联网技术迅猛发展，基于内容的图像检索受到广泛关注。然而 早期的基于内容图像检索仅仅利用图像的颜色、纹理、形状等特征信息进行图像间 相似性判定而无法有效解决图像低层特征与其高层概念语义不一致的“语义鸿沟” 问题。相关反馈技术的引入有效缩小了语义鸿沟。统计学习与机器学习在相关反馈 中的应用改善了图像检索的性能。本文针对学习过程中存在的小样本问题与数据冗 余问题，从动态距离度量和聚类方法两个角度探索了融合谱聚类的半监督主动学习 方法。具体研究内容如下： ( 1 ) 本文采用一种动态距离度量方式对图像间相似性进行度量。根据反馈过程后 用户反馈的相关性信息，针对不同低层特征动态地调整动态距离度量公式中相对应 的权值，以反映用户的“主观性 ，凸显“有利 特征，提高聚类准确性。 ( 2 ) 在动态距离度量的基础上，采用n c u t 谱聚类方法对反馈区中样本( 富有信 息样本) 进行聚类，选取待标集，以处理主动学习过程中的数据冗余性问题，从而 使分类器从对同语义类中冗余性样本学习转变为对不同语义类样本学习，增强了分 类器的主动学习效果。 ( 3 ) 本文针对s v m a l ，s s a i r ，r s a s 3 v m a l 三种不同学习策略的算法，融 合谱聚类方法，总结出了s v m a l d c ，s s a i r d c ，r s a s 3 v m a l d c 算法。 ( 4 ) 本文设计并实现了一套c b i r 检索系统并进行相关实验。该系统具有较好的 灵活性。 通过实验分析与比较，验证了半监督主动学习方法在检索准确性方面的优势， 而谱聚类方法的融入，对检索准确性的进一步提升具有积极意义。 关键词：谱聚类；动态距离度量；半监督学习；主动学习 英文摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fm u l t i m e d i aa n di n t e r n e tt e c h n o l o g y ，c b i r ( c o n t e n t - b a s e di m a g er e t r i e v a l ) h a sa t t r a c t e dc o n s i d e r a b l ep u b l i cc o n c e r n h o w e v e r ，t h e e a r l ys t u d yo nc o n t e n t - b a s e di m a g er e t r i e v a lf o c u s e do nh o wt ou s et h ei m a g e sc o l o r ， t e x t u r e ，s h a p ea n do t h e rf e a t u r e si n f o r m a t i o nt od e t e r m i n et h es i m i l a r i t yb e t w e e ni m a g e s t h i sc a n n o ts o l v et h e s e m a n t i cg a p ”p r o b l e mc a u s e db yt h eg a pb e t w e e nl o w - l e v e l v i s u a lf e a t u r e sa n dh i g h - l e v e ls e m a n t i cc o n c e p t s t h er e l e v a n c ef e e d b a c k , c o n s i d e r e da s a ne f f e c t i v ew a yo fn a r r o 咖gt h es e m a n t i cg a p ，h a sb e e ni n t r o d u c e di n t ot h ec b i r a r e a s t a t i s t i c a ll e a r n i n ga n dm a c h i n el e a r n i n gh a sa l s ob e e ni n v o l v e di nt h er e l e v a n t f e e d b a c kp r o c e s st oi m p r o v ei m a g er e t r i e v a lp e r f o r m a n c e t o d a y ，t h e r es t i l le x i t ss m a l l s a m p l ep r o b l e m sa n dd a t ar e d u n d a n c yi s s u e si nt h el e a r n i n gp r o c e s s t h i sp a p e ra d o p t s d 1 删cd i s t a n c e m e t r i ca n dc l u s t e r i n gm e t h o dt of o r mt h e s p e c t r a lc l u s t e r i n ga n d e x p l o r et h es e m i s u p e r v i s e d a c t i v e l e a r n i n ga f t e ri n t e g r a t i o n o fs p e c t r a l c l u s t e r i n g s p e c i f i cs t u d i e sa r e 嬲f o l l o w s ： ( 1 ) u s i n gd y l l a ：m i cd i s t a n c em e t r i ct oc o m p u t et h es i m i l a r i t i e sb e t w e e ni m a g e s s p e c i f i c a l l y ，a c c o r d i n gt ot h eu s e rf e e d b a c ki n f o r m a t i o nd u r i n gt h ep r o c e s so fr e l e v a n c e f e e d b a c k , t h es y s t e ma d j u s t st h ew e i g h tr e s p o n s i b l ef o rd i f f e r e n tl o w l e v e lf e a t u r e s d y n a m i c a l l y a f t e r w a r d s ，t h es y s t e mc o m p u t e st h es i m i l a r i t i e sb e t w e e ni m a g e s 、) ，i mt h e h e l p o ft h ed y n a m i cd i s t a n c em e t r i c t h ew a yr e f l e c t st h e u s e r s ”s u b j e c t i v e ” c h a r a c t e r i s t i c sa n dh i g h l i g h t st h e ”a d v a n t a g e o u s ”f e a t u r e st oi m p r o v et h ea c c u r a c yo f c l u s t e r i n g ( 2 ) b a s e do nd y n a m i cd i s t a n c em e t r i c ，t h en o r m a lc u ts p e c t r a lc l u s t e r i n go nt h e s a m p l e si sa d o p t e di nt h ef e e d b a c ka r e a ( s a m p l e sw i t hr i c hi n f o r m a t i o n ) t h e nw es e l e c t t h er e p r e s e n t a t i v es a m p l e st ob es e tt oh a n d l et h ed a t ar e d u n d a n c yp r o b l e md u r i n gt h e a c t i v el e a r n i n gp r o c e s s t h ec l a s s i f i e rt r a n s f e r sf r o mb yl e a r n i n gf r o mt h eo r i g i n a l r e d u n d a n c ys a m p l e si nt h es a m es e m a n t i cs e ti n t ob yt h o s ei nt o t a l l yd i f f e r e n ts e m a n t i c s e t t h i si m p r o v e st h ew h o l ea c t i v el e a r n i n g 一 茎苎塑墨 ( 3 ) d i s c u s s i n ga b o u ts v m a l ，s s a i i lr s a s 3 v m a l a l g o r i t h m si n 也r e e d i f f e r e n tl e a r n i n gs t r a t e g i e s a f t e ri n t e g r a t i o no fs p e c t r a lc l u s t e r i n g ，t h e ns u mu pt h e s v m a l - d c ，s s a i r - d c ，r s - a s 3 v m a l d ca l g o r i t h m ( 4 ) b a s e do i lt h ee x p e r i m e n tc o n t e n lw ed e s i g nac b i rr e t r i e v a l s y s t e ma n d c o m p l e t et h ee n t i r ee x p e r i m e n to ni t b yc o m p a r i s o nw i t he x p e r i m e n tr e s u l t s ，w ev e r i f ys e m i s u p e r v i s e da c t i v el e a r n i n g m e t h o d sa les u p e r i o ri nt h er e t r i e v a lr e s u l t s a f t e ri n t e g r a t i o no fs p e c t r a l e l u s t e 血g a n a l y s i si n t oi t , i tp l a y sb e t t e ri nr e t r i e v a lp e r f o r m a n c e a l li na l li th a sp o s i t i v em e a n i n g k e yw o r d s ：s p e c t r a lc l u s t e r i n g ；d y n a m i cd i s t a n c em e t r i c ；s e m i s u p e r v i s e dl e a r n i n g ； a c t i v el e a r n i n g 目录 目录 第1 章绪论1 1 1 研究背景。l 1 2 研究现状3 1 3 。研究内容4 1 4 论文的组织结构6 第2 章基于内容的图像检索相关技术概述7 2 1 视觉特征提取7 2 2 相似性度量1 1 2 3 图像检索性能评估1 2 第3 章融合聚类的半监督主动学习1 4 3 1 相关反馈中的动态距离度量算法1 4 3 1 1 构建图像模型1 5 3 1 2 动态相似性度量融入相关反馈过程1 5 3 1 3 规范化17 3 1 4 权值调整19 3 2 相关反馈中的聚类方法2 0 3 2 1 聚类算法的选择与聚类个数2 2 3 2 2 谱聚类算法在相关反馈中的融合2 5 3 3 融合谱聚类的半监督主动学习框架2 6 3 3 1s v m ( s u p p o r tv e c t o rm a c h i n e ) 算法概述2 6 3 3 2 融合谱聚类的s v m 主动学习s v m a l d c 2 7 3 3 3 融合谱聚类的基于半监督主动学习s s a i r d c 2 9 3 3 4 融合谱聚类的基于半监督集成学习r s a s 3 v m a l d c 3 0 3 4 实验结果与分析3 4 3 4 1 实验涉及算法分析与对比3 4 3 4 2 实验设置3 4 3 4 3 结果与讨论3 6 第4 章图像检索系统的设计与实现4 3 4 1c b i r 系统总体结构需求分析与设计4 3 目录 4 1 1 系统总体结构框架一4 3 4 1 2 功能模块划分4 4 4 2 系统实现4 5 4 2 1 系统开发和运行环境介绍4 5 4 2 2 系统实现界面4 6 4 2 3 系统流程及实现细节4 7 第5 章总结与展望4 9 参考文献5l 至j 【谢5 6 图像检索中相关反馈的半监督主动学习研究 第1 章绪论 1 1 研究背景 多媒体技术的日臻成熟，大容量存储方案的切实可行，在带给我们分享生活 感动点滴的同时，却也引发出另一个幸福的困扰“数据海啸 。如何从当今 海量信息充斥的互联网中高效、快捷地检索出所需信息，成为时下一个热门的课 题，图像检索技术尤甚n ，。 上世纪七八十年代，图像检索普遍借助于关键字等文字信息，将图像检索转 化为文本检索，从而达到检索所需图像的目的。这与当时各学科知识不丰富，图 像检索相关基础技术尚处在萌芽阶段有关。在这个时期，信息量有限，文字标注 “成本较低，人们将图像检索这类高级问题转换为文字检索这类研究理论较为 成熟的问题不失为一种可行方法。早期，人们往往使用简短的关键字笼统地概述 图像中所要表达的内容。久而久之，人们发现为图像添加文字注解本身其实就是 很棘手的难题一幅图像所蕴含、所表达的信息往往很难用简单的一两个词甚 至一两句话来表述完整乜3 。对于这种现象，人们称之为图像的“富信息化 口3 。不 仅如此，面对同样一幅图像，每个人往往有自己独有的理解方式。图像的富信息 化以及人们对于图像的主观性促使图像检索领域向“以图找图 的方向迈进。 2 0 世纪9 0 年代起，基于内容图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 技术开始蓬勃发展h 3 。基于内容图像检索从字面上理解是通过图像的内容来进行相 关图像检索。其利用到了图像中富含的信息来评估图像相关性。这些信息包含从 图像中提取到的特征，例如颜色、纹理、空间位置等。通过计算图像间相似度， 以其作为指标来判定图像间的相关性啼3 。如图1 1 所示，c b i r 的研究涵盖了模式 识别、数据挖掘、人工智能等多个领域。数据挖掘领域中数据库方面的高维特征 索引，模式识别领域中图像处理方面的视觉特征提取以及两个领域都有涉及的机 器学习中相似度量学习，这三个方向近些年来已经成为基于内容图像检索主要研 究内容。 第1 章绪论 图1 1 基于内容的图像检索研究方向 f i g , 1 1t h em a i nr e s e a r c hd i r e c t i o no fc b i r c b i r 正试图利用抽取的底层视觉特征进行高维特征索引，并通过相似度量学 习来实现其整个检索过程。每个事物都需要一个漫长的成长阶段。早期的c b i r 系 统利用图像低层特征信息进行检索，其给出的检索结果往往不能满足用户的信息 需求。这归咎于以下三点：低层特征到高层语义之间映射较为困难；用户难以提 供其所需要的查询条件；人类视觉感知的主观性。基于第一点原因，也是最为重 要的原因。学者们将此种问题定义为“语义鸿沟 【6 1 。如何解决底层视觉特征与高 层语义概念之间的“语义鸿沟 问题是基于内容图像检索技术走向成熟的关键【7 j 。 在处理这个问题的过程中，2 0 世纪9 0 年代中期，相关反馈技术被引入基于内容图 像检索q k l 8 , 6 2 。相关反馈技术是指在信息检索过程中引入人的参与，对检索系统进 行必要性指导。引入相关反馈技术的c b i r 检索模式由原来的一次检索变成交互式 的多次检索，其在c b i r 系统中流程如下：用户对每轮c b l r 系统最不确定相关性 的结果进行相关性判别并标注，将标注后的结果提交给c b i r 系统继续进行检索过 程，进而得到更好的检索结果【鲫。使用相关反馈技术后的c b i r 系统，其检索性 能较之以前往往有较大改善。相关反馈技术已经成为提高检索性能的有效方法【9 1 。 2 图像检索中相关反馈的半监督主动学习研究 众多的相关反馈技术中，半监督主动学习以其挖掘未标记样本解决小样本问题， 选择性取样提升学习效果的优点受到各方青睐，其相关改进算法得到广泛的研究 b o o 1 2 研究现状 自c b i r 的理念提出之后，人们不断在其基础上加以改进，并在其实践应用方 面付出了巨大的努力。在c b i r 系统发展的早期，人们更关注的是如何利用图像的 低层特征向量而进行图像相似性度量，重点放在低层特征的研究工作上。q b i c 系 统的推出，为整个c b i r 系统发展走向指明了方向【1 1 1 。与此同时，人们提出了各 种基于特定特征的相似性判别方式5 5 1 。如文献【1 2 】提出了利用颜色空间直方图进行 匹配；文献【1 3 】利用w a v e l e t 变换提取纹理特征，而后将图像分割成若干区域，通 过区域匹配来进行图像检索。自相关反馈技术引入c b i r 之后，c b i r 又迎来了一 段黄金时期。在此期间内，大量的相关反馈方法涌现。早期的交互式图像检索主 要以特征向量间的相似性度量为检索手段。文献【1 4 】利用了改进查询的策略，通过 权重调整，以使正例样本聚拢，正负样本分开。然而早期方法大多为启发式方法， 其推理能力较弱。近几年来，越来越多的统计学习思想被引入c b i r 中。s v m a l 【1 5 】 的提出，开创了主动学习应用于c b i r 领域的先河；s s a i r 1 6 】吹响了半监督主动学 习在c b i r 应用的号角；另外，集成学习也因其良好的学习性能在c b i r 领域中大 放异彩。随着技术的不断推陈出新，具有各种特点的c b i r 系统相继被开发并推出。 图像检索技术已经深入到了生活的各个方面。植物学，医学，航空科技，遥 感技术等到处可以看到它的身影f 2 6 】。而今，虚拟网络社区正在发展壮大。不管是 在相册管理方面f l i c k r 提供的相册管理，还是提供图像检索以及人脸识别技术服务 面向公共领域使用的图像搜索引擎砒y a 。面向公共领域使用的图像搜索引擎正在 不断发展壮大。 而在基于语义的图像检索方面，自动语义图片索引注解近来也受到各方广泛 关注。a l i p r ( a u t o m a t i cl i n g u i s t i ci n d e x i n go f p i c t u r e s - r e a l - t i m e ) 已向公众开放， 公众可以为其所含图片加注可靠的标签。通过这种标签与计算机自动生成的注解 3 第1 章绪论 标签做相关验证以期创建一个检索庞大的可搜索图片集合，此举可大大助力基于 文本的图像检索系统的精确性。 由于c b i r 具有较强的表现性与客观性。自2 0 世纪9 0 年代以来出现了一系列 基于内容的图像检索系统，表1 1 中挑选了几个本领域比较有代表性的检索系统。 1 3 研究内容 本文研究围绕内容图像检索技术中相关反馈技术。重点研究谱聚类与半监督 主动学习融合以处理反馈过程中的数据冗余性问题。从动态自适应距离度量和聚 类方法两方面出发，以期总结出一套半监督主动学习改良框架，以处理相关反馈 过程中小样本问题及数据冗余性问题。为验证总结出方案的可行性与有效性，本 文将自行设计开发一套基于内容的图像检索原型系统。 本文中实现的研究工作有： 在c b i r 基础工作方面，本文针对于图像低层视觉特征，分别对颜色、纹理、 形状三大特征进行研究；在相似性度量方面，对常用的相似性度量方法进行了探 索；对图像检索过程中常使用的性能评估标准进行比对，选择了一套适合本实验 的评价准则。 在c b i r 核心检索方面，本文将采用半监督主动学习框架处理相关反馈中存在 的小样本问题。通过对s v m - a l 、s s a i r 、r s a s 3 v m a l 三种不同学习策略分类 算法实验比对，验证了半监督主动学习框架的优势。对于分类学习过程中出现的 数据冗余性问题，本文探讨了融入谱聚类的半监督学习的方法。通过s v m a l d c 、 s s a i r - d c 、r s a s 3 v m a l d c 与其对应的原型算法对比试验，验证了融合谱聚类 后算法在处理数据冗余性，提高学习效果的假设； 为验证融合后算法的可行有效性，本文利用m a t h w o r k sm a t l a br 2 0 0 8 a 在 w i n d o w s7 平台上开发了一套c b i r 原型检索系统；并于其上完成了本文涉及到的算 法准确性与时间消耗对比实验。 4 图像检索中相关反馈的半监督主动学习研究 表1 1 代表性c b i r 系统表 t a b 1 1t y p i c a lc b i rs y s t e mr e p r e s e n t a t i v e st a b l e 5 第1 章绪论 1 4 论文的组织结构 本论文共分五章，内容安排如下： 第一章，绪论。介绍了基于内容图像检索的研究背景，以及目前基于内容图 像检索领域的现状，尤其是相关反馈技术在图像检索中的发展现状，并对相关反 馈技术中一些主流学习策略作了简略描述。最后给出了本章的研究内容及论文组 织结构。 第二章，基于内容图像检索概述。简要对c b i r 系统中的基础部分相关技术进 行介绍。对图像的低层特征颜色、形状、纹理原理及提取技术进行相关解释；列 举了常用的相似性度量方法；最后对c b i r 算法性能评估标准进行了探讨。 第三章，融合聚类的半监督主动学习。对聚类的两大方面动态距离度量 与聚类算法的原理、实验中的应用进行了细致地阐述。结合三种不同学习策略的 分类算法，总结出一种融合谱聚类的算法，并通过设置相关实验，验证了融合后 的半监督主动学习方法在处理小样本问题及数据冗余性问题的有效性。 第四章，图像检索系统的设计与实现。对c b i r 系统总体结构进行分析，给出 了系统总体结构框架，并对相关功能进行模块划分。在结合系统流程图的基础上， 详细地讨论了诸如开发环境等系统实现的技术细节。 第五章，论文总结及展望。对文中使用到的动态距离度量与n e u t 谱聚类算法 进行了小结，并对今后在算法及系统上可进行的改进工作进行了展望。 6 图像检索中相关反馈的半监督主动学习研究 第2 章基于内容的图像检索相关技术概述 有别于文本检索，c b i r 通过提取到的图像内容信息进行检索，而非借助于如 关键字，标签或与描述符之类的与图像相关的元数据信息。图像的特征提取，相 似性度量成为c b i r 检索过程中最为基础的部分。本章将针对于以上两方面简要概 述基础相关技术。本章首先对c b i r 基础重中之重的特征提取进行简要概述，对表 示图像内容的颜色、纹理、空间三大特征的技术特点等细节问题予以阐释；然后 本章列举了常用的相似性度量方法，对其中某些参数予以解释；最后本章对现有 图像检索评估标准进行总结，并对本文实验用到的界定查准率进一步进行阐述。 2 1 视觉特征提取 ( 1 ) 颜色信息 颜色特征是一种全局特征，其在特征提取和计算相似度速度方面占有优势。 颜色特征描述了图像或图像区域所对应的景物的表面性质，是图像检索中应用最 为广泛的特征。相较于其他的视觉特征，颜色特征一般基于图像像素点，其对图 像本身的尺寸、方向、视角的变化不敏感，提取它相对容易【2 7 1 。然而颜色特征也 因此不能很好地捕捉图像中对象的局部特征，且单一使用颜色特征查询可能具有 盲目性，即会从数据库中检索出许多不需要的图像。 颜色直方图 s w a i n 首先提出了使用颜色直方图作为图像内容的索引特征，即首先使用颜 色空间划分为若干固定的颜色子空间，然后对每幅图像的各个颜色子空间中落入 的像素的数目，最后得到颜色直方图【2 引。九采用颜色直方图的交作为颜色直方图 的相似性度量。为了得到图像或图像中区域的颜色分布，通过下面的式子可以表 示给定图像i x ，y 】的颜色直方图，其中，兄玢别为图像的宽度和高度： , , y x 一- - 1 1j ，一1 1 绣 聊】= l ，嬖秽陋d = m ( 2 。) 7 第2 章基于内容的图像检索相关技术概述 大多数情况下，颜色直方图非对噪声十分敏感，s t r i c k e r 和o r e n g o 提出了使用 累积直方图( c u m u l a t i v eh i s t o g r a m ) 的方法【2 9 1 ，在三维颜色空间( 五只z ) 中累积 直方图公式定义为： c ( x ，y ，z ) = 日( x ，y ，z ) ( 2 2 ) i - - 1j = lk = 1 日( 五弘z ) 代表传统颜色直方图。累计直方图方法由于在颜色亮度变化方面 比传统颜色直方图更具鲁棒性，特征提取效果更加优良。 作为最常用的表达颜色特征的方法，颜色直方图优点在于其不受图像旋转、 平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，并能简单描 述一幅图像中颜色的全局分布( 不同色彩在整幅图像中所占的比例) ，特别适用 于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点是没 有表达出颜色空间分布的信息，无法描述图像中颜色的局部分布及每种色彩所处 的空间位置( 即无法描述图像中的某一具体的对象或物体) 。 颜色矩【2 9 】 颜色矩( c o l o rm o m e n t s ) 利用图像中颜色的矩来表述颜色的分布情况。由于 颜色分布的绝大多数信息位于低阶矩中，通过计算该颜色的一阶矩( m e a n ) 、二 阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 基本上可以完整描述图像的颜色分布，这3 个低阶矩的数学描述如下： 一= 争； q 3 ) 吼= 而2 ( 2 4 ) ( 2 5 ) 公式中肛、q 、t 分别代表第i 个颜色分量的平均强度、方差、偏斜度，代 表图像像素总数，弓代表图像中第，个像素点的第f 个颜色通道的颜色值。 8 图像检索中相关反馈的半监督主动学习研究 颜色集( c o l o rs e t s ) 3 0 1 颜色集是对颜色直方图的近似估计。首先将( r ，g ，b ) 颜色空间转换为在 是视觉上更均衡的颜色空间，例如h s v 空间，然后将转换后的颜色空间进行量化 形成若干个柄。采用色彩自动分割技术将图像分为若干区域后。每个区域用量化 颜色空间的某种颜色分量建立一个索引，构成一个特征向量是二进制的颜色索引 集，每个图像均可以用其表示，最后通过构造一个二迸制的查询树进行快速搜索。 ( 2 ) 纹理特征 纹理特征是图像的重要特征之一，同颜色特征一样也是种全局特征。其在 包含多个像素点的区域中进行统计计算，不易受图像的颜色和亮度的影响，几乎 反映了所有物体表面内在的固有属性。其在医学图像分析、遥感图像分析等领域 得到广泛应用，在图像反馈技术中具有举足轻重的地位。以下是集中常用的纹理 特征表示方法： 灰度共生矩阵( c o - o c c u n e n c em a t r i c e s ) h a r a l i c 等提出了灰度共生矩阵的方法来表述图像的纹理特征，该方法探讨了 对图像纹理的灰度级的空间依赖关系p 1 1 。其思想：基于图形像素之间的方位和距 离构建了一个共生矩阵。从该矩阵中提取有意义的统计量，如能量、惯量、熵、 相关性等，作为纹理的表述。 t a m u r a 纹理特征 t a m u r a 特征基于人类对纹理视觉感知的心理学方面研究，t a m u r a 等从另一个 角度探讨了纹理特征的表述问题并提出六种视觉纹理特征分量属性，分别为：粗 糙度( c o a r s e n e s s ) 、对比度( c o n t r a s t ) 、方向度( d i r e c t i o n a l i t y ) 、线性度( 1 i n e a r i t y ) 、 规整度( r e g u l a r i t y ) 、粗糙度( r o u g h n e s s ) 3 2 】。前三个属性对于纹理特征是极为 重要的，且这六个属性都是有意义的。而在灰度共生矩阵中某些特征属性并非如 此。这也是t a m u r a ，e x 理特征与灰度共生矩阵最主要的区别。也正因此，t a r n u r a 纹 理特征在图像反馈技术中受到了更多的关注。 小波变换( w a v e l e tt r a n s f o r m ) 9 第2 章基于内容的图像检索相关技术概述 自9 0 年代起，许多学者逐渐将研究重点放在将小波变换在纹理特征的表述中， 并从不同的角度对其进行研究。前后出现了包括快速算法、塔式小波分解法、树 型小波分解法等一系列算法。在文献 3 3 】中，s m i t h 和c h a n g 使用从小波子频中提取 的统计量( 均值和方差) 来为b r o d a ：t z 纹理图像库中的1 1 2 个图像描述纹理特征并取 得了9 0 的准确度。在文献 3 4 】中，c l m g 和k u 0 则在小波中频研究过程中提出了树 形小波变换( t r e e s t r u c t u r e dw a v e l e tt r a n s f o r m ，t s w t ) 以进一步提高准确度。 小波变换不仅具有其优点，当其与其他的技术结合使用后，往往能取得更好的效 果。例女n c , r o s s 等曾将小波变换、k l 展开和自我组织图结合，t h y a g a r a j a n 等t 3 5 】将小 波变换与灰度共生矩阵结合对纹理进行分析。 ( 3 ) 形状特征 形状特征也是图像经常使用到的一种基本特征，同时也是人类视觉系统进行 物体识别的关键信息之一。形状的提取方法一般有两类，一类是图像分割法，另 一类是提取边缘信息法。图像分割法首先对图像进行分割，得到一系列的子区域。 将子区域看成是一个物体，用其本身或边界曲线来表示所提取的形状。提取边缘 信息法首先提取出图像边缘点，连接起这些边缘点会得到一系列曲线。这一系列 曲线来表示图像的形状特征。形状特征通常有两类表述方法：针对物体外边界的 轮廓特征；针对整个形状区域的区域特征。基于形状边界特征的图像检索通常采 用对图像外边界特征的描述来获取图像的形状统计量。常用方法有链码表示法、 基于网格的方法、距离直方图、边界方向直方图、边界矩、傅里叶描述子( f o u r i e r d e s c r i p t o r ，f d ) ，在文献 3 6 】中k a u p p i e n 对常用典型方法进行了形状识别能力比 对实验，实验结果表明f d 方法在形状识别性能上优于其他算法。f d 方法基于物体 的轮廓坐标序列进行，其基本思想是：把物体的形状看作一条封闭的曲线，沿边 界曲线上动点的坐标变化函数以形状边界周长为周期，且其函数可以展开成傅里 叶级数的形式，将原本的二维问题转换为一维问题。当系数项达到某阶次时，就 能够表述出物体的形状信息。基于形状区域特征的图像检索较典型的方法是基于 矩的方法。在表述图像形状时，矩具有旋转不变性、平移不变性和缩放不变性， 1 0 图像检索中相关反馈的半监督主动学习研究 这三种不变形使矩在表述形状特征方面具有其他方法不可比拟的优势。很多研究 学者在形状不变矩法的基础上进一步研究。z e m i k e 基于图像区域的形状描述子提 出了z e m i k e 矩。和其他方法中的描述子相比，z e m i k e 矩具有易构造高阶矩、冗余 性小的优点。其对于图像的旋转不敏感，若对其进一步变换，还可达到平移和规 模不变的效果。更多有关z e r n j k e 矩的相关研究请参考文献 3 7 】。另外，还有一些将 单一图像特征方法结合使用来增强图像检索的准确率，在文献 3 8 】中，提出了将侧 重于图像边界的方法和基于整个对象区域的不变矩方法结合使用的方法。这种方 法既体现了对象的边界特征，又不失图像的整体区域特征。 2 2 相似性度量 图像检索中常用的度量策略大致可分为两种，一种是传统数据库中使用的特 征完全匹配方法，另一种是现在基于内容的图像检索技术中的主流相似性度 量方法。后者通过计算查询图像与图像库中图像特征向量间的距离来衡量两者的 相似性。 以下列举常用的几种相似性度量方式： 设x ，y 分别为查询图像和目标图像对应的特征矢量，吃【聊】，办， 聊】表示两幅图 像的特征分量，d ( x ，y ) 表示两幅图像间的距离 ( 1 ) m i n k o w s k i 距： d ( q ，p ) = ( ( g 。- p 。) 工) “工 ( 2 6 ) ( 2 ) 欧式距离 当上式三= 2 时，则可得到欧几里得距，简称欧氏距离。即 d ( 卯) = ，( g 。- p 。) 2 y 朋 欧氏距也是最常用的距离度量方式。 ( 3 ) 直方图相交距( h i s t o g r a mi n t e r s e c t i o nd i s t a n c e ) 2 7 1 巩( g ，p ) = l 一( m 】，h p t m ) i h , , , m l l ， ( 2 7 ) ( 2 8 ) 第2 章基于内容的图像检索相关技术概述 其中，i h i = m 朋】。 m = 0 该方法是由s w a i n 等于1 9 9 1 年首次提出的，一般用于以直方图为特征矢量的相 似性度量，优点是简单快速且能很好抑制背景的干扰，缺点是计算量偏大。 ( 4 ) 二次距( q u a d r a t i cd i s t a n c e ) f 3 9 】 d ( p ，g ) = ( p m 一) 7 彳( 一g 册) ( 2 9 ) 其中，a = 【a g 】为颜色相似矩阵。二次距方法的优点是能够考虑一幅图像中某 一颜色特征与相邻颜色之间的相关性，然而颜色相似矩阵4 的引入，使该方法计 算量较大。 ( 5 ) 堪培拉距( c a n b e r r ad i s t a n c e ) 【4 0 】 ，一l d ( q ，p ) = i 一以i ( | 靠j + h i ) ( 2 1 0 ) m - - - 0 2 3 图像检索性能评估 每一项技术，都有其相对应的评价准则对其优缺性予以衡量。恰当的评价标 准对于整个技术的发展走向都有其重要意义。在图像检索领域，关于评价标准问 题一直论述不断。2 0 1 0 年，h a n b u r y 的( s p e c i a li s s u eo ni m a g ea n dv i d e or e t r i e v a l e v a l u a t i o n ) ) 对当今的一些评价标准作出论述。一般情况下，信息检索性能的优劣 往往从有效性( e f f e c t i v e ) 、效率( e f f i c i e n c y ) 和灵活性( f l e x i b i l i t y ) 三个角度出 发综合进行评价。c b i r 领域中的评估标准更多地体现在有效性上。因此，c b i r 领域广泛采用查准率( p r e c i s i o n ) 和查全率( r e c a l l ) 【4 1 1 作为c b i r 性能度量。 针对于图像检索系统，查准率是以检索结果中相关图像个数与当轮返回总图 像数目的比例表示。查全率以检索结果中相关图像个数与图像库中相关图像个数 比例的形式表示。前者反映了图像检索的准确性，后者反映了图像检索的全面性。 设q 表示整个图像数据库，么代表整个图像库中相关图像的集合，召代表检 索之后返回图像的集合，a 代表集合4 元素的个数，b 代表在集合b 元素的个数， c 代表集合么r 、召元素的个数，则： 1 2 图像检索中相关反馈的半监督主动学习研究 p r e c i s i o n = p ( 悱帮= 詈 旭c 硼：掣：一c ( 2 1 2 ) p ( a ) a 尽管有人提出以p r e c i s i o n 为纵轴，r e c a l l 为横轴，将查准与查全综合考虑的 p r - g r a p h 作为评估标准。然而在具体应用过程中，面对大规模图像集，预先得