（计算机软件与理论专业论文）支持语义的图像检索系统研究与实现.pdf

摘要 、厂 j 【1 0 0 8 7 5 计算机技术、多媒体技术以及i n t e r n e t 技术的飞速发展产生大量的图 像信息，因此如何有效、快速地从大规模的图像数据库中检索出需要的图 像是一个目前急需解决的问题。基于内容的图像检索技术和基于语义的图 像检索技术正是解决这一问题的有效途径。前者研究的是根据自动获取的 图像低层特征，从图像数据库中检索出相关图像；而后者研究的是如何从 多种渠道获取图像语义信息，并且根据语义检索相关图像。 基于内容的图像检索克服了文本检索方式主观片面的缺陷，客观的描 述了图像的本质特征，然而却丢掉了文本方式下对图像的语义描述，导致 检索准确率降低。 本文提出了一种在获取图像低层视觉特征的基础上，利用语义网络对 图像进行语义自动分类，并在此基础上引入相关反馈技术，使图像的低级 物理特征和高级语义特征联系起来的算法，通过人一机协同工作，来弥补 计算机理解能力的不足，不断提高检索效果。基于语义检索及反馈机制的 图像检索关键技术是基于内容图像检索技术从初级向高级跨越的重要标 志。因此，本文的研究在学术价值和实际应用方面都具有重要意义。 本文所做工作如下： 首先研究图像的低层物理特征，由于颜色特征具有一定的稳定性，其 对大小、方向都不敏感，故本文提取颜色特征来描述图像。采用基于区域 的颜色特征提取方法克服了目前c b i r 系统中广泛应用的一些利用颜色直 方图、颜色矩等不能表达图像空间信息的缺点，综合考虑了图像的像素统 计特征和空间位置信息同时节省存储空间和计算时间。 充分引入人一机交互技术，通过对用户反馈信息的学习，一方面可以 把误归类的图像正确归类，另一方面调整语义网络的权重系数来不断提高 检索效率，直到返回用户满意的查询结果。 提出了高级视觉特征的语义查询，在图像库上构建一个可扩展的语义 网络，利用一种基于用户相关反馈的机器学习策略来改进这种语义网络， 以解决低层特征向高层语义特征的过渡问题，使检索能够体现高层次语义 属性，提高了检索效率。 设计并实现了一个支持语义图像检索的模型系统，通过该系统进行的 一系列实验证明了本文检索算法和关键技术的有效性。 关键词：基于内容的图像检索，主颜色，语义词典，语义图像检索，相关反 馈 a a b s t r a c t t h er a p i dd e v e l o p m e n to fc o m p u t e r m u i t i m e d i aa n di n t e r n e t t e c h n i q u e sh a sp r o d u c e dt o ol a r g ea m o u n to fi m a g e s t h e r e f o r e ，i t b e c o m e sa nur g e n tp r o b l e mt h a th o wt of i n dn e e d e di m a g ee f f i c i e n t l yi n l a r g e - s c a l ei m a g ed a t a b a s e t w oe f f e c t i v ew a y sh a sb e e np r o p o s e dt o s o l v et h ep r o b l e m ：o n ei sc o n t e n t b a s e di m a g er e t r i e v a it e c h n i q u ew h i c h s e a r c ht a r g e ti m a g e sb yl o w - l e v e lc o n t e n tf e a t u r e t h eo t h e ri ss e m a n t i c i m a g er e t r i e v a lt e c h n i q u ew h i c h i ns e a r c ho f w a y st og e ti m a g e s s e m a n t i cj n f o r m a t i o n c o n t e n t - b a s e di m a g er e t r i e v a i s y s t e m r e m e d i e st h e d e f i c i e n c y e x i s t e di nt e x t b a s e di m a g er e t r i e v a ls y s t e mb yo b j e c t i v e l yd e s c r i b i n g i n t r i n s i cc h a r a c t er i s t i c so fi m a g ea tt h ec o s to fd i s c a r d i n gs e m a n t i cc u e o fi m a g ea n dr e d u c i n gr e t r i e v a lp r e c i s i o no fs y s t e m t h i sp a p e rp r e s e n t so fap r o j e c tt h a te x t r a c t st h ei o wl e v e lf e a t u r e s c a | | e da st h er e p r e s e n t a t i v ec o l o r sf r o mt h ei m a g e s ，a tt h es a m et i m ew e i m p o r tt h et e c h n i q u eo f r e l e v a n c ef e e d b a c ka n dp r e s e n t san e w a p p r o a c hc a l l e dw o r dn e tt oe s t a b l i s ht h ei i n kf r o mt h ei o w - l e v e lf e a t u r e v e c t o r st ot h es e m a n t i c s b yc o o p e r a t i o nb e t w e e nh u m a na n dc o m p u t e r w ec a nm a k eu pt h ec o m p u t e r sl i m i t e da b i l i t yo fu n d e r s t a 几d i n ga n d e n h a n c i n gt h e e f f e c to fr e t r i e v a l t h ek e yt e c h n i q u eo fr e l e v a n c e f e e d b a c ka n ds e m a n t i cq u e r yi st h ei m p o r t a n tm a r kt h a tt h et e c h n i q u eo f c b i rd e v e l o p sf r o ml o w g r a d et oh i g h - g r a d e s ot h er e s e a r c ho ft h i s p a p e rh a si m p o r t a n tm e a n i n gi nl e a r n i n gv a l u ea n dp r a c t i c ea p p l i c a t i o n t h em a i nc o n t r i b u t i o n so ft h i sp a p e ra r e ： w ef ir s td or e s e a r c ho nt h el o w - l a y e rp h y s i c a lo fi m a g e d u et ot h e s t a b i l i t ya n dh a v i n gat h i c ks k i nt ot h es i z ea n dd i r e c t i o n w ee x t r a c tt h e c o l o rf e a t u r et od e s c r i b et h e j m a g e s f n o r d e rt oo v e r c o m et h e d i s a d v a n t a g eo ft h ew i d e l yu s e dm e t h o d si nc b i rs y s t e m ：s u c ha sc o l o r h i s t o g r a m 。c o l o rm o m e n t sw h i c hc a n te x p r e s st h es p a t i a lr e l a t i o n s h i p f r o mi m a g e s w ei n t r o d u c er e g i o n - b a s e dr e d r e s e n t a t i v ec o l o rf e a t u r e e x t r a c t i o n ，s y n t h e t i c a l l yt a k et h ep i x e l ss t a t i s t i cf e a t ur ea n dt h es p a t i a l i n f o r m a t i o ni n t oa c c o u n t ，a tt h es a m et i m ew ec a ns a v et h es t o r a g e s p a c ea n dt h ec a l c u l a t et i m e a t h et e c h n o l o g yo fc o o p e r a t i o nb e t w e e nh u m a na n dc o m p u t e ri s i m p o r t e d ，t hr o u g hs t u d y i n gu s e r s f e e d b a c ki n f o r m a t i o n o nt h eone h a n dc l a s s i f yt h ei m a g ew h i c hw a sc l a s s i f i e dw r o n g l y ，o nt h eo t h e rh a n d 。 m o d i f yt h em o d e lo fc a l c u l a t i o n t h es i m i l a r i t yi no r d e rt oi m p r o v et h e r e t r i e v a ip e r f o r m a n c e u n t i ir e t ur nt h es a t i s f a c t o r yq u e r yr e s u l t st ou s e r t h es e m a n t i cq u e r yo fh i g h gr a dv i s i o nf e a t u r ei sp r o p o s e di nt h i s p a p e r b a s e do nt h ei m a g ed a t a b a s e 。w ec o n s t r u c taw o r dn e tw h i c hc a n b ee x t e n d e d 。a n dw ei m p r o v et h ew o r dn e tb ym a c h i n es t u d ys t r a t e g y u s i n at h em e t h o do fu s e r - b a s e dr e i e v a n c ef e e d b a c k ，i nt h i sw a yw ec a n r e s o l v et h et r a n s i t i o n p r o b l e m f r o mt h el o w l e v e lf e a t u r et ot h e h i g h l e v e ls e m a n t i c s j o i n e dw i t ht h eh i g h l a y e rs e m a n t i cp r o p e r t yo f i m a g e t h er e t r i e v a ip e r f o r m a n c ei si m p r o v e de f f i c i e n t l y d e s i g na n di m p l e m e n tam o d e ls y s t e mo fs e m a n t i ci m a g er e t r i e v a i e x p e r i m e n t sb a s e do nt h es y e t e ms h o wt h a tt h i sm e t h o da n dt h ek e y t e c h n o l o g yp r e s e n t e di nt h i sp a p e ra r ev e r ye f f e c t i v e l i uh e n g ( c o m p u t e rs o f t w a r ea n dt h e o r y ) d i r e c t e db yp r o f z h a n gm i n g k e y w o r d s c o n t e n t b a s e di m a g er e t r i e v a l ，r e d r e s e n t a t i v ec o l o r ， w o r dn e t ，s e m a n t i ci m a g er e r i e v a l ，r e l e v a n c ef e e d b a c k b 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。 论文中除了特别加以标注和致谢的地方外，不包含其他人或者其他机构 已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献 均已在论文中作了明确的声明并表示了感谢。 作者签名：美l 址日期：兰竺丛 论文使用授权声明 本人同意上海海事大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文复印件，允许论文被查阅和借阅；学校可以上网公布 论文的全部和部分内容，可以采用影印、缩印或者其它复制手段保存论 文。保密的论文在解密后遵守此规定。 作者签名：鱼监导师签名：社日知：j 生坐 支持语义的图像检索系统研究与实现 引言 从基于内容的图像检索的研究现状来看，目前对c b i r 检索研究主要集 中在基于图像低层特征的查找。但是，通常视觉特征是对一幅图像统计信 息的描述，而有时用户检索时更关心的是图像的语义描述，而图像的低层 特征信息不足以反映图像的准确信息。早期的图像检索是通过是对图像人 工添加与图像相关的文本标注来实现，但存在对图像标注具有主观性，且 开销太大等缺点，不能实现对图像外观的相似性检索。 为了克服单独根据低层图像特征和单独根据关键词进行图像检索的缺 点，本文提出了一种在基于图像低层视觉特征的基础上，利用语义网络对 图像进行语义分类，从而建立起低层视觉特征和高层语义特征之间联系的 算法。为了提高检索效率，引入相关反馈技术，由机器来学习和积累图像 语义信息，以此来改进系统的能力。 本文分为七章，论文结构如下： 第一章，介绍图像检索的产生和发展，并简要介绍了基于内容的图像 检索的主要研究技术，以及几个经典的c b i r 系统，提出了本文所要解决的 问题。 第二章，介绍基于内容的图像检索技术，总结三类图像低层特征( 颜 色，纹理，形状) 的提取算法和图像数据库中有代表性的相似度量方法以 及评价系统性能的标准。 第三章，介绍图像的语义检索技术。从图像的语义模型、语义表示、 语义提取三个方面来详细描述基于语义级的图像检索，并介绍了i f i n d 用户 交互语义提取技术。 第四章，论述了相关反馈技术的特点，并对近年来各种相关反馈算法 进行了分类和综述。 第五章，详细介绍了本文图像检索算法的关键技术，其中基于低层特 征检索实现了“全局聚色”和“分块颜色”两种颜色特征查询和相应的相 关反馈，基于关键词检索提出了以图像低层检索作为基础建立初始语义网 络，再通过语义反馈算法不断完善语义检索性能的检索方案。并从实验的 角度进行性能分析评估，验证了该系统的优越性。 第六章，设计并实现了一个支持语义查询的图像检索系统，简要描述 其核心处理结构及其关键处理流程，并通过实验证明了层次化语义结构的 有效性。 第七章，总结了全文，并展望了进一步的工作。 支持语义的图像检索系统研究与实现 1 i 研究目的与意义 第一章绪论 随着多媒体技术，计算机，通信技术及i n t e r n e t 网络的迅速发展，使 得图像多媒体信息的来源不断扩大，大容量高速存储系统为图像的海量存 储提供了基本保障，各行业对图像的使用越来越广泛，如何从大量的图像 信息中快速，有效地检索到所需的内容即图像信息资源的管理和检索，已 经成为多媒体技术研究中的热点问题。 基于语义查询及反馈机制的图像检索关键技术是基于内容的图像检索 技术从低级向高级跨越的重要标志。因此如何将低层基于内容的图像检索 技术，相关反馈技术和图像高层语义的检索技术有机结合，取长补短，以 更好的提高图像数据库的检索效率，是一个很有研究意义的课题。 1 2 图像检索技术介绍 图像检索自七、八十年代开始便成为一个非常活跃的研究领域，图像 检索领域的研究分为基于文本和基于内容两大类“3 。 1 2 1 基于文本的图像检索 早期的图像检索使用的是文本标注方法。这种基于文本的图像检索 ( t b i r ) 历史可以追溯到2 0 世纪7 0 年代末，其研究主要在数据库领域中进行。 当时流行的图像检索系统是将图像作为数据库中存储的一个对象，用关键 词或自由文本对其进行描述；查询操作是基于该图像的文本描述进行精确 匹配或概率匹配，有些系统的检索模型还有词典支持。 t b i r 的一个典型框架式如图1 1 所示，首先对图像用文本进行注解，根 据其内容手工将其标注为一系列关键词，并对关键词建立索引，这样图像 检索就转化为文本检索的问题。然后用基于文本的数据库管理系统( d b m s ) 来进行图像检索。其在数据库中的图像数量不大和图像的内容比较单一时 不失为一种简单易行的方法。 国南囹白图昌 图1 1 基于文本的图像检索过程 2 支持语义的图像检索系统研究与实现 从本质上说，基于文本的检索是对关键词的检索，这种检索模式的优 势在于易于实现。但是，当图像的数量非常大时，基于文本的图像检索存 在以下问题： 手工对图像进行标注所需工作量太大； 图像内容的丰富性，使得对于同样的图像不同人有不同理解，图像 注释的主观性和不精确性可能导致后继检索过程的失配； “一幅画胜过一千句话”，区区几个关键词很难将图像所反映的内 容描述清楚： 由于媒体信息是发布在w w w 网络环境中，不同国家不同民族很难用同 一种语言对图像进行加注标识，而且对图像语义理解的差异也很大。 1 2 2 基于内容的图像检索 9 0 年代初，随着大规模数字图像库的出现，基于文本的图像检索模式 已经不能满足规模检索的需要，基于内容的图像检索( c b i r c o n t e n t b a s e di m a g er e t r i e v a l ) 应运而生，成为多媒体数据库、数字图 书馆等重大研究项目中的关键技术。 在这方面的研究要归功于模式识别研究者，其主要方法是根据图像的 颜色、纹理、形状以及对象的空间关系等信息，建立图像的特征矢量，检 索时主要是基于图像的多维特征进行相似性查询，其目的是试图解决图像 数据库系统中手工建立文本标注信息的缺点。作为传统数据库检索的扩展， 基于内容的图像检索系统主要是根据图像的内容进行检索。同传统的关系 数据库检索系统相比，它主要具有以下特点”1 ： 从图像内容中提取信息线索 基于内容的检索突破了传统的基于关键词检索的局限，直接对图像进 行分析并提取特征，使得检索更加接近图像对象。 提取特征的方法多种多样 对图像的特征提取可以是颜色、形状、纹理、轮廓、空间关系特征等。 随着识别技术的发展还可能采用更新或更好的特征提取方法。 人机交互进行 人对于特征比较敏感，但对于大量的对象，一方面难以记住这些特征， 另一方面人工从大量数据中查找目标效率非常低，而这正是计算机的长处， 因此，使用基于内容的图像检索系统时，人与计算机相互配合进行检索。 基于内容的图像检索是一种近似匹配。 传统的数据库中，符号数据可以用基本数据类型精确表示，检索匹配 是精确匹配。而图像数据是一段二进制数据流，对图像进行像素和像素的 精确匹配不科学。 特征提取和索引建立可由计算机自动实现，避免了人工描述的主观 支持语义的图像检索系统研究与实现 性，也大大减少了人工的工作量。 提问方式直接，检索交互性强。用户可通过浏览选择示例或自己绘 制图形来查询，并可不断改进检索方式，细化检索过程，逐步求精，反复 查询，直至找到满意结果为止。 图i 2 基于内容的图像检索框架 基于内容的图像检索是种基于相似性的度量，其内容包括图像的颜 色、形状、纹理和语义等特征。其中，图像的颜色、纹理、形状被认为是 同一层次上的特征，具有相对直观的特点。语义内容是较高层次上的特征， 具有相对主观抽象的特点。因此从图像内容来说，c b i r 可以在低层视觉特 征和高层语义特征这两个层次上进行。对于基于视觉特征的检索，即利用 图像的颜色、纹理和形状等客观视觉特征及其组合来判断图像之间的相似 性。在n 维特征空间的查找，实质就是模板特征矢量与存储在数据库内的特 征矢量的相似性度量。数据库内的图像文件的特征矢量集以抽取的方法保 存，检索时，使用者给出的模板图像按照库内保存的方法抽取出目标特征 矢量。 目前对c b i r 检索研究主要集中在基于视觉特征的查找，即比较由图像 中自动抽取的特征之间的相似性。虽然c b i r 作为一向倍受关注的技术在研 究和商业方面都取得了一些成果，但由于它只利用了图像本身固有的物理 信息，因此，它只在特定的应用领域，如指纹识别、商标检索等方面获得 成功。而要使图像检索技术真正满足用户个性化的需要，必须消除人对图 像的高级语义理解与计算机能识别的低级特征之间的差异，即开发出基于 语义的图像检索系统，利用图像的低级特征自动获取人对所感兴趣的语义 信息。 1 2 3 基于语义的图像检索 人们判断图像的相似性并非仅仅建立在图像视觉特征的相似性上。用 户在进行图像检索时总是存在一个大致概念，这个概念建立在图像所描述 的对象、事件以及表达的情感等含义上。理想的状况下，用户主要根据图 像的含义，而不是颜色、纹理、形状等特征，直观地进行分类并判别图像 满足自己的需要程度。这些图像的含义就是图像的高层语义特征，它包含 了人对图像内容的理解，这种理解无法直接从图像的视觉特征获得，而要 根据人的知识来判断。人与计算机的本质不同就在于人观察图像时结合了 4 支持语义的图像检索系统研究与实现 日常生活中积累的大量的经验，观察图像的过程同时也是一个利用知识推 理图像语义的过程。基于语义图像检索的概念模型如图1 3 所示： 图1 3 基于语义检索的概念模型 它包括以下过程： 特征提取：对图像中的各种视觉特征进行提取，如颜色、纹理、形 状等，形成一个特征集。 选择图像特征：根据语义类型，选择特征集中的一个子集，该子集 对于先定义好的图像语义类型的区别能力最强。 图像检索：在选定的特征空间中进行图像检索，按相似性大小返回 个n 个最相似图像。 评价：对图像的各种特征进行自动、客观的评价，选出适合不同语 义类型的图像特征。 基于语义的图像检索是图像检索发展的高级阶段，但目前语义图像检 索技术还仅仅处于初步研究阶段。要想解决图像检索“语义鸿沟”必须解 决以下问题： 如何从视觉特征中提取出语义特征； 如何判断不同注释的图像之间是否有相似的语义 如何更加准确高效地进行图像内容的语义分类。 理想的图像检索系统需要多个学科的共同研究和支持，数据库、计算 机视觉、图像处理、模式识别、人工智能、心理学、生物视觉等模型等技 术的发展和综合应用必将推动图像检索技术向前发展。 1 3 图像检索技术的研究热点 回顾图像检索领域这十多年的研究工作，主要研究内容有： 1 3 1 图像数据模型 图像数据模型是基于内容图像检索( c b i r ) 系统的核心，模型决定了系 统的检索能力。一般来说，建立的数据模型要能够充分反映媒体对象的内 支持语义的图像检索系统研究与实现 容，能够有效支持存储的物理特征和逻辑特征，能够表达无结构的图像实 体，并可由基本图像特征构造复杂的图像特征，能根据特定领域知识从图 像特征导出图像语义特征，支持空间推理。然而现有的图像数据模型还不 足以满足这些要求。因而有必要研究更为合理的图像数据模型，以支持基 于内容的图像检索技术的发展。目前有人提出将图像数据模型按逻辑结构 划分为5 层，从低层到高层分别为：特征组织与特征索引层、特征表示层、 图像特征层、语义特征层、用户视图层。在图像用户视图层，用户信息主 要是面向高层的时间，其主要任务是进行图像的空间推理。语义特征层主 要对某一幅图像特征在特定领域中的语义信息进行描述，例如，在语义层 中的“轮子”对应于特征层中的“圆”。在图像的特征视图层，其主要是 分析图像的内容，如图像的空间关系、形状、色彩等，这一层用户主要关 心图像所包含的视觉内容。对于一种视觉内容特征来说，由于其特征的表 达不是唯一的，如“圆”可以用其轮廓来表示，也可以用圆心和半径来表 示，因此特征层应支持同一特征的多种表示。图像的特征组织层应等价于 传统数据库中的物理存储结构( 如b 一树，h a s h 表等) 。 1 3 2 有效的特征提取 特征提取是c b i r 技术的关键。图像特征的提取与表达是基于内容的图 像检索技术的基础。从广义上讲，图像的特征包括基于文本的特征( 如关键 词、注释等) 和视觉特征( 如色彩、纹理、形状等) 两类。对于某个特定的图 像特征，通常又有多种不同的表示方法。由于人们主观认识上的千差万别， 对于某个特征并不存在一个所谓的最佳的表达方法。事实上，图像特征的 不同表达方法从各个不同角度刻画了该特征的某些性质。如颜色特征的表 达就有颜色直方图、颜色矩、颜色集、颜色聚合向量以及颜色相关图等多 种方法。对特征的初期研究主要集中在全局特征，但它们不能很好地刻画 图像的局部信息。之后有不少研究者致力于结合这些特征和空间信息来设 计新特征，如颜色连贯向量、颜色相关图等；迸一步的方法还有，把图像 分解为子图或对图像进行分割，在对各部分提取特征。在第二章将对低层 特征作详细介绍。 1 3 3 高层语义和低层特征的关联 由于人们在日常生活中不自觉地倾向于使用高层的语义概念，如，“楼 房、汽车、海滩”等。因而当前研究图像检索的重点和难点集中在如何在 抽取的图像特征和图像内容所表示的语义特征间建立很好的联系。目前， 语义特征提取方面取得了一些研究成果。一些工作通过监督学习的方法把 图像分类到一些简单的语义概念。有的工作把低层特征和关键词结合。它 支持语义的图像检索系统研究与实现 们主要用于英特网上的图像检索，从网页上环绕图像的文字提取关键词， 作为图像的描述，然后以一定的策略把基于关键词的检索和基于低层特征 的检索相结合。大多数研究者都考虑到了用户的参与作用，研究较多的是 相关反馈技术( r f ) 。本文的研究工作也主要集中在从低层特征有效提取高 级语义的方法上，在第三章将对高层语义提取方法作一些介绍。 1 3 4 图像检索中的人机交互 图像检索的初级研究工作致力于设计出全自动的检索系统。但当前图 像理解技术和计算机视觉技术的发展水平极大地制约了全自动检索系统的 性能。于是更多的工作开始转入到设计交互式的系统，把人的参与移入到 检索系统的各个环节。在特征提取的环节，q b i c 研究者采用了交互式区域 分割技术。在检索的环节，一些工作引入了相关反馈技术，把检索模式从 一次进行( o n e - s h o ts e a r c h ) 变成交互式的多次进行。相关反馈算法根据用 户反馈进行学习以期更好的把握用户的需求，提高系统的检索性能。在用 户界面的设计上，一些致力于图像库或检索结果的可视化。一些工作把检 索结果图像投影到2 维或3 维空间，并使它们间的位置和距离尽量反映它 们在特征空间中的位置关系。目前已有的研究表明相关反馈技术能显著的 提高检索性能。在第四章将对有代表性的相关反馈算法作详细介绍。 1 3 5 高维索引技术 目前多数用于研究的基于内容图像检索技术都只处理几百到上万数量 级的图像库。但对于大容量的图像数据库，在基于内容的检索过程中，特 别是在组合检索中，特征矢量的维数常常高达数十甚至上百维，大大多于 常规数据库的索引能力；传统的索引方法如h a s h 表、b m 都不再使用，因此 就需要高效的高维索引技术。目前研究者们提出了许多高维索引方法，有 代表性的有：k - dt r e e 、r t r e e 、s s t r e e 、t v t r e e 等等。 目前一般采用先降低维数，再用适当的多维索引结构的方法。但是维 数的降低不可避免地会造成信息的丢失，为更好地支持多特征、异构特征、 权重、主键特征等方面的查询要求，必须研究和探索更有效的高维索引方 法。 1 3 6 综合的多特征检索技术 图像内容具有各种视觉特征以及视觉对象的空间关系等。不同的特征， 有不同的矢量表示方法和相似性度量准则，即使是同一特征，如颜色特征， 也有直方图特征、颜色距、颜色集等多种特征表示法。在用单一特征检索 7 支持语义的图像检索系统研究与宴现 时，可能出现相似度量接近的两幅图在语义上相差较大，而利用多特征综 合检索，语义上不相关的图像虽然在某一特征描述上有很好的相似度，但 是同时在其它特征描述上也取得好的相似度的几率非常小。另外，多特征 综合检索便于用户更灵话、更有效地表达查询要求。在多特征综合检索中 需要解决的一个重要问题就是算法匹配结果的归一化。由于不同算法得到 的相似距离互相之间不具有可比性，即它们的期望、方差可能会相差很远， 所以必须进行归一化，这样才能保证不同的算法在加权重处于平等的地位。 综合还意味着采纳其它学科领域的成果，如传统的基于文本的信息检 索技术、知识发现、人工智能等领域中的方法，同时，基于内容检索系统 并不排斥常规的检索途径，相反，要充分利用现有的文本检索功能并集成 到基于内容的检索系统中，向用户提供完备的检索能力。 1 4 典型的c b i r 系统介绍 自9 0 年代早期以来，不管是在商业上还是研究领域，都出现了一些图 像检索系统。其中大部分图像检索系统都具有以下一个或几个功能特点【3 】： 随机浏览功能；基于例子的检索功能；基于草图的检索功能；基于文本的 检索( 包括关键词和语音) 功能；图片分类浏览功能。 可以看出现有技术能提供丰富的检索方式，但目前还没有对不同检索 方式下实际系统性能做出过系统研究。在这里列举了一些具有代表意义的 图像检索系统，并着重介绍它们的突出特点。 q b i c q b i c ( q u e r yb yi m a g ec o n t e n t ) 4 ，5 ，6 】是由i b ma l m a d e n 研究中心较早 开发的商业图像检索系统。它支持用户使用例子查询、草图查询和指定特 征( 颜色、纹理) 等查询方式。q b i c 系统是少数考虑到高维特征的索引问题 的系统之一。在它的索引系统中，首先用k l t 变换来完成维度缩减，然后 采用r + 作为索引结构。q b i c 的缺点是图像文本的标注需要人工的参与， 不能完全自动化，因而标注的图像范围受到限制。 p h o t o b o o k p h o t o b o o k 7 l 是m i t 的媒体实验室在1 9 9 4 年开发研制的一套交互式图像 数据库浏览和查询工具。它由三个子系统组成，分别负责提取形状、纹理、 人脸特征。然后根据图像类别利用显著语义特征压缩编码。它的主要特点 是提出了模型社区( s o c i e t yo fm o d e l ) 方法，在特征提取时探钡4 图像中的人 物并加以标注。缺点是强加的图像块分割与目标位置无关，仅采用全局和 纹理特征，丢失了目标的细节特征。 v i s u a l s e e k 和w e b s e e k v i s u a l s e e k l 8 l 和w e b s e e k l 9 】都是哥伦比亚大学开发的基于w e b 的图像 8 支持语义的图像检索系统研究与实现 视频搜索工具。v i s u a l s e e k 是基于视觉特征的搜索引擎，w e b s e e k 是一种 面向w w w 的文本或图像搜索引擎。这两个系统的主要特点是采用了图像 区域之间的空间关系和从压缩域中提取的视觉特征。系统所采用的视觉特 征是颜色集和基于小波的纹理特征。为了加快检索速度，系统采用基于二 叉树的索引算法。 n e t r a n e t r a i ”j 系统是u c s b 大学a d l ( a l e x a n d r i ad i g i t a ll i b r a r y 亚里山大 数字图书馆) 项目中开发出的基于区域( 对象) 的c b i r 试验系统。n e t r a 首先 将图像进行分割，对每一个图像区域提取颜色、纹理、形状和空间布局信 息，并根据用户的选择，查找并返回包括与用户兴趣区域相似的图像。由 于理想的图像自动分割相当困难，仅对用户选择的某个区域进行检索效果 并不理想，因此n e t r a 的检索准确性难以保证。 m a r s 由美国u i u c 大学开发的m a r s ( m u l t i m e d i aa n a l y s i s a n dr e t r i e v a l s y s t e m ) 1 1 1 , 1 2 l 系统无论在研究角度还是在应用领域都和其他的图像检索系 统有很大的差异。这主要体现在m a r s 一个多交叉学科融合的产物，包括 计算机视觉，数据库管理系统以及传统的信息检索技术。m a r s 在图像检 索领域正式提出了相关反馈( r e l e v a n c ef e e d b a c k ) 的体系结构，相关反馈的 各种技术在各种层次融合到检索的过程中，包括查询向量的优化，相似度 算法的自动选择，以及图像特征权重的调整，从而尽量缩小低层特征和高 层语义之间的差距。m a r s 系统的重点并不在于找到所谓“最好”的图像特 征，而在于根据实际的应用环境和用户需要在检索框架中动态地组合调整 各种不同的图像特征。实验证明这种方法十分有效，因此，此项技术成了 近几年研究的热点。 另外还有许多类似的系统，如由美国n e c 公司c & c 实验室开发的面 向w e b 的图像搜索引擎a m o r e ，c a l i f o r n i a 大学b e r k l e y 分校的 b l o b w o r l d ，斯坦福大学的s i m p l i c i t y ，p r i n c e t o n 大学开发的c a e t i i m l 系统，微软亚洲研究院开发的i f i n d 等，这里不再一一赘述。 1 5 本文的研究工作 从基于内容的图像检索的研究现状来看，目前对c b i r 检索研究主要集 中在基于图像低层特征的查找。但是通常视觉特征是对一幅图像统计信息 的描述，而用户检索时更关心的是图像的语义描述，但图像的低层特征信 息不足以反映图像的准确信息。在这一背景下，本文对基于内容的图像检 索相关理论与技术进行了一系列的研究，主要有以下几个方面： ( 1 ) 研究图像的低层视觉特征提取技术 支持语义的图像检索系统研究与实现 由于颜色是描述一幅图像最简便有效的特征。相对于几何特征而言， 颜色具有一定的稳定性，其对大小、方向都不敏感。但目前c b i r 系统中广 泛应用的一些颜色特征利用颜色直方图、颜色矩等都具有不能表达图像空 间信息的缺点。所以本文基于示例图像的查询采取了基于分块颜色特征提 取方法，综合了颜色和空间分布信息。针对系统提供的主色查询功能又提 出了全局聚色向量的主色特征提取方法，通过聚色减少特征向量维数，提 高检索效率。 ( 2 ) 引入相关反馈机制 本文分别在低层视觉特征和高层语义特征两个层次引用相关反馈，用 来提高检索精度。在低层视觉特征，首先通过对检索出的图像标记相关或 不相关来更新查询条件，直到达到用户满意的结果为止，本文针对两种不 同的基于颜色查询方式设计实现了相适应的两种相关反馈算法。高层语义 层次的相关反馈主要通过更新关键词和图像之间语义网络的权重系数来实 现，在i f i n d 相关反馈算法基础上做了一些改进。 ( 3 ) 语义查询 本文在图像库上构建一个语义网络，利用一种基于用户相关反馈的机 器学习策略来改进这种语义网络。使检索不仅反映图像低层次的物理特征， 而且还能与高层次的语义属性联系起来，提高检索效率。关键词词典采用 层次化树状结构，从i f i n d 系统两层语义树结构提高为十层，能够更为准 确有效表达高层语义信息，有效解决了关键词粒度不均这一问题，也部分 解决了“语义鸿沟”问题的一个难点：可较为准确高效地进对图像内容进 行语义分类。 ( 4 ) 试验和分析 设计和实现了一个支持语义的图像检索系统p i c s e a r c h ，支持基于低 层特征和基于高层语义特征的图像检索，通过实验比较证明了“低层特征 “+ “语义特征”+ “相关反馈技术”三项技术的有效结合能大大提高系统 检索效率。同时也实现了层次化的关键词词典结构，试验证明了该方法的 有效性。最后对本文图像检索系统的不足和问题进行了探讨，并提出了进 一步研究的方向。 本章首先介绍了本文的研究目的与意义，接着介绍了图像检索技术的 产生与发展，续而又介绍了目前图像检索技术的研究热点问题和典型的 c b i r 系统。最后对于本文所作的研究工作及意义进行了简要介绍。 1 0 支持语义的图像检索系统研究与实现 第二章基于内容的图像检索 基于内容的图像检索技术主要包括：图像特征提取；特征匹配，即图 像的相似性度量；数据库存取，高维索引，即最快捷，有效地遍历图像库 中的每一幅图像，找出所需要的图像；相关反馈，即对系统给出的结果， 查询者如何给出正确的反馈，进行再次查询，优化结果：性能评价，即对 不同的检索系统，评价系统性能的标准等方面。整个处理过程如图2 1 所示， 相关反馈技术将在第四章单独介绍，下面将对特征提取、相似性度量、索 引方案、性能评价四个方面进行详细论述。 2 1 特征提取 图2 1c b i r 的处理过程 图像特征的提取与表达是基于内容的图像检索技术的基础，用来在基 于内容的图像检索系统中建立图像的内容描述，其方法和技术直接来源于 图像处理与理解和计算机视觉等领域的研究成果。颜色、形状、纹理、空 间信息是图像最基本的特征，也是人们研究基于内容的图像检索的切入点， 支持语义的图像检索系统研究与实现 下面分别予以讨论。 2 1 1 颜色特征 颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜 色往往和图像中的物体或场景十分相关。而且，与其他的视觉特征相比， 颜色特征对图像本身的尺寸、方向、视角的依赖性较小，具有较高的鲁棒 性。 面向图像检索的颜色特征的表达涉及到若干问题。首先，需要选择合 适的颜色空间来描述颜色特征；其次，要采用一定的量化方法将颜色特征 表达为向量的形式：最后，还要定义一种相似度( 距离) 标准用来衡量图像 之间在颜色上的相似性。在本节中，将主要讨论前两个问题，并介绍颜色 直方图、颜色矩、颜色集、颜色聚合向量以及颜色相关图等颜色特征的表 示方法。 ( 1 ) 颜色直方图( c o l o rh i s t o g r a m ) 颜色直方图是采用的最广泛的颜色特征。它所描述的是不同色彩在整 幅图像中所占的比例。这种方法具有计算简单、对平移和旋转不敏感等优 点，但因为不包含色彩的空间位置信息，就无法描述图像中的对象或物体。 当然，颜色直方图可以基于不同的颜色空间和坐标系。最常用的颜色 空间是r g b 颜色空间，原因在于大部分的数字图像都是用这种颜色空间表 达的。然而，r g b 空间结构并不符合人们对颜色相似性的主观判断，因此 有人提出了基于h s v 空间、l u v 空间和l a b 空间的颜色直方图。其中h s v 空间是直方图最常用的颜色空间，其优点是可以转换回r g b 空间。它的三 个分量分别代表色彩( h u e ) 、饱和度( s a t u r a t i o n ) 和亮度( v a l u e ) 。从r g b 空 间的值c - ( r ，g ，6 ) 到h s v 空间c ；( ，岛v ) 转化公式如下所示： v m a x ( r ，g ，b ) r 一( v - r ) ( v m i n ( r ，g ，6 ) ) g 一( v - g ) ( v - m i n ( r ，g ，6 ) ) b 一( v - b ) ( v m i n ( r ，g ，6 ) ) h 一 5 + b i ft m a x ( r ，g ，b ) a n dg m i n ( r ，吕b ) 1 - g i fr m a x “g ，b ) a n dg _ r a i n ( r ，g ，b ) 1 + ri fg m a x ( r , g ，b ) a n db m i d ( r , 岛b ) 3 - b i fg - m “( r g ，b ) a n db m i n ( r ，g ，b ) 3 + g i fba m a x ( r ，g ，b ) a n dr - m i n ( r ，g ，b ) 5 ，o t h e r w i s e 则有： v v 2 5 5 s 一( v 一m t