（模式识别与智能系统专业论文）基于内容的图像检索技术研究(2).pdf

摘要 计算机技术、多媒体技术以及互联网技术的长足发展导致了大量图像的出现，如 何有效、快速的从大规模的图像数据库中检索出需要的图像是目前一个相当重要而又 富有挑战性的研究课题。基于内容的图像检索技术的研究正是为了解决利用自动获得 的图像特征，从图像数据库中检索出相关图像的问题。近年来，该项技术的研究已经 成为了多媒体领域最活跃的研究热点之一，并在许多领域得到了应用。 本文的主要工作概括如下： 1 分析和研究了基于内容的图像检索领域的些关键技术，如：相关反馈技术， 颜色、形状纹理等低层图像特征的描述以及图像间的相似度度量准则等。 2 提出了一种基于兴趣点的图像检索新方法a c s m ( a n n u l a rc o l o ra n ds h a p e m o m e n t ) ，此方法利用兴趣点的位置信息，提取兴趣点周围局部区域的颜色 矩特征和区域形状不变矩特征，并利用包含兴趣点的环形区域的颜色形状特 征对图像进行相似检索。a c s m 算法不仅对平移、旋转具有良好的鲁棒性， 而且克服了传统颜色矩和形状不变矩没有位置信息的缺陷。实验结果表明， 由于将颜色和形状特征有机结合，a c s m 算法有效提高了图像检索的准确性。 3 提出了一种新的基于区域熵的图像检索算法r e c s ( r e g i o ne n t r o p y - b a s e d c o l o r a n ds h a p er e t r i e v a l ) 。它不仅利用图像的子块熵来描述图像的特性，而且 依据熵信息的均值和方差将图像分割为高熵子图和低熵子图两部分。综合图 像区域的颜色形状特征和分两步的图像检索过程，有效提高检索准确性的同 时也节省了检索时间。实验结果表明，r e c s 算法对前景单一和前景复杂图像 的检索效果同样令人满意。 4 在研究基于内容的图像检索算法的基础上，用v c + + 6 0 实现了i m s e a r c h 图 像检索系统 关键词：基于内容的图像检索兴趣点区域熵颜色矩形状不变矩 a b s t r a c t d u et ot h es t e a d yg r o w t ho fc o m p u t e r , m u l t i m e d i aa n di n t e m e tt e c h n i q u e s ，ah u g e a m o u n to fi m a g e sa r ea v a i l a b l e c u r r e n t l y , r a p i da n de f f e c t i v es e a r c h i n gf o rd e s i r e di m a g e s f r o ml a r g e s c a l ei m a g ed a t a b a s e sb e c o m e sa l li m p o r t a n ta n dc h a l l e n g i n gr e s e a r c ht o p i c c o n t e n t - b a s e di m a g er e t r i e v a l ( c b l r ) i st h es e to ft e c h n i q u e st oa d d r e s st h ep r o b l e mo f r e t r i e v i n gr e l e v a n ti m a g e sf r o ma ni m a g ed a t a b a s eb a s e do na u t o m a t i c a l l yd e r i v e di m a g e f e a t u r e s i nr e c e n ty e a r s ，c b i rh a sb e c a m eo n eo ft h em o s ta c t i v er e s e a r c hf o c u s e so f i m p l e m e n t a t i o no f m u l t i m e d i a ，a n dh a sb e e na p p l i e d t om a n yf i e l d s t h em a i nc o n t e n t so f t h i sp a p e ra r as u m m a r i z e da sf o l l o w s ： 1 s e v e r a lk e yt e c h n i q u e sa n da l g o r i t h m so fc b i ra r ea n a l y z e da n dd i s c u s s e d ，s u c h a s ，t h er e l e v a n c ef e e d b a c k , t h el o w l e v e lf e a t u r ed e s c r i p t i o n si n c l u d i n gc o l o r , s h a p e ，a n dt e x t u r e ，a n dt h es i m i l a r i t ym e a s u r eb e t w e e ni m a g e s 2 an o v e la l g o r i t h mf o ri m a g er e t r i e v a lb a s e do ni n t e r e s tp o i n t si sp r e s e n t e d ，w h i c h u t i l i z e st h el o c a t i o ni n f o r m a t i o no ft h ei n t e r e s tp o i n t s ，e x t r a c t st h el o c a lc o l o r m o m e n tf e a t u r ea n ds h a p ei n v a r i a n tm o m e n tf e a t u r e 1 1 1 i sa l g o r i t h mi sn o to n l y r o b u s tt ot r a n s l a t i o na n dr o t a t i o n ，b u ta l s oa v o i d st h ed r a w b a c k so fl o s i n gt h e l o c a t i o ni n f o r m a t i o ni nc o l o rm o m e n ta n ds h a p ei n v a r i a n tm o m e n t e x p e r i m e n t a l r e s u l t ss h o wt h a tt h i sa l g o r i t h me f f e c t i v e l yi m p r o v e st h ei m a g er e t r i e v a la c c u r a c y d u et oc o m b i n i n gc o l o ra n ds h a p ef e a t u r e s 3 an o v e la l g o r i t h mf o ri m a g er e t r i e v a lb a s e do nr e g i o ne n t r o p yi sp r o p o s e d ，w h i c h d i v i d e sa ni m a g ei n t oh i g h e ra n dl o w e re n t r o p yr e g i o n sa n de x t r a c t st h ec o l o ra n d s h a p ef e a t u r e sw i t he a c ht y p eo fr e g i o n s 1 1 1 er e t r i e v a lp r o c e d u r ec o n s i s t so ft w o s t e p s ：f i r s t l y , as i m p l er e t r i e v a la l g o r i t h mi nt e r m so fe n t r o p yf e a t u r ei sa p p l i e dt o a l lt h ei m a g e si nt h ed a t a b a s e ，a n ds e c o n d l y , o n l yt h er e s u l t so ft h ep r e v i o u s r e t r i e v a la r es e a r c h e d e x p e r i m e n t a lr e s u l t sh a v es h o w nt | i a tt h ep r o p o s e dm e t h o d h a ss o u n da n dr o b u s tr e t r i e v a lp e r f o r m a n c et ot h ei m a g e sw i t hs i m p l ef o r e g r o u n d o rc o m p l e xf o r e g r o u n d 4 d e s i g n e dac b i rs y s t e mn a m e di m s e a r c h ，w h i c hi sa ne x p e r i m e n t a lf r a m es y s t e m t h ed e v e l o p m e n te n v i r o n m e n ti sv i s u a lc + + 6 o k e y w o r d s ：c b i r i n t e r e s tp o i n t s r e g i o ne n t r o p y c o l o rm o m e n t s h a p ei n v a r i a n tm o m e n t 创新性声明 本人声明所呈交的论文是我个人在导师指导f 进行的研究i ：作及取得的研究 成果。尽我所知，除j ，文中特别加以标注和致谢中所罗列的内容以外，论文中小 包含其他人已经发表或撰写过的研究成果：也不包含为获得两安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贞献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签各鸽卑 r 强：印口6 ，f 细 关于论文使用授权的说明 本人完全了解西安电予科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本人签名 导师签名 4 丐姆 锄玺草 f 同期：丝旦量f ! 翌 h 期：彩，d 第| 章绪论 第一章绪论 随着信息社会的到来，大容量存储设备和数字化设备，如扫描仪、数码相机、数 码摄像机等的发展和普遍使用，图像数据呈现几何级数增长：随着多媒体技术的迅猛 发展，i n t e m e t 的迅速普及和网络传输速度的提高，大量图像的全球共享已经成为可能。 如何从浩瀚的图像数据库中准确地检索到所需要的图像成为近十年来多媒体领域的 研究热点之一。本论文在分析了基于内容的图像检索中各种关键技术的基础上，重点 研究了如何有效的提取图像局部颜色形状特征进行图像检索的方法。 本章首先介绍课题的背景与研究意义，其后讨论国内外研究的热点及现状，接着 介绍著名的图像检索系统，最后总结论文的研究工作。 1 1 课题的背景与研究意义 早在文字还没有出现的远古时代，人类已经懂得利用各种形式的图案( 图像) 进 行信息交流。在被人们称为信息时代的二十一世纪，图像数量呈爆炸式增长、图像在 人类社会的诸多领域，如多媒体数据库、电子图书馆、医学图像管理，正扮演着越来 越重要的角色。计算机的出现带来了数字图像获取、处理、存储和传输的便利，同时 也带来了数字图像的真正革命；i n t e m e t 和w w w 的兴起，使处在地球任意角落的用 户能以各种各样的媒体( 图像、文本、声音等) 形式获取自己所需的信息，进而推动 了对数字图像的巨大需求。 图像数据的爆炸性增长使得对图像的管理和检索成为关键。图像的传统管理方式 是以文本系统进行的。当用户查询一幅图像时，要逐一打开文件进行浏览才能找到目 标图像。随着图像文件数量的增加，查找效率急剧降低。由于以文件存储方式对图像 的使用和操作非常方便，因此以文件管理图像的方式一直延续至今。早在7 0 年代， 数据库专家就开始研究如何对图像数据进行有效的管理。其主要方法是对图像文件建 立关键词或文本标题以及一些附加描述信息，然后将图像的存储路径和图像关键词之 间建立联系。这种方法有两个难以克服的缺点：1 每一幅图像都需要人工进行注释， 因此，较大的图像数据库需要大量的人工劳动：2 人工注释具有很强的主观性，即使 对于同幅图像也是仁者见仁、智者见智，而且，一旦人工注释完成就很难更薪和改 基于内容的图像检索技术研究 变。因此，简单的、固定的人工注释很难满足不同用户的需求。 8 0 年代是多媒体技术发展的时代，图像的获取、创作、存储技术都取得了举世瞩 目的成就，而对图像信息的管理却未给予足够的重视。9 0 年代是计算机网络时代，随 着计算机视觉技术和w w w 的发展，网络上多媒体信息的产生、存储、传输、分析 以及访问数量呈指数级增长，其中图像占据着重要的地位。对图像建立关键词等文本 描述信息的方式，已越来越不适应网络信息检索的要求。 俗话说：“一幅图胜过千言万语”( ap i c t u r es p e a k sat h o u s a n dw o r d s ) 。为了突破 文本检索方式的诸多弊端，从2 0 世纪9 0 年代初期开始，人们转向研究图像中所包含 的内容信息作为图像的索引，其主要的方法是根据图像的颜色、纹理、形状及空间关 系等特征，建立图像的特征矢量，计算查询图像和目标图像的相似距离，按多维特征 的相似性匹配进行图像检索。这项技术被称为基于内容的图像检索( c o n t e n t b a s e d i m a g er e t r i e v a l ，c b i r ) 。此项技术的研究把计算机视觉( c o m p u t e rv i s i o n ) 、图像处理 ( i m a g ep r o c e s s i n g ) 、图像理解( i m a g eu n d e r s t a n d i n g ) 和数据库( d a t a b a s e ) 等多个 领域的技术成果结合起来，是一个很有前途的发展方向，而且该研究的深入必将推动 其它相关领域的发展。 图1 1 给出了一个典型的c b i r ( c o n t e n t b a s e di m a g er e t d e v a l ) 系统的基本框图。 从图中可以看出，系统主要可分为图像数据库创建模块和图像数据库检索模块两个部 分。图像数据库创建模块主要用来建立和维护整个图像库和相关文件，其核心是特征 提取技术。特征提取技术对图像库中的图像抽取特定特征生成特征矢量，并与图像一 起存入图像库，从而形成基于内容的图像数据库。图像数据库检索模块主要负责与用 户的交互和度量数据库中图像与用户提交查询图像之间的相似性。当用户提交查询图 像后，对其进行分析并提取特征矢量，按照相应的相似度度量准则在图像库中进行匹 配，最后根据相似度顺序输出检索结果。 作为传统数据库检索的拓展，基于内容的图像检索系统主要是根据图像的内容进 行检索。同传统的关系数据库检索系统相比，主要具有以下的特点和优势：1 从图像 内容中提取信息线索。基于内容的检索突破了传统的基于关键词检索的局限，直接对 图像进行分析并提取特征，使得检索更加接近图像对象。2 提取特征的方法多种多样。 对图像的特征提取可以是颜色特征、形状特征、纹理特征、轮廓特征、空间关系特征 等等。3 人机交互进行。人对于特征比较敏感，但对于大量的对象，一方面难以记住 这些特征，另一方面人工从大量数据中查找目标效率非常低，而这正是计算机的长处， 因此，使用基于内容的图像检索系统时，人与计算机相互配合进行检索。4 基于内容 的图像检索是一种近似匹配。在检索过程中，采用逐步求精的办法，每次的中间结果 第一章绪论 是一个集合，不断减小集合的范围，直到定位到目标。这一点与数据库检索的精确匹 配算法有明显的不同。尽管经过十多年的研究，基于内容的图像检索技术有了很大的 发展，但是，仍然无法满足人们的检索需要，无法真正实用。这主要是由于一些具有 普遍性的问题还远远没有得到解决，尤其是图像特征的有效提取，是现阶段的突出难 点。 图1 1典型c b i r 系统的基本框图 综上所述，基于内容的图像检索仍然是一个开放性的研究课题，其研究将涉及认 知科学、人工智能、模式识别、图像处理、信息检索等多个领域，许多问题还有待于 进一步探索和研究。基于内容的图像检索既体现了图像信息的特点，又结合了传统的 数据库方法，是一项在理论研究和实际应用中具有前途的新技术。随着各个领域对 c b i r 技术提出新的要求，其应用前景将更加诱人。因此，研究该项技术既有深远的 意义，同时也将面临巨大的挑战。 基于内容的图像检索技术研究 1 2 国内外研究热点及现状 基于内容的图像检索技术始于9 0 年代中期，目前已有十多年的发展历史。由于 涉及领域广泛，在国外迅速成为了研究热点。许多研究机构和公司相继推出了自己的 检索系统，例如：m m 、m i t 、c o l u m b i a 、s t a n f o r d 、u 1 u c 、u c s b 、b e r k e l e y 、m i c r o s o f i 等。各大著名杂志也纷纷设专刊介绍该领域的最新研究成果，例如：i e e et r a n s o n i m a g ep r o c e s s i n g 、i e e et r a n s o nm u l t i m e d i a 、1 e e et r a n s o np a m i 、c o m p u t e rv i s i o n a n di m a g eu n d e r s t a n d i n g 、p a t t e r nr e c o g n i t i o n 等。 基于内容的图像检索技术研究的热点大致可以分为三个方面。最初的基于内容的 图像检索研究注意集中在如何选择合适的全局特征去描述图像内容和采用什么样的 相似度量进行图像匹配。采用这种策略的代表性工作包括：i b m 的q b i c n 、m i t 的 p h o t o b o o k l z 】l 、c o l u m b i a 的v i s u a l s e e k l 4 1 等。这种方法一般只适用于简单的图像或背 景较为单一的图像，如：纹理图像、自然风光图像、建筑物图像等。 第二个研究热点是基于区域的图像检索方法( r e g i o n b a s e di m a g er e t r i e v a l ) ，其主 要思想是通过对图像分割技术提取出图像中的物体，然后对于每一个区域使用局部的 特征来描述，综合每个区域的特征得到图像的整体特征描述，最后使用固定的相似性 度量标准来检索图像。在这一研究领域中具有代表性的工作有：n e t r a l 5 】、b l o b w o r l d i s l 、 s i m p l i c i t y l 7 1 1 8 】和i p u r e 9 1 【1 0 1 。由于图像分割是一个相当困难的技术，目前将图像中的 物体有效的分割出来还存在一定的困难，同时建立区域与物体之间良好的对应关系也 非易事，因此，这方面还有待于进一步的研究。 第三个研究热点是相关反馈技术( r e l e v a n c ef e e d b a c k ) 。相关反馈技术就是一种 由用户指引计算机找到相关信息的机制。其过程是，系统按照用户的查询要求检索出 一组图像返回给用户，用户浏览结果集合，挑选出满意的和不满意的结果，并把对结 果的评价反馈给系统，系统从用户的标注中分析出用户的查询需要，并自动调整查询 特征，形成一个新的查询。如此循环，直到用户满意查询结果为止。可见，相关反馈 是一个逐步求精的过程，通过特征调整、重新匹配的循环过程来定位用户所期望的图 像。r u iy o n g ! 】f j 2 壤先将其用到c b i r 领域，实验证明它的确有效，因此，此项技术 已经成为近几年的研究热点，代表工作有m a r s i “1 、p i c h u n t e r i ”1 、f o u r e y e s z 4 1 、 s u r f i m a g e ”1 和m i n d r e a d e d r , i 等。 事实上，图像特征可以分为低层视觉特征和高层语义特征两类。低层视觉特征主 要包括颜色、形状、纹理、空间关系等：两高层语义特征是指“冷”、“热”、“快乐”、 第一章绪论 “悲伤”等主观性的带有感情色彩的描述。近几年来，为了解决低层视觉特征与高层 语义特征之间的对应问题，许多研究者已经将研究方向转向了研究从图像的低层视觉 特征获取高层语义特征，从而建立有效的图像特征描述子，使得对图像的描述更加符 合人类的主观判断这一新的研究热点。国际运动图像专家组( m o v i n gp i c t u r ee x p e r t s g r o u p ) 提出了描述多媒体内容的国际统一标准m p e g 7 【”脚】【1 9 1 ，它的全称是：多媒 体内容描述接e l ( m u l t i m e d i a c o n t e n t d e s c r i p t i o n i n t e r f a c e ) ，其目标是提供在多媒体环 境中描述视听数据内容的标准化核心技术。m p e g - 7 为c b i r 系统提供了一个完整的 目标描述模型。它包括两个方面：一是图像特征内容的数据模型，m p e g - 7 从多角度 多层次来描述，它覆盖的视觉特征主要包括颜色、纹理、形状、运动、定位这几个方 面，每一方面又由基础的和复杂的描述子组成；二是描述模型，m p e g 7 规定了套 由描述子、描述模式、插述语言所组成的灵活且易于扩充的描述模型。m p e g 7 标准 的推出和完善，必将对该领域的研究起到推动和规范化的作用。 1 3 经典的图像检索系统简介 从9 0 年代初期，基于内容的图像检索技术问世以来，世界上著名的研究机构和 公司都相继推出了它们的图像检索系统，下面就对其中几个具有不同特点的图像检索 系统作简单介绍： p h o t o b o o k 系统 p h o t o b o o k 是m 1 t 的媒体实验室开发的一套交互式图像数据库浏览和查询工具。 它给出了四种应用领域的示范：纹理识别、形状识别、人脸识别和大脑形状识别。纹 理识别主要针对以纹理为主体内容的图像：形状识别给出了一些具有简单形状物体 ( 如板手) 的检索示例；人脸识别是m i t 基于他们研究的技术基础上开发的重要应 用；大脑形状识别则是p h o t o b o o k 的一个新的应用领域，它在检索过程中处理图像的 3 d 数据。版本6 允许用户通过动态的加载代码来定义匹配算法。f o u r e y e s 是 p h o t o b o o k 的扩展版本，它突出了交互式语义查询及系统学习功能，并且还应用了相关 反馈( 1 讧) 技术。系统可以保留用户的记录，使用一个代理设施来进行学习，通过分 析选择出较好的匹配模式以改进功能。用户在参与过程中，对图像分割块进行语义注 释是一个重要的步骤。 6 基于内容的图像检索技术研究 q b i c 系统 i b m 的q b i c 系统是第一个商用的c b l r 系统。它针对大型的d b 2 图像数据库， 同时也支持w e b 检索。它分别给出了对邮票、照片和黑白商标检索的示例。对于邮票 和照片，提供根据颜色、颜色层、纹理等特征进行图像检索的途径，对于黑白商标还 提供了分形检索方法。此外，q b i c 系统还运用了一些维数约减技术( 如k l t ) 和多 维索引技术( 如r - t r e e ) 来对付高维特征索引问题。在更新的版本中，他们将基于文本 的图像检索技术结合了进来，也许是寄希望于在语义匹配方面有所突破。q b i c 结合 了多种查询方式，如标准的系统查询方式，选择特征查询和草图查询等，因此它的用 户界面比较友好。近年来q b i c 的应用领域越来越广，i b m 也致力于将之应用于诸如 商业图形检索、艺术图像检索及医学等领域中。其中引人注目的是因特网上的远程博 物馆漫游计划，q b i c 在其中扮演重要角色。 v i s u a i s e e i 国w e b s e e k 系统 v i s u a l s e e k 和w e b s e e k 系统都是哥伦比亚大学开发的基于w e b 的图像视频搜索 工具。v i s u a l s e e k 是一个通用的搜索引擎，它主要是根据所检索图像中不同色块的空 间关系进行相似匹配，另外也用到颜色、纹理等特征提取技术。在解决快速索引问题 上，它采用了二叉树索引技术。v i s u a l s e e k 同q b i c 一样提供了多种查询方法：根据视觉 特征、图像注释、草图甚至是图像的u r l ( 这是w e b 上搜索所特有的) 。它根据草图检 索的方法仍是注重图像中不同色块的空间位置关系，只有具有良好空问区别性的草图 才可以得到较好的结果。w e b s e e k 是一个专用的面向w w w 的搜索引擎。它的目的是 在w w w 上建立一个可视化对象的自动辞典供用户查询。它也是采用多种特征提取技 术进行匹配，并提供基于注释和基于图像视觉信息的用户查询接口。 n e t r a 系统 n e t r a 是加里福利亚大学a d l ( a l e x a n d r i ad i g i t a ll b r a r y 亚里山大数字图书馆) 项目中开发的一个c b i r 原型系统。它着重从已分割的图像中查找相似区域进行匹配。 此外n e t r a 还使用了一些特殊的特征表述，便于快速完成用户的一些特殊的查询，如 检索包含a 的颜色、b 的形状、c 的纹理的图像，并将它们分类列出。在它的d e m o 版 第t 章绪论 7 本中提供给用户的查询界面也体现了这样的特点。n e t r a i i 是n e t r a 的新版本。它 是一个基于区域和颜色特征的图像检索系统，主要采用了研究小组在彩色图像分割算 法和局部颜色特征描述方面所做出的一些成果( 如色彩量化、特征的距离化度量等) ， 使得图像分割更加快速。 m a r s 系统 m a r s ( m u l t i m e d i a a n a l y s i sa n dr e t r i e v a ls y s t e m ) 是由美国u i u c 大学开发的系统， 涉及到多领域的知识，包括：计算机视觉、数据库管理系统和信息检索。m a r s 系 统的注重点不在于寻找单个的最佳特征表示，而在于如何将不同的视觉特征组织成有 意义的检索体系，以动态适应不同的用户及应用场合。m a r s 系统是正式提出相关反 馈的系统，它将相关反馈技术集成到检索的不同层次过程中。 v i r a g e 系统 v i r a g e 系统是由v i m g e 公司提出的专门从事图像及声像信息检索的引擎，除了检 索静态图像外，v i m g e 还提供了对动态影像的检索服务。与q b i c 类似，它也提供基 于颜色、纹理等检索方式，有所不同的是，它允许用户对几种查询线索进行组合查询， 可以通过调整权系数来改变查询线索的重要性。 1 4 本文研究成果及章节安排 论文的研究内容主要围绕着基于内容的图像检索中的一些关键技术展开，重点研 究了基于兴趣点和图像熵的图像检索技术。 论文完成的主要工作： 1 提出了一种基于兴趣点的图像检索新方法a c s m ( a n n u l a rc o l o ra n ds h a p e m o m e n t ) ，利用兴趣点的位置信息，提取兴趣点周围局部区域的颜色矩特征 和区域形状不变矩特征。a c s m 算法不仅对平移、旋转具有良好的鲁棒性， 而且克服了传统颜色矩和形状不变矩没有位置信息的缺陷。 2 提出了一种新的基于区域熵的图像检索算法r e c s ( r e g i o ne n t r o p y - b a s e d c o l o r a n ds h a p er e t r i e v a l ) ，不仅利用图像的子块熵来描述图像的特性，而且依 基于内容的图像检索技术研究 据熵信息的均值和方差将图像分割为高熵了图和低熵予图两部分。综合图像 区域的颜色形状特征和分两步的图像检索过程，有效提高检索准确性的同时 也节省了检索时间。 3 在研究基于内容的图像检索算法的基础上，用v c + + 6 0 实现了i m s e a r c h 图像 检索系统。 论文各章节的内容如下： 第一章，介绍基于内容的图像检索技术的研究意义、现状，以及典型的图像检索 系统。 第二章，系统的介绍了基于内容的图像检索技术的一些预备知识和关键技术，具 体分析了基于内容的图像检索系统广阔的应用前景。 第三章，研究了基于兴趣点的图像检索算法，并提出了一种以兴趣点作为空间位 置信息，综合颜色和形状特征的图像检索算法。 第四章，研究了基于图像熵信息的图像检索算法，并提出了一种新算法，它利用 图像的熵信息将其划分为高熵子图和低熵子图两部分，并结合颜色和形状特征对图像 进行描述。 第五章，介绍用v c + + 6 0 实现的i m s e a r c h 图像检索系统。 第六章，结束语，总结了整个论文完成的工作，以及后续研究工作的方向。 最后是致谢，参考文献和研究生阶段取得的科研成果简介。 第二章基于内容的图像检索关键技术及其应用! 第二章基于内容的图像检索关键技术及其应用 2 1 概述 为了后续章节内容的展开，本章将系统的介绍基于内容的图像检索研究领域的一 些预备知识和关键技术，分析基于内容的图像检索系统的应用前景。本章的结构安排 如下：第二节介绍图像检索中低层特征的描述方法；第二节介绍图像检索中一些常用 的相似性度量方法；第四节介绍图像检索中的索引方法；第五节介绍图像检索算法的 性能评价准则；第六节介绍图像检索系统中一些常用的查询方式；第七节介绍图像检 索中的相关反馈技术：第八节介绍基于内容的图像检索系统的应用前景。 2 2 图像检索中低层特征的描述模型 图像检索需要选取恰当的图像特征，采取有效的特征提取方法和准确的特征匹配 算法。图像特征就相当于文本检索中的关键词，选取合适的图像特征描述模型在图像 检索算法中占据着至关重要的地位。目前，常用的图像低层特征主要包括：颜色、形 状和纹理。本节将详细的介绍各种低层特征的描述模型以及融合多种特征的图像检 索。 2 2 1 颜色特征 颜色特征是图像最直观、最明显的特征，是图像内容组成的基本要素，是人类识 别图像的主要感知特征之一。由于颜色特征与图像尺寸无关，所以颜色特征具有旋转 不变性和尺寸不变性，即图像颜色特征与图像尺寸和图像对象位置无关。 最早采用色彩进行图像检索是由s w a i n 和b a l l a r d 提出的基于色彩直方图的检索 方法，其核心思想是在一定的色彩空间中对图像各种色彩出现的频数进行统计。色彩 直方图描述了图像颜色的统计分布，直方图的横轴表示颜色等级，纵轴表示在某一个 颜色等级上具有该颜色的像素在整幅图像中所占的比例。文献 2 0 中有详细的介绍。 色彩直方图的主要缺点是：它只包含了该图像中某一色彩出现的频数，而丢失了某像 素所在图像中的位置信息：任一幅图像都能唯一地给出一幅与它对应的直方图，但不 同的图像，可能具有相同的直方图，也就是说直方图与图像是一对多的关系，这显然 基于内容的图像检索技术研究 与人类的视觉感应不符，即误检率较高。为此，有很多人提出了改进的办法，例如模 糊直方图方法1 2 “，为了避免将两个相似的图像块归入不同的类别，而导致比较错误， 模糊直方图方法将模糊理论应用到图像检索中，给出一个图像块对于多个类别的隶属 度，这样，每一个图像块就以不同的隶属度从属于多个或所有的类别，从而形成一个模 糊多维直方图。 其它基于颜色的方法还有许多，如颜色矩1 2 2 f 2 3 】、颜色相关向量法、颜色相关图法、 颜色集方法、颜色聚类法、主色调法等等。颜色矩类似于描述形状的区域矩不变量， 它的主要思想是在颜色直方图的基础上计算出每个颜色通道的一些统计量如：均值、 方差、偏差，用这些统计量替代颜色的分布来表示颜色特征。具有特征量少，处理简 单的特点。颜色相关向量法是将各颜色区段像素点总数分为相关和不相关两类，包含 一定的空间信息。颜色相关图法由颜色对组成的表，表的第k 个入口即颜色i 在距离为k 的范围内找到颜色i 的像素点的概率。该方法对图像旋转、位置变换敏感。颜色集法将 图像的r g b 空间转换为h s v 一维空间，因为h s v 空间比较符合人类的视觉感知特征。 通过阈值过滤，大于阂值的为l ，小于阈值的为0 。该法可以保留图像的显著信息，便 于索引的构造。颜色聚类法是将图像库中的图像颜色聚类，在预定误差范围内，将三 维颜色空问量化为最小数目的一维，使用颜色所占比例反映分割区域颜色分布。人类 肉眼一般对主色调比较敏感，因此有人提出了基于主色调的检索方法。通过系统提供 的调色板选择颜色值，指定某种主色调进行检索。然而，人类肉眼的分辨率毕竟有限， 在一定范围内的颜色变化往往区分不出来。并且颜色在按色彩量化时会产生量化误 差，从而使得原本非常相似的颜色被量化到了不同的范围之内，导致图像匹配时漏选。 采用正态分布拟和法来获取指定颜色的扩展值，对主色调进行扩展，可弥补由于用户 选择的随机性和量化等引起的误差。 2 2 2 形状特征 形状是刻划物体的本质特征之一，许多物体具有不同的颜色，但其形状总是类似 的。例如，一套以国徽为主要图案的邮票，其形状大体都是圆形；再比如苹果公司的 商标，形状都是一个圆形缺一角的苹果，差别仅在于一些细微的地方，如苹果中有无 横线。因此利用形状来检索无疑可提高检索的准确性和效率。 从广义的角度来说，基于形状的检索不仅仅包括传统意义的基于二维形状的检索， 还包括在三维图像( 体数据，如医疗成像设备获得的检测图像) 中的基于三维形状的 检索( s h a p eb yv o l u m e ) 。基于图像内物体形状的检索，首要问题是采用合适的图像分 割算法把不同对象从图像中分割出来，关键是寻找符合人眼感知特性的形状特征。图 第二章基于内容的图像检索关键技术及其应用旦 像分割需要利用物体区域内部某种同一性和均匀性进行划分，采用的经典算法包括门 限法、区域增长点、空间聚类法等。 形状包括面积、连通性、环形性、偏心率、主轴方向等特征。图像分析中经典的 形状描述是：矩不变量、圆度、主轴方向等。其它表示形状的特征有：伸长度、孔数、 角点数、对称性，其中伸长度即偏心度一定程度上描述了对象的紧凑性。另外还有一 种常用的形状描述是傅立叶描述予，其主要思想是使用傅氏变换后的边界作为形状特 征。除了这些采用全局性特征进行描述的方法外，还有人用一系列局部特征，如：直 线段、圆弧、角点、兴趣点、高曲率点等来描述形状的方法。文献 2 4 首先对图像进 行了高斯平滑，接着使用经典的兴趣点检测算法发现兴趣点，然后用兴趣点的测度值 作为图像特征进行匹配。文献 2 5 提出将图像边缘上的角点作为特征点，然后使用 d e l a u n a y 三角形进行划分，记录三角形的形状特征来描述图像的形状特征。这种方 法由于是基于边缘上的一些特殊点，因此对噪声和点位置的变化较为敏感。 2 2 3 纹理特征 纹理是图像中一个重要而又难以描述的特性。很多图像在局部区域内可能呈现出 不规则性，而在整体上却表现出某种规律性，习惯上把图像中这种局部不规则而整体 有规律的特性称之为纹理。纹理特征主要包括粗糙度、方向性、对比度以及规则性。 基于纹理的检索适用于检索诸如水波、布匹、建材等类型的图像，通常采用统计 方法、结构方法以及频谱分析方法等。统计方法主要用于分析如木纹、沙地、草坪等 细致而不规则的物体，根据图像像素间灰度的统计性质对纹理规定出特征以及特征与 参数间的关系。结构方法适于如布料或砖瓦等一类元素组成的纹理以及排列比较规则 的东西，根据纹理基元及其排列规则来描述纹理特征。 统计方法通常在频率域和空间域上进行，而基于频谱分析的方法实际上是统计方 法的一个分支。在频率域上，主要采用傅立叶变换和小波分析。傅立叶变换在能量谱 上反映图像粗糙度和方向性：小波分析中采用g a b o r 滤波能够表现出最优的特征。在 空间域主要采用h a r a l i c k 和s h a n m u g a m 提出的共生矩阵法【2 “，该方法研究了纹理的空 间灰度级相关性，构造出一个基于图像像素间方向和距离的共生矩阵，并且从矩阵中 提取出反差、能量、熵、相关等统计量作为特征量表示纹理特征。该方法的缺点在于 矩阵很大且含有大量的冗余信息。t a m u r a 是纹理分析的另一主要方法 2 r l ，它根据人类 视觉的心理学特性定义了6 个纹理特征：租糙度( c o a r s e n e s s ) ，对比度( c o n t r a s t ) ， 方向度( d i r e c t i o n a l i t y ) ，线性度( 1 i n e l i k e b e s s ) ，规则度( r e g u l a r i t y ) ，粗略度( r o u g h n e s s ) ， 每种特征相互独立且可视。其优点在于几乎没有冗余信息，算法的效率比较高。 基于内容的图像检索技术研究 结构方法主要对规则的结构纹理，采用句法分析方法识别，其基本思想是假定纹 理模式由纹理基元以一定的有规律的形式重复排列组合而成，特征提取就变为确定这 些基元并定量分析它们的排列规则。 在纹理描述方法研究的早期，人们普遍认为统计方法优于频谱分析方法。8 0 年代， 随机场模型开始用于纹理的分类和识别。k a s h y a p 采用基于圆对称自回归随机场模型 的特征，用于自然纹理的分类。e s c o h e n 等采用g a u s s i a nm a r k o v 随机场模型对自然纹 理的识别取得了令人满意的效果。 2 2 4 融合多种特征的图像检索 基于颜色、纹理或形状特征的图像检索都有各自适合的范围，仅用单个特征得到 的检索结果，虽然从此特征角度看与待查询图像比较接近，但总体视觉效果与人的观 察还不一定吻合。 其次，不同的特征有不同的矢量表示方法和相似性度量准则，即使是同一特征，如 颜色特征，也有颜色直方图、颜色距、颜色集等多种特征表示法。在用单一特征检索 时，可能出现相似度量接近的两幅图在语义上相差较大，而利用多特征综合检索，语义 上不相关的图像虽然在某一特征描述上有很好的相似度，但是同时在其他特征描述上 也取得好的相似度的几率是非常小的。 另外，多特征综合检索便于用户更灵话、更有效地表达查询要求。在多特征综合 检索中需要解决的一个重要问题就是算法匹配结果的归一化。由于不同算法得到的相 似距离互相之间不具有可比性，即它们的期望、方差可能会相差很远，所以必须进行 归一化处理，这样才能保证不同的算法在加权中处于平等的地位。同时，如何综合利 用多种特征支持用户的查询? 如何利用特征之间的互补能力提高检索效率? 如何既 考虑一般性特征，又考虑特定领域的特征? 如何有效地融合多个特征来获取图像相似 性排序? 这些都是有待深入研究的问题。 2 3 图像检索中的相似度计算 相似度在图像检索中用来计算两幅图像之间的相似程度，其模型多种多样，但没 有一种适用于任何情况，这是因为相似度具有特征依赖的特点，不同的特征应该使用 不同的相似度计算方法。最典型的相似度计算方法是距离度量，除此之外，还有相关 计算、关联系数计算等”l 。( 下列公式中x 、y 为图像的特征矢量，t 、卫分别为其 第二章基于内容的图像检索关键技术及其应用 旦 特征分量) 2 3 1 距离度量 距离度量就是求特征空间中点与点之问的距离，它是最直观的计算两幅图像相似 度的方法。 m i n k k o w s k y 距离： i d ( x ，】，) = ( y 1 x , - y , 1 7 ) j ( 2 1 ) r = l m a n h a t t a n 距离。 e u c l i d e a n 距离： d ( x ，y ) = z i x , 一只 n i d ( 置d = ( ( 薯一所) 2 户 ( 2 - 2 ) ( 2 - 3 ) e u c l i d e a n 距离没有考虑到向量各维之间的关系，认为各维分量同等重要。 加权e u c l i d e a n 距离： 月 i a ( x ，d = ( q ( 一只) 2 ) j ( 2 - 4 ) - i 加权e u c l i d e a n 距离考虑了不同分量的重要性，在基于内容的图像检索系统中各 类特征的重要程度一般是不同的，所以这种距离的应用范围较广 m a h a l a n o b i s 距离： d ( x ，】，) = ( 一m ) a i ，q - y j ) ，a l ，a ( 2 - 5 ) t = 0j 却 其中a 矩阵是相应的协方差矩阵。 2 3 2 相关计算 相关计算是计算两个特征矢量之间的相关性，相关值越大，说明越相似。下面是 一些常用的相关计算方法。 余弦相关： 一 c