（信号与信息处理专业论文）基于中心区域双向匹配的图像检索技术研究.pdf

目录 中文摘要。i a b s t r a c t i i 第一章 绪论1 1 1 课题的研究背景及意义1 1 2 国内外的研究现状。2 1 3 基于内容的图像检索系统的发展趋势4 1 4 基于内容的图像检索系统的应用前景4 1 5 本文的研究内容和章节安排5 第二章基于内容的图像检索相关技术7 2 1 基于内容的图像检索技术的系统框架7 2 2 图像特征的提取技术8 2 2 1 颜色特征。8 2 2 2 形状特征。9 2 2 3 纹理特征9 2 2 4 空间关系特征o 9 2 3 相似性度量方法lo 2 4c b i r 系统检索性能评价标准。1 2 2 5 本章小节1 4 第三章基于边缘区域颜色特征优先筛选的图像检索方法1 5 3 1 颜色模型15 3 1 1r g b 颜色空间15 3 1 2h s v 颜色空间1 6 3 1 3h s i 颜色模型。17 3 2 颜色特征的提取18 3 2 1 颜色直方图18 3 2 2 颜色矩：1 9 3 2 3 颜色集19 3 2 4 颜色熵19 3 2 5 颜色聚合向量2 0 3 2 6 颜色相关图2 0 3 3 本文颜色模型的选择2 0 3 4 传统直方图法和固定分块直方图法。2 2 弘洲2 帆mlm 98 垂至1y 尹 3 4 1 全局颜色直方图的优缺点2 2 3 4 2 固定分块提取颜色直方图法的优缺点2 2 3 5 基于边缘区域颜色特征优先筛选的图像检索方法2 3 3 5 1 本文思路的提出及算法改进2 3 3 5 2 本文的方法及流程。2 5 3 5 3 本文的参数选择以及图像的处理2 7 3 5 4 颜色特征的提取一2 9 3 5 5 颜色特征的相似性度量。2 9 3 5 6 实验与结论3 0 3 6 本章小结3 3 第四章基于中心区域双向匹配的图像检索技术研究3 4 4 1 思路的提出及算法改进3 4 4 2 基于颜色特征的图像中心区域双向匹配的图像检索技术3 4 4 2 1 详细方法与流程3 4 4 2 2 参数选择与图像的初步处理3 7 4 2 3 特征提取3 7 4 2 4 相似性度量3 8 4 3 综合颜色特征和纹理特征的图像中心区域双向匹配的图像检索技术3 8 4 - 3 1 灰度共生矩阵提取纹理特征的方法3 9 4 3 2 对基于颜色特征的图像中心区域双向匹配的图像检索技术的改变4 0 4 3 3 特征提取及相似性度量4 1 4 4 实验与分析4 2 4 5 本章小结4 4 第五章图像检索系统的设计4 6 5 1 系统的开发环境和工具4 6 5 2 系统设计流程图4 6 5 3 系统的主要功能界面。4 8 5 4 本章小结5 4 第六章总结及展望。5 5 参考文献5 6 攻读硕士学位期间发表的论文。6 0 j $ 【谢61 中文摘要 近年来，伴随计算机科学技术和多媒体技术的快速发展，互联网和各种数字 化设备的也变得越来越普及，使得全世界的各类多媒体信息正急速的增长和传 输。图像作为多媒体信息中的一种，因为其内容丰富多彩、表现直观，备受人 们的青睐。因此如何有效地组织、管理和充分的利用图像信息库的资源一直是 国内外科学研究工作者关注的问题。图像检索技术就是在这种背景下产生的新 兴研究领域。本文在图像检索方面的主要工作如下： ( 1 ) 在颜色特征图像检索中，主要研究了颜色空间的选择量化方法和几种常 用的颜色特征提取方法，提出了基于边缘区域颜色特征优先筛选的图像检索方 法，通过对图像边缘区域和中心区域固定分块后，先通过边缘区域颜色特征的 相似性度量对图像数据库进行初步筛选，再比较图像中心区域的颜色特征，最 终获得检索结果。并对传统统计的直方图法、固定分块直方图法和本文的检索 算法进行实验分析。 ( 2 ) 提出了基于中心区域双向匹配的图像检索方法，这种方法改变普通方法 单向比较的理念，提出了中心区域进行双向的匹配，并分别结合图像颜色特征， 以及图像颜色和纹理特征进行实验分析，进一步验证了多特征综合的方法优于 单一特征的方法。 ( 3 ) 对上述的几种图像检索方法，包含本文提出的两种新的方法，设计了一 套可单机运行的系统，该系统还实现了自由设定参数的功能。通过设定筛选保 留数目等参数进行反馈，在一定程度上改善漏选错选等状况，提高检索效果。 通过检索的实验结果证明了本文提出的检索算法优于传统算法，并且综合多特 征的检索算法优于单一特征的检索算法。 关键词：图像检索，双向匹配，颜色特征，中心区域 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h ec o m p u t e rs c i e n c ea n dm u l t i m e d i at e c h n o l o g y , t h ei n t e r a c ta n dd i g i t a ld e v i c e sa r eb e c o m i n gi n c r e a s i n g l yp o p u l a r , a n da l lk i n d so f m u l t i m e d i ai n f o r m a t i o no ft h ew o r l di sr a p i dg r o w t ha n dt r a n s m i s s i o n a sa m u l t i m e d i am e s s a g e ，i m a g e sa r ef a v o r e db yal o to fp e o p l eo fa l la g e sb e c a u s ei t s r i c hi nc o n t e n ta n dd i r e c tp e r f o r m a n c e t h e r e f o r e ，h o wt oo r g a n i z e ，m a n a g ea n df u l l y u t i l i z et h er e s o u r c e so ft h ei m a g ei n f o r m a t i o nd a t a b a s ee f f e c t i v e l yh a sb e e nac o n c e r n o fd o m e s t i ca n di n t e r n a t i o n a ls c i e n t i f i cr e s e a r c hw o r k e r s i nt h i sc o n t e x ti m a g e r e t r i e v a lt e c h n o l o g yi sp r o d u c e d t h em a i nw o r ko ft h i sp a p e ri sa sf o l l o w s ： ( 1 ) a b o u tt h ec o l o rc h a r a c t e r i s t i c so fi m a g er e t r i e v a l ，t h i sp a p e ri n t r o d u c e ss o m e c h o i c eo fq u a n t i t a t i v em e t h o d si nt h ec o l o rs p a c ea n ds e v e r a lc o m m o n l ym e t h o du s e d t oc o l o rf e a t u r ee x t r a c t i o n , a n dp u t sf o r w a r da l li m a g er e t r i e v a lm e t h o dn a m e da s b a s e do nu s i n gt h ec o l o rc h a r a c t e r i s t i c se x t r a c t e di ni m a g ee d g ea r e at op r i o r i t y s c r e e n i n gi nc b i r 。a f t e rb l o c kt h ei m a g ei n t ot h ee d g er e g i o na n dt h ec e n t r a lr e g i o n , d os i m i l a r i t ym e a s u r eu s i n gc o l o rf e a t u r e so ft h ei m a g ee d g er e g i o nt os c r e e n i n gi n t h ei m a g ed a t a b a s e ，a n dt h e nc o m p a r et h ec o l o rf e a t u r e so ft h ec e n t r a la r e a sb e t w e e n t h er e t r i e v a li m a g ea n dt h ei m a g e sk e 印i nt h ei m a g ed a t a b a s e ，u l t i m a t e l y , o b t a i nt h e s e a r c hr e s u l t s d oe x p e r i m e n t sa n da n a l y z et ot h em e t h o d so ft h et r a d i t i o n a ls t a t i s t i c s h i s t o g r a m ，f i x e d b l o c kh i s t o g r a mm e t h o da n dt h er e t r i e v a la l g o r i t h m so ft h i sp a p e r ( 2 ) p u tf o r w a r dt h em e t h o do fb a s e do nt h er e s e a r c ho ft w o w a yd y n a m i c m a t c h i n gt ot h ec e n t r a la r e ai nc b m , w h i c hc h a n g e st h eg e n e r a lc o n c e p to fo n e - w a y c o m p a r i n gi n t ot w o w a ym a t c h i n gt ot h ec e n t r a lr e g i o n , a n da l s od oe x p e r i m e n t sa n d a n a l y z ec o m b i n e dw i t hi m a g e c o l o rf e a t u r e s ，a n dt h e n 诵t l lc o l o rf e a t u r e sa n dt e x t u r e f e a t u r e sa 1 1 ( 3 ) b ys y n t h e s i z i n gt h e s em e t h o d si nc b i r , i n c l u d et h et w on e wm e t h o do ft h i s p a p e r , w ed e s i g n e ds t a n d a l o n eo p e r a t i o ns o f t w a r e t h i ss y s t e mc a ns e ta f e e d b a c k b ys e t t i n gt h ep a r a m e t e r s ，s u c ha ss c r e e n i n gr e s e r v e sp a r a m e t e r s t oa c e r t a i ne x t e n t , i tc a ni m p r o v et h el e a kc h o o s ea n dw r o n gc h o o s ee t c a n dt h e ni m p r o v er e t r i e v a l r e s u l t s t h r o u g ht h ee x p e r i m e n tr e s u l t si tp r o v e st h a tt h er e t r i e v a la l g o r i t h mp r o p o s e d i n t h i s p a p e r i sb e t t e rt h a nt h et r a d i t i o n a l a l g o r i t h m , a n dm o r e f e a t u r e s c o m p r e h e n s i v er e t r i e v a la l g o r i t h mi ss u p e r i o rt os i n g l ef e a t u r er e t r i e v a la l g o r i t h m k e y w o r d ：i m a g er e t r i e v a l ；t w o w a ym a t c h i n g ；c o l o rf e a t u r e ；c e n t r a la r e a i i 。， 第一章绪论 第一章绪论 1 1 课题的研究背景及意义 伴随计算机科学和多媒体技术近年来的快速发展，互联网和各种数字化设备也变得越 来越普及，使得世界范围内的多媒体信息急速的增长和传输。图像作为多媒体信息中的一 种，因为其内容丰富多彩、表现感觉直观，备受人们的青睐。各行各业中图像的应用也变 得日益的广泛和越发的重要，例如人们收听的天气预报需要红外云图和卫星云图的帮助； 诊断病情时需要医生针对医疗图像进行研究；即便是现在流行的网上购物，商铺也是用图 像的方式来向客户展示商品。当前人们面临的问题是在浩如烟海的图像信息中挑选出自己 所需要的内容。因此如何有效地组织、管理和充分的利用图像信息库的资源一直是国内外 科学研究工作者关注的问题。图像检索技术就是在这种背景下产生的新兴研究领域i l l 。 2 0 世纪7 0 年代末，基于文本的图像检索( t e x t - b a s e di m a g er e t r i e v a l ，简称t b i r ) 1 2 1 ， 主要是通过对图像进行手工注解，利用文本检索实现对图像特征的查找。它不对图像内容 进行可视化的分析，而是从图像的各种资料着手，比如名称、作者、尺寸、年代等几个方 面来标注图像。检索图像时一般通过对查询的关键字和图像数据库中存储的描述进行匹配 来实现。t b i r 技术符合人的检索习惯，它充分利用了已有的成熟的文本检索技术，结合 现存的网络搜索引擎，实现起来也比较简单。但是，到二十世纪九十年代初，随着图像数 据库种类越来越繁杂、规模越来越庞大，这种完全依赖文本的图像检索技术存在的不足就 开始显现出来1 3 1 。因为t b i r 技术处理图像数据库的过程很复杂，需要对数据库中每一幅图 像提前进行归纳和注释，最后的检索匹配的依据就是这些人工主观注释的信息。但随着网 络迅速普及和发展，网络图片的数据量越来越庞大，图片共享和传输也变得广泛，于是新 的问题就诞生了：第一，每幅图像的注释都需要人工，耗费大量劳动力【5 】；其次，由于图 像注释基于人的主观感受，当图像中包含不同对象的时候，不同的人的关注点就会有差别。 因此，采用人工注释的方法很难精确的表达图像内容。同时，图像内部的几种细微特征， 比如颜色特征、纹理特征和形状特征等，通常很难通过注释来详细标明，检索过程自然就 会出现一些误差。最后，随着网络技术的发展，资源共享和传输也越发的国际化，而民族 的多样性和风俗习惯以及文化背景的差异性，使得很难规定一种语言进行充分而详尽的文 本注释，以满足全世界人们的需求。 丙此，二十世纪九十年代初，出现了结合图像内部视觉特征的基于内容的图像检索 ( c o n t e n t - b a s e di m a g er e t r i e v a l ，简称c b i r ) 1 4 。它融合了图像处理、模式识别、数据库 管理、计算机视觉等多种技术。图像的视觉内容主要分为三层，首先是从图像视觉内容中 提取的特征描述符；然后基于特征描述符，从图像内容中推算出的逻辑特征：最后是从图 像内容中抽象表达图像的高级语义特征 6 1 。目前基于内容图像检索的关键主要是图像的视 觉特征，即图像的颜色、形状、纹理和空间关系等特征。在检索中用户提交待检索的图像， 按一定的方法提取其等特征，通过与图像数据库中的特征注释进行相似性对比，依据特征 ， 南京信息丁程人学硕上学位论文 相似度，按从d , n 人顺序，给出图像检索结果。由上可知，在基于内容的图像检索中，图 像视觉特征的提取，图像特征索引库的建立以及相似性度量方法是关键的三个部分。 基于内容的图像检索技术的主要特点有p 】： ( 1 ) 基于内容的图像检索技术突破了传统的基于文本检索的局限，从图像内容中提取信 息线索。利用图像的内容特征进行注释并索引从而检索图像。使得检索的过程更加有效， 适应性更强。 ( 2 ) 基于内容的图像检索技术是一种近似匹配技术。图像内容相同或相似，但表现方式 会可能存在差异，比如远景和近景等。图像的内容也比较丰富多彩，相互的关联性比较强。 ( 3 ) 基于内容的图像检索技术快速的实现对图像信息的检索。在实际的多媒体数据库 中，不仅数据量巨大，而且种类繁多。使用c b i r 能更快捷有效。 ( 4 ) 基于内容的图像检索技术以相关的反馈为有效的手段。当用户提供待检索图像时， 其意识中已经有了相似性的判别标准。因此，通过对检索结果的信息反馈，能有效的提高 检索的准确率。 1 2 国内外的研究现状 鉴于基于内容的图像检索系统的重要性、有效性和优越性，近年来国内外已纷纷投入 人力物力广泛的开展了研究并已研制成一些系统。其中既有商业的应用软件，也有各研究 机构研制的演示软件。大多数软件都支持下列中一个或多个选项p 】： 便于随机浏览图像 通过示例图像查询 通过简单图像杏询 通过文本查询( 包括关键字和语音) 图像分类导航 如下为一些具有代表性的c b i r 系统： l 、q b i c l 6 - s l q b i c ( q u e r yb yi m a g ec o n t e n t ) 是i b m 公司九十年代开发制作的第一个基于内容的 商业化的图像检索系统。q b i c 系统提供了多种的检索方式，包括：利用标准示例图像( 系 统提供) 检索，用户绘制的简单图像或者扫描输入的图像进行检索，选择色彩或结构查询 方式，用户输入动态影像片段和前景中运动的对象检索。在用户输入图像时，q b i c 对输 入的待检索图像进行颜色、形状、纹理等特征的分析和提取，然后根据用户选择的查询模 式和方法分别进行不同的处理和检索。它的系统结构包括图像入库、特征计算、查询阶段。 q b i c 中使用的颜色特征有平均( r q b ) 、( y i ，q ) 、( l ，a b ) 和m t m 坐标及k 个元素的颜 色直方图等：它的纹理特征是根据t a m u r a 提出的纹理表示的一种改进，即粗糙度、对比 度和方向性的结合；使用的形状特征包括圆形度、偏心度、主轴偏向和一组代数矩不变量。 q b i c 还是少数几个考虑了高维特征索引的系统之一，采用r 树作为索引结构。q b i c 除了 上面的基于图像内容特征的检索，在新系统中，基于文本的关键字查询和基于内容的图像 检索结合在一起。目前，q b i c 已发展到视频与音频的检索。 2 第一章绪论 2 、v i r a g e 【9 】 v i r a g e 是由v r a g e 公司开发的基于内容的图像检索系统。与q b i c 相似，支持基于颜 色、颜色布局、纹理和形状的可视化样图查询。y i r a g e 比q b i c 更进一步，支持上述四种 查询的任意组合，用户可以根据自己的查询需求调整各个特征的权重。v i r a g e 技术的关键 是v i r a g ee n g i n e 以及在图像层上的操作。v i r a g ee n g i n e 的功能主要有三方面：图像分析、 图像比较和图像管理。它将查询引擎作为插件使用，既可让其应用到通用的图像查询中， 也可对其进行引中并应用到特定的方向上。 3 、p h o t o b 0 0 k 1 1 o 】 p h o t o b o o k 由m i t 多媒体实验室开发的用于浏览和搜索图像的一套交互式工具。 p h o t o b o o k 包括3 个子部分，分别用来提取形状、纹理和面部外形三种特征。用户可以在每 个子部分中按照队医的特征进行查询。在p h o t o b o o k 的最近的扩展版本f o u r e y e s 中，考虑 到没有任一种的特征可以单独的描述一组任意的图像集，提出了一个基于统计学习的“模型 集”( s o c i e t yo fm o d e l s ) 的概念，提出了基于用户所提供的图像进行特征的交互性学习的方 法。试验证明该方法在图像的交互式注释中很有效。 4 、v i s u a l s e e k 1 l j v i s u a l s e e k 是一种基于视觉特性搜索工具，其姊妹系统w e b s e e k 是一种面向w w w 的文本图像搜索工具，两者都是由哥伦比亚大学开发的。其主要的研究工作是图像区域的 空间关系查询和从压缩域中抽取视觉特性。系统所采用的视觉特性是颜色集( c o l o rs e t ) 平l j 基 于小波变换的纹理特性。为了加速检索过程，采用了基于二义树的索引算法。v i s u a i s e e k 支 持基于视觉特征和它们之间空间关系的查询。w 曲s k 1 1 2 】是面向w w w 的搜索工具，包 括三个主要模块：图像视频收集模块、主题分类和索引模块、搜索浏览和检索模块，它支 持基于关键字和视觉内容的查询。 除了以上介绍的c b i r 系统外，比较成功的类似系统还有：u c s ba l e x a n d r i ad i 【西t a l l i b r a r y ( a d l ) 的n e t r a 1 3 l 原型系统，e x c a l i b u r 公司开发的r e t r i e v a lw a r e 基于内容的图像检 索引擎，伊利诺斯大学开发的m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 1 4 l ，u c b e 棚e y 大学的c h a b o t 系统等。 国内对于c b i r 技术的研究开始于二十世纪九十年代后期，同国外研究水平相比，国 内的研究水平还有差距。从目前的研究和应用现状看，国内c b i r 技术的应用分可分为两 大领域：在军用领域主要是航空航天技术以及国防科技技术，而民用领域再主要包括工业 生产、医药卫生、农业生产、机械制造等等。虽然国内对于c b i r 技术的研究起步比较晚， 但依靠国家的大力支持和市场应用急切需求，国内许多的高等院校和科研院所也陆续开始 了对c b i r 技术的探索和研究，并也取得了一些突破和进展，开发了一些可用于实验的检 索软件。较有代表性的系统有南京邮电学院研发的基于纹理和颜色特征的实验系统；浙江 大学的基于图像颜色特征的检索系统p h o t on a v i g a t o r 和基于图像形状特征的检索系统 p h o t oe n g i n e ；中国科学院计算技术研究所和北京图书馆联合开发的“基于特征的多媒体信 息检索系统m i r e s 1 5 l 。这些系统的处理过程都很类似，只是所采用的图像特征和图像的搜 索方法各有特点，性能也互有差异。 3 _ 1 。_ _ _ 南京信息工程人学硕士学位论文 然而，尽管国内从事相关技术研究的高等院校和科研院所较多，由于理论上尚未获得 突破性的新进展，加上资金的限制和软硬件水平，这些开发出来的软件或系统也只能适用 于实验环境或某些特定的场合。 1 3 基于内容的图像检索系统的发展趋势 目前人部分的c b i r 系统尚处于研究和发展实验中，多数系统通常只强调通过图像特 征中的某一方面进行检索，不能够提供令人满意的检索结果，尚不具备很强的实用性。根 据目前c b i r 技术发展概况和国内外的研究热点，可以看出c b i r 的以下几个方面值得 深入探索研列怕j ： ( 1 ) 图像内容特征的提取 如何准确而有效地提取图像特征，并且从中推理得到相应的语义信息是c b i r 检索的 关键和核心。特征提取的差异程度将会直接影响图像检索的效果。 ( 2 ) 多特征综合 一幅图像一般具有颜色、纹理、形状和空间位置等多种特征，即使同一特征的提取和 表示方法，也有很多途径。例如纹理特征，可以用统计方法、几何法、模型法、信号处理 法等不同方法来提取，表示方法也各有不同。图像特征的不同，统一特征表示方法的不同， 使得如何使用这些特征，综合组织这些特征，使系统能调用合成的特征来检索查询，满足 用户的查询要求，是一个需要深度探索的问题。 ( 3 ) 基于区域的图像检索方法 为了标明图像的主要内容，在检索中经常使用分割等技术对图像进行一定区域的划分， 并对每个区域使用局部特征来描述，综合每个区域的局部特征可得到图像的整体特征描述， 再进行相似性比较和匹配。 ( 4 ) 高维数特征索引技术 由于图像的内容特征非常复杂，检索中提取的图像特征维数越高，越能清晰的描述图 像内容，检索的准确率也会跟着提高。但同时会增加统计量与计算复杂度，进而直接影响 检索时间。随着大型的图像库的迅速增长，这个问题会更加突出。这就迫切需要研究新的 或更深层次的索引和算法，以便支持大型图像库的检索。 1 4 基于内容的图像检索系统的应用前景 由于c b i r 的出现，其应用非常广泛，在知识产权保护、医疗和遥感图像的分析和处 理等方面具有广阔的应用前景。具体内容如下所述【5 】： 1 知识产权保护1 1 7 】 科技的高速发展使得人们越来越重视知识产权的保护问题。许多知识产权，如商标和 艺术作品，载体就是图像。商标知识产权主要体现在专用的图形标记和专用的文字描述两 个方面。为了防止侵权，需要通过严格的商标审查程序来确定新申请的商标是否与已注册 的某商标过分类似。专用文字描述的审查可以通过字符串匹配或变换算法等实现。毫无疑 问，利用基于内容的图像检索技术来实现知识产权保护具有非常现实的意义。 2 新一代网上搜索【l 研 4 第一章绪论 网络在人们的日常生活的影响越来越大，网上除了大量文本资源外，还存在着非常丰 富的图像资源。新一代的网上搜索引擎应该具有协助用户，从海量并且无序的网上图像资 源中，寻找到符合要求的图像的能力。除了对图像内容特征的分析外，基于w w w 的图像 搜索引擎还需要提供友好而简便的查询界面和快速且有效的反应能力。 3 遥感和医学图像的分析和处理i 1 9 】1 2 0 l 尽管遥感和医学图像的分析和处理的研究是传统的图像处理很早就开始涉足的领域， 但它们仍是一个开放的研究课题，无论是军事还是民用，遥感和医学图像的分析和处理都 具有非常重大的现实意义。特别当图像数量增加时，准确的图像分析手段以及有效的图像 检索技术的重要性将进一步凸显。 4 犯罪和安全预防1 2 1 1 在基于内容的图像检索技术应用研究中，当将图像内容限制在特定的领域时，其处理 和检索将更为具体。例如，安全监察部门可以将人的某些特定特征( 如人脸和指纹) 的图 像存储在图像数据库中，通过人脸识别和指纹识别就有可能从庞人的图像数据库中自动识 别出特定的目标。毫无疑问，这会产生巨大的社会影响，同时也具有重大的社会价值。 另一方面，互联网传输速度的急速发展也带来一些负面的效果，比如网上大量增加的 不健康的内容，尤其是一些低级趣味的图片。为了青少年的健康成长，监察部门需要对这 些信息进行查处。基于内容的图像检索技术完全可以应用到类似的应用中。 除此以外，基于内容的图像检索技术还可以应用到远程教育、个人相册管理以及设计 ( 时装、装潢和结构) 等。 1 5 本文的研究内容和章节安排 本文首先介绍了本课题的研究背景及意义，基于内容的图像检索技术的产生原因和发 展过程。同时介绍了几种具有代表性的基于内容的图像检索系统。并详细描述了c b i r 技 术的发展趋势，以及应用前景。在本文中，对颜色特征和纹理特征的检索算法分别进行了 较为深入的分析研究，并针对已有算法的不足，进行了改进的颜色和纹理检索算法，并对 两种算法进行融合，实现了综合颜色特征和纹理特征的图像检索系统。本文主要研究内容 如下： ( 1 ) 在颜色特征图像检索中，主要研究了颜色空间的选择量化方法和几种常用的颜色特 征提取方法。综合以上，提出了基于边缘区域颜色特征优先筛选的图像检索方法。对传统 统计直方图方法、固定分块的方法和本文的检索算法进行检索实验。实验结果表明：传统 的直方图方法由于不能清晰表明图像的空间信息，检索效果不理想：对改进的固定分块的 方法虽然在一定程度上提高了检索效果，但对图像的主要内容和主要描述对象没有很好的 注解：本文所提出的算法在一定程度上改进了上述缺点，在突出图像主要内容所在区域的 同时，加强图像边缘区域在检索中的作用，在实验中获得了更高的查准率。 ( 2 ) 提出了基于中心区域双向匹配的图像检索方法，这种方法改变普通方法单向比较 的理念，提出了中心区域进行双向的匹配，并分别结合图像颜色特征，以及图像颜色和纹 理特征进行实验分析，进一步验证了多特征综合的方法优于单一特征的方法。 5 南京信息t 程大学硕j ：学位论文 ( 3 ) 对图像边缘和中心区域分块提取颜色特征并分次比较的方法和图像中心区域双向 数可自 合多特 特点， 应用前 系统的 和表示 关反馈 方法和 缘区域 的实验 的系统 第二章基于内容的图像检索相关技术 第二章基于内容的图像检索相关技术 在基于内容的图像检索系统中，一个完整的查询过程应该包括：首先对图像数据库中 图像分别提取相关特征并建立对应的特征库，然后对需检索的图像使用同样的方法提取特 征，通过一定的算法计算比较这些特征之间的距离来判定两幅图像的相似度，最后按相似 度由大到小对库中图像进行筛选并显示出来。从上述的检索步骤可以看出，其相关的技术 包括：图像特征的提取与表达，相似性度量计算方法1 2 2 j ，相关的反馈技术、系统的性能评 价准则等。下问将对以上这些技术做出简要介绍和分析。 2 1 基于内容的图像检索技术的系统框架 目前对于基于内容的图像检索系统的设计来说，还没有统一的标准。从其基本应用功 能，它是一个连接图像数据库的图像检索引擎，该系统中包括多个子系统，如特征提取、 图像比较等。其一般的框架结构流程图如图2 1 所示p j ： 图2 1 基于内容的图像检索系统的体系结构 在上述系统中，用户通过检索接口输入待检索的图像，将图像与图像数据库中图像做 同一方法处理，提取特征，并进行特征的相似性比较，得到检索结果。在此以后，用户或 系统在对检索结果进行分析后，可以通过相关反馈机制，改变特征提取或相似性比较的环 节，进行检索方法的优化。 此结构流程可划分为五大模块：用户检索模块、特征提取模块、相似匹配模块、检索 结果显示模块和相关反馈模块。下面对以上模块的主要功能做概括介绍1 2 2 l ： ( 1 ) 用户检索模块 7 南京信息工程人学硕士学位论文 用户检索模块的主要功能是向用户提供一个的查询界面，用户可以按照需要选择适合 方式来完成图像检索。同时，用户检索模块还可以对用户提交的待查询图像进行一些预处 理操作，比如图像的格式转换、尺度的统一、噪声滤除、颜色空间转换、灰度处理等处理， 为后续的图像特征的提取做准备。 ( 2 ) 特征提取模块 系统特征提取模块的主要功能是对图像数据库中的图像以及用户提交的待检索图像进 行特征提取，用来进行后续的相似匹配。对图像数据库中的图像提取的特征进行对应的存 储在特征数据库中。图像特征是整幅图像的，也可以是图像中某个子区域的。在特征提取 方面，目前的算法种类很多，针对图像特点等选择某一合适而有效的算法，对基于内容的 图像检索系统的检索结果和性能影响很大。 ( 3 ) 相似匹配模块 系统中相似匹配模块的主要功能是基于所选择的一种相似性度量方法来计算图像之间 特征向量的距离，表达图像之间的相似程度，并按相似程度从图像数据库中检索出与用户 提交的待检索图像相近或相似的图像。 ( 4 ) 检索结果显示模块 检索结果显示模块的主要功能是把检索结果以一定方式返同，通常会将检索中满足条 件的图像显示给用户，同时，还可以将检索结果返回给相关反馈模块，进一步优化检索方 法，以期待更佳的检索结果。 ( 5 ) 相关反馈模块 相关反馈模块的主要目的是为了优化检索的方法，并方便用户对检索的结果进行评价 和标记。通过评价和标记，系统再动态地学习和利用这些反馈信息，以便更好的针对用户 的信息需求，进行检索方法的修正，从而检索出更加符合用户需求的图像。 2 2 图像特征的提取技术 特征提取是c b i r 技术研究的核心内容和关键部分，大量的研究工作都是基于这个主 题开展的。黄祥林等将图像内容理解表示为一个简单的三层模型【2 3 l ：第一层是图像信息的 低层特征，如色彩、形状和纹理等；第二层是描述逻辑语义的，通常反映了图像所描述的 对象的标识以及空间关系等；第三层是图像内容的语义描述特征，即与人类的认知领域相 关联的图像内容，也被称为图像的高层信息。由于图像内容千变万化，并且图像内部除颜 色特征外，还可提取出诸如纹理特征和形状特征等1 2 4 1 ，通常使用单一特征难以完整的描述 图像内容，较为先进的方法是提取图像的高层语义特征，但提取高层语义特征比较困难， 因此，最为常用的方法就是采取多特征综合的方法来进行检索。 2 2 1 颜色特征 一幅图像给人的最直观的感觉就是其颜色信息2 5 】【2 们，因此图像的颜色特征是图像检索 中应用的最多的特征之一【2 7 3 1 】。颜色特征被广泛使用的原因还与其具有先天优点有关，颜 色特征具有对于噪声干扰、图像缩放、图像旋转有很好的鲁棒性，并且颜色特征的提取简 单，表达直观。图像颜色信息的分布一定程度上表现了图像的内容，利用图像丰富的颜色 g 第二章基于内容的图像检索相关技术 信息可以对检索提供了很重要的帮助。对图像颜色特征的提取和表达有很多种方法，常用 的主要有颜色直方图【3 2 1 、颜色矩吲、颜色集3 4 1 、颜色熵1 3 s 】、颜色聚合向量3 6 1 和颜色相关图 3 7 】等。 2 2 2 形状特征 形状特征是描述物体的基本特征之一，是人类利用视觉系统辨认物体时所使用的一种 关键信息。虽然形状特征是物体的一个如此重要的特征，但对目标形状的描述是一个非常 困难且复杂的问题，至今尚未找到形状的精确的数学定义。因此基于形状特征的图像检索 技术是一个难题，这主要是因为形状特征的提取效果会受到图像分割的影响，而图像分割 技术还不完善。 视角不同，图像中目标的形状就会不同，从中提取的形状特征可能有很人差异。为准 确进行形状特征提取，需要解决图像目标的尺度、平移、旋转不变性等问题。使用形状特 征描述图像来实现图像检索系统关键在于形状特征的表示。一般情况下，形状特征的表示 方法有两类，一类是区域特征表示方法，另一类是边界特征表示方法 3 8 , 3 9 】。前者利用的是 形状的整个区域，后者利用的是形状的外边界。基于区域的描述方法一般有h u 不变矩 4 0 j 、 g e n e c f i 傅立叶变换等。常用的基于边界的描述方法一般有简单的几何特征、小波描绘子、 f o u r i e r 描绘子j 、统计矩等。 2 2 3 纹理特征 纹理特征是描述图像内容的另一个重要的视觉特征，它是一种不依赖于平均灰度级( 亮 度) 的反映图像中的同质现象的可视化的特征，它能反映基于宏观意义灰度变化的某些规 律。例如：云彩、土地、树木等事物都有各自明显且独有的纹理特征。从人类的视觉感知 经验判断，纹理特征主要可以反映物体的颗粒度、规范性、粗糙度、光滑性和随机性等信 息，这也是用于图像检索的主要信息特征。同时，基于纹理特征的图像检索技术与纹理分 类技术关系密切。纹理分类就是通过图像处理技术提取出图像的纹理特征，研究这些纹理 在图像中反复出现的模式和它们的排列方式，获得对纹理的描述，进而对图像内容或物体 进行正确的分类。纹理特征作为图像检索应用的特征的一种，一般应用于图像内容比较丰 富、背景和物体不易分割的情况。纹理特征的提取方法主要有基于灰度共生矩阵提取纹理 特征法【4 2 1 、t a m u r a 纹理特征1 4 3 1 、s a r 纹理特征以及基于g a b o r 小波变换的纹理特征。 2 2 4 空间关系特征 图像中目标所处的位置或目标之间的空间对应关系是图像检索中非常关键的特征。上 述的颜色、形状和纹理等特征反映的都是图像的基于整体的全局特征，无法准确体现图像 中包含的物体或对象。对包含多目标的图像而言，目标之间的空间对应关系是一种描述图 像信息的基本特征。基于空间关系特征的图像检索技术正好可以解决这一问题。基于空间 关系的图像检索是以图像中目标对象的位置或空间对应关系作为检索的要点。由于利用图 像目标间的空间对应关系来区别图像本质上符合人们认识图像的习惯，并且空间关系特征 与其它的视觉特征综合比较易，便于实现多特征综合的图像检索系统。很多的研究人员从 图像中目标空间对应关系着手，开始对基于空间关系特征的图像检索技术进行研究。 9 南京信息工程人学硕士学位论文 将图像的空间关系特征转换成为图像之间相似性的定量表述较为困难，所以目前主要 采用定性的方法。描述物体间的空间对应关系通常可以分为两类：为了提取图像的空间关 系特征，人们提出了很多种方法，主要分为两种【4 4 l ：一种是对图像进行分割并对目标进行 识别的方法。通过图像分割的算法，将图像划分成包含不同目标的几个区域，然后依据这 些区域的特征对图像进行索引。另一类方法则简单地将图像均匀划分为若干个规则的区域， 对每个图像区域分别提取特征并建立索引。均匀分块的方法从理论上来说相对比较简单， 但这种均匀分块通常并不能精确的表达图像局部色彩的信息，而且计算和存储的开销都比 较大。因此，在实际应用中，这类方法提取的空间关系特征通常是和其它特征相结合来进 行基于内容的图像检索系统的构建。 2 3 相似性度量方法 当颜色、形状和纹理等图像特征被提取出来并建立特征数据库以后，图像检索的关键 就是采用何种相似性度量方法来进行相似性匹配。与常见的基于