（信号与信息处理专业论文）综合圆环区域累积直方图和共生矩阵的图像检索技术.pdf

摘要 随着多媒体和互联网技术的迅猛发展，人们对图像信息的需求越来越多，基于内容 的图像检索技术随之诞生并发展起来。颜色和纹理特征在基于内容图像检索中有着广泛 应用，因此本文重点研究了颜色和纹理特征的检索算法，并针对已有算法的不足提出了 新的改进算法。 本文的主要研究工作如下： ( 1 ) 基于颜色特征的检索中，本文提出圆环区域划分提取累积直方图算法。对图像 进行新的圆环区域划分，然后在各区域中提取图像特征，使提取的颜色特征融入了图像 的空间关系信息，并消除固定分块法对图像旋转、尺度变换等比较敏感的缺点。提取图 像的累积直方图能有效避免零值问题的出现。本文采用欧氏距离法度量颜色特征的相似 距离，较完整地突出了代表图像重要内容的区域。 ( 2 ) 基于纹理特征的检索中，本文提出了融合t a m u r a 特征的改进灰度共生矩阵法。 在改进的共生矩阵法中，采用统计相邻像素的灰度差值概率来代替相邻像素的联合概 率，并在更全面的方向统计灰度差值，且相邻像素间距统一取较小值，以便提取更丰富 细致的纹理信息。通过与t a m u r a 纹理特征融合，使最终提取的纹理特征更符合人眼对 纹理图案的感知。本文采用比值法度量纹理特征的相似距离。 ( 3 ) 针对单一特征的检索效果不稳定的缺点，本文对( 1 ) 中的颜色算法和( 2 ) 中的纹理 算法进行融合，提出了综合圆环区域累积直方图和共牛矩阵的图像检索方法。 ( 4 ) 设计一个实现以上几种算法的图像检索系统。实验结果表明：本文提出的颜色 算法和纹理算法相比传统算法检索的查准率更高；而综合颜色和纹理特征算法的检索结 果更优于单一特征算法。 关键词：图像检索，圆环划分，累积直方图，灰度共生矩阵 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ya n di n t e r n c ta n dt h ei n c r e a s i n g r e q u i r e m e n tf o ri m a g ei n f o r m a t i o n ，t h ec o n t e n t - b a s e di m a g er e t r i e v a la r ee m e r g i n ga n d d e v e l o p i n g c o l o ra n dt e x t u r e f e a t u r e so fv i s u a lc h a r a c t e r i s t i c s a r e w i d e l yu s e d i n c o n t e n t b a s e di m a g er e t r i e v a l t h e r e f o r e , as t u d yh a sb e e nm a d ei nt h i sp a p e ro nc o l o ra n d t e x t u r em e t h o da n dar e t r i e v a lm e t h o da i m i n ga tt h es h o r t c o m i n g so ft h ee x i s t i n gm e t h o d si s p r o p o s e db a s e do nt h ec o l o ra n dt e x t u r ef e a t u r e s t h em a i nr e s e a r c hw o r ka n dc o n t r i b u t i o n so ft h i st h e s i sa r cl i s t e da sf o l l o w s ( 1 ) ac o l o r - f e a t u r e - b a s e dr e t r i e v a lm e t h o du s i n gr i n gs e g m e n t a t i o ni sp r o p o s e d f i r s t l y , t h ei m a g ei sp a r t i t i o n e di n t or i n ga r e a s t h e n ，t h ec o l o rc h a r a c t e r i s t i c sa r ee x t r a c t e df r o mt h e s e g m e n t e dr i n ga r e a st ob ef u s e dw i t hi m a g es p a c ei n f o r m a t i o n ，t h u sa v o i d i n gt h es e n s i t i v i t y t oi m a g er o t a t i n ga n ds i z ec h a n g i n g ，e t c w h e nu s i n gt h ef i x e db l o c ks e g m e n t a t i o nm e t h o d f i n a l l y , t h ea c c u m u l a t i v eh i s t o g r a mi se x t r a c t e dt oe f f e c t i v e l ya v o i dt h ez e r ov a l u e sf l a w i nt h i sp a p e r , t h ee u c l i d e a nd i s t a n c ea r i t h m e t i ci se m p l o y e di nm e a s u r i n gt h es i m i l a r i t yo fc o l o rf e a t u r e s ， w h i c hh i g h l i g h t st h ea r e a so f r e p r e s e n t i n gt h ei m p o r t a n tc o n t e n to ft h ei m a g e ( 2 ) at e x t u r e - f e a t u r e - b a s e dr e t r i e v a lm e t h o di sp r o p o s e di nt h i sp a p e r , w h i c hp r e s e n t sa n i m p r o v e dg r a yl e v e lc o o c c u r r e n c em a t r i xf u s e dw i t ht a m u r af e a t u r e s f i r s t l y , t h ep r o p o s e d a l g o r i t h mc o u n t st h ep r o b a b i l i t yd e n s i t yo fg r a yd i f f e r e n c eb e t w e e n t w on e i g h b o r i n gp i x e l s i n s t e a do ft h ej o i n tp r o b a b i l i t yd e n s i t y i na d d i t i o n ，t h es t a t i s t i c so ft h eg r a yd i f f e r e n c ev a l u ei s t a k e ni nm o r ed i r e c t i o n sa r o u n dt h ep i x e lp o i n t ，a n das m a l l e rv a l u eo ft h ed i s t a n c eb e t w e e n t w on e i g h b o r i n gp i x e l st oe x t r a c tt h et e x t u r ei n f o r m a t i o nw i t hm o r ed e t a i l s f i n a l l y , v i a c o m b i n i n gs o m et a m u r at e x t u r ef e a t u r e s ，t h eu l t i m a t e l ye x t r a c t e dt e x t u r ef e a t u r e sa r em o r e c o n s i s t e n tw i t ht h eh u m a ne y ep e r c e p t i o n i nt h i sp a p e r , t h er a t i om e t h o da r i t h m e t i ci su t i l i z e d t om e a s u r et h es i m i l a r i t yd i s t a n c eo ft e x t u r ef e a t u r e s ( 3 ) d u et ot h eu n s t a b l yr e t r i e v a lr e s u l to ft h er e t r i e v a ls y s t e mw i t has i n g l ef e a t u r e ，a r e t r i e v a lm e t h o dc o m b i n i n gt h ea c c u m u l a t i v eh i s t o g r a mo fr i n gr e g i o na n dg r a yl e v e l c o o c c u r r e n c em a t r i xi sp r o p o s e dt h r o u g hn o r m a l i z i n gt h ec o l o ra n dt e x t u r ef e a t u r e s ( 4 ) t h er e t r i e v a ls y s t e mi sd e s i g n e df o rp e r f o r m i n gt h ep r o p o s e da l g o r i t h m sa b o v e i nt h i s p a p e r t h ee x p e r i m e n t a lr e s u l t sh a v es h o w nt h a tt h er e t r i e v a lp r e c i s i o no ft h ep r o p o s e d c o l o r - f e a t u r e - b a s e dm e t h o da n dt h ep r o p o s e dt e x t u r e - f e a t u r e - b a s e dm e t h o do u t p e r f o r mt h e f i x e db l o c km e t h o da n dt h et r a d i t i o n a lc o o c c u r r c l l c em a t r i x m e t h o d ，r e s p e c t i v e l y f u r t h e r m o r e ，t h er e t r i e v a lr e s u l t su s i n gt h ep r o p o s e dc o m b i n a t i o nc o l o ra n dt e x t u r ef e a t u r e s m e t h o da l em o r ep r e c i s et h a nt h es i n g l ef e a t u r em e t h o d k e y w o r d s ：i m a g er e t r i e v a l ，r i n gs e g m e n t a t i o n ，a c c u m u l a t i v eh i s t o g r a m ，g r a yl e v e l c o o c c u r r e n c em a t r i x 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许 论文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论 文收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名： 覃塑指导教师签名：j 叠艳 加。年钐月行日声卜年多月f 1 日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 本论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西 北大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的 同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 ：此 思。 学位论文作者签名：l 希煎 2 口p 年莎月i 穸日 西北大学硕上学位论文 1 1 课题的研究背景和意义 第一章绪论 随着信息时代的到来，信息多元化程度加深，人们不再满足于单一的文本交流。多 媒体技术的出现，使得信息的表达方式更牛动、更容易被人们所理解，必将成为信息存 在的丰要方式。在多媒体信息中，图像占据着重要地位，互联网中每天都会产生巨量的 数字图像。图像信息在科技研究、工农业生产、医疗卫生、国防军事、娱乐传媒等方面 都有着广泛的应用【l 】。由于图像信息数据量大、抽象程度低，信息膨胀带来的问题很严 重，因此如何快速、准确的从海量图像数据中查找出用户所需的信息是当前图像应用领 域的一个重要问题，这样就促成了一项技术的诞生图像信息检索【2 1 。 现阶段数字图像是按照文本或关键字的方式管理，具体是通过自然语言标明图像的 标题、作者、创建时间等信息，这个过程通常由人工标注来完成。这种方法对数字图像 处理技术要求不高，操作也较简便。传统的图像检索技术正是利用了图像以文本或关键 字管理的特点，通常使用基于文本的检索( t b i r ，t e x t b a s e di m a g er e t r i e v a l ) 或基于关键 字的检索( k b m ，k e y w o r d s b a s e di m a g er e t r i e v a l ) 。图像数据的管理是对图象赋予属性 信息，并在关系数据库中把这些属性看作格式化的数据，基于文本或关键字的图像检索 就是针对这些属性字符串进行匹配。这种以图像描述符的匹配程度来提供检索结果的方 法，有人形象地称为“字找图”。我们经常使用的百度、g o o g l e 等搜索引擎就是按照这 种方式进行图像检索。 基于文本或关键字检索技术的优点是利用了数字图像的管理特点，检索过程实现简 单、易于理解、检索速度快。但同时也存在如下缺点： ( 1 ) 传统的检索方法，需要花费大量的人力和物力去完成注释性文字的标注。由于数字 图像资源增长迅速，使得人工标注的过程更加困难，已越来越难以满足大型多媒 体信息库的要求。 ( 2 ) 图像中一般蕴藏着丰富的信息，通过人工标注的方法很难完整表达这些信息【3 】。对 于某些内容抽象，含义模糊的图像，人工标注更是无法适应。 ( 3 ) 采用人工标注方法描述图像具有很强的丰观性。图像特征的多维性使得不同人员对 图像的描述多有差异，继而可能对图像的理解产生偏差，而且使用文本和关键字 也很难表达图像内容的空间关系。 第章绪论 由此可知传统的图像检索技术已越来越不能满足人们检索图像的需求。在检索过程 中有必要对图像内容进行深度分析和描述，以提取表达图像根本属性的特征，这样基于 内容的图像检索技术【4 ，5 1 应运而生了。 1 2 基于内容图像检索技术概述 基于内容图像检索( c b i r ，c o n t e n t b a s e di m a g er e t r i e v a l ) 的研究始于2 0 世纪9 0 年 代初，它融合了图像处理、模式识别、计算机视觉，数据库管理等多种技术。图像的内 容主要分为三层，第一层是从图像视觉内容中提取的特征描述符；第二层是从图像内容 中推理出的逻辑特征；第三层是从图像内容中抽象出的高级语义特征【6 】。目前基于内容 图像检索的对象主要是图像的视觉特征【| 7 1 ，即图像的颜色、纹理、形状和空间关系等特 征。检索过程中用户提供待检索图像，并提取其颜色、纹理等特征，通过与数据库中的 特征索引进行相似性度量，根据相似距离由小到大的顺序输出查询结果。因此在基于内 容图像检索中有三个关键技术：图像视觉特征的提取，图像特征索引库的建立以及相似 性度量方法。这种依据特征相似度，给出图像检索结果的方法，有人形象地称为“图找 图 。基于内容的图像检索技术有着广阔的应用前景，可以涉及到社会生活的许多方面， 如商标和知识产权保护、数字图书馆、犯罪的预防与侦破、医疗诊断、文化遗产保护、 地理信息遥感等。 基于内容图像检索方法中，颜色、纹理、形状和空间关系等特征从图像本身提取， 用来表达图像的视觉信息，并不会掺入人的主观态度。由计算机对图像内容进行分析， 并自动提取特征，相比人工标注的方法减少了大量人力与物力的消耗。图像的底层特征 是从各种角度对图像内容进行描述，可以较完整地表达图像的视觉信息。 如果仪用一种特征来表征图像，则对图像内容的描述比较片面，检索中也会因缺少 足够的区分信息而使效果不理想，当图像发生较大变化( 如尺度和方向) 时尤其明显。通 过对国内外图像检索技术的研究表明，单一特征的检索系统通用性差，综合特征的c b i r 系统哺】的检索效果优于单一特征的检索效果。因此为了提高检索性能，实际中常将不同 类型特征结合使用，全面地描述图像内容，这种方法称为综合多特征的图像检索。例如 综合图像的颜色与纹理特征，颜色特征充分表达了图像的色彩组成，侧重于对图像整体 信息的描述；而纹理特征只利用了图像的灰度信息，更偏重于表达图像的局部信息。如 果综合颜色和纹理特征进行检索【9 】，可以达到特征间优势互补的效果。综合多特征的图 像检索可以提高系统的性能和检索的灵活性，可以满足更多的实际应用需要，已经成为 2 西北大学硕上学位论文 基于内容图像检索的主流技术1 们。 1 3 基于内容图像检索的发展现状 1 3 1 基于内容图像检索的研究热点 基于内容图像检索技术从出现至今，一直是一个比较活跃的研究方向。目前的研究 热点主要集中在以下几个方面： ( 1 ) 用户感兴趣区域的特征提取【1 1 】。为了反映图像的主要内容，检索中经常使用分 割技术对图像进行区域划分，并分别提取各区域特征进行相似性匹配。但此方法一直受 精确分割技术瓶颈的影响，检索效果不稳定。近年来对图像感兴趣区域的检索1 2 , 1 3 1 已_ a 成 为c b i r 领域的研究热点，通过对用户感兴趣区域的检索，突出了图像的重要内容，避 免了精确分割的瓶颈，而且融入了用户的检索意图。 ( 2 ) 高维数特征索引。检索中提取图像特征维数越高，越有利于描述图像的内容， 检索的准确率一般也会越高。但同时高维数的特征会增加统计量与计算复杂度【1 4 】，直接 影响检索的响应时间。随着数字图像数量的迅速增长，这个问题会更加突出。因此如何 兼顾检索的准确性与时效性也是当前c b i r 研究中的热点问题。 ( 3 ) 消除语义鸿沟。现阶段基于内容图像检索的主要对象是图像的底层视觉特征， 但这些特征并不能完全表征图像内容与含义，检索中经常会查询出偏离用户意图的图像， 造成语义鸿沟的出现。因此如何将图像的高层语义特征引入到检索中是当前c b i r 研究 中的又一个热点问题，例如在检索中使用相关反馈技术【1 5 , 1 6 1 或直接引入用户的情感语义 d 7 1 竺 1 卞o 1 3 2 基于内容图像检索系统介绍 基于内容的图像检索目前尚处于研究阶段，检索对象以静态图像为主。研究者在图 像视觉信息表达、图像感知模型、特征索引技术和大规模高维数图像处理等方面都进行 了一些有意义的探索，不管在研究领域还是在商业领域，都出现了不少有代表性的图像 检索原型系统。这些系统的出现对基于内容图像检索技术的发展起了很大的推动作用。 现有的基于内容图像检索系统普遍具有如下特点1 8 】： ( 1 ) 外部接口。通过系统的外部接口，用户只需对查询例图、检索算法等做出选择， 由计算机自行完成检索过程。 ( 2 ) 多种特征的提取方式。一般系统可提供图像的颜色、纹理、形状等特征检索算 3 第一一章绪论 法，个别系统还可以完成综合特征的图像检索。 ( 3 ) 图像数据库。现有的图像检索系统大多都配置了专业的数据库，数据库中主要 包括图像库与特征库等。 目前一些图像检索系统已经发布在i n t e r n e t 上，有影响力的主要有以下几个： 1 ) q b i c q b i c i t 9 1 ( q u e r yb yi m a g ec o n t e n t ) 是i b ma l m a d e a 研究中心于上世纪九十年代研制 的第一个商品化的基于内容的图像和动态视频检索系统，它的框架结构以及所采用的检 索技术对后来的图像检索系统产生了深刻的影响。q b i c 系统提供图像的颜色、纹理、 形状三种特征进行检索。 q b i c 系统主要由数据库生成和数据库查询两个模块组成。在数据库生成模块，图 像和视频对象的特征被提取出来并存入数据库中。在数据库查询模块，将用户提供的对 象特征与数据库中存储的对象特征进行匹配，根据匹配大小输出检索结果。q b i c 系统 中采用( k t l ) 和( r t r e e ) 等技术减小高维数特征对检索的负面影响。在其最新版的 系统中，采用基于文本和基于内容相结合的方式，共同完成查找功能。例如旧金山现代 博物馆的作品都附有作者、标题等文本信息。 2 ) i m e d i a i m e d i ：a 1 9 1 系统是以法国国家计算机科学和自动化研究所( i n r i a ) 为基地，由多国科 学家和研究人员参加研制开发的基于内容图像检索系统。i n r i a 系统设计以人性化为目 标，用户不需要专业培训就能自如使用。 i m e d i a 系统支持基于区域和文本的两种图像检索模式。在基于区域的图像检索 模式下，用户可选择图像的部分区域内容进行检索。i m e d i a 系统中还提供了相关反馈 的功能，有利于对检索结果的优化。 按照数据库的内容可将i m e d i a 系统分为以下5 个子功能系统：v i s u a l r e t r i e v a l ( g e n e r a l i s td a t a b a s e s ) ，v i s u a lr e t r i e v a l ( b i o d i v e r s i t yc o l l e c t i o n s ) ，v i s u a lr e t r i e v a l 砌 r e l e v a n c ef e e d b a c k ( s a t e l l i t ei m a g e ) 、p a r t i a lv i s u a lq u e r i e s ( 1 0 c a ld e s c r i p t o r s ) 和3 dr e t r i e v a l 。 3 ) n e t r a n e t r a 系统是美国加州大学的a l e x a n d r i a 数字化图书馆项目中应用的图像检索系统 的原型系统。检索中系统首先对图像进行区域分割，然后在分割的区域中提取颜色、纹 理、形状和空间信息等特征，并且依靠这些信息从数据库中查找相似的区域，从而完成 4 西北大学硕上学位论文 检索。n e t r a 系统主要采用了基于g a b o r 滤波器的纹理分析和基于神经网络的图像词典 构造，以及基于边缘流的图像分割等技术。 4 ) i r m a i r m a t m ( c o n t e n t - b a s e di m a g er e t r i e v a li nm e d i c a la p p l i c a t i o n ) 是由德国研究基金会 开发的检索系统。该系统主要完成对医学图像的应用处理，检索对象是索引库中生物领 域的特征。在其最新研究中应用电脑网格技术引入了动态虚拟生物特征。该系统已经在 2 0 0 0 0 幅医学图像和1 3 5 0 0 0 幅非医学图像的图像数据库上测试运行。 近年来国内关于基于内容图像检索的研究也取得了很大进步。清华大学计算机系开 发一个i n t e r n e t 上针对静态图像的基于内容图像检索系统，该系统的开发与互联网技术 相结合，利用图像的主颜色、纹理、轮廓等信息进行检索，具有一定的实用价值。浙江 大学开发了基于图像颜色特征的检索系统，并将此系统成功地运用于基于敦煌壁画数据 库的研究与开发。国内还有很多学者将研究的重点放在图像的高级语义上，由高永英、 章毓晋等人设计开发了一个基于目标高级语义特征的图像检索系统【2 2 1 。 1 4 本文的研究内容和章节安排 1 4 1 文章研究内容 本文首先介绍了本课题的背景意义，基于内容图像检索的基本流程以及图像的几种 视觉特征、相似性匹配以及相关评价标准等技术。文中对颜色和纹理特征的检索算法进 行了较深入的分析研究，并针对已有算法的不足提出了改进的颜色和纹理检索算法，然 后对两种算法进行融合，实现综合颜色和纹理特征的图像检索。本文主要研究内容如下： ( 1 ) 在颜色特征检索中，主要分析了颜色空间的选择量化和几种常用的特征提取方 法。提出了本文的圆环区域划分提取累积直方图算法。对传统统计直方图法、固定分块 法和本文的颜色算法进行检索实验。实验结果表明：传统的直方图法由于缺少图像的空 间信息，检索效果不好；改进的固定分块法虽然在一定程度上提高了检索效果，但对图 像的旋转、尺度变换等比较敏感；本文所提算法改进了上述缺点，并能较完整地突出代 表图像主要内容的区域，检索中获得了更高的查准率。 ( 2 ) 在纹理特征的图像检索中，介绍了几种常用的纹理分析法。对传统的灰度共生 矩阵法进行改进，提出了融合t a m u r a 特征的改进灰度共生矩阵法。对传统的共生矩阵 法、本文改进的共生矩阵法以及融合t a m u r a 特征的改进共生矩阵法进行检索实验。实 验结果表明：改进的共生矩阵法相比传统方法提高了检索的查准率，而融入了t a m u r a 5 第一章绪论 特征的改进算法在检索中取得了最高的查准率，且返回的纹理图像更符合人类对纹理图 案的感知。 ( 3 ) 对综合多特征的图像检索技术进行分析研究，按照多特征同步检索模式完成对 本文提出的颜色和纹理算法的融合，其中主要进行特征间的归一化处理。通过检索实验 证明：综合颜色和纹理特征的检索算法更优于单一特征的检索算法。 1 4 2 本文章节安排 第一章绪论。阐述基于内容图像检索技术的背景和意义。介绍了国内外基于内容 图像检索的发展现状，以及几个成熟的检索系统。并对本文的研究内容与 章节做了简要介绍。 第二章基于内容图像检索的关键技术。介绍了基于内容图像检索的基本流程，图 像的颜色、纹理、形状、空间关系等视觉特征，以及特征间的相似性度量 方法和检索性能评价标准等。 第三章基于颜色特征的图像检索。介绍了基于颜色特征图像检索的相关技术，提 出本文的基于圆环区域划分提取累积直方图的算法，并进行相关检索实验。 第四章基于纹理特征的图像检索。介绍了基于纹理特征的图像检索技术，提出了 本文改进的纹理特征算法，并进行相关检索实验。 第五章综合颜色和纹理特征的检索算法。介绍了综合多特征检索的相关技术，对 本文提出的两种改进算法进行融合，实现综合颜色和纹理特征的图像检索。 第六章基于内容图像检索系统的设计。设计了一个实现文中算法的图像检索系 统，并简要介绍系统的构造。 6 西北大学硕士学位论文 第二章基于内容图像检索的关键技术 基于内容的图像检索中融合了多种技术，例如检索流程设计、特征提取技术，相似 距离度量以及检索评价标准等，这些技术在检索中发挥了重要的作用，下面分别介绍这 些关键技术。 2 1 基于内容图像检索的流程框架 一个基于内容图像检索( c b i r ) 系统的基本组成，包括图像的特征提取、相似度比较、 人机接口、图像数据库以及相关反馈等部分。系统按功能可分为图像索引和图像检索两 大子系统。图像索引子系统的功能是为图库建立对应的特征库；图像检索子系统的功能 是在索引库中进行图像检索。在实际应用中，通常按照图2 1 所示流程进行检索： 图2 - 1 基于内容图像检索流程图 ( 1 ) 首先提取图库中图像的特征，建立相应的特征索引库。特征提取的过程就是从 包含大量信息的图像中分解出不同种类的特征信息，如颜色、纹理等视觉信息。特征提 取是检索过程中最重要的环节。 ( 2 ) 用户通过系统的人机接口提交查询图像，同时提取其特征。可选择单一特征或 综合特征的方式进行检索。 ( 3 ) 系统内部根据用户所提交图像，在图库中进行查询。并按照相似性由大到小的 顺序输出检索结果。 7 第二章基于内容图像榆索关键技术 2 2 描述图像内容的视觉特征 在基于内容的图像检索中，主要依靠颜色、纹理、形状、空间关系等特征来描述图 像的内容。下面简要介绍这些视觉特征。 2 2 1 颜色特征 人类对外界环境的感知中，颜色起着十分重要的作用。颜色是图像检索中使用最广 泛的一种视觉特征，主要原因是颜色与图像中的对象和场景十分相关，每种物体几乎都 有其代表性的颜色，同类物体一般具有相同或相近的颜色，不同的物体可通过颜色来区 分。 在基于内容图像检索中有多种颜色特征算法，最具代表性的就是全局颜色统计直方 图法2 3 1 ，它对图像本身的尺寸、方向和视觉的依赖性小，具有很高的稳健性。此算法的 缺点是无法反映颜色分布的空间信息。后来出现了多种对全局直方图的改进算法，如局 部区域直方图法2 4 1 、高斯混合矢量量化提取直方i 圈( g m v q ) 2 5 1 ，合并直方刚2 6 1 等。 2 2 2 形状特征 图像中对象的区域形状是表达图像内容的核心特征之一。形状对图像的描述很直 观，并且对图像的旋转、平移、尺度变化不敏感，具有较高的稳定性2 7 1 。基于形状特征 的图像检索中主要依靠检测或者分割出目标的区域轮廓，并提取这些轮廓信息作为检索 的对象。通常形状特征可分为以下两种类型：一种是全局轮廓特征，另一种是局部区域 特征。前者用到物体的外围边缘，后者则关系到整个形状区域。基于形状特征的典型方 法主要包括傅里叶形状描述符2 8 1 和形状无关矩【2 9 1 等。 2 2 3 纹理特征 纹理也是图像的另一种重要的视觉特征。纹理本质上刻画了图像像素的空间分布规 律，是反映物体表面基本属性的内在特征。任何图像都可看成是不同纹理区域的组合。 纹理与物体的位置、走向、尺寸、形状有关，但与平均灰度级( 亮度) 是无关的。人对纹 理特征的理解是与心理感知相结合，用语言文字描述纹理非常困难，所以到目前为止， 还没有一个被所有研究者都认可的精确纹理定义。通常可粗略的将纹理定义为：纹理是 对图像的像素灰度级在空间分布模式上的描述，反映物体的粗糙度，光滑性、颗粒度、 随机性和规范性等信息。 纹理特征的统计特性具有较强的旋转不变性和抗噪音能力，在基于内容的图像检索 8 两北大学硕十学位论文 中有着较多应用。通常采用结构法和统计法来提取图像的纹理特征。 2 2 4 空间关系特征 空间关系特征主要用来描述图像中各对象之间的位置关系。在检索中，经常会出现 颜色等特征相似，但因对象空间位置不同而无法正确区分图像的情况，因此对图像进行 描述时有必要加入对象的空间关系信息。例如，对蓝色的天空和海洋图像描述时，它们 的颜色直方图比较接近，通常很难区分。但是，如果指出该图像内容的空间位置，则可 知下面部分是蓝色的图像应该指海洋。因此，包含空间关系信息可以弥补其他视觉特征 的不足，有利于提高检索的准确性。 图像的空间关系信息通常采用对象区域分割和平均分块等方法得到。前者对图像进 行自动分割，划分出图像中所有对象的区域i 并根据这些区域进行检索；后者对图像进 行均匀分块处理，在每个子块中分别提取视觉特征进行检索。在实际应用中，通常是利 用图像的空间关系特征与其他视觉特征相结合的方法进行检索。 2 3 相似性度量方法 特征问的相似性度量【3 0 3 1 1 也是图像检索的一项关键技术。检索中主要依靠度量特征 间的相似距离来衡量两幅图像的相似程度。特征间距离越小，代表两幅图像越相似。选 择一种合适的相似性度量方法，是获取满意检索效果的重要保证。 相似性度量一般基于图像特征的向量空间模型，将图像特征看作是向量空间中的 点，通过计算两个点之间的距离来完成度量。如果查询图像的特征向量为 a = ( q ，a 2 ，口n ) ，某个候选图像的特征向量为b = ( 6 l ，如，吃) ，则可以通过比较彳和 b 之间的距离大小，来判断查询图像与候选图像之间是否相似。下面介绍几种常用的图 像相似性比较方法。 2 3 1 欧拉距离 如果图像特征的各分量正交无关，并且各个维度之间权重相同，则特征向量彳和曰 的距离可用厶距离或厶距离( 欧拉距离) 来表示。厶距离表示为： 厶= 1 4 一忍i ( 2 1 ) i = i 其中，z 是特征向量的维数。 9 第二章基于内容图像检索关键技术 厶距离表示为： ：n ( 彳，一b ，) 2 f = l ( 2 2 ) 2 3 2 直方图相交 直方图相交，是指两个直方图在每个小区间中共有的像素数量，它是度量直方图距 离的一种方法。假设j 和q 是含有刀个小区间的两个颜色直方图，它们的相似距离表 示为： s ( ，q ) = 杰m i n ( j ，q ，) q ， = 1 ( 2 3 ) 2 3 3 二次式距离 基于颜色直方图的图像检索中，二次式距离也是经常使用的一种相似性度量方法。 两个颜色直方图，和q 之间的二次式距离可以表示为： d = ( q 一，) 么( q 一，) ( 2 4 ) 其中4 是颜色相似性矩阵，它可以体现出不同颜色之间的相似性因素。彳= 口玎 ，口 表示直方图中下标为f 和的两个颜色小区间之间的相似度。通过彳可使每个颜色小 区间都受到相邻区间的影响，颜色直方图本身就包含了不同颜色之间的相似性因素。此 方法可以衡量图像中不同颜色之间的关系。 2 3 4 马氏距离 如果特征向量的各个分量之间具有相关性或具有不同的权重，则可采用马氏距离来 计算它们之间的相似度。 d = ( 彳一召) c 一( a 一曰) ( 2 5 ) 其中，c 是特征向量的协方差矩阵。当特征向量的各分量之间没有相关性时，马氏距离 也可以进一步简化，只需要计算每个分量的方差q ，简化公式如下： 卟喜华 亿6 ， 西北大学硕t ：学位论文 2 3 5 相关系数 相关系数可以表征两个特征向量a 和b 之间线性关系紧密程度，其数学描述如下： 芝( 口，一：) ( 6 ，一i ) p ( 彳，b ) = ( 2 7 ) 如采用相关系数，则两向量之间的距离可表示为： d ( a ，曰) = 1 一p ( a ，b )( 2 8 ) 上式中，：= 昙喜q ，否= 去善n 岛。 以上介绍的几种相似性度量方法中，没有一种方法可以适用于所有特征向量的相似 性匹配。主要原因是：相似性度量方法具有特征依赖性，不同的特征应选用不同的度量 方法。 2 4 检索算法的评价标准 检索性能的评价【3 2 3 3 1 是基于内容图像检索技术中的又一项重要内容。通过对检索 结果的评价，可以进一步改进检索算法、提高检索性能。基于内容图像检索中有多种 检索算法，其检索效果也不尽相同，而且由于不同用户的参与，使对检索结果的评价 掺入了较强的主观性，因此必须找到合适的评价准则来衡量检索算法的优劣。目前国 际上对检索性能评价技术还没有统一的标准，通常采用下面几个指标来评价。 ( 1 ) 查全率 查全率3 2 1 表示检索返回的相关图像数目占整个图像数据库中所有相关图像数目的 比例，其数学表达式如下： rec a i i 。詈x10 0 ( 2 9 ) 式中n ，是图像数据库中所有相关图像的数目，n s 是检索返回的相关图片数目。 ( 2 ) 查准率 查准率3 2 3 表示检索返回的相关图像数目占全部返回图像数目的比例，其数学表达式 如下 p 州。刀2 1 00 ( 2 1 0 ) 式中n ，表示一次检索返回的图像数目，以。表示返回相关图片数目。 第二章基子内容图像检索关键技术 ( 3 ) 响应时间 响应时间t 是从检索运行时效性上对系统性能的评价。t 是指用户从提交检索图像 开始到完成检索所用的时间。这个时间间隔与提取的特征，特别是特征的维数有很大关 系。高维数的特征可以更加详细地描述图像内容，但有可能造成系统检索的反应时间变 长，影响系统的整体性能。 检索系统性能的评价标准还有平均积分比、命中准确率等。这些评价标准都不是孤 立的，可综合这些标准地去衡量一个检索系统的性能，例如在追求检索准确率的同时也 要保证时效性。 2 5 本章小结 本章根据基于内容图像检索的基本流程，介绍了其中涉及到的几项关键技术，包括 图像的颜色、纹理、形状等视觉特征，特征间的相似性度量方法以及检索性能的评价标 准等。 1 2 西北大学硕l = 学位论文 第三章基于颜色特征的图像检索 颜色是组成图像内容的基本元素，现有的基于内容图像检索系统都将颜色算法作为 一个重要的检索手段。利用颜色特征进行图像检索包含三个关键技术：选取合适的颜色 模型、有效的特征提取算法和准确的相似性度量方法。 3 1 颜色模型 颜色模型是用来在某个颜色域内方便地指定颜色。颜色模型般可分两类，一类是 面向彩色显示器等硬件设备，例如r g b ( 红、绿、蓝) 模型和c m v ( 青、深红、黄) 模型。 另一类是面向以色彩处理为目的的应用，例如h s v 模型。这几种颜色模型是图像处理 技术中最常见的模型。 3 1 1r l l b 颜色模型 r g b 颜色模型是图像显示中最常用的颜色模型，它可在笛卡尔坐标系中表示，见 图3 1 所示的立方体。立方体的3 个轴分别表示为r 、g 、b ，且位于3 个角上，原点处 为黑色，离原点最远的顶点对应白色。计算机定义颜色时，r 、g 、b 三个分量的取值 范围都为0 - , - 2 5 5 ，其中0 表示没有刺激量，2 5 5 则表示刺激量达到最大值。当r 、g 、b 均为2 5 5 时就会合成白色，当它们都为0 时就形成黑色。在这个模型中，从黑到白的灰 度值分布在从原点到离原点最远顶点间的连线上，而立方体内其余各点对应不同的颜 色，可用从原点到该点的矢量表示。为方便起见，将所有的颜色值都归一化，可将这个 立方体归一化为单位立方体，这样所有的r 、g 、b 的值都在区间 0 ，1 】中。 r r 图3 - 1r g b 颜色模型 1 3 g 第三章基于颜色特征的图像检索 青( c y 锄) 、品红( m a g c l l t a ) 和黄色( y e l l o w ) 是光的二次色，c m y 颜色模型正是由这 三种原色构成。c m y 颜色模型常被用于从白光中滤除某种颜色，所以又被称为减性原 好相反。如果按照归一化为 0 ，1 的范围，将很容易得到c m y 模型的数值，如公式3 1 刚雌 ， 公式中r ，g ，b o ，1 】，c ，m ，y “o ，1 。 h s v 颜色模型由色调h ( h u e ) 、饱和度s ( s a t u r a t i o n ) 和亮度v ( v a l u e ) 三个分量组成， 与人类视觉特性的三要素直接对应【3 4 3 5 ，3 6 1 。色调h 表示从物体表面反射或透过物体的光 用角度( o 。3 6 0 。) 或者( 1 8 0 。1 8 0 。) 来度量。饱和度s 指颜色的深浅程度，即在纯色 青 图3 - 2h s v 颜色空间模型 1 4 西北大学硕上学位论文 h s v 颜色模型可以产生更具吸引力的颜色描述，它不同于r g b 模型中按红绿蓝三 个元素选择颜色，而是指定一个彩色并将一定量的白色和黑色加到该颜色上从而获得不 同的明暗、浓淡和色调。 3 1 4 颜色模型的选择与量化 选择一个合适的颜色模型对颜色特征的提取起着至关重要的作用。r g b 颜色空间 是数字化图像最常用的彩色格式，但它有着不可克服的缺点：当改变一个颜色时，三个 通道上的颜色全部需要修改；r g b 也不是一个均匀的颜色空间，它在颜色空间上的距 离，并不代表人眼视觉上对颜色差异的感知。h s v 颜色模型是种符合人类视觉感知特 性的颜色模型【3 4 筇3 6 ，它的3 个分量之间相互独立，即人可独立感知各个颜色分量的变 化，所以h s v 颜色空间被认为是均匀的颜色空间。因此，本课题选择在h s v 模型中提 取图像的颜色特征。 通常情况下数字图像都是在r g b 颜色模型中描述，因此首先通过非线性变换将 r g b 颜色模型转换成h s v 模型3 4 3 5 1 ，可采用下面的公式实现： h = ac c墅三型兰丝二丝一bgr osjacc 芦= = 击= = = = = 三= = = 釜= = = = = 圭= = = = =s 24 ( r g ) 2 一( r b ) ( g b ) ( 3 2 ) 2 厅a r c c o s 丝三丝丝二丝一b g 2 ( r g ) 2 一( r b ) ( g b ) s ：垩堡兰! 墨：堡：垒2 二竺! 呈( 墨：g ：垒2 (