（计算机应用技术专业论文）基于区域的图像检索关键技术研究与系统设计.pdf

摘要 摘要 近年来，随着多媒体技术以及网络技术的迅速发展，网络上的信息资源日益 丰富。如何从海量的图像库中检索出满足人们需要的图像已经成为一个研究热点， 与此同时，基于内容的图像检索( c b i r ) 技术也应运而生。现有的基于内容的图 像检索系统均是以低级视觉特征为基础工作的，它们存在的瓶颈是图像的低级视 觉特征和高级语义之间的差距。基于区域的图像检索( r b i r ) 是基于内容图像检 索( c b i r ) 的进一步的延伸和发展。它是在区域分割的基础上，针对人们感兴趣 的部分进行检索，更好地表示用户对图像进行理解时的关注点，提高了检索效率。 本文首先介绍了基于区域检索技术( r b i r ) 的技术背景和发展过程；然后依次 介绍了一个成功有效的基于区域的图像检索系统应用的多种关键技术；给出了多 个检索实验结果的对比分析，实验结果表明，该系统在传统的图像检索系统的基 础上有了很大的提高：本文的最后提出了系统的不足和未来的发展研究方向。 稳健有效的图像分割是系统检索的前提条件。大部分的图像分割技术依赖于 区域边界、物体之间的边缘，这些方法不能很成功的分割出目标，而且可能造成 过度分割和区域不连续的问题。本文在传统的基于像素点的聚类分割的基础上， 以纹理基元为单位，采用了基于概率的期望最大算法( e m ) 。该方法能自适应确 定聚类中的参数，通过后处理做到了兼顾点的位置连通关系，提高了分割的效率。 区域的特征和描述是系统的关键，本文采用直方图用来描述颜色特征，g a b o r 小波用来描述纹理特征，七个不变矩用来描述形状特征，采用加权归一化特征向 量来进行区域间的匹配比较。在计算图像间的匹配度时，改进了传统的整体区域 匹配( i r m ) 算法，采用了二次检索技术，通过设置上下限函数来过滤一部分不相关 图像，减少了计算的强度，大大提高运算效率。 建立有效的数据库索引机制是系统优化的手段，本文采用局部线性嵌入式算 法( u 正) 来降低特征向量的维度，在改进的向量近似算法( v a ) 上建立高效的索引 机制，提高检索的精度和速度。 为了客观地评价本检索框架的检索性能，本文在基于大型通用图像库c o r d 库进行了大量的检索实验。分别验证了检验单特征检索与综合特征检索的效果对 比；优化图像匹配算法与s c a n 算法效果对比；改进的索引机制与顺序索引效果 对比；基于全局的图像检索与基于区域的图像检索对比分析。实验结果表明本文 方法能够较好地进行图像检索，提高检索性能。 相关反馈方法，学习用户的语义主观性，m p e g 7 标准以及面向网络和大规 模数据库的c b i r 应用的需求也会与日俱增，也是下一步的研究方向。 关键词：基于内容的图像检索区域图像分割特征提取降维 a b s t r a c t 7 a b s t r a c t o u rw o r l di sd o m i n a t e db yv i s u a li n f o r m a t i o na n dat r e m e n d o u sa m o u n to fs u c h i i l f o r m a t i o ni sb e i n ga d d e dd a y - b v d a y i tw o u l db ei m p o s s i b l et o c o p ew i t ht h i s e x p l o s i o no fv i s u a ld a t a u n l e s st h ei n f o r m a t i o ni so r g a n i z e ds u c ht h a tw ec a nr e t r i e v e t h e me f f i c i e n t l ya n de f f e c t i v e l y c o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) i sp r e s e n t e dt h e n f o ri m a g e s e x i s t i n gc b i rs y s t e m sa r eb a s e do nl o w l e v e lv i s u a lf e a t n r e s s ot h e b o t t l e n e c ki st h eg a pb e t w e e nt h e s ev i s u a lf e a t u r e sa n ds e m a n t i cc o n c e p t so fi m a g e s w h i c hi sc a l l e ds e m a n t i cg a p r e # o n b a s e di m a g er e t r i e v a l ( r b i r ) w a sr e c e n t l y p r o p o s e da sa ne x t e n s i o no fc o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) w h i c hc a nn a r r o w d o w nt h eg a p i nr e g i o n - b a s e di m a g er e t r i e v a l ( r b i r ) ，n o ta l lt h er c ：百o n sa r e i m p o r t a n tf o rr e t r i e v i n gs i m i l a ri m a g e s i nr e t r i e v a l t h eu s e ri so f t e ni n t e r e s t e di n p e r f o r m i n gaq u e r yo no n l yo n eo raf e wr g ：画。璐r a t h e rt h a nt h ew h o l ei m a g e 1 m e m e t h o di sm o r ee f f i c i e n t i nt h i sp a p e r , f i r s t l y , t h ed e v e l o p i n gp r o c e s so fr b i ri si n t r o d u c e d ，s e c o n d l y , s o m e t e c h n o l o g yf o rar e g i o n b a s e di m a g er e t r i e v a lf r a m e w o r ka r ep r e s e n t e da n dt h e nt h e r e s u l t so fr e t r i e v a le x p e r i m e n t ss h o wi ti sae f ! f i c i e n ts y s t e m l a s t l y , s h o r t c o m i n g sa n d t h ed i r e c to fs t u d yi nt h ef u t u r ea r ep u t t e df o r w a r d i m a g es e g m e n t a t i o ni st h ep r e c o n d i t i o no fr b i r a nr b i rs y s t e ma u t o m a t i c a l l y s e g m e n t si m a g e si n t oav a r i a b l en u m b e ro fr e g i o n su s i n gt h ee x p e c t a t i o n m a x i m i z a t i o n a l g o r i t h mo nc o m b i n e df e a t u r e so fe a c hr e g i o n ，i n c l u d i n gc o l o r , t e x t u r ea n ds h a p e f e a t u r ed e s c r i p t i o ni st h ek e yt ot h es y s t e m i nt h i sp a p e r , c o l o rh i s t o g r a m ，g a b o r w a v e l e ta n ds e v e nm o m e n ti n v a r i a n t sa st h ef e a t u r e s w ea l s oi r e p r o v e dt h ei n t e g r a t e d r e g i o nm a t c h i n g ( i r m ) t os o l v et h em a t c h i n go ft h er e g i o n s a ne f f i c i e n ti n d e x i n go fd a t a b a s ea n dt h em e t h o do fd e c r e a s i n gd i m e n s i o n s o p t i m i z et h es y s t e m i nt h i sp a p e r , as e to fl o w e ra n du p p e rf u n c t i o n sa r ea p p l i e dt o f i i t e ri r r e l e v a n ti m a g e s l o c a l l y l i n e a r - e m b e d d i n gi su s e dt od e c r e a s et h ed i m e n s i o n s o ff e a t u r ev e c t o r s i na d d i t i o n t h i sp a p e ra i s oi n t r o d u c e st h ed e s i g no ft h es y s t e ma n d t h er e s u l t so f e x p e r i m e n t s i no r d e rt oe v a l u a t et h i sm e t h o d a ni m a g er e t r i e v a is y s t e r na n de x p e r i m e n t sa r e d e s i g n e db a s e do nc o r e l d a t a b a s e f o re x a m p l e ，t h el o n e l yf e a t u r ew i t hi n t e g r a t e d f e a t u r e t h ei m p r o v e dm a t c h i n ga r i t h m e t i cw i t ht h es c a n t h ej r e p r o v e di n d e x i n gw i t h t h eo r d e r e di n d e x i n g , c b i rw i t i lr b i ra n ds oo n t h ee x p e r i m e n t sc a nb ec o n c l u d e d t h a to u rm e t h o dc a nr e t r i e v ea tt h el e v e lo fo b j e c t sa n di m p r o v et h er e t r i e v a l p e r f o r m a n c e a l t h o u g h n o w t h e r ei ti sn o tas u c c e s s f u l l ys y s t e mo fr b l r ，ap r o t o t y p eh a sb e e n d e v e l o p e dt od e m o n s t r a t et h ef e a s i b i l i t ya n de f f i c i e n c yo ft h es y s t e m i nt h ee n do ft h i s p a p e r , lc o n c l u d et h es h o r t c o m i n go ft h es y s t e ma n dp u tf o r w a r dt h ed i s s e r t a t i o nw i t h f u t a r er e s e a r c hd i r e c t i o n s f o re x a m p l e f c f e r e n c ef e e d b a c k , m p e g 7c r i t e r i o na n ds o o n k e y w o r d ：c o n t e n t b a s e di m a g er e t r i e v a l ，r e g i o n - b a s e di m a g er e t r i e v a l ，i m a g e s e g m e n t a t i o n ，e x t r a c tf e a t u r e s ，d e c r e a s ed i m e n s i o n s 。 创新性声明 本人声明所里交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作过的同志对本研究所 做的任何贡献已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 塑亟塑日期竺空：! 兰：望 l 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名：童，匾避日期2 1 巫丝型 导师签导师签名：懒、日期斟 第一章绪论 第一章绪论 1 。1 引言 随着信息化社会的到来，人们越来越多地接触到大量的多媒体信息。多媒体 信息是人们接触最广泛的一种信息资源，它以文字、图像、声音和视频等各种形 式存在，图像信息是这些信息中重要的一种。在许多的应用领域，如远程医疗、 卫星遥感，教育、商业犯罪防治和娱乐等等都会产生大量的图像数据信息。特 别是近1 0 年来互联网的应用和发展，更加促进了多媒体信息数据量急剧增长。信 息量的增长使人们对多媒体信息检索工具和系统的依赖日益加强。图像检索就是 多媒体信息检索的一个重要分支。如果能开发出一种先进的检索技术，根据图像 的内容特征进行有效的组织，给用户提供直观的操作接口，无疑会极大的节省人 们的图像查找时间，使得可以快速的定位到自己真正需要的图像。这种迫切的需 求推动着研究者们全力以赴的投身于图像检索技术的研究当中。基于内容的图像 检索( c o n t e n t b a s e di m a g er e t r i e v a l ：c b i r ) 是数据挖掘领域最具有挑战性的，是数 据库、多媒体技术 i i 沿的研究方向之一，近年来已成为国内外研究热点，并将成 为2 1 世纪必须攻克的关键技术之一“。 基于内容的图像检索( c b i r ) 自7 0 年代始便成为一个非常活跃的研究领域，其 推动力来源于两大研究方向：数据库系统和计算机视觉，其研究意义在于：若能 开发出一种先进的检索系统，根据图像本身的内容特征在图像数据库中进行有效 的归类和检索，并绘用户提供直观的操作、反馈和结果接口，使得用户可以快速 定位到需要的单个图像或多个图像上，并且替代人工对图像分类管理的繁重工作， 由机器自动对图像进行归类和管理，这无疑会极大的节省人们用于图像信息整理、 分类和查我的时问。这种迫切的需求推动着基于内容的图像检索技术的研究工作 不断深入。 基于内容的图像检索实际上是多媒体数据挖掘领域的一个重要分支，数据挖 掘是一门交叉学科，融合了数据库、人工智能、机器学习、统计学等多个领域的 理论和技术。基于内容的图像检索综合利用了数据库和计算机视觉研究领域中各 方面的技术，同时对这些技术的研究和发展也起到了一定的推动作用。由于基于 内容的检索有着广泛的应用前景和市场前景，因而也引起了国际标准化组织的关 注。随着多媒体内容描述的国际标准化， 内容描述及查询语言将成为研究的热点， 图像内容的描述也将随之标准化，图像 基于内容的图像检索将朝商业化方向迈 2 基丁= 区域的图像检索关键技术研究与系统设计 进。 根据图像特征的作用域，c b i r 可以分为两类：其一，基于全局特征的图像检 索；其二，基于区域分割的图像检索。后者是前者的进一步延伸。本文重点讨论 基于区域的图像检索。 1 2r b i r 的发展和研究现状 7 0 年产生的图像检索是基于文本方式，使用关键字或自由文本描述图像库中 的每幅图像，采用文本匹配检索。基于文本关键词的图像检索，其研究主要在数 据库领域中进行，首先对图像用文本进行索引，再采用基于文本的数据库管理系 统( d b m s ) 来进行图像检索，诸如数据模型、多维度索引、查询评价等的研究进 展均是沿着这一领域所作的。但随着数据量的迅速增大，基于文本的图像检索存 在的下列弊端限制了它的发展： 1 图像内容的丰富性，它使得对于同样的图像不同的人有不同的理解，图像 注解的主观性和非精确性可能导致检索过程的失配。也就是说，不同的标注者对 同一幅( 或类似的) 图像的不同理解( 兴趣或侧重点) 造成了图像特征标注间的 差异，而这种差异大到一定程度就会对检索结果产生很大的负面影响；而且即使 同一个标注者由于特征标注时的外界和内在条件的影响，往往也会产生不同的结 果；总之，标注者的主观性往往带来这样的后果：不同的或同一个标注者用不同 的术语描述同一个特征。或者用同一个术语描述不同的特征，这就是基于文本检索 的同义性和多义性。 2 由于给图像添加关键词或注释是一个繁琐且费时的过程，因此很多图像缺 少注释的信息。 3 纹理或形状等图像特征几乎不可能用文本来描述。 9 0 年代早朝，由于大规模图像数据库的出现，由手工进行图像标注这一方法 所带来的困难变得十分尖锐，为了克服这一困难，研究者们提出了基于内容的图 像检索，即根据图像所包含的颜色、纹理、形状以及它们的组和特征等特征信息 建立索引并且通过图像特征向量问的近似度量来进行相似性检索。不像t b i r ( 语 义级比较) 是对描述图像的文本进行比较，c b i r 是直接比较图像内容所承载的特 征( 低级特征比较) ，即它是直接根据图像媒体对象的内容进行的各种特征检索， 它能从数据库中直接找出具有指定特征或含有特定内容的图像。基于内容的图像 检索由于综合应用了应用数学、图像工程、数据库、人工智能及计算机视觉等相 关学科的技术成果，从图像内容本身对其进行比较，可以实现高效的、自动化的图 像特征抽取，检索过程中在用户的协助下，可以提供更加符合用户视觉感知习惯 的图像检索手段。 第一章绪论 传统的基于内容的图像检索是基于图像的单个或多个全局特征的，往往不需 要区分图像的前景和背景，即就是只计算整幅图像的一个特征向量或几个特征向 量的加权和，但是这两种特征向量不能体现图像的空时关系，通常很难或不能反 映图像真实的语义内容。比如；两幅视觉上完全不同的图像，提取的全局特征很 有可能是相同或相似的，检索结果可能返回在视觉上与查询图像完全不同的图像； 其次，从人类认知角度讲，人在观察图像时，总是先注意图像中某一特定的目标 对象) ，不关心或后注意到图像的背景，因此，目标层的图像表示和匹配更接近人 类视觉系统的感知特性和人对图像语义的理解；第三，在许多应用场合，比如： 远程医疗，商标库管理等等，人们需要找到包含特定目标( 对象) 的图像，因此， 研究基于区域的图像检索技术不仅可以缓和高层语义与低层特征之间的“语义鸿 沟”，而且对有特殊作用的图像数据库检索技术具有重要的意义。基于内容的图像 检索系统已经成为一个研究热点，而且一些相应的图像检索系统相继推出， 如q b i c “。v i r a g e p h o t o b o o k ”。m a r s ”。等等。 区域方法和全局方法的区别是所抽取特征的作用粒度不同，前者的粒度是区 域，后者的粒度是整幅图像。区域层的图像语义获取是建立在基于低层特征的图 像分割基础之上的，通常抽取的是局部和全局特征，全局特征侧重于整体性和综 合性，而局部特征强调区域性和细节性， 确度，也就可以反映较真实的图像语义。 两者的无缝结合可以提高图像分割的准 目前的基于区域的图像检索过程一般是 在图像分块或子图像上进行图像分割，计算图像各个区域之间的相似度，而后者 根据一定的区域匹配准则，计算图像各个区域之间的匹配度，最终得到图像之间 的匹配度。因此，为了获得较好的图像语义，这种检索方法重点在于图像分割和 区域匹配准则的定义。 现有的基于区域的检索系统主要有：加利福尼亚大学的n c t r a “、b l o b w o f l d | 8 】 贝尔实验室的w a l r u s n 等，其中n e t r a 和b l o b w o r l d 是通过用户指定查询图像中 的一个或几个区域和相应的特征权重，进行单个区域匹配，搜索含有与指定区域 相似的区域的图像。而w a l r u s 无须用户指定区域，一查询图的所有区域都参加图 像相似性度量，综合两图的所有相似区域对的相似性决定两图的相似性。这些系 统还不能完全满足用户的需要，主要原因在于许多关键技术还不成熟：复杂内容 的图像中的图像分割得到的区域经常不能形成有意义的物体；区域匹配不能完全 符合用户对相似性的理解；区域语义的获取和相应的图像语义的映射匹配关系； 对于庞大的图像数据库，需要寻找一种快速有效的索引结构加速检索过程。目前 为止，还没有出现成熟的基于区域的图像检索系统。 基r 区域的图像检索关键技术研究与系统改计 1 3 本论文研究的内容和方法 本文致力于基于区域的图像检索研究。相对于传统的基于全局特征的图像检 索来说，它更好的满足了用户对感兴趣目标的检索。 图1 1 r b i r 流样幽 对于一个实际的基于区域的图像检索系统，我们必须要解决以下的三个问题： 1 如何分割图像； 2 如何定义图像相似度： 3 如何适应大规模的图像库以及可移植性； 针对第一个问题，准确稳健的图像区域分割是图像检索的基础。图像特征的 提取又是基础的基础。本文提出综合颜色、纹理、以及形状特征，更准确的描述 了图像的视觉特征。本文采用的是最大区域划分( e m ) 聚类算法，分割效果比单独 应用菜类特征时候有了很大的提高。具体在第三章。 针对第二个问题，图像相似度取决于区域相似度计算。采用合理的图像匹配 算法，不仅可以大大的减少运算消耗，提高检索精度，还能弥补分割效果不好带 来的缺陷。本文采用了多步图像匹配法。在粗略计算后，淘汰大部分不相关图像， 然后采用h u n g a r i a n 算法r i l 3 】解决最优匹配的问题，达到了良好的检索效果。具 体在第五章介绍。 针对第三个问题，有效的节约存储空f n js f r i 时问是解决该问题的关键。传统的 方法可以归纳为二类：一类是建立传统的树结构，例如r 一t r e e 和m t r e e ：一类 是用统计的聚类。在本文中，我们采用了有效的索引机制一近似向量和局部嵌入 算法r l l e ) 降维相结合，大大提高了检索的速度。同时，本文还采用了区域过滤 的算法，淘汰玎：相关的图像，大大节约了检索的时问，提高了检索的效率。具体 在第六章介绍。 第一章绪论 5 1 4 本文内容安排 第一章绪论。主要介绍基于区域的图像检索的发展以及本文研究的内容和 方法。 第二章特征提取与表达。详细介绍了图像颜色、纹理、以及形状特征。本 系统采用了综合三个特征的综合特征向量。 第三章图像分割。介绍了多种图像分割的方法，比较它们的优缺点，本系 统采用了最大期望聚类法( e m ) 算法进行图像分割。 第四章视觉特征的相似度模型。主要介绍了相似度距离计算的几种方法。 第五章图像相似度匹配。介绍了图像相似的概念，改进了整体区域匹配算 法，提出了部分区域匹配算法，大大提高了匹配计算的效率。 第六章数据库索引优化机制。本章提出了基于矢量量化的索引机制，并融 合了局部线性嵌入算法来减少特征向量的维数，从而大大减少了运算的复杂度。 实验结果表明，检索的精确率和有效率都提高了不少。 第七章s o t u 系统设计与实验结果。主要介绍了系统设计的概要以及具体的 实现，给出了系统设计图。本章还附带了系统检索实验结果对比分析。 第八章总结。概括了本论文的主要研究方向和创新点，指出系统的不足以 及进一步的发展方向。 第二章特征提取与表达 7 第二章特征提取与表达 图像的特征提取与表达是基于内容图像检索的基础，特征选取的好坏对整个 c b i r 系统有着重要的影响，直接关系到整个系统的检索准确度、检索效果和检索 效率。广义上讲，特征既包括文本特征( 关键字、标注等) ，又包括视觉特征( 颜色、 纹理、形状、外观等) 。视觉特征又可分为一般特征和领域特征，前者包括颜色、 纹理、形状和物体间方位关系等，而后者根据不同的应用有所不同，如人脸识别、 指纹识别的专有特征等。本文中提到的特征都指的是视觉特征范畴中的一般特征。 对特征提取技术的基本要求是准确和快速，特征选取时要考虑下列四个原则： 1 图像的区分能力：应能很好的区分视觉上差异较大的图像； 2 图像的描述能力：一次查询中可能检索的最大图像数( 无关图像排除能力) ； 3 特征计算复杂度； 4 特征的存储空间需求； 由于感知的主观性，许多特征具有从不同角度来描述此特征的多种表示，对 一个给定的特征不存在一个最优的特征表示。典型的低级视觉特征包括颜色、纹 理和形状。颜色特征常采用直方图、图像矩和参考颜色表等方法；纹理特征常采 用灰度共生矩阵、纹理谱、t a m u t a 纹理和小波纹理等纹理描述子；形状特征常采 用傅立叶描述子和不变矩。在本章中分别具体介绍了颜色，纹理和形状特征。 2 1 颜色特征 颜色是彩色图像的最显著的特征，与其它特征相比，颜色特征具有稳定且对 旋转、平移、尺度变化都不敏感，表现出很强的鲁棒性，又因颜色特征计算简 单，因此基于颜色的查询成为基于内容的图像检索系统中应用最基本的方法1 7 1 。 面向图像的颜色特征的表达涉及到若干问题。首先，选择合适的颜色空间来 描述颜色特征，其次，采用一定的量化方法将颜色特征表达为向量的形式。 2 1 1 颜色直方图 一幅数字图象的直方图可以定义为一个离散函数 日m 专, i - 0 , k 式 其中i 表示灰度级，l 表示灰度级种类数，拄j 表示图像中具有灰度级i 的像素 8 基于区域的图像检索关键技术研究与系统设计 总数，n 表示图像总的像素数。公式表征了图像中具有灰度级i 的像素出现的频率。 图像直方图提供了该图像外观的一个全局描述，因此在图像特征索引中广为使用。 颜色直方刚1 0 1 描述了不同色彩在图像中所占的比例，并不关心每种色彩所处 的空间位置，特别适合描述难以进行分割的图像。 颜色直方图可以基于不同的颜色空间。根据不同的应用场合，图像的颜色表 示方式各不一样。c r t 显示屏使用的是r g b 颜色模型，利用红、绿、蓝三种基本 颜色以加色法的混色原理来混合。这是最常用的颜色空间表达，但是它不符合人 们对颜色的主观认识。研究人员又提出了新的颜色空间模型。 l a * b + 模型堤使用亮度l i g h t 和2 个彩色分量a 和b 来表示颜色，a 分量是 由绿色演变到红色，b 分量则是由蓝色演变到黄色。国际照明委员会于1 9 3 1 年定 义了c 1 e - x y z 色度坐标系统常称“c i e1 9 3 1 标准色度学系统”。x 、y 、z 分别代 表设想的红绿蓝三原色，它与r 、g 、b 三基色的转换关系为： ：黜姗 【zj 【0 0 2 0 o 1 3 0 0 9 3 9 胪j 式f 2 - 2 ) 式( 2 - z ) c i e 于1 9 7 6 年又定义t ( l 口b ) 均匀颜色空间，其中l 为米制明度。 a 、b 为米制色度。l + 、a 、铲由下列的公式规定： l * - 1 1 6 0 v o ) 一1 6 y y o 0 0 1 n = s o o ( x x 。) 班一0 7 y 0 ) 蜩】式( 2 3 ) b - 一2 0 0 ( y y o ) 怕一( z z 。) v 3 1 x 。、k 、z 。是c i e 标准照明体照射在完全反射的漫射体上，反射到观察者眼 中的物体色刺激的三刺激值。对c i e 标准照明体d 6 5 来说，工。= 9 5 0 0 ， o = 1 0 0 0 0 ， z 。= 1 0 8 8 9 。 图2 1i t s v 颜色模型 另外一种基于感知的颜色模型是h s v l l 2 ，它把彩色信号表示为三种属性：色 第二章特征提取与表达 9 调、饱和度和亮度( h u e ，s a t u r a t i o n ，v a l u e ) ，这种颜色模型用m u n s e l l 三维空间坐 标系统表示，具有与人观察颜色的方式相一致，同时有利于图像处理的特点。 h s v 的直观模型如图2 1 。h s v 空间是一个圆柱，h 表示色调( 0 嚣3 6 0 0 ) ，s 表示饱和度( 0 s 1 ) ，v 代表亮度( 0 v 1 ) 。几种颜色模型与r g b 模型之间 的变换关系如下： 变换1h s v 到r g b x u j = h ，j ，v 【o 1 】，给出r , g ，b e o m l 一如下： a 一础一r o u n d ( 6 1 1 ) , w 1 一( 1 5 ) + v = ( 1 一o 。口) ) + y ，w 3 一( 1 - o 0 一口) ) ) v 一 一a=4置a-00,255lo 3 6 0 1 ve 忙e = 私38 托= 5 = 1 w 3 当 时 1 w 3 当 li 这里jr 舀b 【 ，h ，；【o ，1 】， 【o ，1 】。 v 当a = 3 或4 w l 当a - - o 或1 式( 2 哪 w 2 当a t - 5 w ，当a = 2 给定r g b 颜色空间的颜色值( f ，啪) ，其中r ，g ，b e 0 ，2 5 5 1 ，则变换到h s v 空间 的h ，s v 值的计算公式如下： 设v im a x ( r ，g ，6 ) h 。 ( 5 + 6 ) 矿 ( 1 - g ) 矿 ( 1 + r ) 矿 ( 3 6 ，) j f ， ( 3 + g ) 矿 ( 5 一，) 贝v 。，2 5 5s。v-min(r,g,b) v r m x ( r ，g ，b ) a n dg r a i n p ，g ，6 ) r m x ( r ，g ，b ) a n dg - m i n ( r ，g ，6 ) g i = m a x ( r ，, g ，, b ) a n d6 ，= r a i n ( r ，, g ，, 6 ) b ) g m a x ( rgb ) a n d bm i n ( rg 式( 2 - 5 ) i ， ， ，6 ) 7 b ；m a x ( r ，g ，b ) a n d ，一m i n ( r ，g ，b ) 其他 知- 6 0 x h ，其中r ，g7 ，b 7 定义为 r ，兰二二一，g ，。兰二l ，6 ，。! ：= 兰i - 7 v - r a i n ( r , g , b ) g 。；7 ：二- i i 丽o 扫。v - r a i n ( r , g , b ) 这里r ，g ，b e o ，2 5 5 ，】i l 【0 ，3 6 0 1 ，s i o , 1 】，v i o 朋 由于一幅图像的颜色一般非常多，尤其是真彩色图像，因此直方图矢量的维 数会非常高。如果对h s v 空间进行适当的量化后再计算直方图，则计算量要少得 多。通过对颜色模型的大量分析，可以将h 、s 、v 三个分量按照人的颜色感知进 行非等问隔的量化即把色调分为1 6 份，把饱和度分为4 份，把亮度分为4 份， 并根据色彩的不同范围进行量化，量化后的色调、饱和度和亮度分别为h 、s 和v ， 1 0 基于区域的图像检索关键技术研究与系统设计 如下所示： s f l s o , o 1 5 ) 嚣 h ， 0 h 1 3 4 5 ，3 6 0 m 1 0 ，1 5 ) 1 h e b 5 ，2 5 ) 2 h e 2 5 ，4 5 ) 3 h 【4 5 ，5 5 ) 4 h 1 5 5 , 8 0 ) 5 h e s o ，1 0 研 6 h 1 1 0 8 , 1 4 0 ) 7 1 l 1 4 0 ，1 6 5 ) 8 h 1 6 5 ，1 9 0 ) 9 h e 1 9 0 , 2 2 0 ) 1 0 h e 2 2 0 , 2 5 5 、 1 1 h 2 5 5 ，2 7 5 ) 1 2 h e 2 7 5 ，2 9 0 ) 1 3 h 5 1 2 9 0 , 3 1 6 ) 1 4 h 3 1 6 , 3 3 0 ) ， 1 5he 3 3 0 , 3 4 5 ) 式( 2 - 6 ) 照下面的合成公式，把3 个颜色分量合成为一维特征矢量：其中，取姨- - - 4 ，瓯：4 ， ，i 娘绋h + d s + 矿 ，一4 4 h + 4 s + v1 1 6 日+ 4 s + 矿 式( 2 - 7 ) 式( 2 8 ) 这样就把h ，s ，v 这3 个分量在一维矢量上分布开来。 在公式2 - 8 中，我们取色调h 的权重为1 6 ，取饱和度s 的权重为4 ，取亮度v 的权重为1 ，这就突出了人类视觉对色调敏感的特点，并且减小了图像亮度v 和饱 和度s 对检索结果的影响，故能充分利用图像的颜色信息来满足用户的查询要求。 同时也可以算出l 的取值范围是 0 ，1 ，2 5 5 ，大大减小了未经量化的h s v 颜 色空间的尺寸，可以提高检索的效率。 在本文中，我们采取了h s v 颜色空问模型，统计每种颜色分量的象素占图像 总像素的比例，得到图像各种颜色分量的比例分布一直方图。最后把直方图作为特 征向量检索。图像的直方图具有尺度。旋转不变性，因此被广泛使用，但是计算 机本身固有的量化缺陷以及这种直方图忽略了颜色的相似性，后来人们又对这种 四洲!呈跏 o l 4 7 n o 0 o 矿 p v v o l 2 3 之 第二二章特征提取与表达 算法进行改进，产生了全局累加直方图和局部累加直方图方法，实验表明，这两 种方法对检索效果均有明显改善。 2 1 2 颜色矩 另一种非常简单而有效的颜色特征使由s t r i c k e r 和o r e n g o 所提出的颜色矩 ( c o l o rm o m e n t s ) ”“。这种方法的数学基础在于图像中任何的颜色分布均可以用 它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色 的一阶矩( m e a n ) 、二阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 就足以表达图像 的颜色分布。与颜色直方图相比，该方法的另一个好处在于无需对特征进行向量 化。颜色的三个低次矩在数学上表达为： 1 ”专弓 式 q 一砖羹( p 乒 驴( 二1 荟n ( p ，吨) 3 ) ； 式f 2 一l o ) 式( 2 1 1 ) 其中只是图像中第，个像素的第f 个颜色分量。因此，图像的颜色矩一共只需 要9 个分量( 3 个颜色分量，每个分量上3 个低阶矩) ，与其他的颜色特征相比是 非常简洁的。在实际应用中为避免低次矩较弱的分辨能力，颜色矩常和其它特征 结合使用，而且一般在使用其它特征前起到过滤缩小范围( n a r r o wd o w n ) 的作用。 2 1 3 颜色集 为支持大规模图像库中的快速查找，s m i t h 和c h a n g 提出了用颜色集( c o l o r s e t s ) h i 作为对颜色直方图的一种近似。他们首先将r g b 颜色空间转化成视觉均衡 的颜色空间( 如h s v 空间) ，并将颜色空间量化成若干个b i n 。然后，他们用色彩 自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来 索引，从而将图像表达一个二进制的颜色索引集。在图像匹配中，比较不同图像 颜色集之间的距离和色彩区域的空间关系( 包括区域的分离、包含、交等，每种 对应于不同得评分) 。因为颜色集表达为二进制的特征向量，可以构造二分查找 树来加快检索速度，这对于大规模的图像集合十分有利。 基于区域的图像检索关键技术研究与系统设计 2 2 纹理特征 纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征。它 是所有物体表面共有的内在特性，例如云彩、树木、砖、织物等都有各自的纹理 特征。纹理特征包含了物体表面结构组织排列的重要信息以及它们与周围环境的 l 珙系 3 6 1 。正因为如此，纹理特征在基于内容的图像检索中得到了广泛的应用，用 户可以通过提交包含有某种纹理的图像来查找含有相似纹理的其他图像。 2 2 1 纹理特征分类 纹理分析一直是计算机视觉的一个重要研究方向，纹理描述的难点在于它与 物体形状之间存在密切的关系，千变万化的物体形状与嵌套的分布使纹理的分类 变得十分困难。纹理是所有的表面所具有的内在特性。准确的纹理定义并不存在， 一种定义认为纹理是由纹理基元按某种确定性的规律或者只有某种统计规律排列 组成的。另一t 种更为模糊的定义是：纹理是由大量或多或少有序的相似基元或模式 组成的一种结构。使用数学或信息论的方法抽取的纹理度量称为纹理特征，纹理 特征可用来对图像中的空间信息进行定量的描述。纹理分析的方法主要分为两类： 结构方法和统计方法。结构方法假定图像由较小的纹理基元排列而成，只适用于 规则的纹理结构。统计方法又可进一步分为传统的统计方法、基于模型的方法和 基于频谱分析的方法。传统的统计分析方法始于2 0 实际7 0 年代早期的二阶灰度 统计特征的共生矩阵方法。8 0 年代开始，基于随机场模型的技术被用于纹理分析。 随机场模型包括圆同步自回归( c i r c u l a rs i m u l t a n e o u sa u t o r e g r e s s i v e ) 模型和高斯马 尔可夫随机场( g m r f , g a u s s i a nm a r k o vr a n d o mf i e l d ) 模型。多尺度的思想促进了 基于频谱分析方法的发展，特别是基于g a b o r 滤波器的技术在纹理分析中被广泛 采用。 结构方法是假定图像由较小的纹理单元捧列丽成，它采用句法分析方法，对 图像中非常具有结构规律的特征进行分析，但只适用于规则的结构纹理分析；统 计方法是对图像的颜色强度的空自j 信息进行统计，由此可进一步分为传统的基于 模型的统计方法和基于频谱分析的方法。因此纹理特征的描述方法主要可以分为 以下四种： 1 统计方法：这是最早的纹理分析方法，用来提取图像灰度的空问分布特征， 其中的一种的方法是灰度共生矩阵法，先计算出图像的共生矩阵，在此基础上再 计算出灰度共生矩阵，归一化后，进而可以得到熵、相关性、一致性、对比度等 纹理特征参数；还有一种方法则是从图像的自相关函数提取纹理特征，因图像的 第二章特征提取与表达 自相关函数就是图像的能量谱函数，则通过对能量函数的计算可以提取纹理的粗 细度及方向性等特征参数。 2 结构法；结构法的基本思想认为复杂的纹理可由一些简单的纹理基元( 基 本纹理元素) 以一定的有规律的形式重复排列组合而成。它是建立在纹理基元理 论的基础上，纹理基元理论认为纹理是由若干基元所构成，结构法便是通过提取 纹理基元的几何特征来表示图像的纹理特征的。如果我们能定义出一些排列基元 的规则，就有可能将某些纹理基元按照规定的方式组织成所需的纹理模式，这里 的规则和方式可用形式语法来定义。 3 模型法：模型法是以图像的构造模型为基础，采用模型的参数作为纹理特 征，这类方法有随机场模型法，如常见的马尔可夫和g i b b s 随机场模型法，随机场 模型法对规则的但非均匀的纹理描述能力不强，分型法也属于随机场模型法，它 是用分型的维数和孔数来描述纹理特征的；另外两种方法是同步自回归模型法和 w o l d 模型法已经应用到图像检索中，并取得了满意的效果。 4 频谱法：心理物理学研究已经证实，人们观察图像时，大脑对图像进行了 频率分析，而纹理本身的特性决定了它特别适合于这种分析。传统的频谱法借助 于傅立叶频谱的频率特性来描述周期的或近乎周期的2 一d 图像模式的方向性。常 用的3 个性质是： ( 1 ) 傅立叶频谱中突起的峰值对应纹理模式的主方向； ( 2 ) 这些峰在频域平面的位置对应模式的基本周期； ( 3 ) 如果利用滤波把周期性成分除去，剩下的非周期性部分将可用统计方法描， 述。 空域滤波是最直接的提取纹理特征的方