（通信与信息系统专业论文）融合颜色和纹理特征的建材图像检索技术研究.pdf

武汉理工大学硕士学位论文 摘要 随着多媒体技术、计算机技术以及网络技术的飞速发展，视觉信息飞速膨 胀，基于内容的图像检索由此得到关注。和基于文本的检索技术不同，它主要 根据图像的颜色、纹理、形状等底层视觉特征对图像进行检索。近几年，随着 房价的上涨，家居建材也备受人们的关注。如何在各式各样材质和款式的建材 中进行选择是人们极为最关心的问题。因此本文围绕着基于内容的图像检索技 术展开，重点研究建材的图像检索。 本文重点研究内容和创新点如下： ( 1 ) 研究了基于颜色特征和纹理特征的图像检索。在颜色特征上，研究了 几种常见的颜色空间( r g b 颜色空间，h s v 颜色空间以及l a b 颜色空间等) ， 以及各种颜色空间之间的转换；在纹理特征上，研究了纹理特征的表达方式( 灰 度共生矩，t a m u r a 纹理特征，自回归纹理模型，小波变换模型等) 及纹理特征 的提取方式，并通过对小波分解的研究，提出了一种改进的小波分解提取图像 纹理特征的方法，对图像的高频、中频以及低频部分进行有限制地再分解，避 免多余地分解，能很好的将建材图像从其他图像中区分出来。 ( 2 ) 在颜色特征和纹理特征的理论基础上，针对建材图像提出了一种将颜 色特征和纹理特征融合的检索方法。首先将图像颜色特征和纹理特征分别提取 出来，然后对颜色和纹理特征分配一定比例的权重，得到它们的综合特征，再 将综合特征归一化处理后得到的加权平均距离，作为相似性度量的依据，最后 进行图像检索。 ( 3 ) 通过实验，不仅验证了本文提出的改进树形小波变换方法对于建材图像 的检索效果很好，还得出了在木材、石材和金属材料这三类建材图像中，当纹理 特征权值在0 6 0 7 时，检索效果是最好的，此时可以将建材图像跟其他图像很 好地区分出来。 关键词：基于内容图像检索；颜色特征；纹理特征；建材图像 a b s t r a c t w i t ht h e d e v e l o p m e n to fc o m p u t e r n e t w o r k t e c h n o l o g y ，v i s u a l i n f o r m a t i o n t e c h n o l o g y ，m u l t i m e d i at e c h n o l o g ya n d e x p a n d sr a p i d l y ，c o n t e n t b a s e di m a g e r e t r i e v a l g e t sp e o p l e sa t t e n t i o n d i f f e r e n tf r o mt e x t b a s e d i m a g er e t r i e v a l ， c o n t e n t - b a s e di m a g er e t r i e v a lu s e st h ei m a g e sv i s u a lf e a t u r e st oi n d e xa n dr e t r i e v a l s u c ha s c o l o r , t e x t u r e ，s h a p ea n ds oo n r e c e n t l y ，w i t ht h er i s ei nh o u s ep r i c e s ， c o n s t r u c t i o nm a t e r i a l si sa l s op a i dm u c ha t t e n t i o n b yp e o p l e h o wt oc h o o s et h er i g h t s t y l e sa n dm a t e r i a l si saq u e s t i o nt h a tp e o p l ea t em o s tc o n c e r n e da b o u t t h i sp a p e ri s a r o u n dc o n t e n t - b a s e di m a g er e t r i e v a lt e c h n i q u e s ，a n df o c u s e so nt h ei m a g er e t r i e v a l o fc o n s t r u c t i o nm a t e r i a l s t h i sp a p e rf o c u s e so nf o l l o w i n g s ： ( 1 ) d i s c u s st h ei m a g er e t r i e v a lo fc o l o ra n dt e x t u r ef e a t u r e s i nc o l o r f e a t u r e f i r s ti n t r o d u c es e v e r a lc o m m o nc o l o r s p a c e s ( r g b ，h s v , l a ba n ds oo n ) ，t h e n i n t r o d u c et h ec o n v e r s i o nb e t w e e nt h e ma n dt h ee x p r e s s i o no f t h ec o l o rc h a r a c t e r i s t i c s ： i nt e x t u r e f e a t u r e ，i n t r o d u c et h e e x p r e s s i o n o ft e x t u r e f e a t u r e s ( g r a y l e v e l c o - o c c u r r e n c em a t r i x ，t a m u mt e x t u r ef e a t u r e ，a n dt h ew a v e l e tt r a n s f o r mm o d e l ) a n d t h em a n n e ro ft e x t u r ef e a t u r e se x t r a c t i o n a c c o r d i n gt ow a v e l e ta n a l y s i s ，p r e s e n ta l l i m p r o v e dm e t h o do fe x t r a c t i n gt e x t u r ef e a t u r eb a s e do nw a v e l e tt r a n s f 0 肋a t i o n t 1 l e a l g o r i t h mc a r r i e do nt h el i m i t e d r e d e c o m p o s i t i o n t ot h e h i g h ，m e d i u ma n d l o w - f r e q u e n c yp a r t so ft h ei m a g ea n da v o i d e dt h en o n e s s e n t i a ld e c o m p o s i t i o np r o c e s s b e s i d e s ，i tc a l ld i s t i n g u i s ht h ec o n s t r u c t i o nm a t e r i a l s ( ”o nt h et h e o r yo fi m a g ef e a t u r ea n dt e x t u r ef e a t u r e ，p r o p o s eam e t h o do f c o m b i n i n gt h ef e a t u r e s f i r s te x t r a c tt h e s ef e a t u r e s ，t h e na l l o c a t et h er i g h tw e i g h to f t h ef e a t u r e si no r d e rt oo b t a i nt h ei n t e g r a t e df e a t u r e sa n dn o r m a l i z et h e m ，a tl a s t ，u s e t h ei n t e g r a t e df e a t u r e st or e t r i e v a l ( ”a c c o r d i n gt on u m b e r so fe x p e r i m e n t s ，v e r i f yt h ei m p r o v e dm e t h o do f e x t r a c t i n gt e x t u r ef e a t u r eb a s e do nw a v e l e tt r a n s f o r m a t i o ni sb e t t e rt h a nt h e 武汉理t 大学硕士学位论文 t r a d i t i o n a lm e t h o d si nc o n s t r u c t i o nm a t e r i a l s i na d d i t i o n ，g e tt h eb e s tt e x t u r ef e a t u r e w e i g h tt od i s t i n g u i s ht h ec o n s t r u c t i o nm a t e r i a l si sa b o u t0 6 - 0 7 k e yw o r d s ：c o n t e n t b a s e di m a g er e t r i e v a l ；c o l o rf e a t u r e ；t e x t u r ef e a t u r e ； c o n s t r u c t i o nm a t e r i a l si m a g e l 武汉理i ：人学硕士学位论文 1 , 1 研究背景和意义 1 1 1 研究背景 第1 章绪论 随着多媒体技术以及网络信息技术的迅猛进步，作为信息表现的最直观方 式之一的图像，在各个行业被广泛应用，如建筑材料、医疗器械、法律等。每 个领域都有自己庞大的图像库，如何在这庞大的图像库中高效、准确地查询和 浏览图像，是人们最为关心的问题。图像检索技术因此成为了重点研究对象。 最早的图像检索技术可以追溯到上个世纪7 0 年代，称为基于文本的图像检 索技术。它主要通过文本匹配的方法进行检索，其中的“文本”包括图像标题、 图像时间、图像作者等。由于当前图像理解技术和计算机视觉技术发展的限制， 目前人机交互的技术不够成熟，因此人工进行标注仍然占主导地位。人工对图 像进行标注有着很多缺点，如：工作量极大，对图像信息表达不完整，主观意 识影响严重等，这都导致图像检索的结果不够精确。因此，新的图像检索方法 亟待提出【1 1 。 大规模数字图像库于上世纪9 0 年代初出现，各行各业都对图像检索相关技 术迫切需求，为了满足这些需求，也为了解决基于文本图像检索的不足，人们 提出了基于内容的图像检索技术1 2 1 。跟以往基于文本的图像检索使用人工标注方 法不同的是，基于内容的图像检索技术首先将每一幅图像的底层视觉特征如颜 色、纹理、形状等提取出来，建立索引，其次计算示例图像和图像库中目标图 像的相似距离，最后将相似距离小的图像返回，作为查询结果。 1 1 2 研究意义 各行各业都存在图像检索技术，其中基于内容的图像检索技术运用最为广 泛。在知识产权保护中，工作人员可以根据商标数据库的检索对产权进行保护 和监督；在医学领域中，医生可以利用先进图像检索技术提高工作效率；在卫 星监测中，基于内容的图像检索可以提高卫星对地面的检测性能。可见，图像 检索无处不在，尤其是基于内容的图像检索，为各个领域中海量图像的快速查 1 武汉理：大学硕+ 学位论文 询和管理问题提供了有效的解决途径，为它们强有力的支持和意想不到的便利。 基于内容的检索系统有以下特点： ( 1 ) 需要提取的图像信息包含在图像内容中。与以往基于文本的图像检 索不同的是，基于内容的图像检索直接对图像的内容进行分析，并将图像特征 提取出来作为相似性度量的依据。 ( 2 ) 图像特征很丰富。图像的底层视觉特征有很多，如颜色、纹理、形状、 空间关系等，这些都可以作为图像的特征。 ( 3 ) 交互性强。用户可以通过检索系统的界面实现检索过程。 ( 4 ) 检索过程是一种相似性度量。根据待检索图像的特征和图像特征库中 特征的距离进行度量，跟数据库检索的精确匹配算法不同，图像检索结果会按 照相似距离由小到大的顺序显示在界面上。 虽然基于内容的图像检索技术研究取得了长足的进步，但要真正使用到现 实生活中，仍然有很大的研究空间。随着多媒体信息和互联网技术的不断发展， 尤其是基于内容的图像检索技术在i n t e r n e t 中的深入应用，决定了基于内容的图 像检索技术是一个颇具生命力的研究方向。基于此，对这项技术的研究具有很 好的理论价值以及广阔的应用前景。近年来，全国各地房价不断上涨，拥有一 套温馨、舒适的住房是每个人梦寐以求的事情，因此家居建材的选则显得尤为 重要。如何在各式各样的材质和款式中选择，是人们极为关心的问题。本文将 基于内容的图像检索技术引用于建材的选取中，为人们提供便利。 1 2 国内外研究现状 基于内容的图像检索开始于9 0 年代初，因为它的直观性，高效性，通用性 等特点，被越来越广泛的利用和研究。从那时起，各式各样的检索系统应运而 生。 1 2 1 图像检索系统 目前市面上存在的图像检索系统有很多是基于文本的，但作为用户，虽然 基于文本的图像检索系统检索速度很快，但已经不能满足需要，这时许多基于 内容的图像检索系统软件问世，它们在性能特点上各有千秋，比较著名的检索 系统如下1 3 , 4 , 5 1 ： 2 武汉理j 1 ：人学硕士学位论文 ( 1 ) q b i c 。i b m 公司作为行业领军者，最早推出了一款基于内容的图像 检索系统一q b i c ，英文含义是“根据图像的内容进行查询”。不管是它的结构 框架还是关键技术，都对后来的基于内容检索系统提供了强有力的支持。用户 在检索过程中，不用提供检索关键词，只需根据检所要求输入待查询图像，系 统就可检索出用户所需要的相似图像。它同时提供了多种查询方式，如扫描图 像或绘制简图进行检索、选择结构或色彩进行检索、利用标准范图进行检索、 输入动态影像片段和前景对象进行检索等。 ( 2 ) p h o t ob o o k 。麻省理工学院的多媒体实验室研发出了p h o t ob o o k ，交互 式图像数据库查询和浏览是它的主要功能，此外，还具有如下功能：形状识别、 纹理识别、大脑形状识别和人脸识别。 ( 3 ) v i s u a ls e e k 和w e bs e e k 引。这两个系统是由哥伦比亚大学开发的，其 中v i s u a ls e e k 是视觉特征引擎，w e bs e e k 是互联网搜索引擎。虽然与其他c b i r 系统相似，但其中的w e b 图像检索是它最大的特点。它采用了先进的特征抽取 技术，用户界面人性化，操作简单，查询途径丰富等都是它广受好评的因素。 ( 4 ) n e t r a 。n e t r a 是一个c b i r 原型系统，由加利福尼亚大学亚历山 大数字图书馆项目中开发。重点研究从已分割的图像中，查询相似区域并匹配。 n e t r ai i 是基于颜色特征和区域的图像检索系统，是n e t r a 的新版本，通过 应用特征的距离化度量和色彩量化等技术，加速了图像分割。 除了上述c b i r 系统外，还有很多优秀的检索系统。在国内，对基于内容的 图像检索系统也有着深入研究。早在1 9 9 7 年，清华大学计算机系就研制出一个 网络环境下的基于内容的图像检索系统，主要功能是：在网络环境下，通过人 性化的界面，为用户提供基于颜色、纹理、形状等特征的图像检索服务。 现在大多数图像检索系统都是基于固定的、数目有限的图像库进行检索， 当面对海量网络图像时，如何在其中进行检索是值得研究的问题。目前流行的 面对海量网络图像的基于内容图像检索系统有“百度识图和“谷歌图片 ， 这两款搜索系统可以根据用户需要上传本地图片或者图片链接，然后通过网络 蚂蚁遍历网络上的海量图像，再从其中找出相似的图像进行显示。 1 2 2 研究热点和难点 传统的基于文本的图像检索有着诸多不足，如每个人对图像的理解不同， 导致文本描述信息存在多义性；在查询图像时，需要人工标注其表达内容的关 3 武汉理1 ：大学硕士学位论文 键字信息，导致工作量巨大而且不灵活等。因此，人们想到了如果系统能自动 的理解图像的内容，上述问题便迎刃而解，于是基于内容的图像检索诞生了。 由于图像的自身包含着丰富的视觉特征，如颜色、纹理、形状以及空间关系等， 和传统的基于文本图像检索相比，其优点是：利用这些图像底层视觉特征作为 检索依据，可以很大程度上去除歧义性；对提取的特征进行相似性度量，采用 近似查询的方法，提高了检索精确度。检索过程大体如下：首先对待检索图像 进行特征提取( 颜色、形状、纹理等特征) ，然后与图像特征库中的特征进行 相似性度量，最后将相似度大的图像返回给用户作。如图1 - 1 ： 图1 - 1 基于内容图像检索系统框图 基于内容的图像检索技术有很多，其中最关键的技术如下： ( 1 ) 图像特征描述模块。由于图像的底层视觉特征有很多，因此特征描述 模块主要负责将图像的特征提取、描述以及表达等工作。它涉及到视觉信息分 析( 对感兴趣区域的检测) 和视觉信息理解。图像所有的特征集合便是对图像 内容的描述。优异的图像特征既能符合用户视觉，又能将相关图像和非相关图 像区分开来，因此是c b i r 的关键技术。 ( 2 ) 相似性度量。顾名思义，就是两幅图像之间的相似程度。由于检索结 果是提供给用户的，所以应该根据用户的视觉习惯来定义相似性度量。常用的 相似性度量方法有欧氏距离等。 ( 3 ) 图像的查询方式。图像查询方式应该有以下三方面：首先是多特征组 合，由于图像特征很丰富，对于不同的图像选择不同的特征进行查询可以有效 4 武汉理丁大学硕士学位论文 提高检索效率；其次是相关反馈，由于检索系统的输出结果不可能完全符合用户 期望，因此根据用户的期望来向系统反馈信息，让系统重新调整内部信息从而优 化检索结果的方式，这也是目前最常采用的检索方式；最后是将前两种查询方式 相结合( 语义查询) ，这样更能表达图像的完整信息，也能使检索效果更好。 目前基于内容的图像检索技术已经取得了一定的进展，但跟传统的基于文 字的图像检索引擎相比，在查询效率上还是有一定的差距。因此目前的研究热 点和研究困难如下： ( 1 ) 基于图像高层语义的研究【2 8 刀l 。图像的语义不同于图像的底层视觉特 征，如颜色、纹理、形状以及空间信息等，跟人类的视觉存在差异性，它是一 种主观抽象的特征，偏向于智能化的理解，因为他更能表达图像的含义，因此 成为目前的一个研究热点和难点。尽管语义查询更符合人们的习惯，但目前很 难讲这种查询方式完全智能化。 ( 2 ) 基于内容的图像检索重点研究领域之一就是相关反馈。这项技术建立 在人机交互的基础上，主要思想是通过猜测用户的需求来调整检索时的特征向 量以及特征的权重等数据，缩小视觉特征和高层语义的差距，从而提高检索效 果。和传统的信息检索不同的是，图像检索不仅需要内容的可视化和理解用户 的行为，查询空间的可视化也十分重要同。 ( 3 ) 基于区域的图像检索技术也是目前的研究重难点。他偏向于人类智能 化理解，通过图像的分割提取对象，再用局部特征来表达每一个区域，最后图 像的综合特征便是将每一个区域的特征融合起来，进行检索。由于此项技术比 较困难，目前图像中的对象还不能很好地跟分割出来的区域对应起来，所以还 值得人们进一步研究。该研究方向代表性的工作为文献p l o l 。 ( 4 ) 高位索引技术的研究1 1 6 ，1 7 j 。图像检索系统好坏的评估标准之一便是速 度。但由于图像特征的多样性决定了特征维数很高，导致检索速率下降。因此， 对高维索引技术的研究可以提高检索速度。此项技术主要包含两方面：高维特 征索引和高维特征缩减，这都是为了解决维数高和检索速度的矛盾。 1 3 本文结构和研究内容 本文围绕基于内容的图像检索技术，重点研究建材图像的检索。利用将颜 色特征和纹理特征相结合的方法，通过配置这两种特征的权重，提出种最佳 权重比应用于建材图像的检索，有效地提高检索效率。主要研究内容和创新点 5 武汉理工人学硕十学位论文 总结如下： ( 1 ) 研究了基于颜色特征和纹理特征的图像检索。在颜色特征上，研究了 几种常见的颜色空间( r g b 颜色空间，h s v 颜色空间以及l a b 颜色空间等) ， 以及各种颜色空间之间的转换；在纹理特征上，研究了纹理特征的表达方式( 灰 度共生矩，t a m u r a 纹理特征，自回归纹理模型，小波变换模型等) 及纹理特征 的提取方式，并通过对小波分解的研究，提出了一种改进的小波分解提取图像 纹理特征的方法，对图像的高频、中频以及低频部分进行有限制地再分解，避 免多余地分解，能很好的将建材图像从其他图像中区分出来。 ( 2 ) 在颜色特征和纹理特征的理论基础上，针对建材图像提出了一种将颜 色特征和纹理特征融合的检索方法。首先将图像颜色特征和纹理特征分别提取 出来，然后对颜色和纹理特征分配一定比例的权重，得到它们的综合特征，再 将综合特征归一化处理后得到的加权平均距离，作为相似性度量的依据，最后 进行图像检索。 ( 3 ) 通过实验，不仅验证了本文提出的改进树形小波变换方法对于建材图像 的检索效果很好，还得出了在木材、石材和金属材料这三类建材图像中，当纹理 特征权值在0 6 0 7 时，检索效果是最好的，此时可以将建材图像跟其他图像很 好地区分出来。 本文各章节内容具体安排如下： 第1 章绪论。介绍了课题的背景和选题意义，概述了基于内容的图像检索 技术的应用范围和国内外对该技术的研究热点、难点以及发展现状。 第2 章基于内容的图像检索方法。阐述了基于内容的图像检索技术的分类 和对该技术的性能指标、系统评价。 第3 章基于颜色特征的图像检索方法。对颜色空间以及颜色特征提取等技 术做了研究。 第4 章基于纹理特征的图像检索方法。研究了常见的纹理特征提取方法， 将小波变换的方法运用在了建材图像的检索当中，并提出了一个判定条件对其 进行改进，不仅避免了多余的分解步骤，减少了工作量，而且可以很好地提取 出建材图像中高频细节纹理信息，对建材图像检索有显著效果。 第5 章实验与分析。通过将颜色特征和纹理特征融合，优化了检索效率， 并计算出建材图像中颜色和纹理特征的最佳权值。 第6 章总结与展望。 6 武汉理工大学硕士学位论文 第2 章基于内容的图像检索技术 2 1 检索技术分类 2 1 1 基于颜色特征的检索 一幅图像中最简单、最直接的特征就是颜色，因此最早被应用在基于内容 的图像检索中。跟其他图像特征相比，它具有很多优点，如：对图像本身的方 向和尺寸依赖性很小，拥有很高的鲁棒性。除此之外，提取方法简单也是其特 点之一。下面是常见的几种颜色表示方法： ( 1 ) 颜色直方图：最主要的基于颜色图像检索方法之一。它的优点如下： 计算简单，对图像的旋转变形很稳定，对镜头位置不敏感等。当然，也具有一 些缺点，如：对颜色量化误差的影响大，不能反映颜色分布空间信息等。这分 别导致颜色直方图差别很大的图像颜色差别很小以及误识率很高。 ( 2 ) 颜色矩：它是颜色特征简单有效的表达方式之一。颜色矩分三阶，一 阶为均值，二阶为方差，三阶为斜度，它主要对这三阶分量进行分析和统计， 事实证明，这些颜色矩对颜色分布的表示很有效果。 ( 3 ) 颜色相关图：它是颜色直方图在空间的一种延伸。不但说明了不同颜 色对之间的空间相关性，还反映了某种颜色的像素数量在整个图像中的比例。 和其他方法相比，颜色相关图优点是提高了检索效率，缺点是高维数导致的大 计算量。 ( 4 ) 局部颜色特征：顾名思义，首先把图像划分成若干个区域，然后在每 一个区域中选取一种颜色作为代表，两幅图像具有相似颜色区域的重叠度，即 是它们的相似性。 2 1 2 基于纹理特征的检索 图像的另一个重要特征是纹理特征，它的本质是刻画像素的领域灰度空间 分布规律。他不依赖于颜色和亮度，是物体固有的特性。一般图像都具有稳定 和丰富的纹理特征，使用统计方法提取图像的纹理特征具有计算量小的特点， 7 武汉理工人学硕十学位论文 因此，纹理特征是图像分析处理研究中的一个重要部分，在遥感图像分析、场 景分析、医学图像分析等许多领域有着重要及其广泛的应用。 纹理特征的描述方法和提取算法主要有以下几种： ( 1 ) 统计方法：典型代表就是灰度共生矩阵的纹理特征分析法。它分析了 图像纹理中灰度级的空间依赖关系。图像灰度的空间分布通过共生矩阵来提取， 可以很好地运用在图像的分类上。 ( 2 ) 几何法：主要建立在纹理基元理论基础上。在纹理机缘理论中，核心 思想就是一些简单的纹理基元如果按照一定规律重复排列，便可构成复杂的纹 理。若要获得一些需要的纹理模式，则可以定义一些基元排列规则，将纹理基 元按照规则排列，便构成需要的纹理模式。 ( 3 ) 信号处理法：纹理特征特别适合频率分析。频率分析在信号处理中有 许多方法，如通过小波模型和g a b o r 过滤法对图像进行多分辨率滤波，从而提 取纹理特征，通过傅立叶频域法从图像的傅立叶变换提取纹理特征。 ( 4 ) 模型法：图像的结构模型是模型法的基础，纹理特征即使模型的参数。 运用较为普遍的模型法是随机场模型法，如：g i b b s 随机场以及马尔可夫随机场 模型法。 2 1 3 基于形状特征的检索 作为图像检索和图像识别的关键信息之一的形状特征，使物体的一种稳定 特征，即不随着周围环境的变化而改变。与颜色特征和纹理特征不同的是，必 须以图像的区域划分为基础。 形状特征表示方法有两种：基于区域特征和基于轮廓特征。他们分别针对 图像的区域形状和物体的外边界。常见的形状特征表示方法有： ( 1 ) 几何参数法：基于形状特征的图像检索时，主要运用和形状有关的定 量测度，如偏心率、面积、周长、代数不变矩、圆度以及主轴方向等几何参数， 其中，曲率符号、转角和代数矩对形状的描述是最接近人的视觉特性的。 几何参数法最重要的是，形状参数的提取必须以图像分割和图像处理为前 提，要想形状参数准确，图像的分割效果必须要好。 ( 2 ) 形状不变矩法：多用于基于区域的形状描述中。这种方法是一种统计 方法，需要图像中所有相关的像素点，对象的特性可以从通过这种方法从全局 观点进行描述。h u 不变矩是通过图像的二、三阶矩将中心距归一化，得到图像 8 武汉理t 大学硕士学位论文 具有缩放不变性、变换不变性以及旋转不变性的7 个不变矩组。由h u 在他的一 篇应用图像二维矩的文章中提出，是一组基于通用矩组合的代数矩不变量。 妒l = 7 2 0 十r l o z 妒2 = ( 7 7 2 0 + r l o z ) 2 + 4 , 7 1 2 1 妒3 = ( 7 7 3 0 一3 7 7 1 2 ) 2 + ( 3 7 7 2 1 7 0 3 ) z 钆= ( 7 7 3 0 + 7 7 1 2 ) 2 + 铆2 i + 0 0 3 ) 2 妒5 = ( 7 7 3 0 一3 7 7 1 2 ) + ( 7 7 3 0 + r h z ) 【( 7 7 3 0 + 7 1 2 ) 2 3 ( 7 7 2 1 + 7 0 3 ) 2 】 + ( 3 7 2 1 0 0 3 ) ( 7 7 2 1 + 7 7 0 3 ) 3 ( r t 3 0 + 7 1 1 2 ) 2 一( 7 7 2 l + 7 1 0 3 ) 2 】 ( 2 1 ) 妒6 = ( 7 7 2 0 一7 7 0 2 ) 【( 7 7 3 0 + 7 7 1 2 ) 2 一( 7 7 2 1 + r i 0 3 ) 2 】 + 4 7 7 1 1 ( r 1 3 0 + 7 7 1 2 ) ( 7 7 2 1 + 0 0 3 ) 妒7 = ( 3 7 7 2 l 一7 7 0 3 ) + ( 7 7 3 0 + 7 1 2 ) 【( 7 7 3 0 + 7 7 1 2 ) 2 3 ( 7 7 2 l + 7 0 3 ) 2 】 ( 3 7 7 1 2 一r 1 3 0 ) ( r 1 2 1 + 7 7 0 3 ) 3 ( r 1 3 0 + 7 1 2 ) 2 3 ( 7 7 2 1 + 7 0 3 ) 2 】 2 1 4 基于综合特征的检索 基于综合特征的图像检索是全面描述图像内容的一种检索方法，即将图像 的底层视觉特征融合，如颜色、纹理、形状以及空间关系等。它既可以将两个 不同的特征结合起来，也可以将两个以上的特征相结合。这种结合方法可以在 两个层次进行： ( 1 ) 在进行检索的时候，同时使用若干种特征，即综合考虑这几种特征( 如 配置权重比) ，用其共同进行检索； ( 2 ) 分析各个特征的特点，设计新的特征，用于更深层次的结合。比如， 利用颜色特征和纹理特征相结合的方法，可以构成色彩相关直方图，利用颜色 特征和空间关系这二者的特点，基于颜色布局的图像检索便应运而生。 目前，没有一种图像特征可以既准确又全面地描述其全部内容，所以基于 综合特征的检索技术就变得有很高的可用性，它具有以下优点i ( 1 ) 可以实现图像不同特征之间的互补。如上一节举得例子，在一幅同时 有绿树和绿草的图像里，仅仅依靠颜色特征是远远不够的，通过结合空间关系， 便大大提高了检索效率，弥补了颜色特征对图像表达的不足。在这幅图中，也 可利用颜色和纹理结合的方法，虽然绿树和绿草的颜色直方图相似，但是其纹 理特征是完全不同的，利用此法，也可以快速分辨二者。 ( 2 ) 提高检索系统的性能以及检索的灵活性。人们可以根据实际需要，通 过结合不同的图像特征，来设计检索系统，因此大大提高了检索灵活性和检索 9 武汉理工大学硕士学位论文 效率。几大著名图像检索系统中都运用了综合特征的检索技术，如下表。 表2 1 几大著名图像检索系统中图像特征使用情况 特征 序号系统 颜色纹理形状空间关系文字 1 v i r a g e 是是是 20 b l c 是是是是 3p h o t o b o o k 是是 4p i c t i o n 是是是 5c h a b o t 是是 2 2 相似性度量 基于内容的图像检索需要提取图像的底层视觉特征，若两幅图像的特征相 似，则可认为这两幅图像相似。 相似性是反映两个特征或者两个物体之间的关系强度，其值一般在卜1 ，1 】之 间，也可以被标准化n 0 ，1 】之间。 相似与不相似的程度经常用距离来进行度量，也就是基于一些特征的两个 物体之间的差异，也就是两个物体之间的无关程度。距离一定要满足以下四个 数学条件： 非负性：距离必须大于等于零； 恒等性：当且仅当度量空间中一点是自身时，距离为零； 对称性：两点之间的距离与起始点的选取无关； 三角不等性：两点之间的距离小于等于两点分别到第三点距离的和。 以上四条用数学公式表示如下： 设x 是一个非空的空间点集，对于任意另g 战如果存在一个数d r ， 则 非负性：d 积 d ，p g 恒等性：d 积= d 对称性：d 积砂= d 向 三角不等性：d 融砂d 砂+ d 仉砂， w x 1 0 武汉理工人学硕十学位论文 满足以上四个条件的函数d 称为距离函数或度量函数。 以下是相似性度量的具体方法： ( 1 ) l 】距离和l 2 距离 假设图像特征各维度重要程度相同，各分量之间正交且无关，则两个特征 向量a 、b 之间的l 】距离可以表示为： ) i = 鉴1 i a f b f i( 2 2 ) 其中n 是特征向量的维数。l 2 距离如下： d z = 些l f b i ) 2 ( 2 3 ) ( 2 ) 二次式距离 二次式距离在颜色直方图上有时会更有效，因为它考虑了不同颜色之间的 相似性。设有两个颜色直方图，分别为i 跟q ，它们的二次式距离如下： d = ) 。彳( q - 0( 2 4 ) a = 【口f 月是颜色相似矩阵，n f 是直方图下标为f 和两个灰度值之间的相似度。 通过对色彩心理学的研究，可以得到a 。这种方法大大减小了相似性计算的代价， 因为a 的引入可以将相似却不同的颜色间的相似因素列入考虑。 ( 3 ) 直方图相交距离 度量直方图距离方法之一就是直方图相交距离，设，q 是含有j 个灰度级的 两个直方图，q 为查询图像，则直方图相交距离： s ( 1 ，q ) = 冬1 m i n ( f ，q ，) ( 2 5 ) s ( 1 ，q ) 的意思是在每个灰度级中，两个直方图共有的像素数量。为了让距离 值e o ，1 】，可以用公式( 2 6 ) 来进行标准化，。 叩肋= 掣 仁6 ， ( 4 ) 马氏距离 通过马氏距离计算相似性的前提是：特征向量各个分量具有不同的权重或 者具有相关性。 d l 口l 口l = c a b ) 7 c 一1 ( a b ) c 是特征向量的协方差矩阵。 ( 2 7 ) 武汉理工人学硕十学位论文 若特征向量的各分量间无相关性，则只用计算每个分量的方差c ，进一步简 化马氏距离如下： 珐= 翟1 譬竽 ( 2 8 ) 相似性度量方法很多，除了以上所述的一些基于距离的度量之外，还有 c a m b e r r a 距离、c o r r e l a t i o n 距离、无限模距离以及特征对比模型( c o n t r a s tm o d e l ) 【1 0 l 等方法。在实际运用中，我们应该根据实际情况，选取最合适的方法灵活使 用。 2 3 本章小结 这一章内容是本文的理论基础，首先介绍了基于内容的图像检索大致的框 架和总原理，接着分别介绍了基于图像底层视觉特征的各种检索技术，最后介 绍了相似性度量的方法。 1 2 武汉理工大学硕十学位论文 第3 章图像检索中的颜色特征研究 颜色特征不仅仅是图像的重要特征之一，更是人类主要视觉特征之一，他 直接反应人眼视觉系统对物质世界色彩的主观感受。颜色特征在图像检索中具 有许多优点，如稳定性好、鲁棒性强、简单易表达等。正是由于这些优点，让 颜色特征成为了基于内容图像检索技术中最为重要的方法之一。 3 1 颜色空间 研究颜色特征的基础，就是颜色空间。可以将颜色空间分为： ( 1 ) 强度胞和度色调型颜色空间：此种类型避免了光亮度对颜色的影响， 具体例子有h i s 、h s v 、和l c h 等； ( 2 ) 混合颜色空间：将红、绿、蓝按照一定的比例，合成颜色。颜色空间 有r g b 、m y ( k ) 以及x y z 等； ( 3 ) 非线性亮度色度型颜色空间：非常适用于黑白图像，对非色彩的感知 用一个分量表示，对色彩的感知用两个独立的分量表示。颜色空间有 l a b 、l u v 、y u v 和y i q 等。 3 1 ir g b 颜色空间 r g b 是建立彩色图像最常用的一种模式，几乎包括了人类所能感知的所有颜 色。它基于笛卡尔坐标系统，有红、绿、蓝三种基本颜色构成，三个坐标轴依 次是r 、g 、b 。由于这三种基色叠加为白色，每叠加一次三种基色，图像亮度 就会增加，因此又被称作加色模式。目前大部分显示器都采用r g b 颜色空间，3 2 位颜色的显示器可以显示1 0 0 多万种颜色。显示颜色的方式是通过电子枪打在 屏幕的红、绿、蓝三基色发光极上。 在r g b 颜色坐标体系中，原点表示黑色，即红、绿、蓝三种基色亮度都为0 ； 白色( 1 , 1 ，1 ) 表示三种基色都达到最大亮度；灰色是由三种基色组合而成，均 匀地分布在r g b 空间模型白到黑的对角线上。具体空间模型如下： 1 3 武汉理工大学硕十学位论文 品红( 1 ，0 ，1 r b 图3 - 1r g b 彩色立方体空间模型 0 ，1 ，1 ) ( 0 ，l ，o ) g 尽管r g b 颜色模型运用的非常普遍，但并不是视觉一致性空间，不太符合 人们对色彩的感知。人们视觉只能大致分辨出物体的颜色，但很难说出r 、g 、 b 的分量各占多少。 3 1 2h s v 颜色空间 不同于r g b 颜色空间，h s v 颜色空间是视觉一致性空间，颜色的表示主要 由三个分量：色调h ( h u e ) 、饱和度s ( s a t u r a t i o n ) 、和亮度v ( v a l u e ) 。 ( 1 ) 色调：即图像中光的颜色。由于光的物理特性，导致了光的不同颜色， 也就是我们所说的不同色调。非光源的色调由它反射、吸收光源的特性决定， 光源的色调取决于它辐射光谱的分布特性，。 ( 2 ) 饱和度：即彩度，表示颜色中灰色所占比例( o 为灰色，1 0 0 为完 全饱和) 。 ( 3 ) 亮度：即颜色明暗度，用由黑到白的百分比来度量，o 为黑，1 0 0 为自。它跟物体反射率成正比，对于彩色图像，白色越多，则说明亮度越大； 相反，黑色越多，则亮度越小。 h s v 模型是三维空间中的一个正六棱锥，如图3 2 。 1 4 武汉理工大学硕士学位论文 1 8 0 。青 2 4 0 。 v 1 2 0 。绿 ，6 0 。黄 ? 、 ? ? 0 。红 ! f 胁o o o 品红 图3 - 2h s v 颜色空间模型 此六棱锥顶面含有各种最大亮度的颜色，与v = 1 相对应，色调h 由绕v 轴 的旋转角给定，红、绿、蓝三色分别对应0 。、1 2 0 。、2 4 0 。三种角度，每一种 颜色和它的补色相差1 8 0 。 3 1 3l a b 颜色空间 1 9 7 6 年，国际照明委员会定义了l a b 颜色空间模型，它是一种近似均匀的 彩色空间，跟人类视觉感知很相近。其中l 表示照度，即亮度；a 和b 是有关色 彩的两个要素，分别表示从洋红色到绿色的范围以及从黄色到蓝色的范围。l 范 围是0 到1 0 0 ，a 、b 的范围是1 2 8 至u + 1 2 7 ，如1 2 8 a 就是绿色，+ 1 2 7 a 就是洋红 色，对于b 也如此。这三个值的交互变化，组成了所有的颜色。对于l a b 颜色 空间，任何设备输出的相同图像都具有相同的颜色，说明它与设备无关。 3 2 颜色空间的转换 3 2 1r g b 空间到h s v 空间的转换 h s v 颜色空间与r g b 颜色空间完全不同，它与人们视觉特征直接对应，包 括色调、饱和度和亮度，而r g b 则跟人们的视觉感知有较大的差距。由于h s v 1 5 武汉理工大学硕士学位论文 空间更符合人们的视觉特征，因此很多情况下，需要将r g b 转换到h s v ，而且 r g b 到h s v 的是非线性的，转换非常简单方便。r g b 到h s v 的转换算法如下： 设r g b 颜色空间中任一点的值为( r ，9 力) ，r ，g ，b 【0 ，1 ，2 s s ，转 换到h s v 颜色空间的h ，s ，秒值计算如下： 设1 7 = m a x ( r ，g 力) ( 3 1 ) ， 秒一7 r = v - m i n ( r , g , b ) ( 3 2 ) 灿= 盖 h = 9 = 石磊v 而- g 6 = 石磊v 丽 - b 1 7 7 n 7 li r 口，dj v - m i n ( r ，g ，6 ) s = 1 产= 2 ( 3 3 ) ( 3 4 ) ( 3 5 ) ( 3 6 ) 矿7 = 1 7 a n dg = m i n ( r ，g ，b ) f 厂r = 秒a n d 目m i n ( r ，g ，b ) i f f 厂g 夕= = v 1 7 ，a n d 6=rain(r,，g,，b6)andbm i n ( rg ) ( 3 7 ) 矿夕= 1 7 。 ，6 ) 、7 旷b = 秒a n dr = m i n ( r ，g ，b ) o t h e r w i s e h = 6 0 h 这坠h l oo 。3 6 0 o 1 。s c o 。1 1 一c o 。1 1o 3 2 2r g b 空间到l a b 空间的转换 ( 3 8 ) l a b 颜色空间在实际应用中适合所有物体色和光源色的计算，因此有着很高 的使用价值。将图像由r g b 颜色空间转换到l a b 颜色空间需要两步，第一步， 将r g b 颜色空间转换到x y z 颜色空间；第二步，将x y z 转换到所需要的l a b 颜色空间。 首先，将r g b 颜色空间非线性转换到x y z 颜色空间： r x l1 o 4 3 10 3 4 20 1 7 8 r r l = 1 0 2 2 20 7 0 70 0 7 1 i i g l ( 3 9 ) u zi o ：o 三oo 1 3 0o 9 3 9 儿b j 、7 1 6 ， 6 g r 6 g r + 一 + 一 + 一 s 1 1 3 3 5 ，illl-ill-f、i-_【 武汉理工大学硕士学位论文 再从x y z 空间转换到l a b 空间： l = 卜( 岛h 娟；争o o o s s 5 6 卜似茜；去鲫0 0 8 8 5 6 其中： 口= s o o 厂皖一东) 】 6 = 2 0 0 p 慌一杀) 】 ( 3 1 0 ) ( 3 1 1 ) ( 3 1 2 ) 静瞅岛嚆篆： 埘 矿，y ，z ) ，z o ，) 为参考白光。 3 3 颜色特征的表示 彩色图像的整体特性可以通过颜色特征表示，常见的颜色特征有：颜色矩、 颜色直方图、颜色聚合向量和颜色集等。 3 3 1 颜色直方图 颜色直方图( c o l o rh i s t o g r a m ) 实际上是一种可以有效表示图像中颜色分布 信息的统计数值，颜色值由横轴表示，相同