（计算机应用技术专业论文）基于分类技术的图像检索系统设计与实现.pdf

摘要 摘要 在数据库系统和计算机视觉两大研究领域的共同推动下，图像检索技术已 逐渐成为一个非常活跃的研究领域。基于内容的图像检索不同于传统的基于文 本的图像检索，它实际上是一种模糊查询技术，通过对图像提取一定的特征， 找出在特征空间中与查询要求最相近的图像。这就涉及两个方面问题：一、如 何提取特征；二、特征向量间距离如何测量。本文首先对这两个方面做了深入 的研究和总结。 在检索上，本文提出一种新的方法，即把自动分类技术引入到图像检索中 来，而且每类图像采用相应的特征组合去检索，具体做法如下：把图像库分成 现实上有意义的几类，入库时，对图像分类存放进图像库，提取特征分类存入 特征库。接着，采用s v m ( s u p p o r tv e c t o rm a c h i n e ) 训练这几类的分类模板。检 索时，首先对用户提交的图像进行自动分类，然后在该类的图像库中，采用该 类相应的特征组合去检索。实验证明，这样做在速度和效果上都带来了很大的 改进。 本文在上面研究的基础上，开发了一个针对五个类( 建筑物、汽车、花草、 山峰、网页) 的图像检索实验系统。 第二章中，讨论了颜色、纹理以及形状特征的提取与表达技术。 第三章中，对颜色、纹理、形状特征进行比较，讨论采用多特征组合检索 的必要性和方法。 第四章中主要讨论特征匹配的方法，包括欧式距离、马氏距离直方图相 交等，还讨论了本文用到的一些特征匹配方法，以及多特征匹配方法。 第五章和第六章是本文的重点，第五章研究了多类图像分类的方法，第六 章讨论了图像检索实验系统的设计和实现，并给出一些检索示例，最后对实验 系统进行了评价。 第七章总结了本文的主要成果，并对未来的研究做了展望。 研究重点在：( 1 ) 选取通用图像检索和分类的特征及其表达方法。 ( 2 ) 图像检索和分类相结合设计图像检索系统。 关键词：基于内容的图像检索、特征提取、图像分类 a b s t r a c t a b s t r a c t w i t bt h ed e v e l o p m e n to fd a t a b a s es y s t e ma n dc o m p u t e rv i s i o n i m a g e r e t r i e v a lt e c h n i q u eb e c o m e sa v e r ya c t i v er e s e a r c hf i e l dg r a d u a l l y t h e c o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) i sd i f f e r e n tf r o mt h et r a d i t i o n a l t e x t b a s e di m a g er e t r i e v a l i ti saf u z z yi n q u i r yt e c h n o l o g yi nf a c t t h r o u g he x t r a c t i n gt h ef e a t u r eo ft h ei m a g e ，w em a yf i n do u tt h ei m a g e t h a ti sm o s tc l o s et ot h ee n q u i r i n gr e q u i r e m e n ti nt h ec h a r a c t e r i s t i c s p a c e t h di s s u ei n v o l v e st w oa s p e c t s ：t h ee x t r a c t i o no ff e a t u r e s ，a n d t h em e a s u r e m e n to ft h ed i s t a n c eb e t w e e nt w of e t u r e sv e c t o r s f i r s t ，t h i s p a p e rd oa ni n d e p t hs t u d yo nt h e s et v oa s p e c t s t h i sp a p e ra d v a n c e san e wm e t h o da b o u tt h er e t r i e v a l ，t h a ti su s i n g a u t oc l a s s i f i c a t i o n t e c h n o l o g y i n i m a g e r e t r i e v a l a n d u s i n g c o r r e s p o n d i n gc o m b i n e df e a t u r et or e t r i e v a l ，i nd e t a i l ，t h a ti s ：d i v i d et h e i m a g ed a t a b a s et os e v e r a ls l g n i f i c a t i v ec l a s s e s w h e na d dt h ei m a g et o d a t a b a s e ，p u ti ni m a g e sc l a s sb yc l a s s ，t h e n ，e x t r a c tt h ef e a t u r ea n dp u t i ti n t of e a t u r ed a t a b a s ec l a s sb yc l a s s t h e n ，u s es v m ( s u p p o r tv e c t o r m a c h i n e ) t ot r a i nt h et e m p l a t e a tt h et i m e o fr e t r i e v a l ，f i r s ta u t o c l a s s i f yi m a g ew h i c hu s e rs u b m i t ，t h e na tt h ei m a g ed a t a b a s eo ft h i s c l a s s ，u s ec o r r e s p o n d i n gc o m b i n e df e a t u r et or 2 t r i e v a l p r o v e db y e x p e r i m e n t ，t h i sm e t h o dm a yb r i n gab i ga d v a n c e m e n to nb o t hs p e e da n d e f f e c t b a s e do ns u c hs t u d y ，t h i sp a p e rd e v e l o pae x p e r i m e n t a ls y s t e mi n c l u d e f i v ec l a s s e s ( b u i l d i n g 、c a r 、f l o w e r 、m o u n t a i n 、w e b p a g e ) t h es e c o n d c h a p t e rm a m l yd i s c u s s e sm e t h o d so f e x t r a c t i o n a n d e x p r e s s i o na b o u tt h ec o l o r 、t e x t u r ea n ds h a p ef e a t u r e t h et h i r dc h a p t e rc o m p a r ec o l o r 、t e x t u r ea n ds h a p ef e a t u r e ，d i s c u s s e s t h en e s s s a r yt oc o m b i n em a n yf e a t u r e sa n dt h em e t h o d $ 殇 w a b s t r a c t t h ef o u r t hc h a p t e rm a i n l yd i s c u s s e st h em e t h o d o ff e a t u r em a t c h ， i n c l u d e ：l ia n dl 2d i s t a n c e ，m a h a l a n o b i sd i s t a n c e ，q u a d r a t i c f o r m d i s t a n c ea n dh i s t o g r a mi n t e r s e c t i o n i na d d i t i o n ，f e a t u r em a t c hm e t h o d s u s e di nc b i re x p e r i m e n t a l s y s t e ma r ep r e s e n t e d t h ef i f t hc h a p t e ra n d t h es i x t hc h a p t e ra r et h ee m p h a s e so ft h i sp a p e r ， t h ef i f t hc h a p t e rd i s c u s s e sm u l t i - c l a s sc l a s s i f i c a t i o nm e t h o d 。t h el a t t e r d i s c u s s e st h ed i s i g na n di m p l e m e n to ft h ei m a g er e t r i e v a le x p e r i m e n t a l s y s t e m ，a n ds o m er e t r i e v a le x a m p l e s ，a tt h ee n d ，a p p r a i s e m e n ti sg i v e d t h es e v e n t hc h a p t e rs u m m a r i z et h i sp a p e r ，a n de x p e c tt h ed e v e l o p m e n t t r e n d si nt h i sf i e l d k e yw o r d s ：c o n t e n t b a s e di m a g er e t r i e v a l f e a t u r ee x t r a c t i o ni m a g e c l a s s i f i c a t i o n 学位论文版权使用授权书 y9 5 6 3 7 0 本人完全了解北京机械工业学院关于收集、保存、使用学位论文 的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、 缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以 及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向 国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：j 随b 矽0 6 年z 月碣日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月日年月日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均己在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：王陈苫 协年z 月琵日 第1 章引言 1 1 概述 第1 章引言 近年来，随着数码相机、摄像机、扫描仪等电子设备的普及，全世界 的数字图像的容量正以惊人的速度增长，每天都会产生数盼百万计的图像。 而且，随着互联网的发展，越来越多的人可以接触到这些图像媒体，因此 人们面l 艋的问题不再是缺少图像媒体的内容，而是如何快速的获取所需要 的信息而不至于淹没在多媒体的汪洋大海之中。这就需要借助计算机对图 像内容进行有效的管理，并且有能够快速准确的查找访问图像的技术，这 就是所谓的图像检索技术。 最早出现的图像检索技术是基于文本的检索技术( t e x t - b a s e di m a g e r e t r i e v a l ) ，它的历史可以追溯到2 0 世纪7 0 年代中期，当时流行的图像检 索技术是把图像作为数据库存储的一个对象，用关键字或自由文本对其进 行描述，查询操作是基于该图像的文本描述进行精确匹配或概率匹配。 【1 】【2 】【4 1 然而，这种基于文本的检索技术存在着严重的问题，首先，计算机 视觉和人工智能技术无法对图像进行自动标注，这些文本的标注完全依赖 于手工，不但费时费力，而且用文字描述与感知有关的信息是很难的，其 原因如下：某些视觉信息和感知特征很难用文字来获得和描述。例如， 纹理的感知元素、形体的外轮廓等等。文字也不适合模型化感知相似性， 例如在观看图片或空间关系时，很难用文字描述是否相似。 文字描述反 映注解者的观点，但通常他并不是与系统打交道的最终用户。因为感觉是 主观的，用户有可能发现注解者的文字描述不合适。“一幅画胜过千言 万语”，区区几个关键字或者文本描述很难将图像所反映的内容描述清楚。 随着大规模数字图像库的出现，上述的问题变得说来越尖锐，为克服 这些问题，基于内容的图像检索技术( c o n t e n t b a s e di m a g er e t r i e v a l ) 应运而生。基于内容的图像检索借助对图像从低层到高层进行处理、分析 和理解的过程获取其内容，制成索引，用户根据他所需要的内容进行检索。 区别于传统的人工标注做法，基于内容的图像检索提取图像的视觉特征作 为其索引，如颜色、纹理、形状等。【5 】1 6 1 【7 1 如何实现快速有效的图像检索， 第1 章引言 关键在于采用何种特征作为索引以及特征如何匹配，这正是基于内容的图 像检索技术的关键。 1 2 基于内容的图像检索技术发展动态 1 9 9 2 年，由美国自然科学基金组织的可视化信息系统研讨会提出采用更加 有效的、直观的方式表现图像内在的可视属性，并应用这些属性进行图像的检 索。于是，基于内容的图像检索技术开始产生了。它吸引了计算机视觉，数据 库管理系统、人机交互界面和信息检索等领域的专家的关注，从而使得基于内 容的图像检索技术迅速发展。 基于内容图像检索技术从提出到现在，在国内外已经取得了不少的成就。 技术上各种新的方法层出不穷，学术上一些较为知名的学术期刊已有专刊介绍。 许多原来研究计算机视觉的科研小组都开展了基于内容图像检索方面的研究， 国内外一些大学在这方面也开展了相当多的研究工作。应用上已经取得了初步 成果并得到了社会各晃的广泛关注和支持。 根据所提取特征的不同，当前基于内容的图像检索技术可以分为以下几类： 1 基于颜色特征的 颜色特征是图像检索中最常用的视觉特征之一。它对于有复杂背景的图 像相对稳定并且独立于图像的大小和方向。一些对颜色理解和颜色空间的 一些有代表性的研究如【8 l 【9 】【”】。 颜色直方图是最常用的颜色特征表示方法，在统计意义上，它表示了三 个颜色通道强度的联合概率。s w a i n 和b a l l a r t 提商了- 直方图相交，k 1 度 量作为颜色直方图的相似性度量。【1 1 l 因为大多数的颜色直方图非常稀疏并 且对噪音敏感，s t r i c k e r 和o r e n g o 提出累积直方图。0 2 1 除了直方图，颜 色矩瞰1 和颜色聚合向量( c o l o rc o h e r e n c ev e c t o r ) 也被应用于图像检索。 为了便于对大规模图像集的快速检索，s m i t h 和c h a n g 提出了颜色集作为 对颜色直方图的近似。1 1 3 1 “1 2 基于纹理的 纹理是由大量可见基元均匀地紧密地排列在一起所组成的一种视觉模 式，它在图像中通常表示不同材质的区域。纹理的建模和分析通常可以分 为三类：结构的、统计的和频谱的。由于它们的重要性和在模式识别以及 2 第1 章引言 计算机视觉中的用途，在过去的几十年中有着丰富的研究成果。 上世纪7 0 年代早期，h a r a l i c k 等提出了纹理特征的共生矩阵表示法【1 5 i ， 它表示了纹理的灰度级空间依赖性。在人的视觉感知心理学研究的推动下， t a m u r a 等人从不同的角度提出了一个纹理的表示法，这6 个视觉纹理属性 是粗糙度、对比度、方向性、线性相似性、规律性和光滑性1 1 6 1 。t a m u r a 纹 理表示法与共生矩阵表示法的一个主要的不同在于t a m u r a 表示法中所有 的纹理属性都是视觉上有意义的，而共生矩阵表示法中某些纹理属性则不 是( 如熵) ，这个特点使得t a m u r a 纹理表示法在图像检索中非常的有吸引 力，q b i c 系统和m a r s 系统都使用了改进的t a m u r a 纹理表示法。 上世纪9 0 年代早期，在小波变换的理论框架已经建立后，许多研究者 开始研究小波变换在纹理表示中的应用。s m i t h 裙c h a n g 使甩从小波次能 带中提取出来的统计量( 均方差) 作为纹理的表示符f ”i 。为了研究中间带 特性，c h a n g 和k u o 用树状结构的小波变换来进一步提高准确度【1 ”。 使用纹理特征首先需要将图像进行纹理分割，这是一项相当困难且计算 量很大的工作，另外基于纹理的技术缺乏有效的纹理模型，纹理特征与人 类感知的相似性还不得而知。 3 基于边缘草图的 基于草图的查询是由用户提交一幅要查询物体的大致轮廓，由系统找出 与此轮廓相匹配的图像。草图的查询可以通过计算图像的边缘图来实现， q b i c 系统中使用了一种由h i r a t a 和k a t o 提出的方法，首先将彩色图转换 为单波段的灰度图，再用c a n n y 边界算子计算二值化边界图，并将边界图 大小降到6 4 x 6 4 ，然，圣搔库中的边界图与草图进行模扳匹配，检索相似的 图像。这种方法的缺点是没有方向和尺度的不变性，类似的图像可能因为 方向和尺度的不同而被遗漏，这种问题需要有复杂的边缘表示和匹配算法 来消除 2 0 1 1 2 1 】【2 ”。 4 基于形状的 形状是描述物理轮廓和它们的物理结构的重要特征，在图像检索应用 中，形状特征可以分为基于边界的和基于区域的两类。前者仅使用形状的 外部边界，而后者使用整个形状区域。对这两类形状特征最成功的表示法 是傅立叶描述符和矩不变量。 傅立叶描述符的主要思想是使用傅立叶变换边界作为形状特征f 2 3 1 1 “i 。 3 第1 章引言 矩不变量的主要思想是使用基于区域的矩，它对变换具有不变性，h u 提出 了7 个对平移、旋转和尺度变化不变的矩【6 ”。 形状特征对于像颜色和纹理都累死的医学图像来说非常重要。然而，基 于形状的检索依然是一个困难的问题，因为缺乏严格的数学定义来描述人 类感知的形状相似性。 5 基于空间关系的 对于包含多目标的图像，目标之间的空间关系是又一种描述图像内容的 特征。描述物体问的空间关系首先需要对图像进行目标分割和识别，然后 可将图像转化成采用2 维串2 ds t r i n g 编码的符号图像，2 维串描述物体间 的关系是通过一系列算子( 上、下、左、右等) ，图像的检索问题变成了一 个2 维串匹配的问题。c h a n g 在文中提出了基于空阿关系的检索基本算法， j u n g e r t 扩展了基本的2 维串，增加了能够表示的空间关系，尤其是互相交 叠的物体间的关系。l e e 和h s u 提出了一种2 维b 串作为图像特征，它的特 点是不需要对图像分割。2 维串的匹配是基于一个简单的分级方案，然而用 于生成2 维串的算法需要对象分割和识别，计算量相当大1 2 6 l 【硼”1 。 还有一些基于内容的图像检索上比较热点的研究领域： 1 图像分割 图像分割就是将图像表示为物理上有意义的连通区域的集合，一般 通过对图像的不同特征如边缘、纹理、颜色、亮度等地分析达到图像 分割的目的。图像分割通常是为了进一步对图像进行分析、识别、跟 踪、理解、压缩编码等，分割的准确性直接影响后续任务的有效性， 因此具有十分重要的意义。 图像分割方法可以大致分为四个方面1 2 9 | ： ( 1 ) 利用图像灰度统计信息的方法，典型的有一维直方图阈值化方 法和二维直方图阈值化方法。 ( 2 ) 利用图像空间区域信息和光谱信息的图像分割方法，这类分割 方法典型的包括区域分裂一合并、生长法、纹理分割和多光谱图像分 割等。 ( 3 ) 利用图像中灰度变化最强烈的区域信息方法一一边缘检测方 法，其典型的有c a n n y 算法，m a r r - h i l d r e t h 算法和基于多尺度的边缘 检测方法。 4 第1 章引言 ( 4 ) 利用图像分类技术进行图像分割的象素分类方法。 2 高维索引 为了使图像检索系统支持大规模的图像集，需要研究高效的多维索 引技术，这里有两个难题： ( 1 ) 高维问题。特征向量的维数通常可以达到1 0 0 以上。 ( 2 ) 非欧式相似性度量。因为欧式度量可能不能有效的模仿人类 对特定视觉内容的知觉，需要支持各种其他的相似性度量，如直方图 相交，余弦，相关，等等。 解决这些问题一个方法是首先执行降维1 3 0 】1 3 1 i ，接着使用合适的多维 索引技术3 2 】l ”4 1 ，而且能够支持非欧式相似性度量。 1 3 基于内容的图像检索系统 现在已经有了许多关于基于内容图像检索的原型系统。这些系统都是 基于图像特征矢量的检索，数据库中的每一幅图像都由一个不超过5 0 0 个 元素的特征矢量描述。特征矢量之间的欧式距离可作为相似性度量的准 则，按照距离的大小给出查询结果。下面简要介绍几个有代表性的检索系 统。这些系统在应用已有的技术的同时，还在其中进行了新理论的应用探 讨。 1 q b i c 系统 q b i c ( q u e r yb yi m a g ec o n t e n t ) 系统是i b m 公司开发的，q b i c 同时支 持关键词检索与内容检索，支持示例图像、用户构造的缩略图、选择韵颜 色、纹理等的查询。索引技术方面使用6 4 位颜色直方图与改进的t a m u r a 纹理模型；采用k l 变换降低维数，并采用r 树建立索引。 2 v l s u a l s e e k 系统 v i s u a l s e e k 是由哥伦比亚大学开发的。它在索引技术方面采用了基于 色彩和纹理的索引方法，使用二又树进行索引，支持基于视觉特征和他们 之间空间关系的查询。v i s u a l s e e k 的姊妹系统w e b s e e k 是面向w w w 的文本 图像检索工具，支持基于关键字和视觉内容的查询。 3 v l r a g e 系统 v i r a g e 系统是有v i r a g e 公司开发的。与q b i c 相似，它支持基于颜色、 第1 章引言 纹理、结构( 对象边界信息) 的可视化查询，但v i r a g e 比q b i c 更进一步， 它也支持由上述四个原子查询的任意组合，用户可以根据他们自己的侧重 调整这四个原子查询的权重。 4 r e t n e v a l w a r e r e t r i v a l w a r e 是由e x c a h b u r 技术公司开发的基于内容的图像检索工 具。它早期的重点是将神经网络应用于图像检索中。近期的搜索引擎利用 颜色、形状、纹理、亮度等作为查询特征。它也支持这些特征的组合，允 许用户调整每种特征的权重。e x c a l i b u r 公司的e x c a l i b u r 视觉检索产品 是在公司长期研究的模式识别理论和数据库技术的基础上研制出来的，现 已被成功应用于y a h o o 上，即图像冲浪组件，实现了基于内容的图像检索。 5 p h o t o b o o k p h o t o b o o k 是m i t 媒体实验室开发的用于浏览和搜索图像的一套交互式 工具。p h o t o b o o k 包括三个子部分，分别用于提取形状、纹理和面部特征。 用户可以在每个子部分中采用不同模型，按照对应的特征进行查询。 6 m a r s m a r s 是美国i l l i n o i s 大学u r b a n a c h a m p a i g n 分校开发的。它与其他系 统在研究范围和技术上都有不同，他从计算机视觉、d b m s 、信息查询三个 领域进行研究，提出了相关反馈的体系结构。 1 4 本文研究的主要内容 1 特征提取和分析 提取各种特征，如颜色、纹理、形状等。对各种特征进行分析，选挥提 取效率高、信息浓缩性好的特征，或者将几种特征进行组合，应用到分 类和检索领域。 2 特征匹配 选择何种模型来衡量图像特征之间的相似度。 3 图像自动分类 研究使用s v m 算法根据图像内容来进行图像分类。 4 图像检索 把图像自动分类技术结合进来，对图像库按类别索引，检索的时候对 6 第1 章引言 图像自动分类判断出类别，然后根据类别在所在库中检索，以此来提 高检索准确率和效率。 5 演示系统的设计和开发 设计开发一个演示系统，演示系统将针对几个特定的类别。 本文研究重点在：( 1 ) 选取通用图像检索和分类的特征及其表达方法 ( 2 ) 图像检索和分类相结合设计图像检索系统 第2 章图像特征提取与表达 第2 章图像特征提取与表达 图像特征的提取与表达是基于内容图像检索技术的基础。从广义上讲，图像 的特征包括基于文本的特征( 如关键字、注释等) 和可视化特征( 如颜色、纹 理、形状等) 两类。由于基于文本的图像特征提取在数据库系统和信息检索等 领域中已有深入的研究，本章主要介绍图像可视化特征的提取和表达。可视化 特征又可分为通用的可视化特征和领域相关的可视化特征。前者用于描述所有 图像共有的特征，与图像的具体类型或内容无关，主要包括颜色、纹理和形状； 后者则建立在对所描述图像内容的某些先验知识( 或假设) 的基础上，与具体 的应用紧密相关，例如人的面部特征或指纹特征等。由于领域相关的图像特征 主要属于模式识别的研究范围，并涉及许多专业的领域知识，在此就不再详述， 而只考虑通用的可视化特征。对于某个特定的图像特征，通常又有多种不同的 表达方法。在本章中，主要介绍那些由实践证明对图像检索比较有效的特征和 相应的表达方法。本章1 、2 、3 节中主要介绍颜色、纹理、形状特征的分析、 描述与提取技术。 2 1 颜色特征提取与表达 颜色是图像的一种重要视觉性质，最早在基于内容的图像索引中得到应用。 颜色特征定义比较明确，抽取也相对容易，而且与其他的可视化特征相比，颜 色特征对图像本身的尺寸、方向、视角的依赖性较小，所以在图像检索中得到 广泛的重视和研究。利用颜色特征检索图像，有如下两个问题：( 1 ) 要能表达 图像彩色信息的特征，这些特征与所选取得彩色模型或彩色空问有关。( 2 ) 要 有用于计算两个图像特征间相似度的相似测度。在本节中，首先介绍颜色模型， 然后介绍一些颜色特征表达方法，如局部颜色直方图、全局颜色直方图、颜色 聚合向量、颜色矩、颜色集以及颜色相关图等等。 2 1 1 颜色模型介绍 1 r g b 模型 面向硬件设备的最常用颜色模型是r g b 模型，它是一种与人的视觉系统结构 8 第2 章图像特征提取与表达 雕篡巍瓣 甲 雕巍巍豳 亿s ， 刚豢罴黜 ， 卧i 巍二韩 乃 9 第2 章图像特征提取与表达 面向彩色处理的最常用模型是h s i 模型，其中，h 表示色调，s 表示饱和度， i 表示密度( 对应亮度或灰度) 。h s i 模型有两个重要的特点。首先亮度分量与 色度分量是分开的，1 分量与图像的彩色信息武馆。其次是h 及s 分量与人感受 彩色的方式紧密相连( 这里强调了颜色的重要性，因为人对光的感知还与1 分 量有关) 。这些特点使得h s i 模型非常适合基于人的视觉系统对彩色感知特性进 行处理分析的图像算法。从r g b 空间到h s i 的换算关系如下： h = 趾1 面南面n ( 胄，g ，固 ( r + g + 占) 、。( 2 9 ) 1 = ( r + g + 8 ) 3 ( 2 1 0 ) 在h s i 模型中，h 分量对彩色描述的能力相对来说最与人的视觉接近，区分 力也比较强。在许多应用中当将彩色图像由r g b 空间转换到h s i 空间进行检索 时，可仅利用h 分量而将检索缩小到1 - d 空间，从而简化运算，加快计算速度”。 6 h s v 模型 h s v 模型和h s i 模型的坐标系统类似，但h s v 模型比h s i 模型更与人类对颜 色的感知接近。从r g b 空间到h s v 空问转换的公式如下： h = s = i 黜。：! 堡三丝丝三丝，b s g j 2 4 ( r g ) 2 + ( 胄一b ) ( g b ) 1 2 石一a l c c o 。：竺三鱼兰! 苎三丝，b g 【2 4 ( r g ) 2 + ( r b ) ( g 一曰) 里坚! 墨：堡：墨! 二竺垫! 墨：堡：丝 m a x ( r + g + 口1 v ：m a x ( r , g , b ) 2 5 5 1 0 ( 2 a 1 ) ( 2 1 2 ) ( 2 1 3 ) 第2 章图像特征提取与表达 2 1 2 颜色特征的表达 对颜色特征的表达方法有许多种，如直方图法、颜色聚合向量、颜色矩、 颜色相关图等。下面逐一介绍。 2 1 2 1 全局颜色直方图 颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的 是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置， 即无法描述图像中的对象或物体。颜色直方图的一个显著优点就是，特别适于 那些难以自动分割的图像。 计算全局颜色直方图需要将颜色空间划分成若干个小的颜色空间，每个小 区间成为直方图的一个b i n 。这个过程称为颜色量化( c o l o rq u a n t i z a t i o n ) 。 然后，通过计算颜色落在每个小区间内的象素数量可以得到颜色直方图。颜色 量化有许多方法，例如向量量化、聚类方法或者神经网络方法。最为常用的做 法是将颜色空间的各个分量( 维度) 均匀地进行划分。相比之下，聚类算法则 会考虑到图像颜色特征在整个空间中的分布情况，从而避免出现某些b i n 中的 象素数量非常稀疏的隋况，使量化更为有效。 全局颜色直方图的计算公式如下： h = ( 魄，h ：，吃) ，h 为b i n 数，h ，是图像中颜色为j 的象素个数r 21 4 、 选择合适的颜色小区间( 即直方图的b l n ) 数目和颜色量化方法与具体应用 的性能和效率要求有关。一般来说，颜色小区间的数目越多，直方图对颜色的 分辨能力就越强。然而，b i n 的数目很大的颜色直方图不但会增加计算负担，也 不利于在大型图像库中建立索引。而且对于某些应用来说，使用非常精细的颜 色空间划分方法不一定能够提高检索效果，特别是对于不能容忍对相关图像错 漏的那些应用。另一种有效减少直方图b i n 数目的方法是只选用那些数值最大 ( 即象素数目最多) 的b i n 来构造图像特征，因为这些表示主要颜色的b i n 能 够表达图像中大部分象素的颜色。实验证明这种方法并不会降低颜色直方图的 检索效果。事实上，由于忽略了那些数值较小的b i n ，颜色直方图对噪声的敏感 程度降低了，有时会使检索效果更好。 第2 章图像特征提取与表达 2 1 2 2 局部颜色直方图 首先如图2 1 把图像分成1 6 个等分，对图像的每个部分，按照全局颜色直 方图的计算方法得到向量h 。( h 。h ：，h 。) ，因此，整个图像就是1 6 个h 。组成 的向量。 2 1 2 3 颜色矩 h 0 h l磁m h 4h 5h 6町 瑚h 9h 1 0h 1 1 h 1 2h 1 3h 1 4h 1 5 图2 1 把图像等分成1 6 份示意图 另一种非常简单而有效的颜色特征是由s t r i c k e r 和0 r e n g o 所提出的颜色矩 ( c o l o rm o m e n t s ) 。这种方法的数学基础在于图像中任何的颜色分布均可以用它 的矩来表示。此外，由于颜色分布信息主要集中在低价矩中，因此仅采用颜色 的一节矩( m e a n ) 、二阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 就足以表达图像 的颜色分布。与颜色直方图相比，该方法的另一个好处在于无需对转征进行向 量化。颜色的三个低次矩在数学上表达为： 麒：专羔己 v j ；1 ( 2 1 5 ) 嗔= 砖芸( 。叫) 2 ) ” ( 2 1 6 ) ( 2 1 7 )r 卢 一 弓 ( ，川 一 ( = 墨 挖 第2 章图像特征提取与表达 其中乃是图像中第j 个象素的第i 个颜色分量。因此，图像的颜色矩共只 需要9 个分量( 3 个颜色分量，每个分量上3 个低次矩) ，与其他的颜色特征相 比是非常简洁的。在实际应用中为避免低次矩较弱的分辨能力，颜色矩常和其 它特征结合使用，而且一般在使用其他特征前起到过滤缩小范围( n a r r o wd o w n ) 的作用。 2 1 2 4 颜色聚合向量 针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点，p a s s 提出 了图像的颜色聚合向量( c o l o rc o h e r e n c ev e c t o r ) 。它是颜色直方图的一种演 变，其核心思想是将属于直方图每一个b i n 的象素进行分为两部分：如果该b i n 内的某些象素所占据的连续区域的面积大于给定的阈值，则该区域内的象素作 为聚合象素，否则作为非聚合象素。假设1 7 ，与屈分别代表直方图的第i 个b i n 中聚合象素和非聚合象素的数量，图像的颜色聚合向量可以表达为 a 而 就是该图 像的颜色直方图。由于包含了图像分布的空间信息，颜色聚合向量相比颜色直 方图可以达到更好的检索效果。 2 1 2 5 颜色相关图 颜色相关图( c o l o rc o r e l o g r a m ) 是图像颜色分布的另一种表达方式 3 6 1 。这 种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜 色对之间的空间相关性。实验表明，颜色相关图比颜色直方图和颜色聚合向量 具有更高的检索效率，特别是查询空间关系一致的图像。 假设i 表示整张图像的全部像素，i 。则表示颜色为c ( i ) 的所有像素。颜色 相关图可以表达为： ，p r ，【p 2 ，0 p l p 2 l - 七】 ( 2 18 ) p t u c ( ，) , p 2 o 其中f ，j 1 , 2 ， ， 1 , 2 ，d ) ，l p l 一p 2i 表示像素p 和p 2 之间的距离。颜色 相关图可以看作是一张用颜色对 索引的表，其中 的第k 个分量 表示颜色为c ( j ) 的像素和颜色为c ( j ) 的像素之问的距离小于k 的概率。如果考 虑到任何颜色之间的相关性，颜色相关图会变得非常复杂和庞大( 空间复杂度为 第2 章图像特征提取与表达 o ( n 2 d ) ) 。一种简化的变种是颜色自动相关图( c o l o ra u t o - c o r r e l o g r a m ) ，它 仅仅考察具有相同颜色的像素间的空间关系，因此空间复杂度降到o ( n a ) 。 2 1 2 6 几种颜色特征的比较 通过实验对比三种基本的颜色特征，分别是全局颜色直方图、局部颜色直方 图、颜色矩、颜色聚合向量。 1 全局颜色直方图 试验得出h s v 空间比较适合于颜色直方图，r g b 颜色空间不适于度量颜 色之间的主观相似度。全局颜色直方圉在图像库较大，图像较复杂的时候往 往没有较好的效果。 2 局部颜色直方图 局部颜色直方图在全局颜色直方图的基础上，考虑了一定的位置信息，检 索效果要优于全局颜色直方图，对复杂图像效果以及在大图像库中检索效果 不佳。 3 颜色矩 采用l u v 和l a b 颜色空间比用h s v 颜色空间的效果要好。同时，使用三 个低次矩的平均效果好于只使用两个低次矩( 均值和标准方差) 的情况。但 是，有时候使用第三阶矩可能使特征对图像中的图像变化过于敏感，因此有 时反而会降低检索效率。另外，试验表明颜色矩的维数尽管远远低于颜色直 方图，而检索效果却很接近。 4 颜色聚合向量 颜色聚合向量从全局颜色直方图演变而来，因此它在h s v 颜色空间中的 应用效果最优。颜色聚合向量包含了空间相关信息，这些空间信息不是像局 部颜色直方图那样简单的把图像的分成1 6 部分得到，因此检索效果比全局 颜色直方图以及局部颜色直方图要好。然而，试验结果表明颜色聚合向量只 对那些颜色或纹理比较统一的图像有更好的效果。而且，颜色聚合向量计算 起来比颜色直方图更耗时。 1 4 第2 章图像特征提取与表达 2 1 3 颜色特征检索示例 1 用颜色聚合向量检索( 第一张图为原图) 图2 2 用颜色聚合向量进行检索 2 用局部颜色直方图检索( 第一张图为原函) 第2 章图像特征提取与表达 图2 3 使用局部颜色直方图进行检索 2 2 纹理特征提取与表达 2 2 i 纹理描述模型 纹理分析在计算机视觉、模式识别以及数字图像处理中起着重要的作用。 纹理结构反映图像亮度的空间变化情况，主要表现为： ( 2 ) 某种局部的序列性在比该序列更大的区域内不断重复出现。 ( 3 ) 序列是由基本部分，即纹理基元，非随机排列组成的。 ( 4 ) 在纹理区域内各部分具有大致相同的结构。 因此，纹理就是由纹理基元按某种确定性的规律或者某种统计规律排列组成 的。前者称为确定性纹理，例如，人工纹理。后者则称为随机性纹理，例如， 第2 章图像特征提取与表达 自然纹理。 在模式识别中，常用纹理来辨识图像区域的概念。要描述一个图像中的纹理 区域，常使用区域的尺寸、可分辨灰度元素的数目以及这些灰度元素的相互关 系。要分析纹理，需要确定一定的尺度，一幅纹理图像在较租的尺度上可能看 不出纹理来，需要到更细的尺度上观察。一般说来可以认为纹理是由许多相互 接近的、互相编织的元素构成，所以直观来说纹理描述可提供图像区域的平滑、 稀疏、规则性等特性。 2 2 2 纹理特征表达 在基于纹理特征的图像检索中，采用的纹理特征主要有灰度共生矩阵纹理 特征( 如反差、能量、熵与灰度相关) ，t a m u r a 纹理特征( 如粗糙度、对比度与 方向度等) 以及小波变换，g a b o r 变换后的系数特征等等。 本节中将介绍灰度共生矩阵纹理特征和t a m u r a 纹理特征。 1 灰度共生矩阵 在图像中任意取一点( x ，y ) 以及偏离它的另一点( x + a ，y + b ) ，形成一个点对， 设该点对的灰度值为( i ，j ) ，即点( x ，y ) 的灰度为i ，点( x + f l ，y + b ) 的灰度为j 。固 定a 与b ，令点( x ，y ) 在整幅图像上移动，则会得到各种( 1 ，j ) 值。设灰度值的级 数为l ，则1 与j 的组合共有r 种。在整幅图像中，统计出每一种( 1 ，j ) 值出现 的次数，再将他们归一化为出现的概率只，则称方阵 只，】。为灰度联合概率矩 阵，也称为灰度共生矩阵。灰度联合概率矩阵实际上就是两象素点的联合直方 图。 距离差分值( a ，b ) 取不同的数值组合，可以得到沿一定方向( 如 0 。，4 5 。，9 0 。，1 3 5 。) 相隔一定距离d = 口2 + b 2 的像元之间灰度联合概率矩阵。a 和b 的取值要根据纹理周期分饰的特征来选择，对于较细的纹理，选取 ( 1 ，0 ) ，( 0 ，1 ) ，( 1 ，1 ) ，( - 1 ，1 ) 等这样小的差分值是有必要的。当a 与b 取值较小 时，对应于变化缓慢的纹理图像( 粗纹理) ，其灰度联合概率矩阵对角线上的数 值较大，倾向于作对角线分布；若纹理的变化较快( 细纹理) ，则对角线上的数 值越小，而对角线两侧上的元素值增大，倾向于均匀分布。 利用灰度共生矩阵可以得到一系列的纹理特征统计量，例如，反差、熵、 第2 章图像特征提取与表达 逆差矩、灰度相关、能量、集群荫与集群突出等。设灰度级为乙，典型的参数定 义如下： ( 1 ) 反差( 或称为主对角线的惯性矩) ( 2 1 9 ) 对于粗纹理，局的数值较集中于主对角线附近，此时ii j i 的值较小， 所以反差也较小；反过来，对于细纹理，的数值分布比较均匀， 因此，反差较大。 ( 2 ) 熵 若e 分布比较均匀，则熵较大；反之，局数值较集中时，则熵较小。 ( 3 ) 逆差矩( 局部均匀性) 厶2 善萎赤轩 g 2 1 ) ( 4 ) 灰度相关 伽古丢丢( 1 叫j 。叫加” ( 2 2 2 ) 式中 l - 1 l - ! 彩= ( ，一，) 2 0 j - o s = o 弓 i 一f 脚 = 石 r p b 弓 h 一 一 = 厶 乃 h 一 “ = 以 乃 m 脚 = 以 p p 脚 户 ， 一 o m l l 第2 章图像特征提取与表达 以，疋，分别为埘，= p , j 与m ，= 既的均值和标准差。 j - o f 。0 灰度相关用来描述矩阵中行或列元素之间的灰度的相似度。 ( 5 ) 能量( 角二阶矩) l - il - i 兀= p ； ( 2 2 3 )