（通信与信息系统专业论文）基于对象颜色特征图像检索研究.pdf

摘要 随着多媒体技术时代的来临，大量的数字图像在互联网上流传，如何能够快 速并且有效的获取需要的图像信息成为一个研究热点，基于内容的图像检索技术 应运而生。目前对于基于内容的图像检索多数集中在基于全局的底层特征上，基 于全局的方法比较简单，计算效率高，但对于一些用户不感兴趣的背景含信息量 大、目标占图像比例比较小的图像的检索效果不佳。基于目标特征的图像检索能 减少图像中背景信息对检索的影响，难点在于如何能够精确的从图像中提取互用 感兴趣的目标区域。 本文提出的一种基于对象的图像检索方法，先将图像进行分割，分割后再对 分割出来的目标区域进行特征提取并进行检索。首先将图像的直方图量化，在量 化后的直方图的峰值中找出合适的值作为图像中的主色，再把每个像素归类为距 离最近的主色，把图像转换成为主色图，利用最大类间方差法找出类间方差最大 的阈值，利用该阈值将图像分为目标和背景两部分，以此提取图像的目标区域。 在特征提取环节中，先把图像分割中得到的目标区域进行颜色量化，用颜色 按百分比排序法提取目标区域的主颜色，将主颜色和主颜色所占百分比作为特征 向量进行图像检索，为了在主颜色特征中加入空间信息，在特征提取前将图像进 行分块，对信息关注度不同的区域提取的特征设定不同的权值。最后采用的归一 化的欧氏距离进行相似性度量。 实验表明该方法能比较好的提取图像中的目标，在特征提取中排除了背景对 相似度的影响，提高检索的有效性。 关键词：图像分割，主颜色，最大类间方差，特征提取，图像检索 a b s t r a c t w i t ht h ea d v e n to fm u l t i m e d i at e c h n o l o g ya g e ，w ec a ng e tal a r g en u m b e ro f i m a g ei n f o r m a t i o n h o wt og e tt h ei m a g ei n f o r m a t i o ne f f e c t i v e l ya n de f f i c i e n t l yh a s b e c o m eah o tr e s e a r c hf i e l d ，a n dc o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) t e c h n o l o g y e m e r g e sa st h er a i s e d f o rt h ep r e s e n t ，c o n t e n t b a s e di m a g er e t r i e v a lh a sf o c u s e d m o s t l yo nt h el o w l e v e lf e a t u r e so ng l o b a l t h eg l o b a lf e a t u r e sa r er e l a t i v es i m p l e ，f a s t t oc a l c u l a t e b u tt h er e t r i e v a le f f e c tw i l lb ea f f e c t e db yb a c k g r o u n di n f o r m a t i o ni nt h e i m a g e r e t r i e v a lb a s e do no b j e c tf e a t u r e s c a l lr e d u c et h ed i s a d v a n t a g ei ng l o b a l r e t r i e v a l t h em e t h o de x t r a c t st h eo b j e c ti n t e r e s tb yu s e rw i t ht h ei m a g es e g m e n t t h i sp a p e rp r o p o s e si m a g er e t r i e v a lb a s eo nt h eo b j e c t f i r s t l y , w ee x t r a c tt h e t a r g e tr e g i o nb ys e g m e n tt h ei m a g e ，t h e nr e t r i e v a lt h ei m a g ei n t h eo b j e c t i nt h e s e g m e n tp a r t ，w ef i n d t h ed o m i n a n tc o l o rf r o mt h ei m a g eb yf i n dt h ep e a ki n q u a n t i z e dh i s t o g r a ma tf i r s t ，p i x e l sa r ec l u s t e r e dt og e t t h ed o m i n a n tc o l o ri m a g e ，t h e n u s i n gt h eo t s u t of i n dt h eb e s tt h r e s h o l d ，s e g m e n tt h ei m a g eb yt h i st h r e s h o l di n t o t w o p a r t s ，o b je c ta n db a c k g r o u n d i l lt h ef e a t u r ee x t r a c t i o np a r t ，i no r d e rt og e tt h i sd e s c r i p t o r , t h ed o m i n a n tc o l o r a n di t sp e r c e n t a g ev a l u ea r ec o m p u t e d ，e v e r yi m a g ew a sd i v i d e di n t oi m a g eb l o c k s ， a n dg i v ee v e r yb l o c kap r o p e rw e i g h t t h ew e i g h ti sc o r r e l a t i o nb yt h ei n t e r e s t i n go f t h eu s e r a tl a s tu s i n gt h ee u c l i dd i s t a n c ea st h es i m i l a r i t ym e a s u r e e x p e r i m e n t a lr e s u l t si n d i c a t et h em e t h o dc a ne x t r a c tt h eo b j e c t ，a n dt h er e t r i e v a l i sp r i o rt ou s i n gg l o b a lf e a t u r e s ，i m p r o v et h ee f f e c t i v e n e s s k e yw o r d s ：i m a g es e g m e n t ，d o m i n a n tc o l o r , o t s u ，f e a t u r ee x t r a c t ，i m a g er e t r i e v a l u 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 学位论文使用授权书 b1o 岁1 s 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生c ：叶劫导师c 签一阿l 厂 武汉理工大学硕士学位论文 1 1 研究的目的和意义 第1 章绪论 近年来，伴随互联网通信技术的迅速发展，数字技术的普及，网上每天都会 出现大量的数字图像，而且社会上的各行各业也对于数字图像信息越来越关注， 自动管理和检索图像成为一种迫切的需求，因此图像检索技术成为一项重要的研 究议题。传统的图像检索技术是基于文本的图像检索，需要人工对每幅图像作标 注，然后利用标注的内容进行检索，这样的方法虽然比较简单有效，但现在每天 都会有大量的新图像产生，靠文本进行检索必定需要巨大的工作量，难以蛮多多 数图像检索应用的需求，而且不同的人对于同样一副图像可能会有不同的理解， 这样基于文本的检索也容易造成检索失败，因此，一种能针对所有图像的自动的 检索方法成为一种需要。基于内容的图像检索( c o n t e n t - b a s e di m a g er e t r i e v a l ， 简称c b i r ) 技术应运而生l 。 基于内容的图像检索技术由计算机自动对图像内容进行分析，提取图像里的 各种特征( 如颜色、纹理、形状和空间关系等等) 作为一幅图像的索引，将两幅图 像的特征按照一定的求相似度的方法求得他们的距离，距离越小说明这两幅图像 的相似度越大，也就是这两幅图像越匹配。基于内容图像检索技术的关键，也是 难点在于如何提取图像的特征，这是一个具有挑战性的课题，会数学、物理学、 j 心理学等学科的相关知识，还要了解人类的视觉特剧】。从它的发展来看，基 于内容的图像检索在工业、通信、医学、娱乐和军事都能得到应用。 现在图像检索技术已经在很多领域取得了应用，如医学的细胞检测、远程医 疗系统、网络上的数字图像检索、车牌识别技术、专利检索、商标注册和遥感等。 随着图像检索计算在各领域的普及，更加准确、更加效率图像检索方法成为社会 迫切的需要，因此对图像检索技术的研究很有实用价值。 1 2 国内外研究现状 图像检索技术从7 0 年代至今一直很受关注，早期的图像检索技术是文本的 图像检索，需要人工对每幅图像作标注，然后利用标注的内容进行检索，这种方 法主观性过强，而且随着数字图像的猛增，这种方法工作量过大，已经不再适用 目前的需要，基于内容的图像检索通过提取图像特征进行特征匹配来达到检索目 的，是一种自动的检索方法。图像的特征分为两大类，底层特征和高层语义特征。 武汉理工大学硕士学位论文 底层特征有颜色、纹理、形状和空间关系等，现在的研究多数是基于底层特征的 检索，本文就是主要利用的图像的颜色特征。由于底层特征难以表现人对图像中 目标的一种概念，高层语义特征是将图像中的内容的描述作为索引，人能识别图 像的含义这个过程需要大量生活经验和推理，目前图像的底层特征和高层语义特 征还存在着巨大的“语义鸿沟，这也是基于高层语义特征的图像检索需要解决 的最大难题。目前对图像检索的技术的研究还是主要集中于对底层图像特征的提 取进行匹配。 目前已经有很多技术比较成熟的图像检索系统，下面对几个具有代表性的进 行介绍。 1 q b i c ( q u e r yb yi m a g ec o n t e n t ) 系统是i b m 公司开发出来的，q b i c 系统是第 一个商业基于内容的图形图像检索系统，系统结构包括图像的输入、特征的 提取和计算、匹配查询。q b i c 系统支持基于高维多特征的检索系统，使用颜 色和纹理等特征。其中颜色特征包括平均( r ，g ，b ) 、( y ，i ，q ) 、( l ，a ，b ) 、m t m 坐标和颜色直方图；纹理方面是由t a m u r a 提出的粗糙度、对比度和方向度 结合的纹理特征；形状特征有圆形度、数据不变量和偏心度的特征提取。q b i c 还支持基于文本和基于内容的混合检索。 2 v i r a g e 图像检索系统由v i r a g e 公司开发而成，该系统也支持总和多特征的 检索，用户可以根据自己的应用需要调整各个特征的权重来达到最佳效果。 v i r a g e 图像检索系统的核心技术是对图像对象层进行操作。 3 r e t r i e v a lw a r e 图像检索系统由e x c a l i b u r 公司开发而成，该系统最初主要 利用神经网络算法进行图像检索，发展到后来也开始运用颜色、纹理、形状 和空间关系等特征进行多特征检索。和v i r a g e 一样，r e t r i e v a lw a r e 也支 持用户调整各特征的权重。 4 p h o t o b o o k 系统是m i t 多媒体实验室开发而成，用主要于浏览和搜索图像。 p h o t o b o o k 运用提取形状、纹理和面部特征进行检索，p h o t o b o o k 还加入了 模型集的方法使得系统能更好的应用于不同领域。 5 v is u a l s e e k 和w e b s e e k 两个系统都由哥伦比亚大学开发而成，系统采用颜色 集和应用小波变换的纹理特征，特征匹配使用的是二叉树匹配法。 v i s u a l s e e k 和w e b s e e k 都是面向w w w 的文本、图像搜索工具，v i s u a l s e e k 主要运用基于视觉特征和空间关系特征，w e b s e e k 的主要特点是主题分类。 6 n e t r a 图像检索系统是运用颜色、纹理、形状和空间关系的功能特征进行检 索，在特征提取前对图像进行分块操作，主要特点是g a b o r 滤波器的纹理特 征检索和基于神经网络的图像检索。 7 m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 是美国伊利若斯大学开 2 武汉理工大学硕士学位论文 发而成的，m a r s 系统最大特点是运用了相关反馈机制来完善系统性能，包括 查询矢量优化和自动特征适应等功能，m a r s 的研究重点在于构造一个可以动 态适应各种用户需求的图像检索系统。 8 s i m p l i c i t y 由斯坦佛大学和滨州大学联合开发而成，系统运用总和区域匹配 法计算图像的相似度，具有对旋转和平移不敏感的特点1 4 1 。 目前的图像检索技术主要用于检索专业图像，还没有哪一种系统能够很好的 适用于各种图像，如何能够提取更好更有效的特征能对多数图像进行高效检索还 需要进一步的研究。 1 3 论文主要内容及结构 本文提出了一种基于用户感兴趣的目标的图像检索方法，在对图像进行特征 提取前先用一种改进的最大类间方法法进行图像分割提取图像中的目标，以此忽 略背景对特征提取的影响。特征提取中提出了一种包含空间信息的主色图像检索 方法，将图像进行分块然后按不同区域给予不同的权值进行主颜色特征提取，最 后采用欧式距离进行相似性度量。通过系统评价比较直方图法、主颜色特征方法 和基于目标的图像检索方法的检索结果。 本文结构组织如下： 第1 章，为本文的绪论，讲述课题研究目的和意义，国内外研究现状及动态。 第2 章，介绍了基于内容图像检索的系统结构，对于图像特征的提取对于颜 色特征、纹理特征、形状特征和空间关系特征进行了简要介绍 第3 章，介绍了图像分割的定义，分别对并行边界分割技术、串行边界分割 技术、并行区域分割技术、串行区域分割技术进行了阐述 第4 章，着重介绍m p e g 一7 标准中颜色特征描述子，先对m p e g - 7 标准和这个 标准对于检索的评价标准做出了简单的介绍 第5 章，提出了一种基于目标的图像检索方法，在对图像进行特征提取前先 用一种改进的最大类问方法法进行图像分割提取图像中的目标。特征提取中提出 了一种包含空间信息的主色图像检索方法，将图像进行分块然后按不同区域给予 不同的权值进行主颜色特征提取。最后通过对马、蘑菇和花卉三幅图像进行图像 检索，通过评价比较三种方法的检索准确率。 第6 章，对全文进行总结并展望对未来的进一步研究。 3 武汉理工大学硕士学位论文 第2 章基于内容的图像检索 2 1 基于内容图像检索的系统结构 基于内容图像检索系统特征提取子系统和查询子系统。特征提取子系统包括 预处理、目标标识和特征提取。预处理包括图像格式转换，图像增强、去噪等功 能；目标标识包括找出图像中用户感兴趣的区域，也就是对象，后面再对标识出 的对象进行相关操作；特征提取包括图像的颜色特征、形状特征、纹理特征、空 间关系特征，以及以上介绍的两种或者多种特征融合。查询子系统包括查询接口、 检索引擎和索引过滤【5 j 。查询接口包括对系统输入图像和浏览图像，要求给用户 提供一个友好的界面；检索引擎包括特征提取后检索所用到的相似性度量的函数 集；索引过滤模块可以让检索引擎达到快速检索的目的。 i 国圄国 图2 - 1 基于内容图像检索的体系结构 4 武汉理工大学硕士学位论文 2 2 图像特征提取 闰像特征提取是基于内容图像检索中最为重要的步骤，不同的特征提取方法 直接影响检索的结果。图像特征提取在大的方面主要分为两种：低层特征和高层 特征。低层特征包括颜色特征、形状特征、纹理特征、空白j 关系等视觉特征，是 通过视觉观察可以直接得到的，而高层特征指的是图像的高层语义，是不能通过 视觉观察直接得到包含了人对图像内容的理解是通过人的知识来推理而得到 的。现在对图像特征的研究主要集中在低层特征上。 2 2 1 颜色特征 颜色特征是一种全局特征，是所有视觉特征中表达力最强的，在基于内容图 像检索应用中关于颜色特征的描述子是用得最多的州。 颜色特征描述子源于对颜色直方图的分析颜色直方图是根据图像每个像素 的颜色值，把每种颜色按照其在一副图像中出现的频率进行统计。给定一副m x n 的图像，o 表示像素( x ，y ) 的颜色僮，图像的颜色集为c ，图像颜色直方图 可以表示为： h o - 志善善6 u 卅，。c 5 c ( 2 - 1 ) 直方图能够很好的描述颜色的分布，而且不受图像大小、方向、平移、旋转 的影响，颜色直方图具有可叠加性，如果某种方法要求将图像进行分块，那么各 块的直方图之和等于全局的直方图。如果图像上背景和对象的颜色分布差异很 大那么在直方图上会表现出明显的双峰特性，表示背景和对象的主要颜色，颜 色直方图对于难以自动分割的图像进行描述有很好的效果i i 。颜色直方图的缺 点是不能反应颜色的分布和空间关系，直方图完全一样的图像也可能在视觉上完 全不相似。 武汉理t 大学硕士学位论文 图2 - 2 马匹图像的荻度直方图 颜色矩也是一种街早有敢明觑色特祉，由s t r i c k e r 和o r e n g o 诺出，这种觑 色特征的理论基础是图像中的颜色分布可以用数学上的矩来表示【”i 一般采用3 个低阶矩，即一阶矩( m e a n ) 、二阶中心矩( v a r i 锄c c ) 、三阶中心矩( s k e w n c s s ) 日一。j 嘉车茸( 一c ( p ) 。( 嘉；马( p ) ( e ( p ) 一彬) j ( 2 - 2 ) 钆2 ( 嘉乏耳( p 鹏( p ) 一w ) j 其中 e ? 数 弱 所以通常是配合其他图像特征使用。 颜色一致向量( c o l o rc o h e r e n c ev e c t o r , 简称c c 方法不但统计整个图像每个 颜色的像素个数，还统计各个颜色最大区域的像素值。该方法把须臾颜色直方图 的每个区问内的像素分为两个部分，一致的和不一致的，这样就包台了颜色直方 图和颜色矩中无法包含的颜色空阃分别信息【1 ”，具体步骤如下： ( 1 ) 对图像平滑处理，并对颜色进行量化； ( 2 ) 将各像素区分成一致性像素和不一致性像素。通过具有相厨像素值并 相互邻接的像素确定一致区域来实现图像分割。给定闺值- ，如果一个像素所属 阿尔区域中像素个数大干阈值t ，就认为是一致性像素。 ( 3 ) 构造颜色一致向量c c v ： 武汉理工大学硕士学位论文 如矿( m ) = 【( 口，展) ，似：，卢：) ， 。，成) 】( 2 3 ) 颜色相关图利用图像中像素间的关系进行描述的一种特征，表示像素随距离 大小呈现的分布状态。这种方法不仅刻画了某各颜色的像素个数占整个图像的比 例，还能反应不同颜色间的空间相关性。 对于图像i ，m 乌尔量化后的颜色数目，用c l ，c 2 ，c m 代表m 个颜色值。对 于图像中的一个像素点p ( x ，y ) ，该像素的颜色值定位t ( p ) ，颜色相关图定义为： y 尝，( ，) 一p r p ：疋，l a - p ：i i 七la 毛】 ( 2 - 4 ) 其中k 为像素间距。 颜色相关图在保留了传统直方图法的同时还包含了图像空间信息，在检索医 学影像图片中得了使用。 2 2 2 纹理特征 纹理特征本质是刻画像素的领域灰度空间分布规律，主要有粒度、方向性、 重复性。颜色特征表示的是图像的全局特征，而纹理特征则是表示图像的局部特 性，主要描述的是局部区域相邻像素之间的关系，因此，纹理特征是一种区域性 质，具有旋转不变性，不过受图像分辨率影响很大。纹理特征方法主要分为空间 域纹理特征和频率域纹理分析两种，空间域纹理特征有t a m u r a 纹理特征、灰度 共生矩阵、l a w 纹理能量方法和自相关函数方法等，而基于频率域的纹理分析方 法借助傅里叶频谱的特性描述周期或者近似周期的图像模式的方向性。目前用得 比较多的是t a m u r a 纹理特征和灰度共生矩阵方法【1 2 】。 t a m u r a 等人从心理角度提出了纹理特征的6 个属性作为纹理特征的6 个分 量，即粗糙度( c o a r s e n e s s ) 、对比度( c o n t r a s t ) 、方向度( d i r e c t i o n a l i t y ) 、线性度 ( 1 i n e a r i t y ) 、规整度( r e g u l a r i t y ) 、粗略度( r o u g h n e s s ) 。图像检索中主要用到前三个 属性，即粗糙度、对比度和方向度。纹理特征中说道的纹理指的是广义上的纹理， 而狭义的纹理就是粗糙度，粗糙度也是纹理最本质的特征。图像基元尺寸越大， 也就是分辨率越大，给人的感觉纹理就比较粗。对比度描述的是像素强度分布的 情况。方向度是一个全局特征，描述的是图像局部区域的方向，将这些统计起来 构建方向角局部边缘概率直方图。 灰度共生矩阵是由两个位置像素的联合概率密度定义的，反映的是图像的亮 度分布特性和同样或者相似亮度像素之间的位置关系。我们利用灰度共生矩阵所 统计的图像灰度方向、相邻间隔、变化幅度等信息来对图像局部模式和排列规则 进行分析。 7 武汉理工大学硕士学位论文 2 2 3 形状特征 图像的形状特征是基于内容图像检索中用到最多的低层特征之一。一般来说 有两种形状特征的表示方法：基于区域的形状特征和基于轮廓的形状特征。 基于轮廓的形状特征只采用形状的边界信息。由于基于轮廓的形状特征易于 获取而且在很多应用中都能充分的描述，所以这种方法在实际应用中经常用到。 基于轮廓的形状特征又能分为常规的轮廓形状特征和结构轮廓形状特征，常规轮 廓形状特征把图像的边界视为一个整体，我们从整个边界中提取特征向量用来描 述形状，形状特征的相似性度量通常采用两个特征向量的欧几里得距离来表示。 结构轮廓形状特征把形状的边界分为好几个部分，这个方法最后得到的特征通常 是一个队列或者一个数。 在基于区域的形状特征中，形状区域中所有的像素用来获得特征。一般区域 的形状特征采用基于矩的方法进行描述，主要包括几何矩、l e g e n d r e 矩和z e m i k e 矩等掣1 3 1 4 】。不变矩是一种不可恢复的原始信息编码方式，而z e m i k e 矩则是一 种可恢复原始信息的编码方式。z e m i k e 提出一组在极坐标定一下的单位l 园( u n i t d i s c ) ( x 2 + y 2 1 ) 上的复数多项式v n m ( r 0 ) ，表达式如下： p ( ，t g ) - r ( r ) e x p ( j m 口)( 2 - 5 ) 其中r 。m ( r ) 为单位圆上定义的一组正交多项式，其定义如下： 月_m(，)；l”萎72(一1)5：；：jj：j：iiif红”一25 ( 2 - e 哆 其中1 1 和m 为z e r n i k e 多项式的阶数，1 1 为非负整数，刀一m l 为偶数，且玎i m i 。 由于z e m i k e 矩的基是正交径向多项式，因此z e r n i k e 矩具有旋转不变性、 易构造高阶矩、冗余性小、比例不变性和平移不变性。该方法参照基于网格的方 法进行处理还能得到尺度不变性1 1 5 】。 2 2 4 空间关系特征 一副图像中对象和对象之间的空间关系也是图像检索中的一个重要特征。前 面几节中讲到的颜色、纹理、形状等特征都是反应的图像的整体特性，无法反应 对象与对象的关系。例如，一副图像上有大海和天空，但由于大海和天空的颜色 很相近，在直方图上是无法反映出来的，这样我们就需要用到空间关系的方法， 空间关系特征能反应出天空在图像上位于大海的上面，这样的特征对检索有很大 的帮助。空间关系主要包括图像的对象与对象的关系，主要包括拓扑、方向、度 量3 大类空间关系。空间关系特征可以分为两类：一类方法首先对图像进行自动 8 武汉理工大学硕士学位论文 分割，划分出其中所含的对象或颜色区域，然后根据这些区域对图像索引；另一 类方法则简单地将图像均匀划分若干规则子块，对每个图像子块提取特征建立索 引。 这里简单介绍图像对象与对象间的拓扑关系l l 引。拓扑学是几何学分支之一， 在图像中，拓扑学是研究图形在拓扑变化下不变的性质，为图像检索中空间关系 特征提供理论依据。点集拓扑主要用内部、边界、余来描述对象的空间关系。设 x 是拓扑空间，ax 是点x 的一个邻域，则称x 是a 的一个内点，集合a 的所 有内点构成的集合称为集合a 的内部，记作a 0 。x 的余定义为x 中所有闭集的 交。x 的边界是x 的余和x 的补集的交集。 2 3 相似性度量 相似性度量是图像检索中的重要步骤，特征提取后选择合适的相似性度量方 法进行计算，可以得到查询图像和目标图像的相似程度。设q 和t 分别为查询图 像和目标图像，l l 口，h t 分别表示查询图像和目标图像在特征提取阶段所得到的特 征，一般是一组特征向量，d ( q ，t ) 表示查询图像和目标图像的距离，距离越小说 明两幅图像的相似度越大【1 7 1 。常用的相似性度量方法有明f f ：( m i n k o w s k i ) 足e 离、 欧式( e u c l i d e a l l ) 距离、马( m a h a l a n o b i s ) 距离、二次距距离和直方图相交等。 明氏距离常用在图像特征向量互相独立。明氏距离的表达式如下： d ( g ，f ) 一( 罗k 【朋】，h t m i ) 7 ( 2 7 ) 赢= b 。 这里r 值取l ，2 时d ( q ，t ) 分别对应的是l 。( m a n h a t t a n ) 距离和l 2 ( e u c l i d e a n ) 距离。图像的纹理特征特征通常使用l 。距离来进行相似性，而图像的颜色和形 状特征则通常使用l ：距离来进行计算。 直方图相交是一种特殊的l 。距离，表达式如下： m 一- 1 芝：m i n ( h q m ，曩【肌】)洲 d ( q t ) _ 1 一生1 厂一，i 叫。弘叫 ( 2 8 ) 直方图相交方法简单快捷，并且能够抑制背景噪声对检索的影响。 前面的相似性度量方法都是一对一的特征比较，而实际应用中，图像的每个 特征和特征之间也有一定关系，二次式距离( q u a d r a t i cf o r m ) 采用的是一对多的特 征比较来得到不同的相似性度量，表达式如下： d ( q ，r ) ( 一曩) 。么( 一忽) ( 2 9 ) 其中a - - - a i j 】，表示的查询图像特征中第i 和元素和目标图像特征中第j 个元素 9 武汉理工大学硕士学位论文 的相似程度。4 i ，且a 讧= 1 。此方法在i b m 的q b l 一系统中得到采用，相似 性度量的效果要好于一对一的特征比较。 2 4 图像检索系统性能评价 性能评价是对一个系统优劣的一个评价标准，性能评价能推动一项技术不断 的发展和优化。由于图像检索具有很强的主管性，所以就需要一个量化的评价标 准来判定检索算法的好坏。检索中比较通用的三个准则是效率( e f f i c i e n c y ) 、有效 性( e f f e c t i v e n e s s ) 和灵活性( f l e x i b i l i t y ) ，效率反应的是检索的速度，有效性反应的 是检索的成功率，而灵活性则是反应检索在各个应用中的适应性。现在的图像检 索中我们更多关注的是有效性，即是检索结果的正确与否【1 8 d 引。 查全率和查准率在图像检索系统性能评价中应用最为广泛。设集合q 是图 像库中所有图像的集合，集合a 表示与查询图像相关的图像，如查询图像是一 朵花，a 就是图像库中所有有关花的图像的集合，集合b 表示查询图像经过图 像检索系统后返回的图像集合，下面用关系图来表示集合的关系并说明查全率和 查准率。 图2 - 3 检索图像关系图 图中a + b + c + d = q ，a + c = a ，a + b = b 。 查全率反应的是检索的全面性，可以表示为： 脚川6 ) i 背= 南 查准率反应检索的准确性，可以表示为： 脚( 8 1 舻等一老 误检率则为： f 。上 b + d p v r ( p r e c i s i o nv e r s u sr e c a l l ) 曲线是用查全率作为x 轴， 1 0 ( 2 1 0 ) ( 2 - 1 1 ) ( 2 - 1 2 ) 查准率作为y 轴 武汉理工大学硕+ 学位论文 所绘制出来的一种曲线，p v r 曲线和横轴纵轴所未成的面积s ( f ) 可以通过对曲线 进行积分计算出来，该面积记为e ，是p v r 指数【2 0 1 。由于查全率和查准率都在 o 和1 之间取值，可知p v r 指数e 也属于o 到1 之间的某个值。e 反映的是图 像检索性能， e 越大说明检索性能越好，如果e = i 则说明系统性能最佳。 1 c o r - - 4 r - i o a ) 钿 山 0r e c a l1 ( a ) p v r 曲线和p v r 指数( b ) 图像最佳检索性能p v r 曲线 图2 4 图像检索性能评价准则 除了依靠查全率和查准率得到的p v r 指数，还有其他基于查全率和查准率 的系统性能评价方法。3 点平均值法是记录查全率为0 2 ，0 5 ，0 8 时的查准率的 平均值；1 1 点平均值法计算1 1 个查准率点处查准率的平均值；在准确度低于0 5 时的查全率；b e r m a n 和s h a p i r o 通过计算前2 5 个返回图像和前4 0 0 个返回图像 的比例来评价【2 1 j 。 2 5 本章小结 本章着重于基于内容图像检索相关的基本理论知识，介绍了基于内容图像检 索的系统结构，对于图像特征的提取对于颜色特征、纹理特征、形状特征和空间 关系特征进行了简要介绍，在颜色特征里介绍了颜色直方图、颜色矩、颜色一致 向量和颜色相关图，纹理特征中介绍了灰度共生矩阵，形状特征中介绍了z e m i k e 矩，之后对特征向量的各种距离的方法，即相似性度量进行了描述，最后介绍了 图像检索系统的性能评价标准，讲述了查全率和查准率及基于查全率查准率的系 统性能评价方法，主要介绍了用p v r 指数进行评价的方法。 l co【一o铀，i o 武汉理工大学硕士学位论文 第3 章图像分割 目前基于内容的图像检索大多只考虑图像的全局特征，基于全局特征的检索 方法虽然易提取、易计算，且对图像平移和旋转具有不变性，所以符合很多图像 检索应用的要求。但是在一副图像中，用户更感兴趣的是图像中的目标，而不是 图像的背景，特征提取中背景对特征造成的影响必定会降低图像检索的效率和准 确性。如果能用合适的方法对图像进行图像分割，把图像分割成目标和背景，对 目标提取特征并图像检索，理论上应该比对整个图像进行特征提取所得到的图像 特征更加符合用户需要。 3 1 图像分割的定义 图像分割在图像研究中非常重要，不管是理论研究还是实际应用都得到人们 的广泛重视。经过多年研究和发展，研究者对图像分割做出这样的定义【2 2 l ： 令集合r 为整个图像像素的集合，对r 进行图像分割可以看成是讲r 分成 n 份，分别为r 1 ，r 2 ，r n 的非空子集，这n 个非空子集必须满足一下条件： _ ( 1 ) u 置一r ； ( 2 ) 对i = l ，2 , - - , n ，p ( r i ) = t r u e ： ( 3 ) 对任意的i j 且i j 有r inr j 一巾； ( 4 ) 对任意的i ，j 且i j 有p ( r i ur j ) = f a l s e ； ( 5 ) 对i = l ，2 ，n ，r i 是连通的区域。 以上的条件( 1 ) 说明图像的分割结果中每一个像素在分割后的子区域里都 能找得到；条件( 2 ) 说明图像分割后，被分到同一个子区域的像素应该有一些 相同的特性；条件( 3 ) 说明分割后的每个子区域不存在重叠部分，也就是说不 可能有一个像素既属于一个子区域又属于另一个子区域；条件( 4 ) 说明图像分 割后，被分到不同子区域的像素应该有一些不同的特性；条件( 5 ) 说明分割后 得到的子区域里的所有像素都是互相连通的【矧。 3 2 图像分割的方法 图像分割最大的问题在于图像噪声的干扰。迄今为止还没有一种完善的图像 分割的方法能对各种情况的图像进行准确的分割，现在的图像分割方法都是根据 武汉理t 大学硕士学位论文 不同方面的应用选择合适的方法。图像分割也没有图像检索那样有客观的系统评 价准则，图像分割的好坏目前都只能靠实际的应用场景来判断。目前图像分割主 要包括四种：并行边界分割、串行边界分割、并行区域分割和串行区域分割。 图3 - 1 图像分割方法框架 3 2 1 并行边界分割技术 图像的边缘很容易引起人眼的注意，实验证明，人类的视觉似乎是利用边缘 对看到的事物进行检测识别，当人眼看到的区域里亮度的变化很微小的时候，很 难引起注意，但是如果在某个区域亮度的变化突变时，人眼就能立刻察觉，并引 起注意。边缘检测在图像分割中具有广泛的应用，对出灰度级或者结构突变的地 方作为一个区域的边界，边缘检测在纹理特征中也得到使用。 目前边缘提取依然是图像分割中的一个难点，边缘和我们所熟悉的物体的边 界并不是一个概念，边缘指的是图像中灰度级或者结构具有突变的地方，而物体 的边界是在现实中物体和物体之间的。例如两个颜色相似的物体放在一起在图像 中他们的边界处可能没有边缘，而一个由多种颜色组成的物体在各个颜色的交界 出有边缘，正因为如此，图像的边缘提取在很多时候很难做到很好的区分两个不 同物体。 梯度是边界检测的理论基础，梯度对应的是一阶导数，梯度算子在边缘灰度 级过度明显且噪声较小的时候可以得到满意的效果。对于一幅图像“x ，y ) ，在图像 中任何一个点的地方的梯度可以用一个矢量来表示。梯度矢量可以表示为： 1 3 武汉理工大学硕士学位论文 可歹c x ，少，2r x 4 矿( x ，y ) 缸 矿( x ，j ，) 砂 ( 3 1 ) 其中，g x 和g y 分别表示f b ，y ) 沿x 方向和y 方向的梯度，梯度方向是图像灰度 值变化最快的方向，设0 曼为梯度方向，则有： 0g = t a n “( f f x ) ( 3 2 ) 在0 。方向的梯度幅度为： 咖) l l 耵圳一( 掣) 2 + ( 掣) 2 ( 3 - 3 ) 由于现在获取的图像都是数字图像，所以在实际使用中，都是使用小区域模 板进行卷积来近似代替梯度，对g ，和g ，分别分别使用一个模板，将两个模板组 合起来就构成一个梯度算子，常用的梯度算子有r o b e a s 算子、p r e w i t t 算子、s o b e l 算子、i s o t r o p i cs o b e l 算子和l a p l a c i a n 算子等。 m 阁 ( a ) r o b e r ts 笃：子 圈旧刘 【；黾；】e 1 萝荸】 ： 三三 r o b e , s 算子优点是边缘定位准，缺点是对噪声比较敏感，适合对比度高、 噪声小且边缘明显的图像；s o b e l 算子和p r e w i t t 算子收噪声影响比较小，提供边 缘方向，但精度不高，有时候检测出来的边缘不是用户想要的；l a p l a c i a n 算子 属于二阶导数算子，检测出来的边缘更加精确，但是对噪声也更敏感。 1 4 武汉理工大学硬士学位论文 ( a ) 原图 ( b ) r o b e r t s 算于 ( c ) p r e w i t t 算子 ( d ) s o b e l 算子( e ) l a p l a c i a n 算子 图3 - 3 四种梯度算子分割结果 3 2 2 串行边界分割技术 并行分割指的是同时对图像中每一个像素做同样的操作，也就是说在对图像 上的点处理时都是相互独立的，不依赖其他点韵处理结果。而串行分割在处理图 像上的像素时不仅要考虑像素本身的信息，还要利用其他处理过的点的信息。 串行边界分割就是这样一种依靠串行的方式进行的分割方法串行边界分割 技术3 个关键步骤如下i ： ( i ) 确定起始边缘点，先对这些点进行操作； ( 2 ) 确定个搜索准则，根据这个搜索准则来找到下一个点，井将其作为下一 个边缘点； ( 3 ) 选择终止条件，当搜索到满足该条件是停止搜索。 边界是根据梯度图中的一个边缘点出发，根据一定的搜索准则逐步检测出所 武汉理工大学硕士学位论文 有边界的方法。图像中的边界常常不一定是一个闭合曲线，有时候边界上会有缺 口，利用边界跟踪能解决这一问题。根据对像素的梯度进行计算，按照上面说的 3 步可以实现分割： ( 1 ) 对于区域中梯度最大的点作为起始边缘点； ( 2 ) 计算起始点8 个相邻像素中梯度最大点作为下一个边缘点； ( 3 ) 设置一个梯度阈值，当一个边缘点的8 个领域的梯度都小于这个阈值时搜 索结束，阈值在大量实验中得到。 并行的边界方法要对每一个像素进行操作而言，串行分割更加简单方便。而 且串行方法表现了各边缘点之间的空间关系，在某些应用中效果更好。 3 2 3 并行区域分割技术 并行区域分割技术采用并行的方式对图像进行检测，用一定的方法讲图像中 用户感兴趣的区域分割出来，最常见的并行区域分割技术是阈值分割和聚类1 2 6 j 。 阈值分割从大体上讲就是事先选定一个阈值，并行的将图像中的每一个像素 点和选定阈值进行比较，通过区分大于阈值和小于阂值把整个图像分为两个部 分，目标和背景。对于阈值分割最关键的步骤在于对阈值的选择，选择适当的阈 值对分割非常重要，常见的确定阈值有实验法、直方图法和最小误差法等。 实验法在分割之前要掌握图像相关的某些特性，根据这些特性选择适当的阂 值，这种方法虽然简单方便，但是图像检索中图像分割前我们都是难以了解需要 分割图像的特征的，所以在图像检索中一般不会采用实验法选择阈值进行分割。 直方图法是常见的阈值选取方法，当图像的目标和背景有一定的颜色差异 时，整个图像在直方图上会呈现双峰，双峰上的颜色值分别是目标和背景的主要 出现的颜色。在这种情况下选择两个波峰之间的波谷值作为阈值就能较好的把目 标和背景分开。这种方法的缺陷在于需要目标和背景有比较明显的差异。 最小误差法假定图像的目标和背景的灰度分布都是正态分布的，利用概率的 知识找出一个阈值，使这个阈值进行分割后目标和背景的差别达到最大。 聚类方法是一种不需要任何人工干预的图像分割方法，目前聚类方法的主要 问题在于聚类的类别数不易确定、有效的初始类中心和初始隶属度的选取、计算 量过大和分割后的区域不连续等问题。 3 2 4 串行区域分割技术 串行区域分割技术是分布对区域进行顺序操作，把具有相似属性的像素点连 在一起构成区域，串行区域分割技术一般分为区域生长和分裂合并。 区域生长是从某个像素为起始点，按照一定的生长准则，将符合要求的领域 1 6 武汉理t 大学硕士学位论文 上的点加入进来，当达到终止条件时停止生长，从而构成区域，就步骤来说和串 行边界分割技术相似。区域生长最重要的步骤是选择适当的生长准则，首先对图 像进行顺序扫描，找出第一个没有归属的像素点，设该点为( x o ，y o ) ；然后以点( x o ，y o ) 作为中心检查四领域的像素，如果满足生长准则就和f x o , y o ) 合并，再以新合并的 点作为( x o , y o ) ，重复第一步的操作，知道满足终止条件为止。 分裂合并是区域生长的逆过程，其基本思想是把图像不断的分裂分成各个区 域，然后再将这些区域进行分裂或者合并。 3 3 利用图像分割提取对象 图像检索可分为对基于图像全局信息检索和基于局部信息的检索，目前多数 研究侧重于对全局信息的检索，图像的全局特征易于提取，不需要在提取特征前 对图像做图像分割这样的预处理，而且对平移和旋转不敏感，计算也比较简单， 在很多类型的图片上提取全局特征进行检索可以达到用户要求。但是，在图像检 索中，对于大多数图像，用户更多关注的是图像中的目标，而背景的特征对用户 来说没有多大的价值。例如马路上的一辆车，我们需要提取的是车的特征，如车 的颜色、形状等，对车所处的环境并不关心，如果对这幅图像全局信息进行提取， 那么背景的信息必然对检索产生负面的影响，特别是背景在图像中所占的比例比 较大时。如果能用图像分割的方法