（电气工程专业论文）图像检索关键技术研究.pdf

r e s e a r c ho nk e yt e c h n i q u e so fi m a g er e t r i e v a la b s t r a c tw i 也r a p i da d v a n c e si nc o m m u n i c a t i 强a n dm u l t i m e d i ac o m p u t i n gt e c h n o l o g i e s ，a c c e s s i n gm a s sa m o u n t so fm u l t i m e d i ad a t ai sb e c o m i n gar e a l i t y t h ec o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) t e c h n o l o g yc a ne x a c t l ym e e tt h en e e d sm e n t i o n e da b o v e 。强k e yt e c h n i q u e s o nr e # o n - b a s e di m a g er e t r i e v aa n dm a t c h i n ga l g o r i t h mi se l u c i d a t e di nd e t a i li nt h i sp a p e r s e v e r a lk e yp h a s e si nl o w - f e a t u r e - b a s e di m a g er e t r i e v a la r ef e a t u r ee x t r a c t i o n ，i m a g es e g m e n t a t i o na n di m a g em a t c h i n g t h em e t h o dp r e s e n t e di nt h i sp a p e rf i r s t l ye x t r a c t st h ec o l o ra n dt e x t u r ef e a t u r ef r o me v e r yp a r ti nt o t a l6 - d i m e n s i o n a lf e a t u r ev e c t o r s e c o n d l yt h i sm e t h o ds e g m e n t st h ei m a g ei n t or e # o n $u s i n gac l u s t e r i n gm e t h o dn a m e df u z z yc - m e a n sa l g o r i t h m ，t h e nm a k e ss o m ei m p r o v e m e n t sb a s e do nt h ef c mm e t h o d f o rs e v e r a lc a t e g o r i e so fi m a g e sw h i c hh a v et h ec h a r a c t e r i s t i c so fe a s i l yd i s t i n g u i s h e do b j e c ta n db a c k g r o u n do n c o l o ra n dt e x t u r e ，o n em e t h o di sp r e s e n t e du s e dt om e r g et h er e g i o n sa n dt h es e g m e n t a t i o nr e s u l t ss h o wt h a tt h i sm e t h o di ss a t i s f y i n g f o rt h ep u r p o s et ol o w e rt h ei n a c c u r a c yc a u s e db yt h ei m a g es e g m e n t a t i o n , t h i sp a p e ru s e saf u z z yf e a t u r er e p r e s e n t a t i o nm e t h o db a s e do nt h ec a u c h yf u n c t i o nt or e p r e s e n tt h er e g i o nf e a t u r e s i nt h ep h a s eo fr e g i o nm a t c h i n g ，t h i sp a p e re l u c i d a t e ss o m em a t c h i n ga l g o r i t h m sc o m m o n l yu s e da n dm a k e sad e b a t eo nt h ei m a g er e t r i e v a le f f i c i e n c yb a s e do n 斑ei r mm a t c h i n gs c h e m e i no r d e rt oi m p r o v et h er e t r i e v a le f f i c i e n c y , f o rs e v e r a lc a t e g o r i e so fi m a g e sw h i c hh a v el a r g eb a c k g r o u n da r e a sa n ds i m p l ec o l o ra n dt e x t u r e lt h i sp a p e rm a k e ss o m ei m p r o v e m e n t sb a s e do nt h ei r mm e t h o d 。k e y w o r d s ：i m a g er e t r i e v a l ，i m a g e ss e g m e n t a t i o n ，i m a g em a t c l 6 n g插图，表格清单图1 1 基予文本的图像检索过程l图1 - 2 基予内容的图像检索框架图4图3 。l 罂像区域生长法流程圈。1 5图3 - 2 两层分辨率的塔形结构：2 l图3 3 含噪声图像及三种分割结果2 2蚕3 - 4 标准l e n a 图像及两种算法的分割结果2 3图3 。5 含嗓l e n a 图像及三种算法的分割结果2 3图4 i 图像1 和图像2 的关联程度2 8图4 2i r m 检索结果2 8图缸3 改进算法检索结果。2 9表如l 性能比较。3 0独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得金壁王些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：南彪弋企x签字日期：口8 年，闰日学位论文版权使用授权书本学位论文作者完全了解金虺王些太堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金胆王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书)学位论文作者签名：鸡妖武签字日期：2 口9 踞r 伊j 日学位论文作者毕业后去向：工作单位：通讯地址：导师签名：带下瞄，电话：邮编：致谢在合腮王业大学的研究生阶段的学习已经接近尾声，但是回想当年入学的情景，仿佛就在昨天。从课程的学习、论文的选题、科研的进展到论文的顺利完成，都离不开温阳东教授的指导和关心、同学们的帮助、家人的支持以及工作单位领导和同事的支持和关心。在此，谨向他们表示我最真挚的感谢和由衷的敬意!我要深深地感谢我的导师湿阳东教授，感谢他在学术上对我的悉心指导和絮助，无论是他的表扬还是批评，都给了我很大的动力，才使我思想上有了积极的改变，科研上有了碉显的进步。湿阳东渊博的知识、严谨的治学态度、糖益求精的学术风格、一丝不苟的工作作风和平易近人关怀学生的崇高风格给我和同学们以很大的震撼和强烈的印象，更重要的是，它是一静潜移默化的感染力和感召力，使我的理论水平和科研能力提高很多，并使我深刻感受到科研的艰辛道路上也有欢乐。至此论文完成之际，我在这里向敬爱的湿阳东致以最诚挚的感谢! 感谢他给我们创造了一个安全畅通的网络学术通道。在此还要感谢蚌埠坦克学院电子室的诸位老师的关怀和帮助，及学校的诸位同密。与他们的友好交往为我的学习生活增添了乐趣、有益的学术讨论也使我开阔了思路，受益匪浅。感谢他们对我的关心和友好建议。馒我能顺利地完成学业。感谢我昭工作单位，蚌埠医学院附属医院的诸多领导、老师和同事的关心，感谢他们的支持和帮助，使我顺利地读完硕士。向在过去所有的日子里，关心、爱护和帮助我的人们致以最衷心的感谢!感谢参加论文评审和答辩的各位老师对本文的批评指芷!作者：芮长城2 0 0 8 年l o 月第一章绪论1 1 引言近年来随着多媒体技术、计算机技术、通信技术以及互联网的迅速发展，各种各样的图像信息不断的涌进入们的生活和工作，我们每天都会接触到海量的信息比如数字图像、数字化的视频信号、医学图像、遥感图像、新闻图片等信息。这些数字图像中包含了大量有用的信息。然蕊，由于这些图像是无序地分布在世界各地，图像中包含的信息无法被有效地访问和利用。这就要求有一种能够快速而且准确地查找访问图像的技术，也就是所谓的图像检索技术。特别是当网络技术日益成为信息系统主流的今天，图像已经深入的、广泛的应用于社会的各行各业中。在设计制造、医疗卫生、艺术文化、建筑工程、地理、法律、公安等领域相继建立了冬种图像库。但这些图像瘴容量过于庞大，给人们使用时带来了困难，如何快速实现图像的浏览和查询成了拯待鳃决的关键问题，因此，对图像信息检索技术的研究显得极其重要。在2 0 世纪7 0 年代晚期，出现了基于文本的图像检索系统f 玷】。图像被注释上关键字，图像根据关键字索引、存储在传统的数据库中。由于这些关键字由人工进行标注，效率较低，得不到令人满意的检索结果。同时标注的方式不可能给出图像所有的特征，而且不同的用户对于固一幄图像的理解也是不同的。图i - 1 基于文本的图像检索过程为了克服标注方法的不足，2 0 世纪9 0 年代初，基于内容的图像检索( c o n t e n t - b a s e di m a g er e t r i e v a l ，即c b i r ) 作为一神新的检索方法被提出并很快地成为了研究的热点。基于内容的图像检索就是根据对图像内容的描述，在目标图像集合中找到具有指定特征或包含指定内容的图像。图像的内容可以分为两类：视觉内容和信息内容。视觉内容对应图像的物理表示，如颜色、形状、纹理等。信息内容对应图像的语义，如主题、人物、场景等。劳了检索篷像，首先要描述图像的内容，对图像的内容进行形式化表示，即建立图像索弓| 。建立图像索弓| 要用到图像处理、计算机视觉、人工智能、数据库等技术出于图像内容的复杂性和人类的认知主观性，建立高效、通用的图像索引是一项很困难的工作。网前，视觉内容的索引一般可以通过特征提取得到，语义信息的索引则往往要通过人机交互的方式才能得到。c b i r 主要是根据图像的索引，通过计算查询图像和目标图像的相似距离，然后按相似度进行检索。与传统的检索方法相比，c b i r 的特点在予：1 。表达的内容不同突破了传统的基于表达式检索的局限，直接对图像分析和提取特征，表达了图像所包含的丰富的内容细节。2 检索方法不同利用自动语义分析方法；在数据库中，需使用模式识别的方法对图像库中的图像按不同的特征分类，采用某种相似度量对图像库中的图像进行匹配以获得查询结果，本质上是一种近似匹配的技术。3 畏好的灵活性传统的检索方法失去了时闻空间信息而不能提供富有弹性的数据管理方法，而c b i r 系统具有很强的交互能力，用户参与整个检索的过程，是图像数据痒的一个重要方面。交互性增加了用户的表达查询、评价查询结果和基于这些评价上进一步检索的能力，是一个闭反馈机构。1 2c b i r 的研究现状及热点1 2 。1 国内外研究现状从上个世纪9 0 年代中期开始，c b i r 逐渐成为活跃的研究领域。每年都有相关的国际会议召开，各种国际一流的学术杂志均以此为主题，出版论文专辑；到目前为止，已经成功建立了c b i r 系统的通用框架，并且，按照这框架，通过采用各具特色的c b i r 检索技术，己有不少性能各异的c b i r 研究原型系统和商业应用系统颟世。其中，比较有代表性的c b i r 系统主要有：1 q b i c 【3 lq b i c 是由m m 公司推出的、最早的c b i r 系统。其采用的系统框架和技术对后来基于内容的图像检索系统的发展具有深远的影响。q b i c 支持基于样图的查询、草图的查询、用户选择颜色和纹理的模式的查询。颜色特征使用k = 6 4 的平均颜色直方图特征：纹理特征是t a m u r a 纹理表示的种改进，综合了粗糙度、对比度和方向性的特征；形状特征包括面积、圆形度、离心率、主轴方向和一系列代数不变矩( i n v a r i a n tm o m e n t ) 。q b i c 是少数考虑了离维特征索引的系统之一，其索引模块先使用k - l 变换降低特征维数，再用r 树构造多维索引结构。q b i c 还将基于关键词的检索和图像内容检索结合在一起。2 v i r a g e l 4 1v i r a g e 是由v i r a g e 公司开发的基于内容的图像检索引擎。同q b i c 系统一样，它也支持基于色彩、色彩布局、纹理和结构特征( 对象边缘) 的可视化样图查询。v i a a g e 进一步支持上述四种查询的任意组合，用户可以根据需要调整各个特征的权值。最近，v i r a g e 开始研究在一些专妲领域的应用，如脸部检索及癌细胞检测2等。3 m a r sm m 己s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 是由u 1 u c 开发的支持图像底层特征的复合检索的图像检索系统。m 6 姻系统的重点不在于寻找单个的最佳特征表示，而在于如何将图像不同的外观特征组织成有意义的检索体系，以动态适应不同的用户及应用场合。m a r s 系统是正式提出相关反馈的系统，它将相关反馈技术集成到检素的不同层次过程中，使用不同的特征和不同的稻似性度量准员| j 比较模板图像和图像库中的图像。4 p h o t o b o o kp h o t o b o o k 由m i tm e d i al a b 开发的图像测览与检索的交互工具。它包含3个子部分，分别提取图像的形状，纹理和面部特征。用户可以分别进行相应的检索。在此基础上发展出f o u r e y e s 系统，集合了用户对图像的标注，以进一步提高系统的效率。5 v i s u a l s e e k 和w e b s e e kv i s u a l s e e k 是巍美国哥伦比亚太学开发的视觉特征引擎，其姊妹系统w e b s e e k 是基于互联网的文本图像搜索引攀。主要研究图像中区域的空间关系特征和基于压缩域的视觉特征提取。它使用颜色集和由小波分析提取的纹理特征。为加快检索速度，他们提出了二进制树( b i n a r yt r e e ) 的索弓l 算法。使用w e b s p i d e r 技术从互联网上收集图像和视频信息，按主题分类和索引以供浏览和检索。除了以上介绍的c b i r 系统外，比较成功的类似系统还有：e x c a l i b u r 公司开发的r e t r i e v a l w a r e 图像检索引擎。u c s b a l e x a n d r i a d i g i t a l l i b r a r y ( a d l ) 的n e t r a原型系统、u cb e r k l e y 大学的c h a b o t 系统等。另外，国内一些院校也己开始了对c b i r 技术的深入研究。浙江大学从1 9 9 5 年开始进行多媒体图像检索的研究，开发了基于图像颜色的检索系统p h o t on a v i g a t o r ，并将基于颜色的c b i r 技术较为成功地应用于敦煌壁灏数据库的研究和开发。另外，国防科技大学等高校也对c b i r 领域进行了多年的深入研究。1 2 2 研究热点基予内容的图像检索发展到今天，它的主要技术成果的思路是：从图像中分析抽取底层视觉特征( 例如图像的颜色、形状、纹理、空间关系等) 来衡量豳像之间的相似程度以实现基于内容的检索。在底层的视觉特征上，特征的提取主要采用计算机视觉和数字图像处理技术，而图像相似性的匹配主要利用模式识别技术。图1 2 语义层次化的基于内容的图像检索系统的框架图。从图l 。2 见，基于内容的图像检索的语义由下至上可以分为三层；底层特征层、对象层和语义概念层。通常上一层比下一层包含更高语义内容，但是下层是上层的基础，上层的语义往往通过下层的语义分析以及推理而得到。最下层称为底层特征层。从本质上讲，这一层基本上没有考虑图像的语义信息，它的基本思想就是抽取图像的颜色、纹理和形状等底层特征进行相似性匹配。目前基于内容的检索就处在这一层次上。中间层是对象层的语义。对象层的语义由下至上可以细分为两类：一是对象的语义，例如汽车、太阳等；二是对象之间的空间关系的语义，例如一个人站在一棵树的旁边等。对象级索弓| 的创建是在底层特征的基础之上，再加上对象模型库的辅助，通过对象识别的过程来实现的。从视觉内容中壹接提取、抽象出图像的描述子，只能满足最基本的第一层次的图像检索要求。第二个层次的检索是根据图像的逻辑特征进行查询的，逻辑特征是从图像所包含的内容中推理出来的。计算机视觉，特别是基于模型的视觉就包含这样的检索技术。第三个层次的检索是用抽象的概念属性进行查询，需要对图像的内容作更深的推理。目前，研究者还是主要集中在对第一个层次的图像检索的研究，并且在众多方面取得显著成绩。随着相关理论的发展和研究的不断深入，第二、第三层次的检索技术必然会有突破性进展。检索技术的提高必然会给图像检索王作带来质的飞跃。语义概念级的检索语义概念级的索引卜 一语义概念摄取过程1 二h 卜- 一阔像语义知识库对象级的检索对象级的索引 对象识别过程1 二h 卜_ 一图像语义知识库特征缎的检索特征级的索引卜 一底层特征提取过程、二h 卜一领域知识库源图像库用户赛覆图卜2 基于内容的图像检索框架图4，1 3 图像检索存在的问题目前影响图像检索进一步发展的主要原因是由于计算机视觉以及人工智能发展的不成熟，导致各种算法提取的特征不能够完全表示图像。于图像数据的特殊性，导致目前的关系型数据库不支持现在的基于内容的图像检索。一般认为要建立一个完善的图像检索系统需要解决以下三个难题：1 、特征提取仍然是研究的热点和难点，基于颜色的特征提取主要因为人眼对于色彩特征的视觉感知原理还不清楚，虽然人们采用了和人眼视觉比较相符的h s v 空间，但是两种色彩之间的相似度的定义和视觉上对相似色彩的判定仍有一定的差距。基于纹理的特征提取的主要问题在于目前的纹理特征提取的算法仅仅适用于某一特定物体，无法对图像库中的其他物体适用。形状的提取在于只有少量的形状和形状的几何变换无关，另外形状度量方法不具有很好的形状区分能力，不能有效表达形状之间的相似度。2 、数据模型是用来提供图像信息表示和检索的形式框架，是图像检索系统设计的关键，是影响图像检索性能的一个重要因素。由于图像数据的特殊性，单个象素不具有语义信息，所以传统的关系型数据库不能适用基于内容的图像数据库。3 、索引技术一直是图像检索研究的重要问题之一，由于图像的特征通常是几十维甚至上百维，一般的索引技术显然不适用，如何降维成为一个值得关注的问题。1 4 本文的工作及章节安排论文的研究主要围绕着基于区域图像检索中的一些关键技术展开。主要对基于区域图像检索中的图像分割和图像匹配方法作了重点的研究，并在若干方法上作了些改进。在图像分割阶段，本文使用f c m 算法实现聚类分割，由于图像分割的效果不是很理想，本文对对它进行改进，提高了分割速度和分割精度。在图像匹配阶段，本文重点讨论了i r m 匹配方法，针对某几类特殊图像，同时结合图像分割算法，本文在i r m 的基础上作了些改进，实验效果较好，缺点在于此方法局限性高，计算量大。本文的章节安排如下：l 、分析图像检索研究的背景以及研究现状，讨论基于区域的图像检索的研究热点和现状。2 、分析基于颜色、纹理、形状等特征的图像提取方法。3 、研究基于f c m 算法的图像区域分割技术，并在此算法的基础上提出了塔形加权f c m 聚类的图像快速分割算法。4 、分析了图像匹配的关键技术，对i r m 匹配机制作了重点的探讨，提出了图像匹配的性能指标，并在i r m 的基础上对某几类图像的匹配算法作了些改进5 、并对各算法图像检索结果进行仿真比较。第二章图像特征提取2 1 图像特征提取概述图像特征的提取与表达是基于内容的图像检索技术的基础。从广义上讲，图像的特征包括基于文本的特征( 如关键字、注释等) 和视觉特征( 如色彩、纹理、形状、对象表面等) 两类。视觉特征又可分为通用的视觉特征和领域相关的视觉特征。前者用于描述所有图像共有的特征，与图像的具体类型或内容无关，主要包括色彩、纹理和形状；后者则建立在对所描述图像内容的某些先验知识( 或假设) 的基础上，与具体的应用紧密有关，例如人的面部特征或指纹特征等。在这里，我们主要介绍那些由实践证明对图像检索比较有效的特征和相应的表达方法，即图像的颜色、纹理和形状三种特征。2 2 图像的颜色特征颜色特征是在图像检索中应用最为广泛的视觉特征之一，主要原因在于颜色往往和图像中所包含的物体或场景十+ 分相关。此外，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。并且，颜色特征相对于其他低级视觉特征而言，颜色与图像的阶调、定向性及透视性等关系更密切。最早采用颜色进行图像检索是由s w a i n e 5 】和b a u a r d 提出基于颜色直方图检索方法，其核心思想是在一定的颜色空间对图像中各种颜色出现的频数进行统计。颜色作为物体的属性之一用于图像检索系统，具有以下特点：l 。数据量小。在这个世界上出现的颜色中，只需要采用两百种离教的颜色，就可以区分大量的物体。2 颜色特征与图像位移、尺寸和图像中对象的往置无关，具有平移、旋转和尺寸不变性。3 。颜色特征受物体完整性的影响较小。当物体被部分地遮挡时，相对于颜色直方图而言，颜色直方图手的影响不是很大。4 颜色直方图受图像的分辨率的影响较小。5 噪声对检索结果有一定的影响，但通过某种算法能够很容易减少噪声对匹配王作的影响。面向图像检索的颜色特征的表达涉及到若干问题。首先，我们需要选择合适的颜色空间来描述颜色特征；其次，需要采用定的量化方法将颜色特征表达为向量的形式；最后，还要定义一种相似度标准用来衡量图像在颜色上的相似性。2 2 1 颜色直方图6颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。瓶虽，晷前也被广泛应用于图像检索系统中。如，q b i c 等系统都已广泛地采用了颜色童方图，颜色蔻方图可以非常有效地表现一幅图像的全局颜色分布，它并不需要知道该图像由哪些目标组成。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行鲁动分割的图像。颜色直方图可基于不同的颜色空间和坐标系。最常粥的颜色空间是r g b 颜色空阆，原因在于大部分的数字图像都是用这种颜色空间表达的。然而，r g b空闻结构并不符合人们对颜色相似性的主观判断。因此，有人提出了基于h s v空间、l u v 空间和l a b 空间的颜色直方图，因为它们熨接近予人们对颜色的主观认识。其中h s v 空间是直方图最常用的颜色空间。它的三个分量分别代表色彩( h u e ) 、饱和度( ( s a t u r a t i o n ) 和值( v a l u e ) 。从r g b 空间到h s v 空间的转化公式如下所示：矿。r + g + b ( 2 - 1 )l ，端一js = l 一瓦考五l 幽( r ，g ，曰) j ( 2 - 2 )露+ g 牛艿l、7 川h = i 毋g 客( 2 - 3 )1 2 万一矽g = ( 一苁) + 歹( 兑一致)( 2 一1 1 )对这种复坐标函数的傅立叶变换会产生系列复数系数。这些系数在频率上表示了物体形状，其中低频分量表示形状的宏观属性，高频分量表达了形状的细节特征。形状描述符可以从这些变换参数中得出。为了保持旋转无关性，我们仅仅保留了参数的大小信息，丽省去了相位信怠。缩放的无关性是通过将参数的大小除以d c 分量( 或第一个非零参数) 的大小来保证的。力保涯数据库中所有物体的形状特征都有相月的长度，在实施傅立叶变换之前需要将所有边界点的数目统一为m 。例如，m 可以取为2 6 世6 4 ，这样就可以采用快速傅立叶变换来提高算法效率。2 4 。2 形状不变矩矩是对图像的一种统计形式。它的计算要用到图像或区域中所有桷关的像素点对一个数字图像，( 而岁) ，如果它分段连续且只在x y 平面占的有限个点不为零。可证明它的各阶矩存在。f ( x ，y ) 的( p + q ) 阶矩的定义为：2j 二j 二工川y 厂( x ，y ) a x a y( 2 - 1 2 )式( 2 - 1 2 ) 中p ，q = 1 ，2 ，3 ，。根据瞧一定理说明，如果f ( x ，y ) 是分段连续的，只在x y 平面的有限部分中有非零值，则所有各阶矩均存在，并且矩序列删阳唯一韵由f ( x ，夕) 所确定，反之，磁m 也唯一的确定了f ( x ，y ) ，其中心矩可表示如下：2 一雾) t 乏y y - o q f ( x ，y ) d x d y( 2 1 3 )其中，舅：n h _ _ z o ，罗：m o _ _ l 。朋o o册对于数字图像有：珑腭= 石蹦yf ( x ，力( 2 1 4 )= x x ( x - r ) p ( y - y y f ( x ，y )( 2 1 5 )低阶矩中的零阶矩为：= 八工，j ，) ，当( 善，y ) 相当于物体的密度时，零阶矩m 。是密度的总和即物体的质量。低阶矩中的一阶矩掰。= x f ( x ，y )和。= y f ( x ，y ) 分别除以零阶矩，得到物体的重心坐赫乙个物体的重心坐勰；f 。鱼，罗：塑。为获得缩放不变的性质，可以对该中心矩进行标准化操作：掰0 0m o o露，绝，y ：趔。1 6 ) ( 2 - 1 6 )2 荸，y 2 。f基于这些矩，h u t 弪】提出了一系列分别其有变换、旋转和缩放不变性的7 个矩：磊+ ( 2 - 1 7 )宠= ( 巧如一纪0 2 ) 2 + 4 镌( 2 - 1 8 )吮拦( 仍o - 3 r 1 2 ) 2 + ( 3 砚i - r 0 3 ) 2( 2 - 1 9 )九= ( + 仇2 ) 2 + ( 仍i + r 0 3 ) 2( 2 - 2 0 )磊竺( 编。一3 编2 ) ( 编2 + 堍o ) 【( 编2 + o ) 2 3 ( r 0 3 + 3 r 2 i ) 2 】n ，1 、+ ( 3 r 2 l 一) ( 镌l ) 【3 ( o + 确2 ) 2 一( 辘l + ) 2 】。71 2纯= ( 侥。一) + 7 3 。) 2 一( + 3 r 2 1 ) 2 】( 2 2 2 )+ 4 纭l ( 辊l + 3 ) ( 确2 + )其他特征除了上述研究的基本特征提取之外，还有一些其他的特征提取，如基于草图的特征、基于区域或目标特征以及压缩域图像特征等等；另外，形状特征的提取只考虑了空间分布和形状信息，而没有利用颜色和纹理信息。能将图像的多种视觉特征有效的集成到图像检索系统中，将会使图像的检索质量和性能得以极大的提高。例如，将颜色和纹理特征相结合，分别提取颜色和纹理特征向量，对其进行外部归化，以保证两个特征向量在相似距离计算中地位相同，然后按不同的检索要求取加权和，其检索结果比单一利用颜色和纹理特征进行检索更符合人的视觉要求。1 3劫弘内问鳓怖嘲32 一j严仇一+仉瞰kj砌慨，吼以砌吧一n悯i l旃第三章图像分割3 1 图像分割方法概述图像分割( i m a g es e g m e n t a t i o n ) 作为由图像处理到豳像分析的重要过渡环节，已经得到了广泛应用。它是图像分析、图像理解以及图像形状特征提取中前期处理的一个重要步骤，也是计算机视觉中的一项基本技术。这是因为图像的分割、留标的分离、特征的提取和参数的测量将原始图像转化成更先抽象、更为紧凑的形式，使得更高层的分析和理解成为可能。图像分割一直是计算机视觉和图像处理的研究热点和难点，迄今为止_ 已经提出了上千静各种类型的算法图像分割是图像处理和机器视觉中的基本问题之一。其目的就是把图像划分为若干互不相交叠、各具特性的区域集合，并提取如感兴趣的昏标。这里的特性可以是灰度、颜色、纹理等。目标可以对应单个区域，也可以对应多个区域。由予区域可能对应场景中的物体，因此，区域的检测和分割对于图像解释十分重要。对图像空间的划分建立在区域的相似性及非连续性两个概念上。相似性：同一区域巾的像素特征是相似的。非连续性：不同区域问像素的特征存在突变。图像分割可以借助集合概念用如下方法定义【l s 】：假定r 为一个p 维向量的图像数据集合i = ，厶，。，歹 g 霆p ，对r 的分割可看作将r 分成若干个满足以下条件的不交叠的非空集合 g ，g ，oe 9 q 菇( 1 ) u c , = ，l 群l( 2 ) gnc ，= 痧，i 喾歹( 3 ) 夕( g ) = 及斌g ，= 1 , 2 ，k( 4 ) 以q u c ，) = f a l s e ，i = 歹( 5 ) g 是连通区域，i = l ，2 ，k图像分割多年来直受到人们的高度重视，至今已经提出7 很多分割算法。按照文献【2 0 二1 1 可以把这些算法分为四类：阈傻分割方法、边缘检测方法、统计学分害| j 方法和基于区域的分割方法。另外，随着各种智能学科的发展，近年来基于各种智能方法的非结构化图像分割研究也得到重视。下面简要介绍这几类图像分割方法的发展现状。( 1 ) 阂值分割方法阕值分割法是基于区域分割法中具有代表的一类重要分割算法，阈值分割就是简单地使用一个或几个阈值将图像的灰度直方图分为几个区间，认为图像中灰度在同一个灰度区间内的像素属于阋一个区域。阎值法分为全局阀值法和局部润值法两种。全局阀值法指利用全局信息对整幅图像求出最优分割阀值，可以是单阀值，也可以是多阀值；局部阀值法是把原始的整幅图像分戈几个小的子图像，l 毒稃对每个予图像应用全局阀值法分别求出最优分割阀值。阈值的选择方法有很多种【2 2 1 ，包括一维灰度直方图法、二维灰度直方图法、最大相关准则法、最大墒原则法。在实际应用中，经常需要自适应确定图像分割中的阈值。因此，自适应选取阕值是近年来的一个研究热点。文献f 2 3 】在讨论了几种图像自动选择阈值方法的基础上，提出了一种新的图像二值化算法。该算法着重于在图像二值化时保留图像的边缘特征，并且不需要人工干预。( 2 ) 边缘检测方法基予边缘的方法建立在不周区域之闻的边缘像素点灰度值变化比较剧烈这一假设上【2 引。这类方法大多基于局部信息，通常可以运用梯度算子( 如s o b e l 或r o b e r t 算子等) 确定哪些像素是可能的区域边缘。边缘检测一般分为三个步骤：首先利用一些边缘检测算子捡测出图像中可戆的边缘点；其次，对有一定厚度的边缘进行复杂的边缘细化得到精确的厚度为一个像素的边缘；最焉利用边缘 i l 合技术戳便得到封蠲的边缘。边缘常常意味着一个区域的终止和另一个区域的开始，包含了物体形状的重要信息，通常以强度突变的形式出现，可以定义为图像局部的不连续性，如灰度突变、纹理结构突变等。根据执行方法的不同，这类方法通常又分为串行边缘检测技术和并行检测技术。边缘检测的方法主要分为以下几类：基于局部图像函数的方法、多尺度方法、图像滤波、多分辨率方法和基于边赛曲线拟合麴方法。( 3 ) 基于区域的分割方法基予区域的方法是把图像中的各个像素依据一定的规则分到各个区域中，区域外的外围像素自然构成了区域边界。基于区域的分割方法的关键是如何确定像素分类的规则。区域法同样可分为并行区域分割技术和串行基域分割技术两类。实际分割中应用的并行区域分割技术主要有两类：阀值化算法和特征空间聚类。阀僮法通过设定不同的特征阀值，将像素分为若干类。该方法简单实用，在过去几十年间备受重视，其分类也不而足。阀值分割的核心是如何选择合适的阀值。特征空间聚类的方法可以看作是对阀值分割概念的推广。它将图像空间中的元素麓对应的特征空间点表示，通过将特征空间的点聚集成溺，然后褥将它们映射回原图像空间以得到分割的结果。特征空间聚类常常采用多个特征。在高斯特征空闰聚类可以克服仅用一个特征不能解决的问题。常用的聚类方法有k - 均值、i s o d a t a 聚类、模糊聚类、概率聚类等。特征空间聚类的关键问题是聚类准则和聚类数是的确定。特征空闻聚类有时也会导致产生图像空间不连通的分割区域，这是因为没有利用图像像素空间分布的信息。串行区域分割技术有两种基本形式，一种是从单个像素出发，逐渐合并以形成所需的分割区域，另一种是放全图出发，逐渐分裂切割至所需的分割区域，对应的话种典型算法分别是区域生长和分裂合并。区域生长法f 2 5 , 2 6 建立的基础就是假设区域内部的像素特征值是楣互接近的，并且区域间的像素特征僮相差较大。区域生长的一般过程( 如下图) 是将每个像素和它的相邻像素的特征值进行比较，如果两个特征值满足莱些一致性准则，则将该像素和它的那个相邻像素标记为同一区域集合。将这些像素当作新的种子点继续生长，直到再没有满足条件韵像素被包括进来为止。在实际应用中需要解决三个闯题：选择或确定组能正确代表所需区域的种子像素；确定在生长过程中将相邻像素包括进来的准则；制定让生长过程停止的条件和规则。一致性是构成同一区域的基本属性，相邻性是考虑连接所必须的条件随着所取的邻域方式和一致健准则的不同，也就产生了不同的鬣域增长方法。比较典型的有t c p o n g等提潞的基予小方面模型的区域生长法【2 7 1 等。 梦始。l e f ，飘，逐步掴攒瞬像，翟i 找出没有归属的点ii# 7懿该点为中心? 。镯b 钆检赢领域像素。弱，一1啃、一一*。抛夸此曼二卜y#镬将其合并刘区域jn，溺i 以新合并赢鼍j 为中心点名怂y图3 - 1 图像区域生长法流程鬻分裂会并法则是从整幅图像开始通过不断分裂得到的套个区域。首先将图像1 6分割为初始区域，然后分裂合并这些区域，逐步改善区域分割的性能，直到最后将图像分割为最少的均匀为止。通常使用金字塔数据结构指导下的分割算法。这种方法的不足在于：一方面，分裂如果不能深达像素级就会降低分割精度；另一方面，深达像素级的分裂会增加合并的工作量，从而大大增加其时间复杂度。“) 非结构化图像分割方法近年来，越来越多的学者开始将模糊理论、神经网络、遗传算法、分形理论和小波理论等研究成果运用于图像分割研究，取得了很大进展。由于适于处理不完整、非精确信息，模糊数学越来越受到研究人员的重视。基于模糊理论的图像分割方法主要分为模糊阙值分割和模糊聚类分割。其中模糊聚类分割方法是最先提出同时也是最为经典的种图像模糊分割方法。它实际上是一种以样本为灰度级的模糊聚类算法，因此存在收敛速度慢和对初始选择的种子点比较敏感的缺点，从而影响分割效果。为了解决这些问题，国内外学者提出了很多方法对经典模糊聚类分割进行改进，取得了较好效果 2 8 , 2 9 。( 5 ) 彩色图像分割方法目前大多数图像分割算法都是针对灰度图像的，但传统的灰度图像的分割算法并不能简单地应用到彩色图像中。由于分割难度增加，彩色图像的分割方法相对于灰度图像是相当少的。这里先介绍一些重要的、有影响的基于r g b 颜色空间的算法以及它们普遍存在的问题c h a n g 【3 0 】等人提出了一种比较有效的基予块的分割方法，该方法首先将图像量化成一些低分辨率的块，并给每个块赋一个颜色值，这个值可取块内像素的均值；然后采用渐进的聚类方法迭代合并区域直到一个单一的区域形成为止，进而确定最佳区域数；合并一些相邻的块，直到区域数达到最佳数为止。这样分割的结果是一些具有相似r g b 颜色的区域，但不是客观的实际对象。z h o n g 3 1 】等人提出了一种基于模糊聚类的彩图分割方法也是在r g b 空间中进行的，他们通过对颜色空间进行分割和f c m ( 模糊c 均值聚类) 的使用实现分割。该方法在使用f c m 聚类前，采用了金字塔方法和低通滤波器将图像中的对象减少到不超过7 个。( 6 ) 纹理图像分割方法由于纹理分割的重要性己被广大科研人员所认识，所以自纹理分割问题提出以来，科研人员己经做了大量的工作，提出了各种各样的方法和理论，解决了很多实际问题。随着对纹理图像的研究，纹理图像分割方法也是层出不穷，随时都有新的特征提取方法和新的分割方法出现。传统的纹理分析方法可分为三类：统计方法、结构方法和频谱方法。统计方法是目前研究较多，较成熟，占有主导地位的种方法。它利用图像的统计特性，也就是求出特征值进行分割研究。包括：1 7自相关函数，灰度共生矩阵，灰度共现矩阵，灰度级行程长，滤波模型，随机模型( m a r k o v 随机模型，g i b e s 随机场模型) ，分形模型等来计算纹理图像的特征值。特征值的计算可基于空间域也可荃于频率域基于结构的方法首先假设纹理是由一系列有规律排列的纹理基元组成，纹理基元可以分离出来。基于结构的方法力图通过找到纹理基凭，以基元特征和排列规律作为特征进行纹理分割。它般只适用予规则性较强的人工纹理，因此应用受到很大程度的限制。频谱法是借助于傅里叶频谱的频率特性来描述周期的或近乎周期的2 。d 图像模式的方向性。另外，纹理图像的分割方法借助于对纹理分类可分为：有监督算法和无监督算法两类。大多数的纹理分割算法都是有监督算法，他们认为和假定纹理类别数是已知的；无监督算法是在图像中纹理类别数未知的情况下进行的，由于纹理类别数的确定相当困难，所以这类算法相对少得多。3 2 基于f c m 聚类的图像快速分割算法本节主要介绍一种图像快速分割算法一一基于二维直方图( 2 一d h ：2 - d i m e n s i o n a lh i s t o g r a m ) 加权的塔形模糊c 均值聚类算法。首先简单介绍基于直方图加权的f c m 算法，并结合塔形分解，引出这种快速分割算法。然后简单介绍了本文所用到的分割评价准则，最后绘出所提如的新算法的实验结果和分析。3 2 1 概述模糊均值( 麟) 聚类算法，以其独特的优势在图像分割中获得了广泛的应用。但是，对大数据样本集进行聚类时，f c m 算法极为耗时，而且对于信嗓比低的图像，分割结果很不理想。针对其不足，国内外已有很多学者提出了许多快速f c m聚类算法2 溺，或者融合其它新方法来提高图像分割性能，比如结合直方图的方法啪一5 1 、结合金字塔的方法滔1 等。这些方法均不是针对图像的原始像素点进行聚类，丽是将其映射至特征空间以减少聚类样本数，或者是量化和聚合原始数据使其样本数锐减，或者是通过金字塔的各层依次寻找最优聚类中心以便很好地指导分辨率最高的塔底的聚类分割，以减少塔底的大数据集的运算量从恧提高分割速度。但是上述方法，对于低信噪比的图像，分割效果并不理想。另一方蘑，基于2 一鞠的图像分割，待聚类的样本集仍然很大，且对聚类初始化较敏感，并非总能保证分割速度的显著提高和良好的分割结果。因此许多以f c m 算法力基础的改进的图像快速分害算法应运而生了。3 2 2 加权f c m 算法如果考虑待聚类样本空间中不同样本矢量对聚类效果的不同影响，便产生了基于样本加权的f c m 算法，样本集x 的加权模糊c 均值( w f c m ：w e i g h t i n gf c m ) 聚类问题可以表示成如下的数学规划问题：i n j n 厶( 矾矿) = i = l j - i 叶心d 2 ( 一，u )( 3 1 )s 。t tu 糙f其中，为每一个样本_ 的加权系数。利用拉格朗日乘数法，推导出两个优化迭代公式：络：粤竺舻社，( ) 。撕q 磁3 。2 3 基于直方图加权的f c m 算法早期的基于f c m 的分割算法中，待分类的样本是图像的像素点，特征为像素的灰度，比如一幅2 5 6 x 2 5 6 的灰度图像，分类样本数为6 5 ，5 3 6 ，所以分割图像尺寸变大时，样本集会随之交大，从而f c m 算法的运行时间将会更长，这一点是标准f c m 算法耗时的关键所在。3 2 3 1 基于一维直方图加权的f c m 算法既然分类的特征为灰度，所以人们便把灰度及其出现的频度作为待分类的样本，与f c m 算法相结合就形成了一维灰度直方图( 1 - d h ：l - d i m e n s i o n a lh i s t o g r a m ) 加权的f c m 图像分割算法。这样一来，对给定灰阶的图像，分类的样本数不随图像尺寸的增大恧增大。比如对于8 b i t s 的灰度图像，不论其尺寸如何变化，分类的样本只有0 到2 5 5 共2 5 6 个灰度值。图像的尺寸m x n 只影响灰度壹方图的计算，即各灰级出现的频度：驽= 嚣( 1 ) ，i = 0 , 1 。，三一l ( 3 - 3 )其中，n ( i ) 表示灰度值为i 的像素在该图像中出现的次数，l 为憨的灰阶数日。显然直方图满足 = m n 。这种基于1 - d h 搬的f c m 算法，比标准的f c m 算法，可以显著提高图像分割的速度，尤其图像的尺寸越大，这种优势越明显。当然它和标准f c m 算法本质相同，所以仅仅提高了分割的速度，分割的精度没有得到改善。3 。2 。3 2 基于二维直方图加权的f c m 算法在1 - d h 中，由于噪声等原因，许多情况下晷标和背景的分布相互重叠面不可区分，因雨不能获得满意的分割结果。因为图像中像素与其邻域像素间存在较大的相关性，当利用了这一空间信息后，目标和背景的分布在2 - d h 中就会比在i d h 中容易区分。2 - d h 描述了原始图像l ( x ，y ) 中灰度值为，同时在其平滑图像-