（计算机应用技术专业论文）基于形状特征的图像检索技术研究.pdf

摘要 为了能够对数字资源加以有效的利用，基于内容的图像检索技术应运而生，它是 综合图像识别、计算机视觉、数据库技术和人工智能等多学科融合的技术。目前主要 应用在专业图库中，如商标图库、扫描得到的报纸库、烟叶图库等。由于形状不随图 像颜色的变化而变化是物体稳定的特征，并且现阶段没有对其准确的定义，因此，基 于形状特征的图像检索技术成为了当下研究的热点和难点。 本文对形状特征的提取及描述和相似性测度进行了深入研究。以枪械图库为研究 对象，在特征提取及描述中，利用分割及形态学技术得到目标区域，用h u 不变矩描述 区域。 实验结果表明，形态学处理对图像的内部和外部达到了滤波的效果，连接了不连 续的边缘点；加权欧氏距离减小了高阶矩幅值波动大对检索结果的影响。 关键词：图像检索形状特征分割不变矩 a bs t r a c t i no r d e rt ot a k ef u l la d v a n t a g eo ft h ed i g i t a li m a g e s ，c o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) t e c h n o l o g ye m e r g e da st h et i m e sr e q u i r e ，w h i c hc o m b i n e dm a n y f i e l d so fk n o w l e d g e ， s u c ha si m a g er e c o g n i t i o n ，c o m p u t e rv i s i o n ，d a t a b a s et e c h n o l o g ya n da r t i f i c i a li n t e l l i g e n c e a tp r e s e n t ，t h em a i na p p l i c a t i o ni si np r o f e s s i o n a ll i b r a r y s u c ha si nt r a d e m a r k s l i b r a r y , s c a n n e dn e w s p a p e r l i b r a r y , t o b a c c ol e a v e s l i b r a r y b e c a u s es h a p e i st h es t a b l e c h a r a c t e r i s t i c so fo b j e e t sw h i c hd o e sn o tc h a n g ew i t ht h ei m a g ec o l o r sa n dt h e r ei sn oe x a c t d e f i n i t i o no fi t ，s h a p e b a s e di m a g er e t r i e v a lb e c o m e sh o ta n dd i f f i c u l t t h ee x t r a c t i o na n dd e s c r i p t i o no fs h a p ef e a t u r ea n ds i m i l a r i t ym e a s u r e sa r et w ok e y i s s u e so fs h a p e - b a s e di m a g er e t r i e v a l ，t h ep a p e rs t u d i e st h e m g a l l e r yo ff i r e a r m si st h e r e s e a r c h e do b j e c t i nt h e e x t r a c t i o na n dd e s c r i p t i o no fs h a p e ，m a k e su s eo ft h et e c h n o l o g yo f s e g m e n ta n dm o r p h o l o g yt og e tt h eo b j e c tt a r g e t ，a n dc a l c u l a t e st h eh u i n v a r i a n tm o m e n t s v a l u eo ft h et a r g e t sr e g i o n t h er e s u rs h o w st h a tt h em o r p h o l o g yo ft h ei m a g e sw h i c hd e a lw i t hi n t e r n a la n d e x t e m a lr e a c h e daf i l t e r i n ge f f e c t t h a tc o n n e c t e dt ot h eb r i n ko fn o n c o n s e c u t i v ep o i n t s w e i g h t e de u c l i d e a nd i s t a n c el i g h t e dt h ei m p a c to fr e t r i e v a lr e s u l t s ，w h i c ht h ef l u c t u a t i o no f t h eh i g h e r - i n v a r i a n tm o m e n t sv a l u e k e yw o r d s ：i m a g e r e t r i e v a l s h a p ef e a t u r es e g m e n t i n v a r i a n tm o m e n t 长春理工大学硕士( 或博士) 学位论文原创性声明 本人郑重声明：所呈交的硕士( 或博士) 学位论文，基于形状特征的图像 检索技术研究是本人在指导教师的指导下，独立进行研究工作所取得的成果。 除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人承担。 作者签名：鱼蓟翻年三月坦日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版 权使用规定”，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕 士学位论文全文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学 位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春理工大学可以 将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印 或扫描等复制手段保存和汇编学位论文。 作者签名：塑登幽年土月巫日 指导导师签名： 月皇绸 第一章绪论 1 1 本文的研究背景和意义 1 1 1 研究背景 随着网络技术、多媒体技术的快速发展和广泛应用，人们接触到越来越多的数字 图像信息，但是这些图像信息分散在世界各地，缺乏有效的组织方式，给相应的图像 检索带来了困难。因此，针对用户不同的需求，研究一个高效、准确的图像检索系统 并加以应用成了当务之急，这种需要推动了图像检索的研究。 图像检索技术自2 0 世纪7 0 年代开始便成为一个非常活跃的研究领域，早期的图 像检索借用了文本索引技术。对于图像文件，根据其内容利用手工将其标注为一系列 关键字，并对关键字建立索引，把图像检索转化为文本检索的问题。随着时代的发展， 利用人工标注的图像检索已经不能够满足人类的需要。从2 0 世纪9 0 年代以来，基于 内容的图像检索( c b i r ) 得到了广泛的研究。基于内容的图像检索是指对图像信息从低 层到高层进行处理、分析和理解，获取其内容信息，这里所指的内容信息包括图像的 颜色、形状、纹理和语义等特征，并且根据内容信息进行检索。基于内容的图像检索 是计算机图像处理技术与数据库技术相结合的产物。它的基本思想是通过分析图像本 身所包含的内在特征以及图像之间的联系来进行检索。从目前研究和应用的现状来看， 基于内容的图像检索技术主要应用在专业图库中，如在商标图库中、在扫描得到的报 纸库中、在农产品如烟叶图库中。 1 1 2 研究目的及意义 形状特征是图像的重要特征之一，图像的形状信息不随图像颜色的变化而变化， 是物体稳定的特征，因此可以利用形状特征，实现对形状特征比较明显的各类图像库 的检索。另外，对于颜色和纹理不够丰富的图像，也可以利用形状来提高检索效率。 在以查询与图像具有相似形状为主要目的检索中，形状特征显示出颜色、纹理所不能 比拟的优越性能，目前基于形状的图像检索已有非常广泛的应用，如对商标和徽标的 检索、对医学图像的检索、对指纹图像的检索等。 本文研究的目的主要是通过提取和描述物体的形状特征，利用形状特征间的相似 度实现图像的检索。基于形状特征的图像检索是基于内容检索中的难点，因为很难准 确的对图像的形状特征进行描述，因此本文研究的意义在于找到一种更加合理的形状 特征描述和提取方法以及相似性度量方法来达到更加精确的查询结果。 1 2 国内外研究现状 图像数据库的应用在当今日趋流行，c b i r 成为一个非常活跃的研究领域。近年来， 国内外的一些大专院校和科研机构在该领域进行了很多研究。早期c b i r 的研究重点 是视觉提取。后来在语义特征、多维索引、用户接口、系统设计等方面又有所发展。 近年来研究者又引进了更多领域的知识：从知识表示的角度运用人工智能领域的推理 和神经网络技术提取特征和分类图像；构造面向对象的c b i r 系统；开发面向w e b 的 c b i r 系统；另外，并行c b i r 技术也被提上了议程。同时，许多c b i r 系统被开发出 来。目前已有许多通用目的的图像搜索引擎，下面就其中的一些具有代表性的系统作 一些简要的介绍。 q i b c l l 2 ，3 j ：i b m 的q i b c 是第一个c b i r 系统。它通过友好的图形界面提供了多 种检索方法，现正试图推向市场。另外，它的系统框架和技术对后来的图像检索系统 具有深远的影响。q i b c 的系统结构由图像库、特征计算、查询阶段三个部分组成。在 索引技术方面，q i b c 采用了基于颜色、纹理、形状和手绘草图的图像索引方法。颜色 特征采用了r g b ( 标准色彩显示标准) 、y i q ( n t s c 补色t v 标准) 、l a b 和m t m ( 孟 塞尔数学变换) 坐标和k 维颜色直方图等来表示；纹理特征采用了改进的t a m u r a 纹理 表示算法，其本质是纹理粗糙度、对比度和方向性三个特征的结合；形状特征为形状 的面积、圆形度、离心率、主轴方向和一组代数矩不变量。q i b c 系统是极少数考虑到 用高维特征索引问题的系统之一。在其新版本中，实现了基于文本的关键字查询与基 于内容的相似性查询结合的查询。 v i r a g e 系统【4 ，5 】：v i r a g e 是由v i r a g e 公司开发的基于内容的图像搜索引擎。系统可 以分为四层表示：图像表达层、图像对象层、领域对象层、领域事件层。支持基于颜 色、颜色布局、纹理和结构( 对象边界信息) 的可视化查询，同时也支持他们的任意 组合。v i r a g e 中把特征称为“原语”，并进一步把原语分为通用型原语和特定领域原语。 v i r a g e 技术的核心是v i r a g ee n g i n e 以及在图像对象层上的操作。v i r a g ee n g i n e 主要有 三个方面的功能：图像分析、图像比较和图像管理。它将查询引擎作为一个插件，它 既可以应用到通用的图像查询，也可对其进行扩展并应用到特定领域。 v i s u a l s e e k 6 , 7 】：v i s u a l s e e k 是由哥伦比亚大学开发的c b i r 系统，其姊妹系绩 w e b s e e k 是面向w w w 的文本图像搜索工具。v i s u a l s e e k 系统由四个部分组成：匿 形用户界面、服务器应用、图像检索服务器、图像归档。系统采用的特征是全局颜色 直方图、区域的二进制颜色集和基于小波变换的纹理特征。其主要特点是实现图像区 域的空间关系的查询和从压缩域中抽取视觉特征。 w b i i s 8 , 9 】：此系统使用了w b i i s ( 基于小波的图像索引和查找) ，一种图像索引橙 索算法，它有在大型图像库中进行部分略图查找的能力。索引算法在每一个三元色上 应用小波变换，在最低频带的小波系数作为特征向量进行存储。同时为了加速检索， 2 整个过程分为两步：第一步进行基于变量的粗糙选择，然后通过在被选图像与待查询 图像间的特征向量匹配，进一步改进查找。二级的分辨率匹配可以在查找中取得更好 的准确度。w b i i s 比传统的算法更快更准确。 m a r s 【1 0 , 1 1 , 1 2 j ：m a r s 是多媒体分析和检索系统的英文缩写，是伊利诺斯大学 u r b a n a - - c h a m p a i g n 分校开发的。m a r s 无论在研究角度还是应用领域都和其它的图 像检索系统有很大差别。主要体现在m a r s 是一个多交叉学科融合的产物，包括计算 机视觉、数据库管理系统和传统的信息检索技术。m a r s 在科研方面的主要特点包括 数据库管理系统和信息检索技术的结合( 如何进行分级的精确匹配) ，索引和检索技术 的融合( 检索算法如何发挥底层索引结构的优点) ，以及计算机和人的融合( 相关反馈 技术) 。 在国内，基于内容的图像检索系统主要有中国科学院计算技术研究所智能信息处 理重点实验室开发的基于内容的图像检索演示系统( m i r e s ) ，m i r e s 系统是一个综合利 用高层语义特征和低层可视特征的图像检索系统。以及浙江大学计算机系开发的基于 图像颜色的检索系统( p h o t o n a v i g a t o r ) 和基于图像形状的检索系统( p h o t o e n g i n e ) ，清华 大学开发的用于检索i n t e r n e t 上静态图像的图像检索原型系统。 当前，基于内容图像检索领域的研究热点是基于区域的图像检索和基于小波的图 像检索。基于区域的方法是把图像看成区域的集合，然后对各个区域进行相似性匹配， 最后确定图像对的相似度。在此类方法中，需要对图像进行分割得到区域，然后把相 近的区域聚类，最后根据颜色特征方面的某种距离计算( 欧氏距离，e m d 距离等) 来 衡量区域直至图像的距离。代表性的系统有：c a l i f o m i a 大学的b l o b w o r k d 【l 引，s t a n d f o r d 大学的s i m p l i c i t y t l 4 】等。基于小波的图像检索本质上也是基于区域的，它只是通过小 波变换来得到图像的区域以及各个区域的特征。当然，这两种方法中都要用到大量的 图像索引技术。 c b i r 技术主要依据图像的画面内容特征和主题对象特征来进行检索。目前，比较 常用的方式是基于颜色、纹理和形状的图像检索。 颜色特征的描述方法主要有颜色直方图、颜色相关图、颜色矩、颜色一致性矢量 等。此外，还可以用主色调、颜色对、颜色分布图来描述颜色特征【l5 。常用的纹理分 析方法主要有四类：统计法，结构法，模型法，频谱法。近年来，提出的方法有基于 小波变换纹理表示【1 6 】，m a r k o v 随机场表示【1 7 】、基于分形的表示【1 8 】以及神经网络表示 1 9 , 2 0 】。由于形状特征是图像的核心特征之一，也是人类视觉系统进行物体识别时所识 别的关键信息之一，并且图像的形状信息不随图像颜色的变化而变化，是物体稳定的 特征，因此本文主要从形状特征入手来研究图像检索技术。 基于形状特征的图像检索主要是检测出目标的轮廓线或分割出目标的轮廓，并针 对其进行形状特征的提取；或直接针对图像寻找适合的矢量特征。形状是物体的一个 重要特征，它可以与颜色、纹理等特征结合起来实现通用的综合图像库的检索，从通 用图像库中直接依据物体的形状特征检索不同的物体。例如在i b m 的q b i c 中用到的 形状特征。也可以针对专用的领域，主要利用形状特征，实现对形状特征比较明显的 各类图像库的检索。目前专用领域主要有：外观设计专利库管理；商标库的注册和检 索；机械零件库的管理和利用；建筑设计；考古研究；医学图像库；服装设计库等。 目前用于图像检索的形状描述方法主要有两类：基于边界和基于区域的方法。前者 利用图像的边缘信息，而后者则利用区域内的灰度分布信息。 基于边界的形状特征提取是在边缘检测的基础上，用傅立叶描述子1 2 ，小波轮廓 描述子1 2 2 1 ，基于内角的形状特征【2 3 j 和形状上下文特征【2 4 】等等特征来描述物体的形状， 适用于图像边缘较为清晰且容易获取的图像。章志勇，潘志庚，张明敏等把多尺度分 析和通用傅立叶描述子结合起来，得到多尺度通用傅立叶描述子，并将其用于灰度图 像检索1 2 。曲桂红，张大力，阎平凡等为了描述数字图像目标轮廓，便于计算机图形表 达，提出一种适于描述序列点轮廓的小波描述子四j 。 基于区域的形状特征提取的主要思路是通过图像分割技术提取出图像中感兴趣的 物体，依靠区域内像素的颜色分布信息提取图像特征，适合于区域能够较为准确的分 割出来、区域内颜色分布较为均一的图像。具体的描述方法有区域面积，形状参数， 不变矩瞄l 等。其中不变矩是最常用的一种方法。不变矩的主要思想是使用对变换不敏 感的基于区域的几个矩作为形状特征，h u 提出了7 个这样的矩【2 5 1 ，在他工作的基础上 出现了很多改进的版本。黄勇，王崇骏，王亮等提出了一种基于形状不变矩的图像全局 形状特征提取算法1 2 6 j 。 本文选取枪械类图片为研究对象，建立枪械图库。库中各种枪型图片的普遍特点 是背景比较单一，颜色分布比较均一，外部轮廓形状鲜明，比较适合基于区域的形状 特征提取方法。 1 3 本文的主要工作 本文的主要内容是研究基于形状特征的图像检索系统中的关键技术，包括形状特 征的提取和描述方法以及特征匹配过程中相似性的度量。 1 形状特征的提取 形状常与目标联系在一起，要获得有关目标的形状参数，就要先对图像进行分割， 所以形状特征的提取会受到图像分割效果的影响。而且，在没有有关应用领域的知识 时，自动分割方法很难将相应的目标准确地提取出来。本文将实验图库确定为枪械图 库，分别利用边缘检测和阈值分割方法对库中图片进行分割，结合实验结果，最后选 择最大类间方差法来分割图像，提取目标区域。 2 目标形状的描述 目标区域提取出来之后就要对其进行形状描述。形状的描述足一个非常复杂的问 题。军今还没有找到形状的确切数学定义，包括几f i i 的、统计的或形态学的测度使之 能与人的感觉相。敛。本文使用经典的h u4 i 变矩水舶述目标的形状特征，所：通过实验 4 总结出不变矩的变化规律。 3 相似性度量 在当前图像检索系统中，大多采用图像间距离来衡量图像的相似度，即在高维的 特征空间求各个特征点之间的距离。本文分别采用街区距离、欧氏距离、加权欧氏距 离度量特征向量的相似性，对比检索结果的查全率和查准率，最后决定利用加权欧氏 距离度量相似性。 论文的组织结构如下： 第一章：绪论，简要的介绍了课题的研究背景，当前研究的热点以及本文的选题 依据，并分析了基于内容的图像检索技术的国内外研究现状及具有代表性的系统。 第二章：简要介绍了基于内容的图像检索系统结构。包括系统框架及所用到的关 键技术。 第三章：介绍了目标物体的提取过程。图像分割得到目标，再对目标进行形态学 处理。 第四章：详细介绍了基于形状的图像特征描述方法。包括基于边界特征的描述方 法和基于区域特征的描述方法。通过实验分析区域描述方法中不变矩的变化规律。 第五章：叙述了基于不变矩的形状特征匹配方法。首先计算目标区域的h u 不变矩 值，再利用高斯归一化方法进行归一化。最后，利用相似性度量函数计算两幅图像的 相似性。 第六章：总结与展望，对本文的工作进行总结以及对未来工作的展望，提出进一 步研究的建议。 第二章基于内容的图像检索系统结构 2 1 基于内容的图像检索的系统框架 借助图像内容来查询图像是一项复杂的工作过程。目前基于内容对图像进行 检索主要借助图像特征来进行。c b i r 系统可以看作是一个查询用户和图像数据库 之间的一个界面或通道，其典型的系统由以下模块和过程构成( 见图2 1 ) ： 杳样图图库 厂1 、 入 _ 赢 人 像像 刀 由 _ 询提交图 提取、 特 厂 特 提取 图检索 u 用 像 征 lf 厂 像 0 图 征 像 户 妙移 数 据 库 j d 相似性匹配 = _ l 反馈矿 、i 输卜h 图2 1c b i r 系统的构成 各模块的主要功能为： 1 查询模块：通过友好的界面对用户提供各种查询方式，以支持用户进行各种类型的查 询； 2 提取模块：将样本图像和图像数据库中的图像的图像特征提取出来，把具体的图像特 征转换为抽象的特征矢量； 3 匹配模块：将样本图像特征和图像数据库中的待检索图像特征相匹配，判断其内容的 相似性和语义的一致性； 4 利用查询用户对检索图像的判断信息，反馈给图像数据库，作为图像数据库中各匿 像语义关联度的记录； 5 输出模块：提供相似图像的输出界面。 6 2 2 基于内容的图像检索的关键技术 通常说来，基于内容的图像检索一般需要解决三类关键技术：特征提取、特征描述、 相似性度量。下面先对本系统涉及到的技术做一下简单的介绍。 2 2 1 特征提取及描述 它指的是采用图像理解技术实现图像内容的提取和描述的方法。选择合适的图像 特征模型表示图像内容特征是进行基于内容检索的基础。图像存在多种视觉特征，如 颜色、形状、纹理、空间特征等。图像的特征集合构成了它的内容描述集。图像特征 的提取是基于内容图像检索计算中的一个必不可少的关键步骤。一个好的图像特征应 具有以下特点： 1 可区别性：对于不同的图像来说，它们的特征值应该具有明显的差别，以便于后面的 匹配进行： 2 可靠性：对相似图像的特征值应比较相近。因为查询的结果是按照相似程度排列的图 像集合； 3 独立性：所用的各个特征应该各自不相关，以便于分别进行匹配； 4 数量少：检索的复杂度是随着特征数量的增加而增加的。 此外，为了增强特征的抗干扰性，应先对图像进行预处理。如尺度统一、去除噪 声等。 2 2 2 相似- 陛度量 在基于内容的图像检索当中，查询的结果是按照相似程度排列的一系列的图像。 我们平常所说的两幅图像是否相似，是指它们的特征是否相似。另外，由于它的应用 对象是大规模的图像数据库，这就要求保证一定的速度。因此，该相似性的度量与图 像识别中的匹配算法不同，它不要求精确的匹配，在必要的时候，可以在精度和速度 之间做一个折中。 通常基于图像特征相似性的度量可以分为几何模型和集合理论模型两种。通常我 们使用的是几何模型，把图像的特征看作是坐标空间中的点，两个点的接近程度通常 用它们之间的距离表示。关于距离度量函数的定义通常要满足距离的自相似性、对称 性等。 但是后来通过人类心理实验表明，人类对相似性的判断并不满足以上特点因此又 提出了集合理论模型。在这类模型中，最著名的就是a m o st v e r s k y 提出的特征对比模 型( c o n t r a s tm o d e l ) 2 7 】： 7 s ( a ，6 ) = f ( ar 、b ) 一a f ( a b ) 一( b 一4 ) ( 2 1 ) 其中么，b 分别为对象a ，b 的特征集合，厂为单调递增函数，用来反映特征的显著 性，衡量指定特征对相似性的贡献。上式表示对象a ，b 的相似性是特征值与不同特征的 函数值之差。很显然，上式不具备对称性特点。实验表明这种模型能够较好的描述人 类对相似性的判断。但是这种模型的致命缺点是可计算性太差，不适合在计算机上应 用。目前，如何将两种方法结合起来使计算机能更好的模仿人类对相似性进行判断， 引起了人们的关注。 由于特征对比模型的致命缺点，在当前图像检索系统中，大多采用图像间距离来 衡量图像的相似度，即在高维的特征空间求各个特征点之间的距离。其中有明氏距离 ( m i n k o w s k yd i s t a n c e ) ，马氏距离( m a h a l a n o b i sd i s t a n c e ) 等等。本文也是采用图像间的 距离来衡量图像间的相似性的。 2 3 小结 本章主要介绍了基于内容的图像检索的系统框架以及用到的关键技术。在基于形 状特征的图像检索系统中，具体的特征提取是针对目标物体进行的，因此在进行图像 特征提取以前，应该首先对图像进行分割。图像分割、形状描述方法的选择以及相似 性测度都是本文研究的重点。 下面各章将具体阐述本文所采用的方法及实现过程。 8 第三章目标提取 从图像中提取目标是基于形状的图像检索的一个重要环节。对于一幅图像，要提 取出目标区域关键的是进行图像分割，从一幅图像中检测出各个物体，并将它们的图 像和其余景物分离。图像分割结果的好坏直接影响目标提取的结果。 3 1 图像分割技术 形状描述的前提是图像分割。图像分割就是将图像划为一些区域，在同一区域内， 图像的特征相近；而不同的区域，图像特征相差较远。图像特征可以是图像本身的特 征，如像素的灰度、边缘轮廓和纹理等。图像分割的作用是从图像中提取有用的信息。 在图像分析过程中，一般首先要对所给的图像进行分割，再对分割的区域作适当的描 述，然后才能对图像作某种分析。可见，图像分割是图像分析前的一个重要处理步骤。 借助集合的概念，图像分割可以如下定义： 令集合r 代表整个图像区域，对r 的分割可看作将尺分成若干个满足如下5 个 条件的非空子集( 子区域) r 。，恐，疋： 。 1 ，= ur t = l 2 对所有的f 和j f ，j ，r in r j = 中 3 对f = 1 ，2 ，n ，有尸( 足) = t r u e 4 对f ，有p ( 尺，ur j ) = f a l s e 5 对f = 1 ，2 ，z ，r 是连通的区域 其中尸( 尾) 是对所有在集合r 中元素的逻辑谓词，西代表空集。 上述条件1 指出分割结果中全部子区域的综合( 并集) 应能包括图像中所有像素 ( 原图像) ，或者说分割应将图像中的每个像素都分进某个子区域中。条件2 指出各个 子区域是互不重叠的。条件3 指出分割结果中属于同一个区域的像素应该具有某些相 同的特性。条件4 指出不同的子区域具有不同的特性。条件5 要求分割得到的区域应 当是连通的。对图像的分割总是根据一些分割准则进行。并且分割准则应直接或间接 对区域内像素的连通性有一定的要求或局限。在实际应用中图像分割不仅要把一幅图 像分成满足以上五个条件的区域，而且需要把其中感兴趣的目标区域提取出来。 图像分割具有很广泛的应用，同时它又是图像分析和图像理解里的一个经典难题， 9 多年来一直受到高度的重视，很多研究者都研究这项技术。至今人们已提出了上千种 各种类型的分割算法，而且近年来每年都有上百篇有关研究报道。 3 2 图像分割方法 常用的图像分割方法有阈值分割法、边缘检测、区域分割法、特征分割法等。其 中阈值分割法和边缘检测法是两种传统的图像分割方法，因其实现简单、计算量小、 性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。 3 2 1 边缘检测 图像边缘蕴含了丰富的信息，是抽取图像形状特征的重要属性。所谓边缘，是指 其周围像素灰度有阶跃或屋顶变化的那些像素的集合。边缘广泛存在于物体与背景之 间、物体与物体之间、基元与基元之间。因此，它是图像分割所依赖的重要特性。 图像的边缘有方向和幅度两个特性。通常，沿边缘走向的像素变化平缓，而垂直 于边缘走向的像素变化强烈。这种变化可能呈现阶跃型、屋顶型和凸缘型，如图所示。 这些变化分别对应景物中不同的物理状态。例如，阶跃型变化常常对应目标的深度或 反射边界，而后两者则常常反映表面法线方向的不连续。 图3 1 灰度变化的几种类型 边缘检测的主要计算方法是基于方向导数掩模求卷积的方法，得到横向纵向的梯 度图像和模值图像，然后根据梯度方向来进行模的极大值提取，获得需要的物体边缘。 它是对目标轮廓线或边界的检出。求卷积通常使用一系列的算子。 一般来说，边缘检测算法概括为如下四个步骤【2 副： ( 1 ) 平滑滤波：边缘检测算法主要是基于图像强度的一阶或二阶导数来实现的， 但导数的计算对噪声比较敏感，因此有必要使用滤波器来改善与噪声有关的边缘检测 器的性能，但大多数滤波器在降低噪声的同时也导致了边缘的损失，因此，增强边缘和 降低噪声之间需要综合考虑，有时候需要折中的去解决某个问题。 ( 2 ) 增强：增强边缘的基础是确定图像各点邻域灰度的变化值。增强算法可以将 邻域( 或局部) 灰度值有显著变化的点突显出来。边缘增强一般是通过计算梯度幅值 1 0 来完成。 ( 3 ) 检测：在图像中有许多点的梯度值较大，而这些点在特定的应用领域中并不 都是边缘，所以需要应用某种方法来确定哪些点是边缘点。最简单的边缘检测判据是 梯度幅值判据。 ( 4 ) 定位：如果某一应用场合要求确定边缘位置，则边缘的位置可在子像素分辨 率上来估计，边缘的方位也可以被估计出来。 在边缘检测算法中，前三个步骤用的是十分普遍的。因为大多数实际应用中，仅 仅需要边缘检测器指出边缘出现在图像某一像素点附近，而没有必要指出边缘的精确 位置或方向。 目前，常用的边缘检测算子有：r o b e , s 算子、p r e w i t t 算子、s o b e l 算子、c a n n y 算子、m a r r 算子、g u a s s - l a p l a c e 算子、l a p l a c i a n 算子等2 9 1 。下面对几个常用的算子 进行简单介绍，并对其进行对比和研究。 1 梯度算子 梯度对应一阶导数梯度算子。在边缘灰度值过渡比较尖锐且图像中噪声比较小时， 梯度算子工作效果较好。对一个连续图像函数f ( x ，y ) ，它在位置( x ，y ) 的梯度可表示为 一个矢量( 其中q 和g ，分别为沿x 方向和y 方向的梯度) ： v f ( x , y ) ：峨g ，】r ：【孚函r ( 3 1 ) 劣 o y 这个矢量的幅度( 也常常称为梯度) 和方向角分别为： v f = m a g ( v f ) = ( + g ；) 於 ( 3 2 ) 矽( x ，y ) = a r c t a n ( o ，g ，) ( 3 3 ) 式( 3 2 ) 的幅度计算是以2 为模( 对应欧氏距离) 的。为了计算简便也可用其它模来 计算幅度。常用的两种方式分别为以1 为模( 对应街区距离) ： v f ( 1 ) _ 刚矧 4 ， 和以o o 为模( 对应棋盘距离) ： v f ( o o ) = 一潞黜 5 ， 以上各式中的偏导数需要对每个像素位置计算，在实际中常用小区域模板进行卷 积来近似计算。对q 和g ，需各用一个模板，所以需要两个模板组合起来以构成一个梯 度算子。根据模板的大小和元素( 系数) 值的不同，人们已提出了许多种不同的算子。 三二 二三 e - i l 0 1 量三1 三三 主三三 图3 3 用阈值进行边缘检测和用二阶导数的零交点进行边缘检测示意图 拉普拉斯( l a p l a c i a n ) 算子是对二维函数运算的一种二阶导数算子。对于一个连续 图像函数( x ，y ) ，它在位置( x ，y ) 的离散拉普拉斯值定义为： v 2 m 川= 掣+ 掣 6 ， 使用差分方程对x 和y 方向上的二阶偏导数近似如下： = 警= f ( x , y + 1 ) 叫( ) + f ( x , y - 1 ) 等= 等叫川叫k 小弛_ 1 y ) 把两个式子合并为一个算子，就成为用来近似代替拉普拉斯算子的模板 ( 3 7 ) ( 3 8 ) 酽i - 14 一lf ，有时希望邻域中心具有更大的权值，基于这种思想，则模板可以为 l o l0 j 铲b 羽或者酽_ 1 - 1 8 。 然而，拉普拉斯二阶导数算子在机器视觉中并不常用，因为任何包含有二阶导数 的算子比只包含有一阶导数的算子更易受噪声的影响。甚至一阶导数很小的局部峰值 也能导致二阶导数过零点。为了避免噪声的影响，必须采用特别有效的滤波方法。因 此，重点深入的讨论研究高斯滤波与二阶导数相结合的l o g 边缘检测算法。 正如前文所提到的，利用图像的二阶导数的零交叉点来求边缘点的算法对噪声十 分敏感，所以希望在边缘增强前滤除噪声。为此，m a r r 和h i l d r e t h 将高斯滤波和拉普 拉斯边缘检测结合在一起，形成了l o g ( l a p l a c i a no f g a u s s i a n ，l o g ) 算法【3 0 1 ，也称为拉 普拉斯高斯算法。 l o g 算法的基本特征是：平滑滤波器是高斯滤波器；增强步骤采用二阶导数( 二 维拉普拉斯函数) ；边缘检测判据是二阶导数零交叉点并对应一阶导数的较大峰值；使 用线性内插值方法在子像素分辨率水平上估计边缘的位置。 l o g 算法的输出h ( x ，y ) 是通过如下的卷积运算得到的： h ( x ，y ) = v 2 瞻( x ，j ，) 宰f ( x ，y ) 】 ( 3 9 ) h ( x ，少) = v 2 9 ( x ，少) 木f ( x ，y ) ( 3 1 0 ) 鼽v 2 咖_ ( 等 e 。 l o g 算法也称为墨西哥草帽算法，如图3 4 所示。下面这两种方法在数学上是等 价的： 第一：先求图像与高斯滤波器卷积，再求卷积的拉普拉斯变换； 1 3 第二：先求高斯滤波器的拉普拉斯变换，再求与图像的卷积 图34 一维和二维高斯函数的拉普拉斯变换图的翻转闰( 其中a = 2 ) l o g 算法是图像首先与高斯滤波器进行卷积，这个步骤既平滑了图像又降低了噪 声，孤立的噪声点和较小的结构组织将被滤除。由于平滑会导致边缘延展，因此边缘 检测器只考虑那些具有局部梯度最大值的点为边缘点。这可以用二阶导数的零交叉点 来实现。拉普拉斯函数用作二维二阶导数的近似，是因为它是一种无方向算子。为了 避免检测出非显著边缘，应选择一阶导数大于某一闽值的零交叉点作为边缘点。 平滑滤波、增强、检测这三个边缘检测步骤对使用l o g 边缘检测仍然成立，其中 平滑滤波是用高斯滤波器来完成的；增强是将边缘转换成零交叉点实现的；边缘检测 则是通过检测零交叉点来进行的。常用的l o g 算法的5 5 模板如图35 所示。 图35l o g 算子的模板 在实际应用中，因为一些实际的因素如光照、随机噪声的影响，往往会使图像 模糊或出现孤立的边缘点使边缘检测遇到很多难题。前面的几种方法在不同程度上 存在着对噪声敏感的缺点。我们需要精确的检测出图像的边缘点，意味着以下三点： ( i ) 低失误率，既要少将真正的边缘丢失，也要少将非边缘判为边缘； ( 2 ) 高定位精度，检测出的边缘应在真正的边缘位置上； ( 3 ) 对每个边缘有唯一的响应，得到的边缘为单边缘。 应用边缘捡测分割方法提取的只是目标物体的边缘信息，忽略了区域的整体信息。 本文选取的是枪械类图片为研究对象。这类图片的普遍特点是背景比较单一，颜色分 布较均一，区域特征明显，比较适合基于区域的形状特征提取方法。边缘检铡方体提 取的目标边缘不足以代替整个区域的形状，因此边缘检测分割方法不适台于本文的图 片库。 之4 4 4 4 o 8 o 4 4 0 m 0 4 0 8 o 4之一一 寸 或 o 0 o 0 o 一也o o一也：宝吨一 o i 0 i 0 o 0 i 0 0 3 2 2 阈值分割 图像阈值化分割是一种最常用，同时也是最简单的图像分割方法，它特别适用于目 标和背景占据不同灰度级范围的图像。图像阈值化的目的是要按照灰度级，对像素集 合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部 具有一致的属性，而相邻区域布局有这种一致属性。这样的划分可以通过从灰度级出 发选取一个或多个阈值来实现。 阈值分割法是一种基于区域的图像分割技术，其基本原理是：通过设定不同的特 征阈值，把图像像素点分为若干类。常用的特征包括：直接来自原始图像的狄度或彩 色特征；由原始灰度或彩色值变换得到的特征。设原始图像为f ( x ，y ) ，按照一定的准 则在f ( x ，y ) 中找到特征值t ，将图像分割为两个部分，分割后的图像为 ，、f b o g 协j 2 t 6 l s ( x ，y ) f s ( x ，y ) r 若取：b o = 0 ( 黑) ，a = 1 ( 白) ，即为我们通常所说的图像二值化。 阈值分割的关键在于阈值t 的选取，t 的选择有由点的像素狄度值单独决定的、 有由像素的局部特征决定的、也有由全局像素决定的。阈值可以分为两类：全局阈值 和局部阈值。全局阈值是对整个图像采用一个阈值进行划分，例如非零像素置1 化、 固定阈值二值化、判断分析二值化、基于灰度直方图的阈值法等。局部阈值法是将图 像分成一些子块，对于每一块选定一个阈值，如动态阈值法，如果已经正确的图像的 一些特征，那么阈值确定只要实验不同的值，看是否满足特征即可，如果前景物体的 内部具有均匀一致的灰度值，并分布在另一个灰度值的均匀背景上，那么图像的灰度 直方图有明显双峰。这种情况下可选择两峰之间的谷点作为门限值。该方法的优点是 比较简单，但是不适于两峰值相差比较大、有宽且平的谷底的图像。选用不同的阈值 其处理的结果差异很大。 在确定阈值时，如果阈值定的过高，偶然出现的物体点就被认作背景，丢失所需 的部分；反之，如果阈值定的过低，则会提取多余的部分( 注意：当前背景为白色， 目标对象为黑色是刚好相反) 。本文对比了几种阈值分割方法，并作了对比实验。 1 p 一分位数法 1 9 6 2 年d o y l e 出的p 一分位数法【3 l 】( 也称p t i l e 法) 可以说是最古老的一种阂值选取 方法。该方法使目标或背景的像素比例等于其先验概率来设定阈值，简单高效，但是 对于先验概率难于估计的图像却无能为力。 例如，根据先验知识，知道图像目标与背景象素的比例为尼最，则可根据此条件 1 5 直接在图像直方图上找到合适的阈值丁，使得f ( x ，y ) t 的象素为目标，f ( x ，j ，) t 的 象素为背景。但是因为图片的多样性，获得其先验知识几乎是不可能的。分割图像的 结果产生的误差较大。 2 迭代闽值法 迭代法是一种基于逼近的思想，其步骤如下： ( 1 ) 求出图像中的的最大灰度值和最小灰度值m a x g r a y v a l u e ，m i n g r a y v a l u e ，并 使得初始阈值为：i t h r e s h d l d ：m a x g r a y v a l u e _ + m i n g r a y v a l u e 。 ( 2 ) 根据初始阈值i t h r e s h o l d 将图像分割成目标和背景两部分，求出两部分的平 均灰度值i m e a n l g r a y v a l u e 和i m e a n 2 g r a y v a l u e ： f ( i ，) q ( f ，j f ) i m e a n l g r a y v a l u e = 业鼍 而广 1 1 “f ，j ) i t h r e s h o l d ( 3 1 2 ) 其中，厂( f ，) 表示的是图像上( f ，) 点的灰度，q ( i ，) 表示是( f ，) 点的权值系数取0 ，1 。 ( 3 ) 求出新的阈值i n e w t t l r e s h o l d ： inewthreshold：imean 1grayvalue+imean2grayvalue ( 3 13 ) 2 ( 4 ) 如果i t h r e s h o l d 与i n e w t h r e s h o l d 相等，并且满足迭代次数i l t e r a t i o n t i m e s ， 则算法结束，否则，i t h r e s h o l d = i n e w t h r e s h o l d ，转到第( 2 ) 步。 对于直方图双峰明显，谷底较深的图像，迭代方法可以较快地获得满意结果。但 是对于直方图双峰不明显，或图像目标和背景比例差异悬殊，迭代法所选取的阈值不 如最大类间方差法。 3 最大类间方差( o t s u ) 分割法 为了更加准确地把图像中的目标从背景中分离出来，我们希望尽可能的减小误分 割的概率。最大类间方差【3 2 1 的基本思想就是找到一个门限阈值，使按这个阈值划分目 标和背景的错误分割概率为最小。本文就是采用o t s u 方法来确定阈值的。 图像的直方图可看成像素灰度值的概率分布密度函数的一个近似，设一幅包含两 类主要的灰度值区域( 目标和背景) 的图像，那么这幅图像的直方图所代表的像素灰 度值概率分布密度函数实际上是对应目标和背景的两个单峰分布密度函数之和。 设有一幅混有加性高斯噪声的图像，目标和背景的像素点灰度呈正态分布，目标 1 6 和背景的概率密度分别是a ( x ) 和p 2 ( x ) ，则整幅图像的混合概率密度p ( x ) 是： p ( x ) = q p 。( x ) + ( 1 一q ) 最( x ) = 矗唧 - 等 + 面1 - qe x p 一簪 1 4 其中，h 和鸬分别是目标和背景区域的平均灰度值( 均值) ，q 和吒分别是关于均 值的均方差，o 表示目标的像素点数占图像总点数的百分比，背景点占( 1 一q ) 。因此 混合概率密度公式( 3 1 4 ) 中有5 个未知的参数。 这样，我们就需要确定一个阈值丁使得灰度值小于r 的像素分割为背景，而使得 灰度值大于丁的像素分割为目标。如图3 6 所示。 p ( x l r 2 图3 6 目标点