（电路与系统专业论文）弱可视环境下视频图像分割算法研究.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 视频图像分割在视频图像处理与分析领域有着很广泛的应用，分割的准确性直接影响 后续处理的有效性，因此具有十分重要的意义。弱可视环境是一种常见的视频采集环境， 该环境下的视频图像分割非常困难，国内外学者针对该领域的研究还很少见。 本文针对弱可视环境下的视频图像分割算法进行深入研究，首先系统地概括了弱可视 环境产生的原因和特点，给出了弱可视环境下视频图像分割的一般分析方法。然后针对血 管视频图像的特性，提出了一种基于公式优化和流程优化的区域o t s u 快速分割算法；针 对票据视频图像的特性，提出了一种基于快速递推和搜索策略的优化二维熵分割算法。最 后通过大量实验验证，区域o t s u 快速分割算法和优化二维熵分割算法不仅分割效果好， 而且耗时少，能够很好地满足弱可视环境下视频图像快速分割的要求。 关键词：弱可视环境视频图像分割特性分析o t s u = 维熵 第页 国防科学技术大学研究生院工学硕士学位论文 a b s t r a c t v i d e o i m a g es e g m e n t a t i o nh a sab r o a da p p l i c a t i o ni nt h ef i e l do fv i d e o - i m a g ep r o c e s s i n g a n da n a l y s i s t 1 l ea c c u r a c yo f s e g m e n t a t i o nd i r e c t l ya f f e c t st h ev a l i d i t yo f t h ec o n t i n u o u st a s l s , s oi th a si m p o r t a n t $ e 1 1 s e l o w - l i g h te n v i r o n m e n ti saf a m i l i a re n v i r o n m e n tf o rc a p t u r i n gv i d e o t h es e g m e n t a t i o ni nt h i se n v i r o n m e n ti sm o l ed i f f i c u l t t h e r e 玳f e ws t u d i e si n t h i sf i e l d n o w a d a y s t h i sp a p e rs t u d i e st h es e g m e n t a t i o ni nl o w - l i g h te n v i r o n m e n tt h o r o u g h l y f i r s t l y ，i t g e n e r a l i z e st h ec a u s ea n dc h a r a c t e r so fl o w - l i g h te n v i r o n m e n ts y s t e m a t i c a l l y ，a n dp r e s e n t st h e n o r m a la n a l y s i sm e t h o da b o u tt h ev i d e o i m a g es e g m e n t a t i o ni nt h i se n v i r o n m e n t t h e n , i t p r o p o s e saf a s ts e g m e n t a t i o na l g o r i t h ma b o u tr e g i o n - o t s ub a s e do no p t i m a lf o r m u l aa n df l o w t od e a lw i t hv e i nv i d e o - i m a g e ；a n dp m p o s e sa 缸ts e g m e n t a t i o na l g o r i t h ma b o u tt w o - d i m e n s i o n e n t r o p i e sb a s e d o nf a s tr e c u r s i o na n ds e a r c hs t r a t e g yt od e a lw i t hb i l lv i d e o - i m a g e v a l i d a t e db y m a n ye x p f i g i m e n l $ , b o t ho f t h et w oa l g o r i t h m sc a nd e c r e a s ec o m p u t a t i o n a lt i m ew h e n i tp r o v i d e s g o o dq u a l i t ys e g m e n t a t i o n , a n dc a n m e e tt h en e e do f f a s ts e g m e n t a t i o ni nl o w - l i g h te n v i r o n m e n t v e r yw e l l k e y w o r d s ：l o w - l i g h te n v i r o n m e n t ；v i d e o - i m a g es e g m e n t a t i o n ；c h a r a c t e ra n a l y s i s ； o t s u ；t w o - d i m e n s i o ne n t r o p i e s 第v 页 国防科学技术大学研究生院工学硕士学位论文 表目录 表4 1 优化公式与原始公式计算量对比表2 5 表4 2 视频图像分割效果对比表”2 7 表4 3 视频图像分割耗时对比表2 7 表5 1 视频图像分割效果对比表3 7 表5 2 视频图像分割耗时对比表3 8 第1 i 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图2 1 票据视频的第一帧图像5 图2 2 票据视频第一帧图像的直方图6 图2 3 票据视频的第二帧图像6 图2 4 票据视频第二帧图像的直方图7 图2 5 两图差值绝对值的直方图7 图3 1 阶跃状边缘1 2 图4 1 单帧血管图像与其直方图2 0 图4 2 区域o t s u 算法流程2 6 图5 1 票据视频色度空间图像o o o loowwoo 2 9 图5 2 色度空间图像直方图3 0 图5 3 点灰度邻域灰度均值平面3 3 图5 4 优化搜索策略3 5 第1 i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目： 塑互塑堑埴王塑塑国篮金割笠洼叠壅 学位论文作者签名：努li 乱日期：卯缉t 月，厂日 学位论文版权使用授权书 本入完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印，缩印或扫描等复制手段保存。汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：堑丑塑丕撬王塑题图堡金割簋洼煎窥 学位论文作者签名： 作者指导教师签名： 日期：伊f 年i f 月7 r 日 日期：加6 年1 1 月i r 日 国防科学技术大学研究生院工学硕士学位论文 第一章绪论 1 1 课题背景 视频是三维景物投影到视频摄像机图像平面上的一个二维图像序列，它能反映环境变 化信息和物体运动信息。视频是指活动图像序列，从人类视觉角度来讲，视频通常在时间 轴上具有内容的连贯性。由于时间是连续的，为了记录和存储现实世界中的活动场景，必 须在时问轴上进行采样，考虑到入眼的视觉哲留效应，一般每秒采样2 4 帧以上就可以在人 眼中得到连续的影像重现。视频是二维图像序列，它和图像既有明显区别又有密切联系， 它们的这一关系可以用下面式子表示： v i d e o = i m a g e s , t i m e r ( l1 ) 式1 1 中，i m a g e s ：麦示图像集合，每一幅图像代表某一时刻的场景，包含场景的二维空 间平面信息；t i m e r 是定时信息，它直接或间接地规定了每幅图像的展示次序和时间间隔。 从这个方面来讲，视频是包含空间和时间的三维信息模型。 视频图像分割是视频图像处理与识别的关键步骤，一方面，它是表达目标的基础，对 特征测量有重要影响；另一方面，视频图像分割以及基于分割的目标表达可以将原图像转 化为更抽象、更紧凑的数学描述，使更高层的视频图像分析和理解成为可能。令有序集合 且表示视频图像区域，对r 的视频图像分割是将r 分成若干个满足以下五个条件的有序非空 子集r j ，r 2 ，。砌： ( 1 ) l j r i = r 函 ( 2 ) 五玎1 彤= a ，v i , j ，i 工 ( 3 ) p ( g o = t r u e ，v i ( 4 ) ，僻儿l 彤) = f a l s e , i - ，且倒与彬相邻。 ( 5 ) r z 是连通区域，v f 。 上述条件中，条件( 1 ) 表示视频图像中任一像素点都属于某一子区域，即分割是彻底 的；条件( 2 ) 表示一个像素点不能同时属于两个区域，即区域不能重叠；条件( 3 ) 表示区域 内像素点各属性或特征是相近的；条件( 4 ) 表示相邻的两个区域的特性和属性是不同的； 条件( 5 ) 表示同一区域的像素点是连通的。 视频图像分割技术是视频图像分析、识别和理解的基础，属于机器视觉的前处理模块， 视频图像分割效果的优劣直接影响系统各模块的性能，如特征提取的有效性、模式识别的 准确性以及参数描述的可靠性等，因而视频图像分割技术具有重要的理论意义 第l 页 国防科学技术大学研究生院工学硕士学位论文 弱可视环境是指直接或者间接地影响视频采集效果以及目标可视程度的环境，它涉及 光源，采集设备以及采集内容等，造成弱可视环境的原因主要有采集环境不理想、采集设 备不理想和采集内容太复杂等三种情况弱可视环境严重影响视频图像中目标与背景的对 比度，使得分割更加困难。对于弱可视环境下的视频图像，要想取得很好的分割效果，除 了硬件设备的优化和改进之外，关键还是研究适合这一领域的视频图像分割算法 本课题所研究的内容应用领域非常广泛，涉及军事侦察、金融安全、安防监视等许多 场合。在军事领域，战场侦察的视频采集环境是弱可视环境，常常会由于恶劣天气、远距 离、夜间侦察等因素影响，使得采集到的视频图像对比度低、干扰多，视频图像分割非常 困难，这样的话，必须在分割算法上进行深入的研究，以便减少人力、物力乃至于生命的 消耗，更好地把握敌情，赢得战争。在金融领域，银行票据诈骗案件时有发生，给国家的 金融安全造成了重大影响，而智能票据识别系统结合最新视频技术鉴别票据真伪，为金融 安全提供了保障，在这一系统中，票据视频图像在紫外光下采集，光源弱，而且不稳定、 不均匀，是一种弱可视环境。票据视频图像中纤维目标的有效提取有赖于该环境下视频图 像分割算法的研究。在安防领域，以薪型血管识别技术为代表的第二代生物识别技术已经 开始逐步取代以指纹识别技术为代表的第一代生物识别技术，为国家、集体和个人的人身 和财产安全提供保障。而血管视频图像是在红外光下采集到的，也涉及光源弱、不稳定、 不均匀的问题，是一种弱可视环境。深入研究弱可视环境下视频图像分割算法有助于提取 出清晰的血管目标，提高血管识别技术的可靠性 1 2 研究现状 视频图像处理算法主要分为三类：底层处理算法、中间层处理算法和高层处理算法 底层处理算法的目的是提取视频目标，这主要依据视频图像的颜色、纹理和运动等基本特 征对视频图像进行分割；中间层处理算法的目的是描述视频且标，把视频目标表示为有意 义的数据；高层处理算法的目的是匹配和跟踪视频目标，完成数据库的建立或者运动行为 的判别。 视频图像分割算法属于底层处理算法主要分为两类，一类是动态目标与背景的分割， 另一类是静态视频帧内容的分割。针对前者的研究比较多，主要采用的算法有基于帧差的 算法、基于直方图差的算法、基于运动矢量分析的算法、基于神经网络的算法以及基于压 缩差的算法等，如g f 6 删，i 】提出了光流场的概念，这一概念被广泛应用于运动估计当中 腑舻评价了各种光流计算方法，指出用于计算梯度函数的方法对于有关的运动估计方 法的精确性和健壮性有着深远的影响。g u o l 3 】应用块匹配法进行视频图像分割，首先使用 m e a n - s h i t ；t 彩色聚类自适应算法获得图像在y u v 空间的分割，然后在时域分割上使用了基 于高阶统计模型( h o s ) 的运动检测方法，通过运动检测可以将通过彩色分割得到的区域进 行判断，只有被判定为运动的区域才对其进行6 参数的伽模型估计，估计以后才允许 第2 页 国防科学技术大学研究生院工学硕士学位论文 对其进行跟踪这一类问题的研究是专门针对动态场景进行的，而对于静态场景的视频图 像分割属于第二类问题，在这一类问题中，人们通常把静态视频图像当作静止图像处理， 运用图像分割的相关算法，而图像分割方面的研究很多，如章毓晋田总结了各种图像分割 方法，图像分割大致分为阈值分割、区域分割和边缘分割三类c h e es u n 肋一5 】提出了基 于块的m a p 分割，m a p 中的条件概率将图像块分成边缘块、单色块和纹理块，另一方面， 先验概率用以保证边缘和单一区域的连续性，在m a p 最优化的迭代之后，我们可以获得 基于块的图像分割结果，然后将相连的单一区域合并，最后将没有被归类的块用基于块的 区域生长法归到最邻近的区域内然而，在静态场景的视频图像中，场景看似静止，却由 于光照变化、人为干扰、采集设备差异等因素影响，引入许多随机的运动信息，使得同一 分割算法对同一场景视频的不同帧图像的分割结果差异较大，所以这一类问题的视频图像 分割难度较大，而相关研究还很少见，这是本文研究的重点问题 近几年，视频图像分割领域的研究成果很多，但由于问题本身的困难性，与八十年代 相比并没有取得多少实质性的进展，而且现有研究很少专门针对弱可视环境，大多数静态 场景视频图像分割算法没有结合视频特性，另外，许多现有算法不能满足具体工程的需求， 如处理速度、抗干扰能力等。为此，本课题专门针对弱可视环境，结合视频特性和具体工 程进行研究。 1 3 本文工作 本文的主要工作是分析弱可视环境下的视频图像特性以及其对视频图像分割的影响， 然后结合视频图像的特性与具体项目的要求进行分割算法的研究。本文的结构如下； 第一章是绪论，简要介绍课题背景、研究现状和本文工作。 第二章是弱可视环境下的视频图像特性，分析弱可视环境的成因、特点以及其对视频 图像的影响，给出此环境下视频图像分割的一般分析方法 第三章是视频图像分割方法，综述现有的静止图像分割方法和视频图像分割方法 第四章是基于优化区域o t s u 的血管视频图像分割算法，针对血管视频图像的特性和 区域o t s u 分割算法的特点，从公式优化和流程优化两个方面减少算法耗时。 第五章是基于优化二维熵的票据视频图像分割算法，针对票据视频图像的特性和二维 熵分割算法的特点，采用快速递推和搜索策略两个步骤提高运算效率。 第六章是总结与展望，总结本文工作，展望课题发展。 第3 页 国防科学技术大学研究生院工学硕士学位论文 第二章弱可视环境下的视频图像特性 2 1 弱可视环境概述 弱可视环境是指直接或者间接地影响视频采集效果以及目标可视程度的环境，它涉及 光源、采集设备以及采集内容等如在紫外灯照射下采集票据视频图像时，由于灯管电压 不稳定或者外界自然光干扰，会造成视频序列中目标对象明暗变化，甚至与背景混叠，这 样对目标判读就非常困难，此时的视频采集环境就是一种弱可视环境：又如在红外灯照射 下采集人体血管视频图像时，由于血管本身不够明晰，再加上外界光线干扰等，使得血管 特征难以准确地识别，此时的血管视频采集环境也是一种弱可视环境。事实上，现实中的 视频采集环境大部分都是弱可视环境，造成弱可视环境的原因主要有以下三种情况： ( 1 ) 采集环境不理想 指光源弱、不稳定和不均匀等环境因素如血管视频的采集环境是红外灯照射，而红 外灯光线弱、不稳定，而且很难做到均匀 ( 2 ) 采集设备不理想 指摄像头分辨率较低，采集装置抗干扰性能差如暗室拍摄血管视频图像时，因为采 集装置封闭性差，导致视频图像受外界光线干扰很大。 ( 3 ) 采集内容太复杂 指视频图像中背景太复杂，或者背景与目标本身差别小，相互还有重叠，这是弱可视 环境中最普遍的现象，而且多是由事物本身属性引起的，难以从物理层次改变。如票据视 频图像中，纤维目标很小，而且背景非常复杂，有文字、图案和水印等 综合上述三种情况，并结合现实中的实例，可以总结出弱可视环境一般有以下一个或 者几个特点： 光源弱、不稳定、不均匀； 采集设备精度低，外部干扰大； 视频目标与背景区分不明显； 视频背景过于复杂： 视频目标与背景不稳定 弱可视环境直接或间接地影响视频图像的采集效果和视频目标的可视程度，所以研究 弱可视环境下视频图像的特性对于视频图像分割是非常必要的，也是一项很有难度的课 题。 2 2 弱可视环境下的视频图像 第4 页 国防科学技术大学研究生院工学硕士学位论文 弱可视环境下视频图像的可视性差，不便于目标的判读和识别。如对于紫外灯照射下 采集到的票据视频图像，我们关注的是纤维特征的分布情况图2 1 是票据视频的第一帧 图像，虽然人的肉眼可以分辨出纤维的具体数目，但是计算机却很难分辨，观察它的直方 图( 图2 2 ) 可以发现，虽然直方图看似具有双峰特征，但是部分纤维明显在灰度分布上 与背景有较多重叠，另外我们可以看出，背景相对于目标极其复杂，处理起来不仅干扰很 多，而且要占用大量的时间和存储空间，同时，纤维特征体积小、数目少，不能通过丢掉 纤维或者错分纤维来分割视频图像，这样的情况下，要准确、快速地分割视频图像就显得 非常困难，需要结合纤维的亮度，色度、拓扑结构等多维特征来完成视频图像分割。再看 图2 3 ( 同一票据视频的第二帧图像) ，人的肉眼无法分辨出该图与图2 1 的差别，但通 过直方图( 图2 4 ) 可以发现该图相对于前图在灰度分布上已经有所变化，再看图2 5 两 图灰度差值绝对值的直方图统计，可见二者的灰度最大变化有2 5 左右，那么相隔帧数较 多的两幅视频图像可能变化更大，在这种情况下，要想从每帧视频图像中得到较为精确的 纤维特征数据，同时又能保证同一票据视频不同帧之间纤维特征数据的一致性，这是一件 非常困难的事情。 图2 1 票据视频的第一帧图像 第5 页 国防科学技术大学研究生院工学硕士学位论文 图2 2 票据视频第一帧图像的直方图 图2 3 票据视频的第二帧图像 第6 页 国防科学技术大学研究生院工学硕士学位论文 图2 4 票据视频第二帧图像的直方图 图2 5 两图差值绝对值的直方图 通过上面的分析，我们可以归纳出弱可视环境下视频图像的三个特点： ( 1 ) 目标与背景有混叠 第7 页 国防科学技术大学研究生院工学硕士学位论文 目标和背景在同一种判别标准( 如灰度) 下会发生混叠现象，也即同一灰度级下既有 目标特征，又有背景特征 ( 2 ) 目标与背景对比度低，而且极不均匀 目标和背景在同一种判别标准( 如灰度) 下区分不明显，而且同一幅视频图像不同区 块间差异较大 ( 3 ) 视频目标不稳定 同一视频对象的不同帧之间目标特征差异较大，或者背景差异较大而导致同一判别标 准下目标差异较大。 针对弱可视环境下视频图像的这些特点，在对弱可视环境下的视频图像进行分割时， 首先要对视频图像进行特性分析，以便选择有效的特征作为分割依据。特性分析是弱可视 环境下视频图像分割的重要组成部分，特性分析的好坏直接影响视频图像分割的质量和效 率特性分析主要包括两个方面：视频图像特性分析和分割算法特性分析。 ( 1 ) 视频图像特性分析 视频图像特性分析主要是针对视频图像基本特征的分析，如单一视频帧图像的亮度、 色度、纹理等，相邻视频帧的光照、运动、干扰等的变化，且标特征的拓扑结构、分布特 征、轮廓形状等。通过视频图像特性的分析，我们可以选择目标和背景区别最明显的一维 或者几维特征进行分割，如对于票据纤维的一些特性，可以发现对于单帧图像，亮度是目 标纤维与背景最明显的区分特征，然而由于在亮度这一维特征下目标纤维和背景还是有混 叠，所以再加上色度信息进行区分，这样能较好地分割单帧图像，但是，由于不同帧之间 会因为光源的不稳定造成干扰，导致在亮色二维特征下仍有干扰特征出现，这时我们再加 上纤维的线状拓扑特征，剔除干扰。这样，我们就可以得到较为准确、稳定的分割 ( 2 ) 分割算法特性分析 分割算法特性分析主要是依据视频图像特性和具体应用需求，对现有的视频图象分割 算法优缺点进行分析对比，从中选择较为合适的视频图像分割算法的分析，然后对算法进 行仿真实验，依据实验结果和速度、资源、成本等工程要求选择最优算法，或者融合、改 进算法，甚至提出新算法。目前，国内外关于视频图像分割的算法很多，而优缺点却不尽 相同，如基于阈值的分割算法抗干扰能力较强，实现相对简单，但容易形成离散点；基于 边缘的分割算法与人的视觉过程相似，综合了图像的局部灰度信息和目标形态信息等，方 便形态学方法的运用，而且可以并行处理，但是它对噪声敏感，难以在真假边缘之间取得 平衡，而且边缘检测往往只使用了局部信息，难以保证区域内部的一致性，另外边缘宽度， 即边缘的准确性难以确定，产生的边缘难以连续成封闭的区域轮廓；基于区域的分割算法 原理简单直观，可以并行计算，可有效地克服其它方法存在的图像分割空问不连续的缺点， 但通常会造成图像的过度分割，而且容易受噪声等其他因素影响从而得到不规则的边界和 小洞，再者计算量比较大。经过上面的分析，结合票据视频对抗噪能力、稳定性以及速度 要求较高的情况，我们选择基于阈值的分割算法进行票据视频图像分割。而基于阈值的分 第8 页 国防科学技术大学研究生院工学硕士学位论文 割算法也有很多种，如直方图双峰法、直方图凹凸分析法、振幅分割法、最大熵法、类间 方差法等等，具体选用哪一种算法又需要进一步分析 经过上述视频图像特性分析和分割算法特性分析两个环节，我们就可以更科学、更有 效地选取或者提出合理的视频图像分割算法 2 3 本章小结 本章分析了弱可视环境产生的原因以及特点，并结合票据视频实例，分析了弱可视环 境下视频图像的特点，依据这些特点，给出了弱可视环境下视频图像分割的一般分析方法， 包括视频图像特性分析和分割算法特性分析两个方面。 第9 页 国防科学技术大学研究生院工学硕士学位论文 第三章视频图像分割方法 视频图像分割一直是机器视觉及视频识别技术中的难题之一，视频图像分割的难点在 于分割的信息，如局部的统计量、形状参数和运动参数等，但这些信息又需要利用分割的 结果来精确获得，这样就陷入一个循环之中。尽管针对某一特定的应用场合或者特定种类 的视频图像出现过各种较为有效的分割方法，但至今为止还没有一种通用的、可靠的、全 自动的分割方法。 视频图像分割与静止图像分割既有区别又有联系，区别在于视频图像分割引入运动信 息，这里的运动信息主要包括视频对象的运动( 主要指视频对象相对位置、大小、轮廓、 颜色、纹理等的变化) 和外界环境的变化( 主要是指光源、采集设各、外来干扰等的变化) 等；联系在于视频图像分割以静止图像分割为基础，它是将运动信息与颜色、纹理、边缘、 区域信息结合起来作为依据进行分割。 3 1 静止图像分割方法 3 1 1 基本的静止图像分割方法 国内外对于静止图像分割方法的研究非常多，从根本上来讲，可以归为三大类：基于 阈值的分割方法，基于边缘的分割方法和基于区域的分割方法。目前，基本上所有的分割 方法都是基于这三类分割方法演变而来的，如基于小波变换、分形理论、随机场理论、模 糊技术、神经计算等新理论的图像分割方法都是围绕着阈值的选取、边缘的检测、区域的 分裂与合并这些问题来进行研究的，从而形成了小波变换边缘检测方法、分形图像分割方 法、模糊聚类与模糊边缘检测方法、基于人工神经网络的阈值选取与边缘检测方法等。 ( 1 ) 基于阈值的分割方法 阈值分割方法是通过选取合适的一个或者几个阈值将图像的各个像素点归为两类或 者多类。它主要是基于图像的灰度特征，以灰度直方图为基础，采用区域灰度相似性准则 分割图像。阈值分割的基本原理可以用下面的式子表示： g o ，y ) = 互，互f ( x ，力气“ ( 3 1 ) 式3 1 中，舷力表示原始图像，如力表示分割以后的图像，z 尚2 h j 为阈值，磊为上述 阈值范围内的像素属性归属 对于阈值分割方法，阚值的选取是关键，如果选取不当，则图像不同区域就会有混叠， 分割效果就不理想。阈值选取的基本原则是分割后不同区域之间无混叠，且边缘较平滑。 阈值的选取可以依据图像的全局信息，如整幅图像的灰度直方图；也可以依据图像的 局部信息，如区域平均灰度；也可以同时依据全局和局部信息，如二维熵分割算法就是利 第1 0 页 国防科学技术大学研究生院工学硕士学位论文 用两者信息综合进行分割。 阈值选取的方法很多，早期关于阈值选取的方法主要集中在直方图和直方图变换法 上，直方图变换法是将图像的原始直方图经过某种变换使之波峰尖锐而且波谷深凹，这样 就可以应用直方图峰谷法确定阈值它们大多属于全局阈值选取的方法，而且主要是基于 一维直方图的方法，如直方图双峰法、直方图凹凸分析法、振幅分割法等，这些方法只适 用于直方图双峰比较明显的图像。对于复杂的图像，如带有噪声的图像、目标模糊的图像、 耳标与背景差别不大的图像、目标与背景灰度不规则的图像以及光照极不均匀的图像，这 些方法往往得不到正确的分割结果，这个时候，不仅要考虑像素邻域属性，还要考虑图像 局部区域的特性，否则，像素点不多的小区域可能会被其他大区域所掩盖。为此，一些研 究者提出了二维最大熵阈值分割、循环分割和自动多阈值分割等方法。还有一些研究者将 阈值选取方法与其他方法结合起来，如边缘检测方法、纹理分析方法等，通过直方图进行 阈值限定，再利用图像的空间信息以及一些先验知识进行分割，通常能取得更好的分割效 果。另外，一些研究者将一些新的数学工具引入阈值选取方法中，譬如小波技术、模糊数 学和神经网络等，这些数学工具使得阈值的选取更为合理，图像分割效果也随之提高。 总的来说，基于阈值的分割方法是最基本的、应用最广泛的分割方法，它实现相对简 单，计算量相对较小，稳定性较好。采用阈值分割的方法，不仅能较大程度地压缩数据量， 节约存储空闻，而且能大大简化后续的图像分析和处理步骤。然而，尽管阈值选取的方法 已有很多，但方法的适应性都比较差，一般都是特定图像需要特定方法。另外，如果缺乏 图像的先验知识，就很难选取合适的方法，对于弱可视环境采集的视频图像，阈值选取更 加困难。 ( 2 ) 基于边缘的分割方法 边缘是指图像中像素灰度有阶跃变化或屋顶状变化的那些像素的集合，如图3 1 ( a ) 所示。它存在于目标与背景、目标与目标、区域与区域、基元与基元之间。边界表明一个 类型区域的终结和另一个类型区域的开始，即是说边界所分得区域其内部的特征和属性是 一致或相近的，而相邻的两个区域之间内部的特征或属性是彼此不同的，图像中相邻两个 区域的特征的差异正是发生在边界处为了提取区域边界，可以对图像直接运用一阶微分 算子和二阶微分算子，然后根据各像点微分幅值及其他附加条件判定其是否为边界点 基于边缘的分割方法受噪声的影响比较大，如图3 1 ( b ) 所示，如果图像中含有较强噪 声，此时若直接进行微分运算，将会出现许多虚假边界点。为了消除噪声的影响，可以首 先构造一个函数与图像进行卷积，这样可以平滑噪声，然后再对卷积结果进行微分运算提 取边界点集，也可以采用曲面拟合的方法用一个曲面拟合数字图像中待检测点的邻域像素 的灰度，然和再对拟合曲面进行微分运算，还可以用一个阶跃函数拟合数字图像中待检测 点的邻域像素的灰度，然后根据阶跃幅值判断其是否为边界点 第l l 页 国防科学技术大学研究生院工学硕士学位论文 囤匝囚田 锄。；，。，。，：一。；譬， 图3 1 阶跃状边缘 基于边缘的分割方法一般涉及微分思想，平滑思想以及准则函数确定边界的思想等 由于干扰和噪声的存在，某些算法所检测到的边界可能会变宽或者某些点处可能会发生断 裂，因此基于边缘的分割方法一般包括三个步骤：边缘点提取，边缘点剔出和边缘点填补。 基于边缘的分割方法很多，一般是依据图像一阶导数的极值或者二阶导数的过零点信 息来判断边缘点，如图3 1 ( c ) 、( d ) 所示这其中比较经典的方法是构造对图像灰度阶跃 变化敏感的差分算子来进行图像分割，如r o b e r 算子、s o b e l 算子、p r e w i t t 算子和l a p l a e i a n 算子等。差分算子类似于空间的高通滤波，有增强高频分量的作用，因而，这类算子对噪 声也是敏感的，会引起假的边缘点。一种改进的方法是对图像先进行适当的平滑，以抑制 噪声，然后再进行微分运算，如m a r t 边缘检钡4 算子和沈俊边缘检测。或者是先对小区域 进行曲面拟合，然后再对拟合处的曲面使用差分算子方法进行边缘检测，这可称为边缘拟 合的检测算法，如f a c e t 模型边缘检测算法 通常对于一个好的边缘检测算子来说，应具有以下检测结果： 能正确检测，低概率的误检或漏检； 能准确定位，边缘点对应于真实边缘的中间位置； 算法快速高效； 较强的抗噪性 m a r t 边缘检测算子能较良好的满足上述要求，下面较为详细地说明m a r t 边缘检测算 子 m a r r 边缘检测算子也叫拉普拉斯一高斯算子，在使用微分算子提取边界时，理论上， 在边界点处一阶导数取最值，二阶导数取零。事实上，由于边界灰度变化不陡，以及原始 图像中噪声的影响，使提取的边界过宽或有间断，还有可能把噪声当作边缘点检测出来了， 而真正的边缘又没有被检测出来。m a r t 算子是在拉普拉斯算子的基础上实现的，由于拉普 拉斯对噪声比较敏感，为了减少噪声影响，可先对检测图像进行平滑，然后再用拉普拉斯 算子检测边缘由于在成像时，一个给定像素所对应的场景点与它周围点对该点的贡献的 光强大小成正态分布，所以平滑函数应能反映不同远近的周围点对给定像素的平滑作用， 因此，平滑函数采用正态分布的高斯函数，即 + 户 ! 一 h ( x ，j ，) = e 2 0 2 ( 3 2 ) 第1 2 页 国防科学技术大学研究生院工学硕士学位论文 式中口是方差，用厅 力对图像力进行平滑，可以表示为： g ( x ，j ，) = h c x ，j ，) + f ( x ，y ) ( 3 3 ) 其中乖代表卷积。如果令f 表示给定像素离圆心的径向距离，即，2 = ，+ ，则将式 ( 3 2 ) 代入式( 3 3 ) 中，然后对平滑后的图像采用拉普拉斯算子进行运算，可得： v 2 9 = v 2 【矗y ) ，伍) ，) 】= v “hf c x , y ) ( 3 4 ) 这样利用二阶导数算子过零点的性质，可以确定图像中边缘的位置 在这里，卷积过程相当于一个低通滤波过程，其后的微分过程相当于一个高通滤波过 程，所以总体上i _ , - g 算子模板等同于一个带通滤波器。m a r r 算子检测效果比较好，但是 这种算法的计算量比较大，定位还不够准确。 ( 3 ) 基于区域的分割方法 区域分割的实质是把具有某种相似性质的像元连通起来，归为一类，从而构成了最终 的分割区域。它利用了图像的局部空间信息，可有效的克服其它算法存在的图像分割空间 不连续的缺点，但它通常会造成图像的过度分割。 对于基于区域的分割方法，如果从全图出发，按区域属性特征一致的准则，决定每个 像元的区域归属，形成区域图，称之为区域分裂；如果从单一像元出发，按区域属性特征 一致的准则，将属性接近的连通像元聚集为区域，称之为区域增长；如果综合利用上述两 种算法，既存在图像的划分又存在像元的聚集，则被称为分裂合并的方法。 区域增长法是最基本的基于区域的分割方法。区域增长法必须考虑的两个关键问题 是：如何正确选择适当的代表区域的起始点或者点集，以及如何正确选择均匀性测度的阈 值。依据所选取的点集邻域方式和均匀性测度的不同，也就产生了不同的区域增长方法， 它们基本上可以分为简单区域增长和复杂区域增长两类。 简单区域增长技术认为每个像元为图中的一个节点，将这些属性足够相似的相邻像元 合并起来，构成具有同一属性的一个区域。如何衡量两个相邻像元的相似性是实现这个技 术的关键。最简单的方法是计算两个相邻像元的特征值之差对于一般图像来说，这个特 征值就是像元的灰度值。将两相邻像元特征值之差同中心像元与其邻域像元的绝对平均值 相比较，如过足够接近，则将这对相邻像元合并 复杂区域增长技术比简单区域增长技术更有效。它考虑的不是单个像素，而是围绕该 像元的邻域，在此邻域上定义特征矢量。相邻像元相似与否，主要依赖于它们各自的邻域 在特征矢量上是否接近。这种方法综合考虑了每个像元周围邻域的信息，同时还可以利用 图像灰度分布的结构关系。因此，这种方法对含有噪声的图像具有更好的性能。 分裂合并的区域分割方法是在区域增长技术的基础上发展起来的。它利用图像数据 结构( 如金字塔结构) 的层次概念，将图像划分为一组初始区域，根据给定的均匀性准则 第1 3 页 国防科学技术大学研究生院工学硕士学位论文 进行分裂和合并，逐步改善区域划分的性能，直到最后将图像划分为数量最少的均匀区域 为止其数据结构可以描述如下： 设= 2 4 ，对于n x n 图像阵列，它的金字塔数据结构是一个从n x n 到i x l 逐次缩 小的旷1 个图像构成的序列，这个图像序列是通过下述操作生成的： s t e p l ： 将图像序列，划分成要冬个互不重叠的正方形子块，每个子块包含 2 2 个像素o s t e p 2 ：将图像序列，划分成祟箬个互不重叠的正方形子块，每个子块包含 2 2 x 2 2 个像素5 s t e p 3 ：依次类推，将图像阵列f 划分为鲁鲁个互不重叠的正方形子块，每 个子块包含2 “x 2 。个像素。 在这个过程中，每个子块作为一个像素，其灰度等于该子块像素的平均值，于是得到 一个从n n 到l x l 的图像序列伽1 ) 。这一结构也可以用树来表示，树的根节点对应于整 个图像，它的叶结点对应，的像素，其他每个节点对应，的一个正方形子块，每个节点又 有四个分支，从而成为四分图像树，简称四分树。 上面我们综述了静止图像分割的方法，可以看出，现有静止图像分割方法非常多，都 各有优缺点和适应性，在图像处理领域，没有哪一种方法具有普遍的适应性，它们都是针 对特定的图像特性和环境以及设施要求体现自己的价值。 3 1 2 结合特定理论的分割方法 图像分割方法的发展与许多其它学科和领域密切相关，如数学、物理学、生理学、心 理学、电子学、计算机科学等近年来，随着其他学科许多新理论和新方法的提出，研究 者也提出了许多结合一些特定理论、方法和工具的分割方法。围绕阅值的选取、边缘的检 测、区域的分裂与合并这些基本的图像分割算法，研究者提出了基于数学形态学、小波和 模糊技术等新理论的图像分割方法。 ( 1 ) 基于数学形态学的图像分割方法 数学形态学是一门新兴的图像分析学科。它的基本思想是用具有一定形态的结构元素 去度量和提取图像中的对应形状，以达到对图像分析和识别的目的。数学形态学的数学基 础是集合论。数学形态学的方法具有并行实现的结构。其基本运算有四个：膨胀、腐蚀、 开启和闭合。基于这些基本运算还可以推导和组合成各种数学形态学实用方法。对于某些 强噪声图像，基于数学形态学的方法可以取得较好的效果。 第1 4 页 国防科学技术大学研究生院工学硕士学位论文 许多常用的边缘检测算子通过计算图像中局部小区域的梯度来实现，这类边缘检测算 子对噪声比较敏感，而且常常会在检测边缘的同时加强噪声。而形态边缘检测器通过用形 态梯度来检测边缘，虽也对噪声敏感，但不会加强或放大噪声 水线区域分割方法是分割图像中相接触目标的形态学方法，通过无条件腐蚀和有条件 膨胀来达到分离相接触目标的目的。此方法主要分三步：产生距离图，计算腐蚀集合，从 种子开始生长回原始尺寸但不使各区域相连由以上步骤得到最终腐蚀了的集合，其中引 入了距离图，使对应的腐蚀步骤可根据距离图中的灰度值确定。 如果将上述水线区域分割方法第三步用连续膨胀代替，就形成了另一种形态学分割方 法一聚类快速分割方法比较这两种方法，水线区域分割方法能很好地保持目标的原始 形状，在目标中加入的分界比较清晰，不过水线法计算量较大聚类快速分割方法并不能 很好地保持且标的整体原始形状，但受错误分离的影响较小如果目标没有重叠只是相接， 则水线区域分割方法常会有较好的分割效果，反之可以使用聚类快速分割方法。 ( 2 ) 基于小波变换的分割方法 小波变换是一种新的可达到时空域或频率域局部化的时频域或空频域分析方法。它具 有许多其它时、频域分析所不具备的优良特性。如正交性、方向选择性，可变的时频域分 辨率、可调整的局部支持以及分析数据量小等特性。这些良好的分析特性促使小波交换成 为信号处理的一种强有力的新手段。而且，小波变换的多尺度分解特性更加符合人类的视 觉机制，与计算机视觉中由粗到细的认识过程十分相似，更加适合图像信息的处理 多尺度一般是指空间尺度，它常与多分辨率的方法相联系。一般认为在较大尺度下常 能较可靠地消除和检测到真正的边缘点，但在大尺度下对边缘的定位不准确。相反，在较 小尺度下对真正边缘点的定位常比较准确，但在小尺度下误检的比例会增加。所以考虑在 较大尺度下检测出真正的边缘点，再在较小尺度下对真正边缘点进行较精确的定位小波 变换和分析作为一种多尺度多通道分析工具，比较适合对图像进行多尺度的边缘检测。小 波变换的抗噪声能力较强。理论证明以零点为对称点的对称二进小波适合检测屋顶状边 缘，而以零点为反对称点的反对称二进小波适合检测阶跃边缘。利用正交小波基的小波变 换也可提取多尺度边缘，并可通过对图像奇异度的计算和估计来区分一些边缘的类型小 波变换的多分辨率能力也可用于直方图分析。 ( 3 ) 基于模糊技术的图像分割方法 模糊的概念来自于自然界客观存在的难以用确定的尺度或模型来描述的模糊现象精 确性与模糊性的对立是当今科学发展所面临的一个十分突出的矛盾 由于图像具有模糊性( 灰度上的模糊性，几何形状上的不确定性以及不确定性知识 等) ，研究者将模糊理论引入到图像分割中，提出许多基于模糊理论的图像分割方法，概 括起来有以下五类： 第1 5 页 国防科学技术大学研究生院工学硕士学位论文 模糊聚类方法。b e z d e k 提出的模糊c 一均值聚类方法和k r i s h a n a p u r a m 与 k e l l e r 提出的概率c 一均值c p c 砌聚类方法都可以用来对图像进行分割。像素的类别隶属度 可被看作是该像素与某一个理想物体或某一个特性的相似度或一致性 基于模糊规则的图像分割方法如果我们用语言变量来描述图像的特征，那么我 们可以应用模糊i f - t h e n 规则来把图像分割成几个不同的区域。 模糊积分( ，i f z z y i nt e g r a l s ) ：模糊积分可以有几种不同的应用方式： 特征加权分割( 模糊度量表示某一特定特征的重要程度) ： 不同分割方法结果的融合( 各种分割方法的优点的最优使用) ： 基于不同传感器信息融合的分割( 如多谱图像，模糊度量表示每个传感器间的相关 性或重要程度) 。 模糊性度量和图像信息：模糊性度量( 如模糊熵) 和图像信息( 模糊散度) 都可用于 图像分割和选取l m 值 模糊几何学：模糊几何度量如a r o s e n f i e l d 提出的模糊致密性以及s k p a l 和 a g h o s h 提出的区域覆盖指数都可用于度量一幅图像的不同区域的几何模糊性 3 1 3 彩色图像分割嘲 最简单的彩色图像分割方法就是直接将彩色图像转化为灰度图像，然后将彩色图像按 灰度图像进行分割。但该方法由于忽略了色度、饱和度和亮度信息之间的关联，因而分割 效果并不理想。 彩色特征聚类是阈值概念的多维扩展，通常是将彩色图像看成是具有各自灰度级的 红，绿、蓝( 或是其它颜色空间) 三幅图像，这样在每一色彩分量上可得到不同的直方图， 然后利用灰度分割技术分别确定各自的阈值后，将结果组合起来，并映射到空域构成分割 的彩色图像。用这种方法得到的分割结果往往会出现彩色聚类相互重叠现象，这是由于： 仅依赖色彩分割是不全面的； 彩色图像直方图一般尖峰不明显，各色彩分量的阈值难以确定； 像素的色彩映射到三个不同的直方图上，色彩信息被分散 目前，彩色图像分割的研究重点是如何有效地综合利用彩色图像的三通道信息。s e r g e y k r j u l v 等提出了使用神经网络进行彩色图像分割的方法，他们在r g b 颜色空间中将图 像的每个像素表示为一个由r 、g 、b