第八章图像分割.ppt

数字图像处理2011-5,西安邮电学院电子工程学院,数字图像处理DigitalImageProcessing,第八章：图像分割,本章内容,西安邮电学院电子工程学院,第八章,间断检测,基础知识,基于形态学分水岭的分割,门限处理,基于区域的分割,边缘连接和边缘检测,B,8.1基础知识,知识库,图像分析系统的构成,西安邮电学院电子工程学院,8.1基础知识,统计模式识别,西安邮电学院电子工程学院,8.1基础知识,水果分类：樱桃、苹果、柠檬、葡萄,西安邮电学院电子工程学院,8.1基础知识,测量每个水果的两个特点：直径和颜色（“红色程度”）。,右图是由直径和红色程度这两个参数定义的二维特征空间以及4种水果中每一中的期望聚类。,通过特征空间中确定合适的决策分界线，把空间划分若干区域，每个区域代表一个类。这样就建立了一个分类原则。,西安邮电学院电子工程学院,8.1基础知识,图像分割的目的：,把图像分解成构成它的部件和对象的过程有选择性地定位感兴趣对象在图像中的位置和范围,分割策略：从简到难，逐级分割；控制背景，降低难度；焦点在感兴趣目标。,西安邮电学院电子工程学院,8.1基础知识,西安邮电学院电子工程学院,8.1基础知识,图像分割的基本策略：基于灰度值得两个基本特性不连续性区域之间，寻找边缘；(间断检测、边缘连接与检测)相似性区域内部，通过选择阈值找到灰度值相似的区域（门限处理、区域生长、区域分离和聚合）图像分割有三种不同的途径其一是将各像素划归到相应物体或区域的像素聚类方法即区域法（利用相似性）；其二是通过直接确定区域间的边界来实现分割的边界方法；其三是首先检测边缘像素再将边缘像素连接起来构成边界形成分割（利用不连续性）。,return,西安邮电学院电子工程学院,8.2间断检测,西安邮电学院电子工程学院,8.2间断检测,一、点检测,用空域的高通滤波器来检测孤立点,R=(-1*8*8+128*8)/9=(120*8)/9=960/9=106设：阈值：T=64RT,return,西安邮电学院电子工程学院,8.2间断检测,二、线检测,通过比较典型模板的计算值，确定一个点是否在某个方向的线上,西安邮电学院电子工程学院,8.2间断检测,用4种模板分别计算：R水平=-6+30=24R45度=-14+14=0R垂直=-14+14=0R135度=-14+14=0,依次计算4个方向的典型检测模板，得到Rii=1,2,3,4如|Ri|Rj|ji，那么这个点被称为在方向上更接近模板i所代表的线。,西安邮电学院电子工程学院,8.2间断检测,return,西安邮电学院电子工程学院,原图,用-45度线检测,门限处理结果,8.2间断检测,三、边缘检测1、边界的定义是两个具有相对不同灰度值特性的区域的边界线适用于假定问题中的区域是非常类似的，两个区域之间的过渡，仅仅根据灰度的不连续性便可确定；不适用于当假定不成立时，阈值分割技术一般来说比边缘检测更加实用。,西安邮电学院电子工程学院,8.2间断检测,光学系统、取样和采集的不完善性使得边缘模糊，模拟为具有“类斜面”的剖面，斜坡部分与边缘模糊程度成比例；边缘的点是包含于斜坡中的任意点，边缘宽度取决于斜坡长度；模糊的边缘使其变粗，清晰的边缘使其变细。,西安邮电学院电子工程学院,8.2间断检测,结论：一阶导数可用于检测点是否边缘的点即是否在斜坡上；二阶导数的符号用于判断一个边缘像素是在边缘亮的一边还是暗的一边。,西安邮电学院电子工程学院,8.2间断检测,2、在有噪声的边缘附近的一阶和二阶导数性质：二阶导数对于噪声更为敏感；一阶导数最大用梯度计算；二阶导数为0拉氏算子。,西安邮电学院电子工程学院,8.2间断检测,函数f(x,y)在(x,y)处的梯度为一个向量：,计算这个向量大小：,近似为:f|Gx|+|Gy|,3、梯度算子,西安邮电学院电子工程学院,8.2间断检测,简化实现方法：Roberts交叉梯度算子：,为22模板,Roberts,Prewitt,西安邮电学院电子工程学院,Sobel,8.2间断检测,对角线方向Prewitt,西安邮电学院电子工程学院,对角线Sobel,8.2间断检测,西安邮电学院电子工程学院,实例：梯度和它的分量说明,原图,|Gx|,|Gy|,|Gx|+|Gy|,8.2间断检测,原图经55均值滤波器平滑后进行梯度处理：减少墙砖对于图像细节的影响；但边缘响应均因为取均值而被消弱了。,西安邮电学院电子工程学院,8.2间断检测,使用改进的对角(Sobel)模板，看出对角响应很明显,西安邮电学院电子工程学院,8.2间断检测,4、拉普拉斯算子,实际：,或：,对分别以90和45为增量的旋转变换，是各向同性的。,西安邮电学院电子工程学院,8.2间断检测,5、LoG算子,拉普拉斯算子不直接用于边缘检测对噪声敏感；幅值产生双边缘；不能检测边缘的方向。高斯型拉普拉斯算子（LaplacianofaGaussian,LoG）,高斯函数：,是标准差。以此作滤波函数（作卷积）,西安邮电学院电子工程学院,8.2间断检测,使用高斯函数进行平滑；使用拉普拉斯算子提供一幅用零交叉定边缘位置的图像。,西安邮电学院电子工程学院,8.2间断检测,零交叉在正负值之间发生,零交叉点图像中的边缘比梯度边缘细；边缘由来自许多闭合环的零交叉点决定；计算相当复杂；抑制噪声、反干扰性,实例：通过零交叉寻找边缘,return,西安邮电学院电子工程学院,8.3边缘连接和边界检测,一、局部处理1、边缘连接的意义由于噪音的原因，边界的特征很少能够被完整地描述，在亮度不一致的地方会中断；典型的边缘检测算法后总跟随着连接过程和其它边界检测过程，用来归整边像素，成为有意义的边缘。2、连接处理的原理对做过边检测的图象的每个点(x,y)的特性进行分析；分析在一个小的邻域（33或55）中进行；所有相似的点被连接，形成一个享有共同特性象素的边界；用比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边。,西安邮电学院电子工程学院,8.3边缘连接和边界检测,|f(x,y)f(x0,y0)|E判断其是否与邻域内的点(x,y)相似|(x,y)(x0,y0)|T,对象点；否则，背景点,多门限f(x,y)T2，一个对象；T1f(x,y)T2,另一个对象；f(x,y)T1，背景,边界上的点的灰度值出现次数较少谷,西安邮电学院电子工程学院,8.4门限处理,阈值化算法的统一模型和基本分类,西安邮电学院电子工程学院,8.4门限处理,基于各灰度值的门限门限根据f(x,y)来选取（门限为全局的）；基于区域性质的门限门限根据f(x,y)和p(x,y)来选取（门限为局部的）；基于坐标位置的门限门限根据f(x,y)、p(x,y)和x,y来选取（门限为局部的、动态的或自适应的）；基于目标形状的门限门限根据f(x,y)、x,y和s(x,y)来选取。,西安邮电学院电子工程学院,8.4门限处理,二、亮度的作用,讨论亮度对门限处理的影响，尤其是对全局门限的影响；f(x,y)=i(x,y)r(x,y)r(x,y)：反射率分量i(x,y)：亮度分量,对象和背景的反射性质使它们易于分离；亮度条件不好（照度不均）图像难于分离。,西安邮电学院电子工程学院,8.4门限处理,z(x,y)的直方图是i(x,y)和r(x,y)的直方图卷积，如果i(x,y)为常数（均匀照明），则i(x,y)为常数，其直方图是一个尖峰（脉冲），函数与任何函数卷积，结果不变（直方图不变）；若i(x,y)有稍宽的直方图（不均匀亮度产生），卷积后直方图发生变化，失真程度取决于i(x,y)直方图宽度，宽度取决于亮度函数的不均匀性；,西安邮电学院电子工程学院,8.4门限处理,的门限为T，门限为。,补偿不均匀性的方法是：将亮度图投射到一均匀白色反射面上，生成一幅图像：,西安邮电学院电子工程学院,8.4门限处理,三、基本全局门限,门限是灰度级最大值和最小值得中间值；适用于亮度可控环境中，如工业检测,西安邮电学院电子工程学院,8.4门限处理,自动门限的获得：选一个T的初值；用T分割图像，分成了两类像素对区域G1,G2计算平均灰度新门限：重复，直至逐次迭代所得的T值之差小于预先定义的T0背景和对象在图像中占据面积相近时，取平均灰度值为初始值；对象所占面积小于背景一方在直方图中占主导，初值取灰度中间值。,西安邮电学院电子工程学院,8.4门限处理,西安邮电学院电子工程学院,8.4门限处理,四、基本自适应门限不均匀亮度使单一全局门限失效；解决办法：图像细分为子图，对不同子图使用不同门限分割；关键：如何将图像进行细分；如何为得到的子图估计门限值；用于每个像素的门限取决于像素在子图中的位置，这类属于自适应门限处理。,西安邮电学院电子工程学院,8.4门限处理,减少亮度不均匀影响的方法图像分为子图，子图内亮度近似均匀,西安邮电学院电子工程学院,8.4门限处理,进行适当分割的子图，直方图明显双峰；,进行不适当分割的子图，直方图接近单峰；,进一步细分，其中更小的子图直方图具有双峰,西安邮电学院电子工程学院,8.4门限处理,转变成机器学习中的分类问题:类内方差最小,类间方差最大.,思想：若图像与背景的灰度有部分交错。这时采用一个全局阈值进行分割总会产生一定的误差。方法：尽可能减少误分割。假设背景和目标的灰度都符合高斯分布.(如果不依赖这种假设怎么办?)最优阈值讨论若背景与目标区域大小相等，则最优阈值等于背景与目标均值的中值；,五、最佳全局和自适应门限,西安邮电学院电子工程学院,8.4门限处理,对象类像素出现概率背景像素的概率,也可叫先验概率，,西安邮电学院电子工程学院,8.4门限处理,主要目的是选择一个值，使得在决定一个给定的像素是属于对象还是背景时的平均出错率降至最小。将背景误判为对象点的概率为：,同样将一个对象误判为背景点的概率：,出错率的整体概率：,西安邮电学院电子工程学院,8.4门限处理,找到出错最少的门限，将E(T)对T求微分，并令微分为零，得：,如果最佳门限位于曲线与的交点。,实际中估计密度有时并不可行，此时可以利用参数比较得到密度，常使用高斯密度（均值和方差）：,为均值，为方差。可能得：,西安邮电学院电子工程学院,8.4门限处理,有2个可能的解，要得到最佳解需2个门限，如果：，则只用单一门限：,如果进一步则最佳门限是均值的平均数，也是一样，还可以利用直方图，使均方误差最小来估计图像复合灰度PDF函数的各个参数。,西安邮电学院电子工程学院,8.4门限处理,在心血管造影照片中自动描绘心脏的左心室边界,每个像素取对数减少由辐射吸收引起的指数效应；注入造影剂后的图像减去之前的图像以去除两幅图中脊柱；将几张造影片相加以减少随机噪声。,预处理：,西安邮电学院电子工程学院,8.4门限处理,将整幅图像分成一系列互相有50%重叠的子图像；得到每个子图像的直方图；检测各子图像是否为双峰，若是则采用最优门限法，否则不进行处理；根据对直方图为双峰的子图得到的门限通过插值得到所有子图像的门限；根据各子图像的门限，然后对图像进行分割。,西安邮电学院电子工程学院,8.4门限处理,六、利用边界特性改进直方图和局部门限处理如果直方图的各个波峰很高、很窄、对称，且被很深的波谷分开时，有利于选择门限;一种改进方法（改善直方图的波峰形状）为：绘制直方图时只考虑那些位于对象和背景之间边缘上的或在边缘附近的像素，从而使直方图对于对象和背景大小的依赖性变小了;用微分算子处理图像，使图像只剩下边界中心两边的值。,西安邮电学院电子工程学院,8.4门限处理,这种方法有以下优点：在前景和背景所占区域面积差别很大时，不会使一个灰度级的波峰过高，而另一个过低；边缘上的点在区域内还是区域外的概率是大体相等的，因此可以改进直方图波峰的对称性；基于梯度和拉普拉斯算子选择的像素，可以加深直方图波峰间的波谷即增加波峰的高度。,这种方法的主要问题是隐含对象和背景之间的边缘为已知这一假设,西安邮电学院电子工程学院,8.4门限处理,算法的实现：对图像进行梯度计算，得到梯度图像；得到梯度值最大的那一部分（比如10%）的像素直方图；通过直方图的谷底，得到门限T。如果用拉普拉斯算子，不通过直方图，直接得到门限，方法是使用拉普拉斯算子过滤图像，将0跨越点对应的灰度值为门限T。,西安邮电学院电子工程学院,8.4门限处理,根据梯度或拉氏算子，选择像素构成直方图。根据下式生成3级图像：,T为门限，0，+，表示任意3个不同灰度级。包含对象的一条水平或垂直扫描线具有如下结构：（）（，+）（0或+）（+，）（）,对象内部标记0或+,从亮背景过渡到暗对象,从对象反向过渡到背景,西安邮电学院电子工程学院,8.4门限处理,return,西安邮电学院电子工程学院,8.5基于区域的分割,一、基本公式,基本概念目标：将区域R划分为若干个子区域R1,R2,Rn，这些子区域满足5个条件：完备性：连通性：每个Ri都是一个连通区域独立性：对于任意ij，RiRj=单一性：每个区域内的灰度级相等，P（Ri）=TRUE，i=1,2,n互斥性：任两个区域的灰度级不等，P（RiRj）=FALSE，ij,西安邮电学院电子工程学院,8.5基于区域的分割,二、区域生长边界跟踪目的：要求目标轮廓边界细、连续无间断、准确。边界跟踪（boundarytracking）或边缘点连接（edgepointlinking）的思想是：由图像梯度出发，依次搜索并连接相邻边缘点从而逐步检测出边界。区域生长目的：从单个象素出发，逐渐合并以形成所需的分割区域；思想：将具有相似性质的象素集合起来构成区域。与边界跟踪不同，边界跟踪基于梯度得到的是边界；而区域生长基于灰度得到的是区域。,西安邮电学院电子工程学院,8.5基于区域的分割,像素集合的区域生长算法实现：1）根据图像的不同应用选择一个或一组种子，它或者是最亮或最暗的点，或者是位于点簇中心的点；2）选择一个描述符（条件）；3）从该种子开始向外扩张，首先把种子像素加入结果集合，然后不断将与集合中各个像素连通、且满足描述符的像素加入集合；4）上一过程进行到不再有满足条件的新结点加入集合为止。,西安邮电学院电子工程学院,8.5基于区域的分割,区域A,区域B,种子像素,种子像素,西安邮电学院电子工程学院,8.5基于区域的分割,西安邮电学院电子工程学院,8.5基于区域的分割,区域生长应解决三个问题：选择或确定一组能正确代表所需区域的种子象素；确定在生长过程中能够将相邻象素包括进来的生长准则；确定在生长过程中停止的条件或准则。,西安邮电学院电子工程学院,8.5基于区域的分割,确定种子象素可以将灰度呈现聚类的情况，则将聚类中心的象素取为种子象素。基于区域灰度差的生长准则,西安邮电学院电子工程学院,8.5基于区域的分割,基于区域内灰度分布统计性质的生长准则,西安邮电学院电子工程学院,8.5基于区域的分割,西安邮电学院电子工程学院,基于区域形状的生长准则,8.5基于区域的分割,区域生长在焊缝检测中的应用,65,多峰分布直方图更适合于区域方法分割,西安邮电学院电子工程学院,8.5基于区域的分割,算法实现：对图像中灰度级不同的区域，均分为四个子区域；如果相邻的子区域所有像素的灰度级相同，则将其合并；反复进行上两步操作，直至不再有新的分裂与合并为止。,三、区域分离与合并,西安邮电学院电子工程学院,8.5基于区域的分割,R1,R2,R3,R41,R42,R43,R44,R,R1,R2,R3,R4,R41,R42,R43,R44,西安邮电学院电子工程学院,8.5基于区域的分割,实际应用中还可作以下修改：P(Ri)的定义为区域内多于80%的像素满足不等式|zj-mi|2i，其中：zj是区域Ri中第j个点的灰度级，mi是该区域的平均灰度级，i是区域的灰度级的标准方差。就定义P(Ri)=TRUE，并将区域Ri内所有像素的灰度级置为mi。,西安邮电学院电子工程学院,8.5基于区域的分割,用选在直方图两个主要尖峰之间中点为门限处理后的图像看出：图中生成的阴影和叶子的茎被错误去除了,西安邮电学院电子工程学院,原图,分离和聚合后结果,门限处理结果,8.5