第八章图像分割.ppt

1、数字图像处理 刘睿 2011-5,西安邮电学院电子工程学院,西安邮电学院电子工程学院,数字图像处理 Digital Image Processing,第八章：图像分割,本章内容,西安邮电学院电子工程学院,第八章,间断检测,基础知识,基于形态学分水岭的分割,门限处理,基于区域的分割,边缘连接和边缘检测,B,8.1 基础知识,知识库,图像分析系统的构成,西安邮电学院电子工程学院,8.1 基础知识,统计模式识别,西安邮电学院电子工程学院,8.1 基础知识,水果分类：樱桃、苹果、柠檬、葡萄,西安邮电学院电子工程学院,8.1 基础知识,测量每个水果的两个特点：直径和颜色（ “红色程度” ）。,右图是由直

2、径和红色程度这两个参数定义的二维特征空间以及4种水果中每一中的期望聚类。,通过特征空间中确定合适的决策分界线，把空间划分若干区域，每个区域代表一个类。这样就建立了一个分类原则。,西安邮电学院电子工程学院,8.1 基础知识,图像分割的目的：,把图像分解成构成它的部件和对象的过程 有选择性地定位感兴趣对象在图像中的位置和范围,分割策略： 从简到难，逐级分割； 控制背景，降低难度； 焦点在感兴趣目标。,西安邮电学院电子工程学院,8.1 基础知识,西安邮电学院电子工程学院,8.1 基础知识,图像分割的基本策略： 基于灰度值得两个基本特性 不连续性区域之间，寻找边缘；(间断检测、边缘连接与检测) 相似性

3、区域内部，通过选择阈值找到灰度值相似的区域 （门限处理、区域生长、区域分离和聚合） 图像分割有三种不同的途径 其一是将各像素划归到相应物体或区域的像素聚类方法即区域法（利用相似性）； 其二是通过直接确定区域间的边界来实现分割的边界方法； 其三是首先检测边缘像素再将边缘像素连接起来构成边界形成分割（利用不连续性）。,return,西安邮电学院电子工程学院,8.2 间断检测,西安邮电学院电子工程学院,8.2 间断检测,一、点检测,用空域的高通滤波器来检测孤立点,R = (-1 * 8 * 8 + 128 * 8) / 9 = (120 * 8) / 9 = 960 / 9 = 106 设 ：阈值：

4、T = 64 R T,return,西安邮电学院电子工程学院,8.2 间断检测,二、线检测,通过比较典型模板的计算值，确定一个点是否在某个方向的线上,西安邮电学院电子工程学院,8.2 间断检测,用4种模板分别计算： R水平 = -6 + 30 = 24 R45度 = -14 + 14 = 0 R垂直 = -14 + 14 = 0 R135度 = -14 + 14 = 0,依次计算4个方向的典型检测模板，得到Ri i=1,2,3,4 如 |Ri| |Rj| j i， 那么这个点被称为在方向上更接近模板i 所代表的线。,西安邮电学院电子工程学院,8.2 间断检测,return,西安邮电学院电子工程

5、学院,原图,用-45度线检测,门限处理结果,8.2 间断检测,三、边缘检测 1、边界的定义是两个具有相对不同灰度值特性的区域的边界线 适用于假定问题中的区域是非常类似的，两个区域之间的过渡，仅仅根据灰度的不连续性便可确定； 不适用于当假定不成立时，阈值分割技术一般来说比边缘检测更加实用。,西安邮电学院电子工程学院,8.2 间断检测,光学系统、取样和采集的不完善性使得边缘模糊，模拟为具有“类斜面”的剖面，斜坡部分与边缘模糊程度成比例； 边缘的点是包含于斜坡中的任意点，边缘宽度取决于斜坡长度； 模糊的边缘使其变粗，清晰的边缘使其变细。,西安邮电学院电子工程学院,8.2 间断检测,结论： 一阶导数可

6、用于检测点是否边缘的点即是否在斜坡上； 二阶导数的符号用于判断一个边缘像素是在边缘亮的一边还是暗的一边。,西安邮电学院电子工程学院,8.2 间断检测,2、在有噪声的边缘附近的一阶和二阶导数性质： 二阶导数对于噪声更为敏感； 一阶导数最大用梯度计算； 二阶导数为0拉氏算子。,西安邮电学院电子工程学院,8.2 间断检测,函数f(x,y)在(x,y)处的梯度为一个向量：,计算这个向量大小：,近似为:f |Gx| + |Gy|,3、梯度算子,西安邮电学院电子工程学院,8.2 间断检测,简化实现方法： Roberts交叉梯度算子：,为22模板,Roberts,Prewitt,西安邮电学院电子工程学院,S

7、obel,8.2 间断检测,对角线方向Prewitt,西安邮电学院电子工程学院,对角线Sobel,8.2 间断检测,西安邮电学院电子工程学院,实例：梯度和它的分量说明,原图,|Gx|,|Gy|,|Gx|+ |Gy|,8.2 间断检测,原图经55均值滤波器平滑后进行梯度处理： 减少墙砖对于图像细节的影响； 但边缘响应均因为取均值而被消弱了。,西安邮电学院电子工程学院,8.2 间断检测,使用改进的对角(Sobel)模板，看出对角响应很明显,西安邮电学院电子工程学院,8.2 间断检测,4、拉普拉斯算子,实际：,或：,对分别以90和45为增量的旋转变换，是各向同性的。,西安邮电学院电子工程学院,8.2

8、 间断检测,5、LoG算子,拉普拉斯算子不直接用于边缘检测 对噪声敏感； 幅值产生双边缘； 不能检测边缘的方向。 高斯型拉普拉斯算子（Laplacian of a Gaussian, LoG）,高斯函数：,是标准差。以此作滤波函数（作卷积）,西安邮电学院电子工程学院,8.2 间断检测,使用高斯函数进行平滑； 使用拉普拉斯算子提供一幅 用零交叉定边缘位置的图像。,西安邮电学院电子工程学院,8.2 间断检测,零交叉在正负值之间发生,零交叉点图像中的边缘比梯度边缘细； 边缘由来自许多闭合环的零交叉点决定； 计算相当复杂； 抑制噪声、反干扰性,实例：通过零交叉寻找边缘,return,西安邮电学院电子工

9、程学院,8.3 边缘连接和边界检测,一、局部处理 1、边缘连接的意义 由于噪音的原因，边界的特征很少能够被完整地描述，在亮度不一致的地方会中断； 典型的边缘检测算法后总跟随着连接过程和其它边界检测过程，用来归整边像素，成为有意义的边缘。 2、连接处理的原理 对做过边检测的图象的每个点(x,y)的特性进行分析； 分析在一个小的邻域（33或55）中进行； 所有相似的点被连接，形成一个享有共同特性象素的边界； 用比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边。,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,|f (x,y) f (x0 ,y0)| E判断其是否与邻域内的点(x,y)

10、相似 | (x,y) (x0 ,y0)| A判断其是否与邻域内的点(x,y)的方向角相似 当梯度值和方向角都是相似的，则点(x0 ,y0)，与边点界(x,y)是连接的。,点(x0 ,y0),点(x,y),西安邮电学院电子工程学院,8.3 边缘连接和边界检测,3、局部连接算法 设定A、T的阈值大小，确定邻域的大小； 对图像上每一个像素的邻域点进行分析，判断是否需要连接； 记录像素连接的情况，另开一个空间，给不同的边以不同的标记； 最后，删除孤立线段，连接断开的线段。,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,实例分析：基于局部处理的边缘点连接,西安邮电学院电子工程学院,8.3 边缘连

11、接和边界检测,二、通过霍夫变换进行整体处理 1、Hough变换问题的提出 在找出边界点集之后，需要连接，形成完整的边界图形描述,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,2、目的：检测图像中某些给定形状的曲线并用参数方程描绘。较少受曲线中断点的影响 3、思想：Hough变换是对图像进行坐标变换，使之在另一个坐标空间的特定位置出现峰值 4、原理：点-线的对偶性（duality）,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,a,b,A(a,b),图像空间共线点对应参数空间相交的线； 参数空间相交于同一点的所有直线在图像空间都有共线的点与之对应； 由此，当给定图像空间的一些边缘

12、点，就可通过hough变换确定连接这些点的直线方程； hough变换把图像空间的直线检测转换为参数空间的点检测。,点-线对偶性,西安邮电学院电子工程学院,5、Hough变换的基本思想 对于边界上的n个点的点集，找出共线的点集和直线方程； 对于任意两点的直线方程：y = ax + b，构造一个参数a，b的平面； 过xy平面一个点(x1,y1)的所有直线，构成参数ab平面上的一条直线b=-x1a+y1 ，同理过xy平面点(x2,y2)的所有直线，构成参数ab平面上的另一条直线b=-x2a+y2； 如果点(x1,y1)与点(x2,y2)共线，那么这两点在参数ab平面上的直线将有一个交点(a0,b0)

13、 ； xy平面上的任意一条直线y = a0 x + b0 ，对应在参数ab平面上都有一个点(a0,b0)； 在参数ab平面上相交直线最多的点，对应的xy平面上的直线就是我们的解。,b=-x2a+y2,b=-x1a+y1,8.3 边缘连接和边界检测,参数空间点检测通过在参数空间进一步分割为累加器单元，并进行简单的累加统计来完成； 参数空间建立一个2-D的累加数组A(a,b)，取值范围amin, amax,bmin, bmax； 开始数组置零，对每一个图像空间中给定边缘点，让a取遍a轴所有可能的值，并计算对应的b； 根据a和b的值对A(a,b)进行累加，结束后根据A(a,b)值可知多少点共线； 即

14、A(a,b)的值就是在(a,b)处共线的点个数，(a,b)值给出了直线方程的参数。,累加数组的尺寸极大影响计算的精确度和计算量,西安邮电学院电子工程学院,6、使用极坐标直线方程 由于垂直直线a为无穷大而使计算量大增，改用极坐标形式：xcos + ysin = ； 参数平面为 , （取值有限），对应不是直线而是正弦曲线，点-直线对偶性变为点-正弦曲线对偶性； 使用交点累加器，或交点统计直方图，找出相交正弦曲线最多的参数空间的点（ , ）； 然后找出该点对应的xy平面的直线线段，累加数组的数值即为共线点的个数。,8.3 边缘连接和边界检测,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,基本

15、策略：根据图像空间的点在参数空间计算符合对偶性的参数点的可能轨迹并累加参数点的数量,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,Hough变换的扩展检测高阶曲线 Hough变换不只对直线，也可以用于检测满足g(v,c)=0的各类曲线并连接曲线上的点； 以圆为例，需要三个参数的参数空间； （x c1）2 + (y - c2)2 = c32； 霍夫变换复杂性与函数表达式坐标和系数数目成比例,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,基于hough变换的边缘连接方法： 计算图像梯度设门限二值图像； 在参数平面确定再细分； 对像素高度集中的地方检验其累加器单元数目； 检验选择的单

16、元中像素之间的关系（主要针对连续性，若一点和它最接近的相邻点之间的距离超过某一门限，认为点不连续）。,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,航拍红外线图两个机库一条跑道,利用Sobel算子的梯度图,判为相连像素集合准则：像素属于3个最高计数累加器单元之一；没有长于5像素间隙,西安邮电学院电子工程学院,8.3 边缘连接和边界检测,return,西安邮电学院电子工程学院,8.4 门限处理,门限（阈值化）算法分类方法 （1）根据分割过程是否需要人工干预，分为交互的与自动的； （2）根据门限的不同作用范围，分为全局的与局部的； （3）根据门限与灰度分布的关系，分为基于灰度分布的一阶统计

17、和基于灰度分布的二阶统计； （4）根据算法的处理策略，分为迭代的与非迭代的。 （5）根据算法是否需要分割估计，分为有监督的和无监督的。,西安邮电学院电子工程学院,8.4 门限处理,一、 基础,单门限 f(x,y)T,对象点； 否则，背景点,多门限 f(x,y)T2，一个对象； T1f(x,y)T2,另一个对象； f(x,y)T1，背景,边界上的点的灰度值出现次数较少谷,西安邮电学院电子工程学院,8.4 门限处理,阈值化算法的统一模型和基本分类,西安邮电学院电子工程学院,8.4 门限处理,基于各灰度值的门限门限根据f(x,y)来选取（门限为全局的）； 基于区域性质的门限门限根据f(x,y)和p(

18、x,y)来选取（门限为局部的） ； 基于坐标位置的门限门限根据f(x,y)、p(x,y)和x,y来选取（门限为局部的、动态的或自适应的） ； 基于目标形状的门限门限根据f(x,y)、x,y和s(x,y)来选取。,西安邮电学院电子工程学院,8.4 门限处理,二、 亮度的作用,讨论亮度对门限处理的影响，尤其是对全局门限的影响； f(x,y)=i(x,y)r(x,y) r(x,y) ：反射率分量 i(x,y) ：亮度分量,对象和背景的反射性质使它们易于分离； 亮度条件不好（照度不均）图像难于分离。,西安邮电学院电子工程学院,8.4 门限处理,z(x,y)的直方图是i(x,y)和r(x,y)的直方图卷

19、积，如果i(x,y)为常数（均匀照明），则i(x,y)为常数，其直方图是一个尖峰（脉冲），函数与任何函数卷积，结果不变（直方图不变）； 若i(x,y)有稍宽的直方图（不均匀亮度产生） ，卷积后直方图发生变化，失真程度取决于i(x,y)直方图宽度，宽度取决于亮度函数的不均匀性；,西安邮电学院电子工程学院,8.4 门限处理,的门限为T， 门限为 。,补偿不均匀性的方法是：将亮度图投射到一均匀白色反射面上，生成一幅图像：,西安邮电学院电子工程学院,8.4 门限处理,三、基本全局门限,门限是灰度级最大值和最小值得中间值； 适用于亮度可控环境中，如工业检测,西安邮电学院电子工程学院,8.4 门限处理,自

20、动门限的获得： 选一个T的初值； 用T分割图像，分成了两类像素 对区域G1, G2计算平均灰度 新门限： 重复，直至逐次迭代所得的T值之差小于预先定义的T0 背景和对象在图像中占据面积相近时，取平均灰度值为初始值； 对象所占面积小于背景一方在直方图中占主导，初值取灰度中间值。,西安邮电学院电子工程学院,8.4 门限处理,西安邮电学院电子工程学院,8.4 门限处理,四、基本自适应门限 不均匀亮度使单一全局门限失效； 解决办法：图像细分为子图，对不同子图使用不同门限分割； 关键：如何将图像进行细分；如何为得到的子图估计门限值； 用于每个像素的门限取决于像素在子图中的位置，这类属于自适应门限处理。,

21、西安邮电学院电子工程学院,8.4 门限处理,减少亮度不均匀影响的方法图像分为子图，子图内亮度近似均匀,西安邮电学院电子工程学院,8.4 门限处理,进行适当分割的子图，直方图明显双峰；,进行不适当分割的子图，直方图接近单峰；,进一步细分，其中更小的子图直方图具有双峰,西安邮电学院电子工程学院,8.4 门限处理,转变成机器学习中的分类问题: 类内方差最小, 类间方差最大.,思想：若图像与背景的灰度有部分交错。这时采用一个全局阈值进行分割总会产生一定的误差。 方法：尽可能减少误分割。 假设背景和目标的灰度都符合高斯分布. (如果不依赖这种假设怎么办?) 最优阈值讨论 若背景与目标区域大小相等，则最优

22、阈值等于背景与目标均值的中值；,五、最佳全局和自适应门限,西安邮电学院电子工程学院,8.4 门限处理,对象类像素出现概率 背景像素的概率,也可叫先验概率，,西安邮电学院电子工程学院,8.4 门限处理,主要目的是选择一个值，使得在决定一个给定的像素是属于对象还是背景时的平均出错率降至最小。 将背景误判为对象点的概率为：,同样将一个对象误判为背景点的概率：,出错率的整体概率：,西安邮电学院电子工程学院,8.4 门限处理,找到出错最少的门限，将E(T)对T求微分，并令微分为零，得：,如果 最佳门限位于曲线 与 的交点。,实际中估计密度有时并不可行，此时可以利用参数比较 得到密度，常使用高斯密度（均值

23、和方差）：,为均值， 为方差。可能得：,西安邮电学院电子工程学院,8.4 门限处理,有2个可能的解，要得到最佳解需2个门限，如果： ，则只用单一门限：,如果进一步 则最佳门限是均值的平均数， 也是一样，还可以利用直方图，使均方误差最小来估计图像复合灰度PDF函数的各个参数。,西安邮电学院电子工程学院,8.4 门限处理,在心血管造影照片中自动描绘心脏的左心室边界,每个像素取对数减少由辐射吸收引起的指数效应； 注入造影剂后的图像减去之前的图像以去除两幅图中脊柱； 将几张造影片相加以减少随机噪声。,预处理：,西安邮电学院电子工程学院,8.4 门限处理,将整幅图像分成一系列互相有50%重叠的子图像；

24、得到每个子图像的直方图； 检测各子图像是否为双峰，若是则采用最优门限法，否则不进行处理； 根据对直方图为双峰的子图得到的门限通过插值得到所有子图像的门限； 根据各子图像的门限，然后对图像进行分割。,西安邮电学院电子工程学院,8.4 门限处理,六、利用边界特性改进直方图和局部门限处理 如果直方图的各个波峰很高、很窄、对称，且被很深的波谷分开时，有利于选择门限; 一种改进方法（改善直方图的波峰形状）为：绘制直方图时只考虑那些位于对象和背景之间边缘上的或在边缘附近的像素，从而使直方图对于对象和背景大小的依赖性变小了; 用微分算子处理图像，使图像只剩下边界中心两边的值。,西安邮电学院电子工程学院,8.

25、4 门限处理,这种方法有以下优点： 在前景和背景所占区域面积差别很大时，不会使一个灰度级的波峰过高，而另一个过低； 边缘上的点在区域内还是区域外的概率是大体相等的，因此可以改进直方图波峰的对称性； 基于梯度和拉普拉斯算子选择的像素，可以加深直方图波峰间的波谷即增加波峰的高度。,这种方法的主要问题是隐含对象和背景之间的边缘为已知这一假设,西安邮电学院电子工程学院,8.4 门限处理,算法的实现： 对图像进行梯度计算，得到梯度图像； 得到梯度值最大的那一部分（比如10%）的像素直方图； 通过直方图的谷底，得到门限T。 如果用拉普拉斯算子，不通过直方图，直接得到门限，方法是使用拉普拉斯算子过滤图像，将

26、0跨越点对应的灰度值为门限T。,西安邮电学院电子工程学院,8.4 门限处理,根据梯度或拉氏算子，选择像素构成直方图。根据下式生成3级图像：,T为门限，0，+，表示任意3个不同灰度级。 包含对象的一条水平或垂直扫描线具有如下结构： （）（，+）（0或+）（+，）（）,对象内部 标记0或+,从亮背景过渡到暗对象,从对象反向过渡到背景,西安邮电学院电子工程学院,8.4 门限处理,return,西安邮电学院电子工程学院,8.5 基于区域的分割,一、 基本公式,基本概念 目标：将区域R划分为若干个子区域R1,R2,Rn，这些子区域满足5个条件： 完备性： 连通性：每个Ri都是一个连通区域 独立性：对于任

27、意ij，RiRj= 单一性：每个区域内的灰度级相等，P（Ri）= TRUE，i = 1,2,n 互斥性：任两个区域的灰度级不等，P（RiRj）= FALSE，ij,西安邮电学院电子工程学院,8.5 基于区域的分割,二、区域生长 边界跟踪 目的：要求目标轮廓边界细、连续无间断、准确。 边界跟踪（boundary tracking）或边缘点连接（edge point linking）的思想是：由图像梯度出发，依次搜索并连接相邻边缘点从而逐步检测出边界。 区域生长 目的：从单个象素出发，逐渐合并以形成所需的分割区域； 思想：将具有相似性质的象素集合起来构成区域。 与边界跟踪不同，边界跟踪基于梯度得到

28、的是边界；而区域生长基于灰度得到的是区域。,西安邮电学院电子工程学院,8.5 基于区域的分割,像素集合的区域生长 算法实现： 1）根据图像的不同应用选择一个或一组种子，它或者是最亮或最暗的点，或者是位于点簇中心的点； 2）选择一个描述符（条件）； 3）从该种子开始向外扩张，首先把种子像素加入结果集合，然后不断将与集合中各个像素连通、且满足描述符的像素加入集合； 4）上一过程进行到不再有满足条件的新结点加入集合为止。,西安邮电学院电子工程学院,8.5 基于区域的分割,区域A,区域B,种子像素,种子像素,西安邮电学院电子工程学院,8.5 基于区域的分割,西安邮电学院电子工程学院,8.5 基于区域的

29、分割,区域生长应解决三个问题： 选择或确定一组能正确代表所需区域的种子象素； 确定在生长过程中能够将相邻象素包括进来的生长准则； 确定在生长过程中停止的条件或准则。,西安邮电学院电子工程学院,8.5 基于区域的分割,确定种子象素 可以将灰度呈现聚类的情况，则将聚类中心的象素取为种子象素。 基于区域灰度差的生长准则,西安邮电学院电子工程学院,8.5 基于区域的分割,基于区域内灰度分布统计性质的生长准则,西安邮电学院电子工程学院,8.5 基于区域的分割,西安邮电学院电子工程学院,基于区域形状的生长准则,8.5 基于区域的分割,区域生长在焊缝检测中的应用,65,多峰分布直方图更适合于区域方法分割,西安邮电学院电子工程学院,8.5 基于区域的分割,算法实现： 对图像中灰度级不同的区域，均分为四个子区域； 如果相邻的子区域所有像素的灰度级相同，则将其合并； 反复进行上两步操作，直至不再有新的分裂与合并为止。,三、区域分离与合并,西安邮电学院电子工程学院,8.5 基于区域的分割,R1,R2,R3,R41,R42,R43,R44,R,R1,R2,R3,R4,R41,R42,R43,R44,西安邮电学院电子工程学院,8.5 基于区域的分割,实际应用中还可作以下修改： P(