第七章 图像分割技术

1、1数字图像处理张鑫张鑫第2页第3页第4页n图像分割是把图像分解成构成的部件和对象的过程图像分割是把图像分解成构成的部件和对象的过程n把焦点放在增强感兴趣对象把焦点放在增强感兴趣对象 汽车牌照汽车牌照n排除不相干图像成分：排除不相干图像成分：非矩形区域非矩形区域第5页樱桃、苹果、柠檬、葡萄第6页第7页主要内容：主要内容：n分割定义和方法分类分割定义和方法分类n边缘检测边缘检测n轮廓跟踪轮廓跟踪n哈夫变换哈夫变换n阈值分割阈值分割n区域生长区域生长第8页n地位地位图图像像第9页n图像分割定义图像分割定义 按照一定的规则将一幅图像分成各具特性的区域，并提取按照一定的规则将一幅图像分成各具特性的区域，

2、并提取出感兴趣目标的技术和过程出感兴趣目标的技术和过程 其它名称：其它名称： 目标轮廓技术（目标轮廓技术（object delineation ） 目标检测（目标检测（target detection） 阈值化技术（阈值化技术（thresholding） 图像处理到图像分析的关键步骤图像处理到图像分析的关键步骤7.1 分割定义和方法分类分割定义和方法分类第11页n形式化定义形式化定义 令集合令集合R代表整个图像区域，对代表整个图像区域，对R的分割可看作将的分割可看作将R分成分成若干个满足以下条件的非空子集（子区域）若干个满足以下条件的非空子集（子区域） R1， R2， R3， Rn:是连通的区

3、域对有对有对有和对所有的ijiijiniiRniRRPjiRPniRRjijiRR,.,2 , 1)5(false)(,)4(true)(,.,2 , 1)3(,)2() 1 (1第12页n分类分类连续性与处理策略连续性与处理策略n连续性：连续性：n不连续性：边界不连续性：边界n相似性：区域相似性：区域n处理策略：处理策略：早期处理结果是否影响后面的处理早期处理结果是否影响后面的处理n并行：不并行：不n串行：结果被其后的处理利用串行：结果被其后的处理利用n四种方法四种方法n并行边界；串行边界；串行区域；并行区域并行边界；串行边界；串行区域；并行区域第13页n问题问题不同种类的图像、不同的应用要

4、求所要求提取的区域是不相不同种类的图像、不同的应用要求所要求提取的区域是不相同的。分割方法也不同，同的。分割方法也不同，目前没有普遍适用的最优方法目前没有普遍适用的最优方法。人的视觉系统对图像分割是相当有效的，但十分复杂，且分人的视觉系统对图像分割是相当有效的，但十分复杂，且分割方法原理和模型都未搞清楚。这是一个很值得研究的问题割方法原理和模型都未搞清楚。这是一个很值得研究的问题。n研究层次研究层次图像分割算法图像分割算法图像分割算法的评价和比较图像分割算法的评价和比较对分割算法的评价方法和评价准则的系统研究对分割算法的评价方法和评价准则的系统研究第14页7.2 边缘检测边缘检测第15页n1、

5、概述、概述物体的物体的边缘边缘是以图像局部特性的不连续性的形式出现的是以图像局部特性的不连续性的形式出现的，从本质上说，边缘意味着一个区域的终结和另一个区，从本质上说，边缘意味着一个区域的终结和另一个区域的开始。域的开始。图像边缘信息在图像分析和人的视觉中都是十分重要的图像边缘信息在图像分析和人的视觉中都是十分重要的，是图像识别中提取图像特征的一个重要属性。，是图像识别中提取图像特征的一个重要属性。7.2 边缘检测边缘检测w 边缘检测原理边缘检测原理 边缘是灰度值不连续的结果利用求导数检测不连续一般常用一阶和二阶导数3种边缘剖面： 阶梯状； 脉冲状； 屋顶状 边缘检测 （1）基础）基础 A、两

6、种边缘模型、两种边缘模型 B、一阶导数和二阶导数、一阶导数和二阶导数 特点1、一阶导数：在斜坡上，导数值、一阶导数：在斜坡上，导数值 为正，在平坦区为零。为正，在平坦区为零。2、二阶导数：在跃变点，一正一、二阶导数：在跃变点，一正一 负，其他部分为零。（过零点）负，其他部分为零。（过零点）第19页 阶梯状（ 阶跃型）阶跃型） 脉冲状（凸缘型脉冲状（凸缘型 ）房顶型）房顶型n边缘导数边缘导数在数字图像中应用在数字图像中应用差分差分代替导数运算。代替导数运算。第20页n导数导数 二维连续函数二维连续函数f(x, y) 偏导数偏导数 图像：二维离散函数图像：二维离散函数f(x, y) 导数转换为微分

7、导数转换为微分yyxffxyxffyx/ ),(/ ),() 1,(),(),(), 1(),(),(yxfyxfyxfyxfyxfyxfyx第21页n例例254254254254011253253255255000254254253254111255255255255100), 1(),(),(yxfyxffyxGx00025410020255000112530000025410注意：原图像第注意：原图像第1 1列像素无微分列像素无微分),(yxG),(yxf第22页n微分方法微分方法纵向微分运算纵向微分运算 相减的结果反映了原图像灰度变化率的大小相减的结果反映了原图像灰度变化率的大小 x

8、f( x, y) = f( x, y) - f (x-1, y) 原图像中像素灰度值不变的区域，相减的结果为原图像中像素灰度值不变的区域，相减的结果为0 原图像中像素灰度值变化剧烈的区域，相减的结果值较大原图像中像素灰度值变化剧烈的区域，相减的结果值较大 如果用相减的值的绝对值作为灰度值，则变化小的像素为黑，反之为如果用相减的值的绝对值作为灰度值，则变化小的像素为黑，反之为白。白。 图像垂直边缘得到增强图像垂直边缘得到增强 模板（卷积核）模板（卷积核）000011000第23页n微分方法微分方法n横向微分运算横向微分运算 相减的结果反映了原图像亮度变化率的大小相减的结果反映了原图像亮度变化率的

9、大小 y f( x, y) = f( x, y) - f (x, y-1) 图像水平边缘得到增强图像水平边缘得到增强 模板（卷积核）模板（卷积核）000010010第24页n微分方法微分方法(3)双向一次微分运算双向一次微分运算 22), 1(),() 1,(),(),(yxfyxfyxfyxfyxg模板（卷积核）模板（卷积核）000011000000010010第25页n例例 (a)原图原图 (b) (c) (d) |,|yxfx |,|yxfy |,|,|yxfyxfyx 第26页n实例实例f(x,y)纵向纵向双向双向横向横向第27页n2、梯度算子、梯度算子梯度是图像处理中最为常用的一阶微

10、分方法。梯度是图像处理中最为常用的一阶微分方法。图像函数图像函数 在点在点 的梯度幅值为的梯度幅值为其方向为其方向为22 yfxf yxf, yx,xfyfarctg ( , )xyfGxf x yfGy对对Gx和和Gy各用各用1个个模板，需要模板，需要2个模板个模板组合起来构成一个梯组合起来构成一个梯度算子。度算子。第28页n梯度梯度 f( x, y)的梯度定义为的梯度定义为 离散图像离散图像P7322),(),(),(yyxfxyxfyxfG221,(),(), 1(),(),(yxfyxfyxfyxfyxfG) 1,(),(), 1(),(),(yxfyxfyxfyxfyxfG或或) 1

11、,(),(, ), 1(),(max),(yxfyxfyxfyxfyxfG或或第29页第30页n锐化方法锐化方法（1）直接利用像素梯度值作为处理后的灰度值）直接利用像素梯度值作为处理后的灰度值 均匀区域灰度值减小，和微分效果相似均匀区域灰度值减小，和微分效果相似（2）辅以阈值）辅以阈值其它TyxfGyxfyxfGyxG),(),(100),(),(第31页n锐化方法锐化方法（3）赋边缘点特定的灰度级）赋边缘点特定的灰度级 将边缘的灰度值统一化，可以使边缘更加清晰明显。将边缘的灰度值统一化，可以使边缘更加清晰明显。该方法基本上不破坏图像的背景，又可以根据需要增强该方法基本上不破坏图像的背景，又可

12、以根据需要增强边缘。边缘。其它TyxfGyxfLyxGa),(),(),(第32页n锐化方法锐化方法（4）由梯度二值化图像）由梯度二值化图像其它TyxfGLLyxGba),(),(可以令可以令La=0，Lb=255第33页常用梯度算子常用梯度算子 Roberts Prewitt Sobel 高斯拉普拉斯算子高斯拉普拉斯算子第34页（1）Roberts算子算子 方法：计算对角方向相邻的两个像素灰度之差。方法：计算对角方向相邻的两个像素灰度之差。 特点：边缘定位准，但对噪声敏感。特点：边缘定位准，但对噪声敏感。) 1,(), 1() 1, 1(),(),(yxfyxfyxfyxfyxG100101

13、10第35页111000-1-1-1-101-101-101第36页3）Sobel梯度算子梯度算子 -1 1 -2 2 -1 1 1 2 1 -1 -2 1第37页用用Sobel梯度算子作用于图像中所得的结果（设范数为梯度算子作用于图像中所得的结果（设范数为1）p213111231213第38页l 3、拉普拉斯（、拉普拉斯（ Laplacian ）算子）算子二阶微分算子二阶微分算子表示表示 22222,yyxfxyxfyxf 0 -1 0 -1 4 -1 0-1 0 -1 -1 -1 -1 8 -1 -1 -1 -1改进改进第39页例：比较例：比较Roberts算子算子Sobel算子算子高斯高

14、斯- -拉普拉普拉斯算子拉斯算子第40页原 始 图 像滤 波 后 图 像原 始 图 像滤 波 后 图 像原 始 图 像滤 波 后 图 像原 始 图 像滤 波 后 图 像第41页nP190 图图7.2.3n 图图7.2.4第42页nMatLab函数函数 J=edge(I, type)Type取取roberts、sobel、log等等 例子：例子： I=imread(rice.tif); J1=edge(I,roberts); J2=edge(I,sobel); J3=edge(I,log); subplot(2,2,1),imshow(I); subplot(2,2,2),imshow(J1);

15、 subplot(2,2,3),imshow(J2); subplot(2,2,4),imshow(J3);第43页 canny法法*比较新的边缘检测算子，具有良好的边缘检测性比较新的边缘检测算子，具有良好的边缘检测性能能如如 I=imread(rice.tif); J4=edge(I, canny); imshow(J4);第44页n问题：问题：在较大噪声的场合，由于微分运算会起到放大噪声的作在较大噪声的场合，由于微分运算会起到放大噪声的作用，因此，用，因此，梯度算子和拉普拉斯算子对噪声比较敏感梯度算子和拉普拉斯算子对噪声比较敏感。n二种改进的方法二种改进的方法（1 1）对图像先进行适当的平

16、滑、以抑制噪声，然后再进行求微对图像先进行适当的平滑、以抑制噪声，然后再进行求微分分（2 2）先对图像进行局部线性拟合，然后再用拟合所得的光滑函）先对图像进行局部线性拟合，然后再用拟合所得的光滑函数的导数来替代直接的数值导数，如曲面拟合方法数的导数来替代直接的数值导数，如曲面拟合方法 C、噪声对一阶导数和二阶导数的影响、噪声对一阶导数和二阶导数的影响噪声对一阶和二阶导数噪声对一阶和二阶导数都有影响，尤其对二阶都有影响，尤其对二阶导数影响较大，因此，导数影响较大，因此，在检测边缘前应该考虑在检测边缘前应该考虑平滑处理。平滑处理。第46页算子比较算子比较 演示效果演示效果n例题讲解例题讲解n设一幅

17、设一幅7x7大小的二值图像大小的二值图像中心处有一个值为中心处有一个值为0的的3x3大大小的正方形区域，其余区域小的正方形区域，其余区域的值为的值为1。n1）使用）使用Sobel算子计算这幅算子计算这幅图的梯度。图的梯度。n2）使用）使用Laplacian算子计算算子计算梯度。梯度。1111111111111111000111100011110001111111111111111第48页012045001145020454005466006656546545-1-3-1000131-101-303-1017.3 轮廓跟踪轮廓跟踪轮廓跟踪：边界跟踪(boundary tracking) 由于噪声

18、的原因，由于噪声的原因，边缘算子得到的边缘往往是孤立的或分段不连续的。且有些是真正的边界像素，有些是噪声点 ； 因此，边检测算法后面总要跟随着连接过程和其它因此，边检测算法后面总要跟随着连接过程和其它边界检测过程，用来归整边边界检测过程，用来归整边缘像素，使之成为有意义像素，使之成为有意义的边；的边； 目的是将边缘象素连接起来组成区域的封闭边界，目的是将边缘象素连接起来组成区域的封闭边界，使图像中不同区域分开，以便下一步分析。使图像中不同区域分开，以便下一步分析。轮廓跟踪的目的：轮廓跟踪也称边缘点连接，是指从梯度图中一个边界点出发，依次通过对前一个边界点的考察而逐步确定出下一个新的边界点，并将

19、它们连接而逐步检测出边界的方法。 轮廓跟踪是基于梯度的图像分割方法的基础。 图像的轮廓（边界）跟踪与边缘检测是密切相关的，因为轮廓跟踪实质上就是沿着图像的外部边缘“走”一圈。 轮廓跟踪基本概念： 如何确定边缘像素的相似性？如何确定边缘像素的相似性？ 边缘像素梯度算子的响应强度（梯度值边缘像素梯度算子的响应强度（梯度值） 边缘像素梯度算子的方向边缘像素梯度算子的方向轮廓跟踪的依据：边界象素梯度的相似性 确定边缘点的依据 轮廓跟踪过程大致可分以下三步：轮廓跟踪过程大致可分以下三步：(1) 确定轮廓跟踪的起始边界点。根据算法的不同，确定轮廓跟踪的起始边界点。根据算法的不同，选择一个或多个边缘点作为搜

20、索的起始边缘点；选择一个或多个边缘点作为搜索的起始边缘点；(2) 确定一种合适的搜索策略，在已发现的边界点基确定一种合适的搜索策略，在已发现的边界点基础上确定新的边界点；础上确定新的边界点；(3) 制定出终止搜寻的准则制定出终止搜寻的准则(一般是将形成闭合边界一般是将形成闭合边界作为终止条件作为终止条件)，在满足终止条件时结束搜寻。，在满足终止条件时结束搜寻。轮廓跟踪过程： 轮廓跟踪方法一1:2:;3:84:5:46:StepStepPStepPCStepCPCStepCCStepStep给定一幅只有一个目标的图象，先计算其梯度图；从梯度图中选取梯度最大的点作为边界跟踪的第一个起点在 的邻域中

21、选梯度最大的点作为第二个边界点 ；以 为中心，根据 的位置，在阴影中选下一个边界点；以为中心，根据 的位置，重复；直至满足终止条件。P PC CP PC CC CC CC CC CC CC CP PP PP PP PP PP P第一步，根据光栅扫描，发现灰度为1的像素p0。 第二步，反时针方向研究像素p0的8-邻接像素,由此发现像素p1。 反复以上操作，以p0, p1, pn的顺序跟踪8-邻接的边界像素。一直到pk= p0时终止搜索。00000010000000000000100101010110001000011010000000000000000101011000001001000001

22、p0p1p2p3p4p5p6p7p8p9p10p11p12p13p14p15p16p17轮廓跟踪算法二第55页7.4 哈夫变换哈夫变换第56页Hough 变换变换 Hough变换问题的提出问题的提出 在找出边界点集之后，需要连接，形成完整的在找出边界点集之后，需要连接，形成完整的边界图形描述。边界图形描述。第58页 在在xy平面内的一条直线可以表示为：平面内的一条直线可以表示为： 将将p、q作为变量，作为变量，pq平面内直线可以表示为：平面内直线可以表示为： 如果点如果点(x1,y1)与点与点(x2,y2)共线，那么这两点在参数共线，那么这两点在参数pq平面上的直线将有一个交点平面上的直线将有

23、一个交点 在参数在参数pq平面上相交直线最多的点，对应的平面上相交直线最多的点，对应的xy平面平面上的直线就是我们的解上的直线就是我们的解 这种从线到点的变换就是这种从线到点的变换就是Hough变换变换pqppqqqpxyypxqy yx x(x1,y1)(x2,y2)第59页nHough变换的基本思想变换的基本思想pq qA A图像空间中共线的点对应在参数空间里相交的线。在参数空间中相交于同一个图像空间中共线的点对应在参数空间里相交的线。在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。（点线对偶性）点的所有直线在图像空间里都有共线的点与之对应。（点线对偶性）哈夫变换根据

24、这些关系把在图像空间中的检测问题转换到参数空间里，哈夫变换根据这些关系把在图像空间中的检测问题转换到参数空间里，通过在参数空间里进行简单的累加统计完成检测任务。通过在参数空间里进行简单的累加统计完成检测任务。7.4 哈夫变换w 点-线对偶性第61页原图Hough变换进行边缘检测7.4 哈夫变换w 计算步骤(1)对参数空间中参数对参数空间中参数p和和q的可能取值范围的可能取值范围进行量化，根据量化结果构造一个累加数组进行量化，根据量化结果构造一个累加数组A(pmin: pmax , qmin: qmax)，并初始化为零，并初始化为零(2)对每个对每个XY空间中的给定点让空间中的给定点让p取遍所有

25、可取遍所有可能值，计算出能值，计算出q，根据，根据p和和q的值累加的值累加A：A(p, q) = A(p, q) + 1(3)根据累加后根据累加后A中最大值所对应的中最大值所对应的p和和q，定，定出出XY中的一条直线，中的一条直线，A中的最大值代表了在此直线上中的最大值代表了在此直线上给定点的数目，满足直线方程的点就是共线的给定点的数目，满足直线方程的点就是共线的 7.4 哈夫变换w 检测圆周（3）实例）实例第66页7.5 阈值分割阈值分割 第67页1 , , 0 , f x yTg x yf x yT如果如果第68页 利用图像中要提取的目标物与其背景在利用图像中要提取的目标物与其背景在灰度特

26、性上的差灰度特性上的差异异，把图像视为具有不同灰度级的两类区域，把图像视为具有不同灰度级的两类区域( (目标和背景目标和背景) )的的组合，选取一个合适的阈值以确定图像中每一个像素点应组合，选取一个合适的阈值以确定图像中每一个像素点应该属于目标还是背景区域从而产生相应的二值图像。该属于目标还是背景区域从而产生相应的二值图像。 要从复杂的景物中分辨出目标，并将其形状完整地提取要从复杂的景物中分辨出目标，并将其形状完整地提取出来，出来，阈值的选取是阈值分割技术的关键阈值的选取是阈值分割技术的关键。如果阈值选取过。如果阈值选取过高，则过多的目标点被误认为背景；阈值选得过低，则会出高，则过多的目标点被

27、误认为背景；阈值选得过低，则会出现相反的情况。至今还未能找到一种对所有图像都能有效分现相反的情况。至今还未能找到一种对所有图像都能有效分割的阈值选取方法。割的阈值选取方法。第69页 60年代中期，年代中期，Prewitt提出了直方提出了直方图双峰法，即如果图双峰法，即如果灰度级直方图呈灰度级直方图呈明显的双峰状，则选取两峰之间的明显的双峰状，则选取两峰之间的谷底所对应的灰度级作为阈值。谷底所对应的灰度级作为阈值。 hzTz ( )0P198 例例7.5.1第70页例例第71页n设想电脑玩家手中的扑克牌，我们需要对其进行视觉上的分析设想电脑玩家手中的扑克牌，我们需要对其进行视觉上的分析原始图像阈

28、值图像第72页n如果你设置了错误的阈值，结果是很糟糕的如果你设置了错误的阈值，结果是很糟糕的太小的阈值太大的阈值第73页第74页取双峰之间的最低峪取双峰之间的最低峪第75页第76页n不均匀的光照会使单值阈值方案失效不均匀的光照会使单值阈值方案失效第77页n阈值的选取阈值的选取1、极小值点阈值、极小值点阈值2、最优阈值、最优阈值3、迭代阈值、迭代阈值第78页1、极小值点阈值、极小值点阈值( )( ) 22h zh z00zz和h（z）代表直方图）代表直方图第79页n2、最优阈值、最优阈值最优阈值最优阈值:是指使图像中目标物和背景分割错误最小的阈值。是指使图像中目标物和背景分割错误最小的阈值。第8

29、0页n假设图像中只有背景和目标两种模式，先验概率分假设图像中只有背景和目标两种模式，先验概率分别是别是p1(z)和和p2(z),均值为均值为u1和和u2。n设背景的像素点数占图像总像素的百分比为设背景的像素点数占图像总像素的百分比为P1,目标目标像素点占像素点占P2=1-P1,n混合概率密度为：混合概率密度为：nP(z)=P1p1+P2p2第81页n当选定阈值当选定阈值T时，目标像素点错划为背景像素点的概率为：时，目标像素点错划为背景像素点的概率为：TdzzpTE)()(21n把背景像素点错划为目标像素点的概率为：把背景像素点错划为目标像素点的概率为：TdzzpTE)()(12n总错误概率为：

30、总错误概率为：)()()(2112TEPTEPTEn最优阈值就是使总错误概率最小的阈值。最优阈值就是使总错误概率最小的阈值。第82页n求导，并令其等于零，得解求导，并令其等于零，得解)()()(2112TEPTEPTE)()(2211TpPTpP222221212)(222)(1121,e21zzepp）（最优阈值1221221PPln2optimalT第83页n3、迭代阈值、迭代阈值n首先选取图像灰度范围中的中值作为初始阈值首先选取图像灰度范围中的中值作为初始阈值T0（设共有（设共有L个灰度），然后按下式进行迭代：个灰度），然后按下式进行迭代：111100121LTkkLTkkTkkTkki

31、iiiihkhhkhThk是灰度值为是灰度值为k的像素个数，迭代一直进行到的像素个数，迭代一直进行到Ti+1=Ti结束。结束。第85页n基于灰度值的阈值分割方法具有计算简单、实现容基于灰度值的阈值分割方法具有计算简单、实现容易的特点，对目标和背景对比度反差较大的图像进易的特点，对目标和背景对比度反差较大的图像进行分割比较有效。行分割比较有效。n如果场景中不同部分具有不同的照明，那么即使图如果场景中不同部分具有不同的照明，那么即使图像中仅包含一个目标，也无法用一个阈值来分割图像中仅包含一个目标，也无法用一个阈值来分割图像。像。n阈值的确定主要依赖于灰度直方图，而很少考虑图阈值的确定主要依赖于灰度

32、直方图，而很少考虑图像中像素的空间位置关系，因此当背景复杂，特别像中像素的空间位置关系，因此当背景复杂，特别在同一背景上重叠出现若干个研究目标时，容易丧在同一背景上重叠出现若干个研究目标时，容易丧失部分边界信息，造成分割的不完整。失部分边界信息，造成分割的不完整。n在含有强噪声干扰时，不能取得令人满意的分割效在含有强噪声干扰时，不能取得令人满意的分割效果。果。第86页第87页第88页知识回顾：知识回顾：n分割定义和方法分类分割定义和方法分类n边缘检测边缘检测n轮廓跟踪轮廓跟踪n哈夫变换哈夫变换n阈值分割阈值分割n区域生长区域生长第89页7.9 区域生长区域生长 第90页第91页n基本思想基本思

33、想 将具有相似性质的像素集合起来构成区域将具有相似性质的像素集合起来构成区域 串行区域法串行区域法n步骤步骤 对每个需要分割的区域找一个种子像素作为生长的起点对每个需要分割的区域找一个种子像素作为生长的起点 将种子像素周围邻域中与种子像素有相同或相似性质的像将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域内素合并到种子像素所在的区域内 把新加入的像素作为新的种子继续上面的过程，直到没有把新加入的像素作为新的种子继续上面的过程，直到没有满足条件的像素加入区域满足条件的像素加入区域7.9 区域生长w 区域生长w 一种从单个像素出发，逐渐合并以形成所需分一种从单个像素出发，逐渐合并以形成所需分割区域的基于区域的串行分割技术割区域的基于区域的串行分割技术需解决三个问题：需解决三个问题： (1)选择或确定一组能正确代表所需区域的种子像选择或确定一组能正确代表所需区域的种子像素素(2)确定在生长过程中能将相邻像素包括进来的准确定在生长过程中能将相邻像素包括进来的准则则(3)制定让生长过程停止的条件或规则制定让生长过程停止的条件或规则第93页n例例7.9.1 判断准则像素与种子像素灰度差的绝对值小于阈值判断准则像素与种子像素灰度差的绝对值小于阈值T（a）给出像素值为给出像素值为1 1和和5 5的种子的种子（b）T=3，恰好分成两个