第十章 图像分割

1、1第十章第十章 图像分割图像分割信号与信息处理专业 邱涛主要参考教材 冈萨雷斯 图像信号处理（第二版）2图像分割图像分割 图像分割是图像识别和图像理解的基本前提步骤，图像分割质量的图像分割是图像识别和图像理解的基本前提步骤，图像分割质量的好坏直接影响后续图像处理的效果。简单的讲，就是在一幅图像中把目好坏直接影响后续图像处理的效果。简单的讲，就是在一幅图像中把目标从背景中分离出来，得到我们感兴趣的对象，以便于进一步处理。标从背景中分离出来，得到我们感兴趣的对象，以便于进一步处理。 3图像分割图像分割 图像分割是指将一幅图像分解为若干互不交叠的、有图像分割是指将一幅图像分解为若干互不交叠的、有意义

2、的、具有相同性质的区域。意义的、具有相同性质的区域。4 图像分割算法一般是基于亮度值的两个基本特性之一：图像分割算法一般是基于亮度值的两个基本特性之一： 不连续性不连续性和和相似性。相似性。图像分割图像分割5图像分割图像分割610.1 间隔检测间隔检测71 1229991iiiRw zw zw zw z间隔检测的通用方法：间隔检测的通用方法：使用一个模板对整幅图像进行检测。使用一个模板对整幅图像进行检测。图图10.2 110.2 1个一般的个一般的3 33 3的模板的模板10.1 间隔检测间隔检测其中zi是与模板系数i相联系的像素的灰度级。图像中任意一点的模板响应R为：810.1.1 点检测点

3、检测|RT 使用右图模板，若使用右图模板，若 则在模板中心的位置已经检测则在模板中心的位置已经检测到一个孤立点。到一个孤立点。T为非负门限。为非负门限。 点检测适用于：如果一个孤立的点与它周围的点很不点检测适用于：如果一个孤立的点与它周围的点很不同，则很容易被这类模板检测到。同，则很容易被这类模板检测到。图图10.3 10.3 点检测模板点检测模板9(a)(b)(c)(d)10.1.1 点检测点检测图 10.4 (a) 点检测模板；(b)带有通孔涡轮叶片的X射线图；(c) 点检测的结果；(d)使用上一页的公式得到的结果10线检测线检测图图10.5 10.5 线检测模板线检测模板 垂直垂直 水平

4、水平第第1 1个模板对水平方向个模板对水平方向( (一个像素宽度一个像素宽度) )的线条有很强的响应。的线条有很强的响应。第第2 2个模板对个模板对+45+45度方向线有最佳响应。度方向线有最佳响应。 10.1.2 线检测线检测11 若要检测特定方向上的线，应使用与这一方向有关若要检测特定方向上的线，应使用与这一方向有关的模板，并设置该模板的输出门限的模板，并设置该模板的输出门限T。 令令R1,R2,R3,R4分别表示图分别表示图10.5中模板的响应，如果中模板的响应，如果|Ri|Rj|，ji，则此点被认为与在模板，则此点被认为与在模板i方向上的线更相方向上的线更相关。关。10.1.2 线检测

5、线检测12(b)10.1.2 线检测线检测图10.6 线检测的说明。(a)二值电路接线模板；(b) 使用-45线检测器处理后得到的绝对值；(c)对图像(b)设置门限得到的结果(a)(b)(c)图像中所有水平和垂直的部分都被去除了，而且在-45方向上产生最强响应。1310.1.3 边缘检测边缘检测14斜坡数字边缘模型斜坡数字边缘模型理想数字边缘模型理想数字边缘模型水平线通过图像的灰度剖面图水平线通过图像的灰度剖面图水平线通过图像的灰度剖面图水平线通过图像的灰度剖面图（b）图我们可以看出：斜坡部分与边缘的模糊程度成比例）图我们可以看出：斜坡部分与边缘的模糊程度成比例10.1.3 边缘检测边缘检测(

6、a)(b)图 10.7 (a)理想的数字边缘模型；(b) 斜坡数字边缘模型1510.1.3 边缘检测边缘检测灰度剖面图灰度剖面图一阶导数一阶导数二阶导数二阶导数 一阶导数可以用于检测图像中的一个点一阶导数可以用于检测图像中的一个点是否在斜坡上。是否在斜坡上。 二阶导数的符号可以用于判断一个边缘二阶导数的符号可以用于判断一个边缘像素是在边缘亮的一边还是暗的一边。像素是在边缘亮的一边还是暗的一边。(a)(b)图 10.8 (a)由一条垂直边缘分开的两个不同区域；(b)边界附近的细节；显示了一个灰度剖面图和一阶与二阶导数的剖面图160.00.1101.0噪声对边缘检噪声对边缘检测的影响。测的影响。图

7、图 10.9 为被随机高为被随机高斯噪声（零均值，斯噪声（零均值，标准差标准差取值不同）取值不同）污染了的图像。污染了的图像。第1列第2列第3列灰度级剖面线灰度级剖面线17 基于基于一阶导数一阶导数的边缘检测算子包括的边缘检测算子包括RobertsRoberts算子、算子、SobelSobel算子、算子、PrewittPrewitt算子等。通过算子等。通过2 22 2或者或者3 33 3的模的模板作为核与图像中的每个像素点做卷积和运算，然后板作为核与图像中的每个像素点做卷积和运算，然后选取合适的阈值以提取边缘。选取合适的阈值以提取边缘。 拉普拉斯边缘检测算子拉普拉斯边缘检测算子( (LoGLo

8、G) )是基于是基于二阶导数二阶导数的边的边缘检测算子，对噪声敏感，一种改进方式是先对图像缘检测算子，对噪声敏感，一种改进方式是先对图像进行平滑处理，然后再应用二阶导数的边缘检测算子。进行平滑处理，然后再应用二阶导数的边缘检测算子。 图像边缘对应一阶导数的极大值点和二阶导数的图像边缘对应一阶导数的极大值点和二阶导数的过零点。（可以参照图过零点。（可以参照图10.8(b)10.8(b)进行理解）进行理解）10.1.3 边缘检测边缘检测18( , )xyfGxf x yfGy1222( )()xymag fGG)arctan(),(xyGGyx10.1.3 边缘检测边缘检测19梯度算子梯度算子1|

9、xyMGG222xyMGG(,)xyMMax G G20梯度算子梯度算子9586xyGZZGZZZ1Z2Z3Z4Z5Z6Z7Z8Z9-10010-110 由前面第三章的空间图像域增强3.7.3节可以知道：Z5点处的一阶偏导数的计算公式为：21梯度算子梯度算子Z1Z2Z3Z4Z5Z6Z7Z8Z9)()()()(741963321987ZZZZZZGZZZZZZGyx-1-1-1000111-101-101-10122梯度算子梯度算子789123369147(2)(2)(2)(2)xyGZZZZZZGZZZZZZZ1Z2Z3Z4Z5Z6Z7Z8Z9-1-2-1000121-101-202-1012

10、3梯度算子梯度算子011-101-1-10-1-10-10101101-2-101-2-10-2-10-102012Prewitt Sobel 图图10.10 用于检测对角边缘的用于检测对角边缘的Prewitt算子和算子和Sobel算子算子的模板。的模板。 Prewitt算子实现起算子实现起来更简单，但是来更简单，但是Sobel算算子在噪声抑制方面略胜子在噪声抑制方面略胜一筹。一筹。 (a)(b)(c)(d)24梯度算子梯度算子(a)(b)(c)(d)图 10.11 (a)原始图像；(b) |Gx|,x方向上的梯度分量；(c) |Gy|,y方向上的梯度分量；(d)梯度图像|Gx|+|Gy|通过

11、例子来说明|Gx|与|Gy|通过图(d)可以看出墙砖对于图像细节的影响仍十分显著，需对图像进行平滑处理。25梯度算子梯度算子(a)(b)(c)(d)图 10.12 与图10.11相同的图像序列，但原图(a)经过一个55的均值滤波器进行过平滑处理结果:(d)图没有了砖块的影响，只有边缘了。26梯度算子梯度算子(a)(b)图 10.13 对角边缘检测 (a)用图10.10(c)模板的结果；(b)用图10.10(d)模板的结果,两种情况的输入都是图10.12(a)。可以看出(b)比(a)在响应上要弱一些。Prewitt Sobel 27梯度算子梯度算子图 10.14 用不同算子得到的同一图像的不同梯

12、度图像我们可以通过MATLAB程序演示一下下面的结果：28拉普拉斯拉普拉斯算子算子22222( , )( , )( , )f x yf x yf x yxy2( , )(1, )(1, )( ,1)( ,1) 4 ( , )f x yf xyf xyf x yf x yf x y 29拉普拉斯拉普拉斯算子算子0101-410101111-8111130拉普拉斯拉普拉斯算子算子 拉普拉斯算子一般不以其原始形式用于边缘检测，这是因为：拉普拉斯算子一般不以其原始形式用于边缘检测，这是因为： (1) 作为一个二阶导数作为一个二阶导数,拉普拉斯算子对噪声具有无法接受的敏感性；拉普拉斯算子对噪声具有无法接

13、受的敏感性； (2) 拉普拉斯算子的幅值产生双边缘拉普拉斯算子的幅值产生双边缘,这是复杂的分割不希望有的结果；这是复杂的分割不希望有的结果； (3) 拉普拉斯算子不能检测边缘的方向。拉普拉斯算子不能检测边缘的方向。 拉普拉斯算子在分割中所起的作用包括：拉普拉斯算子在分割中所起的作用包括： (1) 利用它的零交叉的性质进行边缘定位；利用它的零交叉的性质进行边缘定位； (2) 确定一个像素是在边缘暗的一边还是亮的一边。确定一个像素是在边缘暗的一边还是亮的一边。 31高斯拉普拉斯高斯拉普拉斯算子算子考虑函数考虑函数:h的拉普拉斯算子的拉普拉斯算子(h关于关于r的二阶导数的二阶导数) :222( )r

14、h re 222,rxy为标准差2222224( )rrh re 高斯型的拉普拉斯算子高斯型的拉普拉斯算子 (LoG)模糊图像模糊图像用该函数对图像进行平滑滤波，然后再应用拉普拉斯算子。用该函数对图像进行平滑滤波，然后再应用拉普拉斯算子。受噪声的影响小。受噪声的影响小。32拉普拉斯拉普拉斯算子算子图 10.16 高斯型的拉普拉斯算子（LoG）。(a)三维曲线；(b)图像(黑色是负值区域，灰色是零值区域，白色是正值区域)；(c)零交叉的横截面显示；(d)图形(a)近似的55模板(a)(b)(c)(d)33拉普拉斯拉普拉斯算子算子 图 10.17 用LoG算子得到的梯度图像我们可以通过MATLAB

15、程序演示一下下面的结果：34各类算子的受噪声的影响我们可以通过MATLAB程序演示来进行分析3510.2 边缘连接和边界检测边缘连接和边界检测 利用前面的方法检测出边缘点利用前面的方法检测出边缘点, ,但由于噪声、光照不但由于噪声、光照不均等因素的影响，获得边缘点有可能是不连续的，必须均等因素的影响，获得边缘点有可能是不连续的，必须使用连接过程将边缘像素组合成有意义的边缘信息，以使用连接过程将边缘像素组合成有意义的边缘信息，以备后续处理。备后续处理。3610.2.1 局部处理局部处理 00|( , )(,)|f x yf xyE00|( , )(,)|x yxyA 如果大小和方向准则得到满足，

16、则在前面定义的如果大小和方向准则得到满足，则在前面定义的(x,y)(x,y)邻域中邻域中的点就与位于的点就与位于(x,y)(x,y)的像素连接起来。的像素连接起来。37基本步骤基本步骤38基于局部处理的边缘点连接的例子图 10.18 (a)输入图像；(b)梯度的Gy分量；(c)梯度的Gx分量；(d)边缘连接的结果(a)(b)(d)(c)目的是找到适合牌照大小的矩形，采用Sobel算子分别得到垂直和水平的边缘图像，如(b)(c)图。3910.2.2 Hough 变换变换 通过霍夫变换进行整体处理通过霍夫变换进行整体处理40Hough 变换变换 在图像空间中，经过在图像空间中，经过(x，y)的直线

17、：的直线： y= ax+b a- 斜率，斜率， b-截距截距可变换为：可变换为： b =-ax + y， 表示参数空间中的一条直线。表示参数空间中的一条直线。 参数空间中交点参数空间中交点(a，b)即为图像空间中过点即为图像空间中过点(xi，yi)和和(xj，yj)的直的直线的斜率和截距。线的斜率和截距。(a)(b)图 10.19 (a)xy 平面；(b)参数空间 41v将参数空间分割为累加器单元。v(amax, amin) 和 (bmax, bmin) 分别为斜率和截距值期望的范围。v所有单元被初始化为零。v如果一个 ap值得到解bq ，则A(p,q) = A(p,q)+1v在这一过程的最后

18、， A(i,j) 中的Q值对应 xy平面中直线y = aix+bj上的Q 点。b = - axi + yiHough 变换变换 图10.20 用于霍夫变换的参数平面的进一步分割42图 10.21 (a)直线的标准式； (b)将平面细分为不同单元的取值范围为的取值范围为(-90(-90 , , +90+90 ) )，以，以x x轴为基准。轴为基准。平面x cos + y sin = 平面(a)(b)采用平面是为了解决，当直线y=ax+b垂直时，斜率接近无穷大的问题。43D2 （ D 是图像对角之间的距离）(a)(b)(c)(d)图 10.22 霍夫图像的说明轴的范围为44(d)图连接的准则:1)

19、. 这些象素属于3个具有最高计数的累加器单元之一；2). 没有长于5个像素的间隙，可以看成是连续的。(a)(b)(c)(d)图10.23 (a)航拍的红外线图像；(b)设置了门限的梯度图像(Sobel算子得到的)；(c)霍夫变换；(d)通过连接准则进行边缘连接后的图像可以看到跑道的边缘有细小的缝隙。45Hough 变换变换 Hough 变换变换能将断了的线段连接起来，并具有较强的抑制噪声的能力，能将断了的线段连接起来，并具有较强的抑制噪声的能力，能够提取出在噪声背景中的直线。能够提取出在噪声背景中的直线。 Hough Hough变换不仅可以检测直线，它可以检测所有能够给出变换不仅可以检测直线，

20、它可以检测所有能够给出解析式的曲解析式的曲线线。图10.24 霍夫变换在直线检测中的例子4610.310.3 门限处理门限处理(阈值分割阈值分割) ) 由于图像门限处理的直观性和易于实由于图像门限处理的直观性和易于实现的性质，使它在图像分割应用中处于中现的性质，使它在图像分割应用中处于中心地位。心地位。47 上上图图(a)为一幅图像的灰度级直方图，其由亮的对象和暗的背为一幅图像的灰度级直方图，其由亮的对象和暗的背景组成。对象和背景的灰度级形成两个不同的模式。选择一个景组成。对象和背景的灰度级形成两个不同的模式。选择一个门限门限值值T，可以将这些模式分开。可以将这些模式分开。(b)包含包含3个模

21、式。个模式。 (a) (a)单一门限单一门限 (b)(b)多门限进行分割的灰度级直方图多门限进行分割的灰度级直方图图10.25 可以用(a)单一的门限和(b)多门限进行分割的灰度级直方图481 , , 0 , f x yTg x yf x yT如果如果对象点对象点背景点背景点49( , )( , ) ( , )( , )ln( , )ln ( , )ln ( , )( , )( , )f x yi x y r x yz x yf x yi x yr x yi x yr x y(a)(b)(c)(d)(e)图10.26 (a)计算机生成的反射函数；(b)反射函数的直方图；(c)计算机生成的亮度函

22、数；(d) (a)和(c)的乘积；(e)乘积图像的直方图 由第四章（频域图像增强）我们知道图像f(x,y)可以表达成亮度和反射两部分的乘积：i (x,y)和r (x,y)是独立的随机变量，z(x,y)的直方图是一个简单的尖峰(类似脉冲信号)5051(a)(b)(c)图10.28 (a)原图；(b)图像的直方图；(c)使用全局门限T处理图像得到的结果，门限T是灰度级最大值和最小值的中间值处理结果是成功的去除了阴影部分，得到了对象本身。我们可以通过MATLAB程序演示一下上面的过程。52v将图像细分为将图像细分为子图像子图像。v对每一个对每一个子图像子图像采用不同的阈值分采用不同的阈值分割。割。v

23、由于用于每个象素的门限取决于像由于用于每个象素的门限取决于像素在素在子图像子图像中的位置，所以这类门中的位置，所以这类门限处理是自适应的。限处理是自适应的。53图图 10.29 (a) 原图；原图；(b) 经全局门限处理后的结果；经全局门限处理后的结果；(c) 被细分为被细分为44的单个子图像处理的结果；的单个子图像处理的结果；(d) 子图像上经自适应处理后的结果。子图像上经自适应处理后的结果。(a)(b)(c)(d)我们选取每幅子图像中灰度级最大值与最小值的中间值作为T的初值。54图10.30 (a)来自图10.29(c)的进行了适当和不适当分割的子图；(b)和(c) 是对应的直方图；(d)

24、对进行了不适当的分割的子图进一步细分88；(e)左上角的小子图的直方图；(f)对(d)进行自适应分割的结果(a)(b)(c)(e)(f)(d)此方法的目的是告诉大家可以对图像进行更精确的分割。551)()()(212211PPzpPzpPzp图 10.31 一副图像中两个区域的灰度级概率密度函数P1和P2是两类像素出现的概率，p(z) 是混合概率密度函数。56TdzzpTE)()(21TdzzpTE)()(12)()()(2112TEPTEPTE错误发生的概率如下：错误发生的概率如下：出错的整体概率：出错的整体概率：570)()()(2112dTTEPTEPddTTdE 要找到出错最少的门限值

25、，需要将E(T)对T求微分(使用莱布尼兹法则)并令微分式等于零。)()(2211TpPTpP结果是：注意：如果P1=P2，则最佳门限位于曲线p1(z)和p2(z)的交点处详见图 10.31解此方程得到的T为最佳门限。58例子:利用PDF=高斯密度 p1(z) 和p2(z)222221212)(222)(11221122)()()(zzePePzpPzpPzp其中： 1 和 12 分别是某一类像素(即对象)的高斯密度的均值和方差； 2 和 22 分别是另一类像素(即对象)的高斯密度的均值和方差；这里的PDF代表概率密度函数。高斯密度可以用均值和方差来描述。59)/ln(22)(2 0211222

26、212122222121222122212PPCBAwhereCBTAT1221221ln2PPT如果 P1 = P2 或者 = 0 那么根据左边的式子，最佳门限是均值的平均数。再利用式 得到求解门限T的二次方程：)()(2211TpPTpP60 进行图像分割的目的进行图像分割的目的是描绘心脏的左心室边界。分割前：是描绘心脏的左心室边界。分割前： (1)采用对数变换，减少由于辐射吸收引起的指数效应。采用对数变换，减少由于辐射吸收引起的指数效应。 (2)为了去除两幅图像中的脊柱，从注入造影剂后获取的图像中减去为了去除两幅图像中的脊柱，从注入造影剂后获取的图像中减去 使用造影剂之前得到的图像。使用

27、造影剂之前得到的图像。 (3)将几张血管造影片相加，以减少随机噪声。图中的将几张血管造影片相加，以减少随机噪声。图中的A与与B下面会详细介绍。下面会详细介绍。(a)(b)图 10.32 预处理前后的心血管造影照片BA 下面利用最佳门限处理法对图像进行分割61(a)(b)图 10.33 (a) 图10.32(b)中的区域A的直方图；(b) 图10.32(b)中的区域B的直方图分析：区域A的直方图很清楚的是双峰，表示其中存在边界；然而B区域的直方图是单峰的，表示没有显著区别的区域。图中的和 是直方图中以黑色点表示的适配符号。最佳门限通过二次方程得到。62图 10.34 叠加了边界的心血管造影图本图

28、显示了叠加在原图上的边界。考虑到图像的可变性和复杂性，这个过程得到了极好的分割结果。6310.4 区域分割区域分割 基本处理思想6465 形式化地定义如下：令形式化地定义如下：令I表示图像表示图像, ,H表示具有相同性质表示具有相同性质的谓词的谓词, ,图像分割把图像分割把I分解成分解成n个区域个区域 Ri i, , i1,2,1,2,n,n,满足：满足：11), ,2),1,2, ,()3), ,()NiijiiijRI RRi j iji in H RTruei j ij H RRFalse 10.4.1 基本公式基本公式66 区域生长是一种根据事前定义的准则将像素或子区域聚合成更大区区域生长是一种根据事前定义的准则将像素或子区域聚合成更大区域的过程域的过程. .6768 图 10.35 (a)显示有缺陷的焊缝的图像 (b)种子点 (c)区域生长的结果 (d)对有缺陷的焊缝区域进行分割得到的边界(a)(b)(c)(d)69图 10.