课件11 图像分割技术课件

1、孙树亮孙树亮n1 图像分割n2 点检测n3 线检测n4 边缘检测n5 基于跟踪的图像分割 n6 Hough变换n7 基于灰度阈值的分割方法n8 空间聚类n9 区域生长n10 分裂合并法1、图像分割、图像分割n图像分割就是把图像划分为不同的区域并提取出感兴趣目标的技术和过程。是图像识别和图像理解的基本前提步骤。n人们往往对图像的某些部分感兴趣，这些部分称为目标或前景（其它部分称为背景）。n将图像表示为物理上有意义的连通区域的集合n根据目标与背景的先验知识，对图像中的目标、背景进行标记、定位，然后将目标从背景中分离出来。1.1 图像分割的定义图像分割的定义n令集合 R 代表整个图像区域，对 R 的

2、分割可看作将 R 分成 N 个满足以下五个条件的非空子集（子区域）R1，R2，RN： n (1) ；n (2) 对所有的 i 和 j，i j，有Ri Rj = ；n (3) 对i = 1, 2, , N，有P(Ri) = TRUE； 1niiRRUn(4) 对i j, 有P(RiRj) = FALSE；n(5) 对i =1, 2, , N，Ri 是连通的区域。n其中P(Ri) 是对所有在集合 Ri 中元素的逻辑谓词, 代表空集。1.2 图像分割策略图像分割策略n图像分割的基本策略是基于灰度值的两个基本特性：n(1) 区域之间的不连续性。n边界方法，这种方法假设图像分割结果的某个子区域在原来图像

3、中一定会有边缘存在。n先找到点、线 (宽度为1)、边 (不定宽度)， 再确定区域n(2) 区域内部的相似性n区域方法，这种方法假设图像分割结果的某个子区域一定会有相同的性质，而不同区域的像素则没有共同的性质。n通过选择阈值，找到灰度值相似的区域。区域的外轮廓就是对象的边。2、点检测、点检测n计算某像素与周边相邻点之间的差值，并加权叠加 (使用如下模板) 得到R，如果|R|=T，则称该模板中心位置检测到一个点 ，由于模板系数和为0，故对均匀区域（灰度级为常数）的响应为0。88881288888图像-1-1-1-18-1-1-1-1模板n用空域的锐化模板来检测孤立点：nR= (-1 * 8 * 8

4、 + 128 * 8)/9=106 n可以设置阈值T = 64n若R=0，则说明检测点与周围点像素值相同；n若R T，则说明检测点与周围点像素值明显不同，为孤立点。3、线检测、线检测n通过比较典型模板的计算值，确定一个点是否在某个方向的线上。n模板系数之和为0，感兴趣的方向系数值较大。111555111111555111111555111-1-1-1222-1-1-1水平模板-1-12-12-12-1-145度模板-12-1-12-1-12-1垂直模板2-1-1-12-1-1-12135度模板R水平 = -6 + 30 = 24R45度 = -14 + 14 = 0R垂直 = -14 + 14

5、 = 0 R135度 = -14 + 14 = 04、边缘检测、边缘检测n基于边缘检测的图像分割方法的基本思想是先确定图像中的边缘像素，然后就可把它们连接在一起构成所需的边界。n图像边缘 图像边缘意味着图像中一个区域的终结和另一个区域的开始，图像中相邻区域之间的像素集合构成了图像的边缘。 进一步讲，图像的边缘是指图像灰度发生空间突变的像素的集合。 图像边缘有两个特征：方向和幅度p沿边缘走向，像素值变化比较平缓；p沿垂直于边缘的走向，像素值则变化比较剧烈。 一般常用一阶和二阶导数来描述和检测边缘。 n一阶导数：通过梯度来计算，检 测图像中边的存在。n对于亮的边，边的变化先正后负 的。对于暗边结论

6、相反。常数部 分为零。截面图截面图n二阶导数：通过拉普拉斯算子来计算，确定边上的像素是在亮的一边，还是暗的一边，0用于确定边的准确位置n二阶微分在亮的一边是正的，在暗的一边是负的。常数部分为零。n基于微分的边缘检测器，其基本依据是图像的边缘对应了一阶导数的极大值，而二阶导数则过零点。4.1 梯度算子梯度算子n函数f(x, y)在(x, y)处的梯度为一个向量：n f = f / x , f / yn计算这个向量的大小为：n G = (f / x)2 +(f / y)21/2n近似为: G |fx| + |fy|n 或 G max(|fx|, |fy|)n梯度的方向角为：n (x,y) = ta

7、n-1(fy / fx)n可用下图所示的模板表示 水平模板-1, 1检测垂直边缘, 垂直模板-1, 1T检测水平边缘1-1-11其它 0)Grad( 1),(Tx,yyxg4.2 边缘检测算子边缘检测算子 n1、Roberts算子n公式：n模板：n特点：与梯度算子检测边缘的方法类似，对噪声敏感，但效果较梯度算子略好。) 1, 1() 1, 1() 1, 1() 1, 1(yxfyxffyxfyxffyxn2、Prewitt算子n公式n模板：Prewittn特点：在检测边缘的同时，能抑止噪声的影响) 1, 1() 1,() 1, 1() 1, 1() 1,() 1, 1() 1, 1(), 1(

8、) 1, 1() 1, 1(), 1() 1, 1(yxfyxfyxfyxfyxfyxffyxfyxfyxfyxfyxfyxffyxn3、Sobel算子n公式n模板Sobeln特点：(1) 对4邻域采用带权方法计算差分；(2) 能进一步抑止噪声；(3) 但检测的边缘较宽。) 1, 1() 1,(2) 1, 1() 1, 1() 1,(2) 1, 1() 1, 1(), 1(2) 1, 1() 1, 1(), 1(2) 1, 1(yxfyxfyxfyxfyxfyxffyxfyxfyxfyxfyxfyxffyxn4、拉普拉斯算子n二维函数f(x,y)的拉普拉斯是一个二阶的微分，定义为： n离散形式

9、：n模板：),(4) 1,() 1,(), 1(), 1(),(2yxfyxfyxfyxfyxfyxf拉普拉斯算子 Laplacian二阶边缘检测算子的边缘检测示例 4.3 高斯拉普拉斯（高斯拉普拉斯（LOG）nLaplacian由于对噪声太敏感，因此一般不单独使用。n通常和平滑Gaussian滤波器结合来进行边缘检测。n高斯拉普拉斯滤波器使用了Gaussian来进行滤波并使用 Laplacian来进行边缘检测。原始图像水平梯度部分垂直梯度部分组合得到边缘图像n图像受到噪声的干扰，不能准确的检测边缘。n 解决的一个方法是在边缘检测之前对图像进行平滑。平滑后的边缘检测举例平滑后的边缘检测举例原始

10、图像水平梯度部分垂直梯度部分组合得到边缘图像5、基于跟踪的图像分割基于跟踪的图像分割 n轮廓跟踪：将检测的边缘点连接成线就是边缘跟踪。 n5.1 轮廓跟踪法轮廓跟踪法n是一种适用于黑白二值图像的图像分割方法。n边界跟踪函数：bwboundaries轮廓跟踪算法轮廓跟踪算法n步骤1： 扫描图像，寻找A0。初始化扫描方向变量dir（记录上一个边界点到当前边界点的移动方向）。n步骤2： 按逆时针方向搜索当前像素的33邻域，搜索到的第一个与当前像素值相同的像素便为新的边界点An，同时更新变量dir为新的方向值。n(1) 对4连通区域取dir = 3，取(dir + 3)mod 4。 dir=0 (0+

11、3) mod 4 =3dir=1 (1+3) mod 4 =0dir=2 (2+3) mod 4 =1dir=3 (3+3) mod 4 =2黑起点白黑白起点(a)某些小凸部分可能被漏掉 (b)利用不同起点跟踪小凸部分轮廓跟踪法示例n(2) 对8连通区域取dir = 7。若dir为奇数取(dir + 7) mod 8， 若dir为偶数取(dir + 6) mod 8。1230( a )24603175( b )4方向与8方向n步骤3：如果An等于第二个边界点A1且边界点An-1等于第一个边界点A0，则停止搜索，结束跟踪，否则重复步骤2继续搜索。n步骤4：由边界点A0、A1、A2、An-2构成的

12、边界便为要跟踪的边界。n轮廓提取:如果原图像中有一点为黑，且它的8个邻点都是黑色时，说明该点是内部点， 将该点删除。nI = imread(rice.png);nBW = im2bw(I, graythresh(I);nB,L = bwboundaries(BW,noholes);nimshow(label2rgb(L, jet, .5 .5 .5)nhold onnfor k = 1:length(B)n boundary = Bk;n plot(boundary(:,2), boundary(:,1), w, LineWidth, 2)nend5.2 光栅跟踪法光栅跟踪法 n光栅跟踪方法的

13、基本思想是：n先利用检测准则确定接受对象点n然后根据已有的接受对象点和跟踪准则确定新的接受对象点n最后将所有标记为1且相邻的对象点联接起来就得到了检测到的细曲线。 光栅跟踪算法光栅跟踪算法n需要事先确定检测阈值d、跟踪阈值t，且要求d t。 n检测准则：对图像逐行扫描，将每一行中灰度值大于或等于检测阈值 d 的所有点（称为接受对象点）记为1。 n跟踪准则：设位于第 i 行的点(i, j)为接受对象点，如果位于第i+1行上的相邻点(i+1, j-1)、(i+1, j)和(i+1, j+1)的灰度值大于或等于跟踪阈值 t，就将其确定为新的接受对象点，并记为1。n重复以上过程，直至图像中除最末一行以

14、外的所有接受点扫描完为止。 d =7，t =4 （a）1解题过程和检测结果 （b）直接取阈值为）直接取阈值为4时的检测结果时的检测结果 6、Hough变换变换n在找出边界点集之后，需要连接，形成完整的边界图形描述。n它的主要优点在于受噪声和曲线间断的影响较小nhough：对图像进行hough变换nhoughpeaks：用来提取hough变换后参数平面上的峰值点。nhoughlines：用于在图像中提取参数平面上的峰值点对应的直线n点线对偶性：nXY空间的一条直线，对应于参数空间PQ的一个点；同理参数空间PQ的一条直线，对应于XY空间的一个点。nXY空间的一条直线 y =px +q对应于参数空间

15、一点(p, q)n参数空间的一条直线q= -xp + y对应于XY空间一点(x, y)nHough变换的基本思想：n在xy平面内的一条直线可以表示为：n将a、b作为变量，ab平面内直线可以表示为：n如果点(x1,y1)与点(x2,y2)共线，那么这两点在参数ab平面上的直线将有一个交点n在参数ab平面上相交直线最多的点，对应的xy平面上的直线就是我们的解。这种从线到点的变换就是Hough变换。baxyyxaby yx x(x1,y1)(x2,y2)a ab baabbn判断：n图像空间中共线的3个点对应参数空间中3条线的交点。n图像空间中共线的3个点，每个点对应参数空间中的一条直线。n极坐标系

16、Hough变换 的基本思想：n对于边界上的 n 个点的点集，找出共线的点集和直线方程。n对于直角坐标系中的一条直线 l，可用、来表示该直线，且直线方程为：n其中，为原点到该直线的垂直距离，为垂线与 x 轴的夹角，这条直线是唯一的。n构造一个参数-的平面，从而有如下结论：(,)直角坐标系中的一条直线对应极坐标系中的一点，这种线到点的变换就是Hough变换变换 sincosyx对应一条直线n参数平面为, 对应不是直线而是正弦曲线n找出相交线段最多的参数空间的点，再根据该点求出对应的xy平面的直线段n算法步骤：n1在、的取值范围内对其分别进行 m，n等分，设一个二维数组的下标与i、j的取值对应；n2

17、对图像上的所有边缘点作Hough变换，求每个点在j ( j0，1，n )Hough变换后的i ，判断(i、j)与哪个数组元素对应，则让该数组元素值加1；n3比较数组元素值的大小，最大值所对应的(i、j)就是这些共线点对应的直线方程的参数。Hough函数检测图像中的直线函数检测图像中的直线nRGB = imread(gantrycrane.png); nI = rgb2gray(RGB); % Convert to intensity. nBW = edge(I,canny); % Extract edges.nH,T,R = hough(BW,RhoResolution,0.5,ThetaRe

18、solution,0.5);n n% Display the original image.nsubplot(2,1,1);imshow(RGB);title(Gantrycrane Image);n n% Display the Hough matrix.nsubplot(2,1,2);nimshow(imadjust(mat2gray(H),XData,T,YData,R,.n InitialMagnification,fit);ntitle(Hough Transform of Gantrycrane Image);nxlabel(theta), ylabel(rho);naxis on

19、, axis normal, hold on;ncolormap(hot);nP = houghpeaks(H, 5, threshold, ceil(0.3*max(H(:);nlines = houghlines(BW, T, R, P, FillGap, 5, MinLength, 7);nfigure,imshow(BW),hold on;n nmax_len=0;nfor k = 1 : length(lines)n xy = lines(k).point1; lines(k).point2;n plot(xy(:,1),xy(:,2),LineWidth,2,Color,green

20、);n n plot(xy(1,1),xy(1,2),x,LineWidth,2,Color,yellow);n plot(xy(2,1),xy(2,2),LineWidth,2,Color,red);n n len = norm(lines(k).point1-lines(k).point2);n if (len max_len)n max_len = len;n xy_long = xy;n endnend(a) 倾斜的表格图像 (b) 对(a)二值化(c)Hough变换累加数组 (d)最长直线的角度纠正倾斜 图像 应用Hough变换对倾斜表格图像纠偏7、基于灰度阈值的分割方法、基于灰度阈

21、值的分割方法n基于阈值的图像分割适用于那些物体（前景）与背景在灰度上有较大差异的图像分割问题。 n基于阈值的图像分割方法是提取物体与背景在灰度上的差异，把图像分为具有不同灰度级的目标区域和背景区域的一种图像分割技术。ngraythresh：基于Otsu法求取灰度阈值nwatershed：实现基于分水岭算法的图像分割7、基于灰度阈值的分割方法、基于灰度阈值的分割方法T 常用的方法是求解灰度直方图中的双峰或者多峰，并以两峰之间的谷底作为阈值。w 阈值分割原始图像合适阈值图像太小的阈值太大的阈值7.1 基本的全局阈值算法基本的全局阈值算法n全局阈值是指整幅图像使用同一个阈值做分割处理，并产生一个二值

22、图，区分出前景对象和背景。适用于背景和前景对比度大的图像。n算法实现：n选取一个合适的阈值T，逐行扫描图像：灰度值大于 T ，置为255；灰度值小于T，置为0n基本的跌代式阈值 T 可以按如下计算：n1、选择一个初始估计值T （一般为图像的平均灰度值）n2、使用T分割图像，产生两组像素：G1包括灰度值大于 T 的像素，G2包括灰度值小于等于 T的像素n3、计算G1 中像素的平均值并赋值给1，计算G2 中像素的平均值并赋值给2n4、计算一个新的阈值：n5、重复步骤 2 - 4，一直到两次连续的T之间的差小于预先给定的上界M。122T 单阈值只能对双峰直方图效果较好。对于其它类型的直方图，需要更多

23、的阈值7.2 单值阈值和光照单值阈值和光照n不均匀的光照会使单值阈值方案失效。n解决单值阈值无法工作的一个方法是将图像分割为子图像，并分别进行阈值化处理n由于每个像素的阈值依赖于其在图像中的位置，因此称为自适应（adaptive）阈值 我们看到图像得到了改善，但是需要对出错的图像进行进一步的细分，从而得到更好的效果。7.3 大津阈值分割大津阈值分割 大津阈值法可以自动寻找阈值，对图像进行划分，将目标物和背景区分开来。 把直方图在某一阈值处分割成两组，当被分成的两组间方差为最大时，确定阈值。例如，设一幅图像的灰度值为1-m 级，灰度值 i 的像素数为ni，此时我们得到：miinN1Nnpii总像

24、素数各灰度值的归一化值将其分成两组kC10mkC11kiikp10)(mkiikp11)(1kiikkip100)()(mkiikkip111)(1)(miiip1kiiipk1)(然后用k和各组产生的概率如下：C0产生的概率C1产生的概率C0的平均值C1的平均值其中是整体图像的灰度平均值；是阈值为k时的灰度平均值 1100)(1)()()()()()()(2201102112002kkkkk)(maxarg2*kkkk两组直方图的灰度平均值为两组间的方差用下式求出值便是阈值,不管图像的直方图有无明显的双峰，都能得到较满意的结果。证明此式存证明此式存在在8、空间聚类、空间聚类n特征空间聚类(f

25、eature space clustering)的方法是将图像空间的元素按照特征值用对应的特征空间点表示，通过将特征空间点聚集成不同的类团，然后再将它们划分开。n聚类方法也是一种全局的方法，比仅基于边缘检测的方法更抗噪声。n将一个特征空间分成 K 个聚类的常用方法是K-均值法(K-means)。令 x = (x1, x2) 代表特征空间的坐标，g(x)代表在这个位置的特征值，K-均值法是要最小化如下指标n (1)n其中 Qj(i) 代表在第 i 次迭代后赋给类 j 的特征点集合，j 表示第 j 类的均值。式 (1)给出每个特征点与其对应类均值的距离和。8.1 K-均值聚类均值聚类 21) 1(

26、)()( KiQxijijxgEnK-均值法计算步骤如下：n(1) 任意选取 K 个初始类均值，1(1), 2(1), ., K(1)；n(2) 在第 i 次迭代时，根据下述准则将每个特征点都赋给K类之一( j =1, 2, ., K, i=1, 2, ., K, ji )，即n即将每个特征点赋给均值离它最近的类。n(3) 对 j =1, 2, ., K, 更新类均值j(i+1)n其中 Nj 是 Qj(i) 中的特征点个数。n(4) 如果对所有的 j =1, 2, 3, ., K, 有j(i+1) = j(i)，则算法收敛，结束；否则退回到步骤(2)继续下一次迭代。)()(1) 1(ijQxj

27、ijxgN( ) ilxQ( )( )lg(x)-( )ijjg x如果8.2 ISODATA聚类聚类n主要步骤如下：n(1)设定N个聚类中心位置的初始值；n(2)对每个特征点求取离其最近的聚类中心位置，通过赋值把特征空间分成N个区域；n(3)分别计算属于各聚类模式的平均值；n(4)将最初的聚类中心位置与步骤(3)得到的新平均值进行比较，如果相同则停止，如果不同则返回步骤(2)继续进行。9、区域生长、区域生长n从单个像素出发，逐渐合并以形成所需的分割区域，称为区域生长。n区域生长的基本思想是将具有相似性质的像素结合起来构成区域。n具体是先对每个需要分割的区域找一个种子像素作为生长的起点，然后将

28、种子像素周围邻域中与种子像素相同或相似性质的像素（根据某种事先确定的生长或相似准则来判定）合并到种子像素所在的区域中。n将这些像素作为新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来。这样一个区域就长成了。n基于区域灰度差准则的主要步骤：n(1) 对图像进行逐行扫描，找出尚没有归属的像素；n(2) 以该像素为中心检查它的邻域像素，即将邻域中的像素逐个与它比较，如果灰度差小于预先确定的阈值，则将它们合并；n(3) 以新合并的像素为中心，返回步骤(2)，检查新像素的邻域，直到区域不能进一步扩张；n(4) 返回到步骤(1)，继续扫描直到不能发现没有归属的像素，则结束整个生长过程。

29、1047511555115751111110477115551157711111015551155511555111113056511555315551111133564115553355511111 原始图 T=3 T=2 T=7n区域生长法的三个关键条件的确定：n(1)选择和确定一组能正确代表所需区域的种子像素。一般原则为：n 接近聚类重心的像素可作为种子像素。例如，图像直方图中像素最多且处在聚类中心的像素；n 红外图像目标检测中最亮的像素可作为种子像素；n 按位置要求确定种子像素；n 根据某种经验确定种子像素。 n区域生长法的三个关键条件的确定：n(2) 确定在生长过程中能将相邻像素合并进来的相似性准则。主要有：n 当图像是彩色图像时，可以各颜色为准则，并考虑图像的连通性和邻近性；n 待检测像素点的灰度值与已合并成的区域中所有像素点的平均灰度值满足某种相似性标准，比如灰度值差小于某个值； n 待