《数图》第9章 图像分割和描述.ppt

1、Digital Image Processing,1,数字图像处理基础,Digital Image Processing 第九章 图像分割和描述,Digital Image Processing,2,图像分割（image segmentation） 把图像分成各具特性的目标区域的技术和过程。 图像分割 从低层次图像处理到较高层次图像分析、图像理解的关键步骤。 图像处理中的瓶颈问题，事关图像描述、特征提取、目标识别等。 基于边缘的分割、基于阈值的分割、基于区域的分割。 图像描述（image description） 对图像的区域、周长、面积以及其它特征的表示。 边界描述、区域描述。,Digita

2、l Image Processing,3,第1节 图像分割简述,1.图像分割的定义 图像分割通过对图像不同特征的分析，将图像分割成各具特性的区域， 提取出感兴趣目标的技术和过程。 数学定义： 假设一幅图像中所有像素的集合为F，有关一致性的假设为P()。 图像分割：把F划分为n个满足下述4项条件的连通区域子集S1，S2，Sn。 1） ，分割是完全的，图像中的每一像素必须归属一个区域； 2） ，分割出的不同区域是不相交的； 3） ，分割出的每个区域的像素具有一致的特性； 4） ，分割出的不同区域的像素不具有一致的特性。,Digital Image Processing,4,2.图像分割的分类 从不

3、同的角度和特征进行分类： 1）运算策略不同：并行分割算法，串行分割算法。 2）实现技术不同：基于直方图的分割，基于边界的分割，基于区域的分割。 3）应用要求不同：粗图像分割，细图像分割。 4）对象属性不同：灰度图像分割，彩色图像分割。 5）是否借助像素灰度模式：纹理图像分割，非纹理图像分割。 6）对象状态不同：静态图像分割，动态图像分割。,Digital Image Processing,5,1）基于边界的图像分割 先检测图像边界，再连接目标边界的轮廓线。 边界检测：Robert算子、Prewitt算子、梯度算子、拉普拉斯算子、 Canny算子、高斯-拉普拉斯算子等。 2）基于阈值的图像分割

4、基于图像直方图的分割方法。 分割问题实际上就是像素分类的参数估计问题，易受噪声干扰。 3）基于区域的图像分割 检测满足特定预设条件的区域。 区域增长法、区域分裂合并法、分水岭算法等。 三种基本的图像分割既可单独使用，也可综合使用。,Digital Image Processing,6,第2节 基于边界的分割,基于边界的图像分割： 1）边缘检测，检测出图像中可能的边缘点， 2）边缘连接，按一定策略连接成轮廓，实现不同区域的分割。 边缘检测技术： 并行边缘检测：当前像素点是否属于边缘，取决于当前正在检测的像素点以及该 像素点的一些相邻像素点； 串行边缘检测：当前像素点是否属于边缘，取决于先前像素的

5、验证结果。 （在实际中应用较少）,Digital Image Processing,7,1.并行微分算法 边缘图像中不同灰度区域交界处； 边缘检测利用导数对图像中灰度的变化进行检测， 一阶导数算子：梯度算子、Sobel算子、Prewitt算子、 二阶导数算子：Laplacian算子、Kirsch算子、 实用：去噪（减少噪声对微分的影响） 微分（一阶或二阶） LOG（Laplacian of Gaussian）滤波高斯低通滤波 + Laplacian二阶导数； Canny边界检测 高斯低通滤波 + 一阶导数。,Digital Image Processing,8,（1）高斯-拉普拉斯（LOG）算

6、子 对待检测图像f(x,y)采用高斯滤波器g(x,y)进行平滑（降低噪声影响）， 再用拉普拉斯算子进行二阶微分，： LOG检测就是用对图像f(x,y)进行滤波， 边缘点滤波输出的符号变化（过零点）的位置。,Digital Image Processing,9,LOG边缘检测算子： 轴对称图形，各向同性，形状酷似草帽，“墨西哥草帽”函数：,图9.1 LOG边缘检测算子,（9.3),近似为LOG模板,函数波形,Digital Image Processing,10,【例9.1】图9.2所示为某图像的LOG边缘检测实例。,(a) 55LOG模板 (b) 原始图像 (c) LOG边缘检测 图9.2 L

7、OG边缘检测结果,Digital Image Processing,11,（2）Canny算子 边缘检测要求： 有效地抑制噪声，有较高的信噪比；准确，检测出的边缘在真正的边界上。 1）高斯滤波，去噪： （9.4） 2）对平滑后的图像求梯度，获得每一点梯度的幅值和方向： （9.5） 梯度的模值： 梯度的方向值（弧度）： （9.6） （9.7）,Digital Image Processing,12,3）对梯度幅值进行“非极大抑制” 作用：准确定位，控制边界宽度为一个像素。 在待处理像素a的梯度方向上比较它们的梯度模值， 如a为极大，则保留；如果不是，则把像素a的灰度设为0。4）用双阈值算法检测和

8、连接边缘 对梯度模极大值采用两个阈值T1（低）和T2 （高）进行处理，得到 高阈值边缘图像A2(x,y) 含有很少的假边缘，但有间断。 低阈值边缘图像A1(x,y) 含有很多的假边缘，没有间断。 在A2(x,y)中把边缘连接成轮廓， 遇到轮廓断点时，在A1(x,y)的8邻域位置寻找可以连接到轮廓上的像素。,Digital Image Processing,13,【例9.2】一个具体的Canny边缘检测的例子。 Canny 边缘检测的边缘图像比较准确，轮廓细，要优于常用的Robert、Prewit等方法。,Digital Image Processing,14,2.边界跟踪算法 边界跟踪获得边缘

9、像素后从中提取图像连续边界或轮廓的方法。 跟踪性能： 1）跟踪起始点的选取。 2）跟踪准则的选取。 基本方法： 先根据跟踪准则找出目标物体轮廓或边界上的像素点， 然后根据这些像素点用同样的跟踪准则找到下一个像素点， 以此类推，直到闭合或者最后一个像素点都不满足跟踪准则为止。,Digital Image Processing,15,（1）边界的链码表示 链码边界跟踪描述方法，为边界的不同走向编码。 编码方法：直接链码，差分链码。 按方向的划分：4-连通链码， 8-连通链码。,Digital Image Processing,16,【例9.3】采用4-连通和采用8-连通链码表示边界时，其结果并不完

10、全相同。 图9（b）的4-连通链码表示边界：00003032232321212011； 图9（c）的8-连通链码表示边界：00070555424312.,Digital Image Processing,17,（2）逻辑运算法获取边界 适用于目标和背景组成的二值图像。 S为目标像素的集合，其边界S是指在（背景）中有邻点的S中点的集合。 S中去掉S的其余部分点的集合称其为S的内部，即为差集S-S。 实例说明：,Digital Image Processing,18,3. 边界拟合算法 拟合检测到的边缘点成边界曲线，分割图像为不同区域。 边界拟合算法：最小均方误差曲线拟合法，参数模型曲线拟合法等。

11、 小均方误差（MSE）拟合算法： 已经检测点的稀疏边界点 (xi ,yi ), i=0,1,2,N-1， 求函数y=f(x)，使得下式（均方误差）为最小： （9.8）,Digital Image Processing,19,【例9.5】设拟合曲线 f(x) 是一条抛物线，求拟合系数： （9.9） 矩阵形式： （9.10）,Digital Image Processing,20,第3节基于阈值的分割,直方图阈值分割方法：适用于物体与背景有较强的对比度， 所有灰度值大于或等于（或相反）某阈值的像素都被判属于目标； 所有灰度值小于或等于（或相反）该阈值的像素都背叛属于背景。 优点： 算法简单， 分割

12、形成封若干闭且连通的不交叠的区域。 类型： 全局阈值方法， 自适应阈值方法， 概率统计、类间方差优化方法。,Digital Image Processing,21,1.全局阈值算法 基本原理在一幅图像中选取一个或多个灰度阈值， 将图像中各个像素的灰度值与阈值进行比较， 并根据比较的结果将图像中的对应像素分成两类或多类， 将图像划分成互不交叉重叠区域的集合。 如：原始图像为f(x,y)，按照阈值T将图像分割为两个部分： （9.12） 图像二值化分割,Digital Image Processing,22,难点： 分割区域数目的确定； 具体阈值的确定： 阈值过高，容易把大量的目标误判为背景； 阈值

13、过低，容易把大量的背景误判为目标。,Digital Image Processing,23,（1）峰-谷法选取阈值 目标区域和背景区域在灰度区别明显“双峰”和“一谷”状直方图， 选取两峰值之间“谷值”为阈值，将目标和背景分开，得到分割后的图像。,Digital Image Processing,24,（2）微分法选取阈值 将直方图包络看成一条曲线，可采用求曲线极小值方法选取直方图谷值 。 设用h(x)为直方图曲线，x为图像灰度变量，那么极小值应满足： 以及 （9.13） 为避免噪声影响，可用高斯函数g(x,)先对直方图进行平滑处理： （9.14） 在全局阈值分割法中，阈值的选取是关键， 至今还

14、未能找到一种对所有图像都能有效分割的阈值选取方法。,Digital Image Processing,25,2.自适应阈值算法 固定阈值法难以应付： 图像中目标和背景的灰度值并非常数， 图像中目标和背景的对比度也有变化， 自适应阈值分割：把灰度阈值取成一个随图像中位置缓慢变化的函数， 保持局部的、相对的背景和物体之间的差异。 如子图像分割法： 将图像细分为若干个子图像， 对不同的子图像使用单独的阈值进行分割处理， 将各个分割后的子图像拼合成一个完整分割图像。,Digital Image Processing,26,3.统计最优阈值算法 统计判决确定阈值：目标和背景被误分割的概率达到最小的阈值分

15、割方法。 目标区域灰度概率密度为pa(z)，出现的概率为， 背景区域灰度概率密度为pb(z)，出现的概率为 1-， 图像的灰度混合概率密度函数为： （9.15）,Digital Image Processing,27,将目标点误判为背景点的概率为： 把背景点误判为目标点的概率为： （9.16） （9.17） 总的误差概率为： （9.18） 使总的误差概率最小，对T求导，并令结果为零： （9.19） 解出其中的 T 最优阈值。特别当两个区域的方差相同，优阈值T： （9.20）,Digital Image Processing,28,4. 最大类间方差算法 最大类间方差法（ Otsu分割法，大津阈

16、值分割法） 最佳阈值应当产生最佳的目标类与背景类的分离性能。 阈值T将图像各像素按灰度分成两类C0 和C1 ： （9.21） （9.22） 图像的总平均灰度为： （9.23） 类间方差为： （9.24）,Digital Image Processing,29,从最小灰度值0到最大灰度值K-1，遍历所有灰度值， 使得式（9.24）中最大时的灰度z 即为分割的最佳阈值T。 类间方差最大的分割意味着错分概率最小： 因为方差越大，说明构成图像的两部分差别越大，错分越严重。 在实际应用中，将（9.24）近似，最佳阈值T为使得下式为最小时的z： （9.25） 上述为一维Otsu分割法只考虑了像素的灰度信息

17、， 推广到二维Otsu分割法增加了邻域像素的空间信息，性能更好。,Digital Image Processing,30,第4节 基于区域的分割,1. 区域生长算法 区域生长（region growing） 将图像分成许多小区域，将具有相似性质的像素集合起来构成目标区域。 步骤： 1）对需要分割的区域找一个种子像素作为生长的起始点， 2）将种子像素周围邻域中与种子像素有相似性质的像素合并到该区域中。 3）以新像素为新的种子像素，继续进行上述操作，直到没有满足条件的像素为止。 区域生长过程结束，图像分割随之完成。 实质： 把具有某种相似性质的像素连通起来，从而构成最终的分割区域。,Digital

18、 Image Processing,31,（1）基本方法 【例9.8】图9.11给出了一个简单的区域生长例子。,Digital Image Processing,32,（2）改进方法 区域灰度生长法，依赖于起点的选择。 参考邻域平均灰度的区域生长法： 和包括种子像素在内的某个邻域的灰度平均值进行比较， 小于某个给定的阈值T 的目标像素可以“生长”进来。 (9.26) (9.27),Digital Image Processing,33,以灰度分布相似性为生长准则：比较邻接区域的累积直方图的相似性： 1）把图像分成互不重叠的合适小区域。 2）比较各个邻接小区域的累积灰度直方图，合并相似性差别小的

19、区域。 3）通过重复过程 2），合并直到邻接的区域不不能够合并为止。 直方图分布相似距离（差别）检测： 柯尔莫哥洛夫-斯米诺夫（Kolmogorov-Smirnov）距离检测： (9.28) 平滑差分检测准则： (9.29) h1(z)和h2(z)分别是邻接的两个区域的累积灰度直方图，T为给定的阈值。,Digital Image Processing,34,2.分裂合并算法 阈值分割法从大到小，整幅图像 “分裂” 不同区域； 区域生长法从小到大，从种子像素 “合并” 整幅图像。 分裂合并（slit and merge）算法： 先把图像分成任意大小而且不重叠的区域， 再合并或分裂这些区域以满足分

20、割的要求。,两种方法结合,35,（1）图像的四叉树表示 NN（N=2n ）大小的图像f(x,y)的四叉树状数据结构共n层； 靠近树根位置的一个像素是其上层相应位置上的4个像素灰度的平均。 节省图像分割需要的时间： 先在低分辨率图像上进行操作，根据结果决定是否在高分辨率图像上进一步处理。,Digital Image Processing,36,（2）四叉树图像分割 四叉树图像分割中区域内和区域间合并的一致性判断条件： 区域中灰度最大值与最小值的方差小于某选定值， 两区域平均灰度之差及方差小于某选定值。 图像四叉树分裂合并算法： 1）对任一个区域Ri，如果一致性判断条件P(Ri)=FALSE，分裂

21、Ri 成不重叠的4分； 2）对相邻的两个区域Ri和Rj ，如果条件P(RiRi)=TRUE，就将它们合并起来； 3）如果进一步的分裂或合并都再也不可能了，则结束。,Digital Image Processing,37,分裂合并法分割图像的一个简单例子。分裂合并法的优点不需要种子像素； 缺点分割后的区域可能具有不连续的边界。,Digital Image Processing,38,3.分水岭算法 （1）基本概念 分水岭（watershed algorithm）分割算法： 根据数学形态学原理提出的一种基于区域的分割方法。 优点：直观、快速度且适于并行处理，对图像中弱边界敏感， 可以得到单像素宽的

22、连通、封闭的区域边界。 问题：容易产生过度分割。 原理：图像等效为地貌的三维模型，像素的灰度值表示该点的海拔高度， 每一个局部极小值及其影响区域称为集水盆， 集水盆的边界则形成分水岭。,Digital Image Processing,39,工作机理： 图像最初在低灰度阈值（L）上二值化， 随后阈值逐渐增加，物体的边界逐渐扩展， 当边界相互接触时，在此处建筑一道防水的大坝，即分水岭， 保持这些物体直到最高水位都没遭到“淹没”（合并）。 这些初次接触的点变成了相邻物体间的最终边界。 分水岭分割还可应用于原始图像的梯度图像。,Digital Image Processing,40,（2）克服过度分

23、割 1）一是利用先验知识去除无关边缘信息。 2）二是修改梯度函数使得集水盆只响应想要探测的目标。,Digital Image Processing,41,第5节 图像的边界描述,图像描述： 用数据、符号、形式语言来表示具有不同特征的图像小区（目标）。 图像描述的分类： 对区域本身的描述； 对区域边界的描述； 对区域之间的关系、结构的描述等。 图像描述的内容： 直线、曲线、区域、形状、纹理,Digital Image Processing,42,1.边界的链码表示 边界的4-连通定义， 边界的8-连通定义， 边界的方向链码的定义， 用边界链码来记录物体的边界， 内点的坐标信息并不需要记录， 可节

24、省表示或存储边界的数据量。,Digital Image Processing,43,2.边界的几何特性 （1）距离 距离描述边界长度、走向以及图像像素之间关系的重要几何参数。 记d(p1, p2)为像素p1和p2之间的距离，它应该满足以下条件： 1）当且仅当p1=p2时，d(p1, p2)=0； 2）d(p1, p2)=d( p2, p1)； 3）d(p1, p2)+d(p2, p3)d(p1, p) 。 满足这三个条件的距离有多种定义方法。,Digital Image Processing,44,图像描述中常见的距离： 1）欧氏距离： 2）街区距离： 3）棋盘距离：,Digital Imag

25、e Processing,45,（2）曲线长度 数字图像中边界曲线为S=P1 , P2 , Pn ，求曲线S的长度。 定义Pi 和Pj 间的弧长为：由Pi 沿曲线S移动到Pj 的步数。,Digital Image Processing,46,（3）边界的凹凸性 判断： 1）P是边界S 中的任意一点， 若通过P的每条直线只与S相交一次，则S边界为凸状。 或 2）S中任意两点P、Q之间的直线段完全在S中，则S边界为凸状。 （4）边界的复杂性 ）边界S上曲率极大值越多（角越多），其复杂性高。 ）边界S上的曲率变化越大（角大小变化多），其复杂性越高。 ）要确定或描述物体S的信息量越多，其形状越复杂。

26、此外还有：分散度、对称性等也是物体复杂性重要因素。,Digital Image Processing,47,3.边界的统计矩 （1）统计矩 将二维形状的描述华为一维函数的描述， 边界段和特征的形状可以用矩量来定量地描述。 把边界g(r)当作直方图函数（近似概率分布函数），则其n阶矩n(r)为： （9.30） 一阶矩1(r)表示g(r)的均值， 二阶矩2(r)表示g(r)值相对与均值的离散情况， 三阶矩3(r)表示g(r)值相对于均值的对称情况。,Digital Image Processing,48,（2）边界的曲率 曲率表示物体边界的斜率的变化率。 离散情况，近似用相邻边界线段的斜率差边界线

27、交点处的曲率。,Digital Image Processing,49,4.边界的傅立叶描述子 将边界看作为复平面上的点集， 点集的坐标按顺序形成一复数序列， s(k) = x(k) + jy(k) k=0,1,N-1 （9.31） 该序列的离散傅立叶变换 （9.32） 系数a(u)该边界的傅立叶描述子(Fourier descriptors)。,Digital Image Processing,50,由s(k)的傅立叶描述子a(u)通过傅立叶反变换可以恢复原边界s(k)： （9.33） （9.34） M取得越小，细节部分丢失越多。,Digital Image Processing,51,第6

28、节 图像的区域描述,1.区域的几何特性 （1）面积 闭合曲l 线（边缘）包围区域D的面积A： （9.35） 离散的情况 （9.36） 更简便的方法：通过统计物体含有的像素点数来计算其面积。,Digital Image Processing,52,（2）重心 闭合区的面积的重心： 图像中目标像素位置坐标(xi, yi)，i=0,1,n-1的平均值： （9.37）,Digital Image Processing,53,2.区域的形状描述 （1）矩形度 矩形度可以将细长的物体与方形或圆形的物体区别开来。 矩形度：最大长宽比：rmax=W/L L表示物体的某一方向的长度，W表示物体某一方向的宽度。,Digital Image Processing,54,（2）圆形度 相同长度的曲线围成的所有封闭图形中，圆形的面积最大。 相同面积的图形，其圆形的周长最短。 用“圆形度” e 来刻画物体边界的复杂程度： （9.38） 式中：A表示面积，P表示周长。 形状越接近圆形，e 越大；形状越复杂，e 值越小。,Digital Image Processing,55,3.区域的纹理描述 纹理许多自然图像具有类似人为图形的“图案”的特性； 纹理图像中一个重要而又难于描述的特征，还没有精确的定义。 纹理在局部区域内呈现不规则性，在整体上表现出某种规律性。 纹理用统计结构尺度来量化它的特征：