图像分割技术.ppt

第9讲课题 图像分割目的要求 1 掌握图像分割的概念和边缘检测的原理与方法 2 掌握Hough变换检测直线原理 了解Hough变换检测曲线方法 3 掌握最简单图像区域分割 了解区域生长和分裂合并法 重点 图像分割的概念与方法分类难点 Hough变换检测直线原理教学课时 4课时教学方法 授课为主 鼓励课堂交流本次课涉及的学术前沿 1概述 图像分析的概念对图像中感兴趣的目标进行检测和测量 以获得它们的客观信息 从而建立对图像的描述图像分析系统的基本构成 预处理 图像分割 特征提取 对象识别 低级 高级 1概述 图像分析的步骤把图像分割成不同的区域或把不同的对象分开找出分开的各区域的特征识别图像中要找的对象或对图像进行分类对不同区域进行描述或寻找出不同区域的相互联系 进而找出相似结构或将相关区域连成一个有意义的结构 1概述 图像分割 imagesegmentation 的概念 把图像分成互不重叠的区域并提取感兴趣目标的技术 根据需要将图像划分为有意义的若干区域或部分的图像处理技术 所属学科 测绘学 一级学科 摄影测量与遥感学 二级学科 而目前广为人们所接受的是通过集合所进行的定义 令集合R代表整个图像区域 对R的图像分割可以看做是将R分成N个满足以下条件的非空子集R1 R2 R3 RN 1 在分割结果中 每个区域的像素有着相同的特性 2 在分割结果中 不同子区域具有不同的特性 并且它们没有公共特性 3 分割的所有子区域的并集就是原来的图像 4 各个子集是连通的区域 1概述 图像分割的基本策略分割算法基于灰度值的两个基本特性 不连续性和相似性检测图像像素灰度级的不连续性 找到点 线 宽度为1 边 不定宽度 先找边 后确定区域 1概述 图像分割的基本策略检测图像像素的灰度值的相似性 通过选择阈值 找到灰度值相似的区域 区域的外轮廓就是对象的边 1概述 图像分割的方法基于边缘的分割方法先提取区域边界 再确定边界限定的区域 区域分割确定每个像素的归属区域 从而形成一个区域图 区域生长将属性接近的连通像素聚集成区域分裂 合并分割综合利用前两种方法 既存在图像的划分 又有图像的合并 分割对象 分割对象 2边缘检测算子 边缘的定义 图像中像素灰度有阶跃变化或屋顶变化的那些像素的集合边缘的分类阶跃状屋顶状 阶跃状 屋顶状 2边缘检测算子 基本思想 计算局部微分算子 一阶微分 截面图 边界图像 2边缘检测算子 一阶微分 用梯度算子来计算特点 对于亮的边 边的变化起点是正的 结束是负的 对于暗边 结论相反 常数部分为零 用途 用于检测图像中边的存在 2边缘检测算子 二阶微分 通过拉普拉斯来计算特点 二阶微分在亮的一边是正的 在暗的一边是负的 常数部分为零 用途 1 二次导数的符号 用于确定边上的像素是在亮的一边 还是暗的一边 2 0跨越 确定边的准确位置 2边缘检测算子 几种常用的边缘检测算子梯度算子Roberts算子Prewitt算子Sobel算子Kirsch算子Laplacian算子Marr算子 梯度算子 函数f x y 在 x y 处的梯度为一个向量 f f x f y 计算这个向量的大小为 G f x 2 f y 2 1 2近似为 G fx fy 或G max fx fy 梯度的方向角为 x y tan 1 fy fx 可用下图所示的模板表示 为了检测边缘点 选取适当的阈值T 对梯度图像进行二值化 则有 这样形成了一幅边缘二值图像g x y 特点 仅计算相邻像素的灰度差 对噪声比较敏感 无法抑止噪声的影响 Roberts算子 公式 模板 特点 与梯度算子检测边缘的方法类似 对噪声敏感 但效果较梯度算子略好 Prewitt算子 公式模板 特点 在检测边缘的同时 能抑止噪声的影响 Sobel算子 公式模板特点 对4邻域采用带权方法计算差分能进一步抑止噪声但检测的边缘较宽 Sobel算子 Sobel梯度算子的使用与分析1 直接计算 y x可以检测到边的存在 以及从暗到亮 从亮到暗的变化2 仅计算 x 产生最强的响应是正交于x轴的边 y 则是正交于y轴的边 3 由于微分增强了噪音 平滑效果是Sobel算子特别引人注意的特性 Kirsch算子 方向算子 模板 特点在计算边缘强度的同时可以得到边缘的方向各方向间的夹角为45 分析取其中最大的值作为边缘强度 而将与之对应的方向作为边缘方向 如果取最大值的绝对值为边缘强度 并用考虑最大值符号的方法来确定相应的边缘方向 则考虑到各模板的对称性 只要有前四个模板就可以了 Nevitia算子 拉普拉斯算子 定义 二维函数f x y 的拉普拉斯是一个二阶的微分定义为 2f 2f x2 2f y2 离散形式 模板 可以用多种方式被表示为数字形式 对于一个3x3的区域 经验上被推荐最多的形式是 拉普拉斯算子 定义数字形式的拉普拉斯的基本要求是 作用于中心像素的系数是一个负数 而且其周围像素的系数为正数 系数之和必为0 拉普拉斯算子 拉普拉斯算子的分析 优点 各向同性 线性和位移不变 对细线和孤立点检测效果较好 缺点 对噪音的敏感 对噪声有双倍加强作用 不能检测出边的方向 常产生双像素的边缘 由于梯度算子和Laplace算子都对噪声敏感 因此一般在用它们检测边缘前要先对图像进行平滑 Marr算子 Marr算子是在Laplacian算子的基础上实现的 它得益于对人的视觉机理的研究 有一定的生物学和生理学意义 由于Laplacian算子对噪声比较敏感 为了减少噪声影响 可先对图像进行平滑 然后再用Laplacian算子检测边缘 平滑函数应能反映不同远近的周围点对给定像素具有不同的平滑作用 因此 平滑函数采用正态分布的高斯函数 即 其中 是方差 用h x y 对图像f x y 的平滑可表示为 代表卷积 令r是离原点的径向距离 即r2 x2 y2 对图像g x y 采用Laplacian算子进行边缘检测 可得 这样 利用二阶导数算子过零点的性质 可确定图像中阶跃边缘的位置 称为高斯 拉普拉斯滤波算子 也称为LOG滤波器 或 墨西哥草帽 Marr算子 一维LOG函数及其变换函数 二维LOG函数 Marr算子 由于的平滑性质能减少噪声的影响 所以当边缘模糊或噪声较大时 利用检测过零点能提供较可靠的边缘位置 在该算子中 的选择很重要 小时边缘位置精度高 但边缘细节变化多 大时平滑作用大 但细节损失大 边缘点定位精度低 应根据噪声水平和边缘点定位精度要求适当选取 下面是 10时 Marr算子的模板 Marr算子 a 原图 b 2h结果 c 正值为白 负值为黑 d 过零点 利用 2h检测过零点 曲面拟合法 出发点基于差分检测图像边缘的算子往往对噪声敏感 因此对一些噪声比较严重的图像就难以取得满意的效果 若用平面或高阶曲面来拟合图像中某一小区域的灰度表面 求这个拟合平面或曲面的外法线方向的微分或二阶微分检测边缘 可减少噪声影响 四点拟合灰度表面法用一平面p x y ax by c来拟合空间四邻像素的灰度值f x y f x y 1 f x 1 y f x 1 y 1 定义均方差为 按均方差最小准则 令可解出参数a b c 可推导出 按梯度的定义 由平面p x y ax by c的偏导数很容易求得梯度 a为两行像元平均值的差分 b为两列像元平均值的差分 这种运算可简化为模板求卷积进行 计算a和b对应的模板如下 特点其过程是求平均后再求差分 因而对噪声有抑制作用 梯度算子 Roberts算子 Prewitt算子 Sobel算子 Kirsch算子 原始图像 例子 Laplacian算子 Marr算子 曲面拟合法 例子 梯度算子 Roberts算子 Prewitt算子 Sobel算子 Kirsch算子 原始图像 Laplacian算子 Marr算子 曲面拟合法 3边缘跟踪 出发点由于噪音的原因 边界的特征很少能够被完整地描述 在亮度不一致的地方会中断 因此典型的边检测算法后面总要跟随着连接过程和其它边界检测过程 用来归整边的像素 成为有意义的边 边缘跟踪的概念将检测的边缘点连接成线就是边缘跟踪线是图像的一种中层符号描述由边缘形成线特征的两个过程可构成线特征的边缘提取将边缘连接成线连接边缘的方法光栅跟踪全向跟踪 光栅扫描跟踪 概念是一种采用电视光栅行扫描顺序 结合门限检测 对遇到的像素进行分析 从而确定是否为边缘的跟踪方法 光栅扫描跟踪 具体步骤 1 确定一个比较高的阈值d 把高于该阈值的像素作为对象点 称该阈值为 检测阈值 2 用检测阈值d对图像第一行像素进行检测 凡超过d的点都接受为对象点 并作为下一步跟踪的起始点 3 选取一个比较低的阈值作为跟踪阈值 该阈值可以根据不同准则来选择 例如 取相邻对象点之灰度差的最大值作为跟踪阈值 有时还利用其他参考准则 如梯度方向 对比度等 4 确定跟踪邻域 取像素 i j 的下一个像素 i 1 j 1 i 1 j i 1 j 1 为跟踪邻域 光栅扫描跟踪 5 扫描下一行像素 凡和上一行已检测出来的对像点相邻接的像素 其灰度差小于跟踪阈值的 都接受为对象点 反之去除 6 对于已检测出的某一对象点 如果在下一行跟踪领域中 没有任何一个像素被接受为对象点 那么 这一条曲线的跟踪便可结束 如果同时有两个 甚至三个邻域点均被接受为对象点 则说明曲线发生分支 跟踪将对各分支同时进行 如果若干分支曲线合并成一条曲线 则跟踪可集中于一条曲线上进行 一曲线跟踪结束后 采用类似上述步骤从第一行的其他检出点开始下一条曲线的跟踪 光栅扫描跟踪 7 对于未被接受为对象点的其他各行像素 再次用检测阈值进行检测 并以新检出的点为起始点 重新使用跟踪阈值程序 以检测出不是从第一行开始的其他曲线 8 当扫描完最后一行时 跟踪便可结束 光栅扫描跟踪 光栅扫描跟踪 由结果可以看出 本例原图像中存在着三条曲线 两条从顶端开始 一条从中间开始 然而 如果不用跟踪法 只用一种阈值d或t检测均不能得到满意的结果 光栅扫描跟踪 检测和跟踪所选择的特征可以不是灰度级 而是其他反映局部性质的量 例如对比度 梯度等 此外 每个点所对应的邻域也可以取其他的定义 不一定是紧邻的下一行像素 稍远一些的领域也许对于弥合曲线的间隙更有好处 跟踪准则也可以不仅仅针对每个已检测出的点 而是针对已检出的一组点 这时 可以对先后检出的点赋予不同的权 如后检出的点给以较大的权 而早先检出的点赋予相对小一些的权 利用被检测点性质和已检出点性质的加权均值进行比较 以决定接收或拒绝 总之 应根据具体问题灵活加以运用 光栅扫描跟踪 光栅扫描跟踪和扫描方向有关 因此最好沿其他方向再跟踪一次 例如逆向跟踪 并将两种跟踪的结合综合起来能得到更好的结果 另外 若边缘和光栅扫描方向平行时效果不好 则最好在垂直扫描方向跟踪一次 它相当于把图像转置90o后再进行光栅扫描跟踪 全向跟踪 如果能使跟踪方向不仅局限于逐行 或列 的光栅式扫描 譬如说 在从上而下 或自左而右 的扫描过程中 也可以向上 或向左 跟踪 那么就会克服光栅跟踪依赖于扫描方向的缺点 这可以通过定义不同邻域的方法来实现 同样 如果我们选取的跟踪准则能够辨别远非紧邻的像素 那么光栅跟踪会漏掉平行于扫描方向曲线的缺点也能得到适当地克服 全向跟踪就是跟踪方向可以是任意方向 并且有足够大的跟踪距离的跟踪方法 显然 全向跟踪是改变了邻域定义和跟踪准则的一种光栅跟踪法 全向跟踪 具体步骤 1 按光栅扫描方式对图像进行扫描 用检测阈值找出一个起始跟踪的流动点 沿被检测曲线流动 2 选取一个适当的 能进行全向跟踪的邻域定义 例如八邻域 和一个适当的跟踪准则 例如灰度阈值 对比度和相对流动点的距离等 对流动点进行跟踪 在跟踪过程中 若 全向跟踪 a 遇到了分支点或者若干曲线的交点 即同时有几个点都跟踪一个流动点 则先取其中和当前流动点性质最接近的作为新的流动点 继续进行跟踪 而把其余诸点存储起来 以备后面继续跟踪 如果在跟踪过程中又遇到了新的分支或交叉点 则重复上面的处理步骤 当按照跟踪准则没有未被检测过的点可接受为对象点时 一个分支曲线的跟踪便已结束 b 在一个分支曲线跟踪完毕以后 回到最近的一个分支点处 取出另一个性质最接近该分支点的像素作为新的流动点 重复上述跟踪程序 全向跟踪 c 当全部分支点处的全部待跟踪点均已跟踪完毕 便返回第一步 继续扫描 以选取新的流动点 不应是已接收为对象的点 3 当整幅图像扫描完成时 跟踪程序便结束 全向跟踪 特点 全向跟踪改进了光栅扫描跟踪法 跟踪时把初始点的八邻点全部考虑进行跟踪 4Hough变换检测法 问题的提出Hough变换的基本思想算法实现Hough变换的扩展 4Hough变换检测法 问题的提出在找出边界点集之后 需要连接 形成完整的边界图形描述 基本思想对于边界上的n个点的点集 找出共线的点集和直线方程 对于直角坐标系中的一条直线l 可用 来表示该直线 且直线方程为 其中 为原点到该直线的垂直距离 为垂线与x轴的夹角 这条直线是唯一的 构造一个参数 的平面 从而有如下结论 4Hough变换检测法 对应一条直线 直角坐标系中的一条直线对应极坐标系中的一点 这种线到点的变换就是Hough变换 4Hough变换检测法 基本思想 图像分割 阈值分割法 阈值分割法通过交互方式得到阈值通过直方图得到阈值通过边界特性选择阈值简单全局阈值分割分割连通区域基于多个变量的阈值 图像分割 阈值分割法 阈值分割法阈值分割法的基本思想 确定一个合适的阈值T 阈值选定的好坏是此方法成败的关键 将大于等于阈值的像素作为物体或背景 生成一个二值图像 Iff x y Tset255Elseset0在四邻域中有背景的像素 即是边界像素 0 255 255 0 255 0 255 255 255 图像分割 阈值分割法 阈值分割法阈值分割法的特点 适用于物体与背景有较强对比的情况 重要的是背景或物体的灰度比较单一 可通过先求背景 然后求反得到物体 这种方法总可以得到封闭且连通区域的边界 灰度值 f x0 y0 T 图像分割 阈值分割法 通过交互方式得到阈值基本思想 在通过交互方式下 得到对象 或背景 的灰度值 比得到阈值T容易得多 假设 对象的灰度值 也称样点值 为f x0 y0 且 T f x0 y0 R有 f x y Tf x y f x0 y0 R f x y f x0 y0 R其中R是容忍度 可通过试探获得 图像分割 阈值分割法 通过交互方式得到阈值实施方法 1 通过光标获得样点值f x0 y0 2 选取容忍度R 3 if f x y f x0 y0 Rset255elseset0 图像分割 阈值分割法 通过直方图得到阈值基本思想边界上的点的灰度值出现次数较少 T 图像分割 阈值分割法 通过直方图得到阈值取值的方法 取直方图谷底 为最小值的灰度值为阈值T缺点 会受到噪音的干扰 最小值不是预期的阈值 而偏离期望的值 改进 取两个峰值之间某个固定位置 如中间位置上 由于峰值代表的是区域内外的典型值 一般情况下 比选谷底更可靠 可排除噪音的干扰 图像分割 阈值分割法 通过直方图得到阈值 T 图像分割 阈值分割法 通过直方图得到阈值对噪音的处理对直方图进行平滑处理 如最小二乘法 等不过点插值 图像分割 阈值分割法 通过边界特性选择阈值基本思想 如果直方图的各个波峰很高 很窄 对称 且被很深的波谷分开时 有利于选择阈值 为了改善直方图的波峰形状 我们只把区域边缘的像素绘入直方图 而不考虑区域中间的像素 用微分算子 处理图像 使图像只剩下边界中心两边的值 图像分割 阈值分割法 通过边界特性选择阈值基本思想 这种方法有以下优点 1 在前景和背景所占区域面积差别很大时 不会造一个灰度级的波峰过高 而另一个过低2 边缘上的点在区域内还是区域外的概率是相等的 因此可以增加波峰的对称性3 基于梯度和拉普拉斯算子选择的像素 可以增加波峰的高度 图像分割 阈值分割法 通过边界特性选择阈值算法的实现 1 对图像进行梯度计算 得到梯度图像 2 得到梯度值最大的那一部分 比如10 的像素直方图3 通过直方图的谷底 得到阈值T 如果用拉普拉斯算子 不通过直方图 直接得到阈值 方法是使用拉普拉斯算子过滤图像 将0跨越点对应的灰度值为阈值T 图像分割 阈值分割法 简单全局阈值分割基本思想 用前述方法获得阈值T 并产生一个二值图 区分出前景对象和背景算法实现 规定一个阈值T 逐行扫描图像 凡灰度级大于T的 颜色置为255 凡灰度级小于T的 颜色置为0 适用场合 明度图像是可以控制的情况 例如用于工业监测系统中 图像分割 阈值分割法 分割连通区域基本思想 用前述方法获得阈值T 并产生一个二值图 区分出单独的连通前景对象和背景区域算法实现 规定一个阈值T 上下左右4个方向进行逐行扫描图像凡灰度级大于T的 颜色置为255 凡灰度级小于T的 颜色置为0 图像分割 阈值分割法 分割连通区域适用场合 印前等 先左后右 先上半部分 后下半部分 图像分割 阈值分割法 基于多个变量的阈值基本思想 把前面的方法扩展到多维空间 则寻找波谷的过程 变为寻找点簇的过程 算法实现 各维分量波谷之间进行逻辑与运算 从波谷重合的点 得到实际的阈值T 应用场合 有多个分量的颜色模型 如RGB模型 CMYK模型 HSI模型 图像分割 面向区域的分割 面向区域的分割基本概念通过像素集合的区域增长区域分裂与合并 图像分割 面向区域的分割 基本概念目标 将区域R划分为若干个子区域R1 R2 Rn 这些子区域满足5个条件 1 完备性 2 连通性 每个Ri都是一个连通区域3 独立性 对于任意i j Ri Rj 图像分割 面向区域的分割 基本概念4 单一性 每个区域内的灰度级相等 P Ri TRUE i 1 2 n5 互斥性 任两个区域的灰度级不等 P Ri Rj FALSE i j 图像分割 面向区域的分割 通过像素集合的区域增长算法实现 1 根据图像的不同应用选择一个或一组种子 它或者是最亮或最暗的点 或者是位于点簇中心的点 2 选择一个描述符 条件 3 从该种子开始向外扩张 首先把种子像素加入集合 然后不断将与集合中各个像素连通 且满足描述符的像素加入集合4 上一过程进行到不再有满足条件的新结点加入集合为止 图像分割 面向区域的分割 通过像素集合的区域增长算法实现 区域A 区域B 种子像素 种子像素 图像分割 面向区域的分割 区域分裂与合并算法实现 1 对于图像中灰度级不同的区域 均分为四个子区域 2 如果相邻的子区域所有像素的灰度级相同 则将其合并 3 反复进行上两步操作 直至不再有新的分裂与合并为止 图像分割 面向区域的分割 区域分裂与合并算法实现 图像分割 面向区域的分割 区域分裂与合并算法实现 实际应用中还可作以下修改 P Ri 的定义为 1 区域内多于80 的像素满足不等式 zj mi 2 i 其中 zj是区域Ri中第j个点的灰度级 mi是该区域的平均灰度级 i是区域的灰度级的标准方差 2 当P Ri TRUE时 将区域内所有像素的灰度级置为mi 图像分割 数学形态学图像处理 数学形态学图像处理基本概念腐蚀与膨胀开 闭运算变体 图像分割 数学形态学图像处理 基本概念结构元素与图像进行逻辑运算 产生新的图像的图像处理方法 集合概念上的二值图像 二值图像B和结构元素S是定义在笛卡儿网格上的集合 网格中值为1的点是集合的元素当结构元素的原点移到点 x y 时 记为Sxy为简单起见 结构元素为3x3 且全都为1 在这种限制下 决定输出结果的是逻辑运算 基本概念结构元素S 图像分割 数学形态学图像处理 1