图像分割-第1讲.ppt

1 数字图像处理 2 实验报告 1 4次实验报告 2 课程结束后专业长统一交 3 内容回顾 图像编码与压缩 4 1概述 基础知识4 2统计编码 Huffman编码 算术编码 行程长度编码4 3预测编码4 4变换编码4 5图像编码的国际标准 JPEG4 6LZW编码 4 第五章图形分割 1 掌握图像分割的概念和边缘检测原理与方法 2 掌握Hough变换检测直线原理 了解Hough变换检测曲线方法 3 掌握最简单图像区域分割 了解区域生长和分裂合并法 讲解内容 1 图像分割的概念与方法分类2 边缘检测3 边缘跟踪4 Hough变换检测法5 区域分割6 区域生长7 分裂合并法 目的 5 5 1概述 图像处理的三个层次 图像处理 图像分析 图像理解 6 图像分析的步骤 1 把图像分割成不同的区域或把不同的对象分开 2 找出分开的各区域的特征 3 识别图像中要找的对象或对图像进行分类 4 对不同区域进行描述或寻找出不同区域的相互联系 进而找出相似结构或将相关区域连成一个有意义的结构 相互连通的 有一致属性的像素的集合 7 图像分割的概念把图像分成互不重叠的区域并提取感兴趣目标的技术 8 令集合R代表整个图像区域 对R的分割可看作将R分成N个满足以下五个条件的非空子集 子区域 R1 R2 RN 1 2 对所有的i和j i j 有Ri Rj 3 对i 1 2 N 有P Ri TRUE 4 对i j 有P Ri Rj FALSE 5 对i 1 2 N Ri是连通的区域 其中P Ri 是对所有在集合Ri中元素的逻辑谓词 代表空集 图像分割的定义 为了确定两个像素是否连通 必须确定它们是否相邻以及其灰度值是否满足特定的相似性准则 9 图像分割的基本策略分割算法基于灰度值的两个基本特性 不连续性和相似性检测图像像素灰度级的不连续性 找到点 线 宽度为1 边 不定宽度 先找边 后确定区域 10 检测图像像素灰度值的相似性 通过选择阈值 找到灰度值相似的区域 区域的外轮廓就是对象的边 11 图像分割的方法基于边缘的分割方法先提取区域边界 再确定边界限定的区域 区域分割从图像出发 确定每个像素的归属区域 从而形成一个区域图 区域增长从像素出发 将属性接近的连通像素聚集成区域分裂 合并分割综合利用前两种方法 既存在图像的划分 又有图像的合并 12 边缘的定义 图像中像素灰度有阶跃变化或屋顶变化的那些像素的集合边缘的分类阶跃状屋顶状 5 2边缘检测算子 13 阶跃状 屋顶状 14 阶跃状 屋顶状 15 基本思想 计算局部微分算子 一阶微分 截面图 边界图像 16 几种常用的边缘检测算子梯度算子Roberts算子Prewitt算子Sobel算子方向算子Laplacian算子Marr算子 一阶微分算子 二阶微分算子 17 函数f x y 在 x y 处的梯度为一个向量 f f x f y 计算这个向量的大小为 G f x 2 f y 2 1 2近似为 G fx fy 或G max fx fy 梯度的方向角为 x y tan 1 fy fx 5 2 1梯度算子 可用下图所示的模板表示 18 特点 仅计算相邻像素的灰度差 对噪声比较敏感 无法抑止噪声的影响 为了检测边缘点 选取适当的阈值T 对梯度图像进行二值化 则有 这样形成了一幅边缘二值图像g x y 5 2 1 1 19 5 2 2Roberts算子 公式 模板 特点 与梯度算子检测边缘的方法类似 对噪声敏感 但效果较梯度算子略好 模板尺寸为偶数 中心位置不明显 20 5 2 3Prewitt算子 特点 引入平均因素 对噪音有抑制作用 操作简便 模板 公式 21 特点 引入了平均因素 增强了最近像素的影响 能进一步抑止噪声 模板 公式 5 2 4Sobel算子 22 Sobel梯度算子的使用与分析 2 仅计算 x 产生最强的响应是正交于x轴的边 y 则是正交于y轴的边 1 直接计算 y x 可检测边的存在 以及从暗到亮 从亮到暗的变化 3 由于微分增强了噪音 平滑效果是Sobel算子特别引人注意的特性 Sobel算子垂直方向输出图像 Sobel算子水平方向输出图像 23 5 2 5方向算子 模板 Kirsch算子 24 分析取其中最大的值作为边缘强度 而将与之对应的方向作为边缘方向 如果取最大值的绝对值为边缘强度 并用考虑最大值符号的方法来确定相应的边缘方向 则考虑到各模板的对称性 只要有前四个模板就可以了 特点在计算边缘强度的同时可以得到边缘的方向 各方向间的夹角为45 25 Nevitia算子 前6个模板 26 定义 二维函数f x y 的拉普拉斯是一个二阶的微分定义为 2f 2f x2 2f y2 离散形式 5 2 6Laplacian算子 27 定义数字形式的拉普拉斯的基本要求 作用于中心像素的系数是一个负数 而且其周围像素的系数为正数 系数之和必为0 可以用多种方式被表示为数字形式 对于一个3x3的区域 经验上被推荐最多的形式是 模板 28 拉普拉斯算子的分析 优点 各向同性 线性和位移不变的 对细线和孤立点检测效果较好 缺点 对噪音敏感 对噪声有双倍加强作用 不能检测出边的方向 注 由于梯度算子和Laplace算子都对噪声敏感 因此一般在用它们检测边缘前要先对图像进行平滑 29 Marr算子是在Laplacian算子的基础上实现的 它得益于对人的视觉机理的研究 有一定的生物学和生理学意义 5 2 7马尔 Marr 算子 DavidMarr 英国人 Marr早年就读于剑桥大学 获得数学硕士 神经生理学博士学位 同时还受过神经解剖学 心理学 生物化学等方面的严格训练 在美国麻省理工学院人工智能实验室工作 1973 1977年 兼任该校心理系教授 他是视觉计算理论 computationaltheoryofvision 的创始人 马尔认为 视觉就是要对外部世界的图像 image 构成有效的符号描述 它的核心问题是要从图像的结构推导出外部世界的结构 视觉从图像开始 经过一系列的处理和转换 最后达到对外部现实世界的认识 D Marr Vision FreemanandCompany Oxford 1982 30 由于Laplacian算子对噪声比较敏感 为了减少噪声影响 可先对图像进行平滑 然后再用Laplacian算子检测边缘 平滑函数应能反映不同远近的周围点对给定像素具有不同的平滑作用 因此 平滑函数采用正态分布的高斯函数 即 5 2 7马尔 Marr 算子 其中 是方差 31 用h x y 对图像f x y 的平滑可表示为 令r是离原点的径向距离 即r2 x2 y2 对图像g x y 采用Laplacian算子进行边缘检测 可得 这样 利用二阶导数算子过零点的性质 可确定图像中阶跃边缘的位置 称为高斯 拉普拉斯滤波算子 LaplacianofaGaussian 简称LoG 也称为LoG滤波器 或 墨西哥草帽 是一个轴对称函数 32 LOG函数的剖面和对应的转移函数H w 33 由于平滑性质能减少噪声的影响 所以当边缘模糊或噪声较大时 利用检测过零点能提供较可靠的边缘位置 在该算子中 的选择很重要 小时边缘位置精度高 但边缘细节变化多 大时平滑作用大 但细节损失大 边缘点定位精度低 应根据噪声水平和边缘点定位精度要求适当选取 34 10时 Marr算子的模板 35 a 原图 b 2h结果 c 正值为白 负值为黑 d 过零点 例 利用 2h检测过零点 利用的是二阶导数算子过零点的性质来得到图像的边缘 变化最明显的地方 36 出发点 5 3边缘跟踪 因此典型的边缘检测算法后面总要跟随着连接过程和其它边界检测过程 用来归整边像素 成为有意义的边 由于噪音的原因 边界的特征很少能够被完整地描述 在亮度不一致的地方会中断 没有形成分割区域所需的闭合边界 37 边缘跟踪的概念将检测的边缘点连接成线就是边缘跟踪由边缘形成线特征的两个过程可构成线特征的边缘点的提取将边缘点连接成线连接边缘的方法光栅跟踪全向跟踪 38 概念是一种采用电视光栅行扫描顺序 结合门限检测 对遇到的像素进行分析 从而确定是否为边缘的跟踪方法 5 3 1光栅扫描跟踪 具体步骤 1 确定一个比较高的阈值d 把高于该阈值的像素作为对象点 称该阈值为 检测阈值 2 用检测阈值d对图像第一行像素进行检测 凡超过d的点都接受为对象点 并作为下一步跟踪的起始点 3 选取一个比较低的阈值作为跟踪阈值t 该阈值可以根据不同准则来选择 例如 取相邻对象点之灰度差的最大值作为跟踪阈值 有时还利用其他参考准则 如梯度方向 对比度等 39 4 确定跟踪邻域 取像素 i j 的下一行像素 i 1 j 1 i 1 j i 1 j 1 为跟踪邻域 5 扫描下一行像素 凡和上一行已检测出来的对像点相邻接的像素 其灰度差小于跟踪阈值t的 都接受为对象点 反之去除 6 对于已检测出的某一对象点 如果在下一行跟踪邻域中 没有任何一个像素被接受为对象点 那么 这一条曲线的跟踪便可结束 如果同时有两个 甚至三个邻域点均被接受为对象点 则说明曲线发生分支 跟踪将对各分支同时进行 如果若干分支曲线合并成一条曲线 则跟踪可集中于一条曲线上进行 一曲线跟踪结束后 采用类似上述步骤从第一行的其他检出点开始下一条曲线的跟踪 40 7 对于未被接受为对象点的其他各行像素 再次用检测阈值进行检测 并以新检出的点为起始点 重新使用跟踪阈值程序 以检测出不是从第一行开始的其他曲线 8 当扫描完最后一行时 跟踪便可结束 41 d 7 t 4 举例 由结果可以看出 本例原图像中存在着三条曲线 两条从顶端开始 一条从中间开始 然而 如果不用跟踪法 只用一种阈值d或t检测均不能得到满意的结果 42 检测和跟踪所选择的特征可以不是灰度级 而是其他反映局部性质的量 例如对比度 梯度等 此外 每个点所对应的邻域也可以取其他的定义 不一定是紧邻的下一行像素 稍远一些的领域也许对于弥合曲线的间隙更有好处 跟踪准则也可以不仅仅针对每个已检测出的点 而是针对已检出的一组点 这时 可以对先后检出的点赋予不同的权 如后检出的点给以较大的权 而早先检出的点赋予相对小一些的权 利用被检测点性质和已检出点性质的加权均值进行比较 以决定接收或拒绝 光栅扫描跟踪和扫描方向有关 因此最好沿其他方向再跟踪一次 例如逆向跟踪 并将两种跟踪的结合综合起来能得到更好的结果 另外 若边缘和光栅扫描方向平行时效果不好 则最好在垂直扫描方向跟踪一次 它相当于把图像转置90o后再进行光栅扫描跟踪 43 如果能使跟踪方向不仅局限于逐行 或列 的光栅式扫描 譬如说 在从上而下 或自左而右 的扫描过程中 也可以向上 或向左 跟踪 那么就会克服光栅跟踪依赖于扫描方向的缺点 这可以通过定义不同邻域的方法来实现 同样 如果我们选取的跟踪准则能够辨别远非紧邻的像素 那么光栅跟踪会漏掉平行于扫描方向曲线的缺点也能得到适当地克服 全向跟踪就是跟踪方向可以是任意方向 并且有足够大的跟踪距离的跟踪方法 显然 全向跟踪是改变了邻域定义和跟踪准则的一种光栅跟踪法 5 3 2全向跟踪 44 具体步骤 1 按光栅扫描方式对图像进行扫描 用检测阈值找出一个起始跟踪的流动点 沿被检测曲线流动 2 选取一个适当的 能进行全向跟踪的邻域定义 例如八邻域 和一个适当的跟踪准则 例如灰度阈值 对比度和相对流动点的距离等 对流动点进行跟踪 在跟踪过程中 若 a 遇到了分支点或者若干曲线的交点 即同时有几个点都跟踪一个流动点 则先取其中和当前流动点性质最接近的作为新的流动点 继续进行跟踪 而把其余诸点存储起来 以备后面继续跟踪 如果在跟踪过程中又遇到了新的分支或交叉点 则重复上面的处理步骤 当按照跟踪准则没有未被检测过的点可接受为对象点时 一个分支曲线的跟踪便已结束 45 b 在一个分支曲线跟踪完毕以后 回到最近的一个分支点处 取出另一个性质最接近该分支点的像素作为新的流动点 重复上述跟踪程序 c 当全部分支点处的全部待跟踪点均已跟踪完毕 便返回第一步 继续扫描 以选取新的流动点 不应是已接收为对象的点 3 当整幅图像扫描完成时 跟踪程序便结束 特点 全向跟踪改进了光栅扫描跟踪法 跟踪时把初始点的八邻点全部考虑进行跟踪 46 Canny算子 根据边缘检测的有效性和定位的可靠性 评价边缘检测性能优劣的三个指标 好的信噪比 将非边缘点判为边缘点的概率要低 反之亦然 好的定位性能 检测出的边缘点要尽可能在实际边缘中心 单一边缘仅有唯一响应 单个边缘产生多个响应的概率要低 且虚假响应边界得到最大抑制 最优边缘检测算子 Canny算子 其中 高斯函数 高斯函数的一阶导数 47 1 高斯平滑 使用高斯滤波器对图像进行滤波 去除图像中的噪声 Canny算子的具体算法步骤 2 高斯滤波 使用高斯算子的一阶微分对图像进行滤波 得到每个图像的梯度强度和方向 3 对梯度进行 非极大值抑制 梯度的方向被定义如图所示 标识为1 2 3 4的属于4个区之一 各个区使用不同的邻近像素来进行比较 决定局部极大值 邻近像素关系示意图 48 5 链接边缘对图像2进行扫描 当遇到一个非零灰度的像素P时 跟踪以P为开始点的轮廓线 直到轮廓线的终点Q 考察图像1中与图像2中Q点位置对应的点Q 的8邻域 如果在Q 点的8邻域中有非零像素R 存在 则将其包括到图像2中 作为R点 从R点开始 重复第一步 直到我们在图像1和图像2中都无法继续为止 当完成对包含P的轮廓线的连接后 将这条轮廓线标记为已访问 回到第一步 寻找下一条轮廓线 重复上述步骤 直到图像2中找不到新的轮廓线为止 至此 完成Canny算子的边缘检测 4 对梯度取两次阈值 即取阈值Th1和Th2 两者的关系是Th1 0 4Th2 首