第八章图像分割与描述1

1、数字图像处理与数字图像处理与分析基础分析基础第八章第八章 图像分割与描述图像分割与描述数字图像处理与分析基础内容摘要图像的分割与描述是在图像预处理的基础上对信息进行组织与加工，它是实现图像自动识别与理解的必不可少的过程，是计算机视觉的中间层次。本章的内容对拓展编码算法的设计思路也很有启发作用。图像的分割算法介绍基于灰度的分割算法和基于梯度的分割算法两大类，这两类算法分别利用了图像的区域相关性和点相关性，在此基础上拓展到彩色图像分割。图像的描述方法很多，本文介绍了链码描述子、傅立叶描述子以及矩描述子三种基本手段。描述手段与分割策略应当统一考虑。数字图像处理与分析基础第八章第八章 图像分析基础图像

2、分析基础Image Analysis theoryn1、图像分割n2、图像描述数字图像处理与分析基础8.1 图像分割 Image Segmentationn1、概述和分类n2、基于灰度的分割技术n3、基于梯度的分割技术n4、彩色图像分割技术n5、分割评价数字图像处理与分析基础7.1.1 概述与分类General Introduction and Classificationn图像分量以及相互关系图像分量以及相互关系n图像分析与理解、自动景物分析、模式图像分析与理解、自动景物分析、模式识别识别n机器抽取信息机器抽取信息数字图像处理与分析基础图像分割n定义：把图像中有意义的区域与背景分离开，并按其

3、不同的内涵将它们分割开。n“区域”是图像中相邻的具有类似性质的点组成的集合。同一区域（region）中的像素是相邻的，就是说区域是像素的连通集。“连通”（connectedness）的定义为：在连通集的任意两个像素间，存在一个完全由这个集合中的元素构成的路径。同一区域中的任意两个像素间至少存在一条连通路径。数字图像处理与分析基础。连通性有两种度量准则，如果只依据四邻域（上下左右）确定连通，就称为4连通（four-connectivity），物体也被称为是4连通的。如果依据八邻域（加上四个对角像素）确定连通，就称为8连通（eight-connectivity）。在同一类问题的处理中，应当采用一致

4、的准则。通常8连通的结果误差小，与人的感觉更相近。 “同质同质”分割依据：灰度、颜色、纹理、灰度变化分割结果分割结果 以区域的边界坐标表示数字图像处理与分析基础分割方法分类n从分割依据出发“相似性分割”就是将具有同一灰度级或纹理的像素聚集在一起，形成图像中的不同区域。这种基于相似性原理的方法常称为“基于区域相关的分割技术”“非连续性分割”需要先检测图像的局部不连续性，然后将它们连接起来形成边界，这些边界将图像分割成不同的区域。这种基于不连续原理检测图像中物体边缘的方法也称为“基于点相关的分割技术”。这两种方法具有互补性，一般来说在不同的场合需要不同的方法，有时也将它们的处理结果相结合，以获得更

5、好的效果。n根据分割算法本身阈值法、边缘检测法、匹配法等数字图像处理与分析基础路(a)路路(b)图 分割的两种方法分割AA1A2A3CC1C2C3C4C5BB1B2B3B4(0,0)(511,0)(511,511)(0,511)xy原图对象坐标点AA1 A2 A3BB1 B2 B3 B4CC1 C2 C3 C4 C5分割结果图7-3图像与分割结果数字图像处理与分析基础图像分块化对象1对象n特征集特征集描述1描述2描述3分块化和描述数字图像处理与分析基础8.1.21基于灰度的分割（区域相关技术）n两大类是基于阈值分割的技术是基于灰度均匀性的区域分裂合并算法。n阈值分割算法实施时各像素间无相关性，

6、原图像可以分成几部分同时进行分割，又称为并行区域技术（Region-Based Parallel Techniques）。n区域分裂合并算法实施时，要利用像素间的相关性，是一种串行区域技术。数字图像处理与分析基础并行区域技术n1、原理和分类n2、依赖像素的阈值选取n3、依赖区域的阈值选取Region-Based Parallel Techniques数字图像处理与分析基础图像阈值分割（Image Segmentation ：Thresholding）n最常用的图像分割技术n主要利用图像中背景与对象之间的灰度差异。n理想状态下，背景与对象之间的灰度值应当差异很大，且同一个对象具有基本相同的灰度值

7、。体现在图像的灰度直方图上，就是直方图呈明显的双峰分布，两类物体灰度级间无交叠。在直方图中处于谷底的区域选取一个灰度值作为阈值，根据灰度与阈值的关系将像素判定为对象点或背景点，这个过程称为图像二值化。对二值图像进行进一步的分析就可以获得图像的分割结果。数字图像处理与分析基础二值化设f(x,y)表示原图像，g(x,y)表示分割后的图像，T为选定的灰度阈值，分割算法表示为 TyxfTyxfyxg),( , 0),( , 1),(或TyxfTyxfyxg),( , 0),( , 1),(其中：“1”表示物体（对象、目标）， “0”表示背景。数字图像处理与分析基础多阈值二值化有时对象的灰度分布相对集中

8、，而背景的灰度分布很散，就需要设置两个灰度阈值T1、T2, T1T2，这两个阈值间的灰度范围都对应于对象，即：其它 , 0),( , 1),(21TyxfTyxg数字图像处理与分析基础1 1 1 1 1 1 1 1 1 4 5 6 5 6 5 1 1 5 7 8 8 8 6 1 1 6 8 8 8 7 6 1 1 5 7 8 8 8 6 1 1 4 8 7 7 7 6 1 1 6 5 4 5 6 5 1 1 1 1 1 1 1 1 1 0 1 2 3 4 5 6 7 8 灰度级201030象素点(a)(b)Th=4Th=7(c)图8-1 灰度取域法，阈值对分割结果影响很大（a）数字图像 （b）

9、直方图（c）取阈结果Th=4,Th=7数字图像处理与分析基础1、极小值点阈值、极小值点阈值h(z)直方图0)( , 0)(22zzhzzh20世纪60年代中期，Prewitt提出了“直方图双峰法”，如果灰度直方图呈现明显的双峰状，则选取两峰之间的谷底对应的灰度级作为阈值。谷底就是直方图的极小值。将各端点相连，形成直方图的包络线h(z)，这是一条曲线，它的极小值满足 数字图像处理与分析基础T=120（a）原图 （b）直方图 （c）二值化结果图8-2 Rice图像双峰法分割数字图像处理与分析基础2、最优阈值法利用图像的先验知识，即图像中对象和背景的灰度分布规律，在误差率最小的原则下计算合理阈值。

10、数字图像处理与分析基础最优阈值算法设图像由两类对象1、 2组成，它们的条件概率分别为：P(x/ 1)、P(x/ 2 ),其中x是灰度级，T是阈值二值化判断： xT,x 2； x2sfk 是fk周围的象素灰度。搜索循环 核心坐标 核平均值 接受象素fk区域 1 G 9 C,F,K C-F-G-K 2 C-F-G-K 8.25 H C-F-G-K-H 3 C-F-G-K-H 8.0 C-F-G-K-Hx,y两方向进行，核心不变时完成。人机交互数字图像处理与分析基础讨论讨论1、该算法由于利用了区域的灰度均值，算法的抗干扰性能好，尤其对白噪声图像分割效果改善明显。2、如果区域间边缘的灰度变化很平缓，或

11、者两个区域对比度弱，会将不同的区域合并。改善的方法是增加区域的均匀性测度度量。TyxfkHifyxi),(max),(2式中T为一阈值。本例中应当要求T2。 3、区域增长的两个决定性因素是区域的核心（代表区域的起始点或点集），区域的均匀性测度以及阈值。数字图像处理与分析基础图图8-6 增长核心不同、阈值不同，增长核心不同、阈值不同，区域增长的结果就不同区域增长的结果就不同5 5 8 64 8 9 72 2 8 53 3 3 35 5 8 64 8 9 72 2 8 53 3 3 35 5 8 64 8 9 72 2 8 53 3 3 3(a)ki=9，T=2(b)ki=7，T=2( c ) k

12、i= 9，T=2.5数字图像处理与分析基础初分实验1（H0+H1）VsH2中间分块结果实验2H0VsH2近似边界获得曲线拟合结果分裂、混合算法3图像0121011 1213图像四叉树结构02310131112 2 分裂、混合算法分裂、混合算法数字图像处理与分析基础图8-7（a）金字塔数据结构在金字塔数据结构中，对于2N2N的数字图像若用n表示其层次，则第n层上图像的大小为2N-n2N-n，因此最底层，即第0层就是原始图像，最顶层就是第N层，只有一个点。四叉树第n层上共有4n个节点。数字图像处理与分析基础区域的分裂区域的分裂合并算法合并算法1）确定区域同质准则H；2）将原始图像按照四份一级等分，

13、至一个合理的中间层次n（不必要将图像分成N级）；3）做所有区域R的均匀性检验，如果H(R)=false，则将该区域分裂成四个大小相等的子区域，若任一子区域Ri满足H(Ri)=false，则继续分裂此子区域，直至这一分枝上树结构到达它的底层树叶，分裂不能继续为止；如果H(Ri)=true，则该区域不需要再分裂，进入树结构上下一个区域的分析。4）回溯合并环节：对相邻的两个区域Ri和Rj，若满足H(RiRj)=true，说明这两个区域同质，则合并这两个区域。Ri和Rj不要求大小相同，但要求它们相邻。数字图像处理与分析基础分裂合并算法5）回溯结束后，分析面积很小的零星区域与相邻大区域的相似程度，将它们

14、归于相似性大的区域。6）在5）完成后可以得到近似的边界，由于是在各种方块组合的基础上得到的，是一条锯齿形的线，还需要经过曲线拟合得到光滑的分界线。由Horowtiz和Pavlids提出，最早使用的同质判断准则是区域的最大与最小灰度值的差是否足够小，后来发展到统计检验和模型拟合等，如均方误差最小、F检验等。这种算法还允许采用纹理、空间和几何结构等基于区域分析的特征量。 数字图像处理与分析基础数字图像处理与分析基础8.1.2基于梯度的分割（点相关技术）基于梯度的分割（点相关技术） 根据灰度梯度的变化规律检测出物体的边缘，将边缘闭合形成物体的边界，进而分割区域。此类技术属于并行边界技术(Bounda

15、ry-Based Parallel Technique)（a）（b）图8-9 边缘检测划分区域数字图像处理与分析基础主要内容n1、边缘检测n2、微分算子n3、边界闭合n4、Hough变换n5、模板匹配数字图像处理与分析基础1、边缘检测相邻区域灰度值不同图像灰度剖面一阶导数数字图像处理与分析基础微分算子1、梯度算子梯度算子：Gf(x,y)=f/ x, f/ yT)21,( ,1-1 ),1,(),()(),21( , 1 1- ), 1(),()(),(),(yxyxfyxffyxyxfyxffyxyyxx),( ,1-01 ),1,(),()(),( , 1 0 1- ), 1(),()(),

16、(),(yxyxfyxffyxyxfyxffyxyyxx)21,21( ,01-10 ), 1() 1,()()21,21( ,1001- ),() 1, 1()(),(),(yxyxfyxffyxyxfyxffyxyyxx数字图像处理与分析基础2/122),(),(yxfyxfGf(x,y)yx),(/ ),(yxfyxfarctgf(x,y)xy| ),(| ),(|),(yxfyxfyxfGyx|),(| |,),(max(|),(yxfyxfyxfGyx|),(| |,),(max(|yxfyxfyx2/122),(),(yxfyxfyx| ),(| ),(|yxfyxfyx|),(|

17、 ),(|yxfyxfyx/22/122),(),(yxfyxfyx2|),(| |,),(max(|yxfyxfyx 数字图像处理与分析基础典型算子1-11-1Roberts-1-1-1111-1-1-1111-1-2-1121-1-12-211PrewittSobel0-10-14-10-10-1-1-1-18-1-1-1-1两种常用的Laplacian算子数字图像处理与分析基础111111111平均子空间基10-1d0-d10-101-d-101d-101d1000-1-d-1d-10-10101-d边缘子空间基对称梯度波纹0-101010-101-21-24-21-21-1010001

18、0-1-21-2141-212直线子空间基直线Laplacian综合正交算子的模板数字图像处理与分析基础提取边缘策略这几种算子都能实现中心定位，但对噪声都比较敏感，尤其是Laplacian算子，它是二阶微分算子，对噪声的放大能力更强于其它的一阶微分算子，不利于边缘分析。实用的策略是应当先对图像去噪声。若先对图像平滑处理，抑制噪声，再求微分，则为Marr、Canny等算子；若对图像进行局部线形拟合，再用拟合得到的光滑函数的导数代替直接的数值导数，则为Facet模型检测边缘算子。 数字图像处理与分析基础MARR算子)(21exp21),(2222yxyxGfs(x,y)= f(x,y)* G(x,

19、y,) 取高斯滤波器作平滑滤波，可以使频域具有通带窄、空域方差小的最佳特点。),(*),(),(*),(),(222yxGyxfyxGyxfyxfs)(21exp) 12(1),(222222422222yxyxyGxGyxG马尔和希尔德雷斯（Hildreth）提出的最佳边缘检测算子（简称M-H算子，常称为Marr算子）。连接零交叉点的轨迹，就可以得到图像的边缘。 数字图像处理与分析基础M-H算子具有明显的优点算子具有明显的优点（1）该滤波器中的高斯函数部分可以对图像进行平滑，消除图像中尺度变化小于滤波参数的噪声或不必要的细节。而高斯函数在空域与频域具有相同的形式与性质，都是平滑的、定域的，基

20、本上不会引入在原始图像中未出现的变化。（2）采用拉普拉斯算子不仅减少了计算量，而且保证了各向同性。（3）滤波参数可调，能够在任何需要的尺度上工作。大的滤波器可以用来检测图像的模糊边缘，小的滤波器可以用来检测聚焦良好的图像细节。数字图像处理与分析基础如何评价边缘算子的性能呢如何评价边缘算子的性能呢Canny（坎尼）提出了三个指标：（1）好的性噪比，即将非边缘点判为边缘点的概率要低，将边缘点判为非边缘点的概率也要低；（2）好的定位能力，即检测的边缘点要尽可能在实际边缘的中心；（3）对单一的边缘仅有唯一的响应，即单个边缘产生多个相应的概率要低，并且虚假边缘要得到最大的抑制。因此设计最佳边缘算子是非常

21、困难的，目前Canny给出了阶跃边缘的最佳边缘算子的形式，但计算量非常大。数字图像处理与分析基础Canny算子设计过程算子设计过程二维高斯函数为)(21exp21),(2222yxyxG)()()2exp()2exp(212222yhxhyxkxxG)()()2exp()2exp(212222xhyhxykyyG)2exp()( ),2exp()(222221xkxhxxkxh数字图像处理与分析基础)2exp()( ),2exp()(222221ykyhyykyh可见 h1(x)=xh2(x), h1(y)=yh2(y), k为常数 将偏微分方程分别与图像f(x,y)进行卷积，得到方向微分输出

22、 ),(* ),(*yxfyGEyxfxGEyx),(),(),(),(),(),(22jiEjiEarctgjijiEjiEjiAxyyxA(i,j)是灰度梯度模值，反映了图像上点（i,j）处的灰度变化强度， 是梯度方向，反映了该点处的灰度变化最快的方向，即该点的法向矢量（正交于边缘方向的方向）。),(ji数字图像处理与分析基础1、该点的A(i,j)大于位于该点梯度方向的两个相邻像素的梯度值；2、与该点梯度方向一致的相邻两点的梯度方向差小于45。3、以该点为中心的33邻域中的的极大值小于某个阈值。如果条件（1）、（2）同时满足，那么在梯度方向上的两个相邻像素就从候选边缘点集合中取消，这样可以

23、减少运算量。条件（3）相当于用区域梯度最大值组成的阈值图像与边缘点进行匹配，这一过程可以消除虚假的边缘点。 根据Canny的定义，当一个像素满足下面三个条件时就被认为是图像的边缘像素 数字图像处理与分析基础图8-12 Canny算子与Marr算子比较（a）原图 （b）Marr算子结果 （c）Canny算子结果数字图像处理与分析基础边界闭合局部处理Ttsfyxf),(),(Atsyx),(),(相邻的两个像素(s,t)与(x,y)，若它们的梯度的幅度与方向分别满足下列2条件：数字图像处理与分析基础边缘连接Hough变换Hough变换Hough，1962是一种基于图像全局分割结果的边缘连接技术，它

24、抗干扰能力强，能检测出任意形状的曲线，即使线上有许多的断裂，因此在图像分析的预处理中获得广泛应用。下面只介绍检测直线的经典方法。设图像空间（x,y）中的一条直线的方程为：y=u0 x+v0式中u0为斜率，v0为截距。那么对于直线上的任意一点pi(xi,yi)，它在由斜率和截距组成的变换空间（u,v）中将满足方程式：v=-xiu+yi 数字图像处理与分析基础图图8-13 直线的直线的Hough变换变换y=u0 x+v0P2P10yx0(u0,v0)v =-uxi + yivu数字图像处理与分析基础直线的极坐标方程为：=xcos+ysin表示图像坐标原点到直线的距离，是该直线的法线与x轴的交角。由

25、、可以唯一地确定一条直线。对于（x,y）空间的任意一点（xi,yi），采用极坐标（,）作为变换空间，其变换方程为：=xicos+yisin (8-71)这表明图像空间的一点（xi,yi）对应于（,）空间的一条正弦曲线，其相位和幅值由xi、yi决定。数字图像处理与分析基础（x,y）空间的同一条直线上的点在（,）空间的正弦曲线都会相交于点（0, 0），0为这条直线到原点的距离， 0为直线的法线与轴的夹角， x(xi,yi)y图8-14 点的Hough变换的极坐标形式x(xi,yi)y图8-15 共线点Hough变换的极坐标形式0=xcos0+ysin0(0,0)数字图像处理与分析基础算法算法1）将

26、（,）空间量化，得到二维矩阵M(,)，M(,)是一个累加器，初始值为0，M(,)=0。2）对边界上的每一个点（xi,yi），将 的所有量化值代入式（8-71），计算相应的，并且将累加器加1，M(,)=M(,)+1。3）将全部（xi,yi）处理后，分析M(,)，如果M(,)T，就认为存在一条有意义的线段，是该线段的拟合参数。T是一个非负整数，由图像中景物的先验知识决定。4）由(,)和（xi,yi）共同确定图像中的线段，并将断裂部分连接。数字图像处理与分析基础图像分割小结图像分割小结、图像分割是将一幅数字图像划分为不交叠的、连通的像素集的过程，其中一个对应于背景，其他的则对应于图像中的各个物体。、

27、图像分割可以通过为物体指定其像素或找出物体之间的（或物体和背景之间的）边界的方法来实现。、灰度级阈值处理是一种总能产生闭合的连通边界的简单分割技术。、在分割之前进行背景的平滑和噪声消除，常常能改善分割的性能。数字图像处理与分析基础、阈值的大小应当根据图像的内容变化，除非背景灰度级和物体的对比度相对恒定。、具有简单物体以及与背景对比度明显的图像，将阈值置于双峰直方图的低谷可使物体面积对阈值变化的敏感度最小。、物体分割可以通过在梯度图像中进行边界跟踪或阈值处理来实现。、对一幅图像的分割可以用隶属关系图、边界链码、或线段编码来实现。数字图像处理与分析基础分割评价简介 Introduction to

28、Segmentation Evaluationn1、评价方法及分类n2、最终测量精度n3、实用分割评价框架数字图像处理与分析基础分割方法及分类优化分割（1）掌握各算法在不同分割情况中的表现，以通过选择算法参数来适应分割具有不同内容的图像和分割在不同条件下采集到的图像的需要。（2）比较多个算法分割给定图像的性能，以帮助在具体分割应用中选取合适的算法。数字图像处理与分析基础评价方法的基本要求（1）应具有通用性（2）应采用定量和客观的性能评价准则（3）应选取通用的图像进行测试，以使评价结果具有可比性，图像应尽可能反映客观世界的真实情况和实际应用的共同特点。直接法：分析法间接法：实验法数字图像处理与分

29、析基础分析法分割算法分割待分割图输入图预处理参考图已分割图优度实验法输出图后处理差异实验法ORORORAND图像分割评价方法分类数字图像处理与分析基础习题习题、下面给出了处在黑色背景上的白色台球的级灰度图像的直方图（表示黑色）。这个球用每立方厘米(cm3) 重1.5克的材料制成。象素间距是1mm。试问球的重量是多少？（先做出基于面积的轮廓。）0 100 500 3000 9000 3000 500 200 100 200 300 500 627 500 300 200 100 0 0 0、以下是一个级灰度图像的直方图，包含了一个处在有反差的背景上的水果。像素间距是mm。试问是樱桃、葡萄还是南瓜

30、？0 100 200 300 500 600 500 300 200 100 200 500 3000 8000 20000 8000 3000 500 100 0数字图像处理与分析基础作业作业、编制一个程序，使它能够产生一幅背景具有给定灰度级的、有噪声的高斯点图像。要求程序能够规定点的位置、点的x-、y-尺度（标准偏差），分布均匀的白噪声的均方根RMS幅度。产生一幅高达灰度级，大小为象素的原点，带级灰度峰值噪声的图像。、编制一个自适应域值的程序。该程序能够利用一种本章介绍的域值选择技术来为场景中的每一个物体确定域值。用一幅含有5 个与不均匀背景有着各不相同的对比度的物体的图像对程序进行测试。

31、图像可以是数字化的图像，也可以用题中产生的图像。数字图像处理与分析基础8.2 图像描述Image Descriptionn1、概述和分类n2、链码描绘子n3、傅立叶描绘子n4、矩数字图像处理与分析基础图像被分割之后，必须使用更适合于计算机处理的形式对子区域进行表达与描述，在此基础上进一步提取便于计算机进行自动模式识别的图像特征，同时减少用于表示图像的数据量。通常将描述区域性质的算子称为描述子。描述图像子区域的方法主要有两类：（1）用区域的外部特征，如边界来表示区域，常用的有链码与Fourier描述子。（2）用区域的内部特征，如组成区域的像素表示区域，常用的有矩描述子。但区域的描述方法应当由计算

32、机模式识别时需要的特征来决定，如若需要识别图像的形状，就应当采用外部特征法，因为在边界轮廓的基础上可以很容易获得区域的面积、周长、区域的最大外接矩形的长宽比等特征。而要利用纹理、颜色等特征时，需要利用选择内部表示法。在有些情况下，可能两种表达都需要 。8.2.1、概述和分类数字图像处理与分析基础3210（a）02103yx（c）107543206yx（d）图8-19 4-方位与8-方位链码12357640（b）8.2.2 链码表示(x-1,y+1)(x,y+1)(x+1,y+1)(x-1,y)(x,y)(x+1,y)(x-1,y-1)(x-1,y-1)(x+1,y-1)01234567图8-2

33、0 链码与坐标位置的关系数字图像处理与分析基础正确的链码应当满足封闭性原则，即：n1+ n2+ n3= n5+ n6+ n7,n5+ n4+ n3= n7+ n0+ n1, 式中ni为出现方位码i的次数。上面两个条件的物理意义是，链码向上移动的步数应当等于向下移动的步数；向左移动的步数应当等于向右移动的步数。数字图像处理与分析基础链码与几何特征周长oeNNP22.面积根据几何学上的定理，对于封闭折线形成的多边形，其各顶点A1,A2,，An的相应坐标为：(x1,y1)，(x2,y2) ，(xn,yn)则该多边形的面积为：)(2111112121yyxxyyxxyyxxSnnnnnnnSn是一个有

34、向面积，当顶点A1,A2,，An逆时针方向排列时（正向链码），Sn0 数字图像处理与分析基础y+1yy-113572640unitx图8-21 用链码计算区域面积示意图18-方位码面积增量S8-方位码面积增量S0y(-1)7(y+y+1)/2(-1)4y(+1)5(y+y+1)/2(+1)603(y-1+y)/2(+1)201(y+y-1)/2(-1)数字图像处理与分析基础图8-19中的八边形codeySScodeySS000000433511-1/2-1/2525/215/2220-1/261015/2335/2270-1/27数字图像处理与分析基础2、进一步讨论、进一步讨论n图像的重采样实际应用中通常要对上述的链码跟踪方案进行修改，（1）直接跟踪原始分辨率的图像得到的链码太长；（2）受噪声影响大，边界上任何小的扰动都会改变链码，增加分析的难度。因此常常采用更大间隔的网格对图像重采样，网