图像分割与特征提取.ppt

数字图像处理研究生课程,第七章图像分割及特征提取李俊山主讲第二炮兵工程学院,已经介绍的：图像变换、图像增强、图像恢复、图像编码等，都是使输出图像的编码或品质得到某种程度改善的处理方法，一般被认为是图像处理的低级阶段。,图像分析是一种通过对图像中不同对象进行分割(把图像分为不同区域或目标物)来对图像中目标进行分类和识别的技术。,7.1图像分割的概念,目标或前景背景,目标一般对应于图像中特定的、具有独特性质的区域。,7.1图像分割的概念,1.图像分割图像分割就是依据图像的灰度、颜色、纹理、边缘等特征，把图像分成各自满足某种相似性准则或具有某种同质特征的连通区域的集合的过程。,7.1图像分割的概念,1.图像分割（续）设R代表整个图像区域，对R的分割可看作将R分成若干个满足以下5个条件的非空子集(子区域)R1,R2,Rn。（1）。即分割成的所有子区域的并应能构成原来的区域R。（2）对于所有的i和j及ij，有。即分割成的各子区域互不重叠。（3）对于i=1,2,n；有P(Ri)=TRUE。即分割得到的属于同一区域的像素应具有某些相同的特性。（4）对于ij，有P(RiRj)=FALSE。即分割得到的属于不同区域的像素应具有不同的性质。（5）对于i=1,2,n；Ri是连通的区域。即同一子区域内的像素应当是连通的。,7.1图像分割的概念,2.图像分割的依据和方法图像分割的依据是各区域具有不同的特性，这些特性可以是灰度、颜色、纹理等。而灰度图像分割的依据是基于相邻像素灰度值的不连续性和相似性。也即，子区域内部的像素一般具有灰度相似性，而在区域之间的边界上一般具有灰度不连续性。,灰度图像分割是图像分割研究中最主要的内容，其本质是按照图像中不同区域的特性，将图像划分成不同的区域。,7.1图像分割的概念,7.2基于边缘检测的图像分割,基于边缘检测的图像分割方法的基本思路是先确定图像中的边缘像素，然后就可把它们连接在一起构成所需的边界。,7.2.1图像边缘,图像边缘意味着图像中一个区域的终结和另一个区域的开始，图像中相邻区域之间的像素集合构成了图像的边缘。进一步讲，图像的边缘是指图像灰度发生空间突变的象素的集合。,7.2基于边缘检测的图像分割,7.2.1图像边缘,图像边缘有两个特征：方向和幅度沿边缘走向，像素值变化比较平缓；沿垂直于边缘的走向，像素值则变化比较剧烈。一般常用一阶和二阶导数来描述和检测边缘。,7.2基于边缘检测的图像分割,上升阶跃边缘下降阶跃边缘脉冲状边缘屋顶边缘（a）（b）（c）（d）,图7.1图像边缘及其导数曲线规律示例,7.2.1图像边缘,7.2基于边缘检测的图像分割,7.2.1图像边缘,综上所述，图像中的边缘可以通过对它们求导数来确定，而导数可利用微分算子来计算。对于数字图像来说，通常是利用差分来近似微分。,7.2基于边缘检测的图像分割,7.2.2梯度边缘检测,7.2基于边缘检测的图像分割,7.2.2梯度边缘检测,（7.2）,（7.3）,（7.4）,（7.5）,对应于欧氏距离的梯度幅值：,对应于街区距离的梯度幅值：,对应于棋盘距离的梯度幅值：,由梯度矢量幅角表示的梯度方向是函数f(x,y)增加最快的方向：,(1)Roberts算子是一个交叉算子，其在点(i,j)的梯度幅值表示为：,7.2.2梯度边缘检测,（7.6）,（7.7）,（7.8）,用卷积模板可表示为：,其中，Gx和Gy分别为：,(2)Sobel算子Sobel算子在点(i,j)的梯度幅值表示为：,7.2.2梯度边缘检测,（7.10）,（7.11）,简化的卷积模板表示形式为：,其中，sx和sy分别x方向和y方向梯度的模版形式：,（7.9）,(3)Prewitt算子Prewitt算子在点(i,j)的梯度幅值表示为：,7.2.2梯度边缘检测,（7.10）,（7.12）,简化的卷积模板表示形式为：,其中，sx和sy分别x方向和y方向梯度的模版形式：,（7.9）,7.2.3二阶微分边缘检测,拉普拉斯二阶导数算子：,（7.13）,（7.15）,（7.16）,7.2.3二阶微分边缘检测,也即有：,同理有：,所以有：,对应的集中模板为：,图7.3Laplacian二阶边缘检测算子的边缘检测示例,7.2.3二阶微分边缘检测,7.2.4Hough变换,Hogh（哈夫）变换的基本思想是将图像空间X-Y变换到参数空间P-Q，利用图像空间X-Y与参数空间P-Q的点线对偶性，通过利用图像空间X-Y中的边缘数据点去计算参数空间P-Q中的参考点的轨迹，从而将不连续的边缘像素点连接起来，或将边缘像素点连接起来组成封闭边界的区域，从而实现对图像中直线段、圆和椭圆的检测。,设在图像空间中，所有过点(x,y)的直线都满足方程：,（7.17）,（7.18）,（7.19,20）,（7.21,22）,7.2.4Hough变换,1.Hough变换的基本原理,若将其改写成：,这时，p和q可以看作是变量，而x和y是参数，上式就可表示参数空间P-Q中过点(p,q)的一条直线。一般地，对于过同一条直线的点(xi,yi)和(xj,yj)，有,图像空间方程：,参数空间方程：,7.2.4Hough变换,1.Hough变换的基本原理由此可见，图像空间X-Y中的一条直线(因为两点可以决定一条直线)和参数空间P-Q中的一点相对应；反之，参数空间P-Q中的一点和图像空间X-Y中的一条直线相对应。,7.2.4Hough变换,7.2.4Hough变换,1.Hough变换的基本原理把上述结论推广到更一般的情况：如果图像空间X-Y中的直线上有n个点，那么这些点对应参数空间P-Q上的一个由n条直线组成的直线簇，且所有这些直线相交于同一点。,（a）一条直线上的多个点与相交于一点的直线簇相对应,7.2.4Hough变换,1.Hough变换的基本原理,（b）一条直线上的多个点与相交于一点的正弦曲线簇相对应,7.2.4Hough变换,1.Hough变换的基本原理,图7.6直线的极坐标表示,图7.7将平面细分成网格阵列,7.2.4Hough变换,2.Hough变换的应用,7.3基于阈值的图像分割,基于阈值的图像分割适用于那些物体（前景）与背景在灰度上有较大差异的图像分割问题。,7.3.1基于阈值的分割方法基于阈值的图像分割方法是提取物体与背景在灰度上的差异，把图像分为具有不同灰度级的目标区域和背景区域的一种图像分割技术。,7.3.1基于阈值的分割方法,1.阈值化分割方法,例7.3.1利用阈值化方法提取物体的轮廓。,（a）细胞图像（b）提取的边界轮廓图图7.9用阈值化方法提取细胞边界轮廓,7.3.1基于阈值的分割方法,1.阈值化分割方法,7.3.1基于阈值的分割方法,1.阈值化分割方法,（7.27）,（7.28）,7.3.1基于阈值的分割方法,2.半阈值化分割方法图像经阈值化分割后不是表示成二值和多值图像，而是是将比阈值大的亮像素的灰度级保持不变，而将比阈值小的暗像素变为黑色；或将比阈值小的暗像素的灰度级保持不变，而将比阈值大的亮像素变为白色。,7.3.1基于阈值的分割方法,2.半阈值化分割方法,（a）式（7.27）的图示（b）式（7.28）的图示图7.11半阈值化的图示,7.3基于阈值的图像分割,7.3.2基于双峰形直方图的阈值选取,1.利用极大值和极小值寻找谷底及其阈值,（7.29）,7.3.2基于双峰形直方图的阈值选取,2.双峰形直方图谷底阈值的获取通常情况下由于直方图呈锯齿形状，这时，需要利用某些解析函数对双峰之间的直方图进行拟合，并通过对拟合函数求微分获得最小值。,设有二次曲线方程：,（7.30）,（7.31）,对应于直方图双峰之间的最小值谷底阈值就为：,图7.12用二次曲线拟合双峰形直方图的谷底示例,2.双峰形直方图谷底阈值的获取,7.3.2基于双峰形直方图的阈值选取,3.用最小误差法确定最佳阈值（自学）,7.3.2基于双峰形直方图的阈值选取,（7.32）,（7.33）,（7.34）,物体的误分概率背景的误分概率,（7.35）,7.3.2基于双峰形直方图的阈值选取,（7.39）,（7.40）,（7.41）,（7.36）,（7.37）,（7.38）,7.3.2基于双峰形直方图的阈值选取,（1）,（2）,（7.42）,（7.43）,（7.44）,7.3.2基于双峰形直方图的阈值选取,7.3.3其它阈值选取方法,1.全局阈值的选取,（a）（b）图7.13全阈值选取示例,7.3.2其它阈值选取方法,2.类二值图像的阈值选取当图像可看作是一幅类二值图像，并且大约已知该类二值图像灰度分布的百分比时，就可通过试探的方法选取阈值，直到阈值化后的图像的效果达到最佳为止。,7.3.2其它阈值选取方法,3.迭代式阈值的选取基本思路是：首先根据图像中物体的灰度分布情况，选取一个近似阈值作为初始阈值，一个比较好的方法就是将图像的灰度均值作为初始阈值；然后通过分割图像和修改阈值的迭代过程来获得任可的最佳阈值。,7.3.2其它阈值选取方法,3.迭代式阈值的选取迭代式阈值选取过程可描述为：选取一个初始阈值T；利用阈值T把给定图像分割成两组图像，记为R1和R2；计算R1和R2均值1和2；选择新的阈值T，且重复第至步，直至R1和R2的均值1和2不再变化为止。,7.4基于跟踪的图像分割,基于跟踪的图像分割方法是先通过对图像上的点的简便运算，来检测出可能存在的物体上的点，然后在检测到的点的基础上通过跟踪运算来检测物体的边缘轮廓的一种图像分割方法。,7.4.1轮廓跟踪法是一种适用于黑白二值图像的图像分割方法。,7.4.1轮廓跟踪法,轮廓跟踪图像分割算法：(1)在靠近边缘处任取一起始点，然后按照每次只前进一步，步距为一个象素的原则开始跟踪；(2)当跟踪中的某步是由白区进入黑区时，以后各步向左转，直到穿出黑区为止；,(3)当跟踪中的某步是由黑区进入白区时，以后各步向右转，直到穿出白区为止；(4)当围绕目标边界循环跟踪一周回到起点时，则所跟踪的轨迹便是目标的轮廓；否则，应继续按(2)和(3)的原则进行跟踪。,(a)某些小凸部分可能被漏掉(b)利用不同起点跟踪小凸部分图7.14轮廓跟踪法示例,7.4.1轮廓跟踪法,7.4.2光栅跟踪法,光栅跟踪方法的基本思想是先利用检测准则确定接受对象点，然后根据已有的接受对象点和跟踪准则确定新的接受对象点，最后将所有标记为1且相邻的对象点联接起来就得到了检测到的细曲线。,7.4.2光栅跟踪法,需要事先确定检测阈值d、跟踪阈值t，且要求dt。检测准则：对图像逐行扫描，将每一行中灰度值大于或等于检测阈值d的所有点（称为接受对象点）记为1。跟踪准则：设位于第i行的点(i，j)为接受对象点，如果位于第i+1行上的相邻点(i+1，j-1)、(i+1，j)和(i+1，j+1)的灰度值大于或等于跟踪阈值t，就将其确定为新的接受对象点，并记为1。,7.4.2光栅跟踪法,光栅跟踪图像分割算法：（1）确定检测阈值d和跟踪阈值t，且要求dt；（2）用检测阈值d逐行对图像进行扫描，依次将灰度值大于或等于检测阈值d的点的位置记为1；（3）逐行扫描图像，若图像中的（i,j）点为接受对象点，则在第i+1行上找点(i,j)的邻点：(i+1,j-1)、(i+1,j)、(i+1,j+1)并将其中灰度值大于或等于跟踪阈值t的邻点确定为新的接受对象点，将相应位置记为1；（4）重复步骤(3)，直至图像中除最末一行以外的所有接受点扫描完为止。,7.4.2光栅跟踪法,例7.4.1：d=7，t=4,（a）1解题过程和检测结果,（b）直接取阈值为4时的检测结果,7.5基于区域的图像分割,基于区域的图像分割是根据图像的灰度、纹理、颜色和图像像素统计特征的均匀性等图像的空间局部特征，把图像中的像素划归到各个物体或区域中，进而将图像分割成若干个不同区域的一种分割方法。,7.5.1区域生长法,区域生长法的基本思想是根据事先定义的相似性准则，将图像中满足相似性准则的像素或子区域聚合成更大区域的过程。区域生长的基本方法是首先在每个需要分割的区域中找一个“种子”像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中，接着以合并成的区域中的所有像素作为新的种子像素继续上面的相似性判别与合并过程，直到再没有满足相似性条件的像素可被合并进来为止。这样就使得满足相似性条件的像素就组成（生长成）了一个区域。,7.5.1区域生长法,区域生长法的三个关键条件的确定：(1)选择和确定一组能正确代表所需区域的种子像素一般原则为：接近聚类重心的像素可作为种子像素。例如，图像直方图中像素最多且处在聚类中心的像素；红外图像目标检测中最亮的像素可作为种子像素；按位置要求确定种子像素；根据某种经验确定种子像素。,7.5.1区域生长法,区域生长法的三个关键条件的确定：(2)确定在生长过程中能将相邻像素合并进来的相似性准则。主要有：当图像是彩色图像时，可以各颜色为准则，并考虑图像的连通性和邻近性；待检测像素点的灰度值与已合并成的区域中所有像素点的平均灰度值满足某种相似性标准，比如灰度值差小于某个值；待检测点与已合并成的区域构成的新区域符合某个大小尺寸或形状要求等。,7.5.1区域生长法,区域生长法的三个关键条件的确定：(3)确定终止生长过程的条件或规则一般的停止生长准则是生长过程进行到没有满足生长准则的像素时为止；其它与生长区域需要的尺寸、形状等全局特性有关的准则。,例7.5.1,（a）（b）（c）（d）图7.17区域生长示例1,7.5.1区域生长法,例7.5.2,图7.18区域生长示例2,7.5.1区域生长法,7.5.2分裂合并法,分裂-合并分割法是从整个图像出发，根据图像和各区域的不均匀性，把图像或区域分裂成新的子区域；根据毗邻区域的均匀性，把毗邻的子区域合并成新的较大区域。,7.5.2分裂合并法,1.图像四叉树如果把整幅图像分成大小相同的4个方形象限区域，并接着把得到的新区域进一步分成大小相同的4个更小的象限区域，如此不断继续分割下去，就会得到一个以该图像为树根，以分成的新区域或更小区域为中间结点或树叶结点的四叉树。,（a）图像R（b）图像R的四叉树示例图7.19图像的四叉树表示,7.5.2分裂合并法,7.5.2分裂合并法,2.分裂-合并分割法设同一区域Ri中的所有像素满足某一相似性准则时，P(Ri)=TRUE，否则P(Ri)=FALSE。（1）将图像R分成4个大小相同的象限区域Ri，i=1,2,3,4；（2）对于任何的Ri，如果P(Ri)=FALSE，则将该Ri再进一步拆分成4个更小的象限区域；（3）如果此时存在任意相邻的两个区域Rj和Rk使P(RjRk)=TRUE成立，就将Rj和Rk进行合并；（4）重复（2）和（3），直到无法进行拆分和合并为止。,7.5.2分裂合并法,7.5.2分裂合并法,（d）最后一次分裂成十6个区域,7.5.2分裂合并法,7.5.2分裂合并法,对于灰度图象的一些可以选择的分裂-合并准则：（1）同一区域中最大灰度值与最小灰度值之差或方差小于某选定的阈值；（2）两个区域的平均灰度值之差及方差小于某个选定的阈值；（3）两个区域的灰度分布函数之差小于某个选定的阈值；（4）两个区域的某种图像统计特征值的差小于等于某个阈值。,7.6图像特征提取,图像特征提取是图像处理研究中的重要内容，而图像特征提取的关键则是图像特征的描述和定义。图像的人工特征是指人们为了便于对图像进行处理和分析而人为认定的特征，比如图像直方图和图像频谱等。自然特征是指图像固有的特征，比如图像中的边缘、纹理、形状和颜色等。,（1）图像的均值,(7.46),(7.47),7.6.1图像的统计特征,（2）图像的方差,(7.48),（3）图像的标准差,(7.49),7.6.1图像的统计特征,（4）图像的熵,(7.50),(7.51),（7.52）,7.6.2图像的点、线、边界特征,（a）点（b）边缘（c）线,如果图像中的一个非常小的区域的灰度幅值与其领域值相比有着明显的差异，则称这个非常小的区域称为图像点图像的边缘是指图像灰度发生空间突变的象素的集合。或者说是图像中以灰度值表征的两平滑区域之间的振幅断续。如果图像中在一对相邻边界中间存在一个非常窄（理想情况下宽度为1个像素）的线状区域，并在该线状区域中的灰度具有近乎相同的振幅特性，则称该线状区域为线,边缘与线的区别：,（a）边缘的理想阶跃截面（b）实际中的边缘阶跃截面,7.6.2图像的点、线、边界特征,(c)理想尖峰线条(d)尖峰和阶跃组合的线条(e)屋脊状线条图7.22图像中的边缘和线的截面示意图,（a）（b）（c）（d）（e）,图7.23图像的点、线特征提取模板,7.6.3图像的纹理特征,在自然景物中类似于砖墙的那种具有重复性结构的图案可以看作是一种纹理。在图像中，由某种模式重复排列所形成的结构可看作是纹理，但这仅仅是一种对纹理的理解性定义。,7.6.3图像的纹理特征,纹理的标志有三点：（1）某种局部的序列性在比该序列更大的区域内不断重复出现；（2）序列由基本部分（即纹理基元）非随机排列组成；（3）在纹理区域内各部分具有大致相同的结构和尺寸。因此可以说，纹理就是由纹理基元按某种确定性的规律或者某种统计规律排列组成的一种结构。,7.6.3图像的纹理特征,人工纹理一般由线段、星号、某种字母数字等符号排列组成，所以人工纹理属于确定性纹理。自然纹理是自然景物所呈现的部分重复性的结构，例如砖墙、沙滩、草地等，所以自然纹理属于随机性纹理。纹理的粗糙度是一种定性地描述纹理的最直观的方式之一。一般可按平均灰度级的差别来区分物体和背景，可通过求平均值差分来检测不同纹理区域之间的边缘。,7.6.4图像的形状特征,7.7图像分类的概念,物体识别从根本上讲就是为物体标明类别，更通用的说法就是图像分类，是一种将图像中的所有像元或区域按其性质分为若干类别中的一类，或若干专题要素中的一种的技术过程。,7.7.1图像分类的技术层次,（1）人工目视解译方法。也即凭借成像机理、光谱规律、地学规律、生物学规律和人的知识和经验，从影像的亮度、色调、位置、时间、纹理、结构等特征推断出图像中景物的类型。（2）计算机识别分类方法。也即根据图像中地物信息和数据特征的差异和变化，通过计算机对图像的处理和定量分析，实现对图像中地物属性的识别和分类，以便给出图像中地物的识别分类结果。一般情况下提到的图像分类概念就是指基于计算机的图像识别分类方法。,7.7.1图像分类的技术层次,图像的计算机识别分类方法主要分为两种：一种是统计分类方法，也称为决策理论法，是一种定量的物体描述方法。统计分类方法的基本思路是，通过从被识别的图像中提取一组反映图像中不同模式属