第11章 图像描述与分析

1,第11章图像描述与分析,主讲教师蔡利梅,信息与控制工程学院,数字图像处理：使用MATLAB分析与实现,2,第11章图像描述与分析,图像描述,应具有的特点唯一性完整性,将分割后区域的区域、边界的属性和相互关系用更为简单明确的文字、数值、符号或图来描述或说明。保留原图像或图像区域重要信息，减少数据量,描绘子,对图像区域的描述或说明称为图像的描绘子,几何变换不变性敏感性,抽象性,主要内容,11.1特征点11.2几何描述11.3形状描述11.4边界描述11.5矩描述11.6纹理描述11.7其他描述,3,4,11.1特征点,图像中最典型的特征标志之一，一般含有显著的结构性信息，如线条交叉点、边界封闭区域的重心，或者曲面的高点等；也可以没有实际的直观视觉意义，但在某种角度、某个尺度上含有丰富的易于匹配的信息。特征点在影像匹配、图像拼接、运动估计以及形状描述等诸多方面都具有重要作用。角点是特征点中最主要的一类，由景物曲率较大地方的两条或多条边缘的交点所形成，比如线段的末端、轮廓的拐角等。,5,11.1.1Moravec角点检测11.1.2Harris角点检测11.1.3SUSAN角点检测,11.1特征点,6,11.1.1Moravec角点检测,特征点,（1）原理,以图像某个像素点为中心，计算固定窗口内四个主要方向上（水平、垂直、对角线、反对角线）相邻像素灰度差的平方和，选取最小值作为像素点的响应函数CRF（CornerResponseFunction）；若某点的CRF值大于某个阈值并为局部极大值时，则该像素点即为角点。,7,11.1.1Moravec角点检测,特征点,（2）分析,当固定窗口在平坦区域时，灰度比较均匀，4个方向的灰度变化值都很小；在边缘处，沿边缘方向的灰度变化值很小，沿垂直边缘方向的灰度变化值比较大；当窗口在角点或独立点上的时候，沿各个方向的灰度变化值都比较大。因此，若某窗口内各个方向变化的最小值大于某个阈值，说明各方向的变化都比较大，则该窗口所在即为角点所在。,8,11.1.1Moravec角点检测,特征点,（3）例程,程序,见教材【例11.1】,Moravec角点检测,旋转15后Moravec角点检测,测试图,9,Moravec角点检测,旋转15后检测,11.1.1Moravec角点检测,特征点,（3）例程,Moravec角点检测对边缘点比较敏感，检测结果受到阈值的极大影响，且不具有旋转不变性。,10,11.1.2Harris角点检测,特征点,（1）原理,定义局部自相关函数，移动局部窗口，根据局部自相关函数的变化确定角点。窗口在平坦区域，沿任何方向进行小的平移，灰度变化很小，局部自相关函数很平坦窗口位于边缘区域，沿边缘方向小的平移，灰度变化很小；沿垂直边缘方向小的移动，灰度变化很大，局部自相关函数呈现山脊形状窗口位于角点区域，窗口在各个方向上小的移动，灰度变化都很明显，局部自相关函数呈现尖峰状,11,11.1.2Harris角点检测,特征点,（2）算法步骤,计算图像每一点水平和垂直方向梯度的平方以及水平和垂直梯度的乘积,对3幅图像进行高斯滤波，构造自相关矩阵M,计算角点响应函数，设定阈值T，取RT的位置为候选角点,对候选角点进行局部非极大抑制，得到角点,12,11.1.2Harris角点检测,特征点,（3）例程,程序,见教材【例11.2】,测试图,Harris角点检测,旋转10Harris角点检测,13,11.1.2Harris角点检测,特征点,（3）例程,Harris角点检测,旋转15检测,Harris角点具有旋转变换不变性，对亮度和对比度变化不敏感，不具有尺度变换不变性,14,11.1.3SUSAN角点检测,特征点,（1）原理,设计USAN模板，将模板内每个像素点的灰度值和中心像素点作比较，与中心点灰度值相近的点构成的USAN区域，区域大小反映图像局部特征的强度，面积越小，表明该点是角点的可能性越大，通过计算比较USAN面积实现角点检测,不同位置的USAN区域,15,11.1.3SUSAN角点检测,特征点,（2）算法步骤,将圆形模板的中心放在待测图像的像素上，计算模板内的像素与中心像素的灰度差值，统计灰度差值小于阈值T的像素个数（USAN区域面积）,或,16,11.1.3SUSAN角点检测,特征点,（2）算法步骤,计算角点响应函数值,检测角点时，g设为USAN的最大面积的一半；检测边缘点时，g设为USAN的最大面积的3/4。,17,11.1.3SUSAN角点检测,特征点,（2）算法步骤,排除伪角点,计算USAN的重心、重心同模板中心的距离，如果距离较小则不是正确的角点。,进行非极大抑制来求得最后的角点,18,（3）例程,程序,见教材【例11.3】,11.1.3SUSAN角点检测,特征点,测试图,旋转10SUSAN角点检测,SUSAN角点检测,19,（3）例程,11.1.3SUSAN角点检测,特征点,旋转15检测,SUSAN角点检测,理论上圆形的SUSAN模板具有各向同性，可以抵抗图像的旋转变化；算法中阈值的选择，会对程序运行结果有一定影响。,20,11.2.1像素间的几何关系11.2.2区域的几何特征,11.2几何描述,21,（1）邻接与连通,11.2.1像素间的几何关系,几何描述,前景与背景,图像中值为1的全部像素的集合称为前景，用S表示（S的补集）中所有连通成分称为背景,22,若像素序列，每个像素值相等,且两像素互为邻点，则该像素序列形成到的连接路径若像素p和qS，存在一条从p到q的路径，路径上的全部像素都包含在S中，则称p与q是连通的,路径和连通,（1）邻接与连通,11.2.1像素间的几何关系,几何描述,23,（1）邻接与连通,11.2.1像素间的几何关系,几何描述,若一个像素集合内的每一个像素与集合内其它像素连通，则称该集合为一个连通成分,连通成分,24,定义：对于像素p、q和z，如果满足以下三个条件，则称d是距离函数或度量d(p,q)0(d(p,q)=0，当且仅当p=q)d(p,q)=d(q,p)d(p,z)d(p,q)+d(q,z)欧氏距离,具有与(x,y)距离小于等于某个值r的像素是：包含在以(x,y)为圆心，以r为半径的圆平面。,（2）距离,11.2.1像素间的几何关系,几何描述,25,（2）距离,11.2.1像素间的几何关系,几何描述,城市距离,具有与(x,y)D4距离小于等于某个值r的那些像素形成一个菱形如，与点(x,y)D4距离小于等于2的像素，形成右图所示固定距离的轮廓具有D4=1的像素是(x,y)的4邻域,26,（2）距离,11.2.1像素间的几何关系,几何描述,棋盘距离,具有与(x,y)D8距离小于等于某个值r的那些像素形成一个正方形如，与点(x,y)D8距离小于等于2的像素，形成右图所示固定距离的轮廓具有D8=1的像素是(x,y)的8邻域,27,（1）位置,11.2.2区域的几何特征,几何描述,物体在图像中的位置，用物体面积的中心点来表示二值图像质量分布是均匀的,质心和形心重合。若图像中的物体对应的像素位置坐标为(xi,yj)(i=0,1,n1；j=0,1,m1)，则质心位置坐标为：,28,（2）方向,11.2.2区域的几何特征,几何描述,如果物体是细长的，则可以把较长方向的轴定为物体的方向。将最小二阶矩轴（最小惯量轴在二维平面上的等效轴）定义为较长物体的方向。也就是说，要找出一条直线，使下式定义的E值最小：,r是点(x,y)到直线的垂直距离,29,（3）尺寸,11.2.2区域的几何特征,几何描述,长宽,当物体的边界已知时，用其外接矩形的尺寸来刻画它的基本形状是最简单的方法求物体在坐标系方向上的外接矩形，只需计算物体边界点的最大和最小坐标值，就可得到物体的水平和垂直跨度,30,（3）尺寸,11.2.2区域的几何特征,几何描述,长宽,对任意朝向的物体，水平和垂直并非是我们感兴趣的方向。有必要确定物体的主轴，然后计算反映物体形状特征的主轴方向上的长度和与之垂直方向上的宽度，这样的外接矩形是物体的最小外接矩形（MinimumEnclosingRectangle，MER）,31,（3）尺寸,11.2.2区域的几何特征,几何描述,区域的边界长度，用于区别具有简单或复杂形状的物体；表示方法不同，计算方法也不同边界用隙码表示：把图像中的像素看作单位面积小方块，则图像中的区域和背景均由小方块组成。区域的周长即为区域和背景缝隙的长度和，此时边界用隙码表示。因此，求周长就是计算隙码的长度,周长,32,边界用链码表示：把像素看作一个个点时，周长用链码表示，求周长也即计算链码长度。边界用面积表示：即边界点数之和，每个点占面积为1的一个小方块。,（3）尺寸,11.2.2区域的几何特征,几何描述,周长,边界用面积表示：周长15,边界用隙码表示：周长24,边界用链码表示：周长,33,（3）尺寸,11.2.2区域的几何特征,几何描述,面积,度量物体的总尺寸，只与该物体的边界有关，与其内部灰度级的变化无关。像素计数面积统计边界内部(也包括边界上)的像素数目对二值图像而言，若用1表示物体，用0表示背景，其面积就是统计f(x,y)=1的个数,34,（4）例程,11.2.2区域的几何特征,几何描述,对图像进行阈值分割，并统计区域的几何特征。,函数,STATS=regionprops(BW,PROPERTIES),35,image=imread(plane.jpg);BW=im2bw(rgb2gray(image);figure,imshow(BW),title(二值化图像);SE=strel(square,3);Morph=imopen(BW,SE);Morph=imclose(Morph,SE);figure,imshow(Morph),title(形态学滤波);B,L=bwboundaries(1-Morph);figure,imshow(L),title(划分的区域);,（4）例程,11.2.2区域的几何特征,几何描述,程序,36,STATS=regionprops(L,Area,Centroid,Orientation,BoundingBox);figure,imshow(image),title(检测的区域);holdon;fori=1:length(B)boundary=Bi;plot(boundary(:,2),boundary(:,1),r,LineWidth,2);endrectangle(Position,STATS.BoundingBox,edgecolor,g);holdoff;,（4）例程,11.2.2区域的几何特征,几何描述,程序,37,（4）例程,11.2.2区域的几何特征,几何描述,效果,原图,二值化,划分的区域,检测的区域,38,11.3.1矩形度11.3.2圆形度11.3.3中轴变换,11.3形状描述,39,11.3.1矩形度,形状描述,反映物体对其外接矩形的充满程度，用物体的面积与其最小外接矩形的面积之比来描述，即,当物体为矩形时，R取得最大值1.0；圆形物体的R取值为/4；细长的、弯曲的物体的R的取值变小。,AO是该物体的面积而AMER是MER的面积,MER宽与长的比值：,利用r可以将细长的物体与圆形或方形的物体区分开来。,40,11.3.2圆形度,形状描述,刻画物体边界的复杂程度,当区域为圆时，F=1；当区域为其他形状时，F1；受物体形状和噪声的影响比较大。,反映了区域各点对质心距离的统计方差以及物体偏离质心的程度,71,11.6纹理描述,图像分析中常用的概念，类似于砖墙、布匹、草地等具有重复性结构的图像被称为纹理图像,纹理及纹理图像,灰度分布一般具有某种周期性（或具有一定的统计特性），周期长纹理粗糙，周期短纹理细致。,纹理图像特点,72,11.6.1联合概率矩阵法11.6.2灰度差分统计法11.6.3行程长度统计法11.6.4LBP特征,11.6纹理描述,73,（1）定义,11.6.1联合概率矩阵法,纹理描述,对图像所有像素进行统计调查，以便描述其灰度分布的一种方法。取图像中点及偏离它的另一点，设该点对的灰度值为，令点在整个画面上移动，得到各种值。设灰度值级数为L，则f1与f2的组合共有L2种。对于整个画面，统计出每一种值出现的次数，然后排列成一个方阵，再用出现的总次数将它们归一化为出现的概率，称方阵为联合概率矩阵。,74,（2）示例,11.6.1联合概率矩阵法,纹理描述,原图像,灰度级减为4级,f1、f2分布取值为0、1、2、3，将各种组合出现的次数排列起来，得联合概率矩阵,75,（2）示例,11.6.1联合概率矩阵法,纹理描述,(x,y)取不同的数值组合，得到不同的联合概率矩阵。x,y的取值要根据纹理周期分布的特性来选择，较细的纹理选取较小的差分值。,76,（3）基于联合概率矩阵的特征,11.6.1联合概率矩阵法,纹理描述,角二阶矩,相关系数,区域越不平滑，ASM越低,77,（3）基于联合概率矩阵的特征,11.6.1联合概率矩阵法,纹理描述,倒数差分矩,对比度,78,（4）例程,11.6.1联合概率矩阵法,纹理描述,打开一幅灰度图像，生成联合概率矩阵并计算参数,函数,GLCMS=graycomatrix(I,PARAM1,VALUE1,PARAM2,VALUE2,.)GLCMS,SI=graycomatrix(.)产生图像I的灰度共生矩阵GLCMSTATS=graycoprops(GLCM,PROPERTIES)从灰度共生矩阵GLCM计算属性矩阵STATS,79,（4）例程,11.6.1联合概率矩阵法,纹理描述,程序,f=rgb2gray(imread(texture1.bmp);g1,SI1=graycomatrix(f,G,);status1=graycoprops(g1);f=filter2(fspecial(average,min(size(f)/8),f);imshow(uint8(f);g2,SI2=graycomatrix(f,G,);status2=graycoprops(g2);,80,（4）例程,11.6.1联合概率矩阵法,纹理描述,效果,status2=Contrast:0.0893Correlation:0.9606Energy:0.2396Homogeneity:0.9553,status1=Contrast:0.6303Correlation:0.7874Energy:0.0901Homogeneity:0.7628,平滑后图像对比度降低，自相关性增强，角二阶矩和倒数差分矩增大。,81,（1）定义,11.6.2灰度差分统计法,纹理描述,g称为灰度差分。令点(x,y)在整个画面上移动，累计出g(x,y)取各个数值的次数，作出g(x,y)的直方图，进而计算g(x,y)取值的概率pg(i)。当采用较小i值的概率pg(i)较大时，说明纹理较粗糙；概率较平坦时，说明纹理较细。,设为图像中的一点，该点与和它只有微小距离的点的灰度差值为,82,（2）描述图像特征的参数,11.6.2灰度差分统计法,纹理描述,对比度,角度方向二阶矩,熵,平均值,pg(i)较平坦时，ASM较小，ENT较大；若pg(i)分布在原点附近，则MEAN值较小。,83,（1）定义,11.6.3行程长度统计法,纹理描述,行程长度在同一方向上具有相同灰度值的像素个数行程长度矩阵设点(x,y)的灰度值为f，统计从任一点出发沿方向上连续n个点都具有灰度值f的概率，记为p(f,n)。把(f,n)在图像中出现的次数表示成矩阵第f行第n列的元素，构成行程长度矩阵,84,（2）示例,11.6.3行程长度统计法,纹理描述,如右图，有4个灰度级，对于2个方向(0,45)，定义相应的行程长度矩阵MRL。,85,（3）使用灰度级行程长度的特征,11.6.3行程长度统计法,纹理描述,粗糙图像短行程较多,SRE大;平滑图像长行程较多,LRE大。,短行程补偿,长行程补偿,86,（3）使用灰度级行程长度的特征,11.6.3行程长度统计法,纹理描述,灰度级非均匀性,若各灰度各种行程情况出现较均匀，GLD较小，表明纹理较细，变化剧烈；若某种灰度出现较多，则GLD较大，表明纹理较粗，变化平缓。,87,（3）使用灰度级行程长度的特征,11.6.3行程长度统计法,纹理描述,行程长度非均匀性,各行程的频数相近，则RLD较小；当某些行程长度出现较多时，则RLD较大。,行程百分比,具有较长线纹理时，总的行程情况数较少，RP较小。,88,（4）例程,11.6.3行程长度统计法,纹理描述,编程计算树皮图像45方向行程长度矩阵及参数,程序见教材【例11.14】,89,（1）LBP特征提取,11.6.4LBP特征,纹理描述,LBP（LocalBinaryPattern），局部二元模式,33的窗口内，灰度值大于中心像素的位置记为1，否则为0，产生8位无符号二进制数，转换为十进制数，即为该窗口中心像素点的LBP值,定义,90,（1）LBP特征提取,11.6.4LBP特征,纹理描述,计算Lena图像的LBP特征图，程序见教材【例11.15】,原图,LBP特征图,第一个88子区域LBP直方图,例程,91,（2）圆形LBP算子,11.6.4LBP特征,纹理描述,用圆形邻域，半径为R的圆形邻域内有P个采样点,92,（2）圆形LBP算子,11.6.4LBP特征,纹理描述,圆形LBP采样点,设中心像素点为，黑色采样点为，采样点为非整数像素，用插值的方法确定其像素值,93,（3）LBP旋转不变模式,11.6.4LBP特征,纹理描述,不断的旋转圆形邻域内的LBP特征，得到一系列LBP值，选择值最小的作为中心像素点的LBP值,94,（4）例程,11.6.4LBP特征,纹理描述,计算Lena图像的LBP旋转模式特征图，程序见教材【例11.16】,95,11.7.1梯度方向直方图11.7.2Haar-like特征,11.7其他描述,96,（1）定义,11.7.1梯度方向直方图,其他描述,梯度方向直方图（HistogramofOrientedGradients,HOG）是特征直方图的一种，用于表征图像局部梯度方向和梯度强度分布特性。,统计图像中某种特征出现的概率，以直方图的形式表现，即为特征直方图，并计算相应的参数描述图像信息。,97,（2）特征提取步骤,11.7.1梯度方向直方图,其他描述,图像灰度化图像归一化计算图像每个像素的梯度大小和方向,为沿x、y方向的梯度,98,（2）特征提取步骤,11.7.1梯度方向直方图,其他描述,划分图像为若干方格单元，计算每一个方格单元的梯度方向直方图将相邻单元组成块，计算块中的HOG特征向量块HOG特征向量归一化,生成图像的HOG特征向量,99,（3）例程,11.7.1梯度方向直方图,其他描述,统计图像的HOG特征，程序见教材【例11.17】,程序中，每方格单元为