课件：特征提取—Harris算子.ppt

特征提取 Harris算子,汇报人：张琳,目录,基本概念及所需知识,Harris算子,程序设计及实验结果,图像变化 特征点的作用 角点,基本思想 数学表达 改进的Harris算子,基本概念及所需知识 图像变化的类型,几何变化 旋转 相似(旋转 + 各向相同的尺度缩放) 仿射 (非各向相同的尺度缩放) 适用于: 物体局部为平面 灰度变化 仿射灰度变化 (I a I + b),基本概念及所需知识 提取特征点的作用,图像的点特征是许多计算机视觉算法的基础：使用特征点来代表图像的内容 运动目标跟踪 物体识别 图像配准 全景图像拼接 三维重建,基本概念及所需知识 特征点（角点）,特征点在许多文献中又被称为兴趣点(interest point)、角点(corner point),对特征点目前还没有统一的定义,一般认为特征点产生于两条或多条相对直线交叉的区域。不同的检测方法对特征点有不同的定义。 角点（corner points）： 局部窗口沿各方向移动，均产生明显变化的点 图像局部曲率突变的点 典型的角点检测算法： Harris角点检测 CSS角点检测,一种好的局部特征应该具有以下性质: (1) 可重复性:同一个物体或场景在不同的条件下(如视角、尺度发生变化),两幅图像中对应的特征越多越好。 (2) 独特性:特征的幅值模式需要呈现多样性,这样的特征才能被区分和匹配 。 (3) 局部性:特征应该是局部的,从而减少被遮挡的可能性,并且允许用简单的模型来近似两幅图像间的几何和成像变形。 (4) 数量性:一般来说,检测到的特征数目一定要多,但是在图像检索中,特征太多,又会对检索的实时性造成一定影响。理想情况是检测到的特征数量在一个比较大的范围内,然后可以通过一个简单的预知就可以调整。而这个阈值的调整可以通过在检索系统中的实验得以确定。,基本概念及所需知识 特征点（角点）,(5) 准确性:得到的特征应该能够被精确定位,包括图像空间和尺度空间上的精确定位。 (6) 高效性:检测和描述的时间越短越好,以便用于后续的实时应用。 这 6 条性质中,最重要的是可重复性。 Moravec44于 1977年提出 Moravec 角点算法,是最早提出的角点检测算法之一。该方法中,角点被定义为在各个方向(垂直、水平、对角线)都存在剧烈灰度变化的点,基本概念及所需知识 特征点（角点）,不同类型的角点,Harris角点检测基本思想,从图像局部的小窗口观察图像特征 角点定义 窗口向任意方向的移动都导致图像灰度的明显变化,Harris角点检测基本思想,平坦区域： 任意方向移动，无灰度变化,边缘： 沿着边缘方向移动，无灰度变化,角点： 沿任意方向移动，明显灰度变化,Harris检测：数学表达,将图像窗口平移u,v产生灰度变化E(u,v),Harris检测：数学表达,写成矩阵形式：,式中，Ix为x方向的差分，Iy为y方向的差分，w(x,y)为高斯函数,Harris检测：数学表达,窗口移动导致的图像变化：实对称矩阵M的特征值分析,max, min M的特征值,缓慢变化的方向,快速变化的方向,(max)-1/2,(min)-1/2,E(u,v)的椭圆形式,Harris检测：数学表达,1,2,“Corner” 1 和 2 都较大且数值相当 1 2; 图像窗口在所有方向上移动都产生明显灰度变化,如果1 和 2 都很小，图像窗口在所有方向上移动都无明显灰度变化,“Edge” 1 2,“Edge” 2 1,“Flat” region,通过M的两个特征值的大小对图像点进行分类:,2019/8/24,15,可编辑,Harris检测：数学表达,定义：角点响应函数R,(k empirical constant, k = 0.04-0.06),Harris检测：数学表达,1,2,“Corner”,“Edge”,“Edge”,“Flat”,R 只与M的特征值有关 角点：R 为大数值正数 边缘：R为大数值负数 平坦区：R为小数值,R 0,R 0,R 0,|R| small,Harris检测：算法优化,用 Harris 算法进行检测，有三点不足：（1 ）该算法不具有尺度不变性；（2 ）该算法提取的角点是像素级的；（3 ）该算法检测时间不是很令人满意。 基于以上认识，主要针对第（3 ）点对Harris 角点检测算法提出了改进。,Harris检测：算法优化,Harris 角点检测是基于图像像素灰度值变化梯度的， 灰度值图像的角点附近，是其像素灰度值变化非常大的区域，其梯度也非常大。换句话说，在非角点位置邻域里，各点的像素值变化不大，甚至几乎相等，其梯度相对也比较小。从这个角度着眼，提出了图像区域像素的相似度的概念，它是指检测窗口中心点灰度值与其周围n 邻域内其他像素点灰度值的相似程度，这种相似程度是用其灰度值之差来描述的。如果邻域内点的灰度值与中心点Image (i,j) 的灰度值之差的绝对值在一个阈值t范围内，那就认为这个点与中心点是相似的。与此同时，属于该Image (i,j) 点的相似点计数器nlike(i,j) 也随之加一。在 Image (i,j) 点的n 邻域 全部被遍历一边之后，就能得到 在这个邻域范围内与中心点相似的点个数的统计值nlike(i,j) 。根据nlike(i,j) 的大小，就可以判断这个中心点是否可能为角点。,Harris检测：算法优化,由于我选择3*3 的检测窗口，所以， 对于中心像素点 , 在下面的讨论中只考虑其8 邻域内像素点的相似度。 计算该范围的像素点与中心像素点的灰度值之差的绝对值 ( 记为 ) , 如果该值小于等于设定的阈值 ( 记为 t) , 则认为该像素点与目标像素点相似 。,nlike(i,j)=sum(R(i+x,j+y),从定义中可以看出 : 0 nlike ( i , j ) 8 。 现在讨论 nlike( i , j) 值的含义 。,(1) nlike (i , j) = 8 , 表示当前中心像素点的 8 邻域范围内都是与之相似的像素点 , 所以该像素点邻域范围内的梯度不会很大 , 因此角点检测时 , 应该排除此类像素点，不将其作为角点的候选点。 (2) nlike (i , j) = 0 , 表示当前中心像素点的 8 邻域范围内没有与之相似的像素点 , 所以该像素点为孤立像素点或者是噪声点 , 因此角点检测时 , 也应该排除此类像素点 。,Harris检测：算法优化,(3) nlike (i , j) = 7 , 可以归结为以下的两者情况 , 其他情形都可以通过旋转来得到 ( 图中黑色区域仅表示与中心像素相似 , 而两个黑色区域像素可能是相似的 , 也可能不相似 ) 。 对于图 1 (a)中 , 可能的角点应该是中心像素点的正上方的那个像素点 , 1(b) 图中可能的角点应该是中心像素点右上方的那个像素点 , 故这种情况下 , 中心像素点不应该作为角点的候选点 。,图1（a）,图1（b）,Harris检测：算法优化,(4) nlike (i , j) = 1 , 可以归结为图 2 中的两种情况 ( 图中白色区域仅表示与中心像素不相似, 而两个白色区域像素可能是相似的 , 也可能不相似 ) , 在这两种情况下 , 中心像素点也不可能为角点 。,图2（a）,图2（b）,(5) 2 nlike ( i , j) 6 , 情况比较复杂 , 无法确认像素点准确的性质。我采取的方法是先将其列入候选角点之列，对其进行计算CRF 等后续操作。,Harris角点的性质,旋转不变性：,椭圆转过一定角度但是其形状保持不变 （特征值保持不变）,角点响应函数 R 对于图像的旋转具有不变性,Harris角点的性质,对于图像灰度的仿射变化具有部分的不变性,只使用了图像导数 = 对于灰度平移变化不变 I I + b,Harris角点的性质,随几何尺度变化，Harris角点检测的性能下