课件：目标检测：基于特征描述子的方法harris.pptx

目标检测 基于特征描述子的方法,吴金建 电子工程学院,目标检测 基于特征描述子的方法,引言,图像变化的类型,几何变化 旋转 相似(旋转 + 各向相同的尺度缩放) 仿射 (非各向相同的尺度缩放) 适用于: 物体局部为平面 灰度变化 仿射灰度变化 (I a I + b),图像匹配在众多视觉应用中是一个关键技术，匹配算法直接影响后续视觉处理的效果。,引言,图像匹配在众多视觉应用中是一个关键技术，匹配算法直接影响后续视觉处理的效果。 对于运动目标，常采用光流等方法提取特征进行匹配，如北航王兆仲等人提出了一种利用光流确定图像运动场的高精度图像匹配算法。 对于静态目标，主要采用点匹配方法，即给定同一场景的两幅图像，寻找同一场景点投影到图像中的像素之间的对应关系，主要步骤为图像特征点提取和最小距离计算。,引言,不同类型的特征点,什么是角点？,目前关于角点的具体定义和描述主要有如下几种：,3角点是一阶导数(即灰度的梯度)的局部最大所对应的像素点；,4角点处的一阶导数最大，二阶导数为零；,1角点是两条及两条以上边缘的交点；,2角点是指图像中梯度值和梯度方向的变化速率都很高的点。,引言,角点特征是影像的重要特征，在各种影像特征中角点具有旋转不变性和不随光照条件改变而改变的优点在一些应用中使用角点特征进行处理，可以减少参与计算的数据量，同时又不损失图像的重要灰度信息，利用角点特征进行匹配可以大大提高匹配的速度。 其在三维场景重建、运动估计、目标跟踪、目标识别、图像配准与匹配等计算机视觉领域起着非常重要的作用。,什么是好的角点检测算法？,检测出图像中“真实的”角点； 准确的定位性能； 很高的重复检测率（稳定性好）； 具有对噪声的鲁棒性； 具有较高的计算效率；,Harris等人对Moravec算子进行改进，主要克服只对四个方向进行研究的问题，提出了通过Taylor级数展开法，实现窗口沿任何方向位移的灰度变化情况，最后特征点的确定用数学解析式做辅助。 Harris角点检测算子具有旋转不变以及缩放不变等许多优良性能，因此广泛应用在各种图像匹配算法中。如Schmid和Mohr采用Harris角点检测实现通用目标识别等，但它对尺度、视角、照明变化比较敏感，而且抗噪声能力差。,引言,1999年Lowe等人提出一种更加稳定的SIFT(Scale Invariant Feature Transform)特征算子，该算子不仅具有尺度、旋转、仿射、视角、光照不变性，对目标的运动、遮挡、噪声等因素也保持较好的匹配性。 该算子目前已广泛应用于机器人定位和导航、地图生成及三维目标识别中。,引言,2006年Bay提出了SURF(Speeded Up Robust Features)算法，进一步提高了特征的提取速度，但在对尺度和旋转的适应方面不及SIFT。 SURF算法通过计算积分图像和Fast-Hessian矩阵大大提高了特征点检测的速度，但特征匹配时采用的是全局最近邻搜索方法，由于SURF特征向量是高维向量，其计算量大、匹配正确率低。,引言,Harris 角点检测,Harris角点检测基本思想 从图像局部的小窗口观察图像特征 角点定义：窗口向任意方向的移动都导致图像灰度的明显变化,Harris角点检测基本思想,平坦区域： 任意方向移动，无灰度变化,边缘： 沿着边缘方向移动，无灰度变化,角点： 沿任意方向移动，明显灰度变化,Harris 角点检测,Harris检测：数学表达,将图像窗口平移u,v产生灰度变化E(u,v),2019/8/25,16,可编辑,由：,得：,Harris检测：数学表达,于是对于局部微小的移动量 u,v，可以近似得到下面的表达：,其中M是 22 矩阵，可由图像的导数求得：,Harris检测：数学表达,窗口移动导致的图像变化：实对称矩阵M的特征值分析,max, min M的特征值,缓慢变化的方向,快速变化的方向,(max)-1/2,(min)-1/2,E(u,v)的椭圆形式,Harris检测：数学表达,max, min也是矩阵M的旋转不变量，反映图像两轴方向的平面曲率。,1,2,“Corner” 1 和 2 都较大且数值相当 1 2; 图像窗口在所有方向上移动都产生明显灰度变化,如果1 和 2 都很小，图像窗口在所有方向上移动都无明显灰度变化,“Edge” 1 2,“Edge” 2 1,“Flat” region,通过M的两个特征值的大小对图像点进行分类:,Harris检测：数学表达,定义：角点响应函数R,(k empirical constant, k = 0.04-0.06),Harris检测：数学表达,1,2,“Corner”,“Edge”,“Edge”,“Flat”,R 只与M的特征值有关 角点：R 为大数值正数 边缘：R为大数值负数 平坦区：R为小数值,R 0,R 0,R 0,|R| small,Harris检测：数学表达,Harris角点检测,Harris算法认为：所谓的特征点就是极大角点响应函数在局部范围内对应的像素点。 所以，当各点的角点响应函数被计算出之后，就要将原图像中所有局部角点响应函数最大的点提取出来。在实验过程中，通常在每个像素的33邻域窗口内进行最大值的提取，如果中心像素点的兴趣值恰好最大，就把中心点当作特征点。,Harris角点检测：流程,角点响应函数R,Harris角点检测：小结,沿方向 u,v的平均灰度变化可以表达成双线性形式： 使用M的特征值表达图像点局部灰度变化的情况，定义角点响应函数： 一个好的角点沿着任意方向移动都将导致明显的图像灰度变化，即：R具有大的正数值。,Harris角点的性质,旋转不变性：,椭圆转过一定角度但是其形状保持不变 （特征值保持不变）,角点响应函数 R 对于图像的旋转具有不变性,对于图像灰