图像特征提取

1、从尺度不变关键点选择可区分的图像特征Distinctive Image Features from Scale-Invariant Keypoints( (从尺度不变关键点选择可区分的图像特征从尺度不变关键点选择可区分的图像特征) )报告人：马振磊报告人：马振磊 学号：学号：2015110189从尺度不变关键点选择可区分的图像特征目标识别与匹配目标识别与匹配B提取图像特征提取图像特征A从尺度不变关键点选择可区分的图像特征图像特征图像特征 特征数量：它对目标识别尤为重要，要具备探测杂乱背景下 的小目标能力，要求每个目标至少有三个特征被正确的匹配才是可靠的识别。定义：图像特征是指某一副或某一类图像

2、区别于其他图 像的本质特点或特性或是这些特点和特性的集合 实用性：它具备将一个目标或场景的不同影像进行匹配。特点：对于图像尺度和旋转具有不变性，并在光照变化和三维相机视点变换的情况下具有部分不变性。从尺度不变关键点选择可区分的图像特征图像特征提取的方法图像特征提取的方法 特点：它可以生成大量特征，它们的密集覆盖了整个图像尺度和位置。一幅500*500的像素的典型图片可以产生约2000个稳定的特征。尺度不变的特征转化法（SIFT）：基于局部特征把图像数据转换到尺度不变的坐标上。从尺度不变关键点选择可区分的图像特征SIFTSIFT算法算法的步骤的步骤 1. 1.尺度空间的生成尺度空间的生成 2.2

3、.尺度空间极值点探测尺度空间极值点探测 3.3.精确定位极值点（关键点）精确定位极值点（关键点） 4.4.为每一个关键点指定方向参数为每一个关键点指定方向参数 5.5.关键点描述子的生成关键点描述子的生成从尺度不变关键点选择可区分的图像特征v尺度空间理论的目的是模拟图像数据的多尺度特征，高斯卷积核是实现尺度变换的唯一线性核。于是一幅二维图像的尺度空间函数定义为：尺度空间的生成尺度空间的生成从尺度不变关键点选择可区分的图像特征从尺度不变关键点选择可区分的图像特征构造高斯差分尺度空间构造高斯差分尺度空间表达式：从尺度不变关键点选择可区分的图像特征尺度空间尺度空间极值极值探测探测v为了探测尺度空间极

4、值点，每个样本点都要和它当前图像的八个近邻点和上下尺度上的各九个近点邻相比较，确保在二维图像空间和尺度空间都检测到极值点。只有在它比所有近邻大或者小时才会被选择，认为该点是图像在尺度下的一个特征点。从尺度不变关键点选择可区分的图像特征精确定位极值点精确定位极值点v通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点（DoG算子会产生较强的边缘响应），以增强匹配稳定性，提高抗噪声能力。从尺度不变关键点选择可区分的图像特征v空间尺度函数： (1)v求导令其为零得： (2)v把（2）代入（1）取前两项：v若 大于0.03，该特征点保留，否则丢弃。从尺度不变关

5、键点选择可区分的图像特征排除角反射（去除边缘响应）v高斯差分函数中一个定义不好的峰值将会对边缘处产生很大的主曲率，而在垂直方向上产生很小的主曲率。主曲率可以通过一个2*2的Hessian矩阵来计算。 H在关键点的位置和尺度上。 通过对近邻样本点的差分来估计导数值。从尺度不变关键点选择可区分的图像特征vH的特征值与D的主曲率成比例。设为最大量级的特征值，而为最小量级的特征值。v 则：v令=r v则：v看主曲率是否低于某个极限：v保留该特征点（r=10）。从尺度不变关键点选择可区分的图像特征从尺度不变关键点选择可区分的图像特征定向任务（为关键点指定方向参数）定向任务（为关键点指定方向参数）对于每个

6、图像样本L(x，y)，在这个尺度下，梯度量级m（x,y）和方向（x,y）是用像素差预计算出来的： 该式子表示（x,y）处梯度的模值和方向公式。L所用的尺度为每个关键点各自所在的尺度。从尺度不变关键点选择可区分的图像特征v通过以上的步骤，图像的关键点检测完毕。每个关键点有三个信息：位置，所在尺度，方向。由此可确定一个SIFT特征区域：从尺度不变关键点选择可区分的图像特征v关键点描述子生成关键点描述子生成从尺度不变关键点选择可区分的图像特征旋转主方向旋转主方向从尺度不变关键点选择可区分的图像特征从尺度不变关键点选择可区分的图像特征v在44的窗口内计算8个方向的梯度方向直方图。绘制每个梯度方向的累加

7、可形成一个种子点。绘制每个梯度方向的累加可形成一个种子点。从尺度不变关键点选择可区分的图像特征 每个直方图有8方向的梯度方向，每一个描述符包含一个位于关键点附近的四个直方图数组.这就导致了SIFT的特征向量有128维.生成描述子生成描述子从尺度不变关键点选择可区分的图像特征描述子向量元素门限化和规范化描述子向量元素门限化和规范化v 门限化：方向直方图每个方向上梯度幅值限制在一个门限值一下。（门限一般取0.2，门限值0.2是通过图像对相同的三维目标保留不同光照的实验得到的。 ）规范化：从尺度不变关键点选择可区分的图像特征归一化处理归一化处理矢量是被标准化的单位长度，图像对比度的改变会被矢量归一化

8、抵消掉。亮度变化不会影响到梯度值，因为梯度值是像素值之差。所以，描述子对于光照仿射变换具有不变性。非线性光照变化可能会造成一些梯度相关量级的巨大变化，但对梯度方向影响较小。因此，我们减少将每个单位特征矢量不大于0.2的这个限定对大的梯度量级的影响，然后对单位长度进行重归一化。通过归一化处理，可进一步去除光照变化的影响。从尺度不变关键点选择可区分的图像特征目标识别原理目标识别原理v通过将个别特征与由已知目标特征组成的数据库进行快速最近邻算法的匹配，然后使用霍夫变换来识别属于单一目标的聚类，最后通过最小二乘解执行一致的姿态参数的核查确认。 v特点：可以在有力确定对象之间的聚类和遮挡的同时实现近时性

9、能。从尺度不变关键点选择可区分的图像特征目标识别的问题和解决目标识别的问题和解决v模糊的特征和从背景聚类中得到的特征，很多这些最初的匹配是不正确的。v 识别那些与一个目标或其姿态一致的至少有三个特征的聚类，因为他们比那些独立特征有更高的可能被正确匹配。从尺度不变关键点选择可区分的图像特征目标识别过程目标识别过程 1. 1.关键点匹配关键点匹配 2.2.有效的最近邻函数有效的最近邻函数 3.3.霍夫变换聚类霍夫变换聚类 4.4.仿射参数的解决方法仿射参数的解决方法从尺度不变关键点选择可区分的图像特征关键点匹配关键点匹配v最近领定义：每个关键点的不变描述子矢量之间的最短欧氏距离。 v由训练图像得到

10、的关键点数据库中识别最近邻，我们找到了每个关键点的最佳候选匹配。 从尺度不变关键点选择可区分的图像特征v图像中的很多特征与训练数据库可能没有任何正确的匹配，因为它们是从背景聚类中提出的或没有在训练图像中被探测到。因此，有一种方法来丢弃与数据库没有很好地匹配的特征很有用。使用最近距离与次近距离的比值比较有效。 从尺度不变关键点选择可区分的图像特征从尺度不变关键点选择可区分的图像特征有效的最近领函数有效的最近领函数vBBF算法使用了一种k-d树算法的改进算法，使得特征空间中的箱是以它们在队列位置中最的近距离的顺序被检索。这个搜索顺序要求使用一种基于堆优先的队列来实现搜索顺序的高效决策。这是在场景中

11、近似的返回具有最高可能性的最近邻。 从尺度不变关键点选择可区分的图像特征霍夫变换的聚类霍夫变换的聚类v霍夫转换通过每个特征与所有目标中特征一致的姿态进行投票通过的一致性解译来识别聚类。当发现特征聚类与一个目标投票通过了同一姿态，这种解译正确的可能性比任何单一特征要高很多。从尺度不变关键点选择可区分的图像特征仿射参数的解决方法仿射参数的解决方法 v在正射投影下，仿射变换可以正确求解一个平面的三维旋转，但对于非平面的目标的三维旋转估值就很差了。更普遍的方法是解基础矩阵 。原理：初值由相似变换得到，然后计算已经找到足够匹配数的基础矩阵。从尺度不变关键点选择可区分的图像特征v模型点 对于图像 的仿射变换可以被写为： 其中， 为模型变换，而mi参数表示仿射旋转、缩放和拉伸。求解变换参数，上式可以被重写为将未知量变为列向量