图像sift算法学习及特征提取.doc

课程设计报告装订线 西 安 电 子 科 技 大 学电 子 工 程 学 院课 程 设 计（报告）任 务 书学生姓名 指导教师 职称 学生学号 专业 题目 Sift算法学习 任务与要求1 学习sift算法，搞清算法每一步的任务；2 编程实现sift算法，对图像提取sift特征。开始日期 年 月 日 完成日期 年 月 日 课程设计所在单位 年 月 日本表格由电子工程学院网络信息中心 编辑录入 . 摘要尺度不变特征转换（Scale-invariant feature transform或 SIFT）是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。本文从初学者的角度，简单学习SIFT算法，并初步实现了对图像提取SIFT特征，为之后进一步的学习和研究奠定了基础。一、算法的基本理论及方法1.1 Sift算法的基本思想Sift算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置尺度，旋转不变量。1.2 Sift算子的主要特征(1) Sift特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性。(2) 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。(3) 多量性，即使少数的几个物体也可以产生大量的sift特征向量。(4) 高速性，经优化的sift匹配算法甚至可以达到实时的要求。(5) 可扩展性，可以很方便地与其他形式的特征向量进行联合。1.3 Sift算法的主要步骤1.3.1 尺度空间极值检测搜索所有尺度上的图像位置。通过高斯微分函数来识别对于尺度和旋转不变的兴趣点。1. 尺度空间的建立二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：（1）式中，代表图像的像素位置，代表图像的尺度空间，为尺度空间因子，其值越小则表征被平滑的越少，相应的尺度也就越小，同时大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。是尺度可变的高斯函数，定义如下（2）其中，是空间坐标，代表高斯正态分布的方差，亦即尺度坐标。2. 高斯金字塔的建立高斯金子塔的构建过程可分为两步：（1）对图像做高斯平滑；（2）对图像做降采样。图1 高斯金字塔图像的金字塔模型是指，将原始图像不断降采样，得到一系列大小不一的图像，由大到小，从下到上构成的他装模型。原图像为金字塔的第一层，每次降阶采样所得到的新图像我金字塔的一层（每层一样图像），每个金字塔共层，金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定，其计算公式如下：（3）其中为原始图像的大小，为塔顶图像的最小位数的对数值。为了让尺度体现其连续性，高斯金字塔在简单降采样的基础上加上了高斯滤波。如图1所示，将图像金字塔每层的一张图像使用不同参数做高斯模糊，似的金字塔的每层含有多张高斯模糊图像，将每层多张图像合称为一组（Octave），金字塔每层只有一组图像，组数和金字塔层数相等，使用公式（3）计算，每组含有多张（也即层Interval）图像。另外降采样时，高斯金字塔上一组图像的初始图像（底层图像）是由前一组图像的倒数第三张图隔点采样得到的。3 高斯差分金字塔为了有效提取稳定的关键点，Lowe提出了利用高斯差分函数DOG（Difference Of Gaussian）对原始影像进行卷积：（4）在实际计算时，使用高斯金字塔每组中相邻上下两层图像相减，得到高斯差分图像如图2，进行极值检测。图2 高斯差分金字塔的生成4. 空间极值点检测（关键点的初步探查）关键点是由DOG空间的局部极值点组成的。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图3所示，中间的监测点和它同尺度的八个相邻点和上下相邻尺度对应的个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。图3 DOG 尺度空间局部极值检测1.3.2 关键点的精确定位关键点的精确定位是通过拟合三维二次函数以精确确定关键点的位置（达到子像素精度），同时去除低对比度的关键点和不稳定的边缘响应点（因为DOG算子会产生较强的边缘响应）以增强匹配稳定性、提高抗噪声能力。1. 关键点的精确定位为了提高关键点的稳定性，需要对尺度空间DoG函数进行曲线拟合.利用DoG函数在尺度空间的Taylor展开式：（5）其中，是在关键点处的值。求导并让方程等于零，可得到极值点的偏移量为：（6）如果在任一方向上大于0.5，就意味着该关键点与另一采样点（检测点）非常接近，这是就用插值来代替该关键点位置，关键点加上即为关键点的精确位置。为了增强匹配的稳定性，需要伸出对比度低的点，将（6）式代入（5）式中，得到：（7）2. 去除边缘效应一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的地方有较小的主曲率。DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。获取特征点处的Hessian矩阵，主曲率通过一个的Hessian矩阵求出：（8）的最大特征值和最小特征值代表和方向的梯度，（9）令为最大特征值与最小特征值的比值，即，则（10）的值在两个特征值相等时最小，并随着的增大而增大。因此，为了检测主曲率是否在某阈值下，只需检测：（11）在Lowe的文章中，取。1.3.3 关键点方向分配通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性。使用图像梯度的方法求取局部结构的稳定方向，对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像领域窗口内像素的梯度和分布特征，梯度的模值和方向如下：（12）式中，和分别为高斯金字塔影像处的梯度大小和方向，所用到的尺度为每个关键点所在的尺度。在实际计算中，常以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，梯度直方图的范围是。图4 由梯度方向直方图确定主梯度方向(1).直方图以每10度方向为一个柱，共36个柱，柱所代表的方向为像素点梯度方向，柱的长短代表了梯度幅值。(2).根据Lowe的建议，直方图统计半径采用。(3).在直方图统计时，每相邻三个像素点采用高斯加权，根据Lowe的建议，模板采用0.25,0.5,0.25，并连续加权两次。关键点的主方向与辅方向1) 关键点主方向：极值点周围区域梯度直方图的主峰值也是特征点方向2) 关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰80%能量的峰值时，则将这个方向认为是该关键点的辅方向。通过上述做法增强了匹配的鲁棒性，Lowe的论文指出大概有15%的关键点具有多方向，但这些点对匹配的稳定性至为关键。1.3.4 关键点的描述首先，将坐标轴旋转到关键点的主方向。只有以主方向为零点方向来描述关键点才能使其具有旋转不变性。然后，以关键点为中心取8*8的窗口，如图5左图所示。左图中的黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度的大小，圆圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。接下来在每个4*4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图5右图所示。此图中，一个关键点由2*2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好容错性。图5 由关键点邻域梯度信息生成特征向量在实际计算中，为了增强匹配的稳健性，Lowe建议对每个关键点可使用4*4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的sift特征向量。此时sift特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。二、提取图像Sift特征结果通过对图像进行Sift特征提取，得到图像如下：图6 提取图像的Sift特征学习感想与思考通过近一周的学习和实践，基本了解并初步实现了图像处理的sift算法。在这个自主学习的过程中，通过查找算法资料，以及查阅算法提出者David Lowe的主页内对算法的介绍和应用，我一方面了解了相关图像sift算法的原理、现阶段的发展情况，更重要的是我实践了，了解问题，发现问题，解决问题的过程。对于图像的sift算法，常用于图像匹配，笔迹鉴定，图像拼接等。关于该算法，我的思考是：1. 可以在建立某个地区的资料库前提下，人们拍照后可以通过背景图像匹配，与数据库中的图像进行匹配，实现人们照片在地区地图上的标记，制作个人的旅行日记。2. 可以应用于刑事侦查中，警方通过对现场证据的采集，与数据库中的物品进行匹配，快速查找并确定证物特征及嫌疑人特征。3. 可以应用于电影制作，通过图像匹配实现大型场景的添加和还原。【参考文献】1 David G. Lowe, Distinctive Image Features from Scale Invariant keypointsJ. International Journal of Computer Vision, 2004.2 张春美，龚志辉，孙雷。改进SIFT特征在图像匹配中的应用J. 计算机工程与应用，2008，44（2）。3 刘立，彭复元，赵坤，等。采用简化SIFT算法实现快速图像匹配J。红外与激光