sift算法讲解课件.ppt

SIFT特征匹配技术 任甲元郑舒颖金喆 图像配准结果 典型应用 关键技术 局部特征提取 局部特征 感兴趣区域检测 描述子 感兴趣区域 描述子 DavidLoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver B C V6T1Z4 CanadaE mail lowe cs ubc ca 作者简介 SIFT概述 SIFT算法由D G Lowe1999年提出 2004年完善总结 此后Y Ke将其描述子部分用PCA代替直方图的方式 对其进行改进 定义 SIFT算法是一种提取局部特征的算法 在尺度空间寻找极值点 提取位置 尺度 旋转不变量 特点 1 SIFT特征是图像的局部特征 其对旋转 尺度缩放 亮度变化保持不变性 对视角变化 仿射变换 噪声也保持一定程度的稳定性 2 独特性 Distinctiveness 好 信息量丰富 适用于在海量特征数据库中进行快速 准确的匹配 3 多量性 即使少数的几个物体也可以产生大量的SIFT特征向量 4 高速性 经优化的SIFT匹配算法甚至可以达到实时的要求 5 可扩展性 可以很方便的与其他形式的特征向量进行联合 1 检测尺度空间极值点 2 精确定位极值点 关键点检测 3 为每个关键点指定方向 4 关键点描述子的生成 描述子生成 SIFT概述 2 精确定位极值点 关键点检测 3 为每个关键点指定方向 4 关键点描述子的生成 描述子生成 1 检测尺度空间极值点 SIFT概述 尺度空间极值点检测 尺度空间极值点检测 尺度空间 二维尺度可变高斯核函数 滤波函数 高斯核和高斯微分是尺度空间分析的惟一平滑核 本实验采用一维高斯函数 空间坐标 尺度空间因子 坐标 二维图像函数 高斯差分尺度空间 DOGscale space 是尺度归一化LOG算子的近似 高斯金字塔的构建 高斯金字塔共o 7 阶 每阶有s 6 层 下一阶的图像由上一阶图像降采样得到 尺度空间极值点检测 归一化 归一化 gray0 135791011 归一化 gray0 135791011gray1 02468910 归一化 gray0 135791011gray1 02468910gray2 02 104 106 108 109 101 归一化 gray0 135791011gray1 02468910gray2 02 104 106 108 109 1010 gray2 1 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 高斯滤波 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 降采样 在3x3x3邻域内选择所有的极值中间的检测点和尺度空间共26个点比较 尺度空间极值点检测 关键点检测 3 为每个关键点指定方向 4 关键点描述子的生成 描述子生成 SIFT概述 2 精确定位极值点 1 检测尺度空间极值点 x 采样 极值点定位 两步检验 1 必须与周围的像素有明显的差异 即滤除低对比度的点 2 不能是边缘点 因为DOG算子会产生较强的边缘响应 目的 增强匹配稳定性 提高抗噪声能力 方法 拟合三维二次方程 找出低对比度的点泰勒序列展开式 其中 D是DOG计算的结果 x是候选关键点之一最小化的到真正的极值 偏移量 当 则该点是低对比度的点 关键点滤除 低对比度点的滤除 关键点滤除 边缘响应的滤除 一个定义好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率 而在垂直边缘的方向有较小的主曲率 主曲率 Hessian矩阵 D的主曲率和H的特征值成正比 令为最大特征值 为最小的特征值 为了检测主曲率是否在某阈值r下 只需检测 关键点滤除 边缘响应的去除 令 则 的值在两个特征值相等的时候最小 随着的增大而增大 文章中 若不满足上式 则是边缘的点 没有进行任何处理的关键点 去除了低对比度之后的点 去除边界相应的点 关键点检测 4 关键点描述子的生成 描述子生成 SIFT概述 3 为每个关键点指定方向 1 检测尺度空间极值点 2 精确定位极值点 选择一系列好的关键点选择每个关键点周围的一个区域去除尺度和旋转的影响 关键点方向分配 采用梯度直方图来确定关键点的方向用点的尺度选择正确的图像用有限差分计算梯度的模值和方向 关键点方向分配 关键点方向分配 实际计算中 在以关键点为中心的邻域窗口内采样 并用直方图统计邻域像素的梯度方向 梯度直方图的范围是0 360度 其中每10度一个柱 总共36个柱 直方图的峰值代表关键点处邻域梯度的主方向 即作为该关键点的方向 在梯度方向直方图中 当存在另一个相当于主峰值80 能量的峰值时 则将这个方向认为是该关键点的辅方向 一个关键点可能会被指定具有多个方向 一个主方向 一个以上辅方向 可以增强匹配的鲁棒性 每个关键点有三个信息 位置 所处尺度 方向 由此可以确定一个SIFT特征区域 关键点方向分配 关键点检测 3 为每个关键点指定方向 描述子生成 SIFT概述 4 关键点描述子的生成 1 检测尺度空间极值点 2 精确定位极值点 特征点描述子 1 首先将坐标轴旋转为关键点的方向 以确保旋转不变性 2 以关键点为中心取8 8的窗口 3 在每4 4的小块上计算8个方向的梯度方向直方图 绘制每个梯度方向的累加值 即可形成一个种子点 邻域方向性信息联合的思想增强了算法抗噪声的能力 同时对于含有定位误差的特征匹配也提供了较好的容错性 特征点描述子 实际计算过程中 为了增强匹配的稳健性 建议对每个关键字使用4 4共16个种子点来描述 这样对于一个关键点就可以产生128个数据 最终形成128维SIFT特征向量 此时SIFT特征向量已经去除了尺度变化 旋转等几何变化因素的影响 再继续将特征向量的长度归一化 则可以进一步去除光照变化的影响 当两幅图像的SIFT特征向量生成后 下一步采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量 取图像1中的某个关键点 并找出其与图像2中欧氏距离最近的前两个关键