课件：物体识别中的特征基于SIF特征提取描述匹配.pptx

物体识别中的局部特征提取,基于SIFT算法的检测、描述和匹配,基于图像进行物体识别的过程,特征提取,特征匹配,图像特征,全局特征 大小、灰度分布、颜色、全局边缘 局部特征 点、线 角点 区域内的边缘 局部极值,特征提取中的常见问题,物体所在环境复杂 光照 对比度 杂散背景 目标被遮挡 物体运动导致的识别困难 平移、旋转 尺度变化 彷射变换 视点变化（例如站在立体物体不同侧面，看到的图像可能大不相同）,局部特征,用于识别的要求局部特征： 重复性 可区分性 准确性 数量以及效率 不变性,传统的局部特征提取,成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。 传统的匹配算法往往是直接提取角点、线或边缘，对环境的适应能力较差。 需要一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。,7,1999年British Columbia大学David G.Lowe教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT（scale-invariant feature transform），这种算法在2004年被加以完善。,David G. Lowe Computer Science Department 2366 Main Mall University of British Columbia Vancouver, B.C., V6T 1Z4, Canada E-mail: lowecs.ubc.ca,SIFT算法,SIFT算法的主要特点,SIFT特征是图像的局部特征，其对平移、旋转、尺度缩放、亮度变化保持不变性。 对视角变化、仿射变换、噪声也保持一定程度的稳定性。 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 可扩展性，可以很方便的与其他形式的特征向量进行联合。,9,例如旋转不变性,Original image courtesy of David Lowe,尺度空间,我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。 尺度空间理论最早在1962年提出，其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。 尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。,尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式,尺度空间,尺度空间就是将要处理的维函数（计算机视觉中为维），嵌入到一族单参数函数族中。这个单参数函数族就叫做尺度空间。 单参数函数族的生成方法就是将要处理的函数与核函数进行卷积。 核函数选择的核心原则是保证在生成的单参数函数族中，局部极值的稳定性和数目随单参数的增加的递减性。 由于几个条件的约束导致，对连续函数必须使用高斯函数做为卷积核。对离散函数要使用高斯函数的某种离散近似。,图像多尺度表示,根据尺度理论，高斯卷积核是实现尺度变换的唯一变换核，也是唯一的线性核： 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：,图像多尺度表示,称为尺度空间因子，其值越小则表征该图像被平滑的越少相应的尺度也就越小。 大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。,SIFT算法步骤,检测尺度关键点（空间极值点 ）,精确定位关键点，去除低对比度点和不稳定边缘点,为每个关键点指定方向参数,关键点描述子的生成,15,所谓关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。 根据归纳，特征点具有的三个特征： 尺度 方向 大小,1. 哪些点是SIFT中要查找的关键点（特征点）？,这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、 边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物， 那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。,关键点检测相关问题,特征提取算子：尺度归一化的高斯拉普拉斯算子（LOG） 2 2 ，因为： 2 = 利用差分近似代替微分，则有： 2 2 , (,) 1 其中k-1是个常数，并不影响极值点位置的求取。再转换到高斯差分算子（DOG）中：,关键点检测相关问题,17,2. 高斯模糊 高斯模糊是在Adobe Photoshop等图像处理软件中广泛使用的处理 效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成 的图像的视觉效果是好像经过一个半透明的屏幕观察图像。,关键点检测相关问题,在实际应用中，在计算高斯函数的离散近似时，在大概3距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。 通常，图像处理程序只需要计算,18,3.高斯模板大小的选择,关键点检测相关问题,高斯金子塔的构建过程可分为两步： （1）对图像做高斯平滑； （2）对图像做降采样。 为了让尺度体现其连续性，在简单 降采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave） 图像，一组图像包括几层 （interval）图像。,19,4. 高斯金字塔,关键点检测相关问题,20,高斯图像金字塔共o组、s层， 则有：,尺度空间坐标； ssub-level层坐标； 0初始尺度； S每组层数,关键点检测相关问题,2019/8/25,21,可编辑,高斯金字塔的组内尺度与组间尺度,22,组内尺度是指同一组（octave）内的 尺度关系，组内相邻层尺度化简为：,组间尺度是指不同组直接的尺度关 系，相邻组的尺度可化为：,由此可见，相邻两组的同一层尺度为2倍的关系,关键点检测相关问题,23,最后可将组内和组间尺度归为：,i金字塔组数 n每一组的层数,关键点检测相关问题,24,上一组图像的底层是由前一组图像的倒数第二层图像隔点采样生成的。 这样可以保持尺度的连续性。,关键点检测相关问题,25,对应DOG算子，我们要构建DOG金字塔,我们可以通过高斯差分图像看出图像上的像素值变化情况。（如果没有变化，也就没有特征。特征必须是变化尽可能多的点。）DOG图像描绘的是目标的轮廓。,关键点检测相关问题,5. 高斯差分（DOG）金字塔,26,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的92个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。,DoG的局部极值点,关键点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点， 每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域 的相邻点大或者小。,关键点检测,27,精确确定极值点位置,在检测到极值点后，对差分算子D(x,y,)进行二阶泰勒展开，求导数的零点，对应为DOG算子，精确定位检测到的极值点为： 再求出当前关键点到精确到 的最大偏移量后，若其值大于0.5则表示极值点更靠近相邻的点，将关键点换成相邻的点，重复前两步。 若小于0.5则不动。,28,去除低对比度极值点：,在精确定位好后。通过上面求得的精确点，计算精确极值，计算公式如下： D( )过小的点易受噪声的干扰而变得不稳定，因此应该剔除。在Lowe的论文中提到当D(X)小于0.3时就定义此极值点为不稳定极值点，此点将被去除掉。,29,边缘响应处的极值点的去除,DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。 获取特征点处的Hessian矩阵， D的主曲率和H的特征值成正比，通过一个2x2 的Hessian矩阵 H的特征值表示： H的特征值和为特征值。 假设是较大的特征值，而是较小的特征值，令 ，则 两个特征值相等时最小，随着的增大而增大。让该比值小于一定的阈值。 为了检测主曲率是否在某域值r下，只需检测 成立时将关键点保留，反之剔除。在Lowe的文章中，取r10。,30,关键点方向分配,通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性。,像素点的梯度表示,梯度幅值：,梯度方向：,我们通过求每个极值点的梯度来为极值点赋予方向。,31,关键点方向分配,方向直方图的生成,确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。,32,关键点方向分配,关键点主方向：极值点周围区域梯度直方图的主峰值,也是特征点方向 关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰值 当某方向80%能量的峰值时，则将该方向认为是该关键点的辅方向，生成一个新的特征向量。,关键点的主方向与辅方向,特征检测,33,图像的关键点和特征已检测完毕，每个关键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。,关键点描述,描述的目的 描述的目的是在计算关键点后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、3D视点变化等。 描述的思路 通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。,34,35,关键点描述,下图是一个SIFT描述子事例。其中描述子由228维向量表征，也即是22个8方向的方向直方图组成。左图的种子点由88单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在44的窗口内计算8个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点由4个种子点的信息所组成。,36,关键点描述,Lowe实验结果表明：描述子采用448128维向量表征，综合效果最优（不变性与独特性）。,37,关键点描述,是关键点所在组（octave）的组内尺度，,1. 确定计算描述子所需的图像区域,描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像区域的半径通过下式计算：,128维关键点描述子生成步骤,38,关键点描述,2. 将坐标移至关键点主方向,那么旋转角度后新坐标为：,39,3.