专题技术尺度空间理论和SIFT算法小结

1、尺度空间理论尺度空间（scalesPace服想最早由lijima 丁 1962年提出（l）,但当时并未引起算 机视觉领域研究者们的足够注意，直到上世纪八十年代，witkin（2）Koenderink（3） 等人的奠基性工作使得尺度空间方法逐渐得到关注和发展。此后，随着非线性扩散方程、变分法和数学形态学等方法在计算机视觉领域中的广泛应用，尺度空间方法进入了快速发展阶段。尺度空间方法本质上是偏微分方程对图像的作用。4 lijirnH L. Jabir rliery of pjitteru（Jor the ch of a typical inie diiiniunaL pnltern :jJ?nl：

2、cirri of the ElwtrctechuKal Lnl'Kiratvry.p| W itkin A P Scale Space FAteringk" In Inf- Joint Conf. Artificial1蚓3;卬310313J J Tht' Strnctnrr hnnx1'- RiuLvjK iU1584;50:363-370尺度空间方法的基本思想是：在视觉信息（图像信息）处理模型中引入一个被 视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。尺度空间方法将传统的单尺度视觉 信息处理技

3、术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质 特征。尺度空间的生成目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核。尺度空间是一个用来控制观察尺度或表征图像数据多尺度自然特性的框架； 信号的尺度空间表征是信号的特征结构集合并包含有一个连续的尺度参量（即观察尺度）。尺度空间理论8是通过对原始图像进行尺度变换，获得图像多尺度下 的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。尺度空间表示是一种基丁区域而不是基丁边缘的表达，它无需关丁图像的先验知识。与通 过减小图像尺寸而提高计算效

4、率的其他多尺度或多分辨率表达相比，尺度空间表示由平滑获得，在多由尺度上都保持了不变的空间取样，但对同一特征而言，它在粗糙尺度上对应更多的像素点，这样就使得对这些数据的计算任务得到连续的 简化。尺度空间表示的另一个重要特征，就是基丁尺度的结构特性能以一种简单 的方式解析的表达，不同尺度上的特征可以一种精确的方式联系起来。作为尺度空间理论中的一个重要概念，尺度空间核被定义为：f°ut=K*fin （1）对丁所有的信号以，若它与变换核K卷积后得到的信号fout中的极值（一阶 微分过零点数）不超过原图像的极值，则称K为尺度空间核，所进行的卷积变换 称为尺度变换。尺度空间表示通过平滑获得，可描

5、述为（x,u）空间（? y呢？），x 和。分别为位置参数和尺度参数。当采用不同尺度的平滑函数对同一图像进行滤 波时，得到的一簇图像就是原始图像相对丁该平滑函数的尺度空间，a为尺度空间坐标。在高斯尺度空间，同一类型特征点和边缘在不同的尺度上具有因果性，即当尺度变化时，新的特征点可能出现，而老的特征点可能移位或消失。这种因果性 带来的含糊性是固有的，不可避免的，不能企求消除，但可以减小。然而 ，由丁 高斯核9具有线性、平移不变性、旋转不变性和子集特性等特性，可以证明， 高斯核是实现尺度变换的唯一变换核10。因此，利用高斯核的一阶导数将Harris 角点算子变换成尺度空间的表示。8 Lindeber

6、g T. Scale-space theory A basic tool for ana-lysing structures at different scales J. Journal Ap-plied Statistics, 1994, 21(2) 223 261.9 Babaud J, Witkin A P, Baudin M,et al. Uniquenessof the Gaussian kernel for scale-space filtering J.IEEE Transactions on Pattern Analysis Machine Intelligence, 1986

7、, 8(1): 26 33.10 吴立德.计算机视觉M.上海：复旦大学出版社，1993.Harris角点提取方法是目前效果最好的，它不受摄像机姿态及光照的影响。然而，对丁尺度变化较大的视觉系统，该方法却不能保持特征的不变性，如移动 机器人视觉系统，由丁移动机器人位置变化，其采集的图像不仅会有光照、位置 的变化，还存在尺度变化。通常，通过大尺度观察图像，可以得到图像的粗糙画 面；而从小尺度观察，能够检测到图像的细节特征。实际图像中的特征角点常常 发生在不同的尺度范围上，并且每一角点的尺度信息是未知的。一般认为在较大尺度下能较可靠地消除误检和检测到真正的角点，但角点的定位不易准确。相反，在较小尺度

8、下对真正的特征角点的定位比较准确，但误检的比例会增加。所以， 可考虑先在较大尺度下检测出角点，然后在较小尺度下对真正特征角点进行较精 确定位。因此，利用多尺度技术检测角点是获得理想特征角点的一种理想途径， 即有效组合利用多个不同尺度的角点检测算子，同时正确地检测一幅图像内发生 在各个尺度水平上的角点。某一角点检测算法的优劣可通过稳定性准则、可靠性准则和抗噪性能准则来评价12。这3个准则依靠改变参数、阈值或增加噪声后 检测出的角点与初始检测出的角点的重复率7决定。1 K100 % min Ci ,|Cj分子的含义是计算不同尺度下检测到的完全相同的角点(即横、纵坐标都相同)的数目。由式(9)可知，

9、重复率可越大，算法的稳定性越高。12杨杨，张田文.角点检测算法评价方法的研究J.哈尔滨工业大学学报，1998, 30(2): 7 10.为了能够对特征点在不同尺度下提取的效果进行定量评价，使用以下公式12：C I1, I2=100 %mean m1, m2分子表示两幅图像中重复特征点的个数，分母表示两幅图像中特征点提取个数的 平均值，这个值被称为重复率。重复率越大，则说明特征点算法效果越好，即算 法提取特征点的稳定性越好。12 C Schmid R M,C Bauckhage.Comparing and evaluating in-terest pointsA.Proceedings of t

10、he6th International Confer-ence on ComputerVisionC.Bombay,India:IEEE ComputerSociety Press,1998.230-235.视觉多尺度分析 是一种新的视觉信息处理方法，其基本思想是：当我们用 眼睛观察物体且物体和观察者之间的距离（将距离视为尺度参数）不断变化时， 视网膜将感知到不断变化的图像信息，分析和综合这些不同尺度下的视觉信息 以获得被观察物体的本质特征，这种视觉分析方法即称为视觉多尺度分析。尺度空间满足的视觉不变性：上述诸不变性定义的视觉解释如下：当我们用眼睛观察物体时，一方面， 当物体所处背景的光照条件

11、变化时，视网膜感知图像的亮度水平和对比度是不 同的，因此要求尺度空间算子对图像的分析不受图像的灰度水平和对比度变化 的影响，即满足灰度不变性和对比度不变性；另一方面，相对丁某一固定坐标 系，当观察者和物体之间的相对位置变化时，视网膜所感知的图像的位置、大 小、角度和形状（三维物体投影到视网膜上的二维图像轮廓，通常对应丁图像的仿射变换）是不同的，因此要求尺度空间算子对图像的分析与图像的位置、大小、角度以及仿射变换无关，即满足平移不变性、尺度不变性、欧基里德不变性以 及仿射不变性。尺度空间的因果性：上述定义所叙述的锥形性意味着大尺度下的图像可以通过对小尺度图像的 尺度空间算子作用而直接获得，局部对

12、比性意味着尺度空间算子作用对图像灰 度值的局部保序性，而正则性则是为导出尺度空间算子表达形式而引入的附加 要求。SIFT算法小结1 SIF T发展历程SIFT算法由D.G.Lowe 1999年提出，200砰完善总结。后来Y.Ke将其描述子部 分用PC啾替直方图的方式，对其进行改进。2 SIFT主要思想SIFT算法是一种提取局部特征的算法， 在尺度空间寻找极值点，提取位置，尺 度，旋转不变量。3 SIFT算法的主要特点：a）SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变 性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。b）独特性（Distinctiveness）好，信息

13、量丰富，适用丁在海量特征数据库中进23行快速、傕确的匹配。c）多量性，即使少数的几个物体也可以产生大量 SIFT特征向量。d）高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。e）可扩展性，可以很方便的与其他形式的特征向量进行联合。4 SIFT算法步骤：1) 检测尺度空间极值点2) 精确定位极值点3) 为每个关键点指定方向参数4) 关键点描述子的生成5 SIFT算法详细尺度空间的生成尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核,丁是一副二维图像的尺度空间 定义为：L(x, y,cr) =G (x, y,cr) * I (x, y)(1)1,22、其中G

14、(x,y,o)是尺度可变局斯函数，G(x,y,o)=/工书/。(2)2 二二(x, y)是空间坐标，。是尺度坐标。大小决定图像的平滑程度，大尺度对应 图像的概貌特征，小尺度对应图像的细节特征。大的o值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间(DOG scale-space。利用不同尺度的高斯差分核与图像卷积生成。D (x, y,B) =(G(x,y, ku) G(x, y,。)* I (x, y) = L (x, y, kb) L (x, y,。)(3)DOG算子计算简单，是尺度归一化的 LoG算子的近似。图像金字

15、塔的构建：图像金字塔共 。组，每组有S层，下一组的图像由上 一组图像降采样得到。图1由两组高斯尺度空间图像示例金字塔的构建， 第二组的第一副？图 像由第一组的第一副到最后一副图像由一个因子2降采样得到。？?洌何实现？图2 DoG算子的构建:。/Mtw 1Octave 期图 1 Two octaves of a Gaussian scale-space image pyramid with s =2 intervals. The first image in the second octave is created by down sampling the second ? ? to last

16、image in the previousOctave 1DqG Octave 1图 2 The difference of two adjacent intervals in the Gaussian scale-space pyramid create an interval in the difference-of-Gaussian pyramid (shown in green).空间极值点检测为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较， 看其 是否比它的图像域和尺度域的相邻点大或者小。如图3所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的 9X 2个点共

17、26个点比较，以确保在 尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下 的一个特征点，如图1所示。/ / / / / g / 4 / 匕 7/ / /产式一/ /图3 DoG尺度空间局部极值检测构建尺度空间需确定的参数。一尺度空间坐标O octave 坐标S sub-level 坐标。和 O、S 的关系 o（o,s） =<To2°*/S ,。击。min +0,., O-1, sw 0,., S-1其中 见是基准层尺度。o octave坐标，s sub-level坐标。注：octaves的

18、索引可能是负的。第一组索引常常设为。或者-1,当设为-1的时候，图像在计算高斯尺度空间前先扩大一倍。空间坐标x是组octave的函数，设x。是。组的空间坐标，贝Ux = 2° x0, o 己己 x0 三 0,., N 0 -1 I 0,., M 0 - 1 如果（Mo,No ）是基础组o=0的分辨率，则其他组的分辨率由下式获得:|n°M °o,M ° =o_2 一2No注：在Lowe的文章中，Lowe使用了如下的参数:1 / S_-n =°.5,二° =1.6 2，Omm - -1，S =3在组o=-1，图像用双线性插值扩大一倍（对丁

19、扩大的图像 =1 ）o精确确定极值点位置通过拟和三维二次函数以精确确定关键点的位置和尺度（达到业像素精度）， 同时去除低对比度的关键点和不稳定的边缘响应点 （因为DoG算子会产生较强的 边缘响应），以增强匹配稳定性、提高抗噪声能力。空间尺度函数D(x,y,o)(在局部极值点(x0,y°p代的，去掉这个限制不行吗？T_2D(x,y,o) =D(x°,y0,u广 一X +1乂丁三耳乂)泰勒展开式如下:;:Xo2X。P T1一2 DD（x,y,；）= D x, y,c- xxT x；:x2；:x对上式求导，并令其为0,得到精确的位置*,5?二 一呈二堂 (4)；:x ；:x 在已

20、经检测到的特征点中，要去掉低对比度的特征点和不稳定的边缘响应点。 去除低对比度的点：把公式(4)代入公式(3),只取前两项可得：Tc1 ：D cDV) =D x,v,二x2 ；:x若D(?怜0.03，该特征点就保留下来，否则丢弃。 边缘响应的去除一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率， 而 在垂直边缘的方向有较小的主曲率。主曲率通过一个 2x2的Hessian矩阵H求 出：Dxx DxyH -/八:Dxy Dyy_(4)导数由采样点相邻差估计得到。D的主曲率和H的特征值成正比，令a为最大特征值，E为最小的特征值，则Tr(H) = Dm + D媚=cv + 用Det(H)

21、 (万邛)'a3.令a =邪，则:Tr(II)2 = 一 + J)，= (M + " = (+ 1件Det(H) 企3 r/32r '(r + 1) 7r的值在两个特征值相等的时候最小，随着 r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测T>(H)2 + 1)2Det(H) <在Lowe的文章中，取r = 10。关键点方向分配利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。梆(工 j) = J(冷十项)一。(工+ US J +1)二 £(x,y 1)'6(&y) = qtan2(

22、L(x?y + 1)-Z(xfy-l)/(£(r+一式 为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自 所在的尺度。在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计 邻域像素的梯度方向。梯度直方图的范围是0360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向， 即作为该关键点 的方向。图4是采用7个柱时使用梯度直方图为关键点确定主方向的示例。( 窗0 i2下口尺寸采用Lowe隹荐的1.5。X 1.5 b图4由梯度方向直方图确定主梯度方向在梯度方向直方图中，当存在另一个相当丁主峰值80购它量的峰值时，则将这

23、个方向认为是该关键点的辅方向。 一个关键点可能会被指定具有多个方向 (一个 主方向，一个以上辅方向)，这可以增强匹配的鲁棒性 53。至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、 方向。由此可以确定一个SIFT特征区域(在实验章节用椭圆或箭头表示)。特征点描述子生成首先将坐标轴旋转为关键点的方向，以确保旋转不变性。领域梯度方句关键点寿征向量图5由关键点邻域梯度信息生成特征向量接下来以关键点为中心取8X 8的窗口。图5-4左部分的中央黑点为当前关键点 的位置，每个小格代表 关键点邻域所在尺度空间（和关键点是否为一个尺度空 问？）的一个像素，利用公式（5）求得每个像素（i,j

24、 ）的梯度幅值m.j与梯度方 向6,j ,箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算，每个像素对应一个向量，长度为G&',i,j>mi,j ,G （b ,i, j凶该像素点的高斯权值，方向为Q,j ,图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。高斯参数 （T '取3倍特征点 所在的尺度，即3b 1.5 b? ? ?。然后在每4X4的小块上计算8个方向的梯度 方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图 5右部分 所示。此图中一个关键点由2X 2共4个种子点组成，每个种子点有8个

25、方向向量信 息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对丁含有定位误差的特征匹配也提供了较好的容错性。实际计算过程中，为了增强匹配的稳健性，Lowe®议对每个关键点使用4X4共16个种子点来描述，这样对丁一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变 形因素的影响，再继续将特征向量的长度归一化， 则可以进一步去除光照变化的 影响。当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式 距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式

26、距离最近的前两个关键点，在这两个关键点中，如果最近 的距离除以次近的距离少丁某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。为了排除因为图像遮挡和背景混乱 而产生的无匹配关系的关键点,Lowe提出了比较最近邻距离与次近邻距离的方法 距离比率ratio小丁某个阈值的认为是正确匹配。因为对丁错误匹配，由丁特征空 间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。 Lowe隹荐ratio的阈值为0.8。（还不理解）但作者对大量任意存在尺度、旋转和 亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 40. 6之间最佳，小丁 0

27、. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点。（如果这个地方你要改进，最好给出一个匹配率和ration之间的关系图，这样才有说服力）作者建 议ratio的取值原则如下:ratio=0. 4对丁准确度要求高的匹配；ratio=0. 6对丁匹配点数目要求比较多的匹配；ratio=0. 5般情况下。也可按如下原则：当最近邻距离<200时ratio=0. 6 ，反之ratio=0. 4 。ratio 的取值策略能排分错误匹配点。对SIFT算法的总的概述：SIFT算法中的邻域方向性信息联合的思想能够增强 算法的抗噪声能力，同时对丁含有定位误差的特征匹配也提供了较好的容错性，并且SIFT

28、特征是图像的局部特征，其对图像旋转、尺度缩放、亮度变化保持不变 性,对视角变化、仿射变换、噪声也保持一定程度的稳定性，它具有很好的独特性 和丰富的信息量，适用丁海量特征数据库的图像匹配。SIFT图像特征的许多届性适合丁对不同图像或场景中同一目标进行匹配。这 些特征对丁图像尺度、旋转、亮度和3DW点都具有不变性，而且有很高的独特性， 能使单独一个特征从很大的特征数据库中被高概率正确地匹配出来，减小了由遮挡、混乱或噪音所造成的错误概率。生成 SIFT图像特征集的主要计算步SIFT算法基丁图像特征尺度选择的思想，建立图像的多尺度空间，在不同尺度下检测到同一个特征点，确定特征点位置的同时确定其所在尺度，以达到尺度抗缩放的目的，剔出一些对比度较低的点以及边缘响应点，并提取旋转不变特征描述符以达到抗仿射变换的目的。该算法主要包含4个步骤:(1)建立尺度空间，寻找候选点； 精确确定关键点，剔除不稳定点；(3)确定关键点的方向； 提取特征描述符。利用一组连续的高斯卷积核与原图像进行卷积，生成一系列尺度空间的图像，相邻尺度的图像相减就得到一组 DO®像，然后将图像缩小2倍并重复以上过程， 直至图像尺寸小丁某一范围(例如