加速鲁棒特征(surf)

1、本科毕业设计英文翻译专业名称 信息工程学生姓名 周航远完成时间 2010.5本科毕业设计英文翻译指导教师评阅意见加速鲁棒特征（SURF）Herbert Bay , Andreas Ess , Tinne Tuytelaars ,和 Luc Van Gool 摘要本文提出了一种新颖的刻度旋转不变的检测器和描述器。创造了SURF（加速鲁棒性特征）。SURF甚至比以前被推荐的方案更具可重复性、特异性和鲁棒性，在计算和比较速度上也快很多。这是通过以下方法完成的：依赖于积分图像的图像卷积、建立在目前先进的探测器和描述器（特别是采用了Hessian矩阵方法的探测器和基于分布的描述器）的基础上、简化了这些手

2、段使之更有效。这产生了新颖的探测、描述和匹配步骤的结合。这篇文章包含了对探测器、描述器探测最重要参数的影响的详细描述。我们推测这篇关于SURF的应用面临两个挑战，虽然它们是相反的：图像配准中的相机矫正以及目标识别。我们的实验强调了SURF在一系列计算机视觉研究中的有效性。关键词：兴趣点，局部特征，特征描述相机矫正目标识别1、引言找出同一场景或物体的两张图像的对应点的工作是很多计算机视觉应用的一部分。图像配准，相机矫正，目标识别以及图像检测只是很少的一部分。寻找离散图像点的对应点可分为三大步骤。第一，在图像中的特殊位置选择“兴趣点”，比如角落、斑点、T形结合处。一个兴趣点探测器最有价值的特性是它

3、的重复性。重复性是一个探测器在不同可视条件下寻找同一个物理兴趣点的可靠性的表示。第二，每个兴趣点的关系用一个特征向量表示。这种描述器非常与众不同。在相同时间对噪声、探测器位移及几何和光学上的形变具有很好的鲁棒性。最后，对不同图像的描述器进行向量匹配。进行这种匹配时给予矢量间的距离，例如马氏距离或欧氏距离。描述器的维度对时间有影响，所以用较少的维度才有更快的兴趣点匹配。然而，低维度特征向量在总体上与高维度相比区分度还是较差的。把探测器和描述器合二为一已成为我们的目标。相比最先进的方式，它需要更快比较而又不牺牲性能。寻找一个既能简化探测方案又能保持准确性的平衡点以及在保证充分的特异性的基础上减小描

4、述器的尺度是我们成功的关键。很多文献中大量的探测器和描述器已经被提出。同时，详细的比较和评估数据集已经开始执行。我们的快速探测器和描述器SURF（加速鲁棒特征）在其他文献中介绍过。它是建立在前期工作所增加的洞察力的基础上的。在我们对这些标准数据集的实验中，SURF的探测器和描述器不仅更快，而且它的可重复性更高，区分度更明显。我们关注在尺度上和面内的旋转不变的探测器和描述器。这些似乎在特种通常发生的形变的复杂性和鲁棒性之间做了很好的平衡。另外，各向异性的缩放和每个特殊效果被认为是二阶效应，即覆盖在一定程度上的整体稳健描述器。需要注意的是描述器可以通过仿射正常化椭圆形这一手段扩展到仿射不变区域，虽

5、然这会影响计算时间。在另一方面，扩大探测器并不是那么简单。关于光度变形，我们假设一个简单的线性模型的偏差（补偿）和对比度变化（比例系数）。不管是探测器还是描述器都运用了颜色信息。在第三节中，我们描述了快速鲁棒的兴趣点检测上的应用策略。输入图像分析了不同尺度，以保证尺度不变性。在第四节中检测到的兴趣点提供了一个旋转和尺度不变的描述。此外，我们还对与周边的兴趣点对比的基础上提出了一个简单而有效的第一线索引技术。2.相关工作2.1兴趣点检测最广泛使用的探测器可能是Harris角检测器，可以追溯到1988年。它是基于二阶矩矩阵的特征值。不过，Harris角落不是尺度不变的。Lindeberg引入了自动

6、规模选择的概念。这可以判断图像中的兴趣点每个都有自己的特征尺度。他同时与试验的Hessian矩阵以及Laplace（对应到跟踪的Hessian矩阵）来检测斑点状结构的决定因素。Mikolajczyk和Schmid运用这种方法，创造了高重复性的鲁棒和规模不变的特征探测器。他们被称为Harris-Laplace和Hessian-Laplace。他们用（规模改变）Harris措施或Hessian矩阵行列式的选择位置，以及拉普拉斯算子选择规模。在高速对焦中，Lowe运用高斯滤波差异（DoG）提出了高斯算法的拉普拉斯算子（LoG）。另外几种尺度不变的兴趣点检测器也有人提出过。比如由Kadir和Brady

7、提出的通过放大区域熵突出区域特征。以及Jurie和Schmid提出的基于边缘区域的检测器。但它们似乎不太适合进行加速。也有几个仿射不变特征探测器已经提出，可以应付更广泛的视角的变化。不过，这已经超出了本文的范围之内。从现有的探测器研究和已发布的比较，我们可以得出结论，基于Hessian的探测器比基于Harris的更加稳定、重复性更高。此外，利用Hessian矩阵的行列式，而不是它的痕迹（拉普拉斯算子）更好，因为它更少考虑冗长的局部的结构。我们还观察到近似像高斯滤波差异能在尽量不牺牲准确性的前提下提高速度。2.2兴趣点描述更大量的特征点描述已被提出，如高斯衍生物，不变量，复杂特征，可操纵过滤器，

8、相位的本地特征，和描述符代表内的兴趣点附近分布的小尺度特征。后者由Lowe介绍，已被证明优于其他。这可以解释为他们获取了关于空间强度模式大量信息，但同时被鲁棒的小变形或ocalisation误差时间。文献描述，简称筛选，面向计算的本地兴趣点周围的梯度直方图存储在128维向量集（8个方向 4 × 4的位置方向集）。在实际应用中SIFT描述似乎仍然是最引人瞩目的。因此也是目前应用最为广泛的。它很独特，也相对较快。这是网络应用最为关键的。最近实施现场可编程门阵列（FPGA）的筛选和37提高了一个数量级的速度。与此同时， Grabner 等也用积分图像来近似SIFT。它们的探测步骤是建立在平

9、均值差异的基础上（不进行插值）对整体直方图进行描述的。他们获得的速度和我们大致相同，但和SIFT相比，他们牺牲了质量。对于网络应用所涉及的普通电脑，这三个步骤（探测、描述、匹配）必须更快。整个身体的工作正在逐步加快匹配可用。他们为近似匹配付出了代价。方法包括最好的首先由Lowe , balltrees, 词汇树，地点敏感散列，或多余的位向量提出。为了配合这一点，我们建议的Hessian矩阵的使用跟踪，大大提高匹配速度。再加上描述的低维，任何匹配的算法，势必加快了速度。2.3.兴趣点检测我们的兴趣点检测方法使用了一个非常基本Hessian矩阵逼近。这使它更适用于积分图像，大大减少了计算时间，因此

10、更受欢迎。Simard等人提出的积分图像在整体上更具框架性。3.兴趣点检测3.1积分图像为了使文章更自成一体，我们简要地讨论了积分图像的概念。可通过卷积的箱式过滤器的快速计算。在I(X)的位置输入的卷积图像X=(x,y)代表了包括T原点和x的输入图像I的所有像素之和。（1）一旦积分图像被计算,需要额外计算垂直强度以及矩形区域(见图1)。因此,计算时间是由它的大小所决定的。在我们的方法中这是很重要的，因为我们使用大滤波器尺寸。3.2.基于兴趣点的Hessian矩阵我们立足于由于其良好的性能的准确性Hessian矩阵的探测器。更确切地说，我们发现在位置一滴状结构的决定因素是最大的地方。与此相反的由

11、Mikolajczyk 和 Schmid拉普拉斯检测器，我们依靠的Hessian决定选择的规模也由林德伯格。图1 .运用积分图像,它只需要三个加法和四个记忆存取信息的总和强度计算矩形区域内任何尺寸。在图片I中给定的点x =（x，y），Hessian矩阵H（x，）规模中的x定义如下22高斯第二命令衍生物xg()的卷积Lxx（X，）和图片I中的点x以及类似于Lxy（X，）和Lyy（X，）Bay等人16提出用方框滤波近似代替二阶高斯滤波，用积分图像17来加速卷积以提高计算速度。在原始图像上，通过扩大方框的大小形成不同尺度的图像金字塔，9×9的方框滤波模板值见图2，图中灰色部分模板值为0，对

12、应二阶高斯滤波=1.2、相应的尺度值方框滤波模板同图像卷积后的值分别为Dxx，Dyy和Dxy，进一步求解得到Hessian矩阵的表达式16：判别式的值是H矩阵的特征值,可以利用判定结果的符号将所有点分类,根据判别式取值正负,来判别该点是或不是极值点。在SURF算法中,用图像像素I(x,y)代替函数值f(x,y),选用二阶标准高斯函数作为滤波器,通过特定核间的卷积计算二阶偏导数,这样便能算出H矩阵的三个矩阵元素Lxx、Lyy、Lxy,从而计算出H:H(X,t)=Lxx(X,t) Lxy(X,t)Lxy(X,t) Lyy(X,t)(3)L(X,t)=G(t)*I(X) Lxx(X,t)是一幅图像在

13、不同解析度下的表示,可以利用高斯核G(t)与图像函数I(X)在点X=(x,y)的卷积来实现,核函数G(t)具体高斯函数,t为高斯方差,Lyy与Lxy同理。通过这种方法可以为图像中每个像素计算出其H行列式的决定值,并用这个值来判别特征点。为方便应用,Herbert Bay提出用近似值Dxx代替Lxx,为平衡准确值与近似值间的误差引入权值w,权值w随尺度变化,则H矩阵判别式:G(t)=2g(t) x2 det(Hopprox)=DxxDyy-(wDxy)2图2.从左至右：高斯二阶偏导数在y-（Lyy）和xy-（Lxy）表示；我们的近似二阶高斯偏导数在y-(Dyy)和xy-(Dxy)。 灰色的区域,

14、等于零。3.3 构建尺度空间图像的尺度空间是这幅图像在不同解析度下的表示,由式(4)知,一幅图像I(X)在不同解析度下的表示可以利用高斯核G(t)的卷积来实现,图像的尺度大小一般用高斯标准差(=t1/2)来表示6。在计算视觉领域,尺度空间被象征性的表述为一个图像金字塔,其中,输入图像函数反复与高斯函数的核卷积并反复对其进行二次抽样,这种方法主要用于SIFT7算法的实现,但每层图像依赖于前一层图像,并且图像需要重设尺寸,因此,这种计算方法运算量较大,而SURF算法申请增加图像核的尺寸,这也是SIFT算法与SURF算法在使用金字塔原理方面的不同。算法允许尺度空间多层图像同时被处理,不需对图像进行二

15、次抽样,从而提高算法性能。图1(a)是传统方式建立一个如图所示的金字塔结构,图像的尺寸是变化的,并且运算会反复使用高斯函数对子层进行平滑处理,图1说明SURF算法使原始图像保持不变而只改变滤波器大小。图3.不用反覆地减少图像大小(左),允许使用积分图像滤波器的增加维数在固定损耗(右)。3.4精确定位特征点所有小于预设极值的取值都被丢弃,增加极值使检测到的特征点数量减少,最终只有几个特征最图4.过滤器Dyy（顶部）和Dxy(底部)规模水平(9x9和15x15)。黑叶的长度只能增加以及像素数字为了保证中心象素的存在(顶部)。强点会被检测出来。检测过程中使用与该尺度层图像解析度相对应大小的滤波器进行

16、检测,以3×3的滤波器为例,该尺度层图像中9个像素点之一与自身尺度层中其余8个点和在其之上及之下的两个尺度层9个点进行比较,共26个点,图2中标记X的像素点的特征值若大于周围像素则可确定该点为该区域的特征点。4.兴趣点的匹配与描述我们分布的描述符描述的内容与相邻兴趣点强度梯度信息上,经过筛选24和它的变体。我们建立的分布模型的小波变换反应在第一秩序Haar x和y方向的梯度,而不是利用积分图像的速度,并且只使用64个维度。这样就减少了计算时间和匹配特征,并已证明同时提高了鲁棒性。此外,提出了一种新的基于索引一步标志的拉普拉斯,进而增加不仅具有较强的鲁棒性,但也算符的匹配速度(选两个因

17、素中一个因素在最好的情况下)。第一步是由固定可再生的定位信息来源于一个圆形区域周围的兴趣点。然后,我们构建了一个区域对齐,选定区域定位与提取冲浪描述符。最后,两幅图像之间的特征相匹配。这三个步骤是解释在下面。4.1取向作业为了成为图像旋转不变,我们找出可再生的取向兴趣点。为了这个目的,我们首先计算小波变换反应在Haar x和y方向的半径内一个圆形的邻里周围的兴趣点,6s和s规模的兴趣点检测。抽样计划的第一步是规模依赖、选为s。为了与其余的大小,也依赖、小尺度的长度将一侧4s。因此,我们可以再次利用积分图像快速过滤。所使用的过滤器如图9。只有六名操作也是必须的,计算了反应的x或y方向在任何规模。

18、图5.Haar小波滤波器方程,计算了反应在x(左)和y方向(右)。暗部重量-1和光明部分+1。一旦小波响应进行了计算和加权和高斯(=两秒),主要集中在兴趣点,反应被表现为分在一个空间中与水平线反应强度沿横向和纵向响应强度沿纵坐标线绘制世界。估计占统治地位的取向是通过计算反应的总和的滑动方向内所有窗口大小的/ 3,见图6。在水平和垂直窗口反应进行比较。这两个总结然后产生局部方向响应向量。最长的向量在所有的窗户为兴趣点的方向。滑动窗口的大小是一个参数必须仔细挑选的。小尺寸集中支配信号梯度，大尺寸在表示向量长度上的不明确，都会导致错误的兴趣点取向。图6作业:一种滑动方向取向窗口大小的/ 3侦测的主导

19、方向小波变换的高斯权重Haar反应在每个采样点在一个圆形的兴趣点附近。注意,对许多应用程序、旋转不变性是没有必要的。实验中使用垂直的SURF可以探测出目标在3、4。U-SURF是更快的计算可以增加区分度,同时保持一个鲁棒性向旋转约+/-15度4.2 基于和的Haar小波反应描述器对提取描述符,第一步是由构造一个广场周围地区的兴趣点集中选择沿取向和方向,在前一节。这扇窗户的大小是20秒左右。这样的例子阐述了空间地区图7。图7.显示详细的涂鸦的场景表现了在不同规模下定向描述器窗口的大小。这个区域被分成4x4的小块的子区域。这样可保留重要的空间信息。对每个子区域,我们计算Harr小波响应在5x5常规

20、空间下的采样点。简单的原因,我们叫dx的Haar水平方向小波响应，dy为的Haar垂直方向小波反应（滤波器尺寸两秒）注意图4。“纵向”与“横向”这是定义在关系到所选择的兴趣点的定位(见图12)。对提高系统的鲁棒性几何变形和选择位置的错误时,首先相应dx和dy加权和高斯(= 3.3s)主要集中在兴趣。图8. 为了建立了描述,基于兴趣点的(左)一个面向二次网格镶嵌4x4平方子区域，每个方块,计算小波反应。每个方块的2x2个子部分的实际领域相对应的描述符。这是dx，dx，dy，dy的和,相对的,计算网格的方向(右)。然后，每个子区域的小波响应dx和dy之和组成第一组特征向量。为了把强度变换极性加入信

21、息中，我们也取出响应的绝对值1dx1和1dy1。因此，每个有一个四维描述的子区域都有向量v，其结构为：v=(dx,dy,|dx|,|dy|)图9.子区域的描述可表示了依赖于强度的部分。左：万一均匀的区域,所有的值也相对较低。中：在x方向存在固有频率，dx很高，但其他部分依然很低。如果强度逐渐在x方向增加，dx和dx都高。图9.显示性能的三个鲜明不同种类的形象描述符模式在一次区域强度。人能想象的组合模式,造成局部强度等有独特的描述符。SURF是,在某种意义上说,类似的概念,SIFT,他们都把注意力集中在空间分布的梯度信息。不过,SURF的几乎所有病例筛入优于如图所示,在第五部分。我们相信这是由于

22、这样的事实,即SURF集成在一个子区域的梯度信息,而SIFT取决于个人的方向的梯度。这使得SURF较不敏感的噪音,如图所示的例子,图10。图10.由于全球一体化的SURF的描述符,它对于各种图像扰动比本地操作的SIFT描述会具有更强的鲁棒性。为了到达这些SURF描述符,我们试着用越来越多小波的特点、二阶衍生物、高阶小波,利用主成分分析法(PCA),平均价值,平均值等。从全面的评估,该套原来的效果最好。然后我们不同样本点的数量和分区。4 x4次区域分工的解决方案提供了最好的结果。考虑到更精细的分支机构似乎更少的鲁棒性和将增加匹配倍。另一方面,短描述符与3x3子区域(SURF-36）略微糟糕,但允许非常快速的匹配与其他文献中描述符相比还是可以被接受的。我们还测试了另一种版本的添加了几个类似的特点的SURF描述符(SURF-128)。它和以前一样再一次使用相同和,但是现把这些值进一步分裂。dx和dx之和被分开计算为在dy<0和dy0的两种情况。同样的,dy和dy和,是根据dx的标志,从而增加两倍数量的特点。描述符更与众不同,而不是慢的多,但速度慢一些计算是由于其高维度。4.3 快速索引匹配快速索引在匹配阶段,拉普拉斯的符号(如下，黑森矩阵的痕迹)的潜在利息点包括在内