外文翻译-基于SIFT特征的图像匹配算法研究.doc

基于SIFT特征的图像匹配算法研究Abstract-Scale-invariant特性变换(筛选)特性已被广泛接受为一个有效的地方关键点描述符的旋转不变性,规模、和照明变化图像。 然而,它也是众所周知,筛选,这是来自定向敏感梯度场,不是翻转不变。 在真实的应用程序中,翻转或flip-like转换通常观察到图像由于人工翻转,相反捕获的观点,或对称模式的对象。 提出了一种新的描述符,名叫flip-invariant筛选(或F-SIFT),保存的原始属性筛选而宽容的翻转。 F-SIFT首先估计占主导地位的旋度的一块地方,然后由翻转几何规范化补丁前筛选的计算。我们展示的力量F-SIFT三个任务:大规模的视频拷贝检测, 对象识别和检测。在复制检测,一个框架,它巧妙的翻转特性指数F-SIFT快速过滤和弱几何检查。 F-SIFT不仅极大地提高了筛选的检测精度,但是也会导致超过50%的储蓄在计算成本。 在物体识别,我们证明F-SIFT的优越性在处理翻转转换通过比较其他七个描述符。 在目标检测中,我们进一步显示F-SIFT描述对称物体的能力一致的改善在不同种类的关键点检测器观察F-SIFT超过最初的筛选。 指数Terms-Flip不变尺度不变特征变换(筛选),几何验证对象检测、视频拷贝检测。一、 介绍由于筛选1的成功,图像局部特性被广泛应用于各种计算机视觉和图像处理应用程序。 尤其是各种近期作品利用筛选开发先进的对象分类器。 研究由2,3,例如,基于筛选表明,使用聚合本地特性,线性分类器的性能与更复杂的但计算昂贵的分类器。筛选的吸引力主要是因为其不变性各种形象转换包括:旋转、缩放、照明变化和位移在当地区域的像素。 筛选通常是计算在一个地方凸区域位于多尺度检测和旋转它的主导方向。 结果,描述符是尺度和旋转不变。 此外,由于空间分区和2 d方向梯度装箱,筛选是对色彩、照明和小像素位移。尽管有这些理想的性质,筛选不翻转不变。 因此,描述符提取两个相同但翻本地补丁可能完全不同的功能空间。 这已经退化的特征点匹配的效果4和引入额外的计算开销5-7应用如视频拷贝检测。 (a) (b) 图1-1 在不同的上下文中的例子。 (a)观点的改变。 (b)Flip-like结构。 翻转或flip-like操作在不同的上下文中发生。 在侵犯版权,翻转操作的常用技巧8,9。 特别是水平翻转更为常见,因为此操作视觉上不会造成任何明显的图像/视频内容的损失。翻转也发生在拍照的一个场景从相反的观点。这种翻转,如图1-1所示(a),通常捕获的不同快照的时间,广泛存在特别是在电视新闻节目播出由不同的频道。此外,对象具有对称结构也表现出flip-like变换如图1-1所示(b)。一般来说,允许对象的对称结构匹配的特征空间会增加召回对象在同一类的机会,尤其是当对象从任意视点。 简而言之,在特征描述符的能力的视觉不变性的局部区域,尽管该地区是否本质上翻或对称是重要任务,比如复制和目标检测。本文的主要贡献是F-SIFT的建议,提高筛选与翻转不变性的财产。 F-SIFT就业的视频拷贝检测、对象识别和检测也证实。 特别是,我们表明,潇洒地索引F-SIFT,性能提高检测精度和速度一般可以预期。其余本文组织如下。 第二部分回顾变异的局部描述符和复制和目标检测的利用率。 第三部分描述了提取F-SIFT当地区域的描述符。第四部分进一步大规模的视频拷贝检测提出了一个框架,提出了方案功能索引和基于F-SIFT弱几何检查。第五部分提出了一个比较研究调查的影响探测器和描述符面对翻转转换为对象识别。 第六章实证比较F-SIFT和筛选对象的性能检测。最后第七章总结本文。二、 相关工作在当地描述符不变量受到众多研究的关注，各种几何的翻转不变形通常紧跟的不考虑。直到最近,有几个翻转不变描述符包括裂谷10、旋转10,MI-SIFT12, 找到13。这些描述符,包括筛选,主要是不同的局部区域的分区方案如图2-1所示。 筛选,将区域划分为44块和8方向梯度直方图描述了每个网格如图2-1所示(一个),生成特性通过连接柱状图行从左到右顺序和直方图以顺时针方式垃圾箱因此,翻转转换的地区将障碍块和垃圾箱的位置。 这个结果在一个不同的版本的描述符特性的预定义的顺序扫描。 处理这个问题的可能的解决方案包括改变分区方案或扫描订单10,13和功能转换12。 图2-1 分区方案(一)筛选1,(b)裂谷10,(c)GLOH11,(d)旋转10,(e)找到13。 裂谷10采用不同的分区方案筛选除以区域沿着log-polar方向如图2-1所示(b)。 类似于筛选,8-directional直方图计算每个部门,然后连接起来形成一个描述符。 由于分区方案本身就是翻转和旋转不变,裂谷扫描顺序不敏感。另一方面,虽然这种基于半径的部门是光滑和不容易量化损失如果相对于基于网格的划分,空间宽松表示还导致裂缝描述符不是独特的筛选。 GLOH可视为一个集成版本的筛选和裂缝提供了更细的划分如图2-1所示(c)。然而,不变性属性不再存在后加强空间约束。旋转,如图2-1所示(d),相反,保留翻转不变性财产而实施空间信息通过编码区域的二维直方图像素强度和距离区域中心。尽管有改善,然而,实证评价11报道,自旋以及裂缝和GLOH被筛选表现。 找到13是一个新的描述符,允许重叠分区和扫描8-directional梯度直方图遵循的顺序显示在图2-1(e)。在这个方案下,翻转操作之前和之后产生的描述符也是对方的镜子。 具体地说,一个描述符生成的翻转可以恢复通过扫描倒序的直方图。这个有趣的属性,找到明确的描述符不变的翻转,估计一个地区是否向左或向右指通过参数阈值。 当比较两个描述符的左边和右边分别指向描述符组件动态地重新安排适当的特性匹配。然而,13报道,指出方向的估计是高度依赖于参数设置,更重要的是,错误的估计直接意味着无效匹配的结果。此外,类似于裂谷,分区方案不会产生描述符和筛选一样独特。MI-SIFT12,相反,直接在筛选而改变新的描述符翻转不变。这是通过明确地识别组织无序的功能组件放置的翻转操作。 MI-SIFT标签32这样的团体和代表每组四个时刻翻转不变。然而, 描述符基于矩不歧视。 在报道12,这将导致超过10%的匹配性能下降比筛选no-flip转换发生。翻转操作被视为侵犯的一个广泛使用的技巧。 在TRECVID复制检测任务(CCD)9,14,例如,视频拷贝的翻转被认为是主要的测试项目之一。 不过有趣的是,大多数参与者在CCD很少采用翻转不变的描述符,和相反,筛选的工作功能特色。翻的问题复制检测是由索引两个筛选描述符为每个地区6,15,其中之一是通过模拟计算翻转操作。 这导致显著增加索引时间和内存消耗。 在5,7,另一种策略是受雇于提交两个版本的描述符,翻不翻,查询复制检测。 这种策略的缺点,介绍了查询处理时间是双重的。大部分的关键点检测器和视觉提出了描述符的特征点匹配对象识别11。 然而,目前还没有系统和比较研究,调查他们的表现在面对翻转转换。 不同于复制检测和目标识别,检测大多learning based现有的工作对象。具体来说,bag-of-visual-words(BOW)由当地特性筛选等输入分类器学习16,17。 据我们所知,还没有工作认真解决的问题通过对比检测性能特性有或没有将翻转不变性的财产。三、 翻转不变的筛选 我们首先描述现有凸区域(或关键点)探测器。 这些探测器确实翻转不变和定位区域在不同转换的能力。 换句话说,翻转操作问题产生的结果是起源于特征描述符本身。 这一事实,我们会提出我们的提议描述符F-SIFT修正筛选是不变的。3.1 Flip不变探测器有各种各样的关键点检测器在文献1、18-20。 一般来说,这些探测器执行scale space分析当地极端的形象定位选定的尺度。输出是凸点,每个关联到一个区域的支持和主导方向。探测器大多相似,除了与变化特点的选择功能。 分析翻不变性的主要探测器给出如下。给定一个像素P,二阶矩矩阵定义来描述梯度分布在当地的社区P: （3-1） I集成规模, D是计算的微分规模和L g的导数在g P(x或y)方向。当地的衍生品与高斯计算内核的大小取决于 D规模。邻居家的衍生品平均P通过平滑集成 I规模。 基于3-1,哈里斯在像素P是给定的函数 （3-2）是一个常数。 尺度不变性进一步通过scale-space处理计算Laplacian-of-Gaussian矩阵 （3-3）在Lgg表示方向的二阶导数g。 局部极大值P的价值,对集成I规模,确定基于特征结构在P . Harris-Laplacian(HarLap)探测器作为一个像素P关键点是否达到当地maxima Harri s(P)和日志(P,I)同时进行。3-1涉及的计算一阶衍生品定向敏感。 水平翻转转换,例如,将反向沿x方向导数的迹象。 幸运的是,二阶矩矩阵是对称和衍生品的平方,导致没有变化对结果的影响因素。 而3-3,计算完全依赖于二阶衍生品在x和y方向通常在以下表格 （3-4）由于高斯窗口是各向同性,Lgg在每个方向保持不变。 因此,对3-3翻转产生任何影响。 HarLap和Laplacian-of-Gaussian(LOG)检测器采用3-3为特点的功能。Difference-of-Gaussian(狗)探测器1 定义了局部极值在空间和尺度空间基于以下函数: （3-5）G(P,)像素的高斯模糊应用P和k是一个常数乘法因子。 类似于HarLap和日志,翻转操作将不影响3-5由于各向同性高斯窗口。 因此,狗探测器也不变。 黑森探测器,相反,定义了卓越功能仅仅基于海赛矩阵的行列式如下: （3-6）翻转操作没有影响Lxx或Lyy但互换Lxy和Lyx矩阵。 然而,由于凸起基于行列式计算,价值的交换不会导致改变,因此探测器也不变。 类似的分析适用于快速黑森(FastHess)20探测器。 与此同时,它也很容易看到,黑森-拉普拉斯算子的定义(HessLap)探测器3-3,3-6也不变。3.2 F-SIFT描述符虽然关键点检测器大多翻转不变,但并不能保证特征提取显著区域也不变。 在第二部分讨论,不变性主要依赖于布局分区方案的描述符。 不同于现有的方法,我们的目的是丰富筛选翻转不变,同时保留原来的属性包括基于网格的翻转转换可以发生在任意轴。然而,不难想象,任何翻转可以分解成一个翻转一个预定义的轴一定紧随其后程度的旋转,如图3-1所示。因此,一个直观的想法做一个描述符翻转不变特征提取之前是通过规范本地地区通过旋转地区一个预定义的轴,然后沿着轴翻转。 此外,如果一个地区被旋转它的主导方向由关键点的地区确定探测器、正常化可以简单地通过翻转区域水平(或垂直)。换句话说,翻转不变性的一个突出的解决方案是确定是否翻转之前应该进行提取局部特征从该地区。 图3-1 标准化任意翻转(a)水平翻转(b)旋转。我们建议主要旋度计算回答这个问题。 旋度21是数学上定义为一个向量算子描述的无穷小旋转向量场。 旋度是旋转轴的方向由右手定则决定的。 在多元微积分,给定一个向量场F(x,y,z)中定义R3地区可微,F的旋度等于 （3-7）根据斯托克斯公式,集成一个向量场的旋度可以表达的 （3-8）在我们的例子中,旋度是定义在一个二维离散向量场。 旋度在一个点上的叉积一阶偏导数分别在x和y方向。 流(或主导curl)可以定义为沿切线方向在哪里和角方向的梯度向量的切线圈穿过(x,y)。 （3-9） 一般来说,只有两个可能的方向为C,顺时针或逆时针方向,这是由其签署表示。 信号的变化只有当向量场一直翻(以及一个任意轴)。如果我们执行每一个局部区域的信号流是顺时针,正常化是由翻转迹象的地区是逆时针方向。换句话说,之前的解决方案是否翻转区域特征提取是基于C的迹象。健壮性,3-10被分配,可以进一步增强更高的权重向量接近地区中心流是由高斯加权的内核克当地region1等于半径的大小。 （3-10）总而言之,F-SIFT生成描述符如下。 给定一个地区旋转它的主导方向,3-10计算估计顺时针或逆时针方向流动。 F-SIFT确保翻转不变性财产被执行,所有地区的流动应该遵循一个预定义的方向指示标志的C 3-10。 的地区是相反的预定义的方向流动,翻转区域沿水平或垂直轴以及补充他们的主导方向是明确执行几何规范化的区域。然后筛选描述符提取归一化的地区。 换句话说,F-SIFT直接筛选和保留其原始产权运作。 选择性翻转之前执行基于主导旋度分析提取翻转不变的描述符。 筛选相比,F-SIFT只是计算的开销3-10廉价的计算。 我们的实验仿真表明F-SIFT的提取从一个图像描述符大约三分之一低于筛选(IV-D节中看到更多的细节)。如图3-2所示(一个)和4(b),转换涉及没有翻转,F-SIFT筛选显示类似的性能。 匹配对越来越少但是发现F-SIFT 4(b)所示由于估计误差在3-10。 这个错误来自区域纹理模式的缺乏。 相反,当发生翻转,F-SIFT展品表现明显强于筛选。 如图3-2所示(c)4(f),匹配对的数量恢复了F-SIFT不仅仅是筛选。图3-2 比较的匹配性能筛选(左)和F-SIFT(右)在翻转转换。 (X / Y)显示的数量匹配对(X)对关键点的数量(Y),出于演示目的,没有显示所有匹配的行。 (一)规模(181/484)。 (b)(162/484)。(c) 规模+翻转(24/484)。 (d)规模+翻转(153/484)。 (e)+旋转翻转(71/508)。(f)+旋转翻转(307/508)。四、 视频拷贝监测为复制检测演示F-SIFT的使用,我们采用框架最初near-duplicate视频检测23。 修改框架是由考虑由F-SIFT引入的新特性。 23后,F-SIFT描述符是第一个离线生成视觉词汇的量子化。 每个关键帧提取视频就代表了一个bag-of-visual-words(鞠躬)与反向索引文件结构(如果)的快速在线检索。 减少量化损失,每个单词索引byIF也与汉明相关签名健壮过滤15,24。 此外,采用几何检查删除错误的关键帧检索23。 最后,发现候选人视频的关键帧聚合和霍夫变换拟合与查询视频15,23。4.1 索引F-SIFT一个有趣的事实,当匹配一个翻转图像与其原件,是两个匹配区域的流动方向计算3-10总是相反的。相反,当转换不涉及图像翻转,匹配的地区都没有翻或由F-SIFT翻。 换句话说,在理想的情况下,只有两种可能性来描述两个图像之间的匹配。 首先,当一个查询图像翻转,配对都有特点的一个地区由F-SIFT翻。 其次,当一个查询涉及到没有翻转,所有的配对都不翻或翻但不是它们的混合物。 虽然这种观察是直观的,它会导致有趣的想法,错误的匹配可以很容易地删除。例如,通过测量两个图像和发现的所有配对的两种可能的情况下(查询是翻不翻),无效的比赛很容易识别和移除。4.2 增强弱几何一致性检查检索到的视觉单词,如果仍有可能吵一般由于量化误差。 实用的方法对于减少噪音是通过弱复苏底层几何变换23,25为进一步验证。 我们采用在23E-WGC几何检查由于其性能优越而更成熟的方法WGC24。 使用F-SIFT,我们修改E-WGC如下。 给定两个匹配视觉单词q(xq yq)和p(x p,yp)分别查询和参考关键帧,它们之间的线性变换可以表示为有三个参数需要估计4-1比例因子年代,旋转参数,和翻译Tx。 （4-1）E-WGC 是操纵和。Sq和q代表视觉单词的特征尺度和主导取向分别问q。 （4-2）当一个查询被视为一个翻转版本的参考图像在数据库如4.1节中所讨论的,重写为12 W0的参考图像的宽度。 （4-3）注意4-3只考虑水平reflection3速度效率。选择应用4-2或4-3是动态确定基于翻转转换是否发现正如4.1节中给出。E-WGC旨在估计视觉单词的翻译通过可以有效地估计histograming技列。 （4-4）图4-1 副本的例子很少真正积极的比赛由于沉重的转换。 (a)严重倾斜。 (b)大比例。4.2.1互惠几何验证如果返回的有效的视觉词匹配和E-WGC验证之间的相似性查询Q和R等于参考图像h(q,p)汉明签名之间的距离24q和p。 （4-5）BoW(q)的符号表示的bag-ofwords中的Q。 （4-6）哪里显示匹配的信心将进一步阐述了后,和是一个经验参数被设置为0.9在我们的实验中。 4-6基本上放大h(q,p)当匹配配对持有高信心得分在另一个词(低)。我们估计的相互几何验证。 给定两个匹配的词从关键帧分别q和R p和q,规模s和旋转之间可以近似匹配指的是另一个单词的Q和q从R那里来 （4-7）注意,S和值和年代的不同估计关键点检测(如在4-2)。 然而,总的来说它们的值越接近,越高机会,p和q之间的匹配是正确的。 我们因此定义之间的差异价值= max |,|SS| 。 基本上值越小,越自信的话p和q之间的匹配。 为任何值,比赛将直接从相似性度量,这样4-6总是产生积极的价值。 回顾方程4-5和4-6,两个关键帧之间的相似度由加权修正匹配单词的意义基于汉明距离和匹配的信心。表4-1F-SIFT的比较和筛选视频拷贝检测在不同类型的转换:1)CAMCODING,画中画,3)插入模式,4)强大的重新编码,5)伽马的变化,6)减少质量(包括噪声、帧删除等),8)后期制作(包括插入标题,等等),10)随机选择一个类型从3大转换。 第三栏指明正确复制视频检索的数量在不同的转换。 注意,在转换8和10,有63和14 134查询分别被翻。（a）比较在不同设置的弓(b)比较主要的迹象旋度,并使用F-SIFT拉普拉斯算子的迹象4.2.2 实验 这些实验是进行TRECVID9声音和视觉数据集2010。 数据集由11525网络视频总持续时间400小时。 有1608个查询由八种不同人工生成的转换从camcording,画中画,重新编码、帧删除不同的转换包括翻转的混合物。 预处理,密集的关键帧取样执行查询和参考视频的速度每1.6秒一个关键帧。 这导致平均51关键帧的查询,和903656关键帧的参考数据集。 我们采用Harris-Laplacian关键点检测和每帧平均有309个要点。 鞠躬表示,我们采用二进制量化和多个任务的视觉单词一个关键点6。比较难量化,二进制量化展品更好的鲁棒性的现象burstiness26广泛存在在图像和视频帧。 页面限制,结果很难量化的省略。 对于每一个查询,返回一个副本视频(如果有)的相似性得分。检测有效性:我们比较F-SIFT的性能和筛下三个不同的设置:BOW+,BOW和BOW*,为了看到不同组件的影响视觉描述符。BOW+摘要拟议的框架,而弓包含在这一节中讨论的所有特性除了相互几何验证。BOW*实现基于6,24报道精彩的演出在TRECVID数据集通过视觉词匹配和被广泛认为是最先进的视频拷贝检测技术。 BOW*基本上代表了一种更传统的框架在文学,不同于船头,占主导地位的旋度的标志不是用于过滤和几何验证是基于WGC。表4-1(a)显示了1608查询的性能比较八个不同的转换。 基于CCD所提供的真实,有134册/转换。 显示的结果,F-SIFT优于筛选始终返回更多的真正的阳性几乎所有类型的转换和设置。 特别是对于transformation-8和transformation-10涉及翻转操作,F-SIFT分别检测到62.5%、38.5%和52.3%的真实积极的BOW+,BOW和BOW*。 值得注意,F-SIFT是建立在筛选时,它也能够表现出类似的甚至更好的性能no-flip转换。比较这三个设置,BOW的性能比BOW*由于使用E-WGC代替黄金协会。 翻转的使用指标弓修剪假比赛也会导致更大程度的提高检测精度。 进一步将互惠几何检查通过BOW+导致整体最佳性能的实验。 通过检查查询和真正的阳性之间的相似性得分,我们确认使用4-6的权重调整策略。用更少的真正成功地提高了候选人的排名视频匹配。 注意4-6包括参数是实证组0.9实验。 图4-2显示了的敏感性,只要价值下降的范围内(0.65,0.95),不敏感性能。图4-2 灵敏度的(16)对视频拷贝检测的性能 采用的主要的想法旋度的快速过滤假警报的模拟信号的拉普拉斯算子的使用视觉单词的快速匹配20。表4-1(b)所示它们之间的性能比较基于BOW*设置。总的来说,性能改进召回和精度是观察当加强BOW*与占主导地位的旋度的迹象。 这与使用拉普拉斯算子的迹象提高精度的BOW*但降低召回。 因为使用拉普拉斯算子的迹象的目的主要是为加快20,它更有效地保持正确的匹配和更少的能力处理翻转转换而占主导地位的旋度。 8转换,占主导地位的旋度的迹象一直展品更好的回忆能力真正的优点。图4-3显示了比赛结果的例子由F-SIFT下BOW+设置。 一般来说,F-SIFT健壮的缩放,翻转和斜转换,如图4-3所示(a)和4-3(b)。 通过人工检查,大部分比赛是正确的。 假阳性,如图4-3所示(c)和4-3(d),然而由于生成重复的部分场景。 结果被认为是假警报,通过人工检查,我们可以发现复制对象和背景确实是正确匹配。 假阴性产生主要是由于模糊转换。 几乎没有关键点匹配发现使用F-SIFT或筛选的例子在图4-3(e)和4-3(f)。我们调查的结果和观察,这是主要是由于量化误差引入的BOW量子化4。图4-3 由F-SIFT匹配结果的例子。 (a)和(b)真积极。(c)和(d)误报。 (e)和(f)假阴性。 (一)翻转+规模。 (b)倾斜。(c)复制对象。 (d)重复的背景。 (e)重斜+模糊。(f)重模糊+规模。 效率:表4-2列出了处理一个查询关键帧的时间成本。 实验是在电脑上进行的2.8 ghz CPU和7 g Linux环境下主内存。 特征提取时间,F-SIFT需要额外的0.128秒而筛选在检索阶段通过反向文件(如果有),F-SIFT也慢于筛由于需要巩固匹配结果通过检查的另一个指标匹配的单词。 然而,这一步有效梅干错误匹配,导致更少的候选人被E-WGC进一步处理和互惠几何验证。 如表二所示,E-WGC计算时间减少了61%,和46%互惠几何验证。 这更有效和结束有效使用F-SIFT视频拷贝检测框架。 090万年在我们的数据集的关键帧,处理一个典型的查询的71.6秒51关键帧将由F-SIFT约98.8秒。 这种加速44.6%比较筛选将142.9秒。表4-2 平均时间成本每一步的CCD筛选和基于F-SIFT方法(S)五、 对象识别关键点检测器:本实验的目的是实证研究关键点检测器的翻转不变性特性提出了部分。 两个图像序列,墙壁和船,以及他们翻转版本用于实验。 前者是一个序列逐渐变化的观点,而后者显示缩放和旋转的渐变。图5-1显示了结果。 如上所述,所有六个探测器的性能趋势一致相似翻转和no-flip转换。图5-1 重复性各种关键点检测器最初的墙上和船的序列,和他们翻转版本(b)和(d)。(a)。 (b)与翻墙。 (c)船。 (d)船翻转视觉描述符:我们比较八个不同的视觉描述符包括F-SIFT和筛为研究关键点匹配的准确性。 类似于20,一组图像双采样5-1图像序列的实验。 包括第一和第四集从每个序列图像。 除了最初的转换(模糊、旋转、缩放、改变照明、色彩和JPEG压缩率)在图像集,翻转转换包括翻转每个序列的第四个形象。在实验中,除了上网,狗检测器是用于所有的视觉描述符。绩效评估是衡量评估point-topoint匹配的数量正确返回。 图5-2显示了recall-precision方面的性能曲线的平均结果5-1图像对。 如图5-2所示(a),no-flip转换、筛选展览最佳性能F-SIFT和冲浪。 在最坏的情况下,F-SIFT仍能达到85%的性能筛选,这远比其他描述符如MI-SIFT并找到处理翻转的设计。 F-SIFT的性能下降主要是因为主导旋度估计的错误。翻转转换如图5-2所示(b),相反,F-SIFT显示比流行的描述符