外文翻译-基于SIFT特征的图像匹配算法研究

基于 征的图像匹配算法研究 筛选 )特性已被广泛接受为一个有效的地方关键点描述符的旋转不变性 ,规模、和照明变化图像。 然而 ,它也是众所周知 ,筛选 ,这是来自定向敏感梯度场 ,不是翻转不变。 在真实的应用程序中 ,翻转或相反捕获的观点 ,或对称模式的对象。 提出了一种新的描述符 ,名叫 或 保存的原始属性筛选而宽容的翻转。 一块地方 ,然后由翻转几何规范化补丁前筛选的计算。我们展示的力量 大规模的视频拷贝检测 , 对象识别和检测 。 在复制检测 ,一个框架 ,它巧妙的翻转特性指数 但是也会导致超过 50%的储蓄在计算成本。 在物体识别 ,我们证明 在目标检测中 ,我们进一步显示 指数 筛选 ),几何验证对象检测、视频拷贝检测。 一、 介绍 由于筛 选 1的成功 ,图像局部特性被广泛应用于各种计算机视觉和图像处理应用程序。 尤其是各种近期作品利用筛选开发先进的对象分类器。 研究由2,3,例如 ,基于筛选表明 ,使用聚合本地特性 ,线性分类器的性能与更复杂的但计算昂贵的分类器。筛选的吸引力主要是因为其不变性各种形象转换包括 :旋转、缩放、照明变化和位移在当地区域的像素。 筛选通常是计算在一个地方凸区域位于多尺度检测和旋转它的主导方向。 结果 ,描述符是尺度和旋转不 变。 此外 ,由于空间分区和 2 筛选是对色彩、照明和小像素位移。尽管有这些理想的性质 ,筛选不翻转不变。 因此 ,描述符提取两个相同但翻本地补丁可能完全不同的功能空间。 这已经退化的特征点匹配的效果 4和引入额外的计算开销 5-7应用如视频拷贝检测。 (a) (b) 图 1不同的上下文中的例子。 (a)观点的改变。 (b) 翻转或 在侵犯版权 ,翻转操作的常用技巧 8,9。 特别是水平翻转更为常见 ,因为此操作视觉上不会造成任何明显的图像 /视频内容的损失。翻转也发生在拍照的一个场景从相反的观点。这种翻转 ,如图 1a),通常捕获的不同快照的时间 ,广泛存在特别是在电视新闻节目播出由不同的频道。此外 ,对象具有对称结构也表现出 b)。一般来说 ,允许对象的对称结构匹配的特征空间会增加召回对象在同一类的机会 ,尤其是当对象从任意视点。 简而言之 ,在特征描述符的能力的视觉不变性的局部区域 ,尽管该地区是否本质上翻或对称是重要任务 ,比如复制和目标检测。 本文的主要贡献是 提高筛选与翻转不变性的财产。 象识别和检测也证实。 特别是 ,我们表明 ,潇洒地索引能提高检测精度和速度一般可以预期。其余本文组织如下。 第二部分回顾变异的局部描述符和复制和目标检测的利用率。 第三部分描述了提取四部分进一步大规模的视频拷贝检测提出了一个框 架 ,提出了方案功能索引和基于 五部分提出了一个比较研究调查的影响探测器和描述符面对翻转转换为对象识别。 第六章实证比较后第七章总结本文。 二、 相关工作 在当地描述符不变量受到众多研究的关注，各种几何的翻转不变形通常紧跟的不考虑。 直到最近 ,有几个翻转不变描述符包括裂谷 10、 旋转 10,2, 找到 13。这些描述符 ,包括筛选 ,主要是不同的局部区域的分区方案如图 2 筛选 ,将区域划分为 44块和 8方向梯度直方图描述了每个网格如图 2个 ),生成特性通过连接柱状图行从左到右顺序和直方图以顺时针方式垃圾箱因此 ,翻转转换的地区将障碍块和垃圾箱的位置。 这个结 果在一个不同的版本的描述符特性的预定义的顺序扫描。 处理这个问题的可能的解决方案包括改变分区方案或扫描订单 10,13和功能转换 12。 图 2区方案 (一 )筛选 1,(b)裂谷 10,(c)1,(d)旋转 10,(e)找到 13。 裂谷 10采用不同的分区方案筛选除以区域沿着 b)。 类似于筛选 ,8然后连接起来形成一个描述 符 。 由于分区方案本身就是翻转和旋转不变 ,裂谷扫描顺序不敏感 。 另一方面 ,虽然这种基于半径的部门是光滑和不容易量化损失如果相对于基于网格的划分 ,空间宽松表示还导致裂缝描述符不是独特的筛选。 c)。然而 ,不变性属性不再存在后加强空间 约束。旋转 ,如图 2d),相反 ,保留翻转不变性财产而实施空间信息通过编码区域的二维直方图像素强度和距离区域中心。尽管有改善 ,然而 ,实证评价11报道 ,自旋以及裂缝和 找到 13是一个新的描述符 ,允许重叠分区和扫描 8-1(e)。在这个方案下 ,翻转操作之前和之后产生的描述符也是对方的镜子。 具体地说 ,一个描述符生成的翻转可以恢复通过扫描倒序的直方图。这个有趣的属性 ,找到明确的描述符不变的翻转 ,估计一个地区是否向左或向右 指通过参数阈值。 当比较两个描述符的左边和右边分别指向描述符组件动态地重新安排适当的特性匹配。 然而 ,13报道 ,指出方向的估计是高度依赖于参数设置 ,更重要的是 ,错误的估计直接意味着无效匹配的结果。此外 ,类似于裂谷 ,分区方案不会产生描述符和筛选一样独特。 2,相反 ,直接在筛选而改变新的描述符翻转不变。这是通过明确地识别组织无序的功能组件放置的翻转操作。 2这样的团体和代表每组四个时刻翻转不变。然而 , 描述符基于矩不歧视。 在报道 12,这将导致超过 10%的匹配性能下降 比筛选 翻转操作被视为侵犯的一个广泛使用的技巧。 在 9,14,例如 ,视频拷贝的翻转被认为是主要的测试项目之一。 不过有趣的是 ,大多数参与者在 和相反 ,筛选的工作功能特色。翻的问题复制检测是由索引两个筛选描述符为每个地区 6,15,其中之一是通过模拟计算翻转操作。 这导致显著增加索引时间和内存消耗。 在 5,7,另一种策略是受雇于提交两个版本的描述符 ,翻不翻 ,查询复制检测。 这种策略的缺点 ,介绍了查询 处理时间是双重的。 大部分的关键点检测器和视觉提出了描述符的特征点匹配对象识别 11。 然而 ,目前还没有系统和比较研究 ,调查他们的表现在面对翻转转换。 不同于复制检测和目标识 别 , 检测大多 有的 工作对 象。具体来 说 ,当地特性筛选等输入分类器学习 16,17。 据我们所知 ,还没有工作认真解决的问题通过对比检测性能特性有或没有将翻转不变性的财产。 三、 翻转不变的筛选 我们首先描述现有凸区域 (或关键点 )探测器。 这些探测器确实 翻转不变和定位区域在不同转换的能力。 换句话说 ,翻转操作问题产生的结果是起源于特征描述符本身。 这一事实 ,我们会提出我们的提议描述符 有各种各样的关键点检测器在文献 1、 18-20。 一般来说 ,这些探测器执行 出是凸点 ,每个关联到一个区域的支持和主导方向。探测器大多相似 ,除了与变化特点的选择功能。 分析翻不变性的主要探测器给出如下。 给定一个像素 P,二阶矩矩阵定义来描述梯度分布在当地的 社区 P: （ 3 g P(x或 y)方向。当地的衍生品与高斯计算内核的大小取决于 居家的衍生品平均 基于 3里斯在像素 （ 3 是一个常数。 尺度不变性进一步通过 （ 3 在 g。 局部极大值 对集成 确定基于特征 结构在 P . 测器作为一个像素 s(P)和日志 (P,I)同时进行。 3 水平翻转转换 ,例如 ,将反向沿 幸运的是 ,二阶矩矩阵是对称和衍生品的平方 ,导致没有变化对结果的影响因素。 而 3算完全依赖于二阶衍生品在 x和 （ 3 由于高斯窗口是各向同性 , 因此 ,对 3 测器采用 3 )探测器 1 定义了局部极值在空间和尺度空间基于以下函数 : （ 3 G(P,)像素的高斯模糊应用 P和 类似于 翻转操作将不影响 3 因此 ,狗探测器也不变。 黑森探测器 ,相反 ,定义了卓越功能仅仅基于海赛矩阵的行列式如下 : （ 3 翻转操作没有影响 然而 ,由于凸起基于行列式计算 ,价值的交换不会导致改变 ,因此探测器也不变。 类似的分析适用于快速黑森 (20探测器。 与此同时 ,它也很容易看到 ,黑森 测器 3 虽然关键点检测器大多翻转不变 ,但并不能保证特征提取显著区域也不变。 在第二部分讨论 ,不变性主要依赖于布局分区方案的描述符。 不同于现有的方法 ,我们的目的是丰富筛选翻转不变 ,同时保留原来的属性包括基于网格的翻转转换可以发生在任意轴。然而 ,不难想象 ,任 何翻转可以分解成一个翻转一个预定义的轴一定紧随其后程度的旋转 ,如图 3此 ,一个直观的想法做一个描述符 翻转不变特征提取之前是通过规范本地地区通过旋转地区一个预定义的轴 ,然后沿着轴翻转。 此外 ,如果一个地区被旋转它的主导方向由关键点的地区确定探测器、正常化可以简单地通过翻转区域水平 (或垂直 )。换句话说 ,翻转不变性的一个突出的解决方案是确定是否翻转之前应该进行提取局部特征从该地区。 图 3准化任意翻转 (a)水平翻转 (b)旋转。 我们建议主要旋度计算回答这个问题。 旋度 21是数学上定义为一个向量算子描述的无穷小旋转向量场。 旋度是旋转轴的方向由右手定则决定的。 在多元微积分 ,给定一个向量场 F(x,y,z)中定义 （ 3 根据斯托克斯公式 ,集成一个向量场的旋度可以表达的 （ 3 在我们的例子中 ,旋度是定义在一个二维离散向量场。 旋度在一个点上的叉积一阶偏导数分别在 x和 流 (或主导 以定义为沿切线方向 在哪里 和 角方向的梯度向量的切线圈穿过 (x,y)。 （ 3 一般来说 ,只有两个可能的方向为 C,顺时针或逆时针方向 ,这是由其签署表示。 信号的变化只有当向量场一直翻 (以及一个任意轴 )。如果我们执行每一个局部区域的信号流是顺时针 ,正常化是由翻转迹象的地区是逆时针方向 。 换句话说 ,之前的解决方案是否翻转区域特征提取是基于 壮性 ,3可以进一步增强更高的权重向量接近地区中心流是由高斯加权的内核克当地 （ 3 总而言之 , 给定一个地区旋转它的主导方向 ,3 所有地区的流动应该遵循一个预定义的方向指示标志的 C 3 的地区是相反的预定义的方向流动 ,翻转区域沿水平或垂直轴以及补充他们的主导方向是明确执行几何规范化的区域。然后筛选描述符提取归一化的地区。 换句话说 , 选择性翻转之前执行基于主导旋度分析提取翻转不 变的描述符。 筛选相比 , 我们的实验仿真表明 选 (。如图 3一个 )和 4(b),转换涉及没有翻转 , 匹配对越来越少但是发现 (b)所示由于估计误差在 3 这个错误来自区域纹理模式的缺乏。 相反 ,当发生翻转 , 如图 3c)4(f),匹配对的数量恢复了 图 3较的匹配性能筛选 (左 )和 )在翻转转换。 (X / Y)显示的数量匹配对(X)对关键点的数量 (Y),出于演示目的 ,没有显示所有匹配的行。 (一 )规模 (181/484)。 (b)(162/484)。 (c) 规模 +翻转 (24/484)。 (d)规模 +翻转 (153/484)。 (e)+旋转翻转(71/508)。 (f)+旋转翻转 (307/508)。 四、 视频拷贝监测 为复制检测演示 我们采用框架最初 3。 修改框架是由考虑由 23后 , 每个关键帧提取视频就代表了一个躬 )与反向索引文件结构 (如果 )的快速在线检索。 减少量化损失 ,每个单词索引 15,24。 此外 ,采用几何检查删除错误的关键帧检索 23。 最后 ,发现候选人视频的关键帧聚合和霍夫变换拟合与查询视频 15,23。 引 个有趣的事实 ,当匹配一个翻转图像与其原件 ,是两个匹配区域的流动方向计算 3反 ,当转换不涉及图像翻转 ,匹配的地区都没有翻或由 换句话说 ,在理想的情况下 ,只有两种可能性来描述两个图像 之间的匹配。 首先 ,当一个查询图像翻转 ,配对都有特点的一个地区由 其次 ,当一个查询涉及到没有翻转 ,所有的配对都不翻或翻但不是它们的混合物。 虽然这种观察是直观的 ,它会导致有趣的想法 ,错误的匹配可以很容易地删除。例如 ,通过测量两个图像和发现的所有配对的两种可能的情况下 (查询是翻不翻 ),无效的比赛很容易识别和移除。 强弱几何一致性检查 检索到的视觉单词 ,如果仍有可能吵一般由于量化误差。 实用的方法对于减少噪音是通过弱复苏底层几何变换 23,25为进一步验证。 我们采用在234。 使用 们修改 给定两个匹配视觉单词 q(xq p(x p,别查询和参考关键帧 ,它们之间的线性变换可以表示为有三个参数需要估计 4旋转参数 ,和翻译 （ 4 操 纵 和 。 q。 （ 4 当一个查询被视为一个翻转版本的参考图像在数据库如 重写为 12 （ 4 注意 4择应用 4通过 可以有效地估计 （ 4 图 4本的例子很少真正积极的比赛由于沉重的转换。 (a)严重倾斜。 (b)大比例 。 如果返回的有效的视觉词匹配和 证之间的相似性查询 Q 和 R 等于参考图像 h(q,p)汉明签名之间的距离 24q 和 p。 （ 4 q)的符号表示的 的 Q。 （ 4 哪里显示匹配的信心将进一步阐述了后 ,和 是一个经验参数被设置为 4本上放大 h(q,p)当匹配配对持有高信心得分在另一个词(低 )。 我们估计的相互几何验证。 给定两个匹配的词从关键帧分别 q 和 R p 和 q,规模 之间可以近似匹配指的是另一个单词的 Q 和 q从 R 那里 来 （ 4 注意 ,S 和 值 和年代的不同估计关键点检测 (如在 4 然而 ,总的来说它们的值越接近 ,越高机会 ,p 和 q 之间的匹配 是正确的。 我们因此定义之间的差异价值 = |,|SS| 。 基本上值越小 ,越自信的话 p和 为任何值 ,比赛将直接从相似性度量 ,这样 4是产生积极的价值。 回顾方程 4 4个关键帧之间的相似度由加权修正匹配单词的意义基于汉明距离和匹配的信心。 表 4比较和筛选视频拷贝检测在不同类型的转换 :1)中画 ,3)插入模式 ,4)强大的重新编码 ,5)伽马的变化 ,6)减少质量 (包括噪声、帧删除等 ),8)后期制作 (包括插入标题 ,等 等 ),10)随机选择一个类型从 3 大转换。 第三栏指明正确复制视频检索的数量 在不同的转换。 注意 ,在转换 8 和 10,有 63 和 14 134 查询分别被翻 。 （ a） 比较在不同设置的弓 (b)比较主要的迹象旋度 ,并使用 普拉斯算子的迹象 验 这些实验是进行 声音和视觉数据集 2010。 数据集由 11525 网络视频总持续时间 400 小时。 有 1608 个查询由八种不同人工生成的转换从中画 ,重新编码、帧删除不同的转换包括翻转的混合物。 预处理 ,密集的关键帧 取样执行查询和参考视频的速度每 一个关键帧。 这导致平均 51 关键帧的查询 ,和 903656 关键帧的参考数据集。 我们采用 09 个要点。 鞠躬表示 ,我们采用二进制量化和多个任务的视觉单词一个关键点 6。比较难量化 ,二进制量化展品更好的鲁棒性的现象6广泛存在在图像和视频帧。 页面限制 ,结果很难量化的省略。 对于每一个查询 ,返回一个副本视频 (如果有 )的相似性得分。 检测有效性 :我们比较 为了看到不同组件的影响视觉描述符。 要拟议的框架 ,而弓包含在这一节中讨论的所有特性除了相互几何验证 。 现基于 6,24报道精彩的演出在 本上代表了一种更传统的框架在文学 ,不同于船头 ,占主导地位的旋度的标志不是用于过滤和几何验证是基于 表 4-1(a)显示了 1608 查询的性能比较八个不同的转换。 基于 提供的真实 ,有 134 册 /转换。 显示的结果 ,于筛选始终 返回更多的真正的阳性几乎所有类型的转换和设置。 特别是对于 及翻转操作 ,别检测到 真实积极的 值得注意 ,建立在筛选时 ,它也能够表现出类似的甚至更好的性能 换。比较这三个设置 ,性能 比 于使用 替黄金协会。 翻转的使用指标弓修剪假比赛也会导致更大程度的提高检测精度。 进一步将互惠几何检查通过 致整体最佳性能的 实验。 通过检查查询和真正的阳性之间的相似性得分 ,我们确认使用 4权重调整策略。用更少的真正成功地提高了候选人的排名视频匹配。 注意 4括参数 是实证组 图 4的敏感性 ,只要价值下降的范围内 (不敏感性能。 图 4敏度的 (16) 对视频拷贝检测的性能 采用的主要的想法旋度的快速过滤假警报的模拟信号的拉普拉斯算子的使用视觉单词的快速匹配 20。表 4-1(b)所示它们之间的性能比较基于 置。总的来说 ,性能改进召回和精度是观察当加 强 占主导地位的旋度的迹象。 这与使用拉普拉斯算子的迹象提高精度的 降低召回。 因为使用拉普拉斯算子的迹象的目的主要是为加快 20,它更有效地保持正确的匹配和更少 的能力处理翻转转换而占主导地位的旋度。 8 转换 ,占主导地位的旋度的迹象一直展品更好的回忆能力真正的优点。 图 4示了比赛结果的例子由 置。 一般来说 ,翻转和斜转换 ,如图 4示 (a)和 4-3(b)。 通过人工检查 ,大部分比赛是正确的。 假阳性 ,如图 4示 (c)和 4-3(d),然而由于生成重复的部分场景。 结果被认为是假警报 ,通过人工检查 ,我们可以发现复制对象和背景确实是正确匹配。 假阴性产生主要是由于模糊转换。 几乎没有关键点匹配发现使用 -3(e)和 4-3(f)。我们调查的结果和观察 ,这是主要是由于量化误差引入的 子化 4。 图 4 配结果的例子。 (a)和 (b)真积极。 (c)和 (d)误报。 (e)和 (f)假阴性。 (一 )翻转 +规模。 (b)倾斜。 (c)复制对象。 (d)重复的背景。 (e)重斜 +模糊。 (f)重模糊 +规模。 效率 :表 4出了处理一个查询关键帧的时间成本。 实验是在电脑上进行的 2.8 7 g 境下主内存。 特征提取时间 ,而筛选在检索阶段通过反向文件 (如果有 ),慢于筛由于需要巩 固匹配结果通过检查的另一个指标匹配的单词。 然而 ,这一步有效梅干错误匹配 ,导致更少的候选人被 一步处理和互惠几何验证。 如表二所示 ,1%,和 46%互惠几何验证。 这更有效和结束有效使用 检测框架。 090 万年在我们的数据集的关键帧 , 51 关键帧将由 。 这种加速 较筛选将 。 表 4均时间成本每一步的 选和基于 S) 五、 对象识别 关键点检测器 :本实验的目的是实证研究关键点检测器的翻转不变性特性提出了部分。 两个图像序列 ,墙壁和船 ,以及他们翻转版本用于实验。 前者是一个序列逐渐变化的观点 ,而后者显示缩放和旋转的渐变。图 5示了结果。 如上所述 ,所有六个探测器的性能趋势一致相 似翻转和 换。 图 5复性各种关键点检测器最初的墙上和船的序列 ,和他们翻转版本 (b)和 (d)。(a)。 (b)与翻墙。 (c)船。 (d)船翻转 视觉描述符 :我们比较八个不同的视觉描述符包括 筛为研究关键点匹配的准确性。 类似于 20,一组图像双采样 5像序列的实验。 包括第一和第四集从每个序列图像。 除了最初的转换 (模糊、旋转、缩放、改变照明、色彩和 缩率 )在图像集 ,翻转转换包括翻转每个序列的第四个形象。在实验中 ,除了上网 ,狗检测器是用于所有的视觉描述 符。绩效评估是衡量评估配的数量正确返回。 图 5示了 面的性能曲线的平均结果 5像对。 如图 5示 (a),换、筛选展览最佳性能冲浪。 在最坏的情况下 ,能达到 85%的性能筛选 ,这远比其他描述符如 找到处理翻转的设计。 性能下降主要是因为主导旋度估计的错误。翻转转换如图 5示 (b),相反 ,示比流行的描述符如筛选性能优越 ,冲浪和