一种完全仿射不变量的图像比较法.doc

东北石油大学本科生毕业设计（论文）一种完全仿射不变量的图像比较法10GuoshenYu CMAP,Ecole Polytechnique, 91128 Palaiseau Cedex,FranceJean-Michel Morel*CMLA,ENS Cachan,61av.duPresident Wilson,Cachan 94235,France文摘一种完全仿射不变量的图像比较法,对Affine-SIFT(ASIFT)作出简要介绍。当SIFT仅遵循四个参数即缩放、旋转和平移时是完全不变的,新方法对两个剩下参数: 定义相机轴方向和定义相机角度方向。针对任何预测;模拟所有的视图都取决于这两个参数是否可行。这个方法可以依靠识别特征所进行的非常大的仿射扭曲来衡量一个新的参数,过渡倾斜。先进的方法过渡倾斜几乎不超过2 (SIFT)、2.5(Harris- Affine，Hessian -Affine)和10个(MSER)。ASIFT能处理过渡倾斜在36和更高的(见图1)。索引词影像匹配，仿射不变性，尺度不变，放射正常化，SIFT。1介绍局部图像检测器通过图像比较按其增量不变性属性可进行分类。他们都是平移不变的。Harris 角点检测3是旋转不变的。这Harris Lap lace（拉普斯）,Hessian（海赛函数）-Laplace和DOG(Difference of -Gaussian（高斯函数）)区域检测器8、10、6,2是旋转不变和尺度不变的。一些基于力矩区域检测器5,1,包括Harris -Affine（仿射）Hess ian-Affine区域9,10检测器,一个边缘检测点17,一个4熵检测,两个水平线检测的MSER (“最稳定极值7地区”)和LLD (“水平线描述符”)15的设计是仿射不变的转变。MSER,特别说明,已被证实通常比其他仿射不变检测效果更好,紧随其后的是海赛-仿射和哈里斯-仿射（12、8、10)。这些方法通过修补局部斑块,区域,或相当经历了一个未知的仿射变换。归一化变换后他们得到一个标准的对象,仿射变换的影响已经消除。然而,当一个较大比例变换出现时 (事实上比3大),SIFT仍优于所有的其他方法6。事实上,实践证明数学上的14,SIFT是完全尺度不变的,指出6没有完全尺度的归一化方法或仿射不变性:“然而,这些方法是尚未完全仿射不变量,当他们开始与初始特征尺度和地点选择用一种无仿射变换方式时，却由于开发全仿射空间成本过高。”图1 .图像对高的转变倾斜t 36度。底部:ASIFT发现正确的116场。SIFT，哈里斯-仿射,海赛-Affine,MSER完全失效。2仿射相机型号形变引起的视点的变化,可以在局部地区模拟为仿射平面转换,给出了对象的分段光滑的界线12。因此,(局部)摄像机图像变形模型下运动是U(x,y) -U(ax + by+ e,cx +dy+ f),A=是任何线性平面图用正值的决定因素。任何此类图的分解图2. 公式(1)的几何解释A= (1)我们注意到A=,在此 0, t决定了A, 属于 0,180), 表示了平面的旋转与角度、Tt(t 1)被称为倾斜度。图2显示。解释一个摄像机运动(1): 和= arccos1 / t是相机的视角角度和以为参数的相机自旋转。在这个仿射模型相机远离平面物体。从正面的位置,一个摄像机运动平行于该对象的平面形象包括旋转。这个平面包含正常和光轴在一个固定垂直面上来确定一个角度。这个角度被称为经度。其光轴然后做出a转角垂直于图像平面u.这个参数被称为纬线。倾斜t1被定义为tcos= 1。镜头可以绕其光轴(旋转参数)旋转。最后但并非最不重要,摄像机可以向前或向后移动,这是通过测量变焦参数。简而言之,(1)模型的图像变形u(x,y)u(A(x,y)摄像机运动所致一个正面视点= 1,t0= 1, = 0到斜视图特征由,t, 和。3. 高倾斜旋转方程(1)定义了绝对倾斜,即当镜头通过比从一个正视图到斜视图得图像形变率。但相比图像u1 (x,y)=U(A(x,y)和u2(x,y)=u(B(x,y)一般从两个相机的倾斜位置得到。图3. 绝对的倾斜与过渡倾斜之间的区别。左：经度 = ，纬度=30度，=60度，绝对倾斜t=1/cos=2/,t=1/cos=2,过度倾斜T（u1,u2）=t/t=.右：=+90度，=60，=75.3度，t=2,t=4,T(u1,u2)=tt=8.定义1.给出了一个平面图像的两个视点, u1(x,y)=U(A(x,y), u2(x,y) = U(B(x,y),我们称过渡倾斜T(u1,u2)和过渡旋转 (u1,u2)独特参数满足BA =的条件,用公式(1)表示。图3从不同的观点对两幅图像的仿射过渡进行阐述。特别是绝对倾斜与过渡倾斜之间差异。与这两个绝对倾斜t和t,在两个正交方向= + / 2上,一个能确认过渡倾斜u2和 u1之间的结果T=tt。因此,两个中等程度的倾斜会导致一个大的过渡倾斜!因为在实际情况下倾斜可达到6度甚至8度,很容易明白过渡倾斜可以到36度,64度,和更多。图1显示了ASIFT结果在图像对正交的视点(过渡旋转= 90,绝对倾斜t 6),以致过渡倾斜t=36度。这根本就不是一个例外的情况。过渡倾斜的相关概念已经被证实，这一事实是最高过渡倾斜Tmax允许匹配两个图像绝对倾斜t和t是相互独立的从t到t.实验结果已经检查SIFT,逐步发展到Tmax2。可实现过度倾斜的哈里斯-倾斜仿射和海赛-仿射都接近2.5。MSER具有良好的鲁棒性,过渡倾斜Tmax在5至10之间。但这种表示只有当图像间没有较大尺度转换和图像包含高对比度对象时才得以验证。ASIFT的过渡倾斜通常大于36度,图像匹配超出人们能力范围(见图1)。4ASIFT算法仿真和标准化相结合的理念是SIFT算法最主要的成功因素。事实上,尺度变化模糊量，并不能归一化。因此SIFTA旋转和转换标准化,而模拟量全都放大。David Pritchard的SIFT延伸 16模拟四个额外倾斜。这实际是该算法的第一步,如下所述，总结了如图4。图4。ASIFT概论。许多对旋转和倾斜的图像是通过SIFT算法从图像A、B进行比较得到。1。每个图像转换通过模拟的方向照射相机轴变化造成的所有可能的线性失真。这些失真现象取决于两个参数:经度和纬度。图像经过-旋转其次是倾斜参数t = | 1/cos|。数字图像中，倾斜被作为一个t-subsampling(二次抽样),因此需要前一种应用抗锯齿过滤器在方向x,即高斯卷积法和标准偏差C=,在此c = 0.814。2。对于有限的小数量的纬度和经度这些旋转和倾斜是可以实现的，这些采样参数的步长确保模拟图像贴近任何其它可能产生的观点值。3。所有的模拟图像互相比较彼此尺度不变,旋转不变,转换不变的算法(典型的SIFT)。自从SIFT规范相机转换平行于它的焦平面和相机绕其光轴旋转,但是模拟了尺度转换,所有六个相机参数归一化要么通过ASIFT模拟4。模拟纬度对应倾斜t = 1,a,a2.an，且a 1。以一个a=是一个很好的准确性和稀疏度。N的值能上达到5或更大。这样,所有从过渡倾斜1 到32和更多的方法进行探索。5。经度遵循每一个t的算术系列0,b / t，.,kb / t在b = 72度是一个良好的折中办法K是最后的整数,kb / t 180度。6。复杂度:每个倾斜是一个关于t的sub-sampling（二次抽样）通过t除以图像面积。旋转图像的数量对每个倾斜是(180/72)t = 2.5t。因此,该方法复杂度是与倾斜的数量成正比。控制模拟图像总面积相当于控制该算法的复杂度。事实上,SIFT搜索时间和内存的大小是与图像面积成正比的。这种复杂性可以进一步降低a)二次抽样查询和检索的图像;b)鉴定成功的双(t，);c)回到最初的分辨率只有这些对。7。这种描述的结尾是一个具体的例子，多分辨率搜索策略如何在实际上可以做到只有两次算法速度要比SIFT慢。把一个a=, n=5。最大绝对倾斜为每个图像是5.7和最大过渡倾斜上升至32。模拟图像面积是52.5 = 12.5倍的原面积。通过一个33原面积二尺抽样,这个面积降低到1.4倍的原始图像面积。如果这用于减少查询和搜索图像,综合比较复杂性是等价的与SIFT两倍的复杂性相比。图5显示相对稀疏的样本范围经纬的需要。完成一个完全仿射的认可。一个数学证明ASIFT是完全仿射不变的。图13 给出了ASIFT 是完全仿射不变量的数学证明(明显的精度问题)。图5。抽样(块点)参数=arccos 1/ t 在一个天顶观测角度观半球体。5实验和结果ASIFT对比四种最先进的算法SIFT6,Hessian-Affine, Harris - Affine 9,10和7MSER检测器，所有编码都用SIFT描述符6。图像用于试验的尺寸大小600450。绝对倾斜试验图6显示设置为采用最大评估对绝对倾斜和过渡倾斜的各个算法实现。一本杂志和海报被拍到用于实验。不像SIFT及ASIFT, Hessian- Affine, Harris -Affine，MSER检测不是规律的鲁棒性变化。因此,集中在倾斜,图像对，选择比较自由比例变化。海报如图7，被拍到与一个反射相机与观点角度，相机轴和正常的海报之间，变化从0(正面视图)= 80。看来物体不太实际的持续较大的纬度。表1比较ASIFT与他们的性能ASIFT与其他算法从数量的正确的比较。其中的一个匹配的结果如图7。对这些图像SIFT过程中角度小于45度。图6。相机的位置对系统进行比较Harris-Affine和Hessian-Affine 的性能急剧下降，当角度从45到65 度时。超出这个值,他们完全失效。MSER大幅转弯在45度角的时候也未能在65度。ASIFT作用,直至80度。/tSIFTHarAffHesAffMSERASIFT80/5.8300211075/3.9210415265/2.45125646845/1.4171542615707表1。绝对的倾斜比较适合的观点不变性角度在45 80度之间。纬度角度与绝对的倾斜都列在左列。 图7 .对应的签名海报正面的看法在80度,绝对倾斜t = 5.8倾斜。ASIFT(显示),SIFT, Harris-Affine,Hessian-Affine 和MSER (显示)发现分别为110,3 - 0和2个正确的结果。以上实验和其他许多得出最大绝对倾斜的以下结论。SIFT几乎没有超过一个tmax = 2绝对倾斜。这个限制是tmax哈里斯- 2.5仿射和Hessian-Affine。MSER性能在很大程度上决定于图像的类型。对于图像与高度对比地区,MSER达到一个绝对的倾斜t 4。然而,如果图像不包含高度与地区对比，如果尺度转换大于3,MSER的性能衰减强烈,甚至在小倾斜。对于ASIFT一个Tmax=5.8的绝对倾斜，对应的极端观点角80度总是达到的。过渡倾斜测试图8显示SIFT,Harris-Affine和Harris-Affine失效于看似简单的例子。事实上,小绝对倾斜t1 =t2 = 2结合经度角度1 = 0和2 =50产生适度倾斜-3，没有达到这些方法。ASIFT性能完美。MSER作用很好在这些优化条件下:高对比图像和无尺度变化。 图8该杂志拍摄的照片对应关系以绝对的倾斜t1 = t2= 2经度角1 = 0和2 = 50度，过渡倾斜T= 3。ASIFT(显示),SIFT (显示), Harris-Affine, Hessian- Affine和MSERF发现分别为745,3、1、3、87正确的匹配。表2算法的性能对比，一组杂志图像都有一个t = 4绝对倾斜。因此最大过渡倾斜16。这些图像,SIFT,Harris-Affine和Hessian- Affine 与1.9的过渡倾斜相抗争。大于这个值他们都彻底失效。MSER性能稳定到达T7.7的过渡倾斜。超过个价值、对应可靠识别的数量非常小。ASIFT完美性能达到T=16。,如图1、ASIFT实际上达到过渡倾斜大到36。图9说明一个圆形建筑。在一个观点的改变,左右两边维持大的过渡倾斜。ASIFT发现123对应覆盖该建筑物的左、中、右位置的部分。其它方法或是失败,或在中央部分找到少量匹配项。 图9。圆形建筑、过渡倾斜1.8、1(2)。ASIFT(显示), SIFT, Harris- Affine, Hessian-Affine和MSER(显示)找到123,13、5、7和13个正确的结果。6结论图10显示一个最后图像对的中度过渡倾斜除了ASIFT所有的方法都失败。这是因为标准化方法,理想化的原则,没能在实践中正确处理与小形状、大绝对倾斜,和低对比度的问题。模拟方法目前更为广泛。首先限制性,他们被证明是可行的,由于观察范围是非常稀疏的采样如图5所示。SIFT方法的鲁棒性对中度过渡倾斜的关键是稀疏取样问题。7.参考文献1 A. Baumberg. Reliable feature matching across widely separated views. Proc. IEEE CVPR, 1:774781, 2000.2/TSIFTHarAffHesAffMSERASIFT10/1.922321449105420/3.34513984230/5.33213256440/7.70002835150/10.20001929360/12.41001714570/14.3000139080/15.60001210690/16.0000988表2过度倾斜性能.第一幅图1=0和两幅图的绝对倾斜t1=t2=4. 第二个图像 的经度2和生成过渡倾斜 T于第一列.图10.图像匹配：道路交通标志.过度倾斜T2.6ASIFT(显示)，SIFT, Harris-Affine, Hessian- Affine和MSER,分别找到50,0，0，0和1个正确匹配。2 L. Fevrier. A wide-baseline matching library for Zeno. Technicalreport, 2007.3 C. Harris and M. Stephens. A combined corner and edge detector.Alvey Vision Conference, 15:50, 1988.4 T. Kadir, A. Zisserman, and M. Brady. An Affine InvariantSalient Region Detector. ECCV, 228241, 2004.5 T. Lindeberg and J. Garding. Shape-adapted smoothing in estimation of 3-d depth cues from affine distortions of local 2-d brightness structure. ECCV, 389400, 1994.6 D.G Lowe. Distinctive image features from scale-invariant key points. IJCV, 60(2):91110, 2004.7 J. Matas, O. Chum, M. Urban, and T. Pajdla. Robust widebaseline stereo from maximally stable extremal regions. Image and Vision Computing, 22(10):761767, 2004.8 K. Mikolajczyk and C. Schmid. Indexing based on scale invariant interest points. Proc. ICCV, 1:525531, 2001.9 K. Mikolajczyk and C. Schmid. An affine invariant interest point detector. Proc. ECCV, 1:128142, 2002.10 K. Mikolajczyk and C. Schmid. Scale and Affine Invariant Interest Point Detectors. IJCV, 60(1):6386, 2004.11 K. Mikolajczyk and C. Schmid. A Performance Evaluation of Local Descriptors. IEEE Trans. PAMI, 16151630, 2005.12 K. Mikolajczyk, T. Tuytelaars, C