基于SIFT算法的图像匹配方法-本科论文

摘要图像匹配是指通过一定的算法在两幅或多幅影像之间识别同名点的过程。图像匹配技术是图像处理技术中的重要研究内容，是图像信息领域之中的一项重要技术，同时它也是其它一些图像分析技术的根底。正由于其应用的广泛性，使得匹配算法的研究逐步走向成熟。图像匹配是一个多步骤的过程，不同的匹配算法之间步骤也会有很大的不同，效果也有较大的出入。SIFT算法是一种基于尺度空间的算法，该算法特征是图像的局部特征，使其对旋转、尺度缩放、亮度变化具有保持不变性，对视角变化、方式变换、噪声也具有良好的稳定性，同时SIFT算法具有独特性好、信息量丰富，运行速度快等特点。本课题研究了基于SIFT算法的图像匹配方法，论述了SIFT算法的实现过程。通过实验，探寻SIFT在亮度变化、尺度变化、旋转变化下的匹配效果。并运用SIFT算法实现物体识别。关键字：图像匹配，尺度空间，稳定性，SIFT算法，物体识别ABSTRACTImagematchingreferstotheprocessofidentifyhomonymypointsbetweentwoormoreimagesbyacertainalgorithm.Generallyspeaking,Imagematchingtechnologyisofimportant,notonlyintheapplicationofimageprocessingtechnology,butalsointhefieldofpatterninformation.Besides,itisalsothebasisofsomeothertechnologyofimageanalysis.Therefore,itwouldseemthatfurtherinvestigationaboutimagematchingtechnologyisneeded.Imagematchingisamulti-stepprocess.Differentmatchingalgorithmwouldhavedifferentcalculatestepsandresults.Inaddition,SIFTisanalgorithmbasedonscale-space,whichfeatureisthelocalfeaturesoftheimage,itsrotation,scalezooming,brightnessvariationhavetheadvantageofinvariability,andthechangeofviewpoint,patterntransformation,noisealsohasgoodtraitofstability.Meanwhile,theSIFTalgorithmhasthecharacteristicsofgooduniqueness,hugeinformation,fasterrunningspeedandsoon.ThisarticlepresentsthatthemethodofimagematchingwhatbasedonSIFTalgorithm,andsummarizethattheimplementationprocedureofSIFTalgorithmaswellasexploresthematchingresultsofSIFTintheaspectofbrightnessvariation,scalevariationandRotationvariation.Besides,italsodiscussesthewayofobjectrecognitionbyuseofSIFTalgorithm.Keywords:imagematching,scale-space,stability,SIFTalgorithms,objectrecognition目录TOC\o"1-2"\h\z\u1绪论[13]。匹配成功后，会产生许多错误匹配点，我们需要对错误匹配点加以修正。常用的去外点的方法是RANSAC随机抽样一致性算法。这样我们就可以消除错误匹配点，提高了匹配的成功率，提高了鲁棒性。4.7本章小结本章详细介绍了SIFT算法的实现过程，对SIFT算法的理论知识做了充分的阐述。对SIFT算法流程进行了分步骤的详细说明。本章内容是本课题的核心内容，也是SIFT算法的核心思想。5实验结果及分析本文的程序代码是在MATLAB的平台上实现的。SIFT特征点集用带箭头的向量表示，箭头的长度代表该特征点所在的尺度，方向代表该特征点所在尺度下方向的梯度方向，箭头的起点代表特征点的位置。通过匹配后，我们将匹配上的特征点集用线连接起来。5.1SIFT特征提取实验结果SIFT算法的核心是特征点的提取，首先我们将图像转化为灰度图像，让后提取出特征点，实验结果如图5-1。〔a〕(b)(c)(d)(e)(f)图5-1图像特征点的提取通过以上实验，分别对6副图片进行特征点的提取，我们得到如表5-1所示的数据，通过对数据的分析，我们可以发现：用SIFT算法提取特征点，特征点的数目与物体的大小并没有明显的没有关系。而与物体外表的纹理具有正相关的关系。当物体的外表具有较多较复杂的图像和几何图形时，我们可以得到较多的特征点。反之，假设物体外表较为光滑，没有图片和几何图形时，我们得到的特征点数目非常少。这与SIFT的算法有关，因为具有复杂外表纹理的物体在经过DOG高斯差分函数处理后能得到更多的关键点。表5-1不同图像的关键点检测数据图像编号实物名称特征点数目5.1〔a〕水杯425.1〔b〕盒子11585.1〔c〕盒子2545.1〔d〕牛奶1425.1〔e〕糖果1835.1〔f〕牙膏2085.2特征匹配实验结果根据SIFT算法的理论，我们可以得知SIFT算法具有很好的稳定性。其对旋转、尺度缩放、亮度变化具有保持不变的特性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。所以我们将分别对亮度、尺度、和旋转对匹配效果的影响分别展开研究实验。5.2.1亮度变换的匹配为了取得SIFT算法对亮度调节下的匹配效果。我们进行如下实验：如图5-2，我们分别输入两张亮度信息不同的图像〔a〕,〔b〕，他们中都含有相同的元素。我们用SIFT算法讲两幅图像进行匹配。〔a〕高亮度图像(b)低亮度图像图5-2输入亮度信息不同的图像图像〔a〕产生121个关键点，图像〔b〕产生了117个关键点，将两幅图像的关键点进行匹配，的到了64个匹配点，匹配成功点用蓝色的线连接起来。匹配成功率较高，也充分证明了该算法在亮度变化下也能有较好的匹配效果。图5-3亮度信息变化下的匹配结果5.2.2尺度变换的匹配为了取得SIFT算法在不同尺度下的匹配小姑，我们将进行如下实验。如图5-4，我们输入物体在不同尺度下的原始图像，用SIFT算法对其进行匹配，并进行数据统计。〔a〕〔b〕(c)(d)(e)(f)图5-4物体在不同尺度下的图像分别将各个图片进行处理，提取出SIFT关键点集，然后进行逐一匹配。匹配效果如图5-5：〔a〕(b)(c)图5-5尺度变化下的匹配效果表5-2尺度变化下关键点统计数据图像大尺度关键点数小尺度关键点数匹配关键点数书1963036冰红茶3574721牙膏1924541通过表5-2数据和图5-5匹配结果可以看出，图像的尺度变化后，产生的关键点数目也响应的减少。在匹配的过程中，匹配率相对较高，能得到多对匹配点。实验证明该算法在尺度变化下具有很好的稳定性，能过到达较高的匹配率和较好的匹配效果。在第一组数据中，匹配上的关键点数比小尺度的关键点还要多。这是因为小尺度上的一个关键点可能和大尺度上的多个关键点匹配成功，产生了错误匹配导致的，匹配中产生了错误匹配。5.2.3旋转变换的匹配为了得到SIFT算在旋转变换情况下的匹配效果，我们输入一张如图5-6所示图片，将瓶子向分别向左右两个方向旋转15°、30°。得到四张旋转后的图片，然后将这些图片分别与原图进行匹配，得到匹配对数。从而研究旋转对SIFT算法的影响。图5-6输入的原始图像经过SIFT算法后，我们得到原始图像和旋转后图像的特征点，然后进行一一匹配，得到匹配效果如图5-7：〔a〕向右旋转15度匹配效果〔b〕向右旋转30度匹配效果〔c〕向左旋转15度匹配效果〔d〕向左旋转30度匹配效果图5-7旋转匹配效果表5-3旋转变化下的关键点匹配数据图像对旋转角度特征点数目与原图像匹配成功点数目图5.603060图5.7〔a〕向右15度22031图5.7(b)向右30度17230图5.7(c)向左15度29142图5.7(d)向左30度19823通过对实验结果图5-7的分析和对数据的统计表5-3分析我们可以发现，虽然该算法在理论上具有很好的旋转不变性，但是实验效果不是很好。我们的到的匹配对数并不是很多，即使我们的到了很多的特征点数。而且匹配过程中还会遇到错误的匹配。这也影响到该算法的精确程度。5.3图像匹配应用——物体识别图像匹配在算法在现实生活中具有广泛的应用，在军事目标识别、工业和民用方面都有不同程度的应用，其应用已经渗透到了很多领域，典型应用比方：物体识别、机器人定位与导航、图像拼接、三维建模、物体识别、视频跟踪、笔迹鉴定、指纹与人脸识别、犯罪现场特征提取等。本文对其中的物体识别做了简单应用。本文提出一种物体识别的思路，其流程如图5-8：建立一个图像库建立一个图像库〔1，2,3…n〕输入图像输入图像对图像库中的图像提取对图像库中的图像提取SIFT特征，产生特征关键点数据库〔1,2,3…n〕提取出图像关键点提取出图像关键点将输入图像关键点与数据库中的关键点一一匹配将输入图像关键点与数据库中的关键点一一匹配匹配成功匹配成功全部匹配失败全部匹配失败输出该图像中含有N输出该图像中含有N对应的物体输出没有找到相关匹配图5-8物体识别根本流程通过物体识别，我们就能找出图像中与库中相同的物体，虽然本文做的比拟简单，但是假设加以改良，必定有很广泛的应用。5.3.1建立物体库我们建立物体库，首先要先将物体图片保存到库文件夹中，把名字改为1,2，3……n的格式。然后通过函数提取出每个物体的特征点集。分别保存到数组DD〔n〕和FF(n)中。N代表的是第几张图，关键点信息存到相应的数组中。数组DD中前一位128代表的是描述子采用128维向量表征，后面一位代表该图像的关键点数目。作为与目标图像匹配的依据。图5-9是一个以5副图像为库的物体库。图5-9建立物体库图5-10物体库产生的特征点集通过对每副图像处理后，我们得到了一个数据库。库的建立是通过一个循环分别寻找每个物体的特征点集，然后每次循环后把循环结果存入数组中。因为每次循环都要调用SIFT特征点提取，所以耗时较长，我们分别对3、6、9个物体的数据库建立时间做了统计，统计数据如表5-4。表5-4建立数据库用时统计图像库数目建立库用时〔s〕29.7450314.3020419.3050629.0750837.6970图5-11建立数据库用时统计图图5-11横坐标代表图像库中图像的数目，纵坐标表示建立数据库所用时间。通过对数据进行处理发现，图像库越多，建立数据库用时就越长，图像数目与建立数据库用时成正比关系，我们用软件拟合可以得到拟合函数y=4.7x+0.4,X为图像数目，Y为建立数据库所用时间。5.3.2目标图像与库匹配通过以上算法，我们已经建立了物品库。并把每个物体的关键点信息存入相对应的数组中。接下来我们需要输入一张图片，提取出该图片中的关键点信息，然后将关键点与数据库中的关键点进行匹配，如果图像与库中第一组数组所存的数据匹配成功，且匹配上的关键点对数大于5对，那么我们系统就判定该张图像中含有数据库中该组数组所对应的物体。在结果中输出该图像中含有该物体，输入图像与库中的每一组数组都没有匹配成功，那么在最后的结果中我们就认为该图像不含有库中的物体。如第节所示，我们已经建立了牛奶、盒子、书、糖果、牙膏的数据库。我们现在只需输入一张图片，将图像与数据库进行匹配。〔a〕输入图像糖果〔b)输入含有库中盒子和牙膏的图像图5-12输入图像输入的图像可以含有数据库中的图像，也可以不含有数据库中的图像。〔a〕输入图像与库中的盒子匹配结果(b)输入图像与库中牙膏匹配结果图5-13输入图像与库中数据匹配结果〔左图为输入图像，右图为库中的图像〕图5-14图像识别输出结果图5-15输入图像与数据库中的图像匹配结果图5-16图像匹配输出结果在图像匹配过程中，有时候会出现错误匹配，如图5-17，我们输入一张含有库中牙膏和盒子的图像，然后与数据库进行比拟。图5-17输入图像与数据库中的匹配结果如图5-18：〔a〕输入图像与数据库中的书比照结果〔b〕输入图像与库中牛奶匹配结果图5-18输入图像与数据库中比照错误结果图5-19输入图像识别结果通过结果发现，我们得到了错误的识别结果。我们输入的图像中并没有牛奶和书。但是在最后的结果中我们却得到了牛奶和牙膏，所以我们需要对程序加以修正，提高识别的准确度。在这里，我们设置一个识别门限，当匹配上的关键点对数大于这个门限的时候我们再输出相应的结果，否那么我们就判定这是一个错误的识别。在最后的结果输出中我们不予输出。在经过反复的测试后，在这里我们将门限取5，只有当匹配上的关键点数大于5对的时候我们才认为该图像与库中的图像匹配成功，并在最后的结果中输出。经过修正后的程序输出结果如图5-20。图5-20经过改良后的程序输出结果经过修正后的程序大大提高了识别的精度和准确度，过滤掉了大局部的错误识别。也充分的证明了图像识别技术的可行性。程序实现了预期功能，但也存在一些缺乏。由于程序中没次输入图像，都要进行一次库的建立，这样设计是为了方便改变库中的物体，但也造成了耗时过长的缺陷。如果库中的图片数目较少，我们耗时不长。但是如果库中图片较多是，将会花费大量的时间用来建立数据库。在节中我们已经得到了建立数据库用时的函数y=4.7x+0.4,X为图像数目，Y为建立数据库所用时间。它是一个一次线性函数，所以如果库函数图像较多的情况下，建议将库函数和匹配函数分开调用，以节约时间。接下来我们探索下运行整个程序的时间和物体库中数目之间的关系。分别在物体库中库图像为3张、5张、7张、9张的情况下展开研究。表5.5程序耗时统计数据图像库数目程序总耗时〔s〕327.5690546.5710764.8520986.0180图5.21程序总用时与库图像数目关系通过对数据分析发现，程序的总用时数据库中图像的数目成正比关系，通过拟合直线我们大致可以得到直线y=11.1x-7.6，式中Y为程序的总共用时，X代表图像库中图像的张数。5.3本章小结本章通过实验，分别对SIFT特征点匹配做了详细研究。我们统计了不同大小的物体所获得的关键点数目。外表纹理复杂程度与生成关键点数目的关系。然后分别研究了亮度变化、尺度变化、旋转变化对匹配效果的影响。实验证明SIFT算法提取特征点的数目与物体的大小关系不大，与物体外表纹理的复杂程度呈正相关的关系，外表纹理越复杂，得到的关键点越多。证明了该算法具有良好的稳定性和鲁棒性，即使在光照、尺度、和物体发生旋转的情况下，都能得到较好的匹配效果，证明了SIFT特征点具有保持光照不变、尺度不变、旋转不变的特性。同时，我们在SIFT算法的根底上做了创新应用，实现了简单的物体识别，虽然识别时间较长，识别会存在误差等缺点。但是物体识别的功能根本实现，能对物体简单的识别。6总结与展望6.1总结本文首先介绍了图像匹配的研究背景及意义，完成了对国内外的研究现状的调查统计，确定研究的内容及方向。接下来对图像匹配的方法进行了简要概述，对图像匹配的原理做了简单介绍。分析各种图像匹配方法的优缺点。鉴于SIFT算法的优越性，最后选择基于特征点的SIFT算法作为图像匹配的核心算法。然后开始详细介绍SIFT算法的具体实现过程，为算法的实现提供理论根底。在最后的实验章节中，我们对SIFT特征点的提取做了研究，对尺度、旋转、光线的明暗情况下分别对SIFT算法做了充分的实验，得到了珍贵的实验数据。最后我们通过对SIFT算法加以简单的应用，利用SIFT算法设计了一个简单的物体识别系统，通过该系统，我们能识别图像中的物体，并显示该物体名称。虽然这个系统的雏形很简单，功能也比拟单一，但是物体识别在军事、救灾、民用等诸多领域有广泛的应用，如果加以改良必定会有广泛的应用价值。6.2展望通过本文的研究，我们在理论上证明了SIFT算法的优越性，无论匹配效果还是匹配成功率在现有的匹配方法中变显都很突出。当然，由于影响匹配效果的因数有很多，所以在不同的情况下应采用与之相符合的匹配方式，总体上来讲，SIFT算法的独特优越性确定了该算法的广阔前景。一幅图像蕴含了极为丰富的信息，如可以直接利用的像素值，对于彩色图像有色彩信息，怎样利用这些信息来表征图像的本质信息是一个难点。现有的方法大局部都是基于像素点的灰度值、像素点的空间分布信息、色彩信息等。提前图像的特征后，就可以根据这些特征进行分类，并可以用于检索以及识别新的图像。特征提取是图像识别、分类和检索中的关键技术，本文主要关注图像的特征提取方法。提取特征时要考虑其维数，如果提取的图像特征具有很高的维数，计算复杂度会较高，而且实际当中待处理的图像数量巨大，将给存储和处理带来很大的不便，也就不适于分类、检索和识别方法的设计。在特征提取时，还要考虑光照变化、镜头位置、运动是否对提取的特征的有影响等问题。目前常用的图像特征包括颜色特征、纹理特征，形状特征和局部点特征等，本文主要关注局部点特征。SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，在尺度空间寻找极值点、提取位置、尺度以及旋转不变量。本文介绍了尺度空间理论，尺度空间理论目的是模拟图像数据的多尺度特征。SIFT特征就是在不同的尺度空间和位置提取局部特征点。与其他特征相比，图像的局部特征综合反映了图像的细节局部信息，对于尺度缩放变化、视角变化、仿射变化、灰度变化、噪声保持了较好的稳定性。本文对SIFT算法做了简单的物体识别应用，SIFT算法是现在图像图像匹配的一种主流算法，在诸多领域具有广泛的应用，比方物体识别、机器人定位与导航、图像拼接、三维建模、手势识别、视频跟踪、笔记鉴定、指纹与人脸识别、犯罪现场特征提取等。SIFT在图像的不变特征提取方面拥有无与伦比的优势，但是其并不是完美的，仍然存在着实时性不高、有时候特征点较少、对边缘模糊的目标无法准确提取出特征点等缺陷。所以SIFT算法具有很高的研究价值和很高的研究意义。参考文献汪洋.图像匹配方法综述.《电脑与电信》,2023年田慧云.基于特征点的立体影像匹配,北京:北京建筑工程学院,2023年官云兰等.点特征提取算法探讨.《东华理工学院学报》,2007年林相波等.基于灰度和形状的非刚性图像配准算法的研究.《中国生物医学工程学报》，2023年张钟汉.各向异性的微分光流和匹配光流算法,西安:西安电子科技大学,2023年赵彬.基于压缩域的视频配准,济南:山东大学,2023年姜彬等.图像分割技术分析与展望.《电脑知识与技术》，2023年梅玫.基于内容的同源视频检索技术研究，北京：北京邮电大学，2023年郭金芝.基于SIFT算法的车牌识别系统研究,西安:西安电子科技大学,2023年李亮.基于语义稀疏表示的不良图像检测算法,西安:西安电子科技大学,2023年杨升.基于SIFT算法单双目视觉结合的移动机械臂定位研究,武汉:武汉科技大学,2023年刘宏娟.基于DSP的航拍图像配准系统的研究与实现,西安:西安电子科技大学,2023年王建雄.无人飞艇低空摄影测量关键技术研究及大比例尺地形成图实践,西安：长安大学,2023年DavidG.Lowe.“Distinctiveimagefeaturesfromscale-invariantkeypoints〞InternationalJournalofComputerVision,60,2(2004),pp.91-110Brown,M.andLowe,D.G.2002.Invariantfeaturesfrominterestpointgroups.InBritishMachineVisionConference,Cardiff,Wales,pp.656-665.致谢经过一学期的紧张忙碌，我的毕业设计工作也根本完成。在毕业设计阶段，我得到了很多老师和同学的帮助，正因为他们的鼎力相助，我才能更好的完成毕业设计的工作，在这里我要向他们表达诚挚的谢意。首先，我要感谢我的导师赵莹老师。在毕业设计阶段，她给我提供了巨大的帮助。老师知识渊博，平易近人。每当我碰到自己解决不了的问题，老师都细心的为我指导，积极的给我提供帮助。不仅指导我的设计任务，更教会我了做研究的方法和态度。她刻苦钻研，严谨治学的精神给留下了深刻的印象，对我产生了深远的影响。我这次毕业论文的顺利完成与她孜孜不倦的教导息息相关。其次我要感谢我的其他大学老师，是他们无私奉献的精神，让我在大学中成长成熟。是他们把给了我们智慧与知识，让我远离了无知。再次我要感谢我的同学们，大家朝夕相处，一起学习进步。当我遇到困难的时候，我第一个求助的人总是他们，他们也总是不厌其烦的帮助我。最后，我要感谢所有支持我的家人和朋友，是你们给了我信心与力量。附录生成输入图像的SIFT特征点：mainclc;clear;img1_dir='demo-data\';img1_file='image.jpg';I1=imreadbw([img1_dirimg1_file]);I1_rgb=imread([img1_dirimg1_file]);I1=imresize(I1,[240320]);I1_rgb=imresize(I1_rgb,[240320]);I1=I1-min(I1(:));I1=I1/max(I1(:));[frames1,descr1,gss1,dogss1]=do_sift(I1,'Verbosity',1,'NumOctaves',4,'Threshold',0.1/3/2);figure(1);clf;plotss(dogss1);colormapgray;drawnow;figure(2);clf;imshow(I1_rgb);axisimage;holdon;h=plotsiftframe(frames1);set(h,'LineWidth',1,'Color','g');图像匹配代码：clc;clear;main;img1_dir='demo-data\';img2_dir='demo-data\';img1_file='81.JPG';img2_file='85.JPG';I1=imreadbw([img1_dirimg1_file]);I2=imreadbw([img2_dirimg2_file]);I1=imresize(I1,[240320]);I2=imresize(I2,[240320]);I1=I1-min(I1(:));I1=I1/max(I1(:));I2=I2-min(I2(:));I2=I2/max(I2(:));[frames1,descr1,gss1,dogss1]=do_sift(I1,'Verbosity',1,'NumOctaves',4,'Threshold',0.1/3/2);[frames2,descr2,gss2,dogss2]=do_sift(I2,'Verbosity',1,'NumOctaves',4,'Threshold',0.1/3/2);fprintf('Computingmatches.\n');descr1=descr1';descr2=descr2';matches=do_match(I1,descr1,frames1',I2,descr2,frames2');图像识别代码〔图像库为5幅〕：main;clc;clear;fori=1:5;c=int2str(i);img1_dir='demo-