基于特征点的影像匹配关键技术研究-毕业论文

南阳师范学院20XX 届毕业生毕业论文（设计） 题 目： 基于特征点的影像匹配关键技术研究 完 成 人： 班 级： 学 制： 专 业： 测绘工程 指导教师： 完成日期： 目 录摘要（1）1绪论（1） 1.1选题意义（1） 1.2研究现状（2） 1.3论文的主要内容（3）2特征点提取算法研究（4） 2.1Moravec兴趣算子的理论基础（4） 2.2Forstner算子（5） 2.3两种算法的比较（8） 2.3.1定位准确性试验（8） 2.3.2提取速度试验（9）3基于特征点的匹配算法研究（10） 3.1影像像匹配的过程（10） 3.2影像匹配的基础理论（11） 3.2.1相关系数匹配算法（11） 3.2.2核线匹配算法（13）4实例演示（15）5总结展望（18）参考文献（18）Abstract（19）基于特征点的影像匹配关键技术研究 摘要：影像匹配问题是摄影测量后期影像处理中的一个核心问题。本文探讨了基于特征点的影像匹配过程中的具有决定意义的两个步骤：特征点的提取和影像匹配。有效的特征提取算法是影像匹配问题的首要和关键，文章介绍了了在摄影测量中两个常用的点特征提取算子，Moravec 算子和Forstner 算子,并叙述了两个常用的基于特征点的匹配算法，相关系数法和松弛匹配法，然后进一步进行实验对比得出了两种算子和两种匹配算法各自的提取效果图。关键字:影像匹配；特征点；Moravec算子；Forstner算子；相关系数;核线匹配1 绪论1.1 选题意义 影像匹配一直以来都是摄影测量工作的核心任务。无论是在模拟测图仪上还是在解析仪上，都需要作业人员通过人眼的立体观测，不断地从左右像片上搜索同名像点，也就是进行影像的匹配问题。所谓影像的匹配即是已知一幅影像中的一个特征点，运用一定方法从其他影像像中获得与这个特征点相对应的匹配点（空间中的同一点在两幅影像中的成像）。随着科学技术的发展，影像像匹配不仅成为现代信息处理领域中一项十分重要的技术，而且是一些图像分析技术的基础，在许多方面有着重要的应用价值，如目标跟踪、立体视觉和运动分析等。 影像匹配技术经历十多年的发展，其应用已逐步从原来单纯的军事应用扩大到其它领域。通过查看在SCI中检索的有关影像匹配方面的论文，近十年就超过了13360篇，说明人们对影像匹配技术的关注呈逐年上升趋势。影像匹配技术一般分为基于灰度的和基于特征的，而特征又分为点特征、线特征和面特征1。相对于线特征和面特征，特征点通常在精度、速度以及鲁棒性上有较明显的优势，综合考虑基于特征点的影像匹配算法的众多优点，本文将重点研究基于特征点的影像匹配算法。相对于基于灰度的影像匹配方法在实时性和精度上的弱点，基于特征的影像匹配方法可以最大的克服这些不足，主要表现在下面三个方面：（1）一幅影像中，其特征比像素点在数量上绝对要少很多，在匹配过程中大大减少了需要处理的信息量，从而提高匹配的实时性。（2）当影像中所提取的特征出现位移变化时，其匹配度量值会很敏感，从而可以提高影像匹配的精度。（3）特征的提取过程可以增强对噪声的抗干扰性，对影像发生形变以及遮挡等都有较好的鲁棒性。 用于提取点特征的算子称为兴趣算子或有利算子(interest operator),即利用某种算法从影像中提取人们感兴趣的,有利于某种目的的点。基于特征点的图像匹配算法主要有点点匹配和点集匹配两种应用。点点匹配首先按一定的约束关系得到两个初始匹配点集，然后利用其它约束条件剔除错误匹配点，最后确定点与点的一一对应关系。一般而言，点特征（如明显地物点）具有较高的匹配精度，特别是当图像的方位元素未知时，往往需要首先匹配少量点求解图像的相对方位元素，这时点特征就显示其重要性。在影像分析和计算机的视觉领域,应根据不同应用目的选择有效的点特征提取。1.2 研究现状 根据图像匹配过程中的特征提取和特征描述的不同，图像匹配算法可分为两类：基于灰度和基于特征的图像匹配算法。基于灰度的图像匹配算法选择的特征空间为图像的总体部分，这类算法一般没有复杂的图像预处理工作，而是以整幅图像相应搜索区域中的像素灰度特征为基础，利用某种相似性计算准则，如互相关系数或标准差等，采用合适的搜索策略得到令相似性判别准则最大化的图像间空间和灰度的映射，最终使图像完成匹配。基于灰度的图像匹配算法一般要处理大量的灰度信息，计算非常复杂，实时性很差，在需要实时匹配的系统中不适应，此外，此类算法的鲁棒性较差，当图像发生细微变化时，可能会对匹配结果产生重大的影响，从而导致匹配失败，因此，此类算法的应用范围比较狭窄，仅仅适用于对两幅相似性较强的图像间进行精匹配，远远不能满足目前实际应用的需要。基于特征的匹配的各类算法中，其步骤与基于灰度的影像匹配基本相似，主要区别在于所选的特征空间、特征提取方法和特征描述方法的不同。而一般在图像变换模型确定的情况下，图像匹配的最终效果和图像特征的选择有很大的关联。应用于图像匹配的图像特征一般可分为点特征、面特征和线特征。相比面特征和线特征在提取上的困难和特征不够“鲜明”，点特征由于其提取过程简单、明朗，鲁棒性较好从而被大家广泛的应用和研究，并取得了很多的成果。刘萍萍2等提出了一种快速局部特征描述算法规范化强度对比描述子（NICD），该算法可以实现与当前运用广泛的SIFT和SURF算子相当的匹配效果，而匹配的实时性却提高了许多；此外，骞森分析了SIFT2 的计算时间分配，通过计算关键点的邻域梯度直方图时动态修改采样步长，采用双向匹配方法，提高了SIFT的计算速度和图像匹配的准确率；杨占龙3提出了基于兴趣不变矩的方法来实现图像匹配，该算法很好的利用了图像的几何特征，达到了良好的匹配精度。1.3 论文的主要内容 本课题主要研究了基于特征点的图像匹配算法，论文涉及内容包括图像的特征点提取算法和匹配算法，以及不同算法的比较。具体内容如下： 第一章，绪论。阐述了图像匹配技术的背景和课题的目的及意义，简单介绍了图像匹配的基本理论，研究了图像匹配技术国内外研究情况以及发展趋势。 第二章，特征点提取算法研究。首先介绍了普遍使用的特征点提取算法中具有代表性的Moravec算子、Forstner算子，然后进行性能上的全面比较，得出有益的结论。 第三章，一些常用影像匹配算法的列举。本章对基于特征点的相关系数匹配算法的和核线匹配算法的原理和步骤都进行了详述。 第四章，实例演示，得出两种不同匹配算法的提取效果图。 第五章，总结展望。2 特征点提取算法研究 基于特征点的匹配的第一个阶段就是特征点的提取，如何快速并稳定的提取特征点直接影响匹配算法的性能，因此对特征点提取算法的研究，特别是在满足一定匹配效果的前提下快速地提取特征点算法的研究有重要的意义。本章首先对经典特征点提取算法进行详细的分析，并针对其中算法的不足进行改进，旨在最终提出一种快速稳定的特征点提取算法。2.1 Moravec兴趣算子的理论基础 Hans P.Moravec于1977年提出了Moravec算子，并首次定义兴趣点是图像中与众不同的区域这一概念。Momvec算子将兴趣点定义为在各个方向上灰度变化都很大的点，利用灰度图的自相关函数直接提取角点。该算子首先计算待检测点在四个方向上的区域相关值，并将最小的区域相关值作为CRF(Comer Response Function)衡量值，若该点的CRF值大于指定阈值并且为局部极大值，则该点为角点。具体步骤如下： (1)计算各像素点的CRF值。在以(c，r)为中心的形X形窗口内，计算如图1所示,在5*5的窗口内沿着四个方向分别计算相邻像元间灰度差之和,及,取其中最小者作为该像元的有利值： CRF=min, 其中， = （2-1） = （2-2） = （2-3） = （2-4） 式中，i=m-k,m+k-1, j=n-k,n+k-1, k=W/2, 代表像元的灰度值，W为以像元计的窗口大小，如图1 所示，W=5，m,n为像元在整块影像中位置序号。 n m 图2.1 Moravec算子计算窗口(2)给定一经验阈值,将兴趣值大于该阈值的点作为候选点。阈值的选择应以候选点中包括所需要的特征点,又不含过多的非特征点为原则。抑制局部非最大。在一定的窗口内（例如3*3，5*5,7*7像元等）将上一步所选的候选点与其周围的候选点比较，若该像元的CRF值非窗口中的最大值，则去掉。否则，该像元被确定为特征点。用于抑制局部非最大的窗口的大小取决于所需的有利点的密度。参考相关基于Moravec算子的点特征提取效果图4分析可得，特征算子对一些反差加大的地物边缘提取的效果较好,而反差较小的边缘提取效果较差,这是由阈值窗口大小的选取和算法本身所决定的。对Moravec算子的性能评价如下：(1)由于灰度变化是在一些离散平移基础上计算的，事实上只是在四个基本方向上计算的，所以该算子不具有旋转不变性。(2)对噪声十分敏感。该算子容易将孤立点(椒盐噪声就是一些孤立的点组成)当作角点，因而易受噪声影响。(3)对强边界十分敏感。由噪声、像素、灰度数量所导致的边界不完整都会产生极大的CRF值，因而在强边界处容易提取出错误的角点。(4)该算法简单，快速，易于实现。(5)Moravec算子是点特征提取算子中的经典算子之一,后来的很多点特征提取算子都是在它的基础上得来的,掌握Moravec算子的原理和实现方法对理解其他的点特征算子的理解和应用有很大好处5。2.2 Forstner算子 Forstner兴趣算子Forstner算子是从影像中提取点(角点、圆点等)特征的一种较为有效的算子。Forstner算子通过计算各像素的Robert梯度和以像素(c,r)为中心的一个窗口的灰度协方差矩阵,在影像中寻找具有尽可能小而且接近圆的点作为特征点,它通过计算各影像点的兴趣值并采用抑制局部极小点的方法提取特征点6。具体方法如下： (1)计算各像素的Robert梯度。 n m 图2.2 (a)计算窗口 =/ =/ 图2.2 (b)计算窗口图2.2 Roberts梯度 (2)计算窗口中灰度的协方差矩阵。 = （2-5） 其中， （2-6） （2-7） （2-8） 式中, I=m-k,m+k-1 J=n-k,.n+k-1 K=W/2 代表像元的灰度值，W以像元计的窗口大小，如图2.2所示，W=5. (3)计算兴趣值q与w。如图2.2 所示，则有利值q及w为： w=1/tr=DetN/trN （2-9）式中，Det代表矩阵N的行列式值，trN代表矩阵N的迹。具体步骤如下：（1）给一定阈值，确定待选的有利点。如果有利值大于给定的阈值，则以该像元为中心的窗口作为候选的最佳窗口，阈值一般为经验值。 （2）抑制局部非最大。以权值w作为抑制依据，其作用同于Moravec算子，得到最佳窗口。（3）选取极值点。在最佳窗口中确定加权中心作为最后所需的有利点，即特征点。2.3 两种算法的比较 下面就定位准确性、提取速度对两种算子进行实验分析。2.3.1 定位准确性试验定位准确性是判断提取出的点位置是否接近正确的点位置。以一幅常用的试验影像,分别用这两种提取算子进行提取点的实验，如图2.3、图2.4所示： 图2.3 Moravec算子提取点特征准确性试验图 图2.4 Forstner算子提取点特征准确性试验图从试验分析可得,使用Forstner算子对特征点的提取,定位性较Moravec算子准确。2.3.2 提取速度试验实时运算中时间的节约也是很重要的的。下面采用某一区域的航空影像,以256254,400397,500496和700695的不同分辨率图像进行实验分析,计算两种算法的提取速度。每一种大小的影像提取时间如表1所示。 表1计算时间比较影像分辨率256254 400397500496700695Moravec算法计算时间/m sMoravec特征点个数Forstner算法计算时间 /m sForstner特征点个数46341655 2600 14584351565409176120032387964246 218903001412 从表1可以看出：Moravec较Forstner的提取速度快。 本章针对Moravec算子和Forstner算子,从提取点的定位准确性及速度两个方面对两种算子进行比较,为不同应用目的选择有效的点特征提取算子提供依据。分析摄影测量中常用的两种点特征提取算法Moravec算子和Forstner算子的计算过程可得,以上两种算子均是对整个图像采取一视同仁的态度逐像元采取相同的方法进行计算。但提取的准确度、提取时间有着很大区别。通过实验证明,Moravec算法速度较快,但准确性不够;相反Forstner算法准确较高,但提取速度比前者低。考虑到Forstner算法的准确性，本文在提取特征点时采用Forstner算子。3 基于特征点的匹配算法研究3.1 影像像匹配的过程在研究影像匹配的过程中，作业人员逐渐把研究的重点概括为影像匹配三要素的探究，三要素即为即特征空间、搜索策略和相似性度量7。根据影像匹配的三要素，可以定义影像匹配的一般过程，其过程如图3.1所示。 参考图像待匹配图像选择特征空间预处理 特征提取 特征提取选择相似性度量 特征描述 特征描述 搜索策略 匹配图3.1 图像匹配的一般过程3.2 影像匹配的基础理论在分别提取到左、右像片的特征点集后，接下来的工作就是在左、右像片中找到与提取的特征点相应的同名像点，达到影像匹配的目的。对于这个问题的研究，提出了各具特色的数字影像相关方法，例如相关系数法、协方差法、高精度最小二乘相关等等，以及以这些方法为基础加上各种约束条件构成的方法，如带核线约束的相关系数法，顾及共线条件的高精度最小二乘方法等等。这里我们介绍两种关键的算法，相关系数算法和核线匹配算法。3.2.1 相关系数法影像匹配 相关系数匹配是基于统计理论形成的一种影像匹配方法。协方差函数除以两特征点灰度值的方差之积，即为相关系数。假设在左片上有一个特征点，为了搜索它在右片上的同名像点，须以它为中心取其周围n*n个像元素的灰度阵序列组成一个目标区，如图3.2（a）所示，在目标区内任意一个像元的灰度值设为(i,j=1,2,.n),一般取n为奇数，其中心点即为目标点。根据左片目标点的坐标概略地估计出他在右片上的近似点位，并以此为中心取其周围t*m个影像灰度序列（t,mn）,组成一个搜索区。在搜索区内有(t-n+1）*(m-n+1)个与目标区等大的区域，称为相关窗口，如图3.2(b)窗口内任意一点的灰度值设为（k=0,1,.t-n,h=0,1,.m-n）. nnt 图3.2（a）目标区 m 图3.2（b）相关窗口 图 3.2 为了在右片上搜索区内寻找同名点，必须按下式计算相关系数值： （3-1）式中,k=0,1,.,m-n,h=0,1,.t-n,而 （3-2） （3-3） （3-4） （3-5） （3-6）利用上式可计算出（t-n+1）*（m-n+1）个相关系数。当取最大值时，对应的相关窗口内的中点即被认为是待定点的同名像点。基本步骤如下：（1）读入左右影像（2）确定目标窗口大小（3）确定目标特征点位置（4）预测右影像搜索范围（5）逐窗口计算相关系数并保存相应的存储单元（6）比较相关系数，取最大相关系数作为匹配特征点3. 2.2 核线匹配算法核线几何关系的解析实质就是确定立体像对的同名核线。根据同名点必然位于同名核线上的原理，沿核线进行一维搜索，确定同名像点。在全自动化的数字摄影测量中核线理论使同名点的匹配从二维搜索转化为一维搜索，提高了匹配的效率和可靠性，所以得到了广泛的重视和应用。确定同名核线的方法有两类，一是基于数字摄影测量的几何纠正，生成“水平”核线影像；二是基于共面条件，生成“倾斜”核线影像。我们这里简要介绍第二种确定同名核线的方法。根据共面条件，建立核线方程。这一方法是直接从核线的定义出发。不通过“水平”影像作媒介，直接在倾斜影像上获取同名核线。原理如下：由于同名光线与摄影基线均位于同一平面，即满足共面条件 （3-7） （3-8） （3-8）其中，为内方位元素，将其带入共面方程，并将共面方程展开得， （3-9）上式也可以表达为相对定向解算过程中常用常用的“上下视差”等式： （3-10） 式中， =(i3),=1+,- （3-11） 得到8对或者8对以上同名点对，采用间接平差解求上式中的参数。 具体解法：建立误差方程 其中， （3-12） （3-13） （3-14） 上式中n表示点对的数目，由于有多余观测点，所以需要平差： 通过上式解得L系数后，左右影像的相对定向模型就建立起来了。在倾斜像片上生成核线后，进行匹配约束： （1）选取左影像上一点p(,),由共面条件方程式： （3-15） 确定右影像上的两个点，其中，可以任意选定，只需计算，的值即可： （2）由上式求得的右影像的两点中的任一点反求左影像上另一点: （3-16）（3） 确定同名核线的方向： （3-17） （3-18） 这一步就可以确定核线方向： （3-19） 有了核线方向就可以根据同名像点必然位于同名核线的定义进行核线匹配。 4 实例演示 这里选用一组航拍的我国某市区的的立体影像。如图4.1所示： 第一步：读取影像 图4.1 读取两幅影像 第二步：提取特征点图4.2提取特征点的效果图（上：92339，下：82675） 第三步：选取同名点。图4.3 选取5对同名点 第四步：获取视差。图4.4 得到视差(X方向视差为-273，Y方向视差为-11) 第五步：相关系数法匹配。图4.5相关系数法匹配效果图（匹配上的点对是7006） 第六步：核线匹配图4.6 核线匹配效果图（匹配上的点对为858对） 通过上面两组影像的处理过程和步骤展现，以及最终的匹配效果来看，匹配效果还是比较理想，准确度比较高，虽然匹配上的点对的数量不是特别的多，但对于匹配而言，准确性是首先追求的目标，当然寻找一种匹配数量多且准确性的算法是我们下一阶段的努力方向。5 总结展望本课题主要对现有的特征点匹配算法进行研究分析，并进行类比，最终得出一些有益的结论。例如，Moravec算法速度较快,但准确性不够;相反Forstner算法准确较高,但提取速度比前者低，所以在进行提取特征点时我们一般选用精度较高的Forstner算法。对于文中提到的基于特征点的匹配算法，相关系数匹配法原理简单，操作方便，是一种常用的关键匹配算法。而核线匹配算法,匹配正确率很高,可以应用于卫星图像、航空影像的配准当中。但是该算法还不能提取出理想数量的匹配点对，这是需要努力的方向。研究一种鲁棒性好、精确度高、性能稳定和适用性强的立体匹配方法依然面临巨大挑战并且具有重要的理论意义。参 考 文 献1 李德仁，周月琴，金为铣. 摄影测量与遥感概论M. 北京：测绘出版社， 2001：135-137.2 赵晓峰. 基于特征点的图像配准技术研究J.2011，6（2）：3-6.3 李磊. 基于特征点的图像匹配关键技术研究J.2009，2（3）：27-28.4 何新英. 基于特征点的图像匹配技术研究J.2009，5（7）：6-8.5 唐永鹤. 基于特征点的图像匹配算法研究J.2007，3（5）：12-15.6 王建琦. 图像匹配中若干问题的研究J.2000，2（4）：42-467 张祖勋,张剑清. 数字摄影测量学M.武汉:武汉测绘科技大学出 版.1996:79-83.8 饶俊辉. 基于灰度的图像匹配方法研究J.2005，5（8）21-249 孙远. 图像匹配算法及其应用J.2000，7（9）：15-1710 赵辉. 基于点特征的图像配准算法研究J.2006，6（8）：6-9.11 谢正. 基于特征点的快速图像配准算法研究J.2011，4（9）：11-15. Key Techniques of Image Matching Based on Feature Points Abstract：Image matchin