（摄影测量与遥感专业论文）角点特征提取及匹配方法研究.pdf

摘要 图像匹配是图像处理技术领域中最重要的环节之一。可分为区域匹配和特征 匹配两个大类。区域匹配中最常用的算法是归一化互相关方法。互相关匹配在两 幅图像不相似的情况下，配准率很低，所以近年来，国内外的众多研究工作都在 致力于特征匹配方法的研究。 基于特征的匹配方法涉及两个重要部分，一是特征的选定和提取；二是相似 性准则的确定及实现。本文提出了一种以角点为特征，以h a u s d o r f f 距离为匹配 准则的匹配方法，以进行实时图像匹配。对影像中点特征进行了分析，对当前常 用的一些点特征提取算法进行了比较。基于s u s a n 和角点几何结构分析的思想， 提出一种改进的角点特征提取算子。为了提高计算速度，首先进行角点粗探测， 然后根据粗探测的结果再分析角点几何结构，剔除初选点中错误的角点。即图像 中的像元如果为角点，则它必须满足角点的圈层结构。通常认为角点处各个方向 上灰度差变化都较大，所以角点响应函数采用了反映角点突出性的响应函数，使 提取的角点含有更高的信息量。 分析了h a u s d o r f f 距离作为匹配相似性测度的问题。对h a u s d o r f f 距离进行 了改进，提出一种平均h a u s d o r f f 距离。实现了对改进的h a u s d o r f f 距离在图像 特征匹配算法中的应用。实验验证了在一些灰度反差较大的情况，基于角点特征 的影像匹配算法匹配概率要优于传统的归一化互相关算法。在一些应用领域内角 点特征影像匹配算法有一定的理论价值和应用价值。同时，还进行了遗传算法对 影像匹配的优化研究。在实时计算中引入遗传算法，对算法进行优化处理。 对论文提出的改进的角点提取算子和特征匹配方法进行了大量实验。角点提 取算法实验主要就定位的正确性、运算速度以及提取点的数量几个方面进行了分 析。结果表明，改进的角点特征提取算法速度较快，提取效果达到了现有提取算 法的水平。特征匹配对同一地区的印度卫星影像和s p o t 影像进行了匹配试验， 匹配结果较好，速度较快，在特征丰富且图像不相似性较大的地区，匹配效果比 归一化互相关方法好。 关键字：角点特征提取图像匹配h a u s d o r f f 距离3 - 4 d t 距离变换遗传算法 a b s t r a c t o n e i m p o r t a n ts t e pi nt h et e c h n i q u eo fi m a g ep r o c e s s i n gi sm a t c h i n g i tc a nb e d i v i d e di n t ot o wc l a s s ：t h ea r e am e t h o da n dt h ef e a t u r em e t h o d ，t h en o r m a l i z e dc r o s s c o r r e l a t i o na l g o r i t h mi sai nc o l n l n o nu s em e t h o do ft h ea r e am a t c h i n g s i n c ei nt h e c a s eo fd i s s i m i l a ri m a g em a t c h i n g ，t h em a t c h i n gp r o b a b i l i t yo fc o r r e l a t i o na l g o r i t h m i sn o tg o o d r e c e n t m a n y s t u d i e sa r ef o c u so nf e a t u r em a t c h i n g f e a t u r e m a t c h i n g i n c l u d et o w s t e p ，o n ei st h es e l e c to f f e a t u r ea n df e a t u r ed e t e c t , a n o t h e ri st h em a t c h i n gm e a s n r e i m p r o v e da p p r o a c hi sd e s c r i b e di nt h i sp a p e r ，i t ， b a s e do nt h e c o m e r f e a t u r ea n d1 h a u s d o r f fd i s t a n c e ，a d o p t g e n e t i ca l g o r i t h m i n r e a l t i m em a t c h i n g a n a l y z ep o i n tf e a t u r ea n dc o m p a r eo t h e rp o p u l a rd e t e c t o r s ，w e i n t r o d u c ean e wf a s ta n de f f i c i e n tc o m e rd e t e c t o rb a s e do n s u s a n a n dt h et h o u g h t o fc o m e rs t r u c t u r e i no r d e rt or e d u c et i m e ，f i r s tp r e d e t e c ti sa p p l i e d ，t h e nb a s e dt h e r e s u l to f p r e d e t e c tt h ec o m e r s t r u c t u r ei sa n a l y z e d ，t h a ti sm e a n i n gt h a ti fap i x e li sa c o m e r ，i tm u s ta c c o r dw i t hc o m e rs t r u c t u r e i ti sc o m m o n l y c o n s i d e r e dt h a tc o m e r s a r e i m a g ep o i n t s t h a ts h o was 仃o n gt w od i m e n s i o n a li n t e n s i t yc h a n g e ，a n da r e t h e r e f o r ew e l ld i s t i n g u i s h e df r o mn e a rp o i n t s ，s ot h a ts a f i e n tf u n c t i o ni su s e da s c o m e r r e s p o n s ef u n c t i o n t og e th i g hi n f o r m a t i o n i m p r o v e da v e r a g e h a u s d o r f fd i s t a n c ei sa d v a n c e di nt h i sp a p e r , a n di ti su s e di n t oi m a g em a t c h i n g t h ea p p l i c a t i o nt h a ti m p r o v e dh a u s d o r f fd i s t a n c eu s e di ni m a g e f e a t u r em a t c h i n gi si m p l e m e n t e d e x p e r i m e n t sh a v es h o w n t h a tw h e nt h et o w i m a g e s g r a ya r ed i s s i m i l a r ，f e a t u r em a t c h i n gb a s e d o nc o m e ri sb e t t e rt h a nn o r m a l i z e dc r o s s c o r r e l a t i o na l g o r i t h m i ns o m ef i e l d s ，c o m e rm a t c h i n gi sv a l u a b l ea n du t i l i t y t o o p t i m i z em a t c h i n gp r o c e s s ，g e n e t i ca l g o r i t h m i si n t r o d u c e di n t or e a l - t i m ec a l c u l a t i o n m a n ye x p e r i m e n t sa r ei m p l e m e n t e db o t ho nf e d c o m e rd e t e c t o ra n df e a t u r e m a t c h i n gs u g g e s t e d i nt h i sp a p e r l o c a t i o na c c u r a t ea n du s et i m ea n dc o m e rn u m b e r o ff c di sc a l c u l a t e da n dc o m p a r et oo t h e rp o p u l a rd e t e c t o r s e x p e r im e n t sh a x 7 e s h o w nt h a tt h en e wc o m e rd e t e c t o ri sa c c u r a t ea n de f f i c i e n t ，c a nb eu s et or e a l t i m e a p p l i c a t i o n s m a t c h i n gb e t w e e ni m a g eo b t a i n e db y i n d i a np l a n e t a n ds p o ti m a g ei s d o n e ，r e s u l ts h o w st h a to u rm e t h o di sb e t t e rt h a nt h en o r m a l i z e dc r o s sc o r r e l a t i o n a l g o r i t h mw h e n t h ei m a g e sa r ed i s s i m i l a ra n dc o n t a i ne n o u g hi n f o r m a t i o n k e yw o r d s ：c o m e rd e t e c t o r , h a u s d o r f fd i s t a n c e ，i m a g em a t c h i n g ，3 - 4d i s t a n c e t r a n s f o r m a t i o n ，g e n e t i ca i g o f i t h m 第一章绪论 第一章绪论 1 1 研究背景 图像匹配【l - 5 1 是图像处理的一项关键技术，可广泛用于目标识别与跟踪、立 体视觉、变化检测、测绘等邻域。随着计算机技术的不断发展，特别是速度更快、 价格更低处理芯片的问世，图像匹配速度大大提高，从而使其在飞行器导航与控 制等实时性要求很高的邻域也得到广泛应用。 导航就是将航行载体从起始点引导到目的地的技术或方法。应用较多的导航 系统有惯性导航系统、多普勒导航系统、卫星全球定位系统( g p s 系统) 、图像导 航系统等【6 3 j 。 图像导航技术是航行装置利用传感器获取航向附近的物体信息，对获取的 图像进行图像处理、图像分析，通过对拍摄的景物进行识别以及与已有的地形知 识进行匹配等手段来确定航行装置的准确位置和高度，或者用作导航系统自动 避障，或者将处理后的有用信息显示出来以提醒操作人员。图像导航方法的实现 可以用图1 1 表示。 图1 1 图像导航流程图 图像导航方法分为特定景物导航、特征标志匹配导航、地形图匹配导航等。 景物导航包括自然景物和人造景物两大类。自然景物导航就是利用自然存在的景 物判断系统目前所处的位置，如利用道路，河流，高楼等等。人造特定景物导航， 使人们为了准确的对某些系统进行导航而专门建造一些特定的设施，例如特定 河海大学硕士论文 的航标灯等。特定景物匹配导航方法可以很大程度上节约计算量、提高系统的精 度，但这静方法的通用性很差，硬件实现复杂，只有在某些特定的场合和特定的 任务中可以采用这种方法。 特征标志匹配导航是一种利用特征标志来判断系统是否已经飞入特定区域 或接近特定位置的导航方法。这种导航方法一般采用河流、道路作为参考，由于 河流道路的特殊性，这种图像在特定方向上的投影会有一个很大的峰值，通过峰 值判断标志物在所拍摄图像中的位置，从而确定标志物和目标飞行器的相对位 置。有了这些信息，我们很容易计算出航行装置目前所处的位置、高度、航向等 信息。这种方法计算简单、响应快，但是对环境要求比较严格，只适用于在特定 环境导航，不具有广泛的通用性。 地形图匹配导航是利用拍摄到的图像与预先存储的地形图的特征进行比对、 判断，确定被导航物体当前的位置和航向等信息。这种方法要求系统有较大的存 储空间，由于没有特定的特征用于识别，因此这种方法的精度与图像的质量和处 理算法的关系更大。 两幅图像的匹配方法有很多，目前在飞行器导航中所采用的算法主要有平均 绝对差算法和归一化互相关算法。然而，这类相关算法主要基于图像灰度的相似 性，所存在的主要问题是对于噪声及各种干扰十分敏感，因此其匹配定位精度和 可靠性难以保证。另外，由于基准图与实对图( 待匹配的图像) 常常来自不同类 型传感器，或者虽是来自同一类型传感器，由于拍摄条件及视点的变化，所获得 的图像特征存在差异，例如两图中对应的特征有一定变化，一幅图中的菜些特征 在另一幅图中可能不出现等这时传统的基于灰度和边缘的m a d ( 平均绝对差) 和n c c f 归一化互相关) 算法【1 8 l 不再有效。传统的基于灰度的匹配方法除了存在以 上两个问题，耗时较大也是一个缺点。这一缺点在实时计算中尤为突出。 由于传统的匹配方法存在以上不足，基于特征的匹配方法被人们广泛的关 注。基于特征的匹配方法首先要选择、提取图像特征，部选择一种稳定的i 蛩像特 征，并且提取出该图像特征。特征的选择要求稳定，准确。现在常用于匹配的图 像特征为边缘( 益线) 和点特征两种。已经有很多学者对基于边缘的图像匹配方 法进行了研究 1 9 , 3 5 1 ，取得了较好的结果。基于点特征匹配目前研究较少，是个 图像匹配的研究力向。无论以边缘进行匹配，还是以点特征进行匹配，其中关键 2 第一章绪论 的技术之一是特征提取。 图像的特征点探测 5 1 7 1 ( 或称为特征点提取) 在计算机图像处理与计算机视 觉中是重要的研究课题。图像特征点可应用于很多邻域，包括图像的配准与匹配， 目标识别，光束计算，运动目标跟踪、识别和立体像对3 d 建模等。特征点检测算 法被广泛采用的原因是特征点提供了准确的图像定位，而且对特征点进行处理使 得参与计算的数据量大大减少，对于要进行实时处理的应用尤为重要。 最直观的兴趣点之一就是角点。角点特征提取方法已经被广泛的用作兴趣点 提取算子。这是因为角点在图像中有较高的定位信息，在影像匹配中可以较好的 匹配，如立体像对匹配。这些匹配好的兴趣点的位置信息可以被当作输入用在一 些更高的计算机视觉任务中。在实时匹配中，一种快速、有效的特征点提取算法 尤为重要，本文就特征点中的角点特征提取方法进行了深入研究，进而研究基于 角点特征的匹配方法。 1 2 角点提取算法研究现状 1 2 1 角点特征 影像特征是由于景物的物理与几何特性使影像中局部区域的灰度产生明显 变化而形成的。一般特征分成三类：区域、边界和点特征。在各种图像特征中， 角点具有旋转不变和不随光照条件改变而变化的优点。在一些应用中使用角点特 征进行处理，可以减少参与计算的数据量，同时又不损失图像的重要灰度信息【6 j 。 而且在匹配运算中能够较大的提高匹配速度。 角点有很多不同的表述，如：图像边界上曲率足够高的点【l l ；图像边界上曲率 变化明显的点【2 。 ；图像边界方向变化不连续的点 2 1 1 ；图像中梯度值和梯度变化 率都很高的点阱1 等等。由这些不同的定义可以看出，角点检测的方法也是不尽相 同的，如用链码跟踪后的轮廓点计算曲率判定角点口3 】；利用方向导数检测角点【5 】： 直接以图像灰度信息检测角剧1 ，4 】等。下面对现有角点算法进行概述。 1 2 2 现有的角点提取算法 对已有角点提取方法，大致可以归为两大类：一类是基于模板的方法；另一 河海大学硕士论文 类是基于几何特征的提取方法。前一种方法可归纳为：首先设计一系列角点模板， 然后计算模板与所有图像子窗口的相似性，以相似性判断位于子窗口中心的像元 是否为角点。由于该算法计算耗时大，而且模板定义复杂，在实践中较少使用。 基于几何特征的提取算法，依赖角点不同几何特性进行提取，计算简便，因而得 到广泛使用。 基于几何特征的角点提取，又分为两种方法。第一种方法也是最早提出的基 于几何形状的方法之一，这种方法可以描述如下：对于一幅数字图像，首先对其 进行图像分割，提取边界构成链码，然后找出边界上转折较大的点作为角点。这 种方法在算法和处理步骤上过于复杂，且在分割时所产生的误差将导致提取角点 的结果偏差很大。此类算法计算步骤多，耗时较大，在实时匹配中较少使用。 另外一种基于几何特征的角点提取方法直接依据图像的灰度信息进行提取。 k i t c h e n 发现以局部梯度乘以梯度方向的变化可以很好的提取角点嗍。h a r r i s 和 s t e p h e n s ( 1 9 8 8 ) 采用了相同的思想对m o r a v e c 算子进行改进，提出了著名的 p l e s s e y 角点提取算子【3 1 。s m i t h 和b r a d y ( 1 9 9 7 ) 提出了一种完全不同的角点提 取方法，即“s u s a n ( s m a l l e s t u n i v a l u es e g m e n t a s s i m i l a t i n g n u c l e u s ) ”提取算 子。s u s a n 提取算子的基本原理是，与每一图像点相关的局部区域具有相同的 亮度 ”。如果某一窗口区域内的每一像元亮度值与该窗口中心的像元亮度值相同 或相似，这一窗口区域将被称之为“u s a n ”。计算图像每一像元的“u s a n ”， 为我们提供了是否有边缘的方法。位于边缘上的像元的“u s a n ”较小，位于角 点上的像元的“u s a n ”更小。因此，我们仅需寻找最小的“u s a n ”，就可确定 角点。该方法由于不需要计算影像灰度差，因此，具有很强的抗噪声的能力。 此后，t r a j k o v i c 和h e d l e y ( 1 9 9 8 ) t 删，基于同样思想提出了一种简单、快速 的角点提取方法。即角点处各个方向的灰度变化都最大。另外，f e is h e n 和h a n w a n g ( 2 0 0 2 ) 设计了一种实时灰度角点提取算子1 6 j 。d a n i e l a h a l l ，b a s t i a n l e i b ea n d b e m ts c h i e l e 陀0 0 2 1 讨论了尺度变化下的兴趣点的显著性问题 6 ”。b a r b a r az i t o v a 等( 1 9 9 9 ) 设计了一种模糊遥感多影像特征点的鲁棒性提取算法【6 2 j 。a l e x a n d a r 和a l e x a n d r o v ( 2 0 0 2 ) 对p l e s s e y 、s u s a n 、边缘弯曲尺度空间角点提取算子( c s s ) 以及i p a n 9 9 四种角点提取算子进行了比较研究，得出了有益的结论【2 5 j 。 在摄影测量中，也有一些较为著名的角点提取算子，如：m o r a v e c 算子、 4 第一章绪论 f o r s t n e r 算子与h a n n a h 算子等。张祖勋等在文献 2 4 中提到：“点特征主要指明 显点，如角点、圆点等。提取点特征的算子称为兴趣算子或有力算子( i n t e r c s t o p e r a t o r ) ，即运用某种算法从影像中提取我们感兴趣的，即有利某种目的的点。” f o r s t n e r 算子通过计算各像素的r o b e r t s 梯度和像素中心的一个窗口( 如5 5 ) 的灰度协方差矩阵，在影像中寻找具有尽可能小而且最接近圆的误差椭圆的点作 为点特征。 1 3 图像匹配发展与现状 图像匹配技术是图像处理和计算机视觉中相当重要的一门技术。它的应用邻 域相当广阔，如航空图像分析【2 6 。2 8 1 ，立体视觉 2 9 , 3 0 ，自动地图1 ，运动分析 3 2 , 3 3 以及景像的3 d 特征恢复【3 4 】等。图像匹配的关键问题是找一个有效的匹配方法， 而且这种方法要求有高的精度和少的运算时间。其实，图像匹配技术可看作决定 图像中彼此对应的物体相似性度量的过程，也就是说，图像匹配总是使相似性度 量最大化。在图像匹配过程中，以下三项必须考虑：图像的数据类型，两个数据 集相似性的度量函数以及搜索方法。数据类型要描述从像素灰度值到它们之间关 系的信息。 图像匹配可分成三个大类：基于灰度相关的方法，基于特征的匹配方法和基 于解释的特征匹配方法。基于灰度相关的方法是一种对共轭图像以一定大小的灰 度阵列按某种或几种相似性度量顺序进行搜索匹配的办法。这种匹配一旦进入信 息平贫乏，或共轭图像有较大的比例尺差异或扭曲的区域，匹配难免失败，而基 于解释的图像匹配技术需要建立在图片自动判读的专家系统上，目前尚未取得突 破性进展，所以基于特征的方法在图像匹配中就显得特别重要。 灰度互相关方法是基于区域进行匹配的，基于区域的方法将一幅图像上的小 窗口内像素与另一幅图像上同样尺寸窗口做统计比较。通常选用相关系数作为测 度，然后将满足条件的窗口中心作为控制点用于求解两幅图像之间的变换参数 1 3 8 1 。基于特征的方法是根据两幅图像的相同特征的几何关系计算配准参数，因此， 这类方法首先要提取图像中的特征，如边缘点、线等【3 9 1 。 基于图像特征的方法有很多种，如h u il i 3 7 】提出基于轮廓的图像匹配方法， 即首先采用l o g 算子提出两幅图像中的地物特征轮廓，然后采用链码表示轮廓， 河海大学硕士论文 根据相同轮廓的链码的差分值不变的特性，找出图像中对应的轮廓，从而确定两幅 图像之间的变换关系。z h e n g 4 0 1 提出基于计算机视觉的方法来确定两幅图像之间 的变换参数的方法，即通过光照方向估计摄像机初始的姿态角度，然后，基于检 测局部曲率不连续的g a b o r 小波模型来确定少量的特征点，采用从两幅图像上获 得匹配的特征点完成比例尺和平移的初始参数的估计，最后，采用分层的特征匹配 的方法得到两幅图像之间的变换参数的精确值。此外，还有c h i o u t i n gh s u 4 l 】 提出的基于多分辨率图像配准方法等等。以上这些算法仍具有容易受到噪声干 扰、计算量较大等缺点。 在实时图像匹配中，速度的要求很高。由于灰度互相关方法耗对较大，使得 灰度互相关方法无法胜任。所以现在很多研究都集中在基于特征的匹配方法。在 实时应用中，飞行器导航制导是一个重要的应用邻域。应用图像匹配进行制导或 导航的方法可称为图像匹配制导。图像匹配制导与传统的惯性导航、无线电导航 等方式比较，图像匹配制导( 地图匹配制导【1 9 】) 具有自主性强、制导精度高等优 点。与一般的图像匹配应用不同，飞行器导航地图匹配具有以下特点【l9 1 ：1 ) 实时 性强、存储量小。2 ) 对于场景适应性强。3 ) 基准图像与实测图像之间不仅在灰度 上，而且在特征上( 如边缘、拐点等) 存在差异。这种差异来源于不同传感器的成 像特性，成像距离的变化以及视点的变化等0 4 1 。因此，它是一种所谓的不相似图 像匹配( d i s s i m i l a ri m a g em a t c h i n g ) f 媳_ 1 1 5 】。 在实时应用中，影像( 即图像) 的灰度因获取的时间、季节等的变化而差异 很大，甚至在局部有反转的情况。而且由于基准图像的更新时间较长还会出现地 形地物等内容发生变化，导致影像局部不相似。采用基于图像灰度相似性的匹配 方法就显得不能满足匹配的要求。而采用基于特征和局部相似性的匹配度量能达 到较好的效果。所以研究基于特征匹配有一定的实用价值。基于角点进行匹配的 研究在国内也很少，本文提出了一种新的匹配思路，基于角点特征，以h u a s d o r f f 距离为相似性度量，以g a 算法进行搜索，研究实时图像匹配。 1 4 研究目的与研究意义 为了满足在实时匹配中应用，一个好的角点提取算子应该满意足以下准则： 稳定提取到的位置对噪声应该是不敏感的；而且更为重要的是当相同的 6 第一章绪论 地物在多幅图像中都存在时，提取的角点位置不应该移动；即鲁棒性较好； 准确性提取出的角点位置尽可能的接近正确的角点位置； 速度只有速度足够快，一个角点提取算子在实时计算中才可能被采用。 否则也不适宜。 本文研究的目的是设计一种尽可能的满足以上三个原则的角点提取算法，以 满足在匹配等实时运算中的应用要求。同时对基于特征的匹配方法进行分析，研 究如何在匹配中利用角点特征快速、有效的进行影像匹配。 由对角点特征提取和特征匹配的研究现状可知在特征提取方法和特征匹配 方法两个方面还有很多可改进的地方，并没有一种最好的方法能适应于各种情 况。本文提出的思路可以给特征提取和特征匹配方法提供借鉴，有一定的理论意 义。论文主要研究实时运算中的匹配算法，可以应用于一些实际问题，如飞行器 导航。 研究角点提取算法具有重要的理论意义和实用价值。角点特征是图像的重要 特征，由于角点对应与图像中信息含量高的位置，相对于原图像而言，使用角点 进行匹配计算能够大大减少计算量，因此它能够在图像匹配中有良好的应用价 值。此外在光流计算、三维场景重建、运动估计以及目标跟踪等方面也具有广泛 的应用。尤其是在实时处理中有很高的应用价值。在实现摄影测量自动化和遥感 影像匹配中，提取角点特征也具有重要意义。 本文提出的匹配方法对数字摄影测量有借鉴意义。测绘中研究的匹配与本文 研究的匹配方法有很多不同，主要有以下差异： 匹配精度要求不同，测绘中的影像匹配要求精度较高，往往要求子像元精 度，而本文的匹配则只要求得到实时图像在基准图像中的偏移位置，在 1 2 个像元中即可； 匹配速度要求不同，测绘中的匹配由于应用邻域不同所以对速度要求不 是很高，但本文算法研究的匹配方法是用实时应用，要求匹配耗时低： 虽然两种匹配方法有许多不同的地方，但是也有一些可以互相借鉴之处。本 文所采用的角点提取算法通过对已有算法的改进而来，其中就参考了摄影测量中 的常用方法：m o r a w c 算子和f o r s t n e r 算子。另一方面：由于本文研究的匹配 方法速度较快，虽然定位不够精确，但是可以用于摄影测量精确匹配算法的初始 河海大学硕士论文 匹配，为精确匹配提供初始的匹配位置。 1 5 研究思路和技术路线 论文研究的主要内容有两个部分，一是研究不同传感器获得的影像特征点的 自动提取：二是研究通过特征点进行影像的特征匹配方法。 在特征点提取部分，首先分析已有的角点提取算法，主要总结了具有代表性 的几种角点提取算法( s u s a n 算子、p l e s s y 算子等) 的各自特点。然后对角点 的区域构成、角点圈层结构、特征信息量几个问题进行了研究。基于现有算法， 以提取速度快为主要目标，面向实时运用，对现有算法进行改进，提出一种较为 快速的角点提取算法。通过大量实验验证算法的可靠性，实验主要对实时影像提 取角点。 影像匹配方面，在比较图像匹配的基本方法之后，详细分析特征匹配方法， 结合h a u s d d o r f f 距离和遗传算法进行研究。基于特征的图像匹配包括特征提取和 特征匹配两大环节。当图像特征已经确定后就要求相似性度量函数给出共轭图像 之间的相似性映射关系。多数情况下共轭图像之间的相似性函数以代价函数的形 式或距离函数的形式给出，当共轭图像完全相同就希望代价函数最小或为零。理 论上各种形式的距离函数都可以作为相似性度量，但用的最多的要数欧氏距离。 本文采用了另一种距离h a u s d o 啦距离作为相似性度量。h a u s d o r f f 距离以其 很强的抗干扰能力和容错能力而受到人们的关注。 为了实现课题的研究目的，以同一地区不同季节的印度卫星影像和s p o t 影 像为实验数据，以b o r l a n dc + + b u i l d e r 、m a t l a b 作为实验平台，编写程序提取角 点、并进行影像匹配工作。 论文拟解决的主要问题包括： 1 改进角点特征提取方法，设计能应用于实时应用中的快速、有效的提取 方法； 2 研究实时图像进行匹配时的相似性度量方法； 3 研究遗传算法在匹配时搜索策略上的优化应用。 论文主要研究的内容分一下几个方面展开： 1 采用四个方向的灰度差分绝对值进行初提； 第一章绪论 2 对初提结果以角点区域结构方法判断是否为角点； 3 利用信息量来衡量角点的优劣； 4 研究试验h a u s d o r f f 距离作为匹配度量相似性的尺度； 5 研究遗传算法用于匹配搜索策略，试验遗传算法在匹配中的优化效果 1 6 内容安排 论文每章的内容安排如下： 第一章、绪论：分析现有的点特征提取算法，总结了目前匹配算法的现状、 不足，提出研究利用角点特征，结合h a u s d o r f f 距离进行影像快速匹配的意义。 阐述了研究角点特征提取对其他图像处理工作所具有的意义和价值。 第二章、角点提取算法研究：通过对影像中点特征的研究，比较当前常用的 一些点特征提取算法，提出一种快速有效的、可用于实时影像匹配的点特征提取 算子。算法基于s u s a n 和角点几何结构分析的思想，是一种改进的快速角点提 取算子，简称快速角点提取算子( f c d ，f a s tc o m e rd e t e c t o r ) 。在图像匹配等实 时运算中要求有很高的计算速度，本文首先进行角点初取，然后根据粗提取的结 果再进行角点几何结构判断，即图像中的像元如果为角点，它必须满足角点的圈 层结构。通常认为角点处各个方向上灰度差变化都较大，所以角点响应函数( t h e c o m e r r e s p o n s ef u n c t i o n ，以下简称c r f ) 使用了反映角点突出性的响应函数， 使提取的角点含有更高的信息量。 第三章、角点提取结果分析：本章对改进的探测算法进行了实验检验，主要 就定位的准确性、运算速度以及提取点的数量几个方面进行了分析，取得了较好 的结果。通过实验证明，改进的快速角点特征提取算法可以适用于实时运算，在 下一章中将其运用于实时图像匹配研究中。当然此算法还有很多不足，还有许多 需改进的地方如：进一步提高方法的抗噪声能力；用多尺度提取角点，进一 步减少计算时间，提高定位精度。 第四章、基于角点特征的影像匹配：进行了图像匹配算法分析及特征匹配试 验研究，主要实现了对改进的h a u s d o r f f 距离在图像特征匹配算法中的应用。实 验验证了在一些灰度反差较大的情凋，基于角点特征点的影像匹配算法匹配概率 要优于传统的归一化互相关算法。在一定应用邻域内角点特征影像匹配算法有一 一一鲨查兰堡主堡苎 定的理论价值和应用价值。同时，本章还进行了遗传算法对影像匹配的优化研究。 在实时计算中引入遗传算法，对算法进行优化处理。通过在角点特征影像匹配中 的实验，该优化方法是可行的、有效的。本章研究遗传算法的参数选取问题，针 对不同图像遗传算法选取的参数可能会有一些变化。参数的选取对不同问题要进 行具体研究方能定出。这一问题还有待进一步研究。 第五章、总结与展望：总结本文主要工作和内容，分析了本文的匹配方法的 优点和不足，展望今后进一步改进的思路。 图1 2 是本文的结构框图。 图1 2 论文结构框图 l o 第一章绪论 1 7 本章小结 本章对特征提取算法和图像匹配方法研究的现状进行了分析，提出研究快速 有效的提取特征的算法有着重要的作用和意义。特征提取是图像处理、计算机视 觉等邻域的重要课题，已经取得了很多成果。提取角点的算法也有许多较为优秀 的算法，但是这些算法都是对于某一个方面能够较好的完成所研究的问题，并没 有一种能够在各个邻域都能很好的提取到满足要求的角点算法存在。在实时应用 中，快速有效的角点提取算子研究较少。介绍了本文研究涉及的主要研究工作， 最后，给出了论文各章节内容安排和论文结构框架。 河海大学硕士论文 第二章角点提取算法研究 角点特征是影像的重要特征，在各种影像特征中角点具有旋转不变性和不随 光照条件变化而变化的优点。由于角点能够在减少参与计算的数据量，同时又不 损失影像的重要灰度信息1 6 j 。而且在影像匹配中，利用角点特征匹配可以大大提 高匹配速度。所以研究一种快速、有效角点提取方法对于提高影像匹配的速度和 匹配率有着重要的意义。本章就是基于已有几种著名的角点( 或兴趣点) 提取算 子的分析研究，提出一种较快的以角点区域结构分析为核心的提取算法。 2 1 几种常用算法分析比较 本节分别讨论m o r a v e c 算子、f o r s t n e r 算子、s u s a n 算子、p l e s s y 算子以及 其他两种基于边缘( 曲线) 特征提取角点的算法。 l 、m o r a v e c 于1 9 7 7 年提出利用灰度方差提取点特征的算子，其在主要四个 方向上，选择具有最大一最小灰度方差的点作为特征点。步骤为： ( 1 ) 计算各像元的兴趣值i v ( i n t e r e s t v a l u e ) 。在以像素( c ，r ) 为中心的w w 的影像窗口中( 如5 5 的窗口) ，计算图2 1 所示四个方向相邻像素灰度差 的平方和： v 。= ( g 。t r _ g c + i + l , r ) 2 一k k l v ：= ( g + ，- g 。岍。) 2 i = - k ( 2 1 ) k - 1 v 3 = ( g 。+ 。- g c , r + i + 1 ) 2 k k - i v 4 = ( g 。，- g ，。) 2 其中k = i n t ( w 2 ) 。取其中最小者作为该像素( c ，r ) 的兴趣值： i v c , t = m i n v 1 ，v 2 ，v 3 ，v 4 ( 2 2 ) ( 2 ) 给定一个经验闽值，将兴趣值大于该值的点( 即兴趣值计算窗口的中 心点) 作为候选点。阈值的选择应以候选点中包括所需要的特征点，而又不含过 多的非特征点为原则。 第二章角点提取算法研究 ( 3 ) 选择候选点中的极值点作为特征点。在一定窗口内( 可以不同于兴趣 值计算窗口，如5 5 ，7 7 或9 9 像元) ，将候选点中兴趣值不是最大者均去 掉，仅留下最大者，该像素即为一个特征点。这一步骤可称为“抑制局部非最大”。 戮戮 缓驻 图2 1m o r a v e c 算子 2 、f o r 咖e r 算子是一种摄影测量常用的点特征定位算子。该算子通过计算各 像素的r o b e r t ，s 梯度和像素( c ，r ) 为中心的一个窗口( 如5 x 5 ) 的灰度协方差矩阵， 在影像中寻找具有尽可能小的接近圆的误差椭圆的点作为特征点。其步骤为 ( 1 ) 计算各像素的r o b e r t s 梯度，式( 2 3 ) g u - 亲= g i + l | j 十，喝 g v _ 熹= g j t j + 1 _ g i + ( 2 3 ) w 塑塑奎堂堕主堡塞 7 ， 缓 图2 2f o r s t n e r 算子 ( 2 ) 计算l l ( 如5 5 或更大) 窗口中灰度的协方差矩阵。 其中： 删镫：，到 e + k ir + k - 1 g 。g ，= ( g 。， 1 4 c k 】一k - g i ，j ) 2 k 2 矾t ( 1 2 ) ( 3 ) 计算兴趣值q 与w 。 g i j ) ( g i 川一g ，j ) 4 d e t n 42 面矿 1 d e t n t r q t r n 1 4 。：堡 m g ，：拿 ( 2 4 ) ( 2 5 ) ( 2 6 ) 田田 g 敷时 一一 = 2 u g 鼓” 一一 | l 2 v 第二章角点提取算法研究 其中d e i n 代表矩阵n 的行列式；t r n 为矩阵n 的迹。 q 是像素( c ，r ) 对应的误差椭圆的圆度： 一岳暑 眨， 其中a 与b 为椭圆的长、短半轴。如果a ，b 中任一为零，则q _ o ，表明该 点可能位于边缘上；如果a = b ，则q = l ，表明为一圆。w 为该像元的权。 f 4 ) 确定待选点 如果兴趣值大于给定的闽值，则该像元为待选点。闽值为经验值，可参考下 列值： t a = 0 5 o 7 5 ，l f w ( f = 0 5 1 5 ) k 。1 c w 。( c ；5 ) ( 2 8 ) 其中丽为权平均值，w c 为权的中值。 当q t q 同时w t w 时，该像元为待选点a ( 5 ) 选取极值点 以权值w 为依据，选择极值点，即在一个适当窗口中选则w 最大的待选点， 而去掉其余的点。 3 、s u s a n ( s m a i i e s tu n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ) 是一种与 以往方法完全不同的灰度图像处理方法。它提供的角点提取和边缘提取方法一 样，有很强的抗噪声能力，因此不需要进行去噪声处理( 滤波) 。 河海大学硕士论文 l i g 抵勰a 图2 3 圆形模板在同一影像上四个不同位置的情况 每一影像点在局部区域灰度的相似性是s u s a n 算子的基础。如果模板内每 一像元的灰度和中心像元灰度相同或相近，则可以定义他们和模板中心像元灰度 相同。这些像元所在区域定义为”u s a n ”( ”u n i v a l u es e g m e n ta s s i m i l a t i n g n u c l e u s ”的缩写) 。在图2 3 中每个模板中的u s a n 区域在图2 4 中表示为白色。 在数字图像中计算每个像素的u s a n 区域可以找出一个区分这个像元边界 条件。在它处于边界和角点的情况下，u s a n 区域都比较小，角点的u s a n 比 边界要小。因此我们找寻最小的u s a n 区域。u s a n 图的局部最小的位置在图 像中就是角点。 这种方法可以抗噪声的原因是不需要计算图像的灰度导数。 1 6 里三皇堡皇望里兰鲨墅壅 勰c f i o mo fm 鹬kw 敞糌p i 潮地a 倦磁糯l 嫩誊搬瓣t 。n u c 2 搿a s 毒t c 畦。nm 黼kw h e r ep i ，a 威sh a 锩基翟丑eb 醴窖目o a 堪矗# 啦臆u d 酶l 堪 图2 4 四个圆形模板的相似区域分割，u s a n 区域为模板的白色区域 4 、在文献 3 中h a r r i s 和s t e p h e n s 描述了p l e s s e y 兴趣点提取算子。我们 可以总结到它的工作原理为下面的矩阵： m ( 哥2 ( 毅刳 ( 剖( 刳2 ( 2 9 ) 其中i ( x ，y ) 是图像灰度。如果在个点的矩阵m 的两个特征向量都较大， 那么在任何方向有微小变化都会引起很大的灰度变化。这表明这个点是一个兴趣 点。角响应函数为： r = d e t m - k ( t r a c e m ) 2( 2 1o ) 其中k 是一个参数，可设为0 0 4 ( h a r r i s 建议值) 。角点被定义为角点响应 函数局部最大地方。通过临近像元的二次逼近可以获得子像元精度。为了消除角 点受噪声的影响，可以对图像进行g a u s s i a n 滤波。这应该对图像求导数的平方 后进行滤波，而不是在原图像c 输入图像，上c 即对( 暑2 ，( 刳2 ，( 要 ( 刳滤 惩曲。 在实际计算中，时常提取到太多的角点。在这种情况下，一般在进行匹配之 1 7 河海大学硕士论文 前先对点数进行限制。一种方法是给出一个阈值，选择的角点的r 值( 角点响应 函数值) 要高于阂值。这个阈值由需要得到的角点数目而定。因为在一些影像中 大量的角点定位在相同的区域内，对此可以更精确的设计这一过程，使得在图像 每一区域都可以找到足够的角点数目。 5 、还有一些算法基于边界等曲线特征提取角点。如c s s 和i p a n 等。这些 算法一般先提取边界特征，或在已有曲线的情况下，依据曲率来获得角点特征。 曲率尺度空间技术对于恢复一个多尺度的平面曲线的各种地理特征( 曲率为 零的交叉的点及曲率为极值的点) 是适用的。c s s 角点提取的原理如下 7 ： 提取输入影像的边界，可以用任何好的边界提取算子比如c a n n y 算子。 填补边界上的小缝隙。当缝隙形成一个t 型连接时，标记为t 型一角点。 在一个较高的尺度上，计算边界的曲率。 角点定义为曲率绝对值大于一个闽值的边界点。 经过多个尺度追踪角点，在较低的尺度上改进定位位置。 比较t 型角点和用c s s 过程提取到的角点，去除接近角点。 实验结果表明，边界提取耗费了算法大部分的时间( 8 0 ) 。所以