（地图制图学与地理信息工程专业论文）基于特征点的立体影像匹配.pdf

摘要 摘要 随着科学技术的迅速发展，影像匹配技术已发展成为近代信息处理尤其是影像处理信息 领域中的一项重要的技术。目前，国内外研究学者对影像匹配已开展了大量的研究工作，提 出了很多影像匹配方法，并取得了较好的成果。一般来说分为基于灰度匹配和基于特征匹配 的方法两大类。基于灰度匹配的方法计算量大，计算速度慢，而且在灰度信息匮乏的区域， 匹配错误概率会上升。基于特征的匹配方法有效的避免了基于灰度匹配的缺点，该方法不是 直接利用灰度信息进行匹配，而是利用灰度信息导出的符号特征来实现匹配，这样就大大压 缩了影像的信息量，提高了匹配的速度，而且特征的匹配度量值对位置变化比较敏感，提高 了匹配的精度。另外，特征受噪声的影响小，对灰度变化、影像形变以及遮挡等都有较好的 适应能力。目前基于特征的匹配方法中，特征点的匹配方法是应用较广泛的，而传统的基于 特征点的匹配方法是基于参考影像和待匹配影像提取的特征点，然后在待匹配影像上遍历整 幅影像的特征点计算相似性度量，这样就会产生一对多的伪匹配的情况，而且对于大量的数 据来说计算量也比较大。因此，本文提出一种基于影像分割结果的特征点匹配方法。该方法 不仅减少了特征点匹配的计算量，也提高了计算速度和匹配精度。具体实现过程如下： 1 影像预处理，包括图像的灰度化，灰度归一化和中值滤波。 2 利用h a r r is 算子提取特征点。 3 k 一均值影像分割，对于分割后的区域按照灰度均值从小到大排序，并给以标记。 4 影像匹配。在两幅影像中标号相同的区域进行归一化互相关系数匹配，大于给定阈 值的点对即为候选匹配点对。 5 剔除粗差，得到最佳匹配点对。 6 对于匹配结果进行精度评定。 本文的主要内容包括以下几部分： 第一部分，阐述了影像匹配技术的研究意义和国内外研究现状以及主要研究的内 容。 第二部分，简单介绍了影像匹配的基础理论。 第三部分，对于目前常用的4 种特征点提取算子( m o r a v e c 算子、f o r s t n e r 算子及 s u s a n 算子，h a r r i s 算子) 的原理和性能进行阐述和分析，并对匹配中常用的f o r s t n e r 摘要 和h a r r i s 算子进行试验分析和比较。选取算法较稳定的h a r r i s 算子进行特征点提取。 第四部分，介绍了影像分割中基于区域分割的常用方法，对其基本思想和特点进行阐述 和分析，并对影像理解中较常用的k 一均值方法进行试验分析。 第五部分，利用航空立体影像，基于m a t l a b 7 1 软件对本文的方法进行试验分析，并将 匹配结果与传统的基于特征点的匹配结果进行比较分析。 结论表明，本文提出的方法在匹配精度和速度都较传统的基于特征点的方法有很大的提 高。然而，本文的方法也有不足之处，如原始影像的质量，预处理的结果及分割的结果对于 匹配结果都会产生影响，这也是本文以后有待完善和研究的。 关键词：立体影像匹配，特征点提取，h a r r i s 算子，k 均值分割，归一化互相关系数 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y ，i m a g em a t c h i n gh a sb e c o m et h e i m p o r t a n tt e c h n o l o g yo ft h em o d e r ni n f o r m a t i o np r o c e s s i n g ，e s p e c i a l l y , t h ei m a g ei n f o r m a t i o n p r o c e s s i n g a tp r e s e n t ，d o m e s t i ca n df o r e i g nr e s e a r c h e r sh a v eb e e nc a r r i e do u tag r e a td e a lo f r e s e a r c hw o r ko ni m a g em a t c h i n g ，p r e s e n t e dal o to fm e t h o d s ，a n do b t a i n e dg o o dr e s u l t s g e n e r a l l y , i m a g em a t c h i n gt e c h n o l o g i e si n c l u d eg r a y s c a l e - b a s e dm a t c h i n ga n df e a t u r e - b a s e d m a t c h i n gm e t h o d t h eg r a y - s c a l e b a s e dm a t c h i n gu s u a l l yc o s tm u c ht i m e ，i t sc a l c u l a t i o ns p e e di s m u c hs l o w l y , a n dt h ep r o b a b i l i t yo fm a t c h i n ge 删w o u l db er i s e ，i nt h ea r e ao ft h el a c ko fg r a y i l 0 n m t i o n h o w e v e r , t h e f e a t u r e b a s e dm a t c h i n ga v o i d s t h es h o g c o m i n g so ft h e g r a y s c a l e - b a s e dm a t c h i n g ，i td o e s n tu s et h eg r a yi n f o r m a t i o nd i r e c t l yb u tu t h es y m b o l s w h i c h a r cd e r i v e df o r mg r a y s c a l ei n f o r m a t i o nt om a t c hi m a g e s ，w h i c hh a sr e d u c e dt h ea m o u n to f i n f o r m a t i o no fi m a g e sg r e a t l ya n di m p r o v e dt h em a t c h i n gs p e e d b e s i d e s ，b e c a u s et h em a t c h i n g n 砖a s u 代a _ b i ev a l u ei ss e n s i t i v et ot h el o c a t i o n ，t h em a t c h i n ga c c u r a c yi sa l s oi m p r o v e d i na d d i t i o n , f e a t u r e s 棚n ta l m o s ti n f l u e n c e db yn o i s e ，a n dt h e yc a nb eo f b e t t e ra d a p t a b i l i t yf o rt h eg r a y 。s c a l e c h a n g i n ga n ds h e l t e ra n ds oo n p r e s e n t l y , f e a t u r ep o i n t s - b a s e dm a t c h i n gi s u s e di ni m a g e m a t c h i n gb r o a d l y t r a d i t i o n a l l y , i tm i l k e su s eo ff e a t u r e s e x t r a c t e df i - o mt w oi m a g e st om a t c h i m a g e sb yr a n s a c k i n gt h ei m a g ew h i c hn e e d st ob em a t c h , w h i c hw o u l d r e s u l ti no n e 。- t o m a n y p s e u d om a t c h i n g ，a n di t sc a l c u l a t i o nw i l lb el a r g e n e s sf o ral a r g ea m o u n t o fd a t a - s ot h i sp a p e r i n t r o d u c e daf e a t u r ep o i n t s - b a s e dm a t c h i n gb a s e do ni m a g es e g m e n t a t i o n ，w h i c hn o to n l yr e d u c e d t h ec o m p u t a t i o n a lc o m p l e x i t yo ff e a t u r ep o i n t s - b a s e dm a t c h i n g ，b u ta l s oi m p r o v e dt h ec a l c u l a t i o n s p e e da n dm a t c h i n ga c c u r a c yc o m p a r e dw i t ht h e t r a d i t i o n a lf e a t u r ep o i n t s - b a s e di m a g em a t c h i n g i t ss p e c i f i cc o u r s ea sf o l l o w i n g ： 1 i m a g ep r e p r o c e s s i n g i ti n c l u d e di m a g e sg r a y e d , g r a y n o r m a l i z e da n dm e d i a nf i l t e r 2 f e a t u r ep o i n t sw e r ee x t r a c t e db yh a r r i so p e r a t o r 3 k - m e a n si m a g es e g m e n t a t i o n t h e n , i ts e q u e n c e dr e g i o n so fs e g m e n t a t i o ni na c c o r d a n c e w i t ht h ea v e r a g eg r a y s c a l ev a l u ea n dl a b e l e dt h e m 4 i m a g e sm a t c h i n g i t c a r r i e do u ti m a g e sm a t c h i n gb yn o r m a l i z e dc r o s s - c o r r e l a t i o n c o e f f i c i e n ti nt h el a b e l e ds a m en u m b e ra r e a sb e t w e e nt h et w oi m a g e s m 一 些璺坠塑 5 g r o s se r r o re l i m i n a t i o n i tg o tt h eo p t i m a lm a t c h i n g p o i n t s 6 e v a l u a t i o no fm a t c h i n gr e s u l t sa c c u r a c y t h i sp a p e ri n c l u d e dt h ef o l l o w i n gs e c t i o n s ： t h ef i r s tp a r t ：i ti n t r o d u c e dr e s e a r c hs i g n i f i c a n c e ，r e s e a r c hs t a t u sa th o m e 柚da b r o a da n d m a j o rc o n t e n t so ft h er e s e a r c h 。 t h es e c o n dp a r t ：i tp r e s e n t e dt h eb a s i ct h e o r ya b o u ti m a g e s m a t c h i n g t h et h i r dp a r t ：i t 蝴l y z e dt h e p r i n c i p l eo ff e a t u r ep o i n t se x t r a c t i o no p e m “哪s u c h 勰 m o r a v e co p e r a t o r , f o r s t n e ro p e r a t o r , s u s a no p e r a t o ra n dh a r r i so p e r a t o rw h i c ha u s e d b r o a d l yi nf e a t u r ep o i n t se x t r a c t i o n ，a n di ne x p e r i m e n t , c o m p a r e df o r s t n e r0 1 ) e m t o r 、析廿l h a r r i so p e r a t o r f i n a l l y , i tc h o s et h eh a r r i s o p e r a t o rt oe x t r a c tf e a t u r ep o i n t s t h ef o u r t hp a r t ：i ti n t r o d u c e da n da n a l y z e dt h e i m a g es e g m e n t a t i o nm e t h o db a s e do n r e g i o n , a n dc h o s ek - m e a n ss e g m e n t a t i o nt os e g m e n ti m a g e t h ef i l t hp a r t ：b a s e do nt h es o f t w a r em a t l a b 7 1 ，i ta n a l y z e d t h em e n l o dw 场c hi s p s e n t e di nt h i sp a p e rb ye x p e r i m e n tu s i n gt h ea e r i a l s t e r e oi m a g e s ，a n dc o m p a r e dt h e r e s u l t sw i t ht h et r a d i t i o n a lf e a t u r ep o i n t s - b a s e d m a t c h i n gr e s u l t s i nc o n c l u s i o n , t h ea c c u r a c ya n d s p e e do fi m a g em a t c h i n go ft h em e t h o dp r e s e l a t e di nt h i s p a p e ra r eb e t t e rt h a nt h a to ft r a d i t i o n a lf e a t u r ep o i n t s - b a s e dm a t c h i n gm e t h o d h o w e v e r , i n t h i sp a p e r , t h em e t h o da l s oh a ss h o r t c o m i n g s ，f o r e x a m p l e ，t h eq u a l i t yo ft h eo r i g i n a li i i l a g e a n dt h er e s u l t so fp r o c e s s i n ga n ds e g m e n t a t i o nc o u l dh a v ea ni m p a c to nt h em a t c h i n g 心s u l t s ， s ow h i c ha r ea l s or e s e a r c ha n d i m p r o v e di nt h ef e a t u r e k e y w o r d s ：s t e r e oi m a g em a t c h i n g , f e a t u r ep o i n t s e x t r a c t i o n , h a r r i so p e r a t o r , k n 地娜 s e g m e n t a t i o n ，n o r m a l i z e dc r o s s - c o r r e l a t i o nc o e f f i c i e n t i v 图表索弓 图表索引 图1 1 本文的匹配方法的流程图。5 图2 1a 、b 的灰度阵列7 图2 2 归一化互相关系数的几何意义9 图3 1m o r a v e c 算子的四个方向1 4 图3 2 圆形模板图17 图3 3s u s a n 标识图1 7 图3 4s u s a n 圆形模板1 8 图3 5h a r r i s 算子角点检测基本思想。2 0 图3 6 由特征值 和兄，划分的特征区域2 1 图3 7 定位好与不好的定位示意图。2 4 图3 8 旋转后再检测丢失一个点2 4 图3 9m o m v e c 提取算子的四种情况。2 5 图3 1 0m o r a v e c 算子。2 6 图3 1 1f o r s t n e r 算子检测结果2 8 图3 1 2h a r r i s 算子提取结果3 0 图4 1k - 均值试验结果3 5 图5 1 本文的设计的匹配流程3 7 图5 2h a r r i s 算子计算流程图。4 0 图5 3 粗差剔除示意图4 2 图5 4 原始影像4 4 图5 5h a r r i s 算子特征点提取的影像4 4 图5 6k 一均值分割的结果影像4 5 图5 7 匹配结果影像。4 5 表3 1f o r s m e r 算子计算速度表。2 8 表3 2h a r r i s 算子计算速度表3 0 表3 3h a r r i s 算子与f o r s t n e r 算子性能比较3 l 表5 1 影像匹配结果分析4 6 表5 2 本文方法与传统的基于特征点匹配方法的比较4 6 北京建筑工程学院 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容 外，本论文不含任何其他个人或集体已经发表或撰写过的作品成 果。对本文的研究做出重要贡献的个人和集体，均已在文中以明 确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：闭慧五 日期：2 0 0 9 年j 2 月2 f 日 第一章绪论 1 绪论 1 1 影像匹配技术描述 影像匹配是影像分析和影像处理研究中一个项重要的技术。在计算机视觉识别过程中， 常常需要把不同的传感器或是同一传感器在不同时间、不同成像条件下对同一景物获取的两 幅或多幅影像，进行比较找到该组影像中的共有景物，或是根据已知模式到另一幅图中寻找 相应的模式，这就叫影像匹配。影像匹配就是将模板与待检测的影像进行比较匹配，并给出 一个描述匹配程度的计算结果。如果算法的运算结果显示影像中的某一部分与模板相同或相 似大于给定的阈值，则认为匹配成功。 一般来说，由于影像在不同时间、不同传感器、不同视角获得的成像条件不同，因此即 使是对同一物体，在影像中所表现出来的几何特性、光学特性、空间位置都会有很大的不同， 如果考虑到噪声、干扰等影响会使影像发生很大差异，影像匹配就是通过这些不同之处找到 它们的相同剧1 1 。 1 2 影像匹配技术研究意义 影像匹配最早是美国7 0 年代从事飞行器辅助导航系统，武器投射系统的末制导以及寻 地等应用研究中提出的。随着科学技术的快速发展，影像匹配已成为近代信息处理，尤其是 影像信息处理领域中一项极为基本和重要的技术。其应用已逐步从原来单纯的军事应用扩大 到其它领域，如计算机视觉、目标识别与跟踪、测绘、航空摄影测量、资源分析、气象预报、 光学和雷达跟踪、机器人视觉、环境检测、地图绘制、文字识别以及景物分析中的变换检测、 立体视觉、飞行器巡航制导、遥感、视觉控制、医学图像、视觉运动的计算、导弹的地形图 和地图匹配、工业流水线的自动监控等多个领域【m 1 。 在医学界，影像匹配由于具有很重要的临床应用价值己经成为医学图像研究领域的热门 专题之一。对各种使用不同或相同的成像手段所获取的医学图像进行匹配不仅可以用于医疗 诊断，还可用于手术计划的制定、放射治疗计划的制定、病理变化的跟踪和治疗效果的评价 等各个方面。例如，在制定放射治疗计划时，需要用x - c t 片进行放射剂量分布的计算，而 病灶区域的轮廓通常在m r i ( 磁共振成像) 中能很好的体现出来。在核医学中，把功能图像 第一章绪论 ( p e t - 正电子发射图像或s p e c t - 单光子发射图像) 和形态学图像( ( m r j 一磁共振图像或x - c t 图像) 结合起来可以使得机能障碍区的解剖定位和功能结构的关系研究变得更为方便。 在工业检测领域中，影像匹配技术被广泛应用于表面缺陷检测、工业测量、产品质量评 估等部门，对工业自动化、提高产品质量、提高生产率及节约成本有很高的价值。 在机器视觉领域，影像匹配技术是目标跟踪、运动分析、对象识别、自动视觉检测等研 究方向的研究基础。 在遥感影像处理和实际应用领域中，影像匹配技术被广泛应用于目标定位及不同电磁波 段的影像融合( 如微波、红外、可见光或多光谱影像) ，建筑、道路、交通工具和蔬菜类型的 划分、矿物寻找、特定区域搜索、农作物估产、森林和水源保护、台风追踪和预报、天气预 报等方面。 在航空摄影测量领域，影像匹配是自动获取数字地面模型( d t m ) 的关键技术，是以影 像匹配代替传统的人工观测，来达到自动确定同名点的目的。可以预见，随着计算机技术的 发展和数字影像处理技术应用的日益广泛，影像匹配技术必将在社会生活和工业生产中发挥 越来越重要的作用。 1 3 影像匹配技术的国内外研究现状 目前，国内外研究学者对影像匹配已开展了大量的研究工作，提出了很多影像匹配方法， 并取得了较好的成果。一般来说分为两大类，一类是基于灰度匹配的方法，另一类是基于特 征匹配的方法。 基于灰度匹配的方法，也称为相关匹配算法，基于影像灰度值的匹配是最基本的匹配算 法思想。通常直接利用整幅影像的灰度信息建立两幅影像之间的相似性度量，然后采取某种 搜索方法寻找使相似性度量值最大或最小的变换模型的参数值。 已有的基于灰度匹配的方法很多，如l e e s e 于1 9 7 1 年提出的m a d 算法，为使模板匹 配高速化，b a r n e a 于1 9 7 2 年提出了序贯相似性检测法( s s d as e q u e n t i a ls i m i l a r i t yd e t e c t i o n a l g o r i t h m ) ，这种算法速度有了提高，但是精度低，匹配效果不好，而且易受噪声影响3 1 。 还有归一化灰度组合相关法( n i c ) 【4 】，归一化积相关匹配法及归一化灰度相关匹配、最小 二乘影像匹配、贝叶斯影像匹配等。其中归一化积相关匹配法较其他方法更具有优势。这些 算法计算量大，花费时间相当多 2 1 。针对灰度匹配的一些缺点，也有很多学者对一些算法提 出改进，刘莹等5 1 人对最小误差和相关系数法进行改进，提高匹配速度。计长安掣6 1 人提出 2 第一章绪论 灰度权重( n m i ) 匹配方法，饶俊飞【刀提出的改进的去均值归一化灰度相关的法( n n p r o d ) 以及两种或以上方法的组合方法等。基于影像灰度的匹配算法不需要对影像做特征提取而是 直接利用全部可用的灰度信息，因此可以得到稠密的匹配点集，便于后续的深度计算；而且 比较适合纹理丰富的区域和相对运动较小的影像对，能够提高估计的精度。另外该方法算法 简单。但是基于灰度的匹配算法中把匹配点周围区域的点的灰度都考虑进来进行计算因此计 算量大，计算速度慢，对噪声敏感；而且一旦进入信息贫乏的区域，会导致误匹配率的上升 1 8 1 。 为了克服基于灰度影像匹配方法的缺点，人们提出了基于特征的匹配算法，基于特征的 匹配不是直接利用影像灰度，而是通过灰度导出符号特征来实现匹配。因此，它对于对比度 和明显的光照变化等相对稳定。同时，基于特征的匹配可以通过对特征属性的简单比较而实 现，因此，它比基于灰度的匹配要快得多阳1 。基于影像特征的匹配方法也是目前采用最多的 匹配方法。该方法首先在原始影像中提取特征，然后再建立两幅影像之间特征的匹配对应关 系。该方法包括特征提取和特征匹配两大部分。特征提取是指分别提取两幅影像中共有的影 像特征。影像特征包括像素灰度特征、色彩特征、区域特征、纹理特征、轮廓特征、边缘特 征、点特征等。基于特征影像匹配中的特征是指出现在两幅影像中对比例、旋转、平移等变 换保持一致性的特征，如线交叉点、物体边缘、角点、虚圆、闭区域的中心等，也称为几何 特征1 9 。基于特征的影像匹配一般包括基于点特征、基于线特征和基于面特征的匹配【1 0 l 。这 类方法的优点体现在以下三个方面【1 0 】： ( 1 ) 影像的特征点比影像的像素点要少很多，从而大大减少了匹配过程的计算 ( 2 ) 特征的匹配度量值对位置变化比较敏感，可以提高匹配的精度。 ( 3 ) 特征的提取过程可以减少噪声的影响，对灰度变化、影像形变以及遮挡等都有较好的 适应能力。 另一方面，正是由于只有一小部分的影像灰度信息被使用了，所以这种方法对特征提取 和特征匹配的错误更敏感，需要可靠的特征提取和鲁棒的特征一致性l 。 在特征提取方法中，常用的点特征的提取方法有：基于小波变换的边缘点提取方法、角 点检测法( 如s u s a n ) 、兴趣算子法( 如h a r r i s 、f o r s t n e r 、m o r a v e c 算子等) 。常用的线特 征提取方法有：l o g 、s o b e l 、r o b e r t s 、p r e w i t t 算子等1 1 】。面特征是指利用影像中明显的区 域信息作为特征，实际应用中通常通过影像分割技术提取影像中不同区域，然后提取每个区 域的外接矩形、不变矩或区域的重心、圆心点等作为特征，但其前提是提取明显的区域特征。 如文献 1 2 1 利用外接矩形为特征，文献 1 3 l v 以区域的不变矩为特征。文献 1 4 1 1 5 1 提取区域重 3 第一章绪论 心为特征。 特征匹配的是建立在两幅影像中特征点之问对应关系的过程。一般来讲，点特征是影像 匹配中应用最多的特征，称为特征点，它具有定位准确、检测和描述容易以及重建精度高的 优点，但它所含影像信息较少，在影像中的数目较多因而在匹配时需要较强的约束准则和 匹配策略，以克服误匹配和提高运算效率。线状特征和区域特征则含有更丰富的影像信息， 在影像中数目较少，易于实现快速匹配。但它们在特征提取和描述时比较困难，需要进行复 杂的预处理，而且定位精度较差。因此，基于特征点的匹配方法较常用的，目前国内外研究 学者提出的方法有很多，这些方法旨在提高影像匹配的精度、速度、匹配方法的通用性以及 抗干扰性。常用的特征匹配方法有：互相关系数法”】、互信息法旧、聚类法、点距离法、 松弛法1 等。也有一些改进的方法，如改进特征提取的方法或将多种匹配方法相结合以提 高匹配的速度和精度。本文提出的基于影像分割和特征点提取的匹配方法，旨在提高点特征 匹配的准确性和速度。 1 4 论文的研究目的 点特征是影像中最基本的一种特征，因此在基于特征的匹配方法中，较常用的方法是基 于特征点的匹配。基于影像特征点的影像匹配，通常是首先找到点点之间的对应，然后计算 出对应点之间的相似性度量，作为影像匹配与否的准则。虽然基于特征的影像匹配方法与基 于灰度的影像匹配方法相比匹配速度提高，但如果当待匹配的影像尺寸变大时，影像数据 量增大，特征点数量随之增多，特征匹配的计算量更是呈几何级数增长，在这种情况下要实 现高精度的匹配，必然占用较长的运算时间，因此提高匹配精度和降低匹配时问也是当前影 像匹配领域迫切的研究任务。本文目的旨在提高基于点特征匹配的速度和匹配的准确性。传 统的基于点特征匹配方法是在提取两幅影像的特征点后，根据相似性度量找到匹配的特征点 对。但由于此相似关系是基于提取的全部特征点进行相似性搜索即对于一幅影像中给定的 特征点，在另一幅影像中经常发现不止一个可能的特征点与其匹配，这就会出现假匹配的问 题。因此为了减少误匹配的概率，需要加入一些约束条件。本文的算法是首先将影像进行分 割，在灰度均值最接近的相应区域进行特征点匹配。这样既有效的限制了匹配过程中的搜索 区域，也保证了较高的匹配概率，提高了匹配速度，匹配精度也得到很好的改善。 第一章绪论 1 5 论文的组织结构 本文讨论了基于特征点的立体影像匹配方法，利用影像分割的结果进行特征点匹配t 提 高了匹配速度和匹配的概率，而且匹配的精度也得到改善。论文的组织构如下 第1 章：绪论。介绍了影像匹配的国内外的研究现状，论文的目的和意义及论文的组织结构。 第2 章：特征匹配的相关理论。简单介绍了特征匹配的一些相关理论。 第3 章：特征点提取。介绍了影像特征点提取的算法，对目前较常用的特征点算子的相关概 念和原理进行阐述和分析。并对匹配中常用的f o r s t n e r 和h a r r i s 算子进行试验分析和比较。 第4 章：k 一均值影像分割。介绍了影像分割中基于区域分割的常用方法，对其基本思想和特 点进行阐述和分析并对影像理解中较常用的k 均值方法进行试验分析。 第5 章立体影像匹配。此部分为本论文的核心部分。基于m a t l a b 7 1 软件对本文的算法进 行试验分析，并对匹配结果与基于灰度的匹配结果和基于特征点的匹配结果进行比较分析。 第6 章总结与展望。对全文进行总结，指出本文的创新点和存在的问题，并指明今后努力 的方向。 本文设计的匹配方法流程图如下： 版鹰化、敏甏謦警巾惰滤波) r n s 豹柏 挺嫩ilk 一均伯影像分剖 个挺n 卜城- 构 倬最迸fj k 址 z 蚶“：州川呐l 嘁j rj f j 他“m i 咒系数p l 配 辑 羊咿昧 肚雕精鹰许宅 输a ：计聚 图1 1 本文的匹配方法的流程图 第二章特征匹配的相关理论 特征匹配的相关理论 基于影像特征的匹配方法是目前采用最多的匹配方法，影像的特征主要包括点特征、边 缘特征和区域特征，在特征匹配的过程中，无论是以上那种特征，都会转化为以点的特性来 描述而进行的匹配。基于特征点的匹配方法包括特征点的提取和特征点匹配。在这里我们对 特征点匹配的相关理论加以阐述。 2 1 影像特征提取 影像是以灰度等级的形式表示的，其特征是由地面的物理与几何特性明显变化而形成， 表现为影像局部灰度的急剧变化n 。特征提取是影像分析和影像匹配的基础，特征提取的结 果决定特征匹配的精度和可信度，也是影像匹配的关键步骤之一。影像特征可分为点状特征， 线特征和面状特征。但多数情况下无论是线特征还是面特征最终也要转化为点特征，如线特 征的拐点、面特征的重心等n 。特征点主要是指那些灰度信号在二维方向上都有明显变化的 点，如角点、圆点等。特征点的提取算法很多，好的特征点提取算法应当满足以下条件： 1 ) 特征点的重复度高：在不同条件下拍摄的两幅影像中抽取的特征点具有高的一致性 与稳定性； 2 ) 特征点所包含的信息量大：被提取的点很突出，能够有效地反映影像的主要结构信 息。 为了有效地对两幅影像进行匹配，特征点的提取算法还应具有旋转、平移不变性，并且 在发生小的尺度变化时，能够检测出相同位置的特征点拉3 。 2 2 特征点匹配 点特征匹配问题可以这样描述：已知两个点集p = 扫。，p ：，lo ，p 。 ， q = k 。，q ：，q n ，匹配要实现的目的就是确立两个点集之间的对应关系。需要指 出的是，并非p ，q 中所有点都有匹配点，例如点集p 中的某些对应点会在q 中丢失。因此， 我们所寻找的p ，q 之间的最大匹配点子集0 j ，吼l f = l ，2 ，七，其中七m i n ( m ，刀) n 7 1 。 6 第二章特征匹配的相关理论 2 3 特征匹配准则 特征点匹配的主要目的是建立两个特征点集之间的对应关系，特征点的匹配方法有很多 种，常见的主要有以下两种：基于灰度信息的特征匹配和基于形状特性的特征匹配方法。基 于灰度信息的特征匹配是以待匹配点所在局部区域灰度统计特性作为两点相似性度量标准。 基于边缘形状信息的特征匹配是以边缘特征点的形状信息作为两点的相似性度量标准。由于 基于边缘形状的特征匹配方法计算量过大，且受影像边缘信息影响比较严重，因此，目前的 影像匹配算法，一般都采用基于灰度信息的匹配准则n l 埔1 。常用的匹配准则有以下几种： 2 3 1 相关度准则( c r o s sc o r r e l a t i o n ) 相关度准则是最常用的相似性度量准则，这一准则主要被应用于模板匹配和模板识别中 【1 7 1 ，典型的相关度准则方法如：互相关方法、归一化互相关算法、统计相关算法和相位相关 等。对于给定变换的搜索空间，研究表明，归一化的互相关算法是最好的相关度算法1 9 】。 归一化互相关算法定义如下啪1 ： 影像匹配中，以特征点为中心的二维影像子块称为特征点模板，相关运算就是在两幅影 像的特征点模板之间进行的，相关性越大，则点对之问的匹配概率就越大。设两个随机变量 a 和b 分别代表两个数字影像中的一个大小为n x n 的特征点模板。其像素灰度阵列表示如图 2 11 a 和b 的均值为： q l 口憎 口 钿“a 崎口埘 阵列 - b h a i ， | 日阵珂 图2 1a 、b 的灰度阵列 7 ( 2 - t ) 吣 k - 嗣 闩 m 上旷 = 一6 同 m 上旷 = 一口 第二章特征匹配的相关理论 a 和b 的方差为： 仃 盯占 a 和b 的协方差为： 一万) 2 一万) 2 ( 2 - 2 ) = - - 砉e 州e ：。( a o - a ) ( b o n一两2 孛善善n 一厕 协3 ) 。u 1 ， 归一化的互相关系数： ，：呈些( 2 - 4 ) - o a 8 归一化互相关系数也被定义为标准化的相关积测度，它等于两影像的协方差除以两影像 各自的方差之平方根的积。 下面我们可以从几何角度来分析归一化互相关系数，为了表示方便，假定a 和b 为一维 阵列，且a 和b 各包含n 个像元灰度值，则a 和b 分别表示n 维空间的一个矢量。 彳= ( a l ，a 2 ，a n ) r ，b = ( 饥，b 2 ，b m ) r 如果a 和b 为相同影像，则a = b 。 = 4 b i = 彳b = b c o s o ( 2 5 ) 式中4 = q 一万，b ，= 饥一万。i i m l l 和b 0 分别表示矢量a 和b 的模，即欧式范数；口为矢量 a 和b 的夹角。 归一化互相关系数： r 2 而a e 佩b s 秒j m a x 仁而佩邓0 8 归一 8 ( 2 - 6 ) 2 - 酽 融 一 一 2f 2v 霄 盯 问闩 纠m 土旷一| 旷 嘶 ，l，i 纠闩 汹闰 一2 2 第二章特征匹配的相关理论 图2 2 归一化互相关系数的几何意义 因为一l r 1 ，即石1 0 i 0 ，求r = m a x 等价= j = 8 - - r a i n 。因此，归一化互相关系数的几 何意义是求两矢量夹角的最小值。如图2 - 2 所示。 归一化互相关系数有一个很重要的特性：因为它是标准化的协方差函数，因此，当两影 像灰度相差一个常量时，相关度量的结果不受影响，而且当存在线性畸变时，或者将某一影 像进行线性变换，其相关结果不变，这就是说，归一化自相关系数是灰度线性不变量n 1 7 1 。 根据文献 2 1 试验分析，相关系数测度具有良好的匹配性能，而且实时处理性能好。是特 征点匹配中应用最广泛的一种方法。因此，本文在后续的影像匹配中使用归一化互相关系数 法。 2 3 2 对齐度准则 对齐度准则源于人眼对两幅影像内容对齐的认识，即两幅影像重叠起来交错的区域最 小。从微观上来看，这意味着一幅影像的每个灰度级在像素位置上所对应的另一幅影像的灰 度级最稳定，在数学上体现为方差最小。 假设影像石o ，y ) 和疋( 工，y ) 大小同为m x n ，其灰度直方图分别为日l ( 万) 和日2 伽) 。 对于2 5 6 个灰度级的影像来说。0 n 2 5 5 。对于每一个灰度等级以= f ，日l ( f ) 和h 2 ( f ) 分别代表了灰度值为i 的像素个数，于是灰度值i 在两幅影像中出现的比率分别为 p l ( f ) = h l ( f ) 似) 枷2 ( f ) = h 2 ( o ( m i v ) 。对于石o ，y ) 的每一个灰度级n ，现定 义厶o ，y ) 相对于 o ，y ) 灰度值为n 的对应像素集合的灰度均值和方差分别为 e l , 2 0 ) 和0 m 2o ) ，其表达式分别为： 9 第二章特征匹配的相关理论 巨“妒高 船( w ) 讼班志悬肿川一互“砌2 ( 2 7 ) ( 2 8 ) 同理对于 ( x ，y ) 的每一个灰度级n ，定义z ( 工，y ) 对于 o ，y ) 灰度值为1 1 的对应像 素集合的灰度均值和方差分别为磊，0 ) 和仃主。o ) 。 对蠢：0 ) 以灰度值n 的出现率p 。( 刀) 进行加权平均得到基于z ( x ，y ) 的期望方差定义 为元： 瓦= a ( 以) 重：( 刀) ( 2 - 9 ) 同理对于仃毛( 刀) 以p 20 ) 进行加权加权平均得到基于 o ，y ) 的期望方差定义为瓦： 元，= p ：( 刀) 盯刍( 咒) ( 2 - l o ) 由此我们定义两幅影像的交互方差c i 为： 叫棚= 詈每倍 o ；o ： 其中仃? 和盯；分别为图像a ( x ，y ) 概( x ，y ) 的方差，定义为： 乖嘉舌( 胁川训， 咖嘉舌( 胁驴2 ， 交互方差c i 反映了两幅影像的灰度相互对应的稳定程度，以砰和呸2 作为分母可以去 除影像整体方差的大小所产生的影响。从式中我们可以看出两幅影像内容越相似，则它们之 间的交互方差越小，而这一关系的建立并不要求两幅影像的灰度之间有线性的相关，也不受 两幅影像的灰度属性差异的影响。为了实验方便起见，王东峰等人将交互方差c i 的倒数称 为两幅影像的对齐度a m ( a l i g n m e n tm e t r i c ) ： 删m ) _ 志2 鸯2 蒜3 ) 但这种方法的缺点是计算量大，容易导致局部极值的情况阎。 1 0 力 钞 k o 石 y。d 芝 彘。丽 一 1 1 第二章特征匹配的相关理论 2 3 3 互信息量( m u t u ai in f o r m a tio n ) 该方法是基于影像的直方图进行匹配的。将影像各像素的灰度看成随机变量旧1 ，互信息 量是两个随机变量间统计独立性的度量，也可以被看作是具有更普遍意义的相关。实际上， 两个非独立变量是相关的，这意味着相关是统计独立的特殊情况。这样可以认为互信息量可 以在情况更复杂的影像中给出与相关性质相同的信息。影像x 和y 的互信息量m i 定义为： m i ( x ，y ) = 日( 石) + 日( y ) 一h ( x ，y ) ( 2 1 4 ) 其中，日( z ) 和日( y ) 代表x 和y 的香农熵： 日(