（计算机应用技术专业论文）无人机航拍图像拼接算法研究.pdf

摘要 图像拼接是图像界的热点问题之一，在图像识别，无人飞机，航拍图像分析 等各个领域都有广泛的应用。本文对图像拼接及其相关技术进行了研究，主要包 括特征的检测和提取、基于点特征的匹配、图像的融合等。 航拍图像序列自动拼接是指将一组内容上相关的航拍图像自动拼接为一幅 能够更为全面描述场景内容的全景图像的过程。鉴于视觉系统中存在的分辨率与 视场范围之间的固有矛盾，为了保证较高的分辨率，单幅的航拍图像对应的场景区 域通常较小，不利于准确、全面地观察和分析地面场景。而航拍图像自动拼接技 术正是解决这一问题的有效途径。与其他图像的拼接过程一样，航拍图像拼接主 要包括配准和镶嵌两个步骤，其中的核心是图像配准。经过多年发展，人们已经提 出了很多配准方法，如灰度相关法、相位相关法、基于特征的方法等。其中，基于 特征的方法首先在两幅输入图像中分别提取具有不变性的特征点，然后通过搜索 比较得到一组匹配的特征点对，并利用这些特征对之间的对应关系估计出全局变 换参数，最后借助估算出的变换模型将两幅图像校正到同一平面上，从而实现配 准。 根据匹配和图像拼接的需求，特征检测方法需要特征定位的精度较高，能很 好地检测出所需特征，并具有对于灰度变化、图像形变以及遮挡等都有较好的鲁 棒性。本文研究了著名的h a r r i s 算子和s u s a n 算子。由于航拍序列各帧图像之间 存在较大差异，因而常用的基于特征的配准方法适用性较差，对此，提出利用s i f t 特征来实现准确、稳健的航拍图像配准。进一步的，提出一种基于视觉特征的色 彩融合方法以取得平滑的镶嵌效果。最后，通过对真实航拍序列进行拼接实验验 证了所提方法的有效性。 关键字：无人机，航拍图像，图像拼接，s i f t 算法 a b s t r a c t i m a g es t i t c h i n gi st h ei m a g eo ft h es e c t o r , o n eo ft h eh o ti s s u e si ni m a g e r e c o g n i t i o n ，u n m a n n e da i r c r a f ta n do t h e rf i e l d sh a v eaw i d er a n g eo fa p p l i c a t i o n s i n t h i sp a p e r , t h ei m a g em o s a i ca n di t sr e l a t e dt e c h n o l o g i e sh a v eb e e ns t u d i e d ，i n c l u d i n g t h em a i nc h a r a c t e r i s t i c so ft h ed e t e c t i o na n de x t r a c t i o n ，b a s e do nt h ec h a r a c t e r i s t i c so f t h ep o i n to ft h em a t c h ，t h ei m a g eo fi n t e g r a t i o n ，a n ds oo n a c c o r d i n gt ot h ei m a g em o s a i ca n dm a t c ht h ed e m a n dc h a r a c t e r i s t i c so ft h e d e t e c t i o nm e t h o d sr e q u i r eh i g hp r e c i s i o np o s i t i o n i n gf e a t u r e st h a tc a nd e t e c tv e r y g o o d c h a r a c t e r i s t i c s r e q u i r e d w i t hr e g a r dt o c h a n g e si nt h eg r a y , t h e i m a g e d e f o r m a t i o ns u c ha ss h e l t e ra n dh a v eb e t t e rr o b u s t n e s s i nt h i sp a p e r , t h ew e l l k n o w n o p e r a t o rh a r r i sa n ds u s a no p e r a t o r a n dd e s i g n e dt oi m p r o v et h e i ro w na l g o r i t h mt o i m p r o v et h ea c c u r a c yo ft h ef e a t u r ep o i n te x t r a c t i o n a e r i a li m a g es e q u e n c ea u t o m a t i c s p l i c i n gr e f e r st oag r o u po fc o n t e n tr e l a t e dt oa e r i a li m a g e sf o ra u t o m a t i cs p l i c i n gt o am o r ec o m p r e h e n s i v ed e s c r i p t i o no ft h es c e n ec o n t e n to ft h ep a n o r a m i ci m a g e i n v i e wo ft h ev i s u a ls y s t e m ，t h ee x i s t e n c eo ft h er e s o l u t i o na n df i e l do fv i e wb e t w e e n t h es c o p eo ft h ei n h e r e n tc o n t r a d i c t i o n si no r d e rt oe n s u r eah i g h e rr e s o l u t i o n ，t h e s i n g l ea e r i a li m a g e sc o r r e s p o n d i n gt ot h er e g i o n a ls c e n ei su s u a l l ys m a l la n dn o t c o n d u c i v et oa c c u r a t e ，c o m p r e h e n s i v eo b s e r v a t i o na n da n a l y s i so ft h es c e n eo nt h e g r o u n d t h ea e r i a li m a g e sa u t o m a t i cs p l i c i n gt e c h n o l o g yt os o l v et h i sp r o b l e mi sa n e f f e c t i v ew a y i th a sb r o a da p p l i c a t i o n ，s u c ha st h eu s eo ft h er e s u l t so ft h er a p i d s p l i c i n gt og e n e r a t ed i g i t a lm a pf o rc i t yp l a n n i n ga n da s s e s s m e n to ft h eb a t t l e f i e l d s i t u a t i o na n ds op r o v i d eab a s i s a n do t h e ri m a g e so ft h ep r o c e s so fs p l i c i n g ，a e r i a l i m a g em o s a i ci n c l u d i n gr e g i s t r a t i o na n ds e tat w o s t e p ，w h i c hi st h ec o r eo fi m a g e r e g i s t r a t i o n a f t e ry e a r so fd e v e l o p m e n t ，t h e r eh a sb e e nal o to fr e g i s t r a t i o nm e t h o d s ， s u c ha st h e g r a y - r e l a t e dl a w s ，p h a s ec o r r e l a t i o n ，f e a t u r e b a s e d m e t h o d s t h e f e a t u r e b a s e da p p r o a c hi nt h ef i r s tt w oi n p u ti m a g e sw e r ee x t r a c t e dw i t ht h ei n v a r i a n t f e a t u r e s ，a n dt h e ns e a r c ht h r o u g ht h ec o m p a r i s o nh a sb e e naf e a t u r eo ft h em a t c h p o i n t sa n dt a k ea d v a n t a g eo ft h e s ef e a t u r e so nt h er e l a t i o n s h i pb e t w e e nt h ee s t i m a t e d g l o b a lt r a n s f o r m a t i o np a r a m e t e r s ，w i t ht h ef i n a le s t i m a t eo f t h em o d e lw i l lt r a n s f o r m t h et w oi m a g e st oac o r r e c t i o no nt h es a m ep l a n ei no r d e rt oa c h i e v er e g i s t r a t i o n c o m p a r e dt oo t h e rm e t h o d s ，b a s e do nt h ec h a r a c t e r i s t i c so ft h er e g i s t r a t i o nm e t h o d c a nb em o r et o l e r a n to fd i f f e r e n c e si ni m a g e ，c o n t r i b u t et ot h es t a b i l i t yo fa c c e s st ot h e r e s u l t so ft h er e g i s t r a t i o n i nt h i sp a p e ha e r i a li m a g es e q u e n c es t i t c h i n gp r o b l e m ，b a s e do nas c a l e - i n v a r i a n t f e a t u r e so ft r a n s f o r m a t i o n ( s i 丌) f e a t u r e sa na u t o m a t i cs p l i c i n gm e t h o d ，i n c l u d i n g t h em a i ni m a g em o s a i ca n dat w o - s t e pp r o c e s s a st h es e q u e n c eo ft h ea e r i a lf r a m e t h e r ei sab i gd i f f e r e n c eb e t w e e nt h ei m a g ea n dt h e r e f o r eb a s e do nc o m m o n c h a r a c t e r i s t i c so ft h ep o o ra p p l i c a b i l i t yo ft h er e g i s t r a t i o nm e t h o d ，w h i c hm a d eu s eo f t h es i f tf e a t u r e st oa c h i e v ea c c u r a t e ，r o b u s ta e r i a li m a g er e g i s t r a t i o n f u r t h e r , ac o l o r b a s e do nv i s u a lc h a r a c t e r i s t i c so ft h ew a y st oa c h i e v eas m o o t hi n t e g r a t i o no ft h e m o s a i ce f f e c t f i n a l l y , t r u et ot h ea e r i a ls e q u e n c e ss p l i c i n ge x p e r i m e n t st ov e r i f yt h e v a l i d i t yo ft h ep r o p o s e dm e t h o d s k e y w o r d s ：u n m a n n e da e r i a lv e h i c l e s ，a e r i a li m a g e r y , i m a g em o s a i c ，s i f ta l g o r i t h m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞洼王些太堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 靴黻储戳：名i 峄婵嗍：垆朋而 学位论文版权使用授权书 本学位论文作者完全了解云注王些太堂有关保留、使用学位论文的规定。 特授权云洼王些太堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 一期沙9 7 年y 月疗日 t 霉詈灰 签字日期：卵健 月日 学位论文的主要创新点 一、将一种基于尺度不变特征变换( si f t ) 的自动拼接方法应用于航拍 图像序列拼接问题。并通过对真实航拍图像序列进行拼接实验，取得 了良好的拼接效果。 二、特征匹配是整个图像拼接的关键，结合课题的实际背景，本文设 计了一种自动获取图像间对应特征的匹配方案。该方案以提取到的角 点作为匹配对象。最后利用该方案实现了特征匹配，收到了满意的效 果。 第一章绪论 1 1 图像拼接技术概况 第一章绪论弟一早三：百了匕 图像拼接技术，也称为图像镶嵌( m o s a i c ) 技术，就是将一组重叠图像集合 拼接成一幅大型的无缝高分辨率图像。其目的是将一系列真实世界的图像拼接 成一幅单一的、更大的、更复杂的大型场景。图像拼接技术是一种利用计算机 表示真实世界的有效方法，通常参与拼接的真实世界的序列图像有一定程度的 重叠，采用图像拼接技术，可以剔除冗余信息，压缩信息存储量，从而更加客 观而形象有效地表示真实世界。 高质量的图像拼接不但要求具有良好的视觉效果，而且还要尽可能的保持 图像的光谱特征，即所谓“无缝”，特指图像的几何和辐射的连续性。 1 1 1 图像拼接技术的主要内容 自动建立大型、高分辨率的图像拼接技术是复杂的，多学科交叉的处理技 术，一直是摄影测量学、计算机视觉、图像处理和计算机图形学的活跃研究领 域。图像拼接技术主要包括以下内容： ( 1 ) 经典的图像处理技术，如：图像变换、边缘提取、图像增强等。 ( 2 ) 图像配准技术，图像配准( i m a g er e g i s t r a t i o n ) 是指同一目标的两幅( 或 者两幅以上) 图像在空间位置上的对准。图像配准的技术过程，称为图像匹配 ( i m a g em a t c h i n g ) ，或者图像相关( i m a g ec o r r e l a t i o n ) 【。 ( 3 ) 矩阵理论和空间几何学，图像拼接技术实质上是像素进行空间搬移的 过程。 ( 4 ) 数据的重采样、插值技术。 ( 5 ) 图像拼接集成技术，主要有全局对齐、图像融合、边缝消除技术【引。 当然还涉及了数值计算、模式识别、最优化方法、神经网络等领域的技术。 其中图像配准技术是整个图像拼接技术体系中的核心技术。空间几何学和矩阵 理论是图像拼接技术的应用数学基础，非线性最优化方法是图像拼接技术性能 提高的热门研究方向。 1 1 2 图像拼接技术的分类及实现算法的概况 图像拼接技术源于摄影学。在照相机发明以后，数字图像处理技术没有广 泛应用以前，需要由专业人员把两幅或者多幅图像拼接在一起，以克服相机的 天津二r ：业大学硕士学位论文 视野小于人类视野的缺点。随着数字摄像技术、卫星技术和遥感技术的发展， 当人们开始获得人造卫星传回地球的图片时，也常常采用图像拼接的办法来获 得大视野的全景图。拼接也是重建和投影的基础。在虚拟现实技术中，经常用 到形成数字全景图的图像拼接技术。除了以上在计算机视觉和计算机图形学的 应用以外，近来的应用还包括视频检索、变化检测、图像稳定性分析等。 由于图像拼接技术涉及的领域非常广泛，研究的目的、方式各有不同，迄 今为止还没有一个统一的分类方式，这里分析总结出三种比较流行的分类： ( 1 ) 根据自动化程度，图像拼接技术可分为：半自动拼接技术和全自动拼 接技术。半自动拼接技术主要采用人机交互的方式完成特征的提取，然后用计 算机完成其他关键步骤；全自动拼接技术不需要人为干预，全部由计算机完成。 目前为止，性能优越、鲁棒性好的全自动拼接技术得到了人们越来越多的关注。 ( 2 ) 根据摄像机的运动方式，图像拼接技术分为平面图像拼接技术和全景 图拼接技术。常见的全景图有：柱面全景图，球面全景图两类，很多拼接配准 问题都是基于这两类全景图的。 ( 3 ) 根据二维曲面即流形( m a n i f o l d ) 的确定方式，图像拼接技术可分为两 大类：基于自适应流形的图像拼接技术和基于人工流形的图像拼接技术。基于 自适应流形的图像拼接是由视频序列提取的条形图产生。基于人工流形的图像 拼接是由整幅图像的拼接对齐产生。后者是本课题研究的重点。基于人工流形 的图像拼接技术又可分为：局部对齐技术和图像拼接的集成技术。 下面以( 3 ) 的分类方式来简述图像拼接的技术发展情况。 局部对齐技术是指把两幅重叠图像拼接对齐的技术。图像配准( i m a g e r e g i s t r a t i o n ) 中很多方法都是针对两幅图像的。最典型的是基于灰度的空间相关 法、基于图像变换的变换域相关法、基于特征的对应点映射法和基于特征线的 对应线映射法。近来发展的运动估计法主要应用于视频图像序列的对齐。其中， 空间相关法、变换域方法主要应用在平面图像拼接，基于特征的方法多用于全 景图等景物的表示技术。 7 空间相关法( 也称模板匹配法) 是一种简单的搜索方法，它寻找重叠图像对 应部分的强度积之和达到最大值的平移量。该方法运算量大，速度慢，适合小 窗口图像拼接。同时，也由于其算法简单，结果可靠，稳定性好，仍有大量研 究者使用。通过针对特殊领域的相应修改，与最新的智能方法结合，改变搜索 策略【3 1 ，空间相关法仍发挥着巨大的作用。值得一提的是，很多自动拼接技术 中的粗匹配都是基于改进的空间相关法。 变换域相关方法，传统上主要指傅立叶方法。傅立叶方法利用了傅立叶变 换的优点：函数平移、旋转、变尺度等都在频率域中有相应的表示阈。同时， 第一章绪论 在变换域中图像还能获得在空域中很难获得的其它特征。傅立叶方法有准确率 和自动化程度高等优点，但也有计算量大以及受噪声干扰影响大的缺点，在有 专门硬件支持下，性能可以得到充分的发挥，适合多传感器和光源变化采集的 图像拼接。基于h o u g h 变换的匹配也成为一种可行的变换域方法，但在算法精 度和运算速度上还有待提高。 基于特征的方法是通过提取图像的特征进行匹配拼接。通过对图像中关键 信息的提取，可以大大减少匹配过程的计算量，通过特征提取过程还可以减少 噪声的影响，对图像的灰度变化、图形形变以及遮挡等都有较好的适应能力。 根据提取的不同特征，基于特征的方法包括：特征点映射法、特征线映射 法和特征区域映射法。特征的选择视不同的图像确定，比如：遥感图像线状特 征明显，而现实景物和很多航拍图像特征点的信息比较丰富。 特征点映射法是最常用的基于特征的方法，适用于相机平移和旋转角度大 的情况。在这种情况下，图像的对应关系很难自动生成，因此需要一组对应点 映射来求解图像问的变换。特征点既可以人工指定，也可以自动提取。研究鲁 棒性的自动提取技术己经成为特征点映射法的趋势。应用特征点映射方法还需 要考虑两种匹配：点一点匹配和点集合匹配。利用点一点匹配算法可以得到较高 的匹配精度，但算法复杂度高，很难达到实时的要求。因此，需要确定搜索空 间和选择合适的搜索策略，常用到：分层技术、序列判决、松弛算法、线性规 划等。点集合匹配一般应用h a u s d o r f f 距离作为点集间差异的度量。h a u s d o r f f 距离定义为两个点集之间的距离，可以容忍点位置的不准确性，以及多点( 干扰 点) 或少点( 不好的点特征抽取算法的结果) 等误差。特征点映射法还需要考虑粗 略匹配问题1 5 1 ，双向约束问题，特征点寻优问题【6 】，最后采用最小二乘法等技术 求解，用各种优化方法进行优化处理。图像拼接的集成技术在局部对齐后，为 了构成一个大的图像需要将所有图像变换到一个图像序列的参考帧上，然后才 能进行最后的合成使之成为一个大的视图。传统上，主要指消除“拼接缝 的 技术。简单情况下，可以通过颜色插值或者多分辨率样条技术来解决，也可以 用小波变换等方式解决。在复杂情况下，如噪声明显，形变严重，求解远离参 考帧图像到参考帧变换导致累计误差明显，在最终的拼接中表现为明显的偏差 和重影。这就需要对图像拼接技术进行细分，产生更加现实可靠的策略。文献 【2 】把图像拼接技术分为：全局对齐技术和图像融合技术。前者调整空间位置消 除“拼接缝 ，后者调整亮度、光强等消除“拼接缝”。 1 1 3 图像拼接技术的研究现状 在早期，为了获得一个场景的全景照片，人们采用的一种方法是直接利用 天津1 ：业大学硕十学位论文 全景照相机直接拍摄获取全景图像，如m e e h a n 提出了一种利用全景照相机将 拍摄的图像记录在长的胶片上直接获取一个柱面全景图的方法1 7 j 。x i o n gy 和 t u r k o w s k i 利用自标定的鱼眼镜头拍摄全景图片来构造虚拟场景悼j ，n a y a 利用具 有折反式和全反式光学系统的相机来拍摄全景图1 9 】，虽然上述这些方法可以直 接通过相机拍摄获取场景的全景图像，但是均需要昂贵的硬件来支持，不适用 于普通用户，而且所拍摄的图像一般都具有一定的形变。另一种方法就是本文 所提到的图像拼接技术。 迄今为止，国内外学者提出了多种获取全景图像的图像拼接方法，各种方 法都是面向一定的应用领域，具有各自的特点。r s z e l i s k i 和j c o u g h l a n 1 0 j 采用 2 d 空间上八参数的投影变换模型来进行图像的配准，用搜索参数空间的办法来 获得变换参数，虽然采用了一定的优化策略，但是其拼接速度还是较慢。s m a n n 和r i c a r d 用双线性模型来逼近投影变换模型，同时利用光流场求最小均方误差 的方法求解参数，从而实现无特征点对应的图像拼接，能够比较快速有效的获 得拼接结果。p e l e g 和h e n n a n u 】利用m a n i f o l dp r o j e c t i o n 来拼接手持摄像机生成 的视频，其核心技术就是利用仿射模型或者伪投影变换模型来配准图像，同时 讨论了最后拼接图中重叠部分合成的技术。j r b e r g e n t l 2 ，1 3 】和m i r a n i t l 4 】用 l a p l a c i a n 金字塔逐步求精，用高斯牛顿法迭代求出2 d 伪透射模型的参数。 m 1 r a n i 和b r o u s s o l l 5 , 1 6 】改进了上面的方法，引进层次的概念，使其能够作适当 的前景和背景分离的工作。以上这些方法均可以看成是采用了点一点模型，没 有考虑图像的深度参数。m o r i m o t 和c h e l l a p p a 。7 j 提出了一个快速的3 d 视频镶 嵌系统，利用一些特征对应点和扩展的k a l m a n 算子估计帧间的三维运动。该 系统经测试在d a t a c u b em v 2 0 0 平台上能够较快的实现3 d 视频拼接。s h u m 和 s z e l i s k i t l 8 】提出了一种全局对齐策略，它们也是基于特征点对应，可以实现存在 较大位移的图像对齐，可以用于直接对齐视频的最后一帧和第一帧。不过，适 用领域是近似在一个摄像点的情况下，即摄像机不能有平移。r a k e s hk u m a r 埘j 把3 d 的视频拼接技术分成为2 d 和立体视差顺序估计以及2 d 和立体视差同时 估计两类，并且比较各自的优劣。a n a n d a n ，k u m a r 和s a w h n e y 等人在构建完整 的虚拟场景空间时均涉及到视差和深度信息的恢复1 2 0 j 。以上这些方法属于点一 线模型，在进行图像拼接时，进一步考虑了图像像素点的深度，采用这一类方 法一般都要求解摄像机的内外参数，涉及到摄像机的定标这类复杂问题，在实 际应用中受到限制，所以本文主要研究的是前一种图像拼接技术，即点一点模 型。 第一章绪论 1 2 无人机航拍图像 随着计算机技术的发展，数字摄影测量已经成为当今遥感影像处理的重要方 法，数字摄影测量的4 d 产品主要有d o m 、d e m 、d r g 、d l g 等，d o m 的制作 是我们关心的首要问题，其生产过程主要包括：内定向、相对定向、绝对定向、 d e m 生成、m 输出、镶嵌拼接等过程。目前，数字摄影测量绝大多数采用的 是有人机航空摄影影像，使用专业的航空摄影系统进行处理，良好的影像姿态保 证了数字摄影测量的自动化进行。无人机低空遥感系统主要由小型飞行平台、自 动飞行控制系统、遥测遥控系统、遥感设备( 数码照相机) 、地面站等几部分组成。 无人机遥感系统是一种高机动性、低成本的小型化的低空遥感系统，具有高分辨 率遥感影像获取和对地快速实时调查监测能力，应用广泛。但由于荷载、成本等 限制，无法装载高精度的导航系统、平衡控制系统，飞行姿态无法精确确定、记 录。使得遥感影像的自动化处理效率很低，其主要原因在于相邻像片之间的同名 点识别，即影像匹配难以自动化进行。航拍图像序列自动拼接是指将一组内容上 相关的航拍图像自动拼接为一幅能够更为全面描述场景内容的全景图像的过程。 鉴于视觉系统中存在的分辨率与视场范围之间的固有矛盾，为了保证较高的分辨 率，单幅的航拍图像对应的场景区域通常较小，不利于准确、全面地观察和分析 地面场景。而航拍图像自动拼接技术正是解决这一问题的有效途径。它有着广阔 的应用前景，如利用拼接结果快速生成数字地图、为城市规划和战场态势评估提 供依据等。与其他图像的拼接过程一样，航拍图像拼接主要包括配准和镶嵌两个 步骤，其中的核心是图像配准。经过多年发展，人们已经提出了很多配准方法， 如灰度相关法、相位相关法、基于特征的方法等。其中，基于特征的方法首先在 两幅输入图像中分别提取具有不变性的特征点，然后通过搜索比较得到一组匹配 的特征点对，并利用这些特征对之间的对应关系估计出全局变换参数，最后借助 估算出的变换模型将两幅图像校f 到同一平面上，从而实现配准。相对于其他方 法，基于特征的配准方法能够容忍更大的图像差异，有助于获取稳定的配准结果。 而且，由于所提取的特征点个数一般远小于图像中的像素数，所以基于特征的方 法通常也有助于加快配准过程的运算速度。但当前已有的基于特征的图像配准方 法，存在一个共同的问题：它们所采用的特征点的不变性一般较差，特别是通常 并不具备对仿射或透视投影变换的不变性。而航拍图像序列是由处于飞行运动中 的机载成像设备拍摄的，相邻帧之间往往存在着复杂的几何变换关系。因而使用 这些传统的特征点提取方法一般难以取得满意的配准效果。1 9 9 9 年，l o w e 提出 了s i f t 方法，并于2 0 0 4 在文献【2 1 】中改进了这一方法。s i f t 方法所提取的特征点 不仅对图像缩放、平移和旋转变换具有不变性，而且对光照变化以及复杂的仿射 天津工业大学硕士学位论文 和投影变换也具有部分不变性，非常适合于处理航拍图像序列。成像仪采用了多 路c c d 摄像头同步成像的方式。为获取多光谱图像，在每个探测器镜头前配置 了不同波段的窄带带通干涉滤光片，并可根据任务需要更换。为了达到图谱合一， 多路摄像头需要有峰固的共用平台，机械上应对多路独立光学系统作高精度的校 准。但是目前使用的支架机构调节精度有限；加上各通道使用的镜头实际参数的 微小差异、各镜头成像畸变程度的微小差异、滤光片的更换给光学参数带来的细 微改变等影响因素，导致实际中获取的各波段图像直接重叠会有3 - 5 个像素左 右的偏差。 第二章图像特征点提取的相关技术介绍 第二章图像特征点提取的相关技术介绍 2 1 图像特征提取概述 基于特征的图像配准方法是图像配准中最常见的方法之一。它不是直接利 用图像像素值，而是通过像素值导出的符号特征( 特征点【2 2 】、特征线段【2 3 1 、特征 区域) 来实现图像配准。因此，可以克服利用灰度信息进行图像配准的缺点，主 要体现在以下三个方面： ( 1 ) 图像的特征点比图像的像素点要少很多，从而大大减少了匹配过程的 计算量。 ( 2 ) 特征点的匹配度量值对位置变化比较敏感，可以提高匹配的精度。 ( 3 ) 特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及 遮挡等都有较好的适应能力。 图像特征包括像素灰度特征、色彩特征、区域特征、纹理特征、轮廓特征、 边缘特征、角点特征等 2 4 1 。边缘特征和角点特征是两种较常用的特征。 2 1 1 边缘特征 边缘指的是图像中在且仅在某个方向上灰度急剧变化、而在另一个与其正 交的方向灰度变化平缓的像烈弘2 6 1 。边缘特征可以更好的保持图像的结构信息， 同时很多角点提取算法也是基于边缘轮廓特征的。 在一维连续信号中，边缘定义为一阶导数最大或者二阶导数为零的地方。 在二维连续图像f 中，边缘是用图像梯度来定义的。梯度公式如式( 2 1 ) 所示： 町= 【芸，芸】a 石o ， ( 2 1 ) 边缘的方向与梯度方向垂直，边缘的强度决定于梯度的模值。 而在数字图像中，像素是离散的，此时我们使用两种思路来求梯度。第一 种思路是用具有差分性质的算子来近似代替求导运算，如s o b e l ，p r e w i t t ，r o b e , s 边缘检测算子瞄j 。第二种方法是使用参数化模型方法，由离散图像拟和一个连 续图像进而求梯度1 2 州，进而得到边缘位置所在。 下面介绍一下目前最常用的c a n n y 边缘检测算法【2 。c a n n y 提出了著名的 边缘检测三大评判标准，同时推导出在连续信号情况下边缘检测的最优解，并 天津1 i 业人学硕十学何论文 开发了一种实用的算法。该算法大体思路是：先对图像进行高斯平滑以滤除噪 声，然后沿着梯度方向进行非极大值抑制，并使用累计直方图计算两个阂值。 边缘的最终判定：凡是大于高阈值的则认为是边缘；凡是小于低阀值的则认为 不是边缘；如果大于低阈值但又小于高阈值，那就要看这个像素的邻接像素中 有没有超过高闻值的边缘像素：如果有的话那么就认为是边缘，否则就不是边 缘。通过修改高斯平滑窗口的大小和更改两个阈值可以实现不同的边缘检测和 噪声抑制能力。当高斯平滑窗口较大时，噪声被较大程度上抑制，检测出的边 缘较纯净，噪声少，但定位不准，同时损伤了细节信息；而当高斯平滑窗口较 小时正相反。 2 1 2 角点特征 基于图像特征线段或特征区域的方法很大程度上依赖于图像的分割和边缘 提取，这两种操作本身就具有相当大的难度和计算量，况且一旦待检测目标局 部发生变化( 例如被部分遮挡或特征线断裂) ，m 4 l e 可能导致图像的分割和边缘 提取操作的失败，使得配准算法的效率和稳健性不高，所以制约了这些方法的 适用范围。基于角点的图像配准方法则避开了上述缺陷，它考虑的是像素点邻 域的灰度变化，而不是整个目标的边缘轮廓，因而使用角点的方法可以实现较 好的图像配准效果。在各种特征中，特征点是一种稳定的、旋转不变、能克服 灰度反转的有效特征。在匹配中应用特征点既可以减少参与的计算量，同时又 不损失图像的重要灰度信息，而且对于不相似影像匹配还可以进行部分相似的 匹配。 对于特征点目前尚无明确的定义。在有些文献中又被称为兴趣点、显著点 等等。以点的位置来表示的点特征是一种最简单的图像特征。事实上，特征点 既是一个点的位置辨识，同时也说明它的局部域具有一定的模式特征。文献l 硎 经过对已经报道的特征点应用文献的研究，将特征点分为了两类：狭义特征点 和广义特征点。狭义特征点的位置本身具有常规的属性意义，比如说角点、交 叉点等等。而广义特征点是基于区域定义的，它本身的位置不必具备特征意义， 它只代表满足一定特征条件的特征区域的位置。广义特征点可以是某特征区域 的任一相对位置。这种特征可以不是物理意义上的特征，只要满足定的数学 描述就可以，因而有时是抽象的。因此，从本质上说，广义特征点可以认为是 一个抽象的特征区域，它的属性就是特征区域具备的属性。称其为点，是将其 抽象为一个位置概念。在己报道的文献中，用在计算机视觉、模式识别和图像 配准的特征点基本都是狭义特征点，而广义特征点则多是针对图像配准的。 特征点一般是图像中易于确定的特殊点比如角点、直线交叉点、t 型交汇 第二章图像特征点提取的相关技术介绍 点、高曲率点以及特定区域的中心、重心等等。从来源上讲有三个方面： ( 1 ) 边缘提取上的特征点。 ( 2 ) 区域分割上的特征点。 ( 3 ) 直接来源于灰度的特征点。 一些文献中提到控制点，所谓控制点是根据专家经验指定的一些重要的点 或者是可自动检测到的几何上明显的特征点。由此可以看出控制点也就是特征 点。但是在有些文献中认为在建立特征点之间的对应关系后将正确匹配的特征 点对( 形象地称为同名点对) 中的点称为控制点。 提取特征点的算法有很多，本文将在随后2 2 及2 3 两节中详细介绍其中比 较著名的h a r r i s 和s u s a n 算子的原理及其有缺点，并设计了自己的改进算法。 2 2h a r r i s 算子 h a r r i s 算子是c h a r r i s 和m j s t e p h e n s 冽在1 9 8 8 年提出的一种基于信号的 点特征提取算子。这种算子受信号处理中自相关函数的启发，给出与自相关函 数相联系的矩阵m ，m 阵的特征值是自相关函数的一阶曲率，如果两个曲率值 都高，那么就认为该点是点特征。 h a r r i s 算子是一种有效的点特征提取算子，其优点总结起来有： ( 1 ) 计算简单：h a r r i s 算子中只用到灰度的一阶差分以及滤波，操作简单， 且不需设置阈值，整个过程的自动化程度高。 ( 2 ) 提取的点特征均匀而且合理：h a r r i s 算子对图像中的每个点都计算其 特征值，然后在邻域中选择最优点。实验表明：在纹理信息丰富的区域，h a r r i s 算子可以提取出大量有用的特征点。而在纹理信息少的区域，提取的特征点则 较少。 ( 3 ) 可以定量的提取特征点：h a r r i s 算子最后一步是对所有的局部极值点 进行排序，所以可以根据需要提取一定数量的最优点。 h a r r i s 算子在计算时只用到了图像数据的一阶导数，而且不涉及阈值。因 此对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。h a r r i s 算子已在文献【2 9 l 中被证明，即使存在有图像的旋转、灰度的变化、噪音影响和 视点的变换，它也是最稳定的一种点特征提取算子。 2 2 1h a r r i s 算法 h a r r i s 角点检测算法是在m o r a v e c 算法基础上提出的。m o r a v e c 角点检测算 法的思想是：在图像中设计一个局部检测窗口，当该窗口沿各个方向作微小移 天津工业大学硕士学位论文 动时，考查窗口的平均能量变化，当该能量变化值超过设定的阈值时，就将窗 口的中心像素点提取为角点，记像素点( x ，y ) 的灰度为f ( x ，y ) ，图像的每个像素 点( x ，y ) 移动( u ，v ) 的灰度强度变化表示为： e “矿( 工y ) 一芝既。i f ( 工+ “y + y ) 一( 上y ) 】2 ( 2 - 2 ) 其中像素的移动( u ，v ) 取值为( 1 ，0 ) ，( 1 ，1 ) ，( o ，1 ) ，( 一1 ，0 ) ，( 一1 ，- 1 ) ，( 0 ，1 ) ，( 1 ，一1 ) ，显 然m o r a v e c 算法只检测了窗口函数在八个基本方向上移动的强度变化，不能准 确提取出全部角点而且对孤立像素点、噪声和边缘都较为敏感。算法中定义的 角点响应函数为c ( xy ) = m i n ( e u v , ( xy ) ) ，也因此不具有旋转不变性。 为改进m o r a v e c 算法，h a r r i s 通过微分运算和白相关矩阵来检测角点微分 算子能反映像素点任意方向上的灰度强度变化，因而能够有效地区分角点和边 缘，所以用微分算子重新定义了厌度强度变化的公式，这样使角点检测算子具 有旋转不变性，同时h a r r i s 检测算法选取高斯函数为检测窗口，对图像进行平 滑滤波再提取角点，对噪声有一定的抑制作用。 瓦oy ) - e w 。v t l ( x + “y + v ) - ( x _ ) ，) 】2 。皑+ y y + 。 2 + y 2 ) 】2 “ ( 2 3 ) 基于特征性质的分析，h a r r i s 和s t e p h e n s 在h m o r a v e c 工作的启发下，把 f o ) 转化为矩阵形式的m ( i ) 。这里m = m ( i ) ，m 定义为 州v f ) ( v f ) r m 叫矗笛 ， 这个矩阵m 可以解析地表达边缘特征和点特征的性质。 权重函数，它能保持原图像的质量。于是可以得到： m = g 水m 假设g 0 是一个 ( 2 5 ) 在理想的边缘，所有点的梯度在同一个方向上。所以m 的一个特征值是q ， 另一个特征值是正数而且很大。在真实的边缘，m 有一个小的和一个大的特征 值。 在理想的特征点，点的梯度是直角方向的，因此有两个同样大的正数特征 值。在真实的特征点，两个特征值都很大，且大小基本一致。为提取特征点， 第二章图像特征点提取的相关技术介绍 h a r r i s 等构造了表达式： r 胁m d e tm 一一k ( f ，厅) 2 ( 2 6 ) 这里d e tm 是矩阵m 的行列式( d e tm = a ，蚴；t r 是矩阵m 的迹；k 是一个 大于零的参数，建议取k = 0 0 4 ，h a r r i s 算子具有很好的旋转和仿射不变性。对 于图片的亮度变化，视角变化和噪声的影响都具有较好的鲁棒性。 2 3s u s a n 算子 1 9 9 5 年英国牛津大学的s m s m i t h 在“s u s a n 一an e wa p p r o a c ht ol o w l e v e li m a g ep r o c e s s i n g 一文中介绍了一种新算法，s u s a n 是最小吸收核同值 区( s m a l l e s tu n i v a l v es e g m e n ta s s i m i l a t i n gn u c l e u s ) 的首字母缩写。s u s a n 算予 是一种基于狄度的特征点获取方法，适用于图像中边缘的检测、角点的检测， 可以去除图像中的噪声，它具有方法简单、有效、抗噪声能力强的特点，计算 速度快，适用于图像特征提取。 2 3 1 s u s a n 算法 梗媛接值 摸簸速界 图2 1s u s a n 图形模板图 l l 天津：l ：业人学硕十学位论文 图2 1 显示了一个在白色背景下的黑色的长方形，图中a ，b ，c ，d ，e ，f 六个位 置分别是六个圆形的模板在图像中不同的位置，窗口的中心被称之为“核”。窗 口中所有具有与核相同或相似灰度的像素，把这些像素构成的区域称为u s a n ( u n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ) 。由图2 1 可以看出，u s a n 区域包含 了重要的图形结构的信息，在灰度平坦的区域内，u s a n 区域取最大值，越靠 近边缘，u s a n 区域越小。当模板的中心位于边缘时，u s a n 区域为最大值的 一半，当模板靠近角点时，u s a n 区域迸一步减小为最大值