（信息与通信工程专业论文）航拍图像自动拼接方法研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 航拍图像在空中检测预警、灾害控制、数字地图生成、军事侦察、目标跟踪 与无人机辅助导航等方面具有十分重要的应用价值，而航拍图像自动拼接技术在 其中起着关键作用。 航拍图像的特点是多视点、大视场。要实现航拍图像自动拼接，难点在于特 征点的选取、匹配和整体优化校正。 文章分析了基于特征和基于区域的两种特征点匹配方法的优缺点，采用s i f t 方法提取和匹配航拍图像特征点，根据航拍图像特点对s i f t 算法进行了简化，并 利用块匹配法对特征点对准确化。针对航拍图像视点离散、视角变化有一定规律 的特点，引入了适用于相机任意运动的模型，利用非线性l m s 对模型参数进行估 计。多幅图像拼接累积误差不可忽视，文章分析了累积误差产生的原因和传递， 根据捆绑调整整体优化策略，提出了带周期约束的航拍图像全局对齐方法。实验 表明，这种方法拼接效果较好，能有效减少累积误差。 主题词：图像拼接相机运动模型捆绑调整全局对齐 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t r a c t a e r i a li m a g eh a sm a n yp e r s p e c t i v ea p p l i c a t i o n s s u c ha se a r l yw a r n i n gd i s a s t e r c o n t r o l ，d i g i t a lm a pg e n e r a t i o n ，m i l i t a r yr e c o n n a i s s a n c e 、t a r g e tt r a c k i n ga n d u a v a i d e d n a v i g a t i o ne t c a u t o m a t e dm o s a i ct e c h n o l o g yo fa e r i a li m a g ep l a yak e yr o l e t h ec h a r a c t e r i s t i c so fa e r i a li m a g ea r ed i f f e r e n tv i e wp o i n t s ，l a r g ev i e ws c e n e t h e d i f f i c u l t yo fa u t o m a t e ds t i t c h i n go fa e r i a li m a g ea led e t e c t i o na n dm a t c h i n go ft h e f e a t u r ep o i n t sa n dg l o b a lo p t i m i z a t i o na d j u s t m e n t b a s e do nt h ea n a l y s e so ft h ea d v a n t a g ea n dd i s a d v a n t a g eo ft h em e t h o do fa r e a - b a s e da n do ff e a t u r e b a s e d ，w ec h o o s et h em e t h o do fs i f tt od e t e c t i o na n dm a t c h i n g a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fa e r i a li m a g e ，w es i m p l i f yt h ew o r kf l o wo fs i f t m e t h o da n di n t r o d u c et h em e t h o do fb l o c k - b a s e df o rp r e c i s i o no ft h ef e a t u r ep o i n t d u e t ot h ed i s p e r s ea n dr e g u l a ro fv i e wp o i n t sa n dt h ev i e wa n g l eo fa e r i a li m a g e ，w e i n t r o d u c em o v e m e n tm o d e lw h i c hb ea p p l yf o ra n yc h a n g ea n du s en o r - l i n e a rl m s m e t h o dt oe s t i m a t i n gp a r a m e t e r s t h ec u m u l a t e d e r r o ri sai n e s c a p a b i l i t yp r o b l e mf o r t h em o s a i co fm a n yi m a g e s b a s e do nt h ea n a l y s e st h eg e n e r a t i o na n dt r a n s f e ro ft h e c u m u l a t e d - e r r o r , t h es t r a t e g yo fb u n d l ea d j u s t m e n ta n du n i t a r yo p t i m i z a t i o ni sag o o d s o l u t i o n w ei n t r o d u c et h em e t h o di n t e g r a t i o nr e g i s t r a t i o no fw i t ht h er e s t r i c t i o n t h e r e s u l t so fe x p e r i m e n tp r o v et h a ts u c ha l g o r i t h mi se f f i c i e n ta n dm i n i s ht h el e s s a c c u m u l a t i n ge r r o r s k e yw o r d s ：i m a g em o s a i c b u n d l ea d j u s t m e n t c a m e r am o t i o nm o d e i g l o b a lr e g i s t r a t i o n 第i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图2 1s i f t 特征提取流程1 2 图2 2s i f t 特征点检测过程示意图1 2 图2 3s i f t 特征描述子生成示意图1 4 图2 4s i f t 特征提取示意图15 图2 5s i f t 特征点匹配结果1 5 图2 6 块匹配算法原理图1 6 图2 7 本文的特征匹配结果2 0 图3 1 两个相机从不同视角获取图像的模型2 3 图3 2 世界坐标系到相机坐标系的旋转关系2 4 图3 3 投影变换的两种形式2 5 图3 4 图像校正示意图2 6 图3 5 航拍图像成像过程2 8 图3 68 参数投影变换模型原理框架图3 0 图3 7 算法流程图3 3 图3 8 只利用特征点配准效果图3 4 图3 9 变换优化法配准效果图3 5 图4 1 摄像机姿态角变化。4 2 图4 2 单个外方位元素引起的图像变换4 3 图4 3 六幅图像全景图的理想拼接4 5 图4 4 基于特征匹配对的捆绑调整算法原理4 6 图4 5 最优化标准示意图：4 8 图4 6 最小化对应点之间的距离4 8 图4 7 本文所要拼接的航拍图像位置关系示意图4 9 图4 8 带约束的图像递推拼接示意图5 2 图4 9 共轭方向法流程图5 8 图5 1 航拍图像自动拼接系统功能模块5 9 图5 2 特征提取与匹配模块流程图6 0 图5 3 两个周期整体调整拼接模块流程图6 0 图5 4 航拍图像多周期自动拼接算法流程图6 l 图5 5 广州卫星遥感实验图像6 3 图5 6 广州卫星遥感图像前两个周期拼接效果图6 4 图5 7 广州卫星遥感图像前三个周期拼接效果图6 4 第页 国防科学技术大学研究生院硕十学位论文 图5 8 台北卫星遥感图像第一个周期拼接结果6 5 图5 9 台北卫星遥感图像前两个周期拼接结果6 5 图5 1 0 台北卫星遥感图像六周期拼接结果6 6 图5 儿“校园操场”实验图像6 7 图5 1 2 操场实验数据六周期拼接结果。6 8 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他入已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题乱鸯逝堕盘重塾蓟造查邀盟 学位论文作者签名：墨出! 迎日期：刀呵年月争日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：遵垂担国鱼勤查迹垫至殳窒 学位论文作者签名： 里迅邀 作者指导教师签名：鳓 日期：加了年“月f 争日 日期：埘年7 f 月乒日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 研究背景 自动构建大视场超高分辨图像是摄影测量、计算机视觉、图像处理和计算机 图形学领域的热点问题。在计算机视觉领域，图像拼接技术( m o s a i c s ) 是场景表 示技术的一部分，完整的场景表示还包括深度或视差信息的恢复。在计算机图形 学中，图像拼接在基于图像的绘制技术中起着重要作用。 图像拼接技术的目标是由一组实际图像( 或预先绘制的图像) 迅速绘制具有 照片真实感的新视图。图像拼接技术有很多应用，它包括传统的由图像集合建立 大型航空和卫星照片。近来的应用如视频检索、图像的稳定性、变换检测、视频 压缩、增大相机的视野和分辨率，甚至能做简单的照片编辑。目前流行的应用是 数字全景图像拼接，它可以应用于建立虚拟现实环境。 图像拼接技术就是将一组重叠图像的几何拼接成一幅大型的无缝高分辨率图 像。它最早来源于人类的摄影知识，当相机的视野小于人类的视野时，人们自然 考虑到将多个照片拼接成一幅大的照片以增强相机的视野。随着数字摄像技术的 发展，人们开始用于航空和卫星照片图像的拼接。近来图像拼接技术的研究扩展 到景物表示，它要求这些重叠图像通过平面投影变换相互关联起来，该变换将不 同图像坐标系上的点建立对应关系，通过变换和图像w a r p i n g 操作可以精确地建 立一幅大的图像以覆盖整个景物。目前这类图像拼接只能精确地表示两类图像集 合，一类是相机定点环绕拍摄的图像集合，另一类是相机拍摄的景物为平面景物。 通过在飞机等飞行器上面装载具有高分辨率的摄像装置，对地面场景和物体 进行拍摄，获得航拍图像。由于其拍摄距离远远大于地面的起伏变化，可以近似 认为所拍摄的景物在同一平面上。航拍图像序列自动拼接是将有一定重合区域的 航拍图像序列自动地拼接成视野范围较大的地面全景图像的过程。它能够弥补单 帧航拍图像分辨率低、视野范围小的缺陷，在空中监测预警、灾害控制、数字地 图生成、军事侦察、目标跟踪与无人机辅助导航、虚拟环境生成等方面，航拍图 像序列自动拼接技术具有重要的应用价值。 航拍图像自动拼接具有十分广泛的应用需求。例如在航空测绘、自然灾害控 制以及军事侦察等应用中，利用航拍图像序列自动配准技术将成像设备在飞行器 巡航时拍摄到的地面场景图像序列进行自动配准，结合图像融合方法进行拼接， 就可以得到感兴趣区域的一幅大尺寸、高分辨率的地面全景图。利用得到的地面 全景图，就可以进行大地测量、灾害趋势分析以及军事行动方案制定。 第1 页 国防科学技术大学研究生院硕士学位论文 1 2 图像拼接技术研究现状 图像拼接通常可以分成两个步骤：配准( r e g i s t r a t i o n ) 和融合( b l e n d i n g ) 。 配准的目的是根据几何运动模型，将图像变换到同一个坐标系中。配准也可以分 为两个步骤：局部配准和全局配准。局部配准是求解相邻两幅图像间的运动关系， 通常是求解二维平面运动关系：对应矩阵。全局配准是处理多幅图像拼接到一起 的误差累积问题以实现多幅图像的精确拼接。融合则是将配准后的图像合成为一 张大的拼接图像，需要将源图像的像素结合起来生成拼接平面上的像素，实现相 邻图像间的自然过渡。 对于图像融合部分，由于其耗时不太大，且现有的几种主要方法效果差别也 不多，所以总体来说算法上比较成熟。而图像配准部分是整个拼接技术的核心部 分，它直接关系到图像拼接算法的成功率和运行速度，因此配准算法的研究是多 年来的重点。 如果配准不准确，融合后就会产生双重图像( d o u b l ei m a g e ) 即鬼影( g h o s t i n g ) 现象，当图像上存在运动物体时也可能因为物体运动而导致融合时同一物体叠加 在一起产生双重图像，前者叫配准鬼影，后者叫融合鬼影。另外一个拼接中可能 会产生的问题是曝光差异( e x p o s u r e d i f f e r e n c e ) ，即由于图像间的曝光不同而造成 拼接图像上的明显的曝光瑕疵( a r t i f a c t ) 。鬼影和曝光差异是所有拼接算法要解决 的核心问题。 经过几十年的发展，人们针对不同的应用背景提出了许多图像配准方法。按 照实现配准的依据，图像配准方法可以分为：( 1 ) 基于特征的配准方法【1 】 ( 2 ) 基于区域配准方法。 基于特征的图像配准方法则使用图像中的点、边等视觉特征，或者不变矩等 计算特征作为配准依据【2 】【3 1 。近些年来，出现了很多图像特征能够较好的适应图像 变形、光照变化等情况，特别是l o w e 在2 0 0 3 年正式提出的s i f t 4 5 】特征， c h u n - r o n gh u a n g 等人提出的c c h 6 】等特征甚至能够适应图像存在尺度变化的情 况。这些特征的出现，使得越来越多的研究人员使用基于特征的方法来完成图像 配准工作【7 引。 基于区域的配准方法典型的算法是基于块的方法，通常使用待配准图像中预 定义的一个矩形模板或者整幅图像在参考图像中搜索匹配。因此基于块的图像配 准方法通常也被称为相关法或者模板匹配法。 9 1 0 1 1 】等文献中的图像配准方法 是这类方法的典型代表。这类方法的缺陷十分明显：它们不能够处理诸如图像变 形、光照、尺度变化等情况。而航拍图像序列中相邻帧之间存在明显的几何变形， 同时航拍图像所记录的场景内容十分复杂，并且存在一定程度的光照、色彩等差 第2 页 国防科学技术大学研究生院硕士学位论文 异。 1 2 - 1 基于特征的图像拼接算法 基于特征的拼接算法能够处理重叠区域小、图像之间有较大平移、旋转和尺 度变化以及存在运动物体的场合。这类算法通常有两种模式：特征匹配结合鲁 棒估计；特征不变描述子结合模式匹配。 一般而言，基于特征的图像配准流程主要包括四个步骤1 1 1 ： ( 1 ) 特征检测与提取。首先自动检测图像中突出或者独一无二的对象( 如边界 封闭的区域、边缘、轮廓、直线交点、角点等) 作为特征，然后使用其上具有代 表性的点来表示这些特征。这些点一般称之为控制点( c p s ) ，也称为特征点。 ( 2 ) 特征匹配。在这个步骤中，主要的工作是通过匹配得到参考图像与待配准 图像中匹配的特征点对。 ( 3 ) 变换模型估计。主要工作是通过上一步的特征匹配结果，估计待配准图像 到参考图像之间映射函数的类型和参数。 ( 4 ) 图像重采样与图像变换。在求解得到待配准图像到参考图像之间的映射函 数后，根据映射关系将待配准图像变换到参考图像所在的平面上。其中主要工作 要选择使用合适的插值算法处理那些变换后非整数坐标点上的像素点。 在图像配准工作中，图像特征匹配是指利用特征附近区域的像素灰度、特征 的空间关系或者特征的描述符来匹配或者其他方法来确定从参考图像和待配准图 像中提取出的特征之间的对应关系。 根据b a r b a r az i t o v a 的总结【l 】图像特征匹配算法一般分为以下三类： ( 1 ) 基于空间关系的特征匹配算法 基于特征空间关系的特征匹配方法通常应用在检测到的特征点存在歧义或者 这些特征的邻域存在变形失真的情况。这种特征匹配方法通常使用控制点之间的 距离和空间分布信息进行分配。 g o s h t a s b y 在文献 1 2 】中使用曲线匹配方法实现区域特征匹配。s t o c k m a n 等人 在文献 1 3 中提出使用聚类方法进行特征匹配。b a r r o w 等人在文献 1 4 】中提出了 d t 变换方法，b o r g e f o r 在文献 15 中对d t 方法进行了改进。 ( 2 ) 基于特征描述符的特征匹配方法 使用这类方法进行特征匹配，要求图像特征必须具备特征描述符，特征描述 符通常由特征所在位置指定大小的邻域窗口的统计特性决定，如s i f t 特征，c c h ( c o n t r a s tc o n t e x th i s t o g r a m ，对比度上下文直方图) 【9 】等。特征描述符一般需要 满足一些基本的条件，如不变性、唯一性、稳定性和独立性。不变特征符类型的 选择要取决于特征本身的特性和图像所假设的几何变形。 第3 页 国防科学技术大学研究生院硕士学位论文 在此类方法中，图像特征之j 刨的对应关系通过特征描述符的相似程度估计。 通常，参考图像与待配准图像中的匹配特征点对是其描述符最相似的一对特征点 组成的。 ( 3 ) 基于金字塔的特征匹配算法 金字塔算法是为了减小大幅图像计算量而采取的一种由粗到精匹配的方法， 在由上到下匹配过程中，不断估计和修正图像的模型参数以至于达到最好，其优 点在于可以迅速大范围上对齐图像然后在细节上不断改善图像的配准，这样大大 减小了整幅图像的配准计算量。近来，由于小波分解内在的多分辨率特性使其被 广泛应用在图像的金字塔配准方法中。 1 2 2 基于区域的图像拼接算法 基于区域的图像配准算法基本上可以分为两类：基于频域的方法( 相位相关 法) 和基于灰度级相似的方法。前者首先利用傅立叶变换将两幅待配准图像变换 到频域，然后通过它们的互功率谱直接计算出两幅图像间的平移矢量，从而实现 图像的配准。由于其具有简单而精确的特点，后来成为最有前途的图像配准算法 之一。但是相位相关法一般需要比较大的重叠比例( 通常要求配准图像之间有5 0 的重叠比例) ，如果重叠比例较小，则容易造成平移矢量的错误估计，从而较难 实现图像的配准。基于灰度级相似的方法是以两幅图像重叠部分所对应在r g b 或 c m y 颜色系统中灰度级的相似性为配准准则，自动寻找图像的配准位置。基于区 域的方法采用的思想较为直观，目前大部分的图像配准算法都可以归为这一类。 直接法主要是变换优化法，它首先建立两幅待拼接图像间的变换模型，然后采用 非线性迭代最小化方法直接计算出模型的变换参数，从而确定图像的配准位置。 该算法效果较好，收敛速度较快，但是它要达到正确的收敛，要求有较好的初始 估计。如果初始估计不好，则会造成图像拼接的失败。搜索法主要是以一幅图像 中的某些特征为依据，在另一幅图像中搜索最佳配准位置，常用的有比值匹配法， 块匹配法和网格匹配法。比值匹配法是从一幅图像的重叠区域中部分相邻的两列 上取出部分像素，然后以它们的比值作模板，在另一幅图像中搜索最佳匹配。这 种算法计算量小，但精度较低；块匹配法则是以一幅图像重叠区域中的某一块作 为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但 计算量过大；网格匹配法减小了块匹配法的计算量，它首先要进行粗匹配，每次 水平或垂直移动一个步长，记录最佳匹配位置，然后在此位置附近进行精确匹配， 每次步长减半，然后循环此过程直至步长减为0 。这种算法较前两种运算量都有所 减小，但在实际应用中仍然偏大，而且粗匹配时如果步长取的太大，很可能会造 成较大的粗匹配误差，从而很难实现精确匹配。 第4 页 国防科学技术大学研究生院硕士学位论文 1 2 3 全景图像拼接现状 1 9 9 3 年，沈向阳首先进行了利用图像进行虚拟现实的研究。从这以后，基于 图像的虚拟现实和基于图像的渲染技术成为研究的热点。在这些应用中，需要用 到多方位、多角度拍摄的图片，用来生成连续的场景。以往只局限于一个平面内 的图像拼接算法已不能满足需要，所以新的、适用性更强的图像拼接算法就成为 必然的要求。在这一时期，图像拼接算法的研究越来越紧密地与基于图像的三维 建模和景深计算等算法结合在一起，以期利用图像构建高质量的虚拟场景表示。 其中最具代表性的是1 9 9 6 年，微软研究院的r i c h a r ds z e l i s k i 教授提出了基于运动 的全景图像拼接模型，最初的处理对象是视频图像序列，但也可用于相互间有较 大运动幅度的图像。该方法采用l e v e n b e r g m a r q u a r d t 迭代非线性最小化方法( 简 称l - m 算法) 【l6 1 ，通过求出图像间的几何变换模型来进行图像配准，由于此方法 效果较好，收敛速度快，且可处理具有平移、旋转、仿射等多种变换的待拼接图 像，因此也成为图像拼接领域的经典算法，而r i c h a r ds z e l i s k i 也因此成为图像拼 接领域的奠基人。2 0 0 0 年，s h m u e lp e l e g ( m e m b e ri e e e ) ，b e n n yr o u s s o ，a l e x r a v - a c h a , 和a s s a fz o m e t 在r i c h a r ds z e l i s k i 的基础上做了进一步的改进，提出了 自适应的图像拼接模型【1 7 1 ，它是根据相机的不同运动，自适应选择拼接模型，通 过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果无疑推动了图 像拼接技术的进一步发展，自适应问题也从此成为图像拼接领域研究的新热点。 s z e l i s k i 算法不需要事先知道相机的各种参数，被拼接图像也不必被限制在同 一个平面内；而且，算法是与图像内容无关的，不需要提取图像中的特征信息， 这使它的普适性大大增强。由于该方法的普适性，许多后续工作都参与了这一方 法。如果对变换矩阵的初值做出很好的估计，则这一方法可以获得很好的效果。 但它也有其局限性，即待拼接的图像之间不能有较大的视差，一幅图像内的景物 对相机而言近似为一个平面，否则，算法则会有明显的误差出现。另外，它很容 易陷入局部的最优解，而这往往不是图像间的真实变换关系，一旦迭代的初值选 择不当就可能得到完全错误的结果。 自从s z e l i s k i 工作以及苹果公司开发的产品化系统q u i c k t i m ev ra u t h o r i n g s t u d i o j i g 】问世之后，图像拼接技术及其扩展基于图像的绘制技术( i b r ) 近年 来成为包括计算机视觉、计算机图形学以及图像及视频领域研究的热点，相关的 各种增强和改进算法不断涌现。 s h u m 1 9 】对s z e l i s k i 的经典算法进行了扩展，该算法允许手持摄像机旋转拍摄， 能有效建立3 6 0 度全局拼接图。他们算法的主要贡献有三点。首先，摄像机绕中 心旋转拍摄的条件下，将8 参数的投影变化通过r o d r i g u e z 公式转化为3 参数的旋 第5 页 国防科学技术大学研究生院硕士学位论文 转变化模型，从而使待估计的参数减少，加快了收敛速度并提高稳定性。其次， 在建立3 6 0 度全景图时，经常会遇到头尾图像出现大的缺1 5 1 ( g a p ) 或对不齐 ( m i s a l i g n m e n t ) 的情形。主要原因在于多幅图像拼接过程中误差的累积，使得最 后配准的两幅图像累积误差太大。对此，他们通过将误差平均分散在相邻配准帧 之间，通过调整焦距来克服。最后，考虑到相邻帧密集采集或者通过视频建立全 景拼接图的情形下，重叠区域合成的像素可能来自多幅图像。这种情况下，必须 要保证全局意义上的最优配准，他们引入b u n d l ea d j u s t m e n t 全局优化算法，通过最 小化对应点之间的几何距离来实现全局意义上的最优。 这种方法在一定程度上减小了全局对齐所引起的累积误差问题，但算法中基 于片的迭代调整思想无法避免局部极小点问题，当像素差大于3 4 像素时，很难 得到准确拼接；而且，算法适用性小，只是针对固定视点所获得的图像和重叠率 高的图像才能获得较好的配准效果。 上述算法主要应用于静态图像与水平摇动拍摄下全景图的建立。王立峰【2 0 j 随 后也做过类似的工作和系统实现。x i o n g 等人【2 l 】采用类似的算法，主要区别在于将 全局优化转化为摄像机定标问题，采用模拟退火的方法计算摄像机参数。k a n g 2 2 】 等人将多幅图像的配准问题转化为图论中的最短路径的搜索问题，通过贪心算法 获得全局最优。 这些算法都要求初始估计足够精确，否则很容易得到局部最优解；另外收敛 速度很慢。为了克服上述问题，可以采用分层匹配策略，事实上多数拼接算法中 都是用了分层匹配的策略。首先将图像分解成金字塔的层次结构，然后由粗到精 地逐层优化变换直到最精细的一层。其中优化算法是对每一层独立进行的，上层 结果传递到下层作为初始估计，这种逐层优化的方法有以下几个特点：上层分 辨率少，细节少，因此可以非常快的收敛，而且容易跳过某些局部解；上层的 结果传递到下层，可以很好地引导下层的优化，从而减少了总的迭代次数；配 准的结果可以由粗到精得逐层细化。 多分辨率方法的关键是层次的建立和图像的重采样。一般是通过一组卷积核， 即一对高通低通滤波器来完成图像的分解和重构。卷积核可以是分段线性的、二 次的或者高次的可分解函数，例如g a u s s i a n 窗口、b 样条或者小波滤波器等。其 中，徐丹 2 3 】等人将早期用于运动估计及立体匹配的复数小波引入到图像镶嵌中， 保证了匹配的平移不变性和尺度不变性，从而在每一层直接通过对不同的小波系 数进行联合比较估计变换参数。 上述算法通常难以处理摄像机姿态变化较大且稀疏采集的场合( 比如存在尺 度和大的平面旋转的情形) ，这些场合初始参数估计存在困难。对于场景中包含 运动物体以及光照变化的场合，也需要修改上述算法处理异常点的负面影响。 第6 页 国防科学技术大学研究生院硕士学位论文 1 2 4 航拍图像拼接的特点 目前图像全景拼接算法主要是针对手持摄像机或者一般用户相机所拍摄的图 像来研究的，这类图像重叠区域大，而且成像条件变换不大，而航拍图像由于其 摄像条件的特殊性导致其图像的拼接算法有着一定的特殊性。 ( 1 ) 航拍图像相机运动具有离散性。 整个航拍图像序列是相机处在沿航向运动状态下获得的，由于其成像速度较 慢，而且相机位置和姿态发生较大变化，各幅图像之间连续性不强。 ( 2 ) 无地标、无初始相机参数 航拍图像不同于摄影测量，所得图像是用来观察地面目标的，所以没有地标 点作为控制点，也没有每幅图像成像时相机的姿态参数。 ( 3 ) 物距近似为无穷大 由于相机离地面距离大约几千米，地面的起伏对成像时的焦距影响不大，可 以认为目标是处在一个平面上，焦距在整个成像过程中不发生变化。 ( 4 ) 累积误差不可忽略 航拍图像分辨率较高，离图像中心越远图像变形越大，而由于其重叠面积较 小，重叠区域离图像中心较远，则重叠区域的像素有一定程度的误差，而随着图 像拼接的增多，其误差影响越来越大，甚至导致严重的扭曲。 由于上述因素的影响，使得获得的航拍图像实际上是地面景物在摄像机时变 坐标系中的中心投影。由于坐标系随着飞行器飞行状态的变化而变化，相同的地 面景物在不同坐标系中的投影也不相同，所以我们必须把一序列相关的摄影图像 先变换为同一坐标系下的图像，才能进行该序列图像的拼接。 由于无法获得摄影镜头的性能指标，对由摄影镜头引起的几何畸变本文不加 研究。 1 3 本文主要研究内容 本文主要研究了基于航拍图像自动拼接的方法。在总结国内外相关研究的基 础上，对全景图生成技术进行深入研究后，针对s h u m e l 9 】提出的基于块的片捆绑 l m s 整体对齐算法的局限性以及航拍图像本身的特点，引入了根据初始的特征点 对来求解模型参数初值的方法来解决局部极小点问题，用分周期带约束的最小二 乘方法整体调整来解决其只是针对单视点而且重叠率高的局限性。本文主要目的 是实现航拍图像的自动拼接，通过全局调整减小拼接的累积误差。 本文所做的主要研究工作概括如下： ( 1 ) 特征点的提取和匹配 第7 页 国防科学技术大学研究生院硕士学位论文 图像特征提取是基于特征的图像配准方法的前提和基础，现有的方法已经比 较成熟，但本文要处理的航拍图像有其一定的特殊性，因此本文特征匹配方法研 究的主要内容是：选择适合于航拍图像配准的特征提取与匹配方法。针对航拍图 像重叠率低，尺度变换小等特点，对特征匹配方法进行适当的简化和改进。 ( 2 ) 成像模型运动参数的估计 模型参数估计是图像拼接的重要环节。通过选择适合于要拼接图像的模型， 求解出图像变换的参数和相机的相对运动，可以准确描述图像之间的变换关系， 进而实现图像的精确对齐。 ( 3 ) 多幅图像的全局调整对齐 图像拼接中误差是不可避免的，多幅图像的拼接累积误差不能忽略，而对于 多幅航拍图像的拼接累积误差更为严重。因此对于航拍图像序列的拼接要减小误 差的积累，实现图像的全局对齐，使得重叠区域的拼接误差整体最小化。 1 4 文章结构安排 本文对图像拼接技术进行了深入的研究，并针对航拍图像的特点，提出了具 体的图像拼接实现方法。论文的结构安排如下： 第一章首先介绍了本文中航拍图像自动拼接问题的研究背景，并从理论意义 和应用需求两方面分析了其研究价值。接下来介绍了图像自动拼接的研究基础以 及相关现状，最后介绍了本文所要处理的航拍图像的特点，为本文的研究提供了 一定的条件。 第二章主要讨论了图像特征点提取与匹配的方法。首先介绍s i f t 匹配方法， 接着介绍了块匹配技术，最后结合航拍图像的特点，对s i f t 的计算量进行了简化， 利用简化方法确定初始的对应点对，再利用块匹配对对应点进一步筛选。 第三章主要讨论了根据图像重叠区域对应点来估计模型参数。首先探讨了双 目成像的原理，分析了不同图像上对应点之间的关系。接着选择投影模型作为变 换模型，采用变换优化法实现了两幅图像的精确对齐。在此基础上引入相机运动 模型，根据对应点像素差不断修正相机外参数，可以比较准确的估计出图像成像 时相机之间的外参数变化。这种方法为多幅图像的整体调整对齐提供了物理上的 依据。最后，基于片的思想来减小计算量。 第四章研究减小多幅图像拼接中累积误差问题的方法。首先分析了多幅图像 拼接中累积误差产生的原因以及误差的传递。接下来研究了全局拼接的整体优化 策略，即使得重叠区域对应的像素点变换后之间的距离和最小。针对本文航拍图 像的特点，提出采用带周期性约束的全局动态调整模型，以此实现整个航拍序列 的递推拼接。最后根据相机的运动参数，对迭代寻优方法进行了简化。 第8 页 国防科学技术大学研究生院硕士学位论文 第五章介绍了航拍图像自动拼接系统的设计与实现，并对实验结果进行了分 析，验证了这种航拍图像整体拼接算法的可行性。 第六章对本文研究内容进行了总结，并对后续的研究工作进行了展望。 第9 页 国防科学技术大学研究生院硕士学位论文 第二章特征点匹配 2 1 引言 寻找两幅图像中的相同特征点是图像配准的基础，同名点的精度直接影响拼 接精度。根据特征空间的不同，特征点选取与匹配的方法可分为基于特征和基于 区域的方法两类。 第一类方法是通过先从图像中提取一些对应的特征点，例如特殊的点、边缘 或直线，然后利用这些稀疏的特征点之间的相似距离来计算变换矩阵。这类方法 的优点是能够较好地反映场景的几何特征，可以应用在摄像机宽视角采集的场合。 缺点是特征匹配在很多时候必须要克服局外点的影响，而且对于图像的全局对齐 来说只是来近似拟合其变换矩阵。这类方法的典型代表是s i f t 4 】方法，它是目前公 认最好的基于特征点的方法，其优点在于尺度不变性。由于s i f t 特征描述子是以 梯度为基础，因此对于图像中的平坦区域容易失效。 第二类方法则是通过直接减少匹配对象对之间灰度的差异来求取变换矩阵， 块匹配法就属于这一类。这类方法的优点是在统计意义上具有全局最优，而且并 不需要显著的特征点。缺点是在摄像机姿态变化大的场合，初始估计存在困难以 及对光照变化非常敏感。由于投影畸变，窗口内包含的区域并不完全一致。实际 过程中，这两种方法可以互相补充，联合使用。 文献 1 9 】中，s h u m 以块匹配方法为基础，当初值误差较大时，块匹配法容易 陷入局部极小点，从而导致失效。 鉴于上述两点，根据本文所要处理航拍图像的特点，采用s i f t 与块匹配相结 合的方法来匹配特征点，即首先用s i f t 方法从图像中提取并匹配特征点，以特征 点对作为块的中心，利用块匹配来精确对应点位置和剔除误匹配点对。 2 2s i f t 特征匹配 近些年来，在计算机视觉领域，基于局部不变描述子的方法在目标识别和匹 配方面取得了显著的进展。m i k o l a j c a y k 等人【2 4 】针对不同场景，选用光照变化、图 像几何变化、分辨率差异、旋转、模糊和图像压缩等6 种情况作为考察指标，对 比分析了包括s i f t 特征在内的十多种最具代表性的图像局部特征描述子。研究结 果显示，s i f t 特征具有较好的鲁棒性和可区分性。 s i f t 特征建立在尺度空间理论【2 5 】的基础之上，具有图像尺度不变性，同时还 具备对图像旋转的不变性，对于光照变化和图像几何变换也具有很强的适应性， 第1 0 页 国防科学技术大学研究生院硕士学位论文 甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力。 2 - 2 1s i f t 特征提取原理 尺度空间理论最早出现于计算机视觉领域时其目的是模拟图像数据的多尺度 空间。t o n yl i n d e b e r g 证明在一些合理的假设条件下，高斯核( g a u s s i a nk e r n e l ) 是 唯一可能的尺度空间核【2 5 1 。 二维高斯函数定义如下： g ( 石，y ，仃) = j p l 广y 2 一 ( 2 1 ) 0 t o 仃代表了高斯正态分布的方差。 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到： 一l ( x ，少，仃) = a ( x ，y ，盯) 木i ( x ，y ) 。一( 2 2 ) 式( 2 2 ) 中，( x ，y ) 代表图像的像素位置，仃称为尺度空间因子，其值越小则 表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征， 小尺度对应于图像的细节特征。三代表了图像的尺度空间。 s i f t 算法首先在尺度空间进行特征检测，并确定关键点( k e y p o i n t s ) 的位置 和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征， 以实现算子对尺度和方向的无关性。 为了能够在尺度空间上稳定地检测到图像特征点，i _ o w e 在文献【7 】中提出使用 尺度空间中的d o g ( d i f f e r e n c e o f - g a u s s i a n ) 函数d ( x ，儿盯) 的极值点作为s i f t 特 征点检测空间。其中， d ( x , y ，o r ) = ( g ( x , y ，鼢) 一g ( x , y ，盯) ) 木i ( x ，少) ， = l ( x ，y ，k c r ) - l ( x ，y ，o r ) 同时m i k o l a j c z y k 通过详尽的实验对比证明仃2 v 2 g 所产生的最大和最小值相 对于其他特征检测器产生的特征是最为稳定鲥2 6 】【2 7 】。而 o v 2 g ：塑g ( x , y , k c r ) - 6 ( x , y , o r ) ( 2 4 ) a c tk c r 一仃 因此，有 6 ( x ，y ，k c r ) - g ( x ，y ，仃) ( k - 1 ) c r 2 v 2 g ( 2 5 ) 则( 2 3 ) 式可以进一步推导为： d ( x , y ，盯) = ( 七一1 ) 仃2 v 2 g i ( x ，y ) ( 2 6 ) 如果k 为一个固定值，则函数d 的极值点的位置将不受影响。因此d o g 函数 上的极值点就是我们需要检测的点。 第1 1 页 国防科学技术大学研究生院硕士学位论文 2 2 2s i f t 特征提取过程 图像s i f t 特征点提取过程可以分为四个步骤，即图像尺度空间极值检测、特 征点精确定位、确定特征点主方向和构建s i f t 特征描述子。如图2 1 所示。 图像尺度空间极值检测 i 特征点精确定位 i 特征点主方向赋值 i i构建特征子描述子 图2 1 s 肼特征提取流程一 ( 1 ) 尺度空间极值检测，以初步确定关键点位置和所在尺度。 为了达到对图像尺度不变的特性，s i f t 特征提取算法首先构建了图像的尺度 空间，如图2 2 ( a ) 所示。为了减小计算量，l o w e 通过对高斯平滑( g a u s s i a nb l u r r e d ) 图像进行下采样( d o w n - s a m p l i n g ) 构建了图像尺度空间金字塔，如图2 2 ( a ) 左 部所示。根据s i f t 特征提取原理，为了在尺度空间上检测极值点，需要进一步由 高斯平滑图像金字塔构建出差值图像( d o g ，d i f f e r e n c e o f - g a u s s i a n ) 金字塔，如 图2 2 中右部所示。 尺度空间极值检测过程如图2 2 ( b ) 所示。d o g 金字塔中的某位置( z ，j ，c r ) 为 极值点的条件为：( x ，y ，) 处的d o g 值大于( 或小于) 其同一尺度上相邻的8 个 位置上的d o g 值，同时大于( 或小于) 其邻近的上一个尺度和下一个尺度上相邻 的9 个位置上的d o g 值。 第 个 倍 频 程 v 第1 2 页 国防科学技术大学研究生院硕士学位论文 在这个过程中检测到的d o g 极值点均作为备选特征位置，需要进一步处理。 ( 2 ) 特征点精确定位 特征点精确定位的主要任务是将那些对噪声敏感的和图像边缘处的极值点从 备选点中去除。在文献 7 】中，l o w e 简单地将尺度空间上检测到的极值点位置作为 s i f t 特征点的位置。但b r o w n 和l o w e 在文献 2 8 中提出了一种新方法，提出了 关键点的匹配度和稳定程度。同时考虑到d o g 函数在图像的边缘处的响应十分强 烈，但并不稳定，所以根据这些点的主曲率( p r i n c i p l ec u r v a t u r e ) 特征对这些点进 行了筛选。 ( 3 ) 特征点主方向赋值 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使得 s i f t 特征点具备了对图像旋转的不变性。 r _ _ = 一 m ( x ，y ) = 4 ( z ( x + l ，j ，) 一z ( x 一1 ，y ) ) 2 + ( 三( x ，y + 1 ) 一l ( x ，y 一1 ) ) 。 r ，1 、 o ( x ，y ) = a t a n 2 ( ( 三( z ，y + 1 ) - l ( x ，y - 1 ) ) ( l ( x + l ，y ) 一l ( x l ，) ，) ) ) 式( 2 7 ) 为( z ，y ) 处梯度的模值和方向公式。其中三所用的尺度为每个关键点 各自所在的尺度。 在实际计算