（模式识别与智能系统专业论文）图像拼接技术研究.pdf

摘要 摘要 图像拼接技术是指将针对同一场景的两幅或者多幅具有部分景物重合的图像进行无缝拼合，生成一 张具有较宽视角或者3 6 0 度视角的全景图像的技术。近年来，图像拼接技术在遥感监测、医学| ! | 像处理、 虚拟现实等领域得到了广泛麻h j ，成为计算机视觉领域中的研究热点。 本文系统地研究了图像拼接方法及应用，对图像的特征提取算法、基于尺度不变特征变换( s i f t ) 的图像拼接技术，以及全景图自动生成技术三个方面进行了较为深入的理论研究与应用实现。 图像匹配要求特征检测算法具备较高的特征定位精度，并对图像的灰度变化、几何形变以及部分遮 挡都具有较好的鲁棒性。冈此在分析经典的h a r r i s 算子的基础上，首先重点研究了较为前沿的s i f t 算 子，并进行了实验验证、结果对比及算子优化。 其次实现并改进了基于s i f t 特征的图像无缝拼接方法。使用最近邻与次近邻的欧儿里德距离比值 来初步确定匹配点对，采用基于k d 树的b b f 算法来搜索查找最近邻，使用经典的r a n s a c 方法进行 剔除误匹配点对，从而一定程度地克服了传统图像拼接技术普遍存在的容易发生误匹配的缺点。此外， 研究了图像融合技术，讨论了多分辨率融合算法和基于最佳缝合线的融合算法。 最后研究了无序输入图像的图序自动识别与全景图拼接技术。重点研究了图像匹配确认的概率模型， 以确定图像间的匹配是否正确。提出了全景图自动识别的方法框架，能从一组无序输入的图像中解析出 能够组成全景图的有序图像序列，并排除其中的干扰图像。实验结果验证了该方法的有效性与可靠性。 关键词：图像拼接特征提取与匹配s i f t 图像融合全景图识别 a b s t r a c t t h eo b j e c t i v eo fi m a g em o s a i ci st oc o m p o s eaf u l l s c a l e di m a g e ，e v e nap a n o r a m i ci m a g e ，f r o mas e t o fs m a l l s i z e di m a g e sw i t ho v e r l a p p e df i e l do fv i e wa b o u to n ec o m m o ns c e n e r e c e n t l y ，t h e r ei saw i d e l i t e r a t u r ea b o u ti m a g em o s a i c ，a n di th a sf o u n da p p l i c a t i o n si n t or e m o t es e n s i n g , m e d i c a li m a g ep r o c e s s i n g , v i r t u a lr e a l i t ya n do t h e rf i e l d s t h i sp a p e rs y s t e m a t i c a l l ys t u d i e st h ei m a g em o s a i ct e c h n o l o g ya n di t sa p p l i c a t i o n ，i nw h i c ht h r e e a s p e c t si n c l u d i n gf e a t u r ee x t r a c t i o n ，s i f tf e a t u r eb a s e di m a g em o s a i c ，a n da u t o m a t i cp a n o r a m ag e n e r a t i o n t e c h n i q u ea r es t u d i e da n dd i s c u s s e di nd e t a i l f i r s t l y ，i m a g em o s a i cm a n d a t e sf e a t u r ed e t e c t o r sw i t hh i g ha c c u r a c ya n dr o b u s t n e s sa g a i n s tg r a yl e v e l v a r i a n c e s ，g e o m e t r i c a lt r a n s f o r m a t i o n sa n dp a r t i a lo c c l u s i o n s t oe m p h a s i z et h a t , t h es c a l el n v a r i a n t f e a t u r et r a n s f o r m ( s w t ) f e a t u r ed e t e c t o ri sd e s c r i b e da n di m p l e m e n t e d ，a n dc o m p a r i s o nw i t ht h e c o n v e n t i o n a lh a r r i sd e t e c t o ri sg i v e na n da n a l y z e dt h r o u g ht h ee x p e r i m e n t a lr e s u l t t h e na na u t o m a t i cs e a m l e s si m a g em o s a i cm e t h o di sp r o p o s e db a s e do nt h es i f ta l g o r i t h m i nt h i s m e t h o dt h en e a r e s tn e i g h b o r so fe a c hf e a t u r ea r ef o u n db yp e r f o r m i n gt h ep o r i t ys e a r c hw i t hb b f a l g o r i t h m ，a n dt h er a n d o ms a m p l ec o n s e n s u s ( r a n s a c ) a l g o r i t h mw a su t i l i z e dt og u a r a n t e et h es t a b i l i t y a n dd e c i d et h et r a n s f o r m a t i o np a r a m e t e r so ft h ei m a g e ss t i t c h i n g i no r d e rt or e d u c et h ee x p o s u r e d i f f e r e n c e sa n de l i m i n a t et h eg h o s t i n ge f f e c t s ，ad y n a m i cp r o g r a m m i n gb a s e da l g o r i t h mi su s e dt of i n da b e s ts e a m l i n e f u r t h e r m o r e ，am u l t i - r e s o l u t i o nb l e n d i n gm e t h o di sa l s od i s c u s s e d l 硒t t h et e c h n i q u e so fa u t o m a t i cp a n o r a m ag e n e r a t i o na r cd i s c u s s e dw i t h e m p h a s i s o nt h e p r o b a b i l i s t i cm o d e lf o rt h ev e r i f i c a t i o no fi m a g em a t c h i n g t h i sg i v e sau s e f u lm e t h o df r a m e w o r kw h i c hi s c a p a b l eo fr e j e c t i n gn o i s ei m a g e sa sw e l la sg e n e r a t i n gap a n o r a m i ci m a g ef r o mas e to fu n o r d e r e di m a g e s e x p e r i m e n t sr e s u l t v a l i d a t e s t h ef a v o r a b l ep e r f o r m a n c ea n dr e l i a b i l i t yo ft h ei m a g em o s a i c t e c h n o l o g y k e yw o r d s ：i m a g em o s a i c ，f e a t u r ee x t r a c t i o na n dm a t c h i n g ，s i f t ，i m a g eb l e n d i n g ，p a n o r a m a r e c o g n i t i o n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意。 研究生签名： 皿皿日期：掣 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和 纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办 理。 “ 研究生签名：一生址一一导师签名：辑日期：掣 第1 章绪论 1 1 引言 第1 章绪论 随着数码照相设备的广4 泛将及，越米越多的数码图像被应用于各个方面的研究中。与人眼的视场范围 相比，普通摄像机的视场要小得多。在实际的科学研究和丁程项目中，经常会j h j i 剑超过人眼视角的高分辨 率图像，从而提出了全景图的概念。目前全景图的获得主要有二种方式：一种是采用特殊的人视场摄像机 获取图像，然后校正其在成像过程引入的畸变，使之符合人眼的视觉感受。这种人视场摄像机主要有：鱼 眼镜头、反射镜全向成像利全景环形透镜( p a l ) ，其主要的优点是可以一次性成像，速度快，但缺点是空 间分辨率较低，价格昂贵和使用复杂。目前，这种镜头在一些专业领域应用较广。另一种是通过单摄像机 拍摄一系列图片，利用图像间的相关性，对图像进行配准，对配准后的图像进行拼接，最后得到一个大视 场范围的全景图。目前已有较成熟的图像拼接算法可用，通过软什可以方便地得到人们需要的大视角图像， 且效果好，成本低。本文所要研究的就是后者，通过图像拼接技术获得全景图。 图像拼接技术( i m a g em o s a i c ) 是指将针对同一场景的两幅或者多幅具有部分景物重合的图像进行无缝 拼合，生成一张具有较宽视角或者3 6 0 度视角的全景图像的技术i lj 。其前提条件是相邻图像之间有一部分是 重合的。拼接的主要：l ：作就是要确定相邻图像在宽度、高度上的重叠程度，进行平滑连接得剑更宽视角的 图像。 图像拼接的关键技术是图像配准，它的主要任务是找剑图像之间的点对点关系。本文对图像拼接方法 的讨论主要是针对不同配准方法的。 图像拼接一般包含以下步骤： ( 1 ) 图像获取。借助摄像设备拍摄场景图像序列； ( 2 ) 图像数字化。将所有帧图像数字化，以便计算机进行处理； ( 3 ) 图像预处理。对图像进行几何校正，使相同的景物在图像重叠区的像具有相同的形状和一致的 空间相对何置； ( 4 ) 图像配准。确定配准算法，用算法对图像进行配准定位； ( 5 ) 图像融合。确定融合算法，消除拼接的接缝。 ( 6 ) 获得全景图。输出完整的拼接图像。 1 2 图像拼接技术研究现状 图像拼接的关键技术是图像配准，图像配准是多源数据融合、时序图像分析、目标检测、目标识别、 图像镶嵌等实际问题的重要步骤，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理 病变等许多领域有重要的应用价值【引。 迄今为l = ，国内外学者针对不同的图像配准技术发展及应用进行了人量的研究工作，已提出了多种获 取全景图像的图像拼接方法，各种方法都是面向一定的应h j 领域，具有各自的特点。 k u g l i n 和h i n e s 提出了相位相关法1 3 1 ，利用傅立叶变换将两幅待配准的图像变换到频域，然后利用 互功率谱直接计算出西幅图像间的平移矢量。d ec a s t r o 和m o r a n d i 提出了扩展相位相关法【4 】，利用傅立 叶变换的性质能够实现具有旋转和平移变换的图像的配准。r e d d y 和c h a t e r j i 提山了基于快速傅立n t 。变 换的方法p j ，利用极坐标变换和互功率谱，对具有平移、旋转和缩放变换的图像都能够实现精确配准。 微软研究院的r i c h a r ds z e l i s k i 提出了一种2 d 空f 甘q ) k 参数投影变换模穆 6 1 ，采用l e v e n b e r g m a r q u a r d t 迭代非线性最小化方法( 简称l m 算法) 求出图像间的几何变换参数米进行图像配准。这种经典的算法方 l 东南大学硕：f ：学位论文 法使h j 了全部像素进行优化处理，所以配准精度高，但是计算速度慢且稳健性不佳。2 0 0 0 年，s h m u e lp e l e g 等人在r i c h a r ds z e l i s k i 的基础上作了进步的改进，提出了臼适应图像拼接模列7 1 。根据相机的不同运 动而自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。此后，自适应问题成 为拼接领域的又一热点。 早在1 9 8 8 年，c h a r r i s 和m j s t e p h e n s 就提出h a r r i s 算子喁l ，他使用白相关函数米确定信号发生二 维变化的位置，这种方法提取的兴趣点被证明典有旋转、平移不变性，并且可以达剑皿像素级的精度。 在h a r r i s 基础上研究出的特征检测器还有h a r r i s l a p l a c i a n 和h a r r i s a f f i n e 等。另外d a v i d l o w e 提出了 一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子一s i f t ( s c a l e i n v a r i a n tf e a t u r et r a n s f o r m ) 算子【9 1 ，其全称是尺度不变特征变换。基于s i f t 的拼接算法对每个特征点 都构造一个1 2 8 维的尺度不变描述子。匹配时，采用欧氏距离进行度量，并通过特征描述向量之间的最 近邻与次近邻的距离比值米剔除不可靠匹配点对，再将r a n s a c ( r a n d o ms a m p l ec o b s e b s u s ) 方法，进 行鲁棒性检验来剔除误匹配点对。 另外，在多幅图像的全局配准方面，s h u m 和s z e l i s k i 提出了一种全局对齐策略【l 们，它们也是基于 特征点对应，可以实现存在较人位移的图像对齐，可以用于直接对齐视频的最后一帧和第一帧。b i l lt r i g g s 等提出用捆绑调整( b u n d l ea d j u s t m e n t ) i hj 方法来取消多幅图像拼接所造成的拼接累计误差。s z e l i s k i i l 2 j 等通过调整摄像机运动参数的办法实现捆绑调辂，s a w h n e y i j 等采用局部调整和全局调整反复执行的迭 代算法。m b r o w n 在2 0 0 3 年发表了名为r e c o g n i s i n gp a n o r a m a s 的文章【l4 1 ，文中使朋s i f t 算法进行图像 见的简单识别和排序，即达到了真正完全自动的全景图拼接。t o y a m a l l 5 】等使用了遗传算法来寻找图像序 列之间的位置关系。 在视频图像动态拼接方面，p e l e g 和h e n n a n 利用m a n i f o l dp r o j e c t i o n 来拼接手持摄像机生成的视频 1 1 6 】，其核心技术就是利j j 仿射模型或者伪投影变换模型来配准图像，同时讨论了最后拼接图中重叠部分 合成的技术。j r b e r g e n 和m 1 r a n ij l jl a p l a c i a n 金字塔逐步求精1 1 7 j 1 1 8 】【1 9 】，用高斯一牛顿法迭代求出2 d 伪透射模艰的参数。m 1 r a n i 和b r o u s s o t 2 0 j 改进了上面的方法，引进层次的概念，使其能够作适当的前景 和背景分离的下作。以上这些传统的方法均可以看成是采h j 了点一点模裂，没有考虑图像的深度参数。 还有一类考虑到图像像素点深度的拼接方法也是h 前的研究热点。m o r i m o t 和c h e l l a p p a l 提出了一 个快速的3 d 视频镶嵌系统1 2 l l ，利用一些特征对麻点和扩展的k a l m a n 算子估计帧间的三维运动。r a k e s h k u m a r l 2 2 j 把3 d 的视频拼接技术分成为2 d 和立体视筹顺序估计以及2 d 和立体视筹同时估计两类，并且 比较各自的优劣。a n a n d a n k u m a r 和s a w h n e y 等人在构建完整的虚拟场景空间时均涉及剑视差和深度息 的恢复1 2 粥。以上这些考虑像素深度的方法都属于点一线模硝，采州这一类方法一般都要求解摄像机的内 外参数，涉及到摄像机的定标这类复杂问题，在实际应用中受剑限制，所以本文主要研究的是前一种图 像拼接技术，即单点模型。 1 3 本文工作及论文组织 1 3 1 主要工作 本文完成的主要 ：作为： ( 1 ) 研究了图像拼接的常用方法、一般步骤，及相关基础理论知识，包括成像模型，变换矩阵的线 性求解及优化，插值方法，图像重投影等； ( 2 ) 重点研究了图像的特征提取算法。研究了经典h a r r i s 特征提取算子，并在v c + 斗6 0 环境下进 行仿真。较为细致地研究了前沿图像拼接算法s i f t ，对s i f t 特征提取结果进行了分析及运用改进。 ( 3 ) 完成了基丁：s i f t 算法的图像拼接，采刚最近邻法实现图像粗匹配，并使用经典的r a n s a c 算法进行提纯。将拼接算法朋于缩放、旋转图像的配准和拼接，在v c + + 6 o 环境f 进行了仿真实验，同 时对s i f t 配准算法进行了优化。 ( 4 ) 研究了图像融合技术，重点研究了基于最佳缝合线的融合方法和多分辨率融合方法；将融合技 2 第1 章绪论 术应用在图像拼接中，对结果进行比较分析。 ( 5 ) 参照国外在全景图白动识别技术上的相关成果，将图像拼接技术应用于全景图的自动拼接。建 立了识别算法的基本模型，即给定一组打乱顺序的图像序列，能够自动识别出可以构成全景幽的有序的 图像序列，同时识别出输入图像序列中的噪声图像。予以排除。在v c + + v 6 0 环境一f 进行了编程实现。 1 3 2 论文组织 本文按照图像拼接技术的研究到应用，分无章详细阐述了本研究课题的研究：i ：作和应用中产生的问 题及解决方法。 第1 章绪论部分，对图像拼接进行简要介绍，并且简要地说明了在研究过程中所做的土要j ：作及本 文结构； 第2 章综述了常用图像拼接算法并介绍了图像拼接过程中涉及的原理及方法： 第3 章分析研究了图像特征提取技术。研究了经典的h a r r i s 算子和前沿的s i f t 算子特征提取方法， 给出试验结果并进行分析； 第4 章对s i f t 图像拼接技术做了比较细致的研究。讨论了图像租匹配、提纯以及融合等问题。给 出了实验结果，并对s i f t 配准算法进行了优化； 第5 章介绍了全景图的自动识别技术，给出了算法模璎。 最后对全文进行总结，并对图像拼接技术和全景图的臼动生成技术提出了改进建议。 3 东南大学硕士学位论文 第2 章图像拼接技术理论基础 图像拼接是将配准以后的目标图像坐标映射剑参考图像坐标中，利川灰度插值与注册进行图像合并的 过程。整个过程涉及到计算机视觉、计算机图形学和图像处理等多个领域的知识，同时要j 剑多种数学知 识及数学：r 具。因此，它是上述各个学科知识的综合运用。本章将概要介绍图像拼接技术以及拼接过程中 用到的主要背景知识和理论，为下文图像拼接的实现做好理论基础。 2 1 图像拼接技术概述 2 1 1 图像拼接步骤 图像拼接的目的是把多幅重叠图像拼接成一幅完整的大视野图像。相邻的两幅待拼接图像必须有一定 重叠区域才能进行拼接，图像拼接的：【作就是搜寻相邻两幅图像中相同的内容，从而确定它们的相对位置。 它一般包含以下步骤j ： ( 1 ) 图像获取 对于图像拼接来说，图像采集是第一步： 作。数码照相机拍摄的数码图片、普通摄像机及c c d 摄像机 采集的实时的视频序列均可刚于图像拼接。在这一步，我们需要考虑相机类型、可视角度、焦距以及拍摄 时相机所处的位置和运动方式等等。典型的摄像机运动有平移、旋转等。 ( 2 ) 图像预处理 图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显 的儿何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过1 4 l 像预处理，很容易造成一些误匹配。 图像预处理主要是为卜- 一步图像配准做准备，让图像质颦能够满足图像配准的要求。图像的颅处理包括数 字图像处理的基本操作( 如直方图处理、平滑滤波等) 、建立图像的匹配模板、对图像进行某种变换( 如傅 立叶变换、g a b o r 变换、小波变换等) 以及提取图像的特征集合等操作。 ( 3 ) 图像配准 图像配准是图像拼接技术的关键步骤。图像配准是指将从不同时问、不同视角、不同传感器获取的同 一场景的两幅或多幅图像，进行对齐的技术【2 4 1 。即利朋矩阵理论和空间儿何学，计算i 山同一场景的不同视 图之间点剑点的映射关系，或者对某种感兴趣的特征建立关联，实现像素在空间上的搬移。 给定同一场景的不同视角或不同时间的两幅图像为例，用两个二维数组( x ，y ) 和厶( 毛少) 表示，两 个图像问的相似性度量s ( o ，y ) ，乞( x ，y ) ) ，找出两个图像之间的同名点，确定图像间的最优变换7 ，使 得s ( t ( i ( x ，少) ，厶o ，y ) ) 达到最大值。而后根据数学转换模型h ，将待拼接图像转换到参考图像的坐标 系中，以此来构成完整的图像。 结合现有的幽像拼接技术，图像配准技术可以分为两类：局部配准和全局配准。局部配准是求解相邻 两幅图像间的运动关系，通常是求解二维平面运动关系：对应矩阵。全局配准是处理多幅图像拼接剑一起 的累计误差以及实现多幅图像的精确拼接。 ( 4 ) 图像融合 图像融合指在完成图像匹配以后，对图像进行缝合。并对缝合的边界进行平滑处理，让缝合自然过渡。 由于任何两幅相邻图像在采集条件上都不可能做剑完全相同，因此，对于一些本应该相同的图像特性，如 图像的光照特性等，在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡 到另一幅图像的图像区域时，由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像 4 第2 章图像拼接技术理论桀础 问的拼接缝隙不明显，拼接更自然。经典的图像融合方法有平均值法、加权平均值法、基于最佳缝合线的 图像融合算法、多分辨率样条法等等。 2 1 2 图像配准方法分类 图像拼接技术的核心部分为图像配准，图像拼接技术的分类也是以图像配准的分类方法为依据的。图 像配准的分类方法很多，结合现有的图像拼接技术，图像配准技术可以分为两类：局部配准技术和全局配 准技术1 2 州。 1 局部配准技术 局部配准技术即是将两幅重叠图像配准的技术，可以分为直接方法和基于特征的方法。 ( 1 ) 直接方法 这类方法一般直接利蝈图像的灰度信息，无需特征点，采用快速的搜索策略和相似性度量方法实现配 准。在该类方法中，典犁的有空间相关法( 也称模板匹配法) 和基于频域变换的方法。 模板匹配法在配准图像中顺序搜索，在相应的变换位置裁剪与参考图像模板大小相同的子图像，然后 采用相似性函数计算模板与子图像之间的相似性，当整个空间搜索完毕后，最大相似性对应的变换就作为 最终的两幅图像之间的变换。最简单的相似性度量函数是： 互 ) = ( 厶( 薯+ 材) 一厶( 毛) ) 2 = 乌2 ( 2 1 ) 其中掰= ，) 是两幅图象的位移量，q = ( - i - u ) 一l o ( x , ) 表示两幅图像匹配点对问的残差。计 算速度慢，稳定性较差，后人又作了大晕的研究。目前，常用的相似性度量营还有：交叉相关模板匹配算 法、基于列像素灰度比值之差算法、基于网格的平方差之和算法、序贳相似度检测( s s d a ) 算法、互信息相 似性准则等等1 2 川。 基于频域变换1 3 j 的图像拼接方法传统上是指傅立叶方法，它是建立在傅立叶变换域的良好性质的基础 上，频域的这些性质为：平移、旋转和缩放不变性。也就是说，对于两幅图像之间在空域上的平移、旋转 和缩放都可以在频域上找剑一一对应的关系。 基于频域变换方法的原理是这样的，两幅图像厶( 工，y ) 和，2 ( x ，y ) ，有如下位移关系： ( x ，j ，) = 厶( x u ，y v ) ， 上式的傅里叶变换结果为： 厶( 嵋，w y ) = e 一，咐+ 7 _ ( 嵋，) ( 2 2 ) ( 2 3 ) 这就是傅立叶变换的平移性质，即时域中产生位移时，在频域中表现为其相应的相位的变化而傅立叶 变换的幅值不变，这就是相位相关方法的基础。 利用功率谱分析，可以进一步可以推导出： l 尘竺里1 2 生垒掣= e - f ( w 一+ v ) 七马万( x 一“，y 一，) ( 2 4 ) i ( 比，w ，) 厶( u ，w ，) i 、 “7 因此脉冲函数的峰值点对应偏移量。通过确定相位相关函数的峰值位置，可以得到图像问的偏移量。 直接配准方法，其主要优点是不需要显式的检测图像特征，而且，当图像灰度相同或者满足一定的函 数关系时，具有配准精度高，可靠性火等优点。其缺点也很显然的，该类方法对灰度变化比较敏感，而且 其运算最大，计算复杂性随着搜索空间的加大而快速增长。从理论上说，这类方法可以用于任意的变换空 间，实际应用中，由于计算负担过重，对于较复杂的搜索空间实际上没有什么实j j 价值。 ( 2 ) 基于特征的方法 随着计算机视觉的发展，特征提取技术越来越稳定，近年来基于特征的图像拼接技术也因此成为研究 5 东南人学硕l ：学位论文 的热点。本文主要研究的是基于特征匹配的图像拼接技术。 基于特征的图像配准方法遵循这样一个框架【2 1 1 ： ( 1 ) 在参考图像和输入图像中分别提取图像特征，包括灰度、色度、角点、边缘、轮廓等等，并利 用各种信息将特征的独特属性表示出来。 ( 2 ) 对提取剑的特征进行匹配，常使用特征描述算子或者相似性策略进行特征匹配。 ( 3 ) 根据匹配点做变换模型参数估算。 ( 4 ) 根据变换模型参数，采用近似或者插值的方法将待配准图像向参考图像对齐。 基于特征的拼接方法目前采用的比较多，相对于直接方法来说，它使| j 方法灵活、对于l 冬j 像的轻微儿 何变形、灰度光照变化和可能出现的噪声都有较强的适应能力，同时其计算量也比较小，拼接速度快。但 是，该方法诈常依赖于图像的特征和匹配精度，如果特征不是很明显或者匹配有误差则会造成配准失败。 如何选择特征是基于特征方法的关键，许多研究人员也在从事这方面的研究。本文对特征提取算法作 了研究，重点研究了经典的h a r r i s 角点算子以及较为前沿的s i f t 算子。 2 全局配准技术 全局配准技术是图像拼接的一种集成技术，构成一幅人的全景图像需要将所有待拼接图像变换到图像 序列中的一个参考帧上，而求解远离参考帧图像到参考帧变换的方法是连接它们之间的变换，但这样会导 致累计误差，使得最终图像产生较大的偏差和重影1 2 引。 全局配准的第一步是要消除多幅图像叠加一起的误著累计问题。通常做法是采j h 捆绑调整( b u n d l e a a j u s t m e n t ) 【12 j 的方法不断更新运动参数，使得新加的图像与已有的图像间的能鼍若最小。全局配准一般 是对对应矩阵的进一步求精，方法通常是首先指定一幅参考图像作为拼接平面，然后将局部配准得到的运 动关系转换为各幅图像与参考图像间的运动关系，最后基于这样的运动关系进行优化计算以实现各幅图像 变换到拼接图像的目的。 全局配准可能会造成部分图像中局部仍然会有鬼影无法消除，因此有研究者进一步考虑消除视差问题 ( p a r a l l a xr e m o v a l ) 2 9 j 如果输入图像杂乱无章，则需要进一步考虑如何对图像自动识别以实现自动拼接 ( r e c o g n i z i n gp a n o r a m a ) 1 4 1 。 ( 1 ) 捆绑调整 捆绑的基本思想是通过最小化实现对1 3 个待调整运动关系的微调，其目标就是求解式( 2 5 ) 的最小化。 一 2 一l o g l ( o ，u ，- ，) = 0 u - h ( o ，) 0 ( 2 5 ) 捆绑调整时，源图像是依次加入到调整器中的，每次新加入农服图像后都执行一次最小化求解以达到 对调整器内所有的图像进行优化处理的目的。 ( 2 ) 自动拼接 上述捆绑调整针对的对象是同一视点拍摄的场景照片，如果视点不同，那么局部配准后首先要找到属 于同一视点的顺序拍摄的照片，然后才能对同一视点的照片进行全局的捆绑调整。 如果输入一组杂乱顺序的给定图像集，如何给图像自动并进行拼接是一个难题。m a t t h e wb r o w n 和 d a v i dg l o w e | t q 提出在图像匹配确认时引入了一个概率模型，来判断无序输入的图像集中任意两幅图像能 否构成拼接： b ( n t ；t l , p 1 ) 、a e c ；p t l 上一 ( 2 6 ) b ( n f ；n i ，p o ) 上一1 只n i n 其中p l 是可以实现图像匹配时正确特征匹配对的概率，风是不能实现图像匹配时正确特征匹配对的 概率。是总的特征匹配对的个数，而吩是重叠区域内的特征匹配对的个数，b 表示伯努利分布。本文 将在前人的基础上对自动拼接技术进行研究，详细内容见第5 章。 6 第2 章图像拼接技术理论堆础 2 2 坐标系统与成像模型 在图像拼接过程中，经常要将某幅图像变换剑参考图像的坐标系下，这就需要在不同的坐标系中考 虑问题，本节将介绍各种坐标系统的相互关系3 们，作为讨论图像变换的基础。 2 2 1 坐标系统 数字图像通常表示为具有一定大小的二维数组，数组的索引即为图像像素点坐标。在图像处理中， 常取图像的左上角点为像素坐标系的原点，水平向右方向的轴为“轴，垂直向下的轴为，轴。 由于像素坐标为数组的索引值，没有物理单位，因此引入图像坐标系。图像坐标系的原点为相机光 轴与图像平面q 的交点，通常为图像的中心处，图像坐标系的x 、】，轴单位为毫米，方向分别为水平 向右和垂直向下。图像坐标与像素坐标如图2 1 所示： d l 西呦 r1 r 图2 1 图像坐标系与像素坐标系的关系 其中u o ，i o 为图像像素坐标系下的中心坐标，d x ，d 】，分别表示图像在水平方向和垂直方向上的 物理分辨率，单位为毫米，像素，由图2 一l 可得出两种坐标系的关系如式( 2 7 ) ： ”2 d x + u l 厂 v 2 d y + u 用齐次坐标表示两个坐标系的关系为： 1 面o 】 0 二 d y ” o0l ( 2 7 ) ( 2 8 ) 图像坐标描述的是二维平面上像素点之间的关系，在成像时，三维空间中的点与相机之间的相对位 7 东南火学硕士学位论文 置关系可以用相机坐标系描述。相机坐标系的原点位于相机光心口上，x 、y 轴分别与图像坐标系的x 、 】，轴平行，且方向一致，z - 轴为d 与图像坐标系原点q 的连线，这样，空间中的一点可以用( z ，y ，z ) 来 表示。 在视点变化的情况下，相机的位置是不断改变的，用相机坐标系不能唯一表示出空间点与相机之间 的位置关系，因此必须将相机和空间点置于同一个坐标系下，才能描述两者问的位置关系，此时可引入 世界坐标系。在实际应用中可根据需要指定世界坐标系，一旦确定世界坐标系后，空间中所有的点，包 括相机的位置都可用同一个坐标系表示。图像坐标系、相机坐标系及世界坐标系的关系如图2 2 所示。 ，黑t 列国 一。! 么二一 石 - ，一， ，。 p ， ，7 z j， l d d j x j t 7 l ， 1r l ， 蜥 相机坐标系 图像坐标系世界坐标系 图2 - 2 相机坐标系、图像坐标系和世界坐标系关系 通过旋转和平移变换，可以建立世界坐标系与相机坐标系间的关系，用齐次坐标表示两者的关系为： 罔 = 剐 x 。 圪 z w 1 = m 2 x w 匕 z w 1 其中r 表示3 x 3 的旋转矩阵，f 表示平移向量，o r = 0 ，0 ，0 】7 。 2 2 2 成像模型 ( 2 9 ) 空间中任意一点与其对应的图像之间可以用小孔透视投影成像模型来表示【3 0 i 。在图2 - 2 中，空间中 任意一点p ( x ，y ，z ) 在图像坐标系中成像为点( x ，即，在相机坐标系下，由相似三角形的关系可知： 8 ( 2 。1 0 ) 矿一z旷一z = = x y ，j、l 第2 章图像拼接技术理论基础 其中，厂表示相机焦距。在图2 - 2 中即为d 与q 的距离。为引入线性变换，用齐次坐标表示图像坐 标( x ，j ，) 可以表示为p ( 矿，z ) ，表示为矩阵形式为： 臣 f - f 00 0 = 10f 0 0 l o o1o = p( 2 1 1 ) 式( 2 1 1 ) 表示了空问点与对应的像之间的齐次坐标关系，这就是透视投影关系。尸称为透视投影 矩阵。透视投影的显著特性是物体离摄像机越远它所成的图像就越小。由式( 2 9 ) 及( 2 1 1 ) 可得图像 坐标系中的点与世界坐标系中的点的齐次坐标表示形式： 阡 f0 0 f 00 0 0 0 0 10瞄 ix 八x ， 抖腑：k lljl - 1 由式( 2 1 0 ) 、( 2 1 2 ) 代入( 2 7 ) 可得到像素坐标与世界坐标系的关系： 1 面o 1 o 万 001 f0 0 f oo 0 o 0 o 1o 鸩 x 。 圪 乙 l l 以 = m i m 2 i 厶” i l ( 2 1 2 ) ( 2 1 3 ) 由于其次表示形式不唯一，因此另s = z 其中s 为比例因子，m 矩阵中共有4 个变量，表示了相机 焦距、分辨率以及像平面偏移量，这些量只与相机的参数有关，称之为相机的内部参数，鸠矩阵表示 相机坐标系与世界坐标系之间的旋转平移关系，称之为相机的外部参数。在世界坐标系中，用两个不同 的相机，从不同角度或距离获取空间中同一点的图像时，可以用相机的成像模型确定该点在两幅图像上 像素坐标之间的关系，从而实现图像在空间上的儿何变换。下面将在成像模型的基础上介绍图像的儿何 变换。 2 3 图像的几何变换 图像的空间几何坐标变换是建立从一幅图像坐标o ，j ，) 与另一幅图像坐标 7 ，少7 ) 之间的变换关系。 常用的二维图像变换模型有：平移( t r a n s l a t i o nt r a n s f o r m a t i o n ) 变换，刚体变换( r i g i dt r a n s f o r m a t i o n ) ， 仿射( a f f i n et r a n s f o r m a t i o n ) 变换、投影( p r o j e c t i v et r a n s f o r m a t i o n ) 变换和相似( s i m i l a r i t yt r a n s f o r m a t i o n ) 1 2 0 l 。下图是不同模型的示意图： 9 门一 东南人学硕士学位论文 图2 3 二维图像变换模型 利用齐次坐标，我们可以朋矩阵的形式米描述上述的关系模型： 工t 1 y 卜h 1 j h o 啊吃 玛啊绣 i 1 7 1 习 ( 2 1 4 ) 根据各变换模型的特点，h 阵可以进行简化即可得到各变换模型的矩阵。 1 平移变换 x = x + to r x 7 = i ，f( 2 1 5 ) 其中，为2 x 2 的单位阵，孟= ( x ，y ，1 ) 是投影2 2 维坐标。 平移变换是最简单的运动模裂，在很多场合下，可以满足要求，但是缺乏那些由于相机旋转、镜头 推拉造成的复杂运动的描述能力。 2 刚体变换 刚体变换是平移变换和旋转变换的组合，又称欧儿里德变换。刚体变换图像中的两点问的距离经变 换到另一幅图像中后仍然保持不变。刚体变换仅局限于平移、旋转和反转( 镜像) 。在二维空间中，点 ，力 经过刚体变换剑点0 ，y ) 的变换公式为： ， z ， y 1 c o s d p + s i n 缈 s h l 缈千c o s 缈0 0 01 ( 2 1 6 ) 式中缈为旋转角， t x 。o r 为平移向量。刚体变换共有3 个自由度，理论上选择至少两对点就可以 确定。 3 仿射变换 如果一幅图像中的直线经过后映射到另一幅图像上仍为直线，并且保持平行关系，则这种变换称为 仿射变换。仿射变换适应于平移、旋转、缩放和反转( 镜像) 情况。在二维空间中，点o ，y ) 经过仿射变换 到点0 7 ，j ，) 的变换公式为： l o 第2 章图像拼接技术理论基础 ； = 笼乏 ； + 乏 其变换阵日为： h = 啊红 魄绣 0o 1 ( 2 1 7 ) ( 2 1 8 ) 仿射变换矩阵有6 自由度，理论上选择至少3 对不共线的控制点就可以解出所有参数。仿射变换是 图像拼接中较为常h ；j 的一种模型。 4 投影变换 经过变换后第一幅矧像上的直线映射剑第二幅图像上仍为直线，但不再保持平行关系，这样的变化 称为投影变换。投影变换具有更一般的形式，可以描述摄像机的平移、水平扫动、垂直扫动、旋转、镜 头缩放等运动，其中刚性变换模型和仿射变换模型是投影变换模型的特例。 在二维空间中，点0 ，j ，) 经过投影变换到点 7 ，y ) 的变换公式为： ： = 扛吃 红么魄 魄j l z 7 1 变换矩阵h 为： h = 缟 玩 啊 玩 允 吃 魄 1 e ( 2 1 9 ) ( 2 2 0 ) 投影变换矩阵有8 个自由度，理论上至少选择四点对来确定。 除此以外，其他常见的映射关系有双线性映射和烈二次映射等一些多项式映射关系。投影映射具有 线性调频效果和会聚效果，其他的近似模趔不一定能同时具各这两种效果。 2 4 图像转换的求解及优化 2 4 1 图像转换的求解 对于同一视点的两个摄像机拍摄的图像可以通过二维投影变换相关联起来。关于变换的求法有很多 种1 2 6 l 【3 ，下面简要介绍其思想。 假设特征点经匹配后形成图像1 和图像2 之间有一组匹配点集。给定图像，厶及，z 组匹配点映射 ( t ，y j ) ( ，吖) ，1 i 1 。两幅相邻图像和厶之间图像变换的模型，由式( 2 1 9 ) 可得： x 。：h o x + h _ l y + h z 吃x + h , y + l ，：塾兰丝羔塾 h 6 x + h 7 y + l 对每一对匹配点，可以得到2 个独立的线性方程组： ( 2 2 1 ) 东南大学硕士学位论文 ixy 10 0 0 一x x z y 1 0 0 0 xy 1 一x y 一j 啊 吃 吃 魂 魄 见 捌 ( 2 2 2 ) 代入n 对不共线匹配点，得到2 丹个方程。由于日阵有8 个参数，那么理论至少需要4 对点，就可 以唯一确定一个变换矩阵了。但是匹配点对数一般会多于未知参数个数时，所以对这个方程的求解需采 用最小二乘法进行估计。 2 4 2 图像转换的优化 最小二乘解h 往往含有较大的配准误著，如果直接用其进行图像融合将会出现较人的鬼影，因此对 继续进行非线性优化处理【3 2 1 。 在选择误差函数进行非线性优化时，本文采用以特征点的坐标位置误差而不是亮度误差来构造优化 函数，这样可以克服以往算法对光照的敏感性，使算法更具有实j h j 性。 以对称投影位置误差最小化米优化估计变换矩阵时其误差函数为： c = d 2 ( 薯，h 。巧) + d 2 ( 1 ，如) = q ( 2 2 3 ) 其中d ( x ，y ) 表示点x 和点y 的欧几里德距离。式( 2 。2 3 ) 作为优化目标函数，需要优化的参数为 ，曩，缟，坞j - 这是非线性最小问题，为完成极小化，本论文采用了已成为求解该类问题的标准方法 l e v e n b e r g m a r q u a r d t 非线性优化算法1 3 3 1 。该算法是在逆h e s s i a n 矩阵方法的极限和最速下降法之 间做平