（计算机科学与技术专业论文）图像拼接技术研究.pdf

学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 歹潮鸟 导师签名：嘲d 气r 签字f 1 期：劢o 年月为闩签字日期：砌，口年月 -ro-tiirr 卜 中图分类号：t p 3 1 7 4 u d c ：0 0 4 4 学校代码：1 0 0 0 4 密级：公开 北京交通大 硕士学位论文 图像拼接技术研究 r e s e a r c h e so ni m a g em o s a i c 作者姓名：王立鹏 导师姓名：胡俊 学位类别：工学 学科专业：计算机科学与技术 学号：0 8 1 2 0 5 0 2 职称：副教授 学位级别：硕士 研究方向：图像处理 北京交通大学 2 0 10 年6 月 卜 北京交 通 大学硕 士 学位论文致谢 致谢 值此论文完成之际，谨向我的导师胡俊老师致以崇高的敬意和衷心的感谢。 在胡老师的悉心关怀和指导下我的论文才得以最后顺利完成。在读研期间，胡老 师在学术和生活上给了我很大的帮助，从论文选题、论证以及研究过程中无不凝 聚着胡老师的心血。两年来的硕士研究生生活中，胡老师给我创造了宽松的学习 环境，同时在科研上给我悉心的指导，使我能够顺利完成学业。 感谢实验室的陈思勇、高芳、陈恒忍、马健等师兄师姐，他们在课题研究和 日常生活中给予了我很多热情的指导_ ；f u 帮助。感谢吴银卫、张彦博、韩鸿洲、李 勇等同窗，在和他们的共同学习中我度过了人生美好的一段时光。 特别感谢我的父母，我在人生道路上迈出的每一步无一不凝聚着他们的心血 和深深的牵挂，正是他们多年来无微不至的关怀和支持，使我顺利完成学业。最 后感谢我的女朋友张月莹一直以来对我的支持和帮助，使我能够乐观的面对一切。 i 北京交通大学硕 士 学位论文 摘要 摘要：图像拼接技术是数字图像处理领域的一个重要的研究分支，它将一组相互 问存在重叠部分的图像序列进行匹配对准，重新注册融合后，形成一幅包含各图 像序列信息的宽视角场景的新图像。图像拼接可以用来建立宽视角的高分辨率图 像，在虚拟现实领域、医学图像处理领域、遥感技术领域和军事领域中均有广泛 的应用。 本文首先介绍了图像拼接技术的意义、研究背景、研究现状及拼接技术的特 点等，从而展示了图像拼接技术广泛的应用前景。然后对图像拼接的基本流程和 关键技术做了概括和总结，重点介绍了图像拼接技术中的图像配准和图像融合等 技术，分析和总结了目前主流的配准和融合方法。论文重点研究了模板匹配法和 相位相关法，并针对传统方法的不足提出了改进的方法。 针对传统模板匹配法中亮度对拼接造成干扰的问题，本文提出了基于l a b 颜 色空间下的模板匹配。l a b 颜色空间下可以很容易的将亮度从像素中分离出来，只 对a 、b 颜色分量进行差值计算，实验证明可以有效避免亮度带来的干扰。另外在 对应比较区域中采用了设定阈值随机取点的方法，避免了将所有对应点进行颜色 差值计算，提高了拼接速度。 针对传统相位相关法中亮度对拼接造成干扰的问题，本文采用了基于轮廓的 相位相关法。首先提取待拼接图像的二值轮廓图，然后对轮廓图进行相位相关计 算，实验证明可以有效的避免亮度带来的干扰。另外在万函数阵列最大峰值的选取 中采用了迭代法二次计算寻找峰值，实验证明，这样可以有效的降低多个峰值带 来的干扰。 关键词：图像拼接；图像配准；图像融合；相位相关 分类号：t p 3 1 7 4 北京交通大学硕 士 学位论文英文摘要 a b s t r a c t a b s t r a c t ：i m a g em o s a i c st e c h n o l o g yi s a ni m p o r t a n tr e s e a r c hb r a n c ho fd i g i t a l i m a g ep r o c e s s i n g i tc a r r i e so nt h es p a t i a lm a t c h i n gt oa s e r i e so fi m a g eo v e r l a p p e dw i t h e a c ho t h e r , a n df i n a l l yb u i l d sas e a m l e s si m a g ew i t hh i g h e rr e s o l u t i o na n db i g g e r e y e s h o tc o m p a r e dw i t has i n g l ei m a g e m o r e o v e r , i m a g em o s a i c st e c h n o l o g yc a nb e u s e dt oc o n s t r u c tt h el a r g ef i e l do f v i e wa n dh i g h - r e s o l u t i o ni m a g e ，a n dw i d e l ya p p l i e d t ov i r t u a lr e a l i t y , m e d i c a li m a g ep r o c e s s i n g ，r e m o t es e n s i n ga n dm i l i t a r ya f f a i r s t h et h e s i sf i r s ti n t r o d u c e st h eb a c k g r o u n do fi m a g em o s a i c st e c h n o l o g yw i t hg r e a t p o t e n t i a l ，a n dt h e nd e m o n s t r a t e si t sc h a r a c t e r i s t i c sa n dp r e s e n tr e s e a r c hd i r e c t i o n s i n t h es e c o n dc h a p t e r , t h ea u t h o rd i s c u s s e st h eb a s i cs t e p so fi m a g em o s a i c f u r t h e r m o r e ， t h et w op i v o t a lm e t h o d so fi m a g em o s a i c ，w h i c ha r et h ei m a g er e g i s t r a t i o nm e t h o d sa n d i m a g e sf u s i o nm e t h o d s ，a r ei n t r o d u c e dr e s p e c t i v e l y i nt h et h i r da n df o r t hc h a p t e r , t h e t h e s i sa n a l y z e ss e v e r a lt r a d i t i o n a la l g o r i t h m s ，s u c ha st h et e m p l a t em a t c h i n ga n dp h a s e c o r r e l a t i o na l g o r i t h m m o r e o v e r , i no r d e rt oi m p r o v et h ea b o v e m e n t i o n e da l g o r i t h m s ， t h em o d i f i e dm e t h o d sa r ep r o p o s e db a c k w a r d s s p e c i f i c a l l y , i nt h et r a d i t i o n a lt e m p l a t em a t c h i n ga l g o r i t h m ，l i g h ti n t e n s i t ya l w a y s i n t e r f e r e sw i t hi m a g em o s a i c am o d i f i e dt e m p l a t em a t c h i n ga l g o r i t h mi nt h el a bc o l o r s p a c ei sp r o p o s e dt os o l v et h ep r o b l e m i nt h el a bc o l o rs p a c e ，i ti ss oc o n v e n i e n tt o d i v i d et h el i g h ti n t e n s i t yf r o mp i x e l st h a tw ej u s tn e e dc a l c u l a t et h ed i f f e r e n c eb e t w e e n c o l o rv a l u e saa n db t h er e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a ns i g n i f i c a n t l y a t t e n u a t et h ei n t e r f e r e n c e sd u et ot h el i g h ti n t e n s i t y o nt h eo t h e rh a n d ，r a n d o mp o i n t s w i t h i nt h et h r e s h o l da r es e l e c t e da n dc a l c u l a t e di naq u i t es m a l lr e g i o n ，r a t h e rt h a nt h e w h o l er e g i o n ，w h i c hl a r g e l yr e d u c e st h ec o m p l e x i t ya n di n c r e a s e st h ec a l c u l a t i o ns p e e d t of u r t h e rr e d u c et h ei n t e r f e r e n c ef r o mt h el i g h t i n t e n s i t y , ac o n t o u rp h a s e c o r r e l a t i o na l g o r i t h mh a sb e e na d o p t e d a f t e rp i c k i n gu pt h eb i n a r yi m a g e ，ac o n t o u r p h a s ec o r r e l a t i o ni sc a l c u l a t e dt oa c h i e v et h ed e s i r e di m a g e f o ra n o t h e r , w h e nf i n d i n g t h em a x i m u mp e a ko ft h ed i r a cf u n c t i o na r r a y , w ep r o p o s ea ni t e r a t i v em e t h o dw i t h h i g h e ra c c u r a c gt h er e s u l t so ft h ee x p e r i m e n t sh a v es i g n i f i c a n c ef o ra p p l i c a t i o ni n i m a g em o s a i c st e c h n o l o g y k e y w o r d s ： i m a g em o s a i c s ；i m a g er e g i s t r a t i o n ；i m a g e sf u s i o n ；p h a s ec o r r e l a t i o n c i a s s n o ：t p 3 1 7 4 一一 i 北京交通大 学 硕士学位论文 目 录 目录 摘要i i i a b s t r a c t i v l 绪论1 1 1图像拼接技术的意义1 1 2图像拼接技术的研究背景1 1 3图像拼接技术的研究现状和不足2 1 3 1 研究现状2 1 3 2 目前存在的问题4 1 4图像拼接技术的特点4 1 5本文所做工作和论文组织结构5 1 5 1 本文主要工作5 1 5 2 论文组织结构1 2图像拼接及其关键技术研究2 2 1图像拼接的基本流程2 2 2图像预处理3 2 3图像配准4 2 3 1 图像配准原理4 2 3 2 图像配准方法5 2 4图像融合l l 3随机取点模板匹配图像拼接算法1 5 3 1模版匹配图像拼接算法基本原理1 5 3 2随机取点模版匹配图像拼接算法1 7 3 2 1 颜色空间1 7 3 2 2 待拼接图像匹配计算18 3 2 3 相机焦距估计2 2 3 2 4 柱面投影变换2 2 3 2 5 图像的拼接及融合2 6 3 3拼接算法实例与分析2 6 3 3 1 拼接实例2 6 3 3 2 改进算法分析31 4基于轮廓的相位相关图像拼接算法3 2 北 京交 通大学 硕 士 学位论文目录 4 1正交变换3 2 4 1 1 一维傅里叶变换3 3 4 1 2 二维傅里叶变换3 4 4 1 3 二维傅里叶变换的性质3 5 4 2基于轮廓的相位相关拼接算法3 8 4 2 1 基于c a n n y 算子的轮廓提取3 8 4 2 2 相位相关计算4 0 4 2 3 迭代法寻找最佳峰值4 0 4 2 4 柱面投影及图像融合4 3 4 3拼接算法实例4 3 4 3 1 拼接实例4 4 4 3 2 改进算法分析4 7 4 4本文两种算法对比分析5 0 5 总结与展望一5 1 5 1本文工作总结51 5 2展望5 2 参考文献5 4 附录a 5 6 北京交 通大学硕士 学 位论文 绪论 1 绪论 图像拼接( m o s a i c s ) 技术就是将一组重叠图像的集合拼结成一幅大型的无缝高 分辨率图像【l 】。拼接后的图像要求最大程度地与原始图像接近，失真尽可能小，没 有明显的缝合线。它最早来源于人类的摄影知识，当相机的视野小于人类的视野 时，人们自然考虑到将多个照片拼接成一幅大的照片以扩大相机的视野。随着数 字摄像技术的发展，人们开始用于航空和卫星照片图像的拼接。2 0 0 3 年，美国“勇 气号”和“机遇号”火星探测器发回了大量的火星地面照片，科学家们就是运用 图像拼接技术合成了火星表面的宽视角全景图像。 1 1图像拼接技术的意义 随着数码类照相、摄像产品的普及，越来越多的数码图像被应用到各个领域。 在日常生活中，使用普通数码相机来获取宽视野的场景图像时，必须通过调节相 机焦距才可以摄取完整的场景，但是这样获得的全景照片分辨率相对较低。使用 广角镜头和扫描式相机虽然可以解决这个问题，但这些设备造价昂贵，不易操作， 无法为普通家庭使用，而且广角镜头的边缘难免会产生扭f h l 和变形。另外，在监 控环境中，需要将多个摄像头获取的图像拼接成一幅宽视野全景图像，消除盲区， 这些都要用到图像拼接技术。图像拼接的目的就是利用计算机进行自动匹配，将 具有重叠区域的多幅图像合成为一幅宽景图，以此扩大视区的范围【i 】。 图像拼接技术是数字图像处理领域的一个重要的研究分支，它是将一组相互 间存在重叠部分的图像序列进行匹配对准，重新注册融合后，形成一幅包含各图 像序列信息的宽视角场景的新图像。通过图像拼接技术，可以扩展图像的分辨率， 并且压缩冗余信息，从而更加有效的表示信息。目前，全景图像的生成和虚拟现 实是图像拼接技术热门应用【2 】，它是利用图像来创建虚拟场景，并以此来做虚拟漫 游。全景图像提供一种在虚拟场景交互武浏览中真实的感觉，将多个场景图像拼 接在一起，可以让用户在不同场景中无缝漫游。图像拼接还是计算机视觉、计算 机图形学和图像处理等领域的重要研究课题，在宇宙空间探测、海底勘测、医学、 气象、地质勘测、军事、视频压缩和传输、视频的索引和检索、物体的3 d 建模、 军事侦察和公安取证、数码相机的超分辨处理等领域都有广泛的应用。 北京交通大 学 硕 士 学位 论 文 绪论 1 2图像拼接技术的研究背景 图像拼接技术是将同一场景中的多幅具有部分重叠区域的图像进行拼接，无 缝的连接成一幅较大的图像的处理过程。创建拼图具有较早的历史，早期，人们 通过把鸟瞰图像的影印粘贴到一起来生成地形拼图，其变形处理是通过在暗室里 倾斜摆放相纸来实现的；后来，通过把鱼眼透镜和曲面镜等一些定制光学系统用 于虚拟现实领域来获得全景图像【4 】。当人们开发出有效的图像拼接技术从序列图片 或视频图像中创建拼图时，该技术才变得实用。从二十世纪六十年代起，随着电 子技术和计算机技术的不断提高和普及，数字图像处理技术进入高速发展时期。 图像拼接技术广泛的应用于医学、环境监测和视频监控、虚拟现实、视频检索等 领域。 在医学领域，图像处理的应用无处不在，从c t 图像、x 光照片到人体的细胞 图片，医学对图像的质量和处理手段都有极高的要求，许多图像处理技术也是在 解决医学图像问题的过程中产生的。全景图由于其宽视角的优点也被应用于医学 领域，尤其是外科手术领域。在外科手术中，视网膜的激光手术是一个较难的课 题，a l i c a nc h a r l e s 矛l v s t e w a r t 等人提出了利用图像拼接的方法构建视i 删膜的整体视 图【6 】，用来作为外科手术时的依据。他们假设相机的运动只有旋转和平移且焦距没 有变化，并将视网膜近似为一个二维的f h l 面，这样通过求解一个1 2 参数的变换矩 阵找到相邻两幅图像之间的变换关系，将一系列视网膜的图像拼合成一张大的视 网膜图像，为视网膜激光手术的发展做出了巨大的贡献。 图像拼接技术可以用于环境监测和视频监型卯，通过将卫星图片或航空照片拼 接成大范围的场景图片来实现对某一地区的整体监测，比如对某一地区的河流流 域、耕地面积以及农作物病虫害情况的实时监控等。在军事上，全景图可以用来 描述某一区域内的动态信息，例如场景中的运动目标及其运动轨迹。当运动目标 相对于背景比较小的时候，可以在同一坐标系下对场景中的运动目标进行目标跟 踪。利用时间域上的连续性约束条件，对场景图像中运动目标的轨迹估计可以产 生更为可靠的检测和跟踪。在日常生活中，图像拼接技术也可用于全景图像视频 监控系统中，将多路摄像头获取的分离的监控图像序列合成一幅宽视野的高分辨 率的全景图像用来实现实时监控，这样就无需分别监控每一路视频，并且给人一 种身临其境的整体感觉。 图像拼接技术一个重要且成功的应用领域是基于图像的虚拟现实技术。虚拟 现实( v r ) 是利用计算机生成逼真的三维视觉、听觉、触觉等环境，使用户可以通 过使用专门设备，对虚拟环境中的实体进行交互考察与控制。随着虚拟现实技术 的飞速发展，基于图像的绘制技术已逐渐成为虚拟现实领域中的一个热点问题【8 】。 北京交 通大学硕士 学位论文绪论 虚拟场景的绘制利用一组预先采集到的场景图像和用户构建的数据模型，通过图 像拼接技术组合这些场景图像来产生虚拟的全景视图。这样可以让用户从不同的 观察点和方向了解环境。图像拼接技术是虚拟场景创建的关键性环节，直接影响 到虚拟现实系统的性能。目前，i n t e m e t 的普及也为虚拟个景空间的推广和应用构 筑了一个很好的平台，人们可以足不出户的进行虚拟旅游、虚拟购物等，这些技 术的广泛应用使得图像拼接技术进一步实用化和商业化【7 j 。 在基二f 内容的视频图像检索中，由于视频流中帧与帧之间存在大量的冗余信 息，因此必须对视频数据进行压缩，其中的一种方法就赴通过图像拼接技术将分 散在各个视频帧中的信息集中起来表示成整体的场景，这样就可以实现对视频数 据直接有效的检索、浏览和编辑等操作。这样得到的拼接图像代表了所有帧的公 用信息，可以反过来分别解释每个帧，这种紧密重组提供了对内容的非线性浏览 和高效索引，可以有效的对感兴趣的信息进行直接快速的存取。在进行视频检索 时，首先搜索拼接图，查找所需的目标，然后利用几何定位机制，就可以很方便 的检索到相应的视频帧。这种方法对视频序列中的静态背景和动态目标的检索都 是适用的，比传统的基于颜色和纹理等特征的信息检索方法更简单。除了对视频 进行检索外，基于拼接图像的场景表示还可以片j 来对这些视频进行编辑、注释等 操作。比如，利用与检索相同的原理可以将拼接后的图像注释有效的传递给相应 的视频帧，其中注释由用户一次性指定给拼接图像，而不是冗长乏味的给每一帧 指定一个注释。这个做法可以进一步的推广到视频情节的编辑，如果在拼接图像 上捅入或删除一个对象，则在相应的视频帧中也实现了同样的插入或删除。 1 3图像拼接技术的研究现状和不足 1 3 1研究现状 提高图像的分辨率和获得更大的视野是进行图像拼接的两个直接的和主要的 目的，随着图像拼接技术在计算机视觉、计算机图形学及虚拟现实等领域的应用， 使得图像拼接技术日益成为数字图像处理领域的研究热点之一。在国内外关于图 像拼接的原理和方法已有很多的论文发表，但是目前还没有通用的拼接技术和方 法使得人们可以快速高效地实现图像的拼接。同时在已使用图像拼接技术的领域， 对于获取图像的设备要求很高，这就使得图像拼接的应j f j 因为设备成本高、操作 复杂而受到很大的限制。 微软研究院的r i c h a r ds z e l i s k i 在1 9 9 6 年提出基于运动的全景图像拼接模型，采 l e v e n b e r g m a r q u a r d t j 迭代非线性最小化方法( 简称l m 算法) 【9 】，通过求出图像间 2 北京交通大学硕 士 学位论文 绪 论 的几何变换关系来进行图像配准，由于此方法效果较好，收敛速度快，且可处理 具有平移、旋转、仿射等多种变换的待拼接图像，因此也成为图像拼接领域的经 典算法，r i c h a r ds z e l i s k i 也从此成为图像拼接领域的奠基人，他所提出的理论已经 成为二种经典理论体系，直到今天仍然有很多人在研究他的拼接理论。2 0 0 0 年， s h m u e lp e l e g ，b e n n yr o u s s o ，a l e xr a v a c h a 和a s s a fz o m e t 在r i c h a r ds z e l i s k i 的基础 上做了进一步的改进，提出了自适应的图像拼接模型，它是根据相机的不同运动， 自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。这 一研究成果无疑推动了图像拼接技术的进一步发展，自适应问题也从此成为图像 拼接领域研究的新热蒯1 0 】。 早在1 9 8 8 年，h a r r i s 就提出了h a r r i s 兴趣点检测器，他使用自相关函数来确定 信号发生二维变化的位置，这种方法提取的兴趣点被证明具有旋转、平移不变性， 并且可以达到亚像素级的精度。这种方法对信号噪声、数据获取时的参数变化和 图像变换以及图像光照条件不同等具有较好的鲁棒性。 基于几何特征的图像配准方法是图像拼接技术的另一研究热点。1 9 9 4 年， b l a s z k at ，r a c h i dd e r i c h e 通过二维高斯模糊过滤可以得到一些低级特征模型，如 边模型和顶点模型【1 2 】。此后越来越多的人开始研究基于特征的图像拼接方法。1 9 9 7 年，l e i l am g f o n s e c a 和j u n w e ih s i e h 等人采用基于小波变换的多尺度分析理论， 先对图像作小波变换，计算小波变换的模值，对应图像中的边缘特征点。经常用 于图像拼接的方法还有相位相关法，这种方法最早在1 9 7 5 年f l t k u g l i n 和h i n e s 提出， 相位相关法具有场景无关性，能够将纯粹二维平移的图像精确地配准。在此基础 上d e c a s t r o 和m o r a n d i 发现用傅里叶变换确定旋转配准，就像平移配准一样有效， 于是他们提出了扩展相位相关法。相位相关法是一种简单的配准方法，运算快， 效率高，但这种方法一般需要比较大的重叠比例，通常要求待配准图像之间有5 0 的重叠比例，同时计算量和适用范围与图像的尺寸的大小有很大关系。 在国内，图像拼接技术起步相对较晚，但很快迅速发展了起来。1 9 9 7 年，王 小睿等提出并实现了一种自动图像配准方法，用于图像的高精度配准，它是一种 使用互相关系数作为相似性测度的半自动的图像配准方法。1 9 9 8 年，张祖勋等提 出了采用多级影像概率松弛整体匹配技术，用于不同传感器、不同空间分辨率的 遥感影像的快速配准。浙江大学c a d & c g 国家重点实验室和中国科学院自动化所 模式识别国家重点实验室利用模板匹配的方法进行搜索来确定重叠区边界获最佳 匹配位置，从而获得拼接图像。同时他们把这种方法应用于微血管循环和集成电 路等的图像拼接研究中，取得了一定的成效【2 3 】。近年来，s i f t 算法被广泛引入来 提取特征，浙江大学的方贤勇采用鲁棒的s i f t 特征提取算法进行特征提取和匹配， 然后采用优先搜索进行特征点的近似最近邻搜索和改进的r a n s a c 算法进行特征 北京 交 通大学硕 士 学 位 论文 绪论 匹配，较好的减少了误差累计，提高了拼接的稳定性】。 1 3 2目前存在的问题 图像拼接技术作为数字图像处理的一个重要分支，不断与其它学科结合，发 展速度日新月异，但是目1 甫还有许多问题需要进一步解决【1 5 j ：首先，对于全局运 动位置不规则，背景光线变化剧烈，图像排列顺序未知的图像拼接依然没有很好 的算法；其次，对于存在局部运动的图像拼接依然是一个值得探讨的问题，在已 知的诸多成熟的算法中，都对相机或者摄像机的运动有很明确的限制，但在现实 生活中，许多图像都是由f i 规则运动的相机拍摄的，图像之间存在很大的几何形 变和光度变化，这给高质量的拼接带来很大的难度；另外，目前尚未建立完备的 图像拼接理论，在图像的配准、光色度的混合，多幅图像融合时的累计误差的降 低方面没有精确的数学模型和鲁棒性更高的算法，这些方面都需要广大研究者们 继续努力。 1 4图像拼接技术的特点 图像拼接是以多幅图像作为处理对象，需要同时对两幅或两幅以上的图像做 综合的分析处理，中间涉及多个步骤，因此相对于图像压缩，图像编码等图像处 理技术来说，有其自身的特点：多样性、针对性和复杂性【”】。 1 多样性 客观世界中的自然物体和人造物体种类繁多、形状各异，使得图像的内容千 变万化。另外光照条件的变化和景物中存在着不可避免的物体移动，所以相机从 不同角度采集的图像之间以及在不同时间采集的同一物体的图像之间都存在着差 异。相机在采集图像的过程中，存在着多种运动方式，如平移、旋转、倾斜等， 这也令得到的图像具有不同的特点。以上诸多方面的原因造成了图像拼接技术的 处理对象的复杂性和不可把握性，也决定了图像拼接技术的多样性。因此，对于 不同类型的图像，需要使用不同的处理方法。 2 针对性 由于图像的内容是多种多样的，它们的特点各不相同。另外，某些图像是在 特殊条件下得到的，如柱面图像，球面图像和视频图像序列等。因此，针对这些 特点产生了特定的图像拼接算法。一般来说，这些算法的针对性都很强，针对某 种条件下的图像拼接算法可能完全不适用于另一条件产生的图像。 3 复杂性 4 北京交通大学硕 士 学位论 文绪论 从图像的采集到无缝全景图的生成，中间需要经过多个环节。这就决定了图 像拼接技术的复杂性，图像拼接算法一般都是多种处理手段和算法的总和。 图像拼接技术的特点决定了它没有标准的测试图像，也没有统一的评价标准， 衡量一种拼接算法的优劣主要靠人的主观视觉感。图像拼接技术由于以上这些特 点，因此任何一种算法，尤其是处理对象是多幅图像的时候，目前都无法保证由 计算机来完成算法的全过程，在拼接过程中或多或少的需；要与用户交互操作，随 着用户的主观评价而进行调整直至达到最佳的视觉效果。 1 5 本文所做工作和论文组织结构 1 5 1本文主要工作 本文的研究工作主要是针对图像拼接的两大关键技术：图像配准和图像融合。 在此基础上重点研究了等距离匹配和相位相关这两种图像拼接方法，针对这两种 传统方法的不足，提出了自己的改进方法。 主要工作如下： ( 1 ) 查阅并学习了国内外大量的相关文献，对图像拼接领域的发展和国内外的 研究现状有了一个总体的认识，对图像拼接技术的特点和应用领域作了概括和分 析。 ( 2 ) 归纳总结了图像拼接的基本流程、待拼接图像的预处理方法，分析了图像 的各种配准方法以及图像的融合方法，掌握了图像拼接技术的基本理论和主流方 法。 ( 3 ) 针对传统的模板匹配法对亮度敏感，计算量大的缺点，提出了在l a b 颜色 空间下将亮度分量从像素中剥离，有效的减小了亮度对拼接所造成的干扰。另外， 在计算过程中运用随机取点的方法，避免了计算选定区域内所有像素点的颜色分 量差值，缩短了拼接时间。 ( 4 ) 针对传统的相位相关法中亮度对拼接造成干扰的问题，本文采用了基于轮 廓的相位相关法。首先提取待拼接图像的二值轮廓图，然后对轮廓图进行相位相 关计算，实验证明可以有效的避免亮度带来的干扰。另外在j 函数阵列最大峰值的 选取中采用了迭代法二次计算寻找峰值，实验证明，这样可以有效的避免多个峰 值带来的干扰。 北京交通大学硕 士 学位论文 1 5 2论文组织结构 全文共分5 章。 第1 章：绪论，主要介绍了图像拼接技术的特点、 究背景以及论文完成的主要工作。 国内外的研究现状、课题研 第2 章：图像拼接及j e 关键技术研究。主要研究了待拼接图像的预处理，图像 配准的原理和各种方法以及图像融合的原理和各种方法。 第3 章：随机取点模扳口e 配图像拼接算法。研究了基于模板匹配的柱面全景图 拼接的算法，并针对其计算量大的缺点进行了改进，加快了图像的拼接速度。 第4 章：相位相关| 冬| 像拼接算法。研究了通常的相位相关算法的基本理论， 包括图像快速傅里叶变换及其性质、图像边缘检测等理论。在此基础上，研究了 一种使用迭代方法的相位相关算法，多次利用频域相位信息进行全景图像拼接。 最后对本文研究的这两种算法进行了对比和分析。 第5 章：总结和展望。对全文所作的工作进行了总结，分析了目前工作存在 的问题，对图像拼接技术和以后的研究工作提出了展望。 北京交通大学硕士学位论文图像拼接及其关键技术研究 2 图像拼接及其关键技术研究 图像拼接技术主要包括图像配准和陶像融合两个关键环节。图像配准是拼接 的核心部分，其目标是找出具有重叠区域的图像的重叠部分，并以此确定拼接线。 2 1图像拼接的基本流程 图像拼接的方法不一，不同的算法拼接步骤会有一定的差异，但大致的流程 是相同的。一般来说，图像拼接主要包括以下4 步： 1 图像预处理 图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像 和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接， 如果不经过图像预处理，很容易造成一些误匹配。图像预处理主要是为下一步图 像配准做准备，让图像质景能够满足图像配准的要求。图像预处理一般包括：几 何校正，噪声抑制等。 2 图像配准 图像配准就是采用一定的匹配算法，找出待拼接图像中的模板或特征点在参 考图像中对应的位置。 3 建立变换模型 根据模板或者图像特征之间的对应关系，参考前人或自己大量实验，总结出 一些经验值，找出待拼接图像中的模板或特征点在参考图像中对应的位置。 4 图像融合 当准确的计算出图像之间的转换参数之后，我们需要根据求出的参数把多张 原始图像重新注册成一张大的全景图。图像融合算法的目标包括：全景图像的面 出，光度的混合调整。我们需要消除全局匹配的累计误差和图像重合区域的失真。 图像拼接的过程如图1 1 所示： l 黝p 预 处 卜 图像卜图像 r 目标 p 配准 融合 图像 l 图像2b o 理 图1 - 1 图像拼接流程图 2 北京交通大学硕士学位论文图像拼接及其关键技术研究 2 2图像预处理 图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像 和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接， 如果不经过图像预处理，很容易造成一些误匹配。图像预处理主要赴为下一步图 像配准做准备，让图像质量能够满足图像配准的要求。 图像预处理一般有以下几种方法： 1 图像的校正 当成像系统的镜头或者成像装置没有正对着待拍摄的景物时候，那么拍摄到 的景物图像就会产生一定的变形，这是几何畸变最常见的情况。另外，由于光学 成像系统或电子扫描系统的限制而产生的枕形或桶形失真，也是几何畸变的典型 情况。几何畸变会给图像拼接造成很大的问题，原本在两幅图像中市h 同的物体会 因为畸变而变得不匹配，这会给图像的配准带来很大的困难，因此，解决几何畸 变的问题显得很重要。 图像校正的基本思路是，根据图像失真原因，建立相应的数学模型，从被污 染或畸变的图像信号中提取所需要的信息，沿着使图像失真的逆过程恢复图像本 来面貌。实际的复原过程是设计一个滤波器，使其能从失真图像中计算得到真实 图像的估值，使其根据预先规定的误差准则，最大程度地接近真实图像。 2 图像噪声的抑制 图像噪声可以理解为妨碍人的视觉感知，或妨碍系统传感器对所接受图像源 信息进行理解或分析的各种因素，也可以理解成真实信号与理想信号之间存在的 偏差。一般来说，噪声是不可预测的随机信号，通常采用概率统计的方法对其进 行分析。噪声对图像处理十分重要，它影响图像处理的各个环节，特别在图像的 输入、采集中的噪声抑制是十分关键的问题。若输入时伴随有较大的噪声，必然 影响图像拼接的全过程及输出的结果。根据噪声的来源，大致可以分为外部噪声 和内部噪声；从统计学的观点来定义噪声，可以分为平稳噪声和非平稳噪声。各 种类型的噪声反映在图像画面上，大致可以分为两种类型。一是噪声的幅值基本 相同，但是噪声出现的位置是随机的，一般称这类噪声为椒盐噪声：另一种是每 一点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值大小的分布统计来看， 其密度函数有高斯型、瑞利型，分别称为高斯噪声和瑞利噪声，又如频谱均匀分 布的噪声称为白噪声等。一般采用中值滤波或均值滤波等方法对图像进行降噪处 理。 其他还有边缘锐化，灰度图投影，遗传算法估计碎片图像的拓扑排列等。总 之图像拼接预处理可以看成原始图像的预先对齐。一方面可以根据原始图像的特 北京交通大学硕士学位论文图像拼接及其关键技术研究 性来确定m o s a i c 图像的表示模型，选择合适的预处理算法，并确定下一步配准算 法；另一方面，我们也可以根据确定的配准算法，相应地选择合适的预处理方式， 以提高拼接精度和速度。在这里，预处理算法与配准算法并没有明显的界限，某 些预处理算法也在配准的过程中使用。 2 3图像配准 图像配准是图像拼接的关键技术，简而言之就是图像之间的对齐。所谓图像 配准足指依据一些相似性度量末决定图像间的变换参数，使从不同传感器、不同 视角、不同时间获取的同一场景的两幅或多幅图像，变换到同一坐标系下，在像 素层上得到最佳匹配的过程。为了更清楚图像配准的任务，我们将图像配准问题 用更精确的数学语言描述出来： 给定同一景物的不同的视角或在不同的时间获取的两个图像1 。，厶和两个图像 间的相似度量s ( ，1 2 ) ，找出，l ，厶中的相同点，确定图像间的最优变换丁，使得 s ( 丁( ) ，) 达到最大。 2 3 1图像配准原理 图像配准总是相对于多幅图像来说的，在实际的工作中，通常取其中的一幅 图像作为配准的基准，称它为参考图，另一幅图像称为搜索图。图像配准的一般 做法是，首先在参考图上选取以某一目标点为中一1 1 , 的图像子块，作为图像配准的 模板，然后将模板在搜索图上有秩序的移动，每移到一个位置，把模板与搜索图 中的对应部分进行相关比较，直到找到位置为止。 同一场景在不同条件下投影所得到的二维图像会有很大差异，这主要是由于 传感器噪声、成像过程中视角的改变、目标的移动和变形、光照或环境的改变以 及多种传感器的使用等引起的【2 4 1 。在这种条件下，匹配算法如何达到精度高、匹 配正确率高、速度快、鲁棒性好和抗干扰性强成为人们追求的目标。过去的几十 年里，国内外的研究者针对不同类型的图像和数据提出了许多配准方法，一般由 以下4 个方面组成： 1 特征空间 特征空间是由参与匹配的图像特征构成。特征可以是图像的灰度特征，也可 以是边界、轮廓、显著特征( 如角点、线交叉点) 、统计特征( 如频率、中，1 1 , ) 、 高层结构描述与句法描述等。特征的选取必须满足三点：首先，选取的特征必须 是参考图像和待配准图像所共同具有的特征：其次，特征集必须包含足够多的特 4 北京交通大学硕士学位论文图像拼接及其关键技术研究 征，并且在图像上分布均匀；最后，选取的特征必须易于进行特征匹配。 选择合理的特征空间可以提高配准算法的性能、降低搜索空间、减小噪声等 不确定性因素，同时也会影响到配准算法对不同成像方式获得图像的适应能力。 配准过程可以使用全局特征或者局部特征以及两者的结合。 2 相似性度量 相似性度量是用来l 平估待匹配特征之间的相似性，它通常定义为某种代价函 数或者是距离函数的形- 。经典的相似性度量包括相关函数( 如s s d 函数，归一 化系数，互相关) 和距离函数( 如欧氏距离、h a u s d o r f f 距离) 等。相似性度量同 特征空间一样，决定了图像的什么因素参与配准，什么因素不参与配准，从而可 以进一步提高配准算法的性能。 3 搜索空间 图像配准问题是一个参数的最优化估计问题，待估计的参数组成的空间即搜 索空间。也就是说，搜索空间是指所有可能的变换组成的空间。图像的变换可以 分为：全局的和局部的。全局的变换通常基于矩阵代数理论，用一个参数矩阵来 描述整个图像的变换，典型的全局几何变换包括平移、旋转、各向同性或各向异 性的缩放、二次或三次多项式变换等；局部变换允许变换参数有位置依赖性，即 不同的位置具有不同的变换参数模。因此成像畸变的类型和强度决定了搜索空间 的组成和范围。 4 搜索策略 搜索策略是指在搜索空间中找到一个最优的变换，使得相似性度量达到最大 值。搜索策略对于减少计算量有重要意义，搜索空间越复杂，选择合理的搜索策 略越重要，对算法的要求就越高。常用的搜索算法有穷尽搜索、分层搜索、多尺 度搜索、序贯判决、松弛算法、广义h o u g h 变换、线性规划、启发式搜索、遗传 算法以及神经网络等。 上述4 个方面是相互联系、相互影响的，设计配准算法时，首先根据实际的 应用背景，确定图像的景象类型和成像方式，同时确定图像配准的性能指标，以 此来确定应该采用的特征空间和搜索空间，然后通过搜索策略找到使相似性度量 值最大的最优变换参数。 2 3 2图像配准方法 由于图像配准技术在众多领域中起着重要作用，因此国内外研究者对其进行 了广泛和深入的研究，并提出了多种配准方法，各种方法都是面向一定范围的应 用领域，也具有各自的特点。根据图像配准所利用的图像信息，可以将图像配准 5 北京交通大学硕士学位论文图像拼接及其关键技术研究 分为如下几类：基于模板的图像配准、基于灰度信息的图像配准、基于变换域的 图像配准、基于特征的图像配准和基于模型的图像配准。 1 基于模板的方法 基于模板的配准方法直接利用图像