（模式识别与智能系统专业论文）图像拼接技术研究(2).pdf

摘要 摘要 自动建立大型、高分辨率的图像m o s a i c s 技术一直是摄影测量学、计算机视 觉、图像处理和计算机图形学的活跃研究领域。目前流行的应用是数字全景图像 m o s a i c s ，它可以用于建立虚拟现实环境和虚拟漫游。 本文详细总结了图像拼接技术的主要研究方法，分析了其算法解决的核心问 题，并重点讨论了图像拼接技术的经典算法一变换优化法；在此基础上，论文针对 现有拼接算法的不足及图片的实际拍摄情况，提出了一种基于特征的多分辨率图 像拼接算法( b m m r ) ，该算法综合考虑了图像拼接的精度和速度，在基准特征块 的提取上，采用简单的边缘信息阈值法，实现了基准块的自主选取，提高了图像 拼接的精度；在块匹配上，采用金字塔式分层搜索策略，提高了图像拼接的速度。 实验证明，该算法扩展了传统拼接算法的适用范围，具有较好的性能。此外，除 了在平面流形中实现图像的拼接，论文还探讨了其它的拼接流形，并提出了一种 新的柱面全景图像生成算法( c p i ) 。该算法首先将3 6 0 度环绕拍摄的序列图像投影 到柱面坐标，然后使用特征块匹配法进行多分辨率分层配准，最终可以快速实现 具有高度真实感的柱面全景图像的浏览。论文最后还研究了基于频域的图像拼接 算法，并给出了实验结果。至此，本文对图像拼接技术的讨论几乎涉及到了现有 图像拼接领域的所有研究方法。 关键词：图像拼接图像配准图像融合全景图 a b s t r a c t a b s t r a c t t h ea u t o m a t i cc o n s t r u c t i o no fl a r g e ，h i g h r e s o l u t i o ni m a g em o s a i c si sa na c t i v e a r e ao fr e s e a r c hi nt h ef i e l d so fp h o t o g r a m m e t r y , c o m p u t e rv i s i o n ，i m a g ep r o c e s s i n g ， a n dc o m p u t e rg r a p h i c s m o r er e c e n t p o p u l a ra p p l i c a t i o n i st h ed i g i t a l p a n o r a m i c m o s a i c s ，f o ra p p l i c a t i o n ss u c ha st h ec o n s t r u c t i o no f v i r t u a le n v i r o n m e n t sa n dv i r t u a l t r a v e l i nt h i st h e s i s ，t h ea u t h o rd e t a i l e d l ym a k e sas u m m a r yo ft h em a i nm e t h o d su s e d f o ri m a g em o s a i c s ，a n a l y z e st h ec o r et e c h n i q u e si t s h o u l dr e s o l v e ，a n de m p h a t i c a l l y d i s c u s s e st h ec l a s s i c a la l g o r i t h m t r a n s f o r m o p t i m i z a t i o n o n t h eb a s i so fi t ，b y a n a l y z i n g t h ea v a i l a b l e d i s a d v a n t a g e s o f i m a g es t i t c h i n ga l g o r i t h m s a n d i m a g e a c q u i s i t i o n ，a b l o c k m a t c h i n g b a s e dm u l t i - r e s o l u t i o n i m a g es t i t c h i n ga l g o r i t h m ( b m m r ) i sp r o p o s e d t h i sa l g o r i t h mt o o ki n t oa c c o u n tt h ep r e c i s i o no fi m a g e s t i t c h i n ga sw e l l a st h es p e e do f i t ，a st ot h ep i c k u po f t h eb a s ef e a t u r eb l o c k ，as i m p l e m e t h o do f e d g ei n f o r m a t i o n t h r e s h o l di su s e d ，w h i c hr e a l i z e dt h ea u t o m a t i c p i c k u po f b a s ef e a t u r eb l o c k ，t h e r e f o r ei m p r o v e dt h ep r e c i s i o no fi m a g es t i t c h i n g i nt h ep r o b l e m o f s e a r c h i n gm a t c h i n gb l o c k ，a h i e r a r c h i c a ls e a r c h s t r a t e g y i s e m p l o y e d ，w h i c h i m p r o v e dt h es p e e do fi m a g es t i t c h i n g t h ee x p e r i m e n t ss h o wt h a t o u r p r o p o s e d a l g o r i t h mg r e a t l ye x t e n d e dt h es c o p eo f t r a d i t i o n a li m a g es t i t c h i n ga l g o r i t h ma n dh a s g o o dc a p a b i l i t i e s e x p e c t f o rt h ep l a n a rm a n i f o l d ，o t h e rm o s a i c sm a n i f o l d sa r ea l s o d i s c u s s e d ，a n d af a s t c y l i n d r i c a lp a n o r a m i ci m a g ec r e a t i n gt e c h n o l o g y ( c p i ) i s p r o p o s e d o f t h i sa l g o r i t h m ，t h e3 6 0 d e g r e e s o fc i r c l ep a n n e di m a g e s e q u e n c e sa r ef i r s t p r o j e c t e dt oc y l i n d r i c a lc o o r d i n a t es e p a r a t e l y , t h e nb l o c k m a t c h i n gm e t h o di su s e dt o r e g i s t e rw i t hm u l t i r e s o l u t i o n ，f i n a l l yt h ec y l i n d r i c a lp a n o r a m i ci m a g ed i s p l a yw i t h h i g ht r u t hc a nb ef a s tr e a l i z e d i nt h ee n d s ，t h ef f t - b a s e ds t i t c h i n ga l g o r i t h mi ss i m p l y d i s c u s s e da n di t s e x p e r i m e n t a l r e s u l t sa r ea l s og i v e n t h u s ，a l m o s ta l lm e t h o d so n i m a g e m o s a i c sa r es t u d i e di nt h i sp a p e r k e y w o r d s ：i m a g em o s a i c s ，i m a g er e g i s t r a t i o n ，i m a g ec o m p o s i t i o n ，p a n o r a m a 创新性声明 x 6 9 5 3 6 2 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担切相关责任。 本人签名：堡鱼堡日期! 丝! ：翌 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 本人签名：垡鱼! 圭日期? 时，f 导师签名： 日期型f ，堇 第一章绪论 第一章绪论 1 1 引言 自动建立大型、高分辨率的图像m o s a i c s 技术直是摄影测量学、计算机视 觉、图像处理和计算机图形学的活跃研究领域。在计算机视觉领域中，图像m o s a i c s 是近来的研究趋势，是可视景物表示研究的一部分。完整的可视景物表示还包括 深度或视差信息的恢复。在计算机图形学中，图像m o s a i c s 在基于图像绘制领域 中发挥重要作用，它的目标是由一组实际图像( 或预先绘制的图像) 迅速绘制具有 照片真实感的新视图。图像m o s a i c s 有很多应用，它包括传统的由图像集合建立 大型航空和卫星照片。近来的应用如视频检索、图像的稳定性、变化检测、视频 压缩、增大相机的视野和分辨率，甚至能做简单的照片编辑。目前流行的应用是 数字全景图像m o s a i c s ，它可以应用于建立虚拟现实环境。 图像m o s a i c s 技术就是将一组重叠图像的集合拼接成一幅大型的无缝高分辨 率图像。它最早来源于人类的摄影知识，当相机的视野小于人类的视野时，人们 自然考虑到将多个照片拼接成一幅大的照片以增强相机的视野。利用扫帚式相机 和广角镜头可部分解决视角不足这一问题，但得到的全景图往往比较困难，而且， 广角镜头的边缘会产生难以避免的扭曲变形；另一种方法是使用目前的许多图像 处理工具女 1 p h o t o s h o p 等，但这种手动拼接方法不仅拼接效果不够理想，如无法消 除序列间光照差异以及图像间拼缝，而且对于多幅图像的拼接，工作量大旦重复 运作繁琐，为了解决这些问题，近年来的发展趋势是利用廉价的p c 机来自动生成 大幅无缝的高清晰图像。因此，研究并提出一种精确而快速的图像拼接算法具有 十分重要的现实意义。 1 2 图像拼接技术的发展概况 图像拼接技术的核心技术就是图像配准技术，早在1 9 9 2 年，剑桥大学的l i s a g o t t e s f e l db r o w n 就已经总结了各领域图像配准技术的基本理论以及它们的主要 方法，这些钡域包括有医学图像分析，遥感数据处理以及计算机视觉，模式识别 等。 1 9 9 6 年，r i c h a r ds z e l i s k i ( m i e r o s o f tc o r p o r a t i o n ) ，提出了基于运动的全景图 像拼接模型，采用l e v e n b e r g - m a r q u a r d t 迭代非线性最小化方法( 简称l m 算法) ， 通过求出图像间的几何交换关系来进行图像配准，由于此方法效果较好，收敛速 图像拼接技术研究 度快，且可处理具有平移，旋转，仿射等多种变换的待拼接图像，因此也成为图 像拼接领域的经典算法，而r i c h a r ds z e l i s k i 也从此成为图像拼接领域的奠基人， 他所提出的理论已经成为种经典理论体系，直到今天仍然有很多人在研究他的 拼接理论。2 0 0 0 年，s h m u e lp e l e g ( m e m b e ri e e e ) ，b e n n yr o u s s o ， a l e x r a y a c h a ，和a s s a fz o m e t 在r i c h a r ds z e l i s k i 的基础上做了进一步的改进，提出 了自适应的图像拼按模型，它是根据相机的不同运动，自适应选择拼接模型，通 过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果无疑推动了图 像拼接技术的进一步发展，自适应问题也从此成为图像拼接领域研究的新热点。 与此同时，其他配准算法的发展也应用到了图像拼接技术上来。除了上述的 经典算法之外，还有两种主要方法。一种是相位相关度法，另一种是基于几何特 征的图像配准方法。 相位相关度法最早在1 9 7 5 年k u g l i n 和h i n e s 提出，具有场景无关性，能够将 纯粹二维平移的图像精确地对齐。后来，d ec a s t r o 和m o r a n d i 发现用傅立叶交换确 定旋转对齐，就像确定平移对齐一样；1 9 9 6 年，r e d d y 和c h a u e q i 改进t d e c a s t r o 的算法，大大减少了需要转换的数量。两幅图像的平移矢量可以通过它们互功率 谱( c r o s sp o w e rs p e c t r u m ) 的 f l 位直接计算出来。应用傅立叶变换进行图像的配准 是图像拼接领域的另一研究成果，而且随着快速傅立叶变换算法的提出以及信号 处理领域对傅立叶变换的成熟应用，图像拼接技术也得到了相应的发展。 基于几何特征的图像配准方法是图像拼接技术的另一研究热点。1 9 9 4 年， b l a s z k at r a c h i dd e f i c h e 通过二维高斯模糊过滤可以得到一些低级特征模型，如 边模型、角模型和顶点模型。以此为基础，后来有越来越多的人开始研究基于这 些图像中的低级特征进行图像拼接的方法。1 9 9 7 年，z o g h l a m i i ， f a u g e r a s o d e d c h er 提出基于几何角模型的图像对齐算法，因为角模型提供了比坐标点更 多的信息；接着在1 9 9 9 年，b a op ，x ud 提出利用小波变换提取保留边 ( e d g e p r e s e r v i n g ) 的视觉模型进行图像对齐；而n i e l s e nf 则提出基于几何点特征优 化的匹配方法。 2 0 0 0 年。k a n g e ，c o h e ni m e d i o n ig 提出基于图像的高级特征进 行图像拼接的方法，他是利用特征图像关系图来进行图像对齐。通过利用图像的 低级特征到后来利用其高级特征，人们对图像的分析和理解日益深入，图像拼接 技术的研究也逐渐成熟起来。 除了这些对静止拍摄序列的图像进行拼接，为了使场景具有动态的特征并极 大地增强漫游的真实感，近年来已经出现了对动态全景图的拼接研究，另外随着 视频编码技术的迅速发展和极大应用，图像拼接技术也和其结合了起来，这主要 应用于m p e g 4 编码标准中的s p r i t e 技术，它主要对某段视频编码序列中的背景图 像进行全景图的拼接，生成的完整背景图也叫做s p r i t e 图像。 第一章绪论 1 3 问题的提出背景 1 3 1 图像拼接技术研究现状 图像拼接技术主要包括两个关键环节，即图像配准和图像融合。对于图像 融合部分，由于其耗时不太大，且现有的几种主要方法效果差别也不多，所以总 体来说算法上比较成熟。而图像配准部分是整个图像拼接技术的核心部分，它直 接关系到图像拼接算法的成功率和运行速度，因此配准算法的研究是多年来研究 的重点。 目前的图像配准算法基本上可以分为两类：基于频域的方法( 相位相关度法) 和基于灰度级相似的方法。前者首先利用傅立叶变换将两幅待配准图像变换到频 域，然后通过它们的互功率谱直接计算出两幅图像间的平移矢量，从而实现图像 的配准。由于其具有简单而精确的特点，后来成为最有前途的图像配准算法之一。 但是相位相关度法一般需要比较大的重叠比例( 通常要求配准图像之间有5 0 的 重叠比例) ，如果重叠比例较小，则容易造成平移矢量的错误估计，从而较难实 现图像的配准。基于灰度级相似的方法是以两幅图像重叠部分所对应在r g b 或 c m y 颜色系统中灰度级的相似性为配准准则，自动寻找图像的配准位置。这一类 方法采用的思想较为直观，目前大部分的图像配准算法都可以归为这一类，按照 配准算法的具体实现，这些算法又可以分为直接法和搜索法两大类，直接法主要 包括变换优化法，它首先建立两幅待拼接图像间的变换模型，然后采用非线性迭 代最小化算法直接计算出模型的变换参数，从而确定图像的配准位置。该算法效 果较好，收敛速度较快，但是它要达到过程的收敛要求有较好的初始估计，如果 初始估计不好，则会造成图像拼接的失败。搜索法主要是以一幅图像中的某些特 征为依据，在另一幅图像中搜索最佳配准位置，常用的有比值匹配法，块匹配法 和网格匹配法。比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部 分像素，然后以它们的比值作模板，在另一幅图像中搜索最佳匹配。这种算法计 算量较小，但精度较低；块匹配法则是以一幅图像重叠区域中的一块作为模板， 在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过 大：网格匹配法减小了块匹配法的计算量，它首先要进行粗匹配，每次水平或垂 直移动一个步长，记录最佳匹配位置，然后在此位置附近进行精确匹配，每次步 长减半，然后循环此过程直至步长减为0 。这种算法较前两种运算量都有所减小， 但在实际应用中仍然偏大，而且粗匹配时如果步长取的太大，很可能会造成较大 的粗匹配误差，从而很难实现精确匹配。 可以看出，上述不同的配准算法各有优缺点，它们在对算法的精度和速度上 图像拼接技术研究 还没有达到较好的折衷，但这在商业应用中是必须要考虑的，因此目前迫切需要 找到一种理想的图像配准算法，这也是本文研究的目的所在。 1 3 2 图像拼接技术研究的核心问题 由上述可知，图像拼接技术研究的核心问题是图像的配准技术，有时也称之 为图像的对齐技术。所谓图像配准，即是要准确的找到相邻图像间重叠区域的位 置以及范围，以便将相邻的具有重叠区域的图像“缝合”成一个新的更大画面的 视图。和通常的算法研究一样，我们关心的也是两个问题，精度和速度。由于照 片获取的复杂度不同以及算法本身的限制，很多的图像序列并不能成功的被拼接 起来，因此需要研究一种成功率较高的图像拼接算法：另外，由于图像拼接技术 大范围的被应用在虚拟漫游系统及全景图浏览中，因此其实时性问题也是研究中 的一个关键问题。 1 4 1 主要工作 1 4 研究工作概要和章节安排 本文主要对静止拍摄图像序列进行全景图拼接的研究，重点针对现有基于灰 度级相似的图像拼接方法的缺点，提出了一种自动的图像拼接快速算法( 简称 b m m r 算法) 。论文后期，对柱面全景图的拼接进行了探讨和研究，并提出了 种快速的柱面全景图像生成算法。 研究工作分为以下五个阶段进行： 1 前期工作中，查阅并学习了国内外大量的相关文献，掌握了图像配准技 术的基本理论和主要方法，并对当前图像拼接领域的发展及现状有了一 个总体的认识： 2 重点研究了静止拍摄图像序列的拼接技术，并对r i c h a r ds z e l i s k i 提出的 经典算法进行了研究和仿真； 3 针对现有基于灰度级相似的图像拼接方法的缺点，提出了一种自动的图 像拼接快速算法( 简称b m m r 算法) ，并进行了算法仿真及效果比较； 4 对柱面全景图的拼接进行了探讨和研究，并提出了一种快速的柱面全景 图像生成算法( 简称p c i 算法) ，并对柱面流形和平面流形进行了比较： 5 深入研究了基于频域的图像拼接算法，并进行了算法仿真和效果比较。 本文的主要成果： 第一章绪论 1 深入学习和研究了现有图像拼接领域的基本理论和研究现状，总结了各种 不同的拼接理论和方法。并对其发展趋势做了合理的展望； 2 针对现有基于灰度级相似的图像拼接方法的缺点，提出了一种自动的图像 拼接快速算法( 简称b m m r 算法) 。该算法在基准特征块的选取上，采用 简单的边缘信息阈值法，实现了特征块的自主选取，从而提高了匹配的精 度；在特征块的匹配上。采用金字塔式分层搜索策略，从而大大减小了运 算量。实验证明，b m m r 算法不仅可以在重叠比例较小时实现图像的精 确配准，而且不需要有初始估计，它扩展了传统拼接算法的适用范围，具 有较好的性能。 3 针对不同的图像m o s a i c s 形成的二维曲面，重点研究了圆柱面流形，并 提出了一种新的柱面全景图像生成算法，简称为p c i 算法。该算法首先将 3 6 0 度环绕拍摄的序列图像投影到柱面坐标，然后使用特征块匹配法进行 多分辨率分层配准，最终可以快速实现具有高度真实感的柱面全景图像的 浏览。实验证明，p c i 算法既具有良好的鲁棒性又具有较好的实用性。 4 为了能够较全面的比较各种不同的图像拼接算法，本文作者对图像拼接技 术的讨论几乎涉及到了现有所有静止图像序列的拼接方法，每一种方法最 后都给出了实验结果和详细的性能分析，从而为后续的研究奠定了基础。 1 4 2 论文章节安排 论文全文共分六章。第一章是绪论，简单介绍了图像拼接技术的发展概 况和提出背景，分析了图像拼接领域研究的核心技术；第二章，详细阐述了 图像获取的主要方法，分析总结了图像配准和图像融合的原理和主要研究方 法；第三章对图像拼接技术的经典算法一变换优化法进行了详细的阐述和仿真 结果讨论；第四章针对现有基于灰度级相似的图像拼接方法的缺点，提出了 一种性能更好的图像拼接算法，一种自动的图像拼接快速算法( 简称b m m r 算法) ，并作了详细的阐述和性能分析；第五章对不同的图像m o s a i c s 形成的 二维曲面分别进行了研究和探讨，重点针对圆柱面流形提出了种新的柱面 全景图像生成算法，简称为p c i 算法，并作了详细的阐述和性能分析；第六 章简单介绍了基于频域的图像拼接技术，最后是对本文工作的总结和图像拼 接算法的研究展望。 图像拼接技术研究 第二章图像拼接及其关键技术 图像配准技术的研究早已随着医学图像分析，遥感数据处理以及计算机视觉， 模式识别等诸多应用而开始，近年来随着数字摄像技术的发展，图像配准成为图 像拼接技术的核心技术，现已研究扩展到景物表示，用以精确地建立一幅大的图 像以覆盖整个景物，它在虚拟现实及虚拟漫游等流行领域中也占据主要地位， 因此图像拼接技术是一个崭新的研究领域，具有非常广阔的发展前景。 图像拼接技术的基本流程如图2 1 所示，首先获取待拼接的图像，然后经过 预处理( 滤波等) ，再进行统一坐标变换，即将所有图像序列变换到统一的坐标系 中，不同的变换方式对应不同的拼接流形，接着进行图像配准和图像融合，最终 得到全景拼接图。其中，预处理和统一坐标变换两步不是必须的，可视具体情况 进行选择( 详细内容见第五章) 。 本文首先介绍图像获取的主要方法，最后重点介绍图像配准和图像融合两个 关键环节。 输入图像 上 预处理 上 统一坐标变换 上 图像配准 上 图像融合 全景拼接图 图2 1 图像拼接全流程 2 1 图像获取 图像获取方法的不同导致取得输入图像的不同，最终拼接结果也不同。图 像获取由照相机拍摄时的运动状态决定，一般有三种情况；( 1 ) 照相机固定在三 角架上，旋转照相机拍摄；( 2 ) 照相机放置于一个滑轨上，平行移动照相机进行 拍摄；( 3 ) 是一种普通的情况，人手持照相机，站在原地拍摄四周，或者沿着照 第二章图像拼接及其关键技术 相机的光轴垂直方向走动拍摄。 1 、旋转照相机拍摄 在这种情况下放置照相机的三脚架在拍摄过程中一直在同一位置。拍摄时， 照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片，理想的情况下，照 相机不绕其光轴旋转。拍摄得到一系列照片中相邻两张必须有部分重叠，重叠 区域大小是图像拼接最重要的影响因素，文 3 建议相邻图像之间重叠比例达到 5 0 。重叠比例越大，拼接就越容易，但是需要的照片越多。旋转照相机拍摄由 于照相机固定，不需要恢复过多参数，较容易实现。但是，拍摄图像不在一个 平面上，需要投影到同一个平面上，这将会导致图像质量下降，一个解决方法 是使用短焦距，即广角镜头。 2 、平移照相机拍摄 平移照相机指的是照相机在一个平行于成像平面的方向上平移。在固定焦 距的情况下，照相机放置在一个滑轨上移动拍摄。物体和照相机的距离远近， 或者拍摄物体的大小的变化都会影响到最后的拼接结果。这种情况的缺点是：拍 摄的相片在一个平面上，全景图的三维感觉不如旋转拍摄的。 3 、手持照相机拍摄 这种方法比较容易做到，手持照相机原地旋转拍摄，或按一定的路线平行 于对象拍摄。但是，拼接手持照相机拍摄的照片是很困难的，因为在拍摄过程 中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄，但是 角度控制、旋转控制都很差。沿一定路线移动时，类似于平移拍摄，控制距离 和保持相同的成像平面很困难。为了减少这些影响，可以增加重叠比例，使照 相机旋转角度、平移减小，因而减小相邻图像之间的不连续程度。 4 、存在的问题 最常见的问题就是相邻图像之间光强的变化较大。理想情况下，相同的区域 应该有相同的光强，但是因为光源变化或者照相机运动和光源平角的变化，导致 光强的差异。另外一个和光条件相关的问题是反光区域，例如镜子和闪亮金属， 高亮光将会降低相应区域的对比度。场景中物体移动和拍摄时透镜引起的图像变 形也将给对齐拼接带来困难。现有的方法一般限制了照相机的运动，但是实际中 拍摄的图像存在小视差，不同比例的缩放和大角度旋转，这些都增加了对齐拼接 的难度。因此很多文献( 如文献 1 ) 要求照相机以最小运动视差旋转拍摄。 2 2 典型图像配准算法研究 图像配准即是寻找部分重叠的序列图像的重叠位置以及范围( 也称图像对 图像拼接技术研究 齐) 。以两幅图像为例，即假设有两个矩形区域a 和b ，已知b 中包含有一个区域 a ，a 和a 是相同的模块，求b 中a 的位置。结合图像拼接技术。可以将现有 的图像配准方法分为两大类：( 1 ) 局部对齐技术。即两幅图像对齐；( 2 ) 全局对齐技 术，即多幅图像的整体对齐，用以形成一幅大的无失真图像。本节主要对现有的 图像配准方法进行分类和讨论。 2 2 1 局部对齐技术 在传统的图像拼接和虚拟环境制作的应用领域，图像整合( i m a g er e g i s t r a t i o n ) 技术中的相关性法和傅立叶变换均可适用。在景物表示领域，图像间存在平面投 影变换或仿射变换，因此可以采用对应点映射和运动模型法，其中运动模型法的 图像对齐技术是近年来发展迅速的一种方法。下面详细总结局部对齐技术的主要 研究方法。 一、基于特征的图像对齐 特征法是一种常用的对齐方法，它基于图像的特征，并结合一定的评价函数 寻找两幅图像中的重叠区域。典型的是基于图像几何特征的对齐方法，几何特征 分为低级的特征，如边、角和高级特征如物体的识别、特征之间的关系。基于低 级特征的对齐算法一般分为三步：首先过滤图像提取特征集，然后用这些特征集 搜索两幅图像的大概对齐位置，最后对转换迭代求精。文 6 通过二维高斯模糊过 滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供 了比坐标点更多的信息，文 7 中基于几何角模型提出了图像对齐算法，文 8 中 基于几何点特征优化匹配和文 9 中利用小波变换提取保留边( e d g e p r e s e r v i n g ) 的 视觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者 通过识别出的物体实现对齐。文 i o 利用特征图像关系图进行图像对齐。 基于特征的图像对齐依赖特征的检测提取，如果特征不是很明显则可能会导 致对齐失败。 、基于频域的对齐法 该方法利用了傅立叶变换的良好性质，即函数平移，旋转和缩放在频率域都 有其对称性。对于图像的平移，计算两幅图像功率谱的傅立叶变换可得个脉冲 函数，该函数仅在平移量处不为零。对于旋转，可使用极坐标方式表示，使图像 的旋转转化为图像的平移，再用相同的方法计算图像间的旋转角度。假如图像之 间不仅有平移还有旋转，则我们分两步进行计算：先计算旋转后计算平移。该方法 对小平移量和旋转及缩放的图像配准非常适合。它有硬件支持和快速算法，因此 计算速度快，同时能克服相关性噪音和依赖频率噪音，可适合多传感器和光源变 第二章图像拼接及其关键技术 眺鬻翻 p ， 诫m 2 3 x 陋z ， | = 一方，嘉矧 任， 其中，【，。，：】为角速度，厂为相机焦距。 设两图像l o 伍) ，似) ，用运动偏移量表示它们之问的关系为： ，。) = l o 伍一u ) ，其中u = 妙，u ，) ，则它的参数模型如下： u = u 。+ u ， 己，= ：i ：葛：篡 为s 参数平面模型， 小阮：渤 ( 2 - 4 ) ( 2 5 ) 图像拼接技术研究 其中，= h ( 只耳) ，h ：点到平面的垂直距离，耳：第一个相机到平面的距 离，兀：两相机的平移向量，p ，：深度，f ：相机焦距。 该模型较难用于任意景物图像的对齐，主要是因为不同深度景物的分割是个 困难问题，所以一般用于平面景物上稀疏运动物体的检测。 2 、求解模型参数的方法 评价函数一般采用s s d ( s u m o f s q u a r ed i f f e r e n c e ) 强度平方差： e = p g ，多) 一l ( x ，) r = e 2 ( 2 6 ) jf 参数最优值的求解方法主要有以下几种： 第一种，用牛顿高斯法或l e v e n b e r g m a r q u a r t 法进行迭代求解，该方法可靠 稳定，精度高，不足之处需要人工输入初始对应点； 第二种，用一阶泰勒公式近似表示运动场，用最小二乘法求解，该方法不需 迭代速度快，但精度不太高： 第三种，层次估计法，主要针对有几个像素偏差的图像，它包括以下四部分： ( 1 ) 建立两图像的金字塔： ( 2 ) 运动估计计算； ( 3 ) 图像w a r p i n g 操作； ( 4 ) 由粗到细逐步求精参数。 第四种，准参数模型估计，主要针对平面+ 视差模型，它包括以下三部分： ( 1 ) 分割标记出图像中的平面区域； ( 2 ) 估计两图像的平面参数变换； ( 3 ) 用层次估计法估计视差向量和平移向量t 。 第五种，渐进复杂模型求解，主要用于图像的偏差大于几个像素的平面投影 变换参数的估计，它包括以下三部分： ( 1 ) 用图像的一部分估计出平移参数： ( 2 ) 用平移参数作为仿射参数的初始估计，用图像的较大部分估计仿射参 数： ( 3 ) 用仿射参数作为初始估计，用图像的全部来估计平面投影变换参数。 将渐进复杂模型与层次估计法结合起来可以减少运算量。该方法的使用是有 一定条件的，即相机在对平面景物拍摄时，做近似平移运动且旋转角度要小；相 机定点拍摄时，近似做p a n n i n g ( 绕y 轴) 或p i t c h i n g ( 绕x 轴) 运动而绕其它轴的旋转 要尽可能地小。 第二章图像拼接及其关键技术 2 2 2 全局对齐技术 全局对齐技术是图像拼接的一种集成技术，构成一幅大的图像m o s a i c s 需要 将所有待拼接图像变换到图像序列中的一个参考帧上，而求解远离参考帧图像到 参考帧变换的方法是连接它们之间的变换，但这样会导致累计误差，使得最终图 像产生较大的偏差和重影。全局对齐技术就是解决上述问题的，现有的全局对齐 技术包括以下四类： 一、多帧调整对齐 设扎，2 ，al 帧投影到参考帧的参数变换为a 。，a ：，aa 。，同时调整这些变换使 误差最小。 m , n 面函耻p ) 一歹( p ) ) 2 ( 2 - 7 ) 其中，( p ) ：是重复帧上p 点的平均值；m ( p ) ：重复在p 点帧的数量。优点 为同时优化所有变换，对齐效果佳，但工作量太大，一般实际系统很难使用，仅 对少量帧有效。 二、线性方程系统求解技术 设任意两重叠帧间的变换4 ，已知，参考帧为a 。，则所有帧到a 的变换： 上 只= l l 爿。一 ( 2 8 ) j * 2 我们也可先使图像帧4 ，变换到a ，然后再使用p 将其投影到参考帧a 。： = a 。只( ， i ) ，联立所有这样的方程构成一个大型稀疏线性方程组。由于它是 过定的，可用最小二乘法求解。该方法效果好，但工作量较大，需要求解额外的 两重叠帧的精确对齐变换。 三、基于对应点的多帧调整技术 重叠图像上提取一组对应点，然后投影在参考帧上，理论上讲，这组对应点 在参考帧上对应一个点。但由于累计误差原因，使它们不能重合。s h u mh 提出在 参考帧上选取一点使之与各点的距离或角度最小作为新的对应点，然后用一组新 点来调整参数变换，这样就可以减小多幅图像拼接的累计误差。 四、逐步扩大m o s a i c s 方法 采用帧到m o s a i c s 方法，即逐步扩大图像m o s a i c s ，该方法是从图像集合中选 取一个几何拓扑上的中间帧为参考帧，以中间帧到外围寻找与之重叠面积最大帧 然后对齐成一个m o s a i c s 记为m - l ，寻找一个帧z ，将；与m 。对齐成较大的， 该方法对齐质量高，但不足之处为其中间某帧对齐效果差将涉及以后帧的对齐效 果，导致整个图像m o s a i c s 的质量下降，其次需要搜索与之近邻的最大重叠帧。 图像拼接技术研究 2 3 图像融合算法研究 对齐的图像可能会存在强度或颜色的不连续和几何变形留下的缝隙，这可能 是因为几何校正、动态的场景或光照条件的变化引起的，甚至是自动照相机，扫 描设备的问题。如图2 2 所示，1 1 ，1 2 和1 3 是三幅待拼接图像，如果将它们直接按 照配准位置合在一起，则结果拼图容易形成拼缝，尤其在图示的图像边界处最为 明显，这些问题可以通过图像融合来减小或消除。图像融合的方法很多，最简单 的有光强平均和加权平均融合，复杂的有图像v o r o n o i 权重法和高斯样条( s p l i n e l 插值法。下面着重介绍两种常用的图像融合算法。 边界处形 成拼缝 图2 2 多幅图像拼合图 一、采样权重函数法 采样权重函数法是一种简单有效的方法。对合成结果的每个图像采样的权重 分布这样定义：离图像中心越近的像素对最终合成结果贡献越大。即图像中心的权 重大，边缘的小，权重分布函数表现为三角形，像一顶帽子，又称帽子函数( h a t f u n c t i o n ) 。如图2 3 所示，a 为三幅图像i i ，1 2 和1 3 的重叠点，则结果拼接图中a 点 的取值为三幅图像的加权平均，权值的大小根据a 点到各图像的中心距离而定。 利用帽子函数加权平均算法的公式如下： w g ，y ，k ) i k ( x ，y ) c b ，y ) 2 霸西矿( 2 - 9 ) w ，= ( 1 _ 高一驸- | 壶一如 拯 w ( x ，y ，七) 为帽子函数。w i d t h k 和 e 动“是第k 个图像的宽和高。 这种方法可以完全消除边缘手工的痕迹，但是边缘低频的斑纹仍旧可见。 二、基于欧氏距离的有效权重 图像的每个像素都分配权重，这个权重与到边缘( 或最近不可见点) 的距离成 比例。在拼按时，主要目的是减少离边缘近的像素点的光强贡献。融合算法中计 第二章图像拼接及其关键技术 算距离映射d ( x ，y ) 采用块距离和欧氏距离，计算到最近的透明点( 岛= o ) 或边的距 离( 见文献 2 ) 。融合所有变形图像的公式为： w 0 g ，y ) ) g ，y ) c 2 飘两 2 1 1 其中，w 是单调函数，现在我们都取w ( x ) = x ，。是第k 幅变形图像的光强函 数。d 的计算很简单，取离图像四条边距离中的最小值。 如图2 4 所示，a 为图像中的一点，则 d = m i n ( d l ，d 2 ，d 3 ，d 4 ) = d l 图2 3 采样权重法示意图图2 4d 的取值图 图像拼接技术研究 第三章变换优化法图像拼接技术 3 1 变换优化法算法原理 变换优化法是一种比较成熟的图像拼接方法，最早由r i c h a r ds z e l i s k i 提出， 它结合图像的变形( w a r p i n g ) 技术及图像的融合( b l e n d i n g ) 技术以得到大幅的全景 图像。该方法首先建立图像序列之间的变换模型，然后通过优化算法迭代求出模 型中的变换参数，从而实现对待拼接图像的配准。变换优化法的优点在于它不需 要任何特征点，并且在统计上是最优的，也就是说，只要我们在真值附近，我们 就能最大可能的给出它的估计值。 3 1 1 二维投影变换的可能性 为了完成多幅图像的无缝拼接，我们需要采用几何变换法，因此用齐次坐标 ( x ，y ，w ) 表示像平面上的点，与其对应的笛卡尔坐标为( x w , y w ) 。同理，世 界坐标系中的一点用齐次坐标表示为( x , y ，z ，w ) ，其对应的笛卡尔坐标为 ( x w , y w , z w ) 。 如果把像机理想化为针孔模型，那么，世界坐标系中的一点( x ，y , z ，1 ) 在像 平面上的投影为( i ，多，w ) ： ，r x p 1 2p 1 3p 1 4 i i p 2 2p 2 3p 2 4l y 如q ； ( 3 1 ) 如果对世界坐标系进行适当选择，使点( x ，y ，z ，1 ) 中的z 为零，那么上述几 何变换可进一步简化为： | = p l ip 1 2 p 2 1p 2 2 p 3 lp 3 2习 p z ， 大家知道，两个2 维点 ，多，w ) 和( x ，y 1 ) 之间的映射变换可用下式表示： 眺捆 p ， ! p p p -。，。，。，l = 1j x v ，w 、，l 第三章变换优化法图像拼接技术 比较式( 3 2 ) 与式( 3 3 ) 可以发现，他们有相同的结构。这样，也就证明了如果对同 一个物体在两个不同的方向进行拍摄获得两幅图像，其中一幅图像可以通过相应 的二维映射变换来得到另一幅图像，这也就证明了图像拼接的可能性。 3 1 2 二维投影变换的理论证明 平面场景通过投影变换相互联系，这一点在绝大多数情形下均成立，这是因 为，任何一个3 d 到2 d 的投影为： u = 印 ( 3 - 4 ) 其中，p = g ，y ，z ，w ) 为3 d 世界坐标，“= 07 ，y ，w ) 是对应的2 d 照片坐标，p 为3 * 4 的照相机矩阵，它的定义见( 3 1 7 ) 式。因为p 的秩为3 ，所以i i ( 3 4 ) 式我们 可以得到世界坐标p 为： p = m + “+ s m ( 3 - 5 ) 其中m ：p r 妇r 1 _ 1 为矩阵p 的伪逆，而聊为p 的零空间，即p m = 0 。世界 坐标系中的平面方程可以表示为： 蕊+ 咖+ c z = d 或：n p = 0( 3 - 6 ) 由( 3 5 ) 式和( 3 6 ) 式可以得到： 竹m = 。或芦帆m ) ( 3 - 7 ) 将( 3 7 ) 式带入( 3 5 ) 式可以得到： p = ( ，一0 聊) 。m 7 肛“= 胁 ( 3 - 8 ) 如果我们从另一角度拍摄同一个点p = g ，y ，z ，w ) ，则有： “，：p ，廊“：m u 这就是2 d 平面投影变换。 如果没有关于相机位置的先验知识我们可以假定世界坐标系和第一次的相 机位置是一致的，那么就有e = ，p = 衄= i ，= i vo 】，因此，在等式( 3 5 ) 到等 式( 3 8 ) 中，m = v ，肌= ( 0 ，0 ，0 ，1 ) 7 ，那么图像点u 和其对应的世界坐标p 之间 的关系为： ：f n - i1 ( 3 - 9 ) p = ii 图像拼接技术研究 这里，w 是点p 的第四维坐标的值，叫做投影深度，它表示点p 距离原点有 多远。 为了得到全景拼接图像，我们可以将p 点绕相机的光心旋转得到新的对应点： p 7 = 参： p = 月v 。- 1 “ c ，一。， 那么它对应的新的图像点为： “= r e p = v r v 。”= m u( 3 - 1 1 ) 因此，我们可以得出结论，两个图像坐标系之间的投影可以用一个2 d 的投 影变换来表示。 3 1 32 d 变换参数模型 上述的( 3 3 ) 式也可以写成如下的形式，它是投影变换的一般形式： “= m u( 3 - 1 2 ) 其中，“和甜是两幅图像中