（通信与信息系统专业论文）基于多分辨率的图像拼接技术.pdf

摘要 摘要 图像拼接是当前图像处理的一个热门研究课题，实用性很强，广泛应 用于全景图像的合成、虚拟现实的实现、地球卫星照片的处理和医学图 像的处理等领域。图像拼接算法一般可分为基于区域和基于特征两大类。 基于区域的算法一般直接利用待拼接图像和参考图像重叠区域中象素的 相关性来进行匹配运算，一般比较直观，但是只适用于比较简单的图像 拼接，同时具有运算量比较大，拼接效果容易受图像质量的影响等缺点。 基于特征的算法一般首先提取图像的特征集合，然后对特征集合进行匹 配，根据匹配特征集合建立图像之间的映射变换模型，然后对图像进行 映射变换从而得到完整图像，这一类算法关键是图像特征集合地提取和 匹配，目前比较多的算法都以角点作为图像特征点，这种算法对角点特 征明显的图像拼接( 如建筑物) 有着很好的效果，但是对角点不明显的 图像拼接( 如风景) 往往却得不到理想的效果。 本文首先对图像拼接技术进行了概括和总结，介绍了目前图像拼接 技术的一些研究成果，总结了图像拼接技术的一般规律。然后本文还介 绍多分辨率分析技术的一般概念，并重点讲述了基于小波的多分辨率分 析技术。在此基础上，本文分别给出了一种基于区域和一种基于特征的 多分辨率图像拼接算法，两种算法都先对待拼接图像和参考图像进行二 进小波分解，然后在基于区域的算法中，对小波分解后得到的低频分量 进行基于区域的模板匹配，计算出两幅图像水平、垂直方向上的位移， 然后在小波域中对各个小波分量分别拼接，最后进行小波重构，得到完 整图像，这种基于区域的多分辨率拼接方法可以减少图像噪声对图像拼 接质量的影响，改善了一般基于区域算法的拼接效果；丽在基于特征的 算法中，进行二进小波分解后，在小波域中提取模的极大值作为图像的 特征点，找出待拼接图像和参考图像特征点之间的匹配关系，并利用匹 配特征点建立数学模型，应用数学映射模型在小波域中对各个小波分量 进行拼接，最后通过小波重构得到完整图像，这种基于特征的多分辨率 分析方法对角点不是很职显的图像也有着较好的拼接效果。 关键词图像拼接；多分辨率分析；基于区域；基于特征；匹配 华南理丁大学硕十学位论文 a bs t r a c t i m a g em o s a i ci st h ec r u c i a ls t e po fi m a g ep r o c e s s i n g i ti s a na c t i v ea r e a o fr e s e a r c hi nt h ef i e l d so fp h o t o g r a m m e t r y ，t h ec o n s t r u c t i o no fv ir t u a l e n v i r o n m e n t s ，s a t e l l i t ep h o t o g r a p h s ，c o m p u t e rv i s i o n ，i m a g ep r o c e s s i n g ， c o m p u t e rg r a p h i c sa n dm e d i c a li m a g ee ta 1 a c t u a l l y ，i m a g em o s a i cc a nb e c l a s s i f i e di n t ot w oc a t e g o r i e sa c c o r d i n gt oa r e a b a s e da n df e a t u r e - b a s e d a c c o r d i n gt ot h eb a s i cs t e p so fi m a g em o s a i c a r e a b a s e dm e t h o d sd e a lw i t h t h ei m a g e sw i t h o u ta t t e m p t i n gt od e t e c tf e a t u r e s w i n d o w so fp r e d e f i n e d s i z eo re v e ne n t i r e i m a g e sa r eu s e dt om a t c ht w oi m a g e s t h e s em e t h o d s a l w a y ss p e n dm o r et i m eo nes t i m a t i o n ，a n dt h em o s a i cr e s u l tw i l lb eb a di f t h eo r i g i n a li m a g e sa r en o tg o o d f e a t u r e - b a s e dm e t h o d sc o n s i s to ff o u r s t e p s ：f e a t u r ed e t e c t i o n ，f e a t u r em a t c h i n g ，t r a ns f or mm o d e le s t i m a t i o na n d i m a g er e s a m p l i n ga n dt r a n s f o r m a t i o n t ot h e s em e t h o d s ，i ft h ec o r n e r sa r e n o td i s t i n c t ，t h em o s a i cr e s u i ta l w a y sw i l lb en o tg o o d i nt h i sp a p e r ，t h et e c h n o l o g yo fi m a g em o s a i cw i l lb ed is c u s s e d ，a n da l s o t h et h e o r yo fm u l t i r e s 0 1 u t i o ns i g n a ld e c o m p o s i t i o nw i l lb ei n t r o d u c e d a n d t h e n ，a na r e a b a s e da n d af e a t u r e - b a s e d i m a g e m o s a i cb a s e do n m u l t i r e s o l u t i o ns i g n a ld e c o m p os i t i o nw i l lb ep r e s e n t e d ，i nt h ea r e a b a s e d m e t h o d s ，t h et w os e a l ew a v e l e tw i l lb eu s e d ，a n dt h ew a v e l e tc o e f f i c i e n t w i l lb em os a i cb a s e do na r e a a tl a s tr e c o n s t r u c t i n gt h em o s a i cc o e f f i c i e n t t h e nt h ee n t i r ei m a g ew i l lb eg o t i nt h ef e a t u r e b a s e dm e t h o d s ，t h et w o s c a l ew a v e l e ta l s ow i l lb eu s e dt of i n do u tt h ef e a t u r ep o i n t si nt h ec o a r s e s t l e v e la n dt h e nt h ec o r r e l a t i o no fs e n s e di m a g ea n dr e f e r e n c ei m a g ew i l lb e f o u n d s ot h et r a n s f o r m a t i o nm o d e lc a nb e e ne s t i m a t e dt of i n i s ht h em o s a i c o fe a c hw a v e l e tc o e f f i c i e n t l a s t ，r e c o n s t r u c t i n gt h ec o e f f i c i e n tt h er e s u l t w i l lb eg o t t h e s em e t h o d si n t r o d u c e di nt h i s p a p e rw i l li m p r o v et h e a c c u r a c yo fm o s a i c e s p e c i a l l yf o rt h ef e a t u r e b a s e d ，i ft h ec o r n e r sa r en o t d i s t i n c t ，t h em o s a i cr e s u l ts t i l lw i l lb eg o o d k e y w o r d s ：i m a g em o s a i c ；m u l t i r e s o l u t i o ns i g n a ld e c o m p o s i t i o n ；a r e a - b a s e d ； f e a t u r e - b a s e ；m a t c h i n g 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进 行研究所取得的研究成果。除了文中特别加以标注引用的内容 外，本论文不包含任何其他个人或集体已经发表或撰写的成果作 品。对本文的研究做出重要贡献的个人和集体，均己在文中以明 确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名： 知识 i 6 避| 亡日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人授权华南理工大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密日。 ( 请在以上相应方框内打“”) 作者签名：知识 导师签名：订氓际 日期：渺年彳月扩日 日期：) 卅舛i 月纩日 第一章绪论 1 1引言 第一章绪论 图像拼接技术是当前图像处理的一个热门研究课题，实用性很强， 应用相当广泛。在摄影技术刚剐发展起来的早期，人们就把图像拼接技 术应用在地形学测绘上，把从高处例如山坡、飞机上拍摄得到的照片通 过手工拼接起来，以获得视野更广阔的地形图。而随着多媒体技术和 互联网技术的迅速发展，人们对计算机多媒体技术信息的需求日益增加， 人们越来越多接触到大量的图像和视频信息，同时人们在网络上的信息 的相互交流方式也由单一的文本方式逐步变为图形、图像、动画、视频 等多媒体信息为主的表现方式。因此，计算机多媒体技术和互联网技术 的发展也使得人们对图像的要求越来越高，而全景图像的构成、地球卫 星照片地合成、3 d 立体模型的构造、遥感( 多空间域分类、环境监测、 变化检测、图像镶嵌、气象预报和生成超分辨率图像和地理信息系统的 信息整合) 、医学( 计算机x 线断层摄影术和可以获得更完整病人信息的 n m r 数据的结合、监测肿瘤生长、治疗的认证以及病人数据与解剖学意义 上数据的比较) 和计算机视觉( 目标定位和自动质量控制) 等方面，都 需要用到图像拼接技术“。 举例来说，目前扫描仪的使用已经相当广泛，但一般扫描仪都是a 4 规格的，而当人们要扫描一张大于a 4 规格的图片时，就遇到了将图片一 次性扫描入计算机的问题，虽然可以找专业的扫描仪，但不方便。这时 就需要一种算法，将大幅的图片分成几张有重叠区域的小图片进行扫描， 然后运用图像拼接技术将几幅图片重新无缝拼接起来，获得完整的大幅 图片，这样就大大方便了人们对大幅图片的采集工作。另外，全景图 像构成也是图像拼接的一种典型应用，全景图像通常指的是大干双眼正 常有效视角( 大约水平方向9 0 0 ，垂直方向7 0 0 ) 和双眼余光视角( 大约 水平方向1 8 0 0 ，垂直方向9 0 0 ) 乃至3 6 0 0 完整场景范围，而这种图像可 以表达完整的周围环境信息，往往用于虚拟现实系统的构造。这种图像 的获取方式中，比较典型的是旋转摄影法：即通过3 6 0 。旋转镜头，我们 可以以获得一系列相互之间有一定重叠区域的局部图像，再将这一系列 图像统一投影到柱面上，然后再进行无缝图像拼接，得到全景图像”。 总之，图像拼接技术就是对一系列取自不同时间或者是不同视角的 华南理工大学硕士学位论文 图像合成，这一系列图像必须有定的重叠区域，我们往往会根据这个 重叠区域内各个象素的点的相关性来确定这一系列图像的具体关系，以 此来完成图像的拼接工作，得到完整的图像，因此，一般而言，拼接工 作的要点和难点就在于精确地确定相邻两幅图像的重叠区域以及如何将 这两块重叠区域进行无缝拼接的问题，也就是相邻两幅图像的匹配和配 准问题。 1 2 国内外的相关研究工作及现状 如引言所述图像拼接技术起初都是用手工的方式进行，往往工作量 大，精度不高，并且拼接的应用范围也比较小。而最近的几十年。随着 计算机多媒体技术和互联网技术的快速发展，图像拼接技术得到了长足 的发展，根据i s i ( i n s t i t u t eo fs c i e n t i f i ci n f o r m a t i o n ) 的统计，在近十年 发表的科技论文中，关于图像拼接技术的论文就超过1o o o 篇，而其中许 多文章中的算法已经成为经典算法，后来的许多算法都是建立在这些经 典算法之上的。 图像拼接算法有很多，但总体来 兑，我们可以把图像拼接技术分为 基于区域的和基于特征的两大类： 基于区域的这类算法中主要是采用整幅图像，或者图像中某一部分 的象素作为模板，利用模板中象素之问的相关性来进行匹配的方法。基 于区域拼接算法中比较明显的缺点是计算量过大以及对待拼接图像的质 量和内容地要求比较高，例如对于图像中对比度过低，画面内容过于接 近，几幅图像之间亮度不同都有可能造成拼接失败。另外在基于区域算 法中，也可能对图像进行变换后再拼接，例如基于傅立叶变换的相位相 关法，这种方法首先对图像进行傅立叶变换，通过频域内的相位差峰值 找到图像的重叠位置，从而进行图像拼接。 基于特征匹配的图像拼接方法：相对基于区域的拼接算法，这种算 法往往都会图像中的某一些特征集合来表征一幅图像，用这些特征集合 进行算法实现，以此降低算法的计算量，同时数学模型：例如映射，仿 射模型会被广泛地应用在这类的拼接算法之中，在这些模型中往往包含 了表示两幅图像之间平移、旋转、缩放和变焦距等运动的参量，从而大 大提高了这类算法的应用范围以及拼接的效果。简单的来说，基于特征 匹配的算法首先会提取几幅待拼接图像中的特征点或者特征区域，并利 用提取的特征点和特征区域建立起几幅图像之间的相互关系，并将这些 相互关系转换到数学模型中，最后运用建立起来的数学模型转换各幅图 2 第一章绪论 像的坐标、象素值来得到完整图像。由于基于特征拼接算法在适用范围， 拼接速度以及精度上有着明显的优势，因此目前一般比较先进的算法都 是这一类的算法。在基于特征匹配的图像拼接方法中典型代表有微软研 究院的r i c h a r ds z e l is k i 和h u e n g y u e n gs h u m 提出的算法，其中，r i c h a r d s z e l i s k i 教授通过标定摄像机参数，把图像投影到柱面或者球面，把拼接 问题等价于确定图像在柱面和球面上的位移”1 。另外还有匹兹堡大学的 s e v k e tg u m u s t e k i n 博士。他的主要贡献时对在固定点旋转摄像机拍摄自 然景物时形成的透视变形进行消除，通过标定摄像机来建立成像模型， 再利用成像模型将捕获到的图像投影到统一的高斯球面上，来进行图像 拼接。 另外，小波变换也常常被用于图像拼接技术，因为小波变换能把信 号进行多分辨率分解，表达不同分辨率下的特征，很适合用于图像拼接。 尤其对拼接中图像边界的处理，小波变换有着很大的优势。由于小波变 换具有带通滤波器的性质，不同尺度下的小波变换分量占有不同的带宽， 小波变换的尺度越大，该分量的频率就越高，因此每一个小波分量所具 有的频宽不会太大。要把拼接的图像先按小波分解的方法将他们分解成 不同频率的小波分量，然后在不同尺度下，选取不同的拼接宽度，把要 拼接的图像按不同尺度下的小波分量分别进行拼接，然后再用小波重构 来获得完整图像。目前许多算法都是建立在小波分解上面的多分辨率图 像拼接算法。 目前根据图像拼接的不同应用，拼接图像的有以下几种采集方式： 1 、待拼接的图像出扫描仪获得：这是比较容易处理的一种方式，如 第一章绪论所述，当要将一大幅图片扫描到计算机而扫描仪无法一次扫 描完成的时候，这就需要将大幅图像按照几个部分进行扫描。然后在计 算机中将几部分图像重新拼接，获得完整的图像。由于这种情况下获得 的图像质量一般都比较好，同时几幅图像之间对比度、亮度等相对变化 也比较小，所以对于这种图像地拼接比较容易实现。 2 、待拼接的图像由不同的视角获得：即两幅或者几幅图像是在不同 的角度拍摄得到的，这种拍摄方法主要是为了获取全景或者三维立体的 图像，例如三维立体模型的构建，这种方法得到的图像要进行拼接往往 比较复杂，一般都会采用基于特征的图像拼接算法来提高拼接的速度以 及效果。 3 、待拼接的图像由不同的时间获得：即两幅或者几幅图像是在不同 的时间拍摄得到的，这种获取方式在时间上往往具有一定的规律性，或 者是在不同的环境条件下获得，主要是为了在一组连续的图像中找到被 3 华南理工人学硕士学位论文 拍摄物体或者景物的变化规律。例如医学上，病人的身体状况监控。 4 、待拼接的图像由不同的传感器获得：即两幅或者一系列图像由不 同的传感器拍摄得到，这种获取方法主要是为了获取更加详细和完整的 情景展现，医学上的c t 是一个典型的例子。 以上是几种比较典型的待拼接图像地获取方式，一般针对不同的图 像，都会选用更加最适合的拼接方法：例如对于第一种情况，我们往往 选用比较简单的基于区域的拼接，第二种情况下，基于特征的拼接方法 就会比较常用。 1 3 论文内容与结构 本论文的主要工作是在图像拼接技术中，对基于区域和基于特征这 两类算法进行研究，并在此基础上，分别结合多分辨率分析技术对图像 进行基于区域和基于特征的拼接。 为了便于描述，在本文中我们一般介绍的都是对两幅图像进行拼接 的情况，其中一幅图像称为为待拼接图像，另一幅图像称为参考图像。 而具体哪一幅图像是待拼接图像，哪一幅图像是参考图像是随意确定的， 但一旦确定下来两幅图像之间的相互关系，那么在整个拼接的过程中就 这个关系就是不变的。 对于基于区域的算法，本文采用的思想是：在待拼接图像的重叠区 域中取出瞄隔一定距离的2 列上的部分象素，用这两列象素的对应比值 作为模板，同时在参考图像中的重叠区域中依次从间距相同的2 列上取 出部分象素，并逐一计算其对应的象素比值，可以得到一系列模板，然 后将前面得到的待拼接图像模板在参考图像这一系列模板中进行搜索， 找到最匹配的两列模板，通过计算最佳匹配模板所在的位置我们可以得 到图像之间水平和垂直方向上的位移，也就是我们可以求得两幅图像拼 按时，待拼接图像需要的上、下和左、右移动的位移大小。这种拼接算 法适合于只有上下左右位移的两幅图像拼接，同时图像中画面的内容不 能过于接近( 例如树林) ，两幅图像之间亮度、对比度的差异也不能太大。 而为了提高拼接效果和精度，避免图像噪声对拼接质量的影响，我们会 结合多分辨率分析技术，首先对图像进行二进小波分解，在小波域中对 低频分量进行匹配，再对个小波域中各个分量进行拼接，最后进行小波 重构得到完整图像。 对于基于特征的算法，本文采用的思想是：首先对待拼接图像和参 考图像进行二进小波分解，在小波域中提取模的极大值作为图像的特征 4 第一章绪论 点，找出待拼接图像和参考图像之间的对应关系，应用数学映射模型对 小波域中各个分量进行拼接，最后通过小波重构得到完整拼接图像。该 方法提高了图像拼接的使用范围，也提高了的精度与速度，同时也较好 地平滑了拼接的缝隙。 本论文的正文部分主要包括一下几个部分： 第一章是绪论，介绍了图像拼接技术的基本概念、应用、国内外的 研究现状以及本课题的研究内容。 第二章是图像拼接技术，本章将对国内外图像拼接算法进行归纳， 总结图像拼接的基本过程、一般规律，同时还会介绍在图像拼接过程中 所涉及到的一些图像处理理论。 第三章是多分辨率分析理论，介绍了多分辨率分析技术的基本概念， 介绍了小波变换理论以及基于小波变换的多分辨率分析技术。 第四章是一种基于区域的多分辨率图像拼接方法，本章首先会介绍 一种简单实用的基于区域的图像拼接方法，并将这种方法结合多分辨率 分析理论给出一种基于多分辨率的图像拼接方法，能够一定程度上提高 图像拼接的质量。 第五章是一种基于特征的多分辨率图像拼接方法，介绍了一种基于 特征的图像拼接方法，该算法是将基于特征的图像拼接算法的一般规律 与多分辨率分析理论的结合起来形成的。 最后是结论。 1 4 本章小结 本章介绍了图像拼接技术的一些基本概念和发展历史，以及应用领 域，同时简单介绍了国内外且前的研究状况。在本章的最后，列出了论 文的主要研究内容。 华南理下大学硕十学位论文 第二章图像拼接技术 图像拼接是将两幅或者一系列取自不同时闾、不同视角或者不同镜 头的，对同一个景物的图像叠加在一起的过程。般来说我们把要拼接 的图像分别称为参考图像和待拼接图像，在拼接的过程中，我们往往寻 找待拼接图像与参考图像之间的联系来确定拼接过程中可能会出现的参 数。 图像拼接，在全景固像的构成、地球卫星照片地合成、3 d 立体模型 的构造、遥感( 多空间域分类、环境监测、变化检测、图像镶嵌、气象 预报和生成超分辨率图像和地理信息系统的信息整合) 、医学( 计算机x 线断层摄影术和可以获得更完整病人信息的n m r 数据的结合、监测肿瘤 生长、治疗的认证以及病人数据与解剖学意义上数据的比较) 和计算机 视觉( 目标定位和自动质量控制) 等方面上都是很重要的应用。 在最近的十几年期间，图像采集设备经历了快速的发展，采集得到 的图像在数量上的增长和差异性的加大也极大推动了自动图像拼接的发 展。本章讨论的重点是放在目前图像拼接技术的发展以及相关方法的介 绍上。根据科学信息协会( i s i ) 的数据库显示，在过去的十年问有超过 10 0 0 篇关于图像拼接技术的论文发表，而许多在19 9 2 年之前发表的文章 中提到的经典算法，仍然是目前许多算法的基本雏形，现在许多算法都 是在这些经典算法上建立起来的。本章主要对以往出现的图像拼接算法 进行介绍，概括总结出图像拼接的一般的过程与步骤。 2 1 图像拼接的一般步骤 图像拼接方法很多，总体来说可以分为两大类，一类是基于区域的 拼接方法，一类是基于特征的拼接方法：基于区域的拼接方法，一般直 接利用待拼接图像和参考图像中象素的相关性，构造模板进行匹配的方 式来确定待拼接图像中各个象素在参考图像中的位置，从而得到完整图 像；而基于特征的图像拼接方法一般首先提取图像的特征点或者特征区 域，然后利用这些特征点或者特征区域之问的相关性来确定图像之间的 相关性，再根据这些相关性进行图像的匹配和拼接。- 一般，图像拼接主 要包括以下的四个步骤： 1 、图像的预处理：对于基于区域的图像拼接算法，这个步骤主要是 指建立图像的匹配模板，这个模板可以是直接由图像中的象素灰度值建 6 第二章图像拼接技术 立的，也可以是先对图像进行某种变换( 如傅立叶变换) 之后再利用变 换结果中的某个区域建立的：而对于基于特征的图像拼接算法，这个步 骤是指图像特征的检测，即通过某种算法，提取图像中的特征点或者特 征区域等特征集合的过程，因为我们可以检测到的图像中突出和显著的 特征部分( 如封闭区域、边界、轮廓和交叉线以及边角等等) 对于一幅 图像来说都是具有代表性的，可以完全表征一幅图像的。 2 、匹配：在基于区域的拼接算法中，这一步指的是模板的匹配，即 在两幅图像中找到最匹配的两个模板，以此来确定两幅图像之间的匹配 关系。对于基于特征的拼接算法，在这个步骤中，我们将待拼接图像中 检测得到的特征点与参考图像中检测得到的特征点进行匹配，建立起对 应关系，从而确定两幅图像之间的对应关系。简单的说，我们需要在两 幅图像的重叠区域中，找出待拼接图像中某个模板或某个点在参考图像 中对应的位置。 3 、数学变换模型的建立：待拼接图像与参考图像之间的关系一般都 可以反映在一定的数学模型上，而在第二个步骤中，我们已经建立起了 模板之间或者图像特征之问的关系，通过这一系列的关系我们可以得到 数学模型中的各个参量的值，从而建立起数学变换模型。 4 、图像的转换和重构：根据第三步建立的数学转换模型，我们将待 拼接图像转换到参考图像的坐标系中，以此来构成完整图像。而坐标转 换的过程中可能遇到的非整数坐标，我们将通过插值技术对图像值进行 计算，而为了实现更好的拼接效果，图像融合等技术都会运用在这一个 步骤中。 以上是图像拼接的四个基本步骤，不同算法之间都会有一定的差异。 而在拼接过程中，每一个步骤的实现都要考虑到许多实际的问题。 首先，我们必须确定拼接模板怎么选取或者说哪一种图像特征对于 所给定的任务来说最为合适。对于模板来说应该考虑到匹配计算量的问 题，以及匹配时候是否容易受其他条件，如图像质量等因素影响的问题。 而对于图像特征来说应该选取最具代表性的特征，通常检测出来的图像 特征集合应该能够足够的反映原图像的信息。总之在选取模板或图像特 征时，除了考虑匹配时需要的计算量之外，更应该考虑到无论图像之闻 有何变形，拼接图像之间在对比度、亮度之间有何变化，我们都可以取 得比较好的拼接效果。 在模板匹配和特征匹配的过程中，匹配算法在空间不变性上的考虑 应该是具有鲁棒性。匹配过程中的一点误差对拼接的最后结果都可能造 成很大的影响。 华南理t 大学硕十学位论文 在数学模型的建立这一步骤中，数学模型的采用也是很讲究的，并 不是越复杂的数学模型就越好，因为这往往会带来大的计算量，因此针 对不同的拼接要求，不同的拼接图像，我们需要选取合适的数学模型。 最后，在图像的转换和重构这一步骤中，基于区域的算法往往比较简 单，因为对于这种算法，两幅图像之间的变化较小，转换不会很复杂。 而基于特征的算法，因为碰到的拼接任务往往比较复杂，图像之间存着 在平移、变焦，扭嗌等变化，因此，图像转换之后，往往碰到坐标是非 整数的情况，因此图像的插值理论经常会被运用到拼接算法中，而插值 方法的选择同样取决于插值准确性和计算复杂度之间的平衡。一般情况 下最邻近插值和双线性插值在是适用的，但在某些应用情况下可能会需 要更加精确的插值方法。 在本章后面的几节中，我们按照基于区域和基于特征的这两类拼接算 法分别介绍一些图像拼接的具体过程。 2 。2 基于区域的图像拼接 基于区域的拼接方法，一般都应用在需要拼接的几幅图像之间没有 复杂变化的情况之下，一般是相互之间具有水平或者垂直方向上的位移 居多。而对于这类拼接的整个过程来说，工作的重点也在模板的匹配上 面，而对于变换模型的建立，图像的重构来说都比较简单，而且基于特 征的拼接算法中的这两个步骤都覆盖了这部分内容，因此在这节关于基 于区域的拼接介绍中，我们对这两个步骤不再详述。 2 2 1 模板的选取 基于区域的拼接方法一般都是直接或先对图像进行一定变换之后， 利用图像中的象素建立模板来进行拼接，而其中模板的选取一般都不会 很复杂，在简单的方法就是利用整幅图像的象素灰度为模板，但这种模 板的选取往往为模板的匹配带来很大的计算量，如果为了减少匹配的计 算量，只选用图像中一列图像作为模板进行匹配，那么拼接的精度往往 不高，因此一般都会选取图像中某个部分区域中的象素作为模板。另外 基于傅立叶变换的相位相关法也是一种典型的算法，这种方法首先对图 像进行傅立叶变换，通过频域内的相位差峰值找到图像的重叠位置，从 而进行图像拼接。很明显，在基于区域的拼接中，为了提高拼接的精度， 工作重点放在了模板的匹配上，而对模板的选取都不是非常复杂甚至可 能比较淡化，因此关于这一部分内容，本文叙述的比较简单，而在文章 8 第二章图像拼接技术 后面到匹配过程时，本文也会结合模板的匹配，涉及到一些模板的选取 方式。 2 2 2 模板的匹配 基于区域的图像拼接算法在有时也可以称为相关性算法或是模板匹 配算法。这些算法主要针对不具有显著图像特征的图像进行拼接。一 般模板都会选用预定义大小的窗口或甚至整幅图像来进行区域的匹配。 比较适合需要拼接图像之间只有水平或者垂直方向上位移的情况、“”。 基于区域的算法有一定的局限性，而这种局限性主要是其基本思想造 成的。首先。匹配过程中经常被采用的矩形窗口只适合那些需要拼接的 图像之间只是存在水平和垂直平移运动的情况。如果图像有了更多形状 上的改变，那么这种窗口就不能将参考图像和待拼接图像中景物的相同 部分拼接起来( 矩形窗口可能会变成其他的形状) 。虽然有些方法是可以 解决那些相互有旋转的图像。例如使用圆形的窗口，但是这种简单形状 的窗口的还是不能完全适合对于在图像中存在更复杂几何意义上变形的 情况。基于区域的算法另外一个缺点就是基于区域的方法指的是窗口中 内容必须很明显。但由于窗口中包含没有任何显著细节的平滑区域导致 与参考图像中其他平滑区域匹配错误的情况出现的概率也很高。这两个 缺点对模板的匹配带来了一定的难度，是基于区域的图像拼接算法有一 定局限性的主要原因。 经典的基于区域的匹配方法有相关性法( c c ) 、傅立叶变换发、信息 交互法等等，这些算法都是直接对图像的像素值进行匹配，不需要任何 结构分析。但是它会对由噪声或者光线变化已经不同镜头类型造成的像 素值的改变非常敏感，往往造成拼接误差。 2 2 2 1 相关性算法经典的基于区域的匹配算法，也就是交叉相关法c c 以及在它的基础上改进的算法，计算的是参考图像和待拼接图像重叠区 域中被选取模板之间的相关系数，计算相关系数的公式如( 2 1 ) 所示： 佚蜘圣些三兰些坚竺三兰些塑( 2 - 1 ) ( 彤一e ( 啊) ) 2 - ( 一( ) ) 2 其中，分别为参考图像和待拼接图像中的象素值，e ( 暇) ，e ( ) 分 别为参考图像和待拼接图像中象素值的均值10 | 。 这种对于近似性的计算是对参考图像和待拼接图像重叠区域中选定 9 华南理工大学硕士学位论文 模板所做的计算，并寻找其中相关系数的最大值，当待拼接图像选定的 窗口与参考图像中选定模板达到最大相关系数时，这两个模板就是重叠 的，因此可以确定参考图像和待拼接图像之间的重叠区域，得到完整的 拼接图像。而基于区域拼接的c c 算法可以将平移的图像对齐，它也可以 成功地应用于有轻微旋转和变形的情况。 对于几何意义上变形更多的些的图像有更一般化c c 的算法。它对待 拼接图像的模板的每个可能出现的几何变形进行计算，甚至可以解决比 一般平移的近似变换更复杂的几何变形，还可以应用这种算法在具有仿 射连通空间的图像上。也有人提出使用分离的、占据性的系统和c c 技术 起对由远景变化和镜头模糊造成不同的图像进行拼接。但是如果变形 的复杂度的过高。并造成计算量大大增加的情况下，c c 算法还是比较难 以满足拼接的需要的。 与c c 方法类似的是连续相似性检测算法( s s d a ) 1 。它使用了连续 搜索方法，计算参考图像与拼接图像中象素点之间的简单距离，这种算 法计算需要拼按图像之间象素值绝对差的和，而且选取一定的阈值作为 判断的标准来判断图像的匹配程度，如果计算的结果超过了阈值，则要 继续使用下一组的参考图像和待拼接图像的模板，直到这个结果小于给 定阕值，模板匹配才算完成。这种方法虽然没有c c 准确，但是速度快很 多。另外类似的求方差和的方法也经常被使用。 对于相关性算法，存在的缺陷，如前面所述都是由于图像本身的原因 造成的，如图像边界不够明显，参考图像和拼接图像之间在亮度、对比 度方面有较大的差别等等。这种算法的另外一个不足就是，这种算法往 往有较高的计算复杂度。当然我们可以对图像通过预处理程序或通过使 用边界或向量相关的办法使极大值更加突出来尽量避免这些问题。在拼 接之前，可以通过图像滤波器来提高c c 算法对抗噪声的性能以及处理高 度相关的图像。而基于边界相关的方法只对图像的边界进行计算而不是 对原始图像本身，这样，算法也会对待拼接图像和参考图像之间像素值 的变化不会太敏感，这种算法的延伸是基于向量相关的，对使用不同的 窗口进行近似性的计算。 虽然相关性算法有一定的局限性，但这一类拼接算法还是被经常使用 的，特别是对于那些拼接任务相对比较简单的情况，如待拼接图像来自 于扫描仪人工分割时。 2 2 2 2 傅立叶变换法如果需要加快计算速度或图像是在不同条件下获 得的，以及图像存在频率噪声的干扰，那么傅立叶方法就好过相关性的 1 0 第二章图像拼接技术 算法，这种算法使用傅立叶变换表示图像的频域。相位相关是基于傅立 叶变换的理论，开始是为了对平移图像的拼接所使用的。它对待拼接图 像和参考图像的交叉频谱进行计算，并且寻找它们的倒转峰值位置。 这种方法对于相关性的基于频率的噪声和非一致性的时变光照干扰 有很强的鲁棒性。如果是大型的待拼接图像，傅立叶算法能减少很多计 算量。 2 2 2 3 信息交互方法信息交互技术( m i ) 是另一种本文将介绍的基于区 域的方法。这种方法是最近才被提出的，而且在多模型拼接里处于领先 地位的技术。多模型拼接是一项很难工作，但是通常的处理是很有用的， 特别是对于医学图像，例如医生经常通过对病人的器官功能图像的进行 比较，做出诊断，这就需要用到多模型的拼接才能实现。另外遥感也利 用了更多的镜头来进行控制，这也需要多模型的拼接。 m i 起源于信息论，是一种依赖两个数据集合的统计方法，它特别适 合对于不同形态图像的拼接由两个不同的随机变量x 和】，决定的m i 定义 如下： m i ( 工，j ，) 一坝j ，) 一坝y ix ) 一坝x ) 手坝】，) 一以一，l ，) ( 2 2 ) 这里日( z ) = 一目( 1 0 9 ( 尸( z ) ) ) 表示随机变量的熵，而e ( x ) 是的概率分 布”“。这种方法基于m i 的最大化，但m i 最大时，可得到最佳的匹配。 通常可以通过使用粗到精的方法提高拼接的速度( 金字塔方法) 。 上面提到的m i 技术可以是针对基于区域图像拼接算法中所提取的模 板进行m i 值的计算。同时也可以对基于特征图像拼接算法中提取的特征 集合的进行m i 值的计算，但是这种方法比较少用。与m i 类似，接下来 要介绍的也是来自信息论，是基于交叉熵的近似性方法“。 2 2 2 4 最优化方法对非相似性方法( 判决函数) 的最小值或对近似 方法的最大值的查找是多维优化问题，这里的维数对应期待的几何意义 上变形的自由程度。改变全局极值点的唯一方法是在整幅图像做穷尽式 查找。虽然计算上要求比较高。它还是常常应用于仅存在平移需要被估 计的情况。 当变化需要更多的自由度或更复杂的相似性方法出现的时候，精妙 的优化算法就要被涉及到，可以帮助对相应的展大值或最小值进行定位。 在投射几何变化使用的情况中，g a u s s n e w t o n 数字最小化算法“可以对 均方差的和进行最小化。m i 的最大值可以通过梯度下降的优化算法得到 “。最优化算法还可以使相应的像素值的区域变化最小化。图像可以通 华南理工大学硕士学位论文 过投射变化模型加镜头扭曲模型进行拼接。l e v e n b e r g m a r q u a r d t 法别 与方差和的方法组合在一起可以对显著变形的图像进行拼接。最优化方 法还被用来在模拟退火算法求得非相似度的方法中求取最小值。另外一 种最优化算法在多模型数据拼接的应用中采取了m i 和相关率的组合。而 且可以通过会字塔方法提高计算速度。 在应用优化算法中需要注意的是，在非相似处理阶段在旁边是最小化 公式，还包含规划或判决阶段，有变化的交叉和变化的数据。伴随着拼 接，这两个阶段一起形成消耗函数，而且最优化技术的目标就是使它最 小化。这些技术方法被称为“能量最小化”方法。由于刚性变化，这些 规范化阶段通常被忽略。 2 2 3 基于区域拼接算法小结 基于区域的拼接算法中，在没有很多显著的细节和在突出的信息由 灰度级或颜色提供而不是局部形状和结构的时候是非常有效的。基于区 域的方法有两个主要的局限性，参考图像和待拼接图像必须在某种程度 上的相似性，要么具有比较容易辨认的( 这样可以使用相关性的算法) 要么是统计意义上可靠的( 这样可以使用前面提到的m i 或最优化这些依 靠统计学原理的匹配方法) 。 从几何意义的角度来看，只有在图像之间存在简单垂直或者水平移 位或者较小的旋转才使用基于区域的方法( 虽然基于区域的方法可以对 全部旋转和缩放进行一般化处理，但由于过大的计算量以及不理想的拼 接精度导致它在实际应用中是没任何意义的) 。为了加快匹配速度，基于 区域的方法经常使用金字塔形的图像表示和精妙的优化算法来进行匹配 计算。 在基于区域的图像拼接方法中，得到最佳匹配模板之后，就很容易 将匹配模板之间的对应关系引申到整幅图像之间的对应关系，而一般只 有水平或者垂直方向上的位移也决定了待拼接图像和参考图像之间的变 换不会太复杂。因此，关于拼接中，图像变换模型的建立和图像的重构， 本文将放到基于特征的图像拼接一节中介绍。 2 3 基于特征的图像拼接方法 基于特征的图像算法，由于其算法本身的优越性，因此具有适用范 围广，拼接效果好，计算量不大等特点，是图像拼接技术的发展方向， 因此，这一类拼接算法是本章乃至本文的重点，在本文的后面部分将介 1 2 第二章图像拼接技术 绍一种基于特征的多分辨率图像拼接算法。本节中将介绍基于特征的图 像拼接方法的一般步骤。 2 3 1 特征集合的选取 对应于基于特征的图像拼接方法，易见的区域( 如森林、湖泊和土 地) ，线条( 区域边界、海岸线、道路、河流) ，或者点( 区域角落、线 的交叉点、具有较高曲率的曲线的点) 在这里都可以被用作是特征区域、 特征线、或者特征点。图像特征应该是比较明显的，同时遍布整个图像， 这样的图像特征才会包含了原图像的大量信息。当然我们真正需要的特 征集合应该是在参考图像和待拼接图像的重叠区域中的，因为只有这样 才能对特征集合的进行匹配。 在参考图像和待拼接图像中图像特征集合的是必须具有一定的恒定 性，准确性。换句话来说，无论两幅图像的几何形状如何改变、辐射条 件如何改变、图像噪声的是否出现或者是经检测景物的如何变化，这些 图像特征集合都应该反映图像的大部分信息。与基于区域的拼接方法比 较，基于特征的方法不是对整块或图像中某一块象素的值进行匹配计算， 而是利用图像的中代表了更高级信息的特征集合来进行匹配计算。而 特征集合的恒定性和准确性使基于特征的图像拼接方法有着更高的拼接 精度，同时拼接方法的应用也更加的广泛。 一般的图像特征有以下几种选择： 1 特征区域：近似区域的图像特征可以是普遍意义上具有较高对比 性的合适大小的封闭区域，水库和湖泊17 | 、建筑1 、森林19 。、市区 “或者阴影区域“。封闭区域的一般具有普遍性。这些区域通常是有由 它们的重心表示，由于重心不会因旋转或缩放以及倾斜而改变，还会在 随即噪声出现或者灰度改变的倩况下保持稳定。 图像特征区域的检测是一般由分割技术实现的“。分割的准确性可 能会对拼接的结果产生显著的影响。图像的分割一般重复地与拼接一起 进行，每次重复，相应图像的大体估计会被用来调整分割的参数，通过 不断的调整，进行多次图像分割、拼接之后，就可以提高拼接的准确性， 提高拼接的精度。 2 特征曲线：图像特征曲线表示可以代表_ 1 般意义上的线段“、图 像的轮廓“1 。、海岸线、道路“或医学图像中拉伸的解剖学结构“等。 对应的特征曲线通常由一系列曲线的终点和中点表示。 标准的边界曲线检测方法中，比较常用的有c a n n y 算子“或是基于 1 3 华南理j 二人学硕士学位论文 高斯的拉普拉斯算子“等。 3 特征点：特征点一般指的是可能包括图像中曲线的交叉点“、路 口l3 0 j 、水域的质心、油( 气) t j j ”“、象素值突变的点。“。、由g a b o r 小 波检测得到的局部曲率不连续处”“、曲线变形处的点”、小波变换的极 值点处”、针对某种相似性检测手段中出现的与众不同的点和角落等 等，而基于特征的图像拼接算法中，选取特征点做为图像特征集合是比 较常用的做法。 图像特征点检测的核心算法在大多数情况下都是根据点的定义，如曲 线的交叉点、封闭区域的质心或小波变换系数的极值进行的。大量的图 像特征点检测工作花费在寻找准确，具有鲁棒性和快速的角点检测上， 角点被广泛利用主要是因为它们在图像几何意义上的恒定性和精确性， 同时，角点还可以被观察者的肉眼准确地辨认出来。 目前比较常用的检测算法有利用二阶梯度算子的算法、通过寻找高斯 曲线极值的算法、s u s a n 鲁棒性算法等。还有一种算法，在这种算法中算 子使用的思想是认为在角点处象素值的改变应该是在各个方向都是最大 的。最近，又有人提出参数化的角点检测算子，它不计算任何梯度，主 要是用来解决模糊以及噪声数据，另外，还有在特征点检测中，还有针 对3 d 数据的角点检测算子。 检测出的特征点数量可能很多，这样也导致了拼接中的计算量地加 大，耗时地增加。针对这种情况，有入提出了一种有效选择点的亚采样， 显然的，这种方法比随机选取特征点更好，它并不会使拼接的效果与精 度降低，而降低了特征点匹配过程中的计算量。比如只选取整个集合中 属于外围的凸点，或者使用特征点中集合最小生成树的那些点，以及将 密集的点生成“块”的算法。这些算法的思想都是为了在不影响拼接效 果的情况下减少计算量而产生的。 2 3 2 特征集合的匹配 假设在待拼接图像和参考图像罩检测到的两个特征集合由c p 表示 ( 可能是特征点的本身、特征线的端点或中点，区域的重心等) 。匹配算