（计算机应用技术专业论文）图像拼合及宽视角全景图生成算法研究.pdf

摘要 摘要 全景图的自动生成技术是近年来兴起的基于图像的绘制技术中的重要研究内容，其 涉及到计算机图形学、图像处理及计算几何等诸多学科。 本文深入研究了全景图生成的三个步骤：图像采集、图像匹配及图像投影。 在图像采集步骤中，本文对图像采集时相机的运动方式及相应图像的变化进行了讨 论。相机运动前后拍摄到的图像，其视角的变换可以看作二维平面内的投影变换。投影 变换参数为具有八个未知量的3 x 3 矩阵，确定了这八个未知量，便可确定图像之间的 坐标变换关系。 在图像匹配步骤中，本文选取了既高效又简单的h a r r i s 角点检测算子作为特征点提 取的基本算法，并对h a r r i s 算子进行了改进以对角点计算得到的特征描述向量作 为特征点的搜索依据。针对图像之间特征点的匹配搜索过程，本文提出了基于h a r r 小 波系数索引的特征点匹配搜索算法，相对于传统的穷尽搜索算法其计算效率大幅提高， 具有很强的实用价值。对初匹配得到的特征点对进行鲁棒性的r a n s a c 提纯，保留正确 稳定的匹配点对，并以其为基础确定任意两幅图像之间的变换关系。 针对图像的投影绘制步骤，本文给出了图像处理序列的确定算法。对输入图像集首 先进行处理，生成图像处理序列树，确定图像绘制的顺序，并按照该顺序依次将各幅图 像输入全局优化器，通过u i 算法进行变换参数的全局优化，以使拼合后的图像接缝更 加吻合。在最终的全景图绘制过程中，依据不同应用，本文给出了不同的图像全局投影 方式，包括宽视角平面投影、3 6 0 。柱面投影及全视角球面投影。 在上述算法的研究基础上，本文研发了图像拼接及全景图像生成系统 p a n o p r o d u c e r ，其具有很强的实用价值和很高的科研价值。 关键词：全景图图像拼接图像匹配角点检测图像序列柱面全景球面全景 a b s w a e t a b s t r a c t p a n o r a m aa u t o - g e n e r a t et e c h n i q u e sp l a ya ni m p o r t a n tr o l ei ni m a g eb a s e dr e n d e r i n g ( i b i ut e c h n o l o g y , w h i c hr e f e r st oc o m p u t e rv i s i o n , i m a g e ：p r o c e s s i n ga n dc o m p u t a t i o n a l g e o m e t r y m o s tp a n o r a m aa u t o g e n e r a t ea l g o r i t h m sf o l l o wt h r e es t e p sl i s t e db e l o w ：i m a g ec a p t u r i n g , i m a g em a t c h i n ga n di m a g er e p r o j e e t i o n i nt h ei m a g ec a p t u r i n gs t e p ，t h i sp a p e rm a d eab r i e fi n t r o d u c t i o nt oc a m e l d m o c e m c n t s a n dt h ec o r r e s p o n d i n gi m a g el r a n s f o r m a t i o n s t h et r a n s f o r m a t i o n sc a u s e db yc a m e r a m o v e m e n t sc a nb er e g a r da sp e r s p e c t i v ep r o j e c t i o nt r a n s f o r m a t i o nw h i c hh a s8d e g r e e so f t i e e d o m 坩o oi ni t sp a r a m e t e r w i t ht h e s e8d o f , at r a n s f o r m a t i o nc a l lb ed i s t i n c t l yi d e n t i f i e d a s i m p l ea n de f f i c i e n ti m a g ef e a t u r ed e t e c t o rn a m e dh a t t i $ c o m e rd e t e c t o ri su s e di n i m a g em a t c h i n gs t e p s o m ei m p r o v e m e n t sa mm a d et ot h i sa l g o r i t h m af e a t u r ed e s c r i p t o ri s f o r m e df o re a c hf e a t u r ep o i n ：t a n di su s e di nt h ef o l l o w i n gf e a t u r em a t c h i n gw o r k s i nf e a t u r e m a t c h i n gs t e p ，ah i g h l ye f f i c i e n ts e a r c ha l g o r i t h mb a s e do ni n d e x i n go fh a l tw a v e l e t c o e f f i c i e n ti sb r o u g h tf o r w a r di nt h i sp a p e r t h e n , ap s e u d om a t c h i n gs e ti so b t a i n e db y c o m p a r i n gl o c a ln e i g h b o r h o o d so ff e a t u r e sa n dt h e s ep s e u d om a t c h e sa 托d i v i d e di n t oi n l i e r s a n do u t l i e r su s i n gr o b u s tr a n s a ca l g o r i t h m w i t ht h ei n l i e r s a ni n i t i a ll a a n s f o r m a t i o n p a r a m e t e rc a l lb eo b t a i n e d ap a n o r a m i cc o n n e c t e ds e q u e n c ec a l lb ef o u n di ni m a g er e p r o j e e t i o ns t e p t h ec o n n e c t e d i m a g e s c a l lf o r ms e q u e n c et r e e s i m a g e sa l ed r a w no n e b yo n e a st r a v e r s et h et r e en o d e s , a n d w h o s ep a r a m e t e rc a nb ei n c i d e n t a l l yo p t i m i z e db yl ma l g o r i t h m f i n a l l y , t h r e ed i f f e r e n t r e p r o j e e t i o nm e t h o d s c a l lb ea p p l i e dt ot h ei m a g e s ：w i d ea n g l e p l a n a rl e p r o j e c t i o n , 3 6 0d e g r e e c y l i n d r i c a lr e p r o j e c t i o na n df u l l - v i e ws p h e r i c a lr e p r o j e e t i o n a c c o r d i n gt ot h ea l g o r i t h m sa b o v e , ah i g h l yu s e f u lp a n o r a m aa u t o - g e n e r a t es y s t e m p a n o p r o d u c e ri sd e v e l o p e d k e yw o r d s ：p a n o r a m a , i m a g es t i t e h i n g ，i m a g em a t c h i n g , c o r l l c rd e t e c t , p a n o r a m i cs e q u e n c o ， c y l i n d r i c a lp a n o r a m a , s p h e r i c a lp a n o r a m a 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得墨盗堡墨盘垒 或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：谭磊 签字日期：。7 年 月y 学位论文版权使用授权书 本学位论文作者完全了解墨盗堡墨盘垒有关保留、使用学位论文的 规定。特授权墨盗堡墨盘堂 可以将学位论文的全部或部分内容编入有关 数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编，以供查 阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子文件。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 气军磊 签字目期：皇7 年月f 婚 导师弛：豸移雒 签字日期：0 7 年，月r 第一章绪论 第一章绪论 1 1 课题研究的背景、目的及意义 近年来，随着计算机硬件技术的快速提高，计算机图形学有了迅猛发展，虚拟现实 技术( v i r t u a lr e a j i t y , v r ) 【l 】的应用领域日益扩大，应用内容也逐渐复杂，特别近两年 网络图形技术的高速发展，真实感图形实时绘制技术的需求急剧增加：各种工业辅助设 计离不开计算机图形学的应用，c a d 、p r o e 等设计工具都是计算机图形学发展的产物； 铺天盖地的广告更是图形学大显身手的地方，大到楼盘、汽车，小到食品、医药，几乎 没有一类广告离得开图形学的辅助；电影、游戏中的应用更是比比皆是。计算机图形学 的发展可用突飞猛进形容：以p i x a r 制作组为例，纵观其发展历程，从1 9 9 5 年的动 画电影玩具总动员到2 0 0 6 年的汽车总动员，场景复杂度之悬殊、各类材质效果 差异之明显，让人叹为观止。 概括起来，虚拟现实图形绘制技术可以归为两类：基于几何建模的绘制 ( g e o m e t r y - b a s e dr e n d e r i n g ，g b r ) 和基于图像的绘制( i m a g e b a s e dr e n d e r i n g ，i b r ) 。 上述应用大多使用g b r 技术，其采用光线跟踪、辐射度等模拟自然光照物理过程的方 法在计算机上生成照片般真实感结果的图形。当前，这种绘制技术在开发工具、应用领 域以及硬件水平等方面均已达到相当高的水准，人们更多的只是进一步研究更丰富的特 效、更高的速度等。g b r 技术需要开发人员进行大量的建模工作，其过程复杂繁琐， 对专业技能要求较高，当需要构建现实存在的复杂场景时，工作量和人工耗费成本都会 急剧增加。为了模拟出更真实的场景，g b r 的模型越来越复杂，计算规模越来越庞大， 而计算机所提供的计算能力往往不能满足复杂场景的实时绘制需求。建模方式创造出的 场景，其效果也往往并不能令人满意，场景真实度很难达到照片级别。解决绘制算法在 速度、质量及场景复杂度之间越来越突出的矛盾已经成为计算机图形学领域一个非常重 要的课题i 】。 与g b r 原理相反，i b r 技术因其自身的优越性，近些年来得到了迅猛发展，其应用 已经逐渐延伸向各个领域。i b r 技术的突出优点有： ( 1 ) 建模容易。基于图像的绘制技术无需在建模环节耗费大量的人力，它可使用相 机拍摄的真实世界的图像进行自动绘制，从而避免了几何建模方法繁琐的手工操作和严 格的技术要求。 ( 2 ) 绘制速度快。由于图像的绘制以已有的图像为基础，因此不需要复杂计算就可 得到合成的新视图了。i b r 的绘制过程一般都在二维空问进行，场景绘制的复杂度不依 赖于场景自身的复杂度，只与图像的分辨率有关。该特点在建立大规模高复杂度的真实 场景时尤为重要。 ( 3 ) 真实感强。i b r 以实景照片为基础，因此绘制出的图像非常接近真实场景。i b r 第一章绪论 在绘制过程中无需进行光源模拟等复杂计算，所绘场景的真实感是基于建模绘制技术无 法比拟的。 作为i b r 领域的基础研究课题，图像配准与拼接技术的研究也在不断深入。 图像拼接技术是将同一场景中的多幅有部分重叠区域的图像进行拼接，无缝地连接 成一幅较大图像的处理过程。人们对图像拼接技术最早的应用，是通过在暗室里倾斜摆 放相纸，把鸟瞰图象粘贴起来形成地形拼图【4 】。后来出现的鱼眼透镜和曲面镜光学设备 等昂贵的全景图像采集设备，实现了全景图像的采集【5 1 。随着研究的深入，人们研究出 图像的自动拼接算法，图像拼接技术才真正具有使用价值。图像自动拼接技术是通过软 件系统的自行运算，自动地将有重叠区域的相关图像进行配准的技术。图像配准拼接技 术的典型应用，在于全景图生成及分辨率增强【6 7 1 等方面。 全景图生成技术是i b r 研究领域内最具代表性的技术之一。所谓全景图，是指覆盖 水平方向3 6 0 。及垂直方向1 8 0 。的图像。获得全景图最直接的方式是使用全景相机等昂 贵设备直接摄取，但其成本高，不适于一般用户使用。通过手持相机拍摄离散图像，并 拼接为全景图的方式由于其对设备的要求低，成为i b r 全景图生成技术的研究重点。 1 。2 课题研究现状分析 q u i c k t l m ev r 【卅是最早的以全景图为基础的i b r 环视系统，它基于柱状投影面，允 许用户在固定视点水平方向上进行3 6 0 。环视。q u i c k t m a ev r 系统简单而有效，因为其 仅用隐含的几何关联来重建场景。然而，该系统必须预先给定图像间相机的旋转角度， 对拍摄及应用均有较大限制。 s z e l i s k i 和s h u m 9 j 提出了一种全景图像拼接( p 锄。煳m o s a i c s ) 算法。该算法利用序 列图像构造了一个完全的全景图像拼接系统，是平面拼接技术的典型代表。但该算法的 计算过程是对每一幅输入图像进行参数变换，而不是将所有的图像投影到一个共同的平 面。 l o w e 1 0 】提出具有缩放稳定性的特征点提取算法，并基于该特征提取算法给出图像局 部的匹配和识别算法。但该算法的特征提取过程计算量大，运行效率相对较低。 k y u n g 等【l l 】提出了一个构建柱面全景拼图的有效算法。对于相机水平摇摄获得的影 像，基于平移运动模型，他们使用等距离匹配算法进行图像匹配来生成柱面全景图像， 并采用二分法可以有效的估计相机的焦距长度。但该算法只针对相机水平旋转拍摄的情 况进行研究，而不适用于手持相机的任意旋转。 国防科大开发了h v s 1 2 13 】系统，该系统首先将采集的离散图像或连续的视频作为数 据基础，处理成为3 6 0 。柱面全景图像，然后通过合适的空间模型把多幅全景图像组织为 虚拟实景空间。用户在这个空间中可以前进、后退、3 6 0 0 环视、俯视、近看、远看。国 内对基于图像的虚拟场景也做了一系列的研究。中科院软件所也开发了虚拟现实实验系 统q u i c ks h o w 及其图像工具s t i t c h e r 和p i c k e r ，该系统采用圆柱形全景图构成场景， 实现了连续照相机环视、渐远、渐近、漫游和物体转动等功能。但该系统基于的柱面全 景图对场景垂直方向的绘制有很大的限制。 2 第一章绪论 1 3 本文的主要研究工作及创新点 图像拼接技术主要包括两个关键环节图像匹配与图像拼合绘制。 图像的匹配主要是通过图像特征的匹配求得图像之间的匹配变换关系。由于图像的 点特征具有分布广泛、数量庞大、易于存储等特点，近年来，图像特征在应用中主要以 点特征为主。点特征的匹配问题由此产生，能否高效、准确的匹配图像点特征成为图像 匹配的关键问题。 图像拼合绘制部分，总体来说算法比较成熟，近些年来的研究主要针对如何得到平 滑的拼合结果。对拼合图像的平滑处理，除了使用在拼合过程中的平滑算法外，还可以 通过图像匹配关系的全局优化及图像的绘制顺序来实现。由此，图像的绘制顺序及参数 优化也成为图像拼接算法的研究重点之一。 本文主要对图像拼接技术进行了研究。在前人工作的基础上提出了一些新的改进及 新的算法，将前人的其它研究成果应用到本文的研究中。同时，开发了具有基本功能的 图像拼接应用系统。主要研究成果可以归纳为以下几方面： ( 1 ) 将基于h a l t 小波的k 近邻分类法运用到特征点的分类索引中，提出了新的特征 点搜索算法。该算法具有计算量较小、搜索速率高的特点，显著提高了搜索效率， 缩短了处理时间。 ( 2 ) 以图的最小生成树为基础，提出了图像处理序列的确定算法确定了图像绘制处理 的顺序，进一步降低了绘制时产生的误差，可以使图像的优化更加精确，拼接效 果更完美。 ( 3 ) 对球面全景投影作了新的阐述。改变了前人的计算方式，省略了平面到球面坐标 映射的计算过程，通过经纬映射的方法直接将平面坐标投影至球面图像中。并巧 妙的运用了三维图形学中坐标的旋转变换，将每次欲投影的平面移至适于计算的 位置，简化了公式的推导过程，使投影算法更加简单。 研究开发了图像拼接应用系统p a n o p r o d u c e r ，该系统在实际应用及科研工作均中有 一定的价值。 1 4 本文的组织结构 本文主要研究了基于i b r 技术的固定视点的全景图像的拼接技术，探讨并实现了基 于特征点的图像拼接算法，并可生成多种全景图。在前人的研究基础上，本文提出了一 些新的算法，并对已有算法的不足之处进行了改进。本文主要内容如下： 第二章对图像处理的基础算法及图像拼接的必备知识作一介绍，作为后文的理论基 础： 第三章首先对图像特征提取、图像特征数据结构进行阐述，而后研究了图像之间特 征点的匹配算法，提出了基于h a r r 小波系数的特征搜索算法，最后给出具有鲁棒性的 图像变换参数估计算法； 第四章提出了一种图像处理序列的确定算法，并研究了图像变换参数的优化问题， 3 第一章绪论 最后介绍全景图像的投影技术； 第五章介绍了图像拼接系统p a n o p r o d u c e r 的设计原则、编程环境及主要的逻辑模块， 并展示了系统的主界面、实现功能和处理结果等； 第六章总结全文并提出将来研究的方向。 4 第二章图像配准的理论基础和关键技术 第二章图像配准的理论基础和关键技术 2 1 成像的几何原理 2 1 1 几种坐标系的关系 使用摄像器材进行图像采集的过程，是将现实世界的三维场景投影到摄像器材的二 维像平面上，投影过程是成像变换的过程”。成像变换实现不同坐标系之间的变换，变 换过程所包含的坐标系包括： ( 1 ) 世界坐标系为三维坐标系统，表示场景点在客观世界的绝对坐标。该坐标系通 过y ，z ) 坐标可以准确地定义一个点在现实世界中的位置。 ( 2 ) 摄像机坐标系是以摄像机为原点定义的三维坐标系统，一般常取摄像机的光轴 为z 轴。 ( 3 ) 像平面坐标系是在摄像器材内所形成的二维像平面坐标系统，表示场景点在像 平面上的投影。一般常取像平面与摄像机坐标系统的巧平面平行，原点位于摄像机的 光轴上，与摄像机坐标的原点相重合。此坐标系类似于胶片所在的平面坐标系。 摄像机坐标系和世界坐标系之间的关系可以利用旋转矩阵r 和平移向量t 来描述。 因此空间某一点p 在世界坐标系和摄像机坐标系下的齐次坐标如果分别为 【x y zl 】t 和瞳yzl 】t ，则存在如下关系： f x 一r，1 | y l o t1 z 【1 其中，r 为3 3 的单位正交阵，t 为3 1 的平移向量。 2 1 2 成像模型 ( 2 1 ) 成像是指将三维空间的场景映射n - 维坐标的图像中。常用的映射变换为透视投影 变换。叫“” 第二章图像配准的理论基础和关键技术 ， xp 场景点 广 p ( x , y , z ) 夕 么圹r 形 址 一： z y 图2 1 小孔成像原理图 f i g 2 ip r i n c i p l e so f p i n h o l ei m a g i n g 透视投影也称为针孔成像模型，其特点是所有来自场景的光线均通过一个投影中心 ( 光心) ，光心对应于透镜的中心，经过投影中心且垂直于图像平面( 像平面) 的直线称为 投影轴或光轴( 如图2 1 所示) 。其中x y z 是固定在摄像机上的直角坐标系，遵循右手法 则，其原点位于投影中心0 。z 轴与投影轴重合并指向场景，x 轴、y 轴与像平面的坐 标轴x 、y 平行，科平面与像平面的距离为h ，一般称为摄像机的焦距。在实际摄像 机中，像平面位于投影中心后面距离为f 的位置，投影图像是倒立的。 式中( x ，y ，z ) 为场景点p 在摄像机坐标系的坐标，y ) 为q 点像平面图像坐标。用 齐次坐标表示上述投影关系为 问厂。m 爿j ，i - 1 0f0 0 l l 7 l - 仆。，叱 ( 2 2 ) 将式2 1 代入式2 2 ，可以得到世界坐标系表示的3 d 场景点p 的坐标与其投影点q 在计算机图像坐标系下的坐标间的关系 z rl i i 。i 享圳匡 r = ； ，矿= 喜詈至 ，置= 毫毫 6 ( 2 3 ) ( 2 4 ) 第二章图像配准的理论基础和关键技术 2 2 图像之间的变换关系 2 2 1 齐次坐标表示法 齐次坐标”6 1 用于表示n 维透视空间的点的n + l 维分量。透视空间的点可以被认为是 欧几里德空间加上一些无穷远处的点。每个坐标分量乘以一个非零值并不改变这些坐标 所表示的点，这样的坐标是齐次坐标。二维空间中一点p ( x ，y ) 的齐次坐标形式表示为 p 弘1 ) ；三维空间中点以焉弘z ) 的齐次坐标形式表示为p ( x ，y ，。，1 ) 。 2 2 2 图像的变换模型 图像的变换是指将原始图像中一点p j ，) 映射到目标图像p t ( 一，) 的过程。图像的 变换可以通过变换矩阵m 来定义1 1 7 】： 肚刖； 眨s ， 第二章图像配准的理论基础和关键技术 表2 1 图像变换类型 t a b 2 1i m a g et r a n s f o r m a t i o nt y p e s 名称变换形式变换矩阵肘自由度 _- 平移 日 10 t ， 2 01 t y 囫 001 _-_ c o s o s i n 0 2 s i n oc o s 00 旋转 终 l ：d 。引 oo1 6 仿 射 变 -_ 换 缩放 丌 s ，0 0 包矿 0 s y 0 2 甚 0 0 1 ，f _ 1 啦0 错切 妙l 嘭10 i 2 么翊 。 【0 0 1 j i i i ii 捧 8 投影变换 lo lil lii 一一 ii | | i一 p = r ( ，0 ) 置( o ) + s ( s ，j ，) 习= 医i ；且c s o s 。0 - 焉s i n 。o ； 喜丢习 羽q 6 ) 使用相机进行图像采集时，不同运动方式会对场景成像产生不同效果。相机的运动 方式1 8 1 与成像结果之间的关系如表2 2 所示。 8 第二章图像配准的理论基础和关键技术 表2 2 相机运动与图像变换对应关系 t a b 2 2r e l a t i o n s h i pb e 脚咖c a m e r am o v e m e n 协a n di m a g et r a n s f o m a t i o n s 在相机的几种基本运动方式中，水平旋转与垂直旋转两种运动方式，成像平面会与 场景平面不平行，由此会产生梯形失真和线性调频现射州；而平移运动、镜头缩放和旋 转运动由于成像平面与场景平面平行，不会产生上述两种失真现象。这两种失真现象带 来透视投影的效果，因而水平垂直镜头旋转下的坐标变换是投影坐标变换。 2 3 图像镶嵌的关键技术 2 3 1 图像的滤波技术 2 3 1 1 卷积 ( 1 ) 线性系统 线性系统具有如下特性：设对某一特定系统，输入而( r ) 产生出y l ( t ) ，即x 。( f ) 斗m o ) ， 这个系统就称为线性系统，如图2 2 所示。 9 第二章图像配准的理论基础和关键技术 ( 2 ) 卷积 教翘j 茹 图2 2 线性系统示意图 f i g 2 2d i a g r a mf o rl i n e a rs y s t e m 对于图2 2 所示的线性系统，可以有输入x o ) 和输出y ( f ) 之间的关系的线性函数表达 式： 灭d = 1 ，( f ，o x ( o d r ( 2 7 ) 当加入不变约束后，表达式可以写为： j ，( f ) = ig ( ，一r ) x ( r ) d r ( 2 8 ) 该卷积积分表达式表明，线性移不变系统的输出可通过输入信号与一表征系统特征 的函数g ( f ) 的卷积得到。 二维连续函数用x 和y 表示两个独立的变量，二维卷积表达式为 h ( x ，力= f * g = 亡m ，v ) g ( x 叫y v ) d u d v ( 2 9 ) 如图2 3 中所示，g ( 0 一u ，0 一v ) 是g ( u ，v ) 绕其原点旋转1 8 0 0 ，g ( x 一“，y - v ) n 是将旋 转后的g 的原点移至点 ，力。而后该两个函数逐点相乘，所得积函数再作二维积分。 由于g 力关于原点对称，因此旋转1 8 0 0 后保持不变，h ( x ，力的值就是当正方形脉冲移 至位置( x ，力时乘积函数的体积。 y v ) 图2 3 函数卷积示意 f i g 2 3d i a g r a mf o rc o n v o l u t i o n 数字图像的卷积与连续函数情形类似，不同点仅在于自变量取整数值，而双重积分 改为双重求和。这样，对于一幅数字图像，有 1 0 第二章图像配准的理论基础和关键技术 h = f g h ( i ，胪f ( 册，n ) g ( i m ，一哪 2 1 0 由于f 和g 仅在有限范围内非零，因此求和计算只需在非零部分重叠的区域上进行。 离散卷积的计算如图2 4 所示，将数组g 旋转1 8 0 。并将其原点移至坐标( 五y ) ，然后将 这两个数组逐个元素相乘，并将得到的积求和即得输出值。例 核矩阵 积阵列求和常数比例 图2 4 离散函数的卷积 f i g 2 4c m n v o l u t i o nf o rd e s c r e t ef u n c t i o n s 2 3 1 2 图像的g a t m s i a n 滤波技术 ( 1 ) g a m s i a n 函数 标准g a u s s i a n 函数为 g ( 功：寺e 号 二维空间中，g a 懈s i a n 函数定义为 j 2 + ， g ( x ，j ，) 2 丽1 p 4 2 二维g a u s s i a n 函数的曲面图如图2 5 所示。 第二章图像配准的理论基础和关键技术 图2 5 二维高斯函数图像 f i g 2 5g r a p hf o r2 - d i m e n s i o n a lg a u s s i a nf u n c t i o n ( 2 ) 图像的g a u s s i a n 平滑处理 图像的g a u s s i a n 平滑处理【2 1 】，即使用g a u s s i a n 函数计算得到的卷积核矩阵对原图像 进行卷积处理，所得的输出图像为g a u s s i a n 平滑图像。 通过二维g a u s s i a n 函数的定义，可以求得g a u s s i a n 卷积核。g a u s s i a n 卷积核实际上 是g a u s s i a n 曲面的另一种表达方式。图2 6 所示为盯= 1 时3 * 3 近似卷积核示例。 r 121 1 剖；2 4 ；i 图2 6 高斯卷积核示例 f 皓2 6e x a m p l ef o rg a u s s i a nk e r n e l 使用此3 * 3 卷积核进行平滑处理，求解原图像中每个象素点相对应的输出像素时， 在原图像中以这个象素点为中心的3 * 3 范围的像素色彩矩阵内通过卷积核矩阵中相对应 的值进行加权求和，得到的和即为所求像素的输出色彩值。 2 3 1 3 图像的g - a u s s i a n 塔形结构 ( 1 ) 塔形结构的概述 有像素为n * n 的原图像，将原图像进行重采样，得到l x l ，2 2 ，4 4 ，2 。 x 2 。的图像序列，该序列中的图像从小到大层层排列成为塔形结构，形成“尺度空间”。 如图2 7 所示，为一锥形结构示意图瞄纠。 第二章图像配准的理论基础和关键技术 第k 第k 层( 1 像素) 么：7 、 舭层锣、 第0 层( 原始图像) 。图2 7 图像塔形结构示意图 f i g 2 7g r a p hf o ri m a g ep y r a m i d 这种塔形结构的创建可以为其他工作带来便利，如在图像检索时，可以使用塔钟像 素较低的较高层作为检索依据，以提高检索效率；在引用图像时，依据不同需求引用不 同层次的图像，以降低存储空间的使用；在图像配准拼接应用中，针对相机放缩运动下 拍摄的图像进行比对和检索，以实现不同尺度图像的拼合。 ( 2 ) 塔形结构的建立方法 建立塔形结构的过程为： a ) 令原始图像n * n 为第k = 0 层 ”将第k 层图像中每m * m 个像素点为一组进行滤波计算，生成一新的像素点，写 入第“l 层。第k + l 层图像为( n m ) * ( n m ) 像素。令k = k + 1 。 c ) 重复b 步骤，直到第k 层为单像素图像。如图2 8 所示。 ooo 一一一一一一一一一滤波函数 图2 8 图像塔形结构建立过程 f i g 2 8c o n s t r u c t i o no f ai m a g ep y r a m i d 其中采样滤波的过程尤为重要，滤波函数决定了生成的塔形结构的具体内容。滤波 函数一般采用c - a u s s i a n 函数，通过g a u s s i a n 函数对图像进行卷积运算得到塔形结构中 的各单层图像。 ( 3 ) 使用g a u s s i a n 函数作滤波函数的原因 第二章图像配准的理论基础和关键技术 g a u s s i a n 平滑在应用中的优势在于多次重采样后保留了较多图像细节，故通过 g a u s s i a n 图像平滑算法可以得到效果较完美的平滑图像。 对一幅图像直接通过降低分辨率来进行重采样时，会大幅损失图像的细节；但若先 将图像进行g a u s s i a n 平滑处理，再对g a u s s i a n 平滑图像进行重采样，就能在很大程度 上保持原图像的细节。 图2 9 所示内容为对图像直接降低分辨率重采样与对g a u s s i a n 图像重采样的对比。 ( a )( c ) 圈2 9 降低分辨率重采样对比图 f i g 2 9r e s u l t so f i m a g es u b s a m p l e 图2 9 ( a ) 为原始图像，图2 9 ( b ) 为直接降分辨率重采样的结果，图2 9 ( c ) 为 对g a u s s i a n 平滑图像进行重采样的结果。可以看到( c ) 图比( b ) 图更能展示原图的内 容。 2 3 2 图像插值技术 在进行图像镶嵌的过程中，存在2 2 2 节中所述的图像缩放、旋转等变换，这些变 换要求得原图像与目标图像之间相应像素点的匹配坐标。原图像中像素点坐标均为整数 值，但经过变换之后，可能在目标图像中会出现非整数坐标。这时需要利用插值方法来 获得非整数坐标点的像素值。目前存在多种插值方法，不同插值方法具有不同的计算效 率与处理精度。本节分别讨论最简单及最常用的两种插值方法一最邻近点插值与双线 性插值方法i 培i 。 2 3 2 1 插值算法计算原理 ( 1 ) 最邻近插值 最邻近点插值法是最简单的一种图像插值方法，其插值像素点的色彩值与其最邻近 象素点的色彩灰度值相同。假定插值点的坐标为o ，j ，) ，其色彩灰度值表示为g 瓴j ，) ) ， 其邻域内各像素点坐标分别为( ，y ，x i = l ，4 ) ，则最邻近点插值算法如下：分别计算 插值点与邻域内各像素点的欧氏距离4 弘_ ，只) = 板= 二了石= ；了( f = 1 ，4 ) ，然 1 4 第二章图像配准的理论基础和关键技术 后取与插值点之间距离最小的点的色彩灰度值作为插值点的灰度值，即 z ( x ，y ) = z ( x ，y ，) ，且满j , r a d n d , ( x , y ，_ ，乃) ) ( f = l ，4 ) 。最邻近点插值作为最简单的近 似方法，其计算速度最快，但误差也最大，使用此法进行插值得到的图像质量不高。 ( 2 ) 双线性插值 双线性插值的计算过程与坐标变换的计算过程相反，即从目标图像到原图像的映射 计算。对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为0 + ，_ ，+ v ) ，其中 i 、j 均为非负整数，u 、v 为 o ，1 ) 区间内的浮点数，则这个像素的值八f + “，_ ，+ v ) 可由原 图像中所对应的周围坐标为( f ，办o + l ，办( f ，_ ，+ 1 ) 、( f + 1 ，+ 1 ) 的四个像素的灰度值决定， 即： f ( i + ，_ ，+ 一= ( 1 一“) ( 1 - v ) f ( f ，) + ( 1 - u ) v f ( i ，_ ，+ 1 ) + ( 1 - v ) f ( i + l ，) + u v f ( i + l ，+ 1 ) ，其 中f ( i ，) 表示原图像o ，) 处像素的色彩灰度值，如图2 1 0 所示。依此方法求得目标图像 中所有像素点的色彩灰度值，即可得到双线性插值图像。 图2 1 0 双线性插值算法示意 f i g 2 1 0d i a g r a mf o rb i l i n e a ti n t e r p o l a t i o n 双线性内插值法相对邻近点差值算法计算量大，处理图像质量高，不会出现明显的 像素值不连续的情况。但由于双线性插值具有低通滤波器的性质，使高频分量受损，所 以可能会使图像轮廓在一定程度上变得模糊。 2 3 2 2 插值算法在图像变换中的应用 2 2 2 节中描述的几种图像变换方式均根据图像变换参数将原图像变换到目标图像 所处的空间中，这种变换方式，被称为正向变换 2 4 1 。正向变换相当于把横纵两方向具有 固定像素数量的图像拉扯变形，由于画面的扩张，生成的图像中可能会产生网格状的空 洞现象。针对此类问题，人们提出了一些解决方法，比如邻域填补法、s p l a t t i n g 方法以 及网格划分法等【2 5 】。另外一类防止空洞现象产生的方法是逆向变换方法【2 6 】，它的原理是 寻找目标图像中各个像素点在原图像中的位置，再进行差值计算获取相应的色彩灰度 值，该方法从目标图像入手而非拉扯原图像，所以经过变换后不会出现正向变换的空洞 现象。 逆向变换方法的步骤如图2 1 1 所示： 第一步，设原图像到目标图像之间的变换为 。，h ) = r ( x ，y ；) ，由此变换函数可以求 得原图像中四个顶点( 工。，y 。) ，肌= o ，3 ，在目标图像平面中的坐标( ”。，v 。) ，m = o ，3 。 第二章图像配准的理论基础和关键技术 第二步，找到一个能够完全包含目标图像覆盖区域的最小矩形区域。矩形区域的两 个对角顶点分别为： “曲2m i n u 一 , v m2n f m v m ( 2 1 1 ) 却。= m a x 扣。 ，v 。= m a x v 。 ，m = o ，3 第三步，对目标平面内矩形区域中的各像素点，通过逆变换函数( t ，y ，) = t - 1 ( 。，q ) ， 可以求得其在原图像中的对应像素。若对应像素位于原图像覆盖区域内，则通过2 3 2 1 节中所述图像插值算法求得该像素点的色彩灰度值，将目标图像中的像素点赋予求得的 色彩值。对目标区域中的所有像素点均作相同操作，得到插值后的变换图像。 ( a ) 求得原图像顶点在目标图像平面中的坐标 曲，v 0 。，。) ( b ) 逆向变换并插值计算 图2 1 l 图像变换时的插值计算过程 f i g 2 11p r o c e d u r eo f i n t e r p o l a t i o ni ni m a g ew a r p i n g ， 图2 1 2 中展示了图像正、逆向变换的对比结果。( a ) 中为原始图像，( b ) 为该图像 经正向变换得到的结果图，( c ) 图为逆向变换得到的结果图。 ( a )( b )( c ) 图2 1 2 正向变换与逆向插值结果对比 f i g 2 1 2c o m p a r i s o nb e h v np o s i t i v ew a r p i n ga n di e v e l w a r p i n g 1 6 第三章基于点特征的图像匹配算法 第三章基于点特征的图像匹配算法 图像匹配过程是图像拼接技术中最为重要的环节，其大多通过图像特征的匹配来完 成。本文所研究的匹配技术即主要围绕特征匹配展开。基于特征的图像匹配的过程如图 3 1 所示 图3 1 图像匹配流程 f i g 3 1f l o wc h & tf o ri m a g em a t c h i n g 特征用于建立两幅图像之间的匹配对应关系，能否高效高质地提取图像特征对图匹 配结果具有决定性作用。特征提取的难点在于自动和稳定。如何在对于同一场景不同视 角、不同光强等情况下快速地提取稳定且一致的特征是近些年研究的重要课题之一。 3 1 图像特征点的提取 运用基于特征的图像匹配方法，首先要对图像进行特征提取，所提取的特征可以是 点、线段、曲线轮廓等；然后在图像间寻找匹配的特征对，根据图像之间的特征对应关 系计算出图像变换参数。本文使用点特征，重点讨论h a r r i s 算子。具体而言，本文讨论 的图像拼接算法以h a r r i s 角特征点提取为基础，并获取匹配的角点对，然后根据这些匹 配的角点采用稳定的随机采样估计算法计算出图像之间的变换模型。 3 1 1h a r r i s 检测算法 3 1 1 1h a r r i s 角点检测算法基本原理 h a l t i s 算子口7 】是c h a r r i s 和m j s t e p h e n s 于1 9 8 8 年提出的一种特征提取算法。h a r r i s 算子定义一个局部滑动窗口，将这个滑动窗口在图像中沿各方向移动，计算在每个像素 上作为小移动后的色彩灰度的变化，根据色彩灰度变化的强弱确定所经过像素点是否为 第三章基于点特征的图像匹配算法 角点。 判断结果一般存在于以下三种情况； ( 1 ) 滑动窗口覆盖的区域平坦，无边角，窗口在所有方向中滑动时灰度密度变化值 e 都很小。如图3 2 ( a ) 所示。 ( 2 ) 窗口位于一条边缘之上时，沿边沿滑动时，e 变化很小，垂直于边沿滑动时， e 变化很大。如图3 2 ( b ) 所示。 ( 3 ) 窗口覆盖一个角点时，沿各个方向滑动的灰度密度变化e 均很大。如图3 2 ( c ) 所示。 图3 2h a r r i s 角点检测算子原理 f i g 3 2p r i n c i p l e sf o rh a r r i sc o l l i e rd e t e c t o r 3 1 1 2h a r r i s 角点检测算法的数学模型 n a i t i $ 算子的数掌描述如f ： e ( u ，v ) = w ( x ，j ，) 【地+ ，j ，+ v ) 一，y ) 】2 ( 3 。1 ) i ( x + u ，y + v ) 表示密度变化后的灰度值， ，力表示密度变化之前的灰度值。它的 泰勒展开式可表示为： e ( u , v ) 兰k v 抛 ( 3 2 ) 其中m 可以用2 * 2 图像导数求得 肘= 瞄抽堋。瞄譬 s ， 其中l 、l y 分别为像素点沿x 、y 的导数。w 为过滤窗口函数。 l 、，两导数可用0 ，力临域内o + 1 ，y ) 、o ，j ，+ 1 ) 两像素点与( x ，y ) 的灰度差来表示， 如图3 3 所示： 1 8 第三章基于点特征的图像匹配算法 ( 1 ，一1 )( 0 ，1 )( 1 ，1 ) ( _ l ，0 ) ，( o h l 0 ) 、- 坤睁 i ( j 1 )( 0 1 1 )( b 卫)