（地图学与地理信息系统专业论文）基于计算机视觉的图像拼接技术研究.pdf

首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 摘要 图像拼接的目的是要将多幅来自同一场景的具有一定重叠区域的小尺寸图像合成为 一幅大尺寸，具有大视场角的图像，甚至是某一大型场景的全景图像，这一技术在虚拟现 实领域、医学图像处理领域、遥感技术领域和军事领域中均有广泛的应用。因此，也越来 越成为计算机视觉中的一个热点领域。 本文深入研究了传统的图像拼接技术的各种方法，对图像拼接技术中的关键步骤一图 像的配准作了重点的分析，总结了各种方法的优缺点。在此基础上构建了一种新的图像拼 接方法，该方法通过对摄像机的标定，建立图像坐标点与其世界坐标点之问的对应关系。 根据世界坐标点一致的原则，将相邻的具有重叠区域的图像的同名点联系起来，实现相邻 图像特征点之间的匹配，由此实现相邻图像的拼接。采用该方法，很好的避免了传统图像 拼接技术中普遍存在的计算量大，耗时长，并且容易发生误匹配等缺点。但是该方法十分 依赖摄像机标定的结果，标定结果的精确与否，直接关系到拼接的成败。因此，本文先对 摄像机标定技术作了深入而详细的研究，选取成熟可靠的方法进行实验，最后得到需要的 摄像机参数结果。实验结果验证了该方法的有效性与可靠性。 关键字：图像拼接，图像配准，摄像机模型，摄像机标定，同名点匹配 n 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 a b s t r a c t t h ep u r p o s eo fi m a g em o s a i c si st os y n t h e s i z es m a l l s i z e do v e r l a p p i n gr e g i o ni m a g e so f t h es a m es c e n ei n t oal a r g e - s i z ei m a g e ，w i t hl a r g ef i e l da n g l e ，e v e nap a n o r a m i ci m a g eo fs o m e l a r g es c e r l e t h et e c h n o l o g yo fi m a g em o s a i c sh a sb e e nw i d e l ya d a p t e di nt h ef i e l d so f v i r t u a l r e a l i t y , m e d i c a li m a g ep r o c e s s i n g ，r e m o t es e n s i n gt e c h n o l o g y , a n dm i l i t a r y , w h i c hi s a l s o b e c o m i n gar e s e a r c hf o c u so fc o m p u t e r v i s i o n t h i sp a p e r , o nt h ed e 印s t u d yo ft r a d i t i o n a la p p r o a c h e so fi m a g em o s a i c s ，e m p h a t i c a l l y e x a m i n e di m a g er e g i s t r a t i o n ，t h ek e ys t e po fi m a g em o s a i c s ，a n ds u m m e du pa d v a n t a g e sa n d d i s a d v a n t a g e so fi m a g er e g i s t r a t i o n sm e t h o d s o ns u c hab a s e ，an e wa p p r o a c ho fi m a g e m o s a i c si sc o n s t r u c t e d ，t h a ti st os a y , ac o r r e s p i n d i n gr e l a t i o no fc o o r d i n a t ep o i n t sb e t w e e n i m a g es p a c ea n do b j e c ts p a c ew i t hc a n l e r ac a l i b r a t i o n a c c o r d i n gt ot h ec o n s i s t e n c yp r i c i p l eo f o b j e c ts p a c ec o o r d i n a t ep o i n t s ，h o m o n y m yp o i n t so fa d j a c e n to v e r l a p p i n gr e g i o ni m a g e si s r e l a t e dt or e a l i z et h ef e a t u r em a t c h i n ga m o n ga d j a c e n ti m a g e sa n di m a g em o s a i c so fa d j a c e n t i m a g e s t h i sa p p r o a c hg r e a t l y a v o i d st h ec o m m o nd i s a d v a n t a g e so fl a r g ec a l c u l a t i o n , c o n s u m i n gt i m e ，a n dm i s t a k em a t c h i n g ；o nt h eo t h e rh a n d ，i td e p e a d so nt h er e s u l t so f c a m e r a c a l i b r a t i o n , w h o s ep r e c i s ed e g r e ed i r e c t l ya f f e c t si m a g em o s a i c s t h e r e f o r e ，t h i sp a p e rh a s s e l e c t e dm a t u r ea n dr e l i a b l em e t h o d st od od e e pa n dd e t a i l e dr e s e a r c ho nt h et e c h n o l o g yo f c a m e r ac a l i b r a t i o na n d f m a l l yg e tt h ec a m e r ap a r a m e t e r s t h er e s u l to f t h er e s e a r c hi sp r o v e dt o b ee f f e c t i v ea n dr e l i a b l e k e yw o r d s ：i m a g em o s a i c ，i m a g er e g i s t r a t i o n ，c a m e r am o d e l ，c a m e r ac a l i b r a t i o n ， c o r r e s p o n d i n gp o i n t sm a t c h i n g 1 1 1 首都师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取 得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰 写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：刃匆毡 日期：俳厂月h 日 首都师范大学学位论文授权使用声明 本人完全了解首都师范大学有关保留、使用学位论文的规定，学校有权保留学位论文 并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学位论文用于非赢利 目的的少量复制并允许论文进入学校图书馆被查阅。有权将学位论文的内容编入有关数据 库进行检索。有权将学位论文的标题和摘要汇编出版。保密的学位论文在解桁后适用本规 定。 学位论文作者签名：。磊压日期：沪矿年工，月协日 首都师范大学硕士学位论文 基于计算机视觉的图像拼接技术研究 1 1 研究背景及意义 第一章绪论 虚拟现实( v i r t u a lr e a l i t y v r ) 技术是采用以计算机技术为核心生成逼真的视、听、触觉 一体化的特定范围的虚拟环境。用户借助必要的装备以自然的方式与虚拟环境中的对象进 行交互作用，相互影响，从而产生身临其境，等同现实环境的感受和体验。例如：城市的 真实风光，博物馆富丽堂皇的大厅，大型设备和设施( 如航空母舰、核电站等) 的内部及外 部情况。传统上，一个虚拟现实环境是采用基于几何模型的图形绘制来实现的，它是由各 类3 d 集合合成的。在虚拟环境中漫游，是通过实时绘铝i j 3 d 几何体实现的。事实上，利用我 们现有的图形技术很难做到将一些实体对象模拟的和现实世界完全一致，或者由于计算量 大而无法在实际中加以应用【1 1 。而图像拼接技术却能相对很好的解决这一问题，并且容易 实现。 所谓“图像拼接”( i m a g em o s a i c ) 就是将多幅来自同一场景的有重叠区域的小尺寸图像 合成为一幅大尺寸的高质量图像【2 1 。图像拼接技术具有广泛的应用领域，不仅可以实现大 视场图像、用于图像恢复( i m a g er e s t o r a t i o n ) 、计算机特效( c o m p u t e rg e n e r a t e ds p e c i a l e f f e c t s ) 、视频图像压缩和视频编辑等，还可以为图像降噪、视场( f i e l do f v i e w ) 扩展、运动 物体去除、模糊消除( b l u rr e m o v i n g ) 、空间解析度( s p a c i a lr e s o l u t i o n ) f l 勺提高利动态方位 ( d y n a m i cr a n g e ) 增强提供可能性。虽然如今的摄影技术和设备都在不断的进步与发展，但 是想要获得大视场图像，单纯的依靠摄影技术和设备是很难实现的，或者是因为高昂的成 本限制。但在实际的科研和工程中，经常会用到超过人眼视角的高分辨率图像，而普通相 机的视角往往不能满足需要。由于距离的限制，某些超大尺寸的物体无法用一张照片拍摄 下来，这在航空航天照片的拍摄中显得尤为突出。利用广角镜头和扫描式相木d l ( p u s h b r o o m c a m e r a ) 可部分解决视角不足这一问题，但这些设备都有价格昂贵和使用复杂等缺点。另外， 在一幅低分辨率的图像中得到超宽视角会损失景物中物体的分辨率，而且广角镜头的图像 边缘会难以避免的产生扭曲变形。另一种方法是使用目前的许多图像处理工具如p h o t o s h o p 等，但这种手动拼接方法不仅拼接效果不够理想，如无法消除序列间光照差异以及图像间 拼缝，而且对于多幅图像的拼接，工作量大且重复运作繁琐。自动建立大型、高分辨率的 图像m o s a i c s 技术一直是摄影测量学、计算机视觉、图像处理和计算机图形学的活跃研究领 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 域。在计算机视觉领域中，图像拼接是近来的研究趋势，是可视景物表示研究的一部分。 完整的可视景物表示还包括深度或视差信息的恢复在计算机图形学中，图像拼接在基j ：图 像绘制领域中发挥重要作用，它的目标是由一组实际图像( 或预先绘制的图像) 迅速绘制具 有照片真实感的新视图。在虚拟现实领域中，越来越多的实际应用是基于图像的。以宽视 角的图像或3 6 0 度全景图像来虚拟实际场景，通过对这一静止图像进行连续插值而实现对 场景的交互式连续浏览。用这一方法代替视频图像序列可大人降低数据量，为数据的传输 和保存都带来巨大便利。这些领域中所需要的特殊图像便依赖于图像的拼接技术来获得。 图像拼接技术通过将一组具有部分重盈的图像或视频图像进行无缝拼接而得到超宽视角 的图像。这一类技术的出现使采集图像的设备更普通化，利用普通的摄像机和数码照相机 即可得到满足要求的图像。近年来的发展趋势是利用廉价的p c 机来自动生成大幅无缝的高 清晰图像。因此，研究并提出一种精确而快速的图像拼接算法具有十分重要的现实意义。 1 2 国内外研究现状 传统的图像拼接技术可分为平面拼接、柱面拼接和球面拼接。 1 2 1 平面拼接 国外具有代表性的是基于运动的全景图像拼接模型【3 1 。1 9 9 6 年，美国微软研究院的 r i c h a r ds z e l i s k i 教授提出了一种基于运动的全景图像拼接模型，采用l e v e n b e r g m a r q u a r d t 迭代非线性最小化方法( 简称l m 算法) ，通过求出图像问的几何变换关系来进行图像配 准，由于此方法效果较好，收敛速度快，且可处理具有平移，旋转，仿射等多种变换的待 拼接图像，因此也成为图像拼接领域的经典算法，而r i c h a r ds z e l i s k i 也因此成为图像拼接 领域的奠基人。2 0 0 0 年，s h m u l ep e l e g ，b e n n yr o u s s o ，a l e xr a v a c h a 和a s s a f z o m e t 在r i c h a r d s z e l i s l d 的基础上做了进一步的改进，提出了自适应的图像拼接模型【4 】，它是根据相机的不 同运动，白适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。这 一研究成果无疑推动了图像拼接技术的进一步发展，自适应问题也从此成为图像拼接领域 研究的新热点【5 】。 在国内，国防科技大学的孙立峰、张茂车等人构建了基于全景图的虚拟现实系统【6 1 。 首都师范大学硕士学位论文 基于计算机视觉的罔像拼接技术研究 目前，这样的系统已在国内的多家公司得到成功的商业应用【2 】。浙江大学c a d & c g 国家重 点实验室和中国科学院自动化所模式识别国家重点实验室利用模板匹配的方法进行搜索 来确定重叠区边界或最佳匹配位，从而获得拼接图像 9 j o 。该方法的优点是原理比较直观， 相对来说容易实现，缺点是计算量大，容易发生误匹配。浙江大学的许霄、张恒义等利用 基于傅立叶变换的相位相关法对眼底图像的拼接进行了研究。赵向阳，杜立民在2 0 0 4 年提 出了一种基于特征点匹配的图像自动拼接算、法【7 1 ，其中使用- f h a r r i s 算法【8 1 提取角点并进行 匹配。赵的算法采用了鲁棒变换估计技术，在一定程度上提高配准算法的稳健性，但是计 算速度比较较慢。香港大学的p a u lb a o 和西北工业大学的张素等则对基j 二小波变换的图像 拼接方法进行了研究 1 1 , 1 2 l 。基于傅立叶变换和小波变换的方法有匹配准确率高和拼接效果 好等优点，但是也有计算量大和受噪声干扰影响大的缺点。 1 2 2 柱面拼接 柱面拼接是指将采集到的图像数据重投影到一个以相机焦距为半径的柱面，在柱面上 进行全景图的拼接。虽然柱面拼接方式在垂直方向的转动有限制，只能存一个很小的角度 范围内。但是柱面拼接有其独特的优点：圆柱面可以展开成，一个矩形平面，所以可以把圆 柱全景图展开成一个矩形图，像素点在柱面上可以按行列均匀排列；可以直接利用其在计 算机内的图像格式进行存取。 柱面全景应用的一个经典例子就是美国苹果计算机公( a p p l ec o m p a n y ) 的商业软件 q u i c k t i m e v r 。它在场景中一些关键位置点生成柱面全景图，在每一个关键点，可以实现 视线方向的连续变化，通过关键点间的跳转来实现场景的漫游。国防科技大学的张茂军等 成功开发了一个h v s 系统，这是一个基于柱面模型的虚拟现实系统，用户可在其中进行前 进、后退、仰视、俯视、3 6 0 度环视、近视、远视等漫游操作。 1 2 3 球面拼接 s e v k e tg u m u s t e k i n 博士主要对消除在固定点旋转摄像机拍摄自然景物时形成的透视 变形和将捕获的图像拼接为全景图进行了研究。其主要的研究成果是通过标定摄像机来建 立成像模型，再利用成像模型将捕获到的图像投影到统一的高斯球面上，从而获得拼接图 首都师范大学硕上学位论文 基于计算机视觉的图像拼接技术研究 像。用这种基于投影模型的方法来完成图像拼接，拼接的效果好，可靠性高。但是该方法 要求对摄像机进行精确的标定，同时要求摄像机透镜本身的畸变参数引起的图像变形可以 忽略不计。 1 3 本文的研究内容和创新点 本义研究的内容是基于车载面阵c c d j ：f l 机在车的行进过程中所获得的，系列图像序列 的拼接，在实验过程中采用相机沿固定直线平移的方式米模拟这一过程。 传统的图像拼接一般都是基于两幅图像之间的特征点、特征线或是特征区域的图像配 准技术。但无论是基于哪种方式的配准技术，都存在着计算量大，耗时太久，容易发牛误 匹配的缺点。虽然对这类图像配准技术的研究在不断深入，不断发展，但直到现在也没有 一种高效的算法能完全避免卜述问题。对此，本文设计了一种基于坐标点匹配的图像拼接 方法，通过对摄相机参数的标定，建立起景物三维举标点与图像上相应点的转换关系模型。 通过与景物的物方坐标点的匹配米实现相邻两幅图像上对应点的配准融合，这样的匹配避 免了大景的计算，不但精确，而且很直观，不会发生误匹配现象。 论文共分六章，主要思路和研究内容如下： 第一章为绪论部分，介绍了本文的研究背景及意义，并详细介绍和分析了国内外在图 像拼接方面的理论研究现状。 第二章对传统的图像拼接技术做了深入的研究分析。对图像拼接流程中最重要的一个 环节一图像的配准，做了严格的分类和阐述，并从原理上分析了各类配准技术的特点，并 _ 月指出了各种配准方法中产生的问题。 第三章介绍了图像变换模型。建立了图像坐标系、图像平面坐标系、摄像机坐标系和 世界坐标系之间在不同的摄像机模型( 线性和非线性) 下转换模型。为下一章相机的标定 作理论准备。 第四章对摄像机标定原理作阐述，并针对线性情况下的理想标定和引入径向畸变后的 各类标定方法进行了深入的研究。 第五章首先为了获取最佳图像质量，对摄像机进行了测光实验，以期获得最佳曝光最。 在此基础上利用上一章摄相机标定的原理，得到所用摄像机的标定参数结果。然后对目标 图像作对应点的匹配，再根据对应点匹配将相邻具有一定重叠度的图像拼接融合起来，得 到最终拼接图像。 4 首都师范大学硕士学位论文 基于计算机视觉的图像拼接技术研究 第六章对全文研究工作进行总结，并给出了本文工作可持续研究的内容和方向。 1 4 本章小结 本章主要分析本课题的研究背景及其意义，对图像拼接的现状做了简单的介绍，阐述 了几种图像拼接技术各自的特点。 在本章的最后还指出了本论文的主要研究内容及其结构组织。 5 首都师范大学硕上学位论文基于计算机视觉的图像拼接技术研究 第二章传统图像拼接技术 所谓“图像拼接”( i m a g em o s a i ) 就是将两幅或多幅来自同一场景的有重叠区域的小尺 寸图像合成为一幅大尺寸的高质量图像。 2 1 图像拼接技术概述 图像拼接一般是一个多步骤的过程。总的来说，大概可分成有用信息提取、信息匹配、 效果评估、图像融合和生成目标图像等步骤。由于采用的方法各异，不l 司的算法之只j 步骤 也会有很大不同，但它们的大致过程是相同的。 下面用一张图来说明图像拼接的大体过程，下面是图像拼接的流程图。对于某些算法， 它们用到了迭代或循环的方法，对得到的结果进行多次评估，在达不到满意的效果时，就 重新进行信息的匹配。如下图中的虚线所示： 图2 。i 传统图像拼接流程 图像拼接技术主要包括两个关键技术环节，即图像配准和图像融合。对于图像融合部 分，由于其耗时不太大，且现有的几种主要方法效果也差不多，所以总体上来说算法比较 成熟。因此图像配准部分也就成了整个图像拼接技术的核心部分，直接关系到图像拼接算 6 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 法的成功率和运行速度，所以配准算法的研究是多年来研究的重点。 2 2 图像配准技术的分类 现有配准算法一般都是在r i c h a r ds z e l i s k i 基于最小像素亮度差优化的方法基础上建 立起来的。假设图像中的点( ，甄) ，其在图像厶中的对应点为( 乇，y ：，) ，设e 为两幅图 像对应点像素的亮度差，可用式( 2 1 ) 表示： e = 【( 而，虼。) 一厶( j c 2 ，y 2 ，) 】2 = 孑 ( 2 1 ) f f 由式( 2 1 ) 可知，和l 中对应点之间的关联关系是平面透视变换矩阵。s z e l i s k i 使 用了高斯金字塔和l e v e n b e r g m a r q u a r d t 迭代非线性最小化方法( 简称l m 算法) 将式 ( 2 1 ) 最小化处理就可以得到矗，这8 个参数。该方法的本质是使用非线性优化方法 对一个全局能量代价函数进行优化处理，其优化目标是全部像素。该方法的优点是不需要 提取特征点，且配准精度较高。但其缺点也是致命的，比如优化算法收敛速度较慢，通常 需要有良好的初始值并经过多次迭代才能得到一个趋于稳定的解，在很多时候还而临陷入 局部极值的危险。s z c l i s k i 建议通过手工选取一系列匹配点来确定初始值的，这就更加加 重了算法的整体时间开销。另外该算法无法处理遮挡、几何形变、较多的运动物体等等复 杂情况。 国内赵向阳算法属于基于点匹配的图像配准方法。这种方法的典型思路为提取特征点 通过特征点邻域的灰度互相关进行匹配利用图像之间的几何限制拒绝错误匹配使用最小 二乘法估算变换模型参数。赵的算法在一定程度上提高了以往配准算法的稳健性，但其仅 针对于重叠区域较大、易产生较多角点的静止建筑物图像做了研究，其算法整体速度一般， 而且在处理重叠区域较小、含运动物体、含重复性纹理的图像配准时往往会欠败。同时赵 的算法提取出的匹配角点数目不多，配准精度也不是很理想。 简单来说，图像配准就是将同一场景的不同图像“对齐”。对同一场景使用相同或不 同的成像设备，在不同条件下如天气、光照、摄像位置和角度等所获取的两个或多个图像 之问在分辨率、灰度属性、位置平移和旋转、比例尺、非线性变形等方面一般说会有所差 异，为了实现这些图像的拼接，就需要消除这些图像之间的差异，即进行图像配准。 假设在待配准的两幅有重叠部分的图像中，幅作为参考图像，另幅作为目标图像， 7 首都师范大学硕士学位论文 基于计算机视觉的图像拼接技术研究 则目标图像相对于参考图像的配准可以定义为两幅图像在空问和亮度上的映射。设两幅图 像定义为两个二维数组，分别用1 , i x ，y ) 和1 2 1 x ，j ，) 表示，它们分别是两幅图像的亮度值或 其他度量值，则两幅图像间的映射可表示为： 厶( 工，y ) = g ( i i ( f ( x ，y ) ) ( 2 2 ) 其中厂为二维空间坐标变换，如投影变换，g 为一维亮度变换。厂可以用一变换模型m ( 式 2 8 中的投影变换矩阵) 表示，通过肘将h 标图像变换到参考图像的坐标系中，如图2 2 所示。这样在同一坐标系下参考图像与变换后的新的目标图像就可以配准了。因此图像配 准问题就转化为求解这些变换参数的问题，其中变换矩阵膨为变换模型矩阵。 图2 2 图像配准示意图 目前的图像配准技术从大体上可以分为两类：基于频域的方法( 相位相关法) 和基于 时域的方法。 2 2 1 频域配准 频域配准又叫相位相关法，最早是由k u g l i n 和h i n e s 在1 9 7 5 年提出的，并且证明在 纯_ 维平移的情形下，拼接精度可以达到1 个像素，多用于航空照片和卫星遥感图像的配 准等领域。该方法对拼接的图像进行快速傅立叶变换，将两幅待配准图像变换到频域，然 后通过它们的互功率谱直接计算出两幅图像问的平移矢量，从而实现图像的配准，但通常 要求配准图像之间有5 0 的重叠比例。 若待拼接的两幅图像分别为z 和五，两幅图像之问重叠区域不存在任何旋转错位，只 有纯粹的平移，假设平移量为t = ( x o ，y 。) 7 ，即 六( x ，y ) z ( 工一x o ，y y o ) ( 2 3 ) 二维图像“力的傅立叶变换定义为： 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 f ( ”，= f m ，y ) e x ：p - j ( u x + v y ) d x d y 根据傅立叶变换的平移性质： 如果：f l ( x , 力= a ( x + a ，y + b ) 则有：e ( “，v ) = e x p 一j ( a u + 枷) 】最( ”，v ) 此时，图像z 和以饷互相关函数为： c ( z ， ) = z ( 五y ) 幸五( _ 叫) ( 2 4 ) 对式( 2 4 ) 两边做傅：妒叶变换并归一化，得 c c m ，2 篇 的 由式( 2 。3 ) ，再根据傅立叶变换的平移性质，可将式( 2 。5 ) 简化为： c ( z ，厶) = e x p ( - j 2 z ( u x o + 秒o ) ) ( 2 6 ) 再对c ( ，厶) 做傅立叶反变换得相位相关函数： c ( 石，厶) = 8 ( x - x o ，y y o ) ( 2 7 ) 由此可见，该函数只在( 粕，y 。) 7 处不为o ，其余位置均为o 。在实际应用中由于噪声等的影响会 出现多个不为0 的点，取峰值最高的位置即为所求平移位置。 由于其具有简单而精确的特点，后来成为最有前途的图像配准算法之一。但是相位相 关方法一般需要比较大的重叠比例，如果重叠比例较小，则容易造成平移矢量的错误估计， 从而较难实现图像的配准。 在理想情况下，当两幅图像完全相似时，其峰值只有一个。但在实际中，由于两幅图 像不是完全相似，因此万函数的能量向四周扩散，形成若干峰尖，从而导致存在多个和最 大峰值比较接近的峰值，难于确定图像问平移的正确解，简单的把最大峰值处对应值作为 相邻图像问的平移量，很多时候得不到正确的结果。 2 2 2 时域配准 2 一d 几何变换： 9 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 妻 = 三；兰乏： i 其中m = 三；三，：m ，2 j ：i t = 墨三罩 飞c s o t ：s p o - c 茗s i n 口o ； i c2 8 ) 2 基于区域的方法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索 与此模板最相似的匹配块，这种算法精度较高，但计算量过大。 假设待拼接的两幅图像分别为石和 ，其中五相对石旋转了口角，所以有： 五( x , y ) = f , ( x c o s o + y s i n o j r o ，一x s i n o + y c o s o y o ) 两边取傅立叶变换有： 五( “，力= e x p 一j 2 r c ( u x o + v y o ) 弼( u c o s o + v s i n o ，一us i n o + v c o s o ) 可见两幅图像之间只相差一个口角的位移。所以可以在图像z 中选取一块区域作为模板， 应用三步搜索法或十字搜索法在 中寻找对应块，按对应点之间的关系求得目的值吼 2 3 典型的配准方法 目前，比较典型的配准方法有模板匹配法、基于图像灰度的配准法、基于图像特征的 方法、变换域方法、参数投影变换配准法等，下面对一些主要的方法作简单的介绍。 1 0 首都师范大学硕士学位论文 基于计算机视觉的图像拼接技术研究 2 3 1 模板匹配法 基于模板匹配的方法是一种最常用的图像匹配算法。在模板匹配中用于匹配的两个表 达都是图像。对图像的匹配可以是整幅图像和整幅图像问的匹配，也可以是图像问的子图 像和子图像问的匹配。由于不同图像中的景物相对位置不变，因此可以由局部对应关系确 定全局对应关系。如果在一幅图像可能重合的区域中，选取一个区域作为模板，然后在另 一幅图像中寻找与模板最相似的图像区域，即找到一种局部对应关系，这样就可以通过模 板匹配技术来完成两幅图像重合区域的对齐。图2 3 给出了模板匹配示意图，匹配中的主 要工作是将模板在图上平移并计算相关，相关值最大处即为匹配最好处。考虑一个尺寸为 k j 的模板h ( x ，y ) 与一个m 的匹配位置，显然有k m ，n 。在最简单的情况下， f ( x ，y ) 与h ( x ，y ) 之间的互相关函数为： c ( s ，f ) = f ( x ，y ) h ( x - s ) ( y - t ) ( 2 9 ) ， y 其中s = 0 ，1 ，2 ，m - 1 ；t = 0 ，l ，2 ，n - 1 。式( 2 9 ) 中的求和是对厂( 工，y ) 和h ( x ，y ) 相重叠 的图像区域进行的。对任何在厂( 石，力中给定的位置( s ，t ) ，由( 2 9 ) 式可以计算得到c ( s ，f ) 的值。c ( s ，t ) 最大值时即h ( x ，y ) 在图像f ( x ，y ) 中找到最佳匹配位置。 n m 图2 , 3 模板匹配示意图 从图像拼接的结果表明，该方法简单易行，而且定位较准确，拼接效果好，在其上还 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 可以实现对图像拼接的自动批处理从而可以节省人力。但这种方法也存在缺点，那就是匹 配滤波技术不能完全准确定位，只能基本准确( 受噪声及拍摄角度偏芹的影响) 。 2 3 2 基于图像灰度的方法 基于图像灰度的配准方法也叫直接法，是人们一直从事研究的方向之一，在这类方法 中，首先直接利用整幅图像的灰度信息，根据对应关系模型将每个像素点变换成对应点， 并且定义一个描述两个图像重叠区域相似性代价函数，然后采用某种搜索方法，寻找使相 似性代价函数值最大或最小的变换模型的参数值。一般采片j 灰度差的平方和函数s s d ( s u n o f s q u a r e d d i f f e r e n c e ) 式( 2 1 ) 作为重叠区域内相似性代价函数： e = 【( x ：，y 2 ，) - 1 2 ( x 甜，y 2 ，) 】2 = 孑 ，f 式e e l , t x 2 ，y 2 ，) 和厶( 屯，y 2 ，) 分别表示两幅图像重叠区域中对应像素的灰度值，e 表示对应 像素的灰度差异。 基于图像灰度的方法不需要提取图像相应的特征，所以能提高估计的精度和鲁棒性。 在这里，代价函数的选择比较蕈要。由于代价函数要用到图像的灰度信息，冈此一般要求 两幅图像之间的灰度变化不要人大如光照条件等，否则使用s s d 代价函数将造成很大的 误差。基于图像灰度配准的方法不需要对图像做特征提取，而是直接利用伞部可用的图像 灰度信息，冈此能提高估计的精度和鲁棒性。但由于在基于图像灰度的算法中，把匹配点 周围区域的点的灰度都考虑进来进行计算，因此其计算量很大，速度较慢。 2 3 3 基于图像特征的配准方法 基- j ：图像特征配准的拼接技术足另一研究热点。基于图像特征的方法，首先要对待配 准的两幅图像进行处理，提取满足特定应用要求的特征集，然后将这两组特征集进行匹配 对应，生成一组对应特征对集，最后利用这组特征对之问的对应关系估计出全局变换参数。 基于图像特征的方法，在特征提取后得到的特征点的数= 晕= 将会大大减少，因此可以提高配 准的速度，但其配准的效果很人程度上还取决于特征点的提取精度以及特征点匹配的准确 度。 基- j ：图像特征配准的方法主要困难在j ：如何提取和选择鲁棒的特征，以及如何对特征 1 2 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 进行匹配，其中要克服由于图像噪声和场景中出现遮挡现象所引起的误匹配的问题。常用 的图像匹配特征有点、直线、曲线等。目前大多数文献都是采用点特征进行图像之间的配 准，从而实现图像的拼接。基于图像特征配准的方法的主要优点是它提取了图像的显著特 征，大大压缩了图像的信息量，使得计算量小，速度较快，而且它对图像灰度的变化具有 鲁棒性。但另一方面，正是由于只有一小部分的图像灰度信息被使用了，所以这种方法对 特征提取和特征匹配的错误更敏感，需要可靠的特征提取和鲁棒的特征一致性。 2 3 4 变换域方法 即为前面介绍的频域配准法。 2 4 图像融合 在获得待配准图像之间的空间变换关系之后，为了得到合成图像，就需要选择合适的 图像融合策略，米完成图像的拼接。图像融合是数据融合的一种，它是指利用计算机图像 处理技术对不同条件下获得的图像信息在一定准则下加以自动分析、综合，以完成所需的 决策和估计任务而进行的信息处理过程。选择融合策略应当满足两方面的要求拼合边界过 渡应平滑，消除拼合接缝实现j 无缝拼接尽量保证不凼拼合处理而损失原始图像的信息。用 来拼接的原始图像，由于拍摄时光照、视野、地点的差异，重叠区域可能在两幅图像中有 较大的差别。女l l 果直接对这样的图像进行简单的叠加拼合，得到的拼接图在拼接位置上会 存在明显的接缝以及重叠区域的模糊和失真现象。因此，图像的无缝拼接以及图像的平滑 过渡技术是图像拼接技术的又一关键技术。目前主要有以下几种融合技术： ( 1 ) 直接平均融合法 这种方法将配准后图像之问的重叠区域对应像素点的灰度值直接进行叠加再求平均， 相当于对图像进行了低通滤波，最终的拼接图像中会存在较为明显的拼接痕迹。如式 ( 2 1 0 ) 中，z 和五分别代表待拼接的两幅图像，代表融合后的图像，厂代表融合后的图 像。 首都师范大学硕上学位论文 基于计算机视觉的图像拼接技术研究 几川十k 强川m o ，y ) 石 ( x , y ) 石n 五 ( 2 1 0 ) x ，y ) 五 对于多幅图像的融合具有同样的原理，此时重叠区域表示为：厂( 力= 丢军z ( 五力，这 里( 工，y ) ( 石n 石n n z ) 。 ( 2 ) 加权半均融合法 加权平均融合法类似j ：直接平均法，但重叠区域的像素值不冉足简单的替加，而是先 进行加权后再叠加半均。如式( 2 1 1 ) ，这里 和如分别是第一幅图像和第二副图像中重 叠区域对应像素的权值，并且满足扛+ 吃= l ，0 j i j l ，j i j 2 1 。适当的选择权值，可以使得 重叠区域实现半滑过渡，同时消除拼接痕迹。 f 石( j c ，y )( x ，y ) 石 f ( x ，y ) = ( ( x ，y ) 石( y ) + 如( x ，y ) a ( x ，y ) ) 2 ( 五y ) z n 正 ( 2 1 1 ) 【正( 力( y ) 正 在权值的选取卜一股有两种方法： a 帽子函数加权平均法 这种h 法对于图像的中心区域的像素赋予较高的权值，图像边缘区域的像素的权值较 低，权值函数采用帽子函数： h i ( x , y ) = ( 1 - 1 i , 心一刚， 眨 其中w 和囊表示第i 个图像的宽和高r 帽子函数j i i ( 力如图2 4 所示。 h ( x ) 图2 4 帽子函数示意图 1 4 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 为了满足红= 1 ，需要对式( 2 1 2 ) 进行修正，即归一化，修正后的像素权值为： 啪，2 揣 旺 即也就是多幅图像融合时，重叠区域可表示为：f ( x ，y ) = 砖( 工，y ) z ( x ，y ) ，这里 ( x ，j ，) ( 石n 正n n ) 。 b 渐入渐出法 这种方法是由s z e l i s k i 提出的，假如彳，五是两幅待拼接的图像，将图像彳和五在窄问 叠加，则融合后的图像像素可表示为： f 彳( 五y )( x , y ) 彳 f ( x ，y ) = d l 石( z ，y ) + d 2 l ( x ，y ) ( x ，y ) 石n 正 ( 2 1 4 ) 【厶( x ，y )( x ，y ) 五 1 式中，d 。，d ：表示权重值，它t f - - 般与重叠区域的宽度有关，即一般取z = 二，其中1 4 表 w 示重叠区域的宽度，且4 + 破= 1 ，o 盔，破 1 1 时，可以用最小二乘法得到上述方程的解： m = ( k 7 k ) 一k 7 u ( 4 6 ) 向量m 与，= 1 构成了所求解的矩阵m 。由上可见，从空间6 个以上己知点与它们的图 像点坐标，便可以构成1 2 个线性方程，由此可求出矩阵m 。矩阵膨是南4 个内部参数 承l6 个外部参数构成，冈此膨是由1 0 个独立变量构成。但是m 矩阵为3 4 矩阵，有1 2 个参数，由于在求解m 的过程中指定为一非零常数，这样矩阵m 就有1 1 个参数，所 以这1 1 个参数并非相互独立，而是存在一定的制约关系。下面将详细讨论这种制约关系： 式( 3 5 ) 可以写成： 呶矧= u o ； t x 最t ， t ： 01 ( 4 7 ) 其r f l 矿为旋转矩阵r 的第f 行，f ，t - 为平移向量f 的三个分量。 鸭 蓦霉： = 乏毒苌享誊乏三篆 c 4 8 ， l l ( 砰绣碍) 7 1 1 2 = + 衫+ m 2 一+ v 0 2 + 1 ( 4 9 ) 令0 五0 2 = 0 ( ，才，) r i | 2 ，显然五与坐标变换矩阵无关，只与摄像机内部参数有关， x 2 = ( 码4 鸭。广。由式( 4 4 ) 得到； 首都师范大学硕士学位论文基于计算机视觉的图像拼接技术研究 根据最小二乘法准则知道，要求解满足约束条件的矩阵m ，即在i i x 。1 1 2 = c 的条件下， , , ml l a x , + 1 1 2 取最小值时的五，五。 令 即 由( 4 1 4 ) 式得到： h - - i i b x , + | i + 圳五0 2 一c ) h = ( b x i + 户) r ( b x i + 户) + 名( 0 五0 2 一c ) = x ：b t b x i + x ：p 。p x 2 + x ：p r b x i + 狄x ；x 9 - c ) ( 4 1 1 ) ( 4 1 2 ) ( 4 1 3 ) 瓦o h = 2 尸7 + 2 ，瓯 ( 4 1 4 ) 嚣- 2 矿b x i + 2 矿栩五_ o t = - ( p r 尸) 一p 7 b x l ( 曰7 b - b 7 p ( p 7 d - 1p 7 曰) 五= 2 x t ( 4 1 5 ) ( 4 1 6 ) 设d = ( b r b b r 以，d 一尸r 曰) ，显然五为矩阵d 的特征值旯所对应得特征向量，然而特 征值存在多个，所以需要进一步确定采用哪一个特征值。 把l l n x 。+ p x ：u 2 展开，并代入五= 1 p 7 尸) 一1 ，q ，可以得到 0 甄+ 瓯1 1 2 = 2 c ( 4 1 7 ) 要f 吏- i l a x 。+ q 疋0 2 最小，以满足最小二乘条件，应取a 为矩阵d 的最小的那个特征值，则x 。 为对应的那个特征向量，并由( 4 1 5 ) 式可以得到置。这样就求出了满足约束条件的膨矩 阵。 当求出m 矩阵后，可以由( 3 5 ) 式结算出摄像机的全部内外参数。将膨分解后得到： u o2 m 五m i ，t 3 2r 1 o2 呜朋i ，码 r z = 商i m 。x m 3 f ( 4 1 8 ) ( 4 1 9 ) ( 4 2 0 ) 首都师范大学硕上学位沦文基于计算机视觉的陶像拼接技术研究 ，= = 呶2i 研2x m 3 l ，i = m 3 4 ( 强一u 0 m 3 ) 无 量= m 3 4 ( 铂一u o m 3 ) 工 2 打1 3 4 ，鸭 ，= ，k ( 4 一“o ) i f r ，= m 3 4 ( m 2 4 一v o ) l f ：2 聊m 其中r 为旋转矩阵r 的第i 行，f t t 一为平移向量f 的三个分量。 这种传统的相机标定方法需要，丹一个结构已知、精度很高的标定物或控制场作为空间 参照物，通过空问点和影像点之f h j 的对应关系来建立相机内参数的约束，然后通过优化算 法来求取这些参数。传统标定方法的优点在于可以扶得较高的精度，但是，实际应 j 巾的 很多情况无法使用标定物，而且建造这样，一个高精度的标定场也是比较昂贵的。所以，当 应用场合所要求的度量精度很高且桤机内参数不经常变化时，传统标定方法应为首选。 4 3 相机内参数的标定方法 相机标定的目的是为了从二维的影像信息得到三维空间信息，所以需要找到像元与被 摄物体表面相应的点之间的数学关系，也就是需要确定决定这种数学关系的参数。这些参 数分为两类，一类是相机的内方位元素，即行主距、列主距z ，z ，像主点位置而，以 及镜头径向畸变参数、离散畸变、薄透镜畸变参数；另一类是相机的外方位元素，即摄影 中心存选定坐标系下的三个坐标值，以及代表影像空间姿态的三个角元素。利用前文所述 建立的高精度三维标定场作为空间参照物，通过上章中得到的标志点在影像上的图像平面 坐标及对麻的地面摄影测量坐标来建立模型，然后通过一些优化算法来求解这些参数。这 里参数的精度要求很高，采用如下方法来求取。 4 3 1 直接线性变换标定法( d l t ) 3 0 必 m 柳 拗 拼 币 t 龟 禾 牝 禾 ( ( ( ( ( ( ( 首都师范大学硕- 上学位论文基于计算机视觉的网像拼接技术研究 直接线性变换( d i r e c tl i n e a rt r a n s f o r m a t i o n - d l t ) 解法是建立像点坐标和相应物点物 方空间坐标之间直接的线性关系的算法。由于它不需要相机内外方位元素的初值，因此在 近景摄影测量中被广泛使用。直接线性变换方法是ab d e l - az