（计算机科学与技术专业论文）图像拼接技术研究(1).pdf

摘要 图像拼接作为基于图像绘制的一部分近年来成为研究的热点之一。本文对图像拼接 技术进行研究，取得的研究成果包括： ( 1 ) 新的基于特征的拼接方法该方法采用尺度不变特征检测提取和描述特征、优 先搜索查找每个特征的近似最近邻、r a n s a c 算法求解对应矩阵和捆绑调楚算法消除 多幅图像拼接时的配准误差累积。本文给出基于中值流滤波器的改进的r a n s a c 算法， 保证了对应矩阵计算结果具有较高的精确性和稳定性。同时，本文设计出基于特征匹配 对距离最小化的捆绑调整算法。 ( 2 ) 改迸的基于动态规划的拼接方法该方法在相位校正的基础上将动态规划和多 分辨率拼接相结合实现拼接，动态规划用于搜索最佳缝合线以去除鬼影，多分辨率拼接 用于曝光差异的处理。为了提高缝合线的搜索效率本文设计出新梯度算子，以强调几 何结构上关系，并在此基础上给出简单高效的缝合线搜索准则。另外，本文还提冉层次 式多分辨率拼接技术实现平滑拼接。 ( 3 ) 新的基于圈切割的拼接方法该方法在相位校正的基础上将图切割和泊松融合 相结合实现拼接，图切割用于搜索全局最优的缝合线以去除鬼影，泊松融合用于曝光差 异的处理。本文给出新的基于梯度方向直方图统计的权值计算方法，实现稳定的图切割。 另外，本文还设计出重叠过渡的泊松融合方法，较好地完成图像合成。 ( 4 ) 大位移图像的流形拼接方法该方法首先将重叠区根据对应矩阵划分成多个切 片，然后将这些切片交互变换到一起，最后利用多分辨率拼接技术进行合成。本文设计 出自拷贝多分辨率拼接技术，通过对图像片段的预处理，生成平滑的重叠区，较好她实 现片段问的多分辨率拼接。该流形拼接方法较好地解决了曝光差异问题，也在一定程度 上解决了鬼影问题。 在上述算法研究基础上，本文实现了三个原型系统：e a s y p a n o r a m a ( 全景著作系统) 、 e a s y t o u r ( 基于图像的虚拟漫游系统) 和虚拟大昌( 大昌古镇数字化文化遗产保护系统) 。 e a s y p a n o r a m a 基于本文提出的基于动态规划的拼接方法，实现源图像录入到全景图出 版的整个过程。e a s y t o u r 将全景图和单幅图像漫游相结合，实现大场景漫游。虚拟大昌 是将全景图、单幅图像漫游和几何建模相结合的新尝试，借助多媒体手段，实现大吕古 镇的数字化文化遗产保护和展示。 关键词：全景摄影，基于图像的绘制，图像拼接，特征检测，r a n s a c ，捆绑调整，动 态规划，多分辨率拼接，图切割，泊松融合，流形拼接，单幅图像漫游 i i i a b s t r a c t i m a g em o s a i ci so n eo ft h eh o tt o p i c so fi m a g eb a s e dr e n d e r i n g ( i b r ) t h e s ey e a r s i nt h i s t h e s i s ，s o m ee f f o r t so ni ta r ep e r f o r m e da n d ，s p e c i f i c a l l y , t h ef o l l o w i n gi m p r o v e m e n t sa n d n e wm e t h o d sa r ep r e s e n t e d ： ( 1 ) an o v e lf e a t u r e - b a s e di m a g em o s a i cm e t h o d i nt h i sm e t h o d ，t h ef e a t u r e sa r ef i r s t e x t r a c t e da n dd e s c r i b e db ys c a l ei n v a r i a n tf e a t u r et r a n s f o r ma n dt h ea p p r o x i m a t e n e a r e s t n e i g h b o r so fe a c hf e a t u r ea r ef o u n do u tb yp r i o r i t ys e a r c h t h e nt h eh o m o g r a p h yi sc a l c u l a t e d b yr a n s a c ，a n df m a l l yab u n d l e - a d j u s t m e n ta l g o r i t h mi sa p p l i e dw h e nt h e ma r em o r et h a n t w os o u l c ei m a g e s a ni m p r o v e dr a n s a ca l g o r i t h mb a s e do nt h em o d i f i e dm e d i a nf l o w f i l t e ri sp r e s e n t e dt oi m p r o v et h es t a b i l i t ya n da c c u r a c yo f h o m o g r a p h yc a l c u l a t i o n ab u n d l e a d j u s t m e n ta l g o r i t h mb a s e do nt h em i n i m i z a t i o no ft h ed i s t a n c e so ff e a t u r em a t c h e si sa l s o i n t r o d u c e dt or e m o v et h ea c c u r n u l a t i o no fe r r o r s ( 2 ) a ni m p r o v e di m a g em o s a i cm e t h o db a s e do nd y n a m i cp r o g r a m m i n gt s m e t h o df i r s tc a l c u l a t e sp h a s ec o r r e l a t i o na n dt h e nr e a c h e si m a g em o s a i cb yd y n a m i c p r o g r a m m i n ga n dm u l i t r e s o l u t i o ns p l i n em o s a i c d y n a m i cp r o g r a m m i n gi su s e dt of i n dab e s t s e a m - l i n ef o rd e g h o s t i n gw h i l em u l t i r e s o l u t i o ns p l i n em o s a i ci su s e dt or e a l i z em o s a i c w i t h o u te x p o s u r ed i f f e r e n c e an e wg r a d i e n to p e r a t o re m p h a s i z i n gm o r et h eg e o m e t r y s i m i l a r i t yt h a nf o r m e ro p e r a t o r sa n das i m p l ea n de f f i c i e n ts e a r c hr u l eb a s e do nt h i so p e r a t o r a r e p r o p o s e d i no r d e rt of i n dar o b u s ts e a m - l i n ei nac o n v e n i e n tw a y h i e r a r c h i c a l m u l t i r e s o l u t i o ns p l i n em o s a i ci sa l s oi n t r o d u c e dt oi m p r o v et h ee f f i c i e n c yo fe x p o s u r e d i f f e r e n c er e m o v a l ( 3 ) an o v e li m a g em o s a i cm e t h o db a s e do i lg r a p hc u tt h i sm e t h o df i r s tc a l c u l a t e s p h a s ec o r r e l a t i o na n dt h e nr e a c h e si m a g em o s a i cb yg r a p hc u ta n dp o i s s o ni m a g ef u s i o n g r a p hc u ti su s e dt of i n dag l o b a l l yo p t i m i z e ds e a m l i n ef o rd e g h o s t i n gw h i l ep o i s s o ni m a g e f u s i o ni su s e dt or e a l i z es m o o t h m o s a i cw i t h o u te x p o s u r ed i f f e r e n c e an e ww e i g h t c a l c u l a t i o nm e t h o db a s e do nt h es t a t i s t i c so f g r a d i e n td i r e c t i o nh i s t o g r a mi sp r e s e n t e dh e r ei n o r d e rt or o b u s t l yr e a l i z eg r a p hc u t a ne d g et r a n s i t i o np o i s s o ni m a g ef u s i o nm e t h o di sa l s o p r o p o s e dt or e a c he x p o s u r ed i f f e r e n c er e m o v a l ( 4 ) m a n i f o l dm o s a i cf o rl a r g ed i s p l a c e m e n ti m a g e st h i sm e t h o df i r s tc u t st h e o v e r l a p p i n ga r e ai n t om u l t i p l es t r i p sa n dt h e nw a r p st h e mt o g e t h e ri n t e r l e a v i n g t y ，f i n a l l y t h e s ew a r p e ds t r i p sa l eb l e n d e dw i t hm u l t i r e s o l u t i o ns p l i n em o s a i cm e t h o d i no r d e rt o i m p r o v et h ee f f i c i e n c y o fm u l t i r e s o l u t i o n s p l i n em o s a i c ，am e t h o dc a l l e ds e l f - c o p ) r m u l t i r e s o l u t i o ns p l i n em o s a i ci s p r e s e n t e d i nt h i s t h e s i s e x p o s u r ed i f f e r e n c e sc a l l b e e l i m i n a t e da n dd e g h o s t i n gc a na l s ob ef u l f i l l e dt os o m ed e g r e ew i t ht h i sm a n i f o l dm o s a i c v m e t h o d b a s e do nt h em e t h o d sd e s c r i b e da b o v e ，a p p l i c a t i o n so ni m a g em o s a i ca r ea l s oe x p l o r e di n t h i sp a p e ra n ds e v e r a lp r o t o t y p es y s t e m sa r ei n 仃o d u c e d ：e a s y p a n o r a m a ，e a s y t o u ra n d v i r t u a ld a c h a n g e a s y p a n o r a m af u l f i l st h ew h o l ea u t h o r i n gp r o c e s so fp a n o r a m a ：f r o mt h e r e a d i n go fs o u r c ei m a g e st ot h ep u b l i s h i n go ft h ep a n o r a m a e a s y t o u ri n t e g r a t e sp a n o r a m a a n dt o u ri n t ot h ep i c t u r e ，a n ds u p p o r t sv i r t u a lt o u ro fl a r g ea r e a v i r t u a ld a c h a n gi n t e g r a t e s p a n o r a m a ，t o u ri n t ot h ep i c t u r ea n dg e o m e t r i c a lm o d e l i n g i tc a nf u l f i ld i g i t a lp r o t e c t i o na n d e x h i b i to f t h ec u l t u r eh e r i t a g eo fd a c h a n g k e y w o r d s ：p a n o r a m i cp h o t o g r a p h y , i m a g e b a s e dr e n d e r i n g ，i m a g em o s a i c ，f e a t u r ed e t e c t i o n ， r a n s a c ，b u n d l ea d j u s t m e n t , d y n a m i cp r o g r a m m i n g ，m u l t i r e s o l u t i o ns p l i n em o s a i c ，g r a p h c u t ，p o i s s o ni m a g ef u s i o n ，t o u ri n t ot h ep i c t u r e 第一章概述 全景摄影( p a n o r a m i cp h o t o g r a p h y ) 可以得到大视域照片但对于普通用户 全景摄像机的价格相对较高且不易使用。随着计算机技术的发展，在计算机图形 学领域，近年来从已有图像中绘制出新的图像的基于图像的绘制技术( i m a g e b a s e dr e n d e r i n g ，i b r ) 得到了深入的研究，其中的一个研究领域图像拼接技术 ( i m a g em o s a i c ) 是要解决如何将小视域的照片拼接成一张大视域照片的问题， 可以满足普通用户全景摄影的要求。本文对图像拼接进行研究。下面我们首先简 述一下全景摄影和基于图像的绘制技术，然后对图像拼接进行综述，最后讨论一 下本文的研究内容和结构安排。 1 1 全景摄影技术 十九世纪中叶，旋转镜头相机的出现实现了大幅面广角照片的拍摄，从而开 启摄影史上的新一页：全景摄影。全景摄影通常是指拍摄常规摄像机不能拍摄的 大视角照片的摄影技术。这种技术可以得到两种广角照片，一种是全景照片 ( p a n o r a m a ) ，即视域为3 6 0 6 的照片，另外就是比普通照片视域大的普通广角照 片。全景摄影可以用全景摄像机一次完成，也可以用普通数码相机辅以专用拼接 软件和工具完成。 全景摄像机可分为三类，一类是可拍摄宽幅底片的常规照相机，如勃朗尼卡 s q a i 。这种相机用普通胶片拍摄出大画幅的照片，但是这类相机对于非专业用 户来说使用起来非常不方便。第二类是可以装1 2 0 胶片进行全景拍摄的4 5 英 寸大画幅相机，其优点一是可以利用大型相机的多种调节功能；二是可以得到较 大尺寸的底片。但是这类相机体积大，调节比较复杂，熟悉使用的过程会比较长。 第三类是专用全景常规照相机，如富士6 1 7 广角相机，h o r i z o n2 0 2 旋转镜头相 机以及g l o b u s c o p e 旋转相机等，这类专业摄像机拍摄的照片更加符合人的透视 感，变形小。但是功能复杂，适合专业人员使用。 近年来，数码摄像机得到了普及，利用普通摄像机进行全景摄影越来越受到 大众的喜爱。普通数码摄像机全景摄影的方法是在手持或三角架辅助下拍摄一组 相互重叠的照片，然后将这些照片利用软件( 如q u i c k t i m ev r c h e n l 9 9 5 1 ) 拼 接成一张广角照片。 普通数码摄像机全景摄影得到的全景照片分为三类：柱面全景、球形全景和 对象全景。柱面全景拍到的是在场景中某。视点环视一圈3 6 0 。的景象，可以用 三角架拍摄，也可以不用此设备直接用手持摄像机进行拍摄。另外两种全景照片 图像拼接技术研究 则需要专用的设备。球形全景拍摄在某视点环视场景3 6 0 。3 6 0 。的情形，一般 要用到鱼眼镜头和云台，以协助完成拍摄。图1 1 显示这两个设备的例子，图1 2 给出利用这些设备拍得的图像拼接出的全景图。对象全景则是摄像机环视物体一 周后得到的图像序列，这时通常要制作一个可以旋转的平台，以便放置物体并对 其进行旋转拍摄。 图1 1 球形全景摄影的设备示例( 左：鱼眼镜头右：云台) 图1 2 球形全景引自f w w w c h i n a w n e t 全景摄像机可以一次制作出广角图，但价格偏高。采用普通摄像机进行全景 摄影时需要将多张不同视线方向的照片粘接到一起才可制作出广角图。如何进行 粘接正是图像拼接研究的内容。 1 2 基于图像的绘制技术 传统的计算机图形学是基于几何模型的图形学。要完成场景的绘制，用户除 了必须先构造出场景的几何模型，还要进行光照和表面属性等的建模。这样绘制 出来的场景其真实感与人眼感受到的现实世界仍有一定的差距，且场景越复杂建 模过程越繁琐。近年来基于图像的绘制技术成为计算机图形学的研究热点。i b r 融合计算机图形学、计算机视觉以及图像处理三者为一体，实现从照片直接绘制 场景，在很大程度上克服了基于几何的绘制技术真实感不足和建模复杂的缺点。 如图1 3 所示，根据依赖几何信息的多少，i b r 可以分成三类 s h u m 2 0 0 0 1 ：完全 不需要几何信息、间接使用几何信息和完全需要几何信息。 2 第一章概述 _ 一j i 伞小。h 蛰，l 化0 t 息 删披，i 霍l “0 。，。乏 ，甚蟠j l n f j i l 燃器嚣燃 批删8 赫燃 图1 3 基于图像绘制技术的分类引自【s h u m 2 0 0 0 】 完全需要几何的纹制必须给出深度信息或者三维坐标后才能完成。最早的是 纹理殃射技术，但由于简单地使用纹理很难表现细节，于是研究者提出3 d 变换 技术( 3 dw a r p i n g ) m c m i l l a n l 9 9 7 ，使得每个象素点都可以带上深度信息以表 示更多的表面细节。但是3 d 变换会产生空洞，分层深度图( 1 a y e r e d + d e p t hi m a g e s ， l d i ) 【s h a d e l 9 9 8 】以l d i 树 c h a n g 9 9 8 等包含不可见点深度信息的绘制方法较好 地解决了空洞问题。视点依赖的绘制和纹理【d e b e v e c l 9 9 6 】根据拍得的几个视点 的图像进行模型的交互式重构以及新视点的纹理合成，从而实现稀疏图像的三维 场景重建，图1 4 给出这样的一个示例。基于单幅图像的漫游技术( t o u r i n t o t h e p i c t u r e ，t i p ) h o r r y l 9 9 7 ) 则是利用简单的蜘蛛网络来建立场景的几何模型，从而 完成场景的纹理映射和虚拟漫游。 ( a ) 交互指定几何元素 ( b ) 重建的几何模型 ( c ) 图像中提取纹理( d ) 任意角度的绘制图像 图l - 4 视点依赖的绘制和纹理引1 1 1 d e b e v e c l 9 9 6 】 间接使用几何的绘锘4 技术中几何信息虽然需要，但不能直接得到，必须通过 图像间的位置约束关系求解出来。较早的间接使用几何的例子是视域插值技术 ( v i e w i n t e r p o l a t i o n ) c h e n l 9 9 3 】，利用两幅图像间稠密的光流信息，视域插值i u 以生成新视点的图像。s e i t z 和d y e r s e i t z l 9 9 6 1 提出利用插值计算两幅参考图像 光心连线上任意位置处新图像的视域变形技术( v i e wm o r p h i n g ) ，且如果有足够 多的参考图像，就可以重构出任意视点处的图像，图1 5 给出视域变形的个例 子。l a v e a u l 9 9 4 研究如何在交互指定四个图像控制点后，根据极线约束计算新 视点的图像。 图像拼接技术研究 图1 5 视域变形方法的绘制结果，最左和最右为原始图像，中闻为插值图像引自 【s e i t z l 9 9 6 】 无需几何信息的绘制通过对场景进行离散采样的方法实现全光函数 ( p l e n o p t i cf u n c i t i o n ) a d e l s o n l 9 9 1 的近似，从而实现场景的绘制。全光函数描 述t 时刻，空间中某一视点y 机，1 ，v ：) 在某一方向角妒) 上所能感受到波长为旯 的光的强度： 马= 尸扣，v ，v ：，8 妒，丑f j ( 1 1 ) 由于这个函数过于复杂，相继有一系列的降维算法，如4 d 光场函数( 1 i g h t f i e l d ) l e v o y l 9 9 6 ，图1 6 给出光场绘制的效果图。表1 1 列出式( 1 1 ) 演化出的一系 列函数。在这些简化函数中，全景图是最简单的形式：视点固定、波长不变和时 n d 不变，亦即式( 1 1 ) 演化为b = p 妒) 。全景图技术的核心就是图像拼接技 术，本文正是要对此展开研究。 图1 6 4 d 全光函数绘制结果引i 自 l e v o y l 9 9 6 1 表1 1 全光函数的降维处理 维数年份视图空间名称 71 9 9 l 自由全光函数 5 1 9 9 5 自由 全光建模( p l e n o p t i cm o d e l i n g ) m c m i l l a n l 9 9 5 41 9 9 6 包围盒 光场照明图( 1 u m i g r a p h ) g o r t l e r l 9 9 6 】 31 9 9 9 有界平面同心拼图( c o n c e n t r i cm o s a i c ) s h u m l 9 9 9 】 21 9 9 4 固定点 全景 s z e l i s k i l 9 9 7 最近，i b r 技术发展趋势是基于g p u 的加速绘制技术 c h e n 2 0 0 2 、逆向绘制 第一章概述 技术 y u l 9 9 8 和基于预计算的绘制技术【梅春晖2 0 0 4 等。基于预计算的绘制技术 迸一步演化为基于采集的绘制技术。 1 3 图像拼接技术概述 1 3 1 运动分析 1 3 1 1 二维平面模型 图像拼接的研究是基于这样的假设：相机固定在空间某一点，然后旋转一圈 进行拍摄，每次拍摄的焦距没有没化。这一假设可以看成没有遮挡关系变化的柱 面( 平面) 成像过程，因此可以用描述平面上物体运动关系的对应矩阵 ( h o m o g r a p h y ) 来表示。如果用奇次坐标表示图像上的象素点，那么一对匹配点 瓦) 7 和叉g ，y ，) 7 满足的对应矩阵h 为 i ，日i( 1 2 ) 其中表示左右两边成一定的比例关系， f 讲。掰，m l h = l 研，m 4m j ( 1 3 ) l 啪6 m 7m 8 j 根据约束的多少，日可以取不同的参数个数和形式，表1 2 给予总结 r s z e l i s k i 2 0 0 5 ，图1 7 通过一个正方形变换的例子说明欧氏、相似、仿射和投影 运动。h a r t l e y 等【h a r t l e y 2 0 0 0 讨论了对应矩阵的鲁棒求梓方法。 表1 2 平面运动关系 运动形式 日自由度特征保持 平移 口i f 】 ， 2 方向不变 欧氏 陋| 以， 3 长度不变 相似 s r l f 】五3 4 角度不变 仿射k l 。 6 平行性 投影 旧l 。， 8 直线性 f 一一1 j 一 ， f； 一一 l 仿州也按投影变搬 图1 7 平面运动关系示例 对于相邻的两幅拼接源图像，其运动关系可以用8 个自由度的投影运动来表 d 一 飞，、眦 口 阔像拼接技术研究 示。这样，由式( 1 2 ) 和式( 1 3 ) 可以得到如下等式 z ：m o x + r e l y + m 2 ，y ：m 3 x + m 4 y + m 5( 1 4 ) r l q 6 x + m 7 y + m 8m 6 x + m t y + m 8 l 口两幅拼接源图像问象素点的变换关系。图1 8 ( a ) 显示平面模型下的拼接过程， 可以看出最终得到的是一个拼接平面。 ( a ) 二维平面模型 ( b ) 三维旋转摸型 图1 8 图像拼接的运动分析 现考虑三维空间一点万= b 只五，) 在两幅源图像中成像过程。假设一个理想的 针孔摄像机，成像平面的坐标原点为图像中心点，那么p 到成像面的变换关系就 z 爿饱；= 巧 ( 1 5 ) 其中吾= b ，y ，) ，p 表示相机矩阵， 彳：ii 琴 ，e = 嘉： ，矿= li ；妻；l 爿矩阵中白和岛表示摄像机光轴在銎像上的交点坐标，e 矩阵中r 和f 分别表示 3 3 旋转矩阵和平移向量，y 矩阵中，表示焦距值。假设光轴与图像中心相交， 那么a 矩阵可以略去，这样就可以得到p = v 。e “甜。 对于相邻的图像，假设；在两幅图像的成像矩阵分别为弓和弓，在两幅图像 上像点分别为奇次坐标和x ，由式( i 5 ) 得到下面的等式： x i p l p ；x 0 = h o x o t 、6 ： 此时的j o 是3 3 的对应矩阵。 如果考虑纯旋转的情况，式( 1 6 ) 转换为下面的描述两幅图像运动关系的对 应矩阵等式： 6 第一幸概述 h 肋= v , r r o 巧。= r ，o v 0 - 7 ( 1 7 ) 式( 1 7 ) 又可以进一步推导，得到焦距已知、固定和变化的情况下的运动关系 模型 s z e l i s k i l 9 9 7 ，从而构成以定标方式进行图像拼接算法的基础。图1 8 ( b ) 显示旋转模型下的拼接过程，可以看出得到的是个拼接柱面。 1 3 1 3 其它模型 另外可能采用的拼接模型 s z e l i s k i 2 0 0 4 ，s z e l i s k i l 9 9 7 是先将图像变换到柱面 上，然后再采用一个纯的平移关系求解相邻图像间的运动，但是这种方法适用于 用三解架获取图像或者已知图像间倾角变化的情况。 1 3 2 实现步骤与拟解决的问题 图像拼接通常可以分成两个步骤：配准( r e g i s t r a t i o n ) 和融合( b l e n d i n g ) 。 配准的目的是根据几何运动模型，将图像注册到同一个坐标系中。融合则是将配 准后的图像合成为一张大的拼接图像。 配准也可以分成两个步骤：局部配准和全局配准。局部配准是求解相邻两幅 图像间的运动关系，通常是求解二维平面运动关系：对应矩阵。全局配准是处理 多幅图像拼接到一起的误差累积以实现多幅图像的精确拼接。 融合需要将源图像的象素结合起来生成拼按平面上的象素，实现相邻图像l 日j 自然的过渡。 如果配准不准确，融合后就会产生双重图像( d o u b l e i m a g e ) 即鬼影( g h o s t i n g ) 现象，当图像上存在运动物体时也可能因为物体运动面导致融合时同一物体叠加 在一起产生双重图像，前者叫配准鬼影，后者叫融合鬼影。另外一个拼接中可能 会产生的问题是曝光差异( e x p o s u r ed i f f e r e n c e ) ，即由于图像间的曝光不同而造 成拼接图像上的明显的曝光瑕疵( a r t i f a c t ) 。鬼影和曝光差异是所有拼接算法要 解决的核心问题。图l ，9 举例说明这两个问题。 ( a ) 鬼彩 第一章概连 埘= _ 只，r 一巧。= 巧r 肋v 0 - 。 ( 1 7 ) 式( 1 7 ) 义可以进一步推导，得到焦距已知、固定和变化的情况下的运动关系 模型 s z e l i s k i l 9 9 7 ，从而构成以定标方式进行图像拼接算法的基础。图1 8 ( b ) 显示旋转模型下的拼接过程，可以看出得到的是一个拼接柱面。 1 3 1 3 其它模型 另外可能采用的拼接模型 s z e l i s k i 2 0 0 4 ，s z e l i s k i l 9 9 7 是先将图像变换到柱面 上，然后再采用一个纯的平移关系求解相邻图像间的运动，但是这种方法适用于 用三解架获取图像或者已知图像问倾角变化的情况。 1 3 2 实现步骤与拟解决的问题 图像拼接通常可以分成两个步骤：配准( r e g i s t r a t i o n ) 和融合( b l e n d i n g ) 。 配准的目的是根据几何运动模型，将图像注册到同一个牮标系中。融合则是将配 准后的图像合成为一张大的拼接图像。 配准也可以分成两个步骤：局部配准和全局配准。局部配准是求解相邻两幅 图像间的运动关系，通常是求解二维平面运动关系：对应矩阵。全局配准是处理 多幅图像拼接到一起的误差累积以实现多幅图像的精确拼接。 融合需要将源图像的象素结合起来生成拼接平面上的象素，实现相邻图像问 自然的过渡。 如果配准不准确，融合后就会产生双重图像( d o u b l ei m a g e ) 即鬼影( 曲o s t i n g ) 现象，当图像上存在运动物体时也可能因为物体运动而导致融合时同一物体叠加 在一起产生双重图像，前者叫配准鬼影，后者叫融合鬼影。另外一个拼接中可能 会产生的问题是曝光差异( e x p o s u r ed i f f e r e n c e ) ，即由于图像间的曝光不同而造 成拼按图像上的明显的曝光瑕疵( a r t i f a c t ) 。鬼影和曝光著异是所有拼接算法要 解决的核心问题。图1 9 举例说明这两个问题。 解决的核心问题。图1 9 举例说明这两个问题。 ( a ) 鬼移 尉像拼接技术研究 1 3 3 图像拼接技术 ( b ) 曝光差异 图1 9 图像拼接拟解决的问题 1 3 3 1 局部配准方法 局部配准按照用不用绘定初始条件可以分为直接方法和基于特征的方法。直 接方法要求先给定一个初始值，利用这个初始值不断进行迭代配准计算。基于特 征点的方法则先自动找到图像中的特征匹配对，利用这些特征匹配对进行配准。 ( 1 ) 直接方法 赢接方法中最简单的方法先由用户交互指定一些初始匹配点，然后根据运动 关系最小化这些匹配点间能量的差平方之和( s u mo f s q u a r e do f d i f f e r e n c e ，s s d ) ： 渤0 ) = 口，0 ，+ 玎) 一i o ( x ，搿= e ； ( 1 8 ) 2i 其中= 0 ，v ) 表示两幅图像间的偏移量，q = i t b ，+ h ) 一i o ( x ，) 表示两幅图像中匹 配点对间的残差。 式( 1 8 ) 的最小化通过不断尝试新的偏移量值实现，因此计算速度很慢，而 且很难保证稳定性。为此，b e r g e n 等 b e r g e n l 9 9 2 提出层次式配准方法加速偏移 撬求解过程，这个方法首先在较高的金字塔上用式( 1 8 ) 计算出一个粗糙的偏 移量，然后以此偏移量作为初始值在下一级金字塔上继续用式( 1 8 ) 求解。另 外一种加速计算的方法采用傅立叶变换来降低式( 1 8 ) 的计算复杂度 f s z e l i s k i 2 0 0 4 。还有一些技术希望得到较高的子象素配准精度，比如基于泰勒积 数的增量模型 l u e a s l 9 8 1 等。 相位校正技术( p h a s ec o r r e l a t i o n ) 【b r o w n l 9 9 4 也常常用来初始化两幅图像的 3 f 移关系。其原理是这样的，两幅图像，k y ) 和1 2 k y ) ，有如下的位移关系： ，b y ) = ，? b 一1 1 , y v ) ( 1 9 ) e 式的傅立叶变换后的结果为： 1 2w ，w ，) = p 一地”) j ，h ，w y ) ( 1 1 0 ) 8 第一章概述 进一步可以推出： 群竺剃：。* 一一凸d o 叫y _ ( 1 丽i 翮”。一郴1 “ 因此脉冲函数的峰值点对应偏移量。相位校正方法也常被用来初始化本文提出的 拼接算法。 上述直接配准方法讨论的图像偏移都比较简单的纯平移运动，对于含有旋转 等更复杂的相机运动时，这些方法很难实现配准。为此，研究者进一步提出参数 运动方法( p a r a m e t r i cm o t i o n ) 【b a k e r 2 0 0 4 ，b e r g e n l 9 9 2 ，l u c a s l 9 8 1 】，可以实现复 杂的运动模型。在这个方法里，原来的偏移量被一个多维的运动向量p 所代替， 这样式( 1 8 ) 就转化为下面的最小化等式； e 跗( p + 却) = 【，b g ，i p + 和) ) 一，o g ，) 】2 。圭k 鹄r 1 2 其中z “p ) 是任意希望的运动模型，雅可比行列式( j a c o b i a n ) 等圳，k 崔b ) 由于参数化模型的计算复杂度比较高，一些研究者又提出基于分块( p a t c h ) 的 算法 b a k e r 2 0 0 4 ，s h u m l 9 9 8 ，s z e l i s k i 2 0 0 4 ，将算法的求解放在若干象索组成的块 上，从而加速计算过程。d a v i s d a v i s l 9 9 8 则在f o u f i e r - m e l l m 变换的基础上求解 相邻图像问的投影变换关系。 ( 2 ) 基于特征的方法 基于特征的方法实现过程大致要经过特征查找、匹配和运动关系求解三个过 程。早期的特征匹配算法以基于h a r r i s h a r r i s l 9 8 8 1 特征检测器的特征检测技术最 为稳定 s c h m i d 2 0 0 0 】。h a r r i s 的原理是这样的，对于一幅灰度图像上的某点 ，g y ) ，可以通过计算出下面的海森阵( h e s s i a n m a t r i x ) 判断该点是否为角点： m = a i 8 l 缸却 8 l 0 l o x 劫 ( 笥 ( 1 、1 4 ) 如果肘中两个特征值很大，则任意方向的运动都会引起灰度值的剧烈变化，亦 即此处对应一个角点。进一步可以得到角点响应函数 f = d e t m 一七b a c e m j( 1 1 5 ) 取，的局部最大值点为角点即特征。图1 1 0 显示两幅相邻图像上检测到的h a r r i s 9 图像拼接技术研究 特征。 图1 1 0h a r r i s 特征引自 t o r r l 9 9 9 在h a r r i s 基础上研究出的特征检测器有h a r r i s l a p l a c i a n m i k o l a j c z y k 2 0 0 1 1 和 h a r r i s - a f f i n e m i k o l a j c z y k 2 0 0 2 等。其中h a r r i s m t 五l n e 特征检测器能够自动检测发 生一系列仿射变化下的图像特征，具有仿射不变的特性，因此有极强的鲁棒性。 另外还有一些算法将特征检测推广到多尺度空间以提高特征检测的稳定性，如尺 度不变特征检测算法( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ，s i f t ) f d u f o t t m a u d 2 0 0 4 ， l o w e19 9 9 ，l o w e 2 0 0 4 等。 特征检测之后，可以直接进行特征匹配，如直接进行特征周围象素的相似性 比较 c h 0 2 0 0 3 】，但是这种方法并不能保证稳定，特别是对于存在大量冗余特征 的情况。比较好的做法给每个特征赋予一定的描述字，比如m i k o l a j c z y k 等 【m i k o l a j c z y k 2 0 0 2 提出在特征邻域内进行方向直方图统计的方法抽取特征的方 向作为特征的描述，l o w e 等 l o w e l 9 9 9 j 是经过复杂的处理过程得到一个更加 高维的s i f t 描述字进行特征描述。实验对比发现l o w e 等的这一描述字在特征 匹配方面的效率更高 s c h m i d 2 0 0 0 。 利用这样的描述字，特征匹配就变成查找相近的特征描述字的索引过程 ( i n d e x i n g ) ，如果是低维描述宇( 如 m i k o l a j c z y k 2 0 0 2 的1 2 维描述字) 可以利用 马氏距离( m a h a l a n o b i sd i s t a n c e ) 直接计算出最相近的描述字，从而得到一个可 能的特征匹配对。而对于高维的描述字( 如 l o w e l 9 9 9 1 的1 2 8 维描述字) 一个最 相近的插述字很难消除噪声的影响，因此需要采用k d 树搜索多个近似最相近的 描述字来查找每个特征的多个可能匹配特征。k d 树本身已有很多近似最近邻算 法，比如f r i e d m a n 等 f r i e d m a n l 9 7 7 最早利用递归查找的方法查找近似最近邻。 a r y a 等 a r y a l 9 9 3 提出优先搜索( p r i o r i t ys e a r c h ) 进行k d 树的搜索，该算法在执 行过程中利用一个优先队列保存搜索过程中遇到的次近邻兄弟节点，在搜索到叶 子结点后先从优先队列里的节点出发继续搜索，另外，作者还提出增量距离计算 的思想进行加速搜索。f b e i s l 9 9 7 也提出的类似的算法：b b f ( b e s t b i n f i r s t ) 。 找到特征匹配对之后，就可以求解运动关系。这里的运动关系通常是对应矩 阵，因为复杂的相机运动关系只用两幅图像很难计算出来。求解运动关系可以采 第章概连 用r a n s a c 方法( r a n d o ms a m p l ec o n s e n s u s ) f i s h e r l 9 8 1 或l m e d s 方法( l e a s t m e d i a n o f s q u a r e s ) 【s t e w a r t l 9 9 9 】。两者都是通过迭代的方法实现求解，且在每 次迭代中都是先随机选一些特征匹配对求解一个初始的运动关系。不同的是前者 在迭代结束时取产生最多特征匹配对的迭代中的特征匹配对求解最终对应矩阵， 而后者则是取具有最小均值的迭代中的对应矩阵作为最终的对应矩阵，因此 l m e d s 方法不能取得满足最终对应矩阵的特征匹配对。 本文结合前人的工作对基于特征的拼接技术进行研究，并提出新的拼接方 法。 1 3 3 2 全局配准方法 全局配准的第一步是要消除多幅图像叠加一起的误差累积问题，通常的做法 是采用捆绑调整方法 t r i g g s l 9 9 9 不断更新运动参数使得新加的图像与已有的图 像间的能量差最小。全局配准可能是对应矩阵的求精，也可能是摄像机运动关系 的定标求解。 对应矩阵求糟方法通常是首先指定一摇参考图像作为拼接平面，然后将局部 配准得到运动关系转换为各幅图像与参考图像间的运动关系，最后基于这样的运 动关系进行优化计算以实现将各幅图像变换到拼接平面的目的。摄像机定标方式 通常是根据式( 1 6 ) 和式( 1 7 ) 进行能量最小化的迭代计算，从而求精所有相 邻摄像机位置的变化关系，实现多幅图像配准。