（控制理论与控制工程专业论文）大视场视频全景图拼接方法研究.pdf

大视场视频全景图拼接方法研究 摘要 视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大 视场、宽视角的全景图像，解决了因摄像设备限制而存在的拍摄角度小、无法全 景观测的问题。视频拼接技术在民用、遥感、海底探测方面都有着广泛的应用前 景。如在海洋勘探方面，由于需要实时对全景进行观测并处理，单纯依靠摄像机 获取的小镜头视频信息很难直观的表示全景信息；遥感影像中高分辨率图像的获 取同样需要拼接建立大面积全景图像；民用方面，医疗中显微影像观察以及虚拟 现实等也需要大视角全景图像。目前国内外对视频拼接方法展开了诸多研究，但 在快速性和准确性方面仍然不能满足实际应用要求。因此，有必要根据实际应用 背景，进一步研究探索更加准确快速的视频拼接方法。为此，本文分别对摄像机 以一维和二维方式扫描时，彩色视频图像快速、准确的拼接方法进行了研究，完 成的主要工作如下： ( 1 ) 摄像机一维方式扫描时视频图像拼接方法研究 针对目前算法中易存在的误差积累问题展开研究，提出一种当前帧到全景图 像的拼接方法。通过直接寻找当前帧与全景图像之间的重叠区域，对此重叠区域 内的配准特征点进行运算，直接求取当前帧到全景图像的变换参数，避免了传统 算法中的矩阵连乘运算，因此避免了误差快速积累；图像配准时，采用相位相关 法指导特征点提取及配准，避免了搜索算法在非重叠区域运算产生的时间浪费， 提高了运算效率，满足实时处理需求；并利用估计的平移参数及刚性模型参数进 行两次误匹配去除，避免了局部运动对全局运动的影响，提高了算法的准确度， 从而实现准确、快速、鲁棒的一维视频拼接。 ( 2 ) 摄像机二维方式扫描时视频图像拼接方法研究 通过对二维扫描方式下视频中各帧的相邻特点进行研究，提出了一种时间空 间重叠区域相结合的二维拼接算法。由于二维拼接时视频序列中，当前帧不仅与 时间轴上相邻的前后帧有重叠区域，并且与序列中其他帧也可能存在重叠，因此 我们将与当前帧存在重叠的时间相邻帧和空间相邻帧结合起来考虑，对两部分的 配准点一起运算求取当前帧到全景图像的变换参数，无需进行全局优化，算法简 单并且不需要进行大量数据存储，克服了目前算法繁琐耗时的缺点，实现了准确、 快速、鲁棒的二维拼接。 实验结果表明：对摄像机沿任意路径拍摄的视频序列，本文提出的算法都能 够准确、快速、鲁棒地进行视频图像拼接，适用于对于大面积场景的实时观测。 关键词：全景图：一维拼接；二维拼接；图像配准；误差积累 s t u d yo nv i d e om o s a i cc o n s t r u c t i o no fl a r g es t a t i cs c e n e s a b s t r a c t a u t o m a t i cv i d e om o s a i cc o n s t r u c t i o ni st of o r mal a r g ef i e l do fv i e wi n c l u d i n ga l l i n f o r m a t i o no fav i d e os e q u e n c et os o l v et h ed i f f i c u l t yo ff u l l v i e wv i d e oo b s e r v a t i o n c a u s e db yt h el i m i t e dv i e wf i e l do fac a m e r a a u t o m a t i cv i d e om o s a i cc o n s t r u c t i o n h a sw i d ea p p l i c a t i o n si nc i v i ll i ：f e ，r e m o t es e n s i n g ，s u r v e yo fs e af l o o ra n du n d e r w a t e r s t r u c t u r e s f o re x a m p l e w en e e dar e a l t i m eo b s e r v a t i o no ft h el a r g e 丘e l ds c e n e si n o c e a nf l o o rs u r v e y , w h i c hi su n a b l et ob ec o m p l e t e do n l yb yt h eg e n e r a lu n d e r w a t e r c a m e r a s v i d e om o s a i ct e c h n i q u ei sa l s oo fi m p o r t a n c ei nc o n s t r u c t i o no f 1 1 i g h r e s o l u t i o ni m a g e si nr e m o t es e n s i n g ，m e d i c a lm i c r o o b s e r v a t i o na n dv i r t u a l r e a l i t y a l t h o u g hp a n o r a m at e c h n o l o g yh a sb e e ni n v e s t i g a t e de x t e n s i v e l y , t h ee x i s t i n g m o s a i cm e t h o d sa r es t i l lt o ot i m e - c o n s u m i n ga n di n a c c u r a t et om e e tt h er e q u i r e m e n t s o fp r a c t i c a la p p l i c a t i o n s t h e r e f o r e ，i ti sn e c e s s a r yt oi n v e s t i g a t ea n dd e v e l o pm o r e e f f e c t i v em o s a i ct e c h n i q u e st os a t i s f yt h er e q u i r e m e n to fr e a l t i m ev i d e om o s a i c c o n s t r u c t i o ni ns o m ep r a c t i c a la p p l i c a t i o n s f o c u s i n go nt h ea b o v eo b j e c t i v e ，w e i n v e s t i g a t et h ef a s ta n da c c u r a t ev i d e om o s a i ca l g o r i t h m sf o r1 ds c a np a r e ma n d2 d s c 锄p a t t e r n r e s p e c t i v e l y t h ef o l l o w i n gr e s e a r c h e sh a v eb e e na c c o m p l i s h e d ( 1 ) s t u d yo nv i d e om o s a i ca l g o r i t h mf o r1 ds c a np a t t e r n t oo v e r c o m et h ep r o b l e mo fr e g l s t r a t i o ne r r o ra c c u m u l a t i o ni nt r a d i t i o n a l r e g i s t r a t i o na l g o r i t h m s ，t h i sp a p e rp r e s e n t saf a s ta n da c c u r a t ev i d e om o s a i ca p p r o a c h f o r1 ds c a np a t t e r n d i 疵r e n tf r o mt h et r a d i t i o n a lv i d e om o s a i ca l g o r i t h mb a s e do n p a i r - w i s el o c a lr e g i s t r a t i o n , t h ep r o p o s e dn e wa p p r o a c hc a l ld i r e c t l yc o m p u t et h e p r o j e e t i v et r a n s f o r mb e t w e e nt h ec u r r e n ti n p u ti m a g ea n dt h ep a n o r a m i ci m a g e ，t h u s e f f e c t i v e l ya v o i d i n gt h ea c c u m u l a t i o na n dp r o p a g a t i o no fr e g i s t r a t i o ne r r o r sr e s u l t e d f r o mt h ec o n c a t e n a t i o no fp a i r - w i s et r a n s f o r m a t i o n s 髓ep h a s ec o r r e l a t i o nb a s e d t e c h n i q u ei se m p l o y e dt og u i d et h ee x t r a c t i o no ff e a t u r ep o i n t sa n dm a t c h i n gp r o c e s s ， t h u s r e d u c i n gt h e t i m ef o rc o r r e s p o n d i n gp o i n ts e a r c h i n ga n di m p r o v i n gt h e c o m p u t a t i o ne f f i c i e n c y t h em a t c h i n ge r r o r sa r ee l i m i n a t e du s i n gp a r a m e t e r so fb o t h p h a s ec o r r e l a t i o nm o d e la n dr i g i dm o t i o nm o d e l 。w h i c hc a na v o i dt h ee f f e c to ft h e l o c a lm o t i o n so nt h eg l o b a lm o t i o ne s t i m a t i o n , s ot h a tf a s ta n dr o b u s tm o s a i c c o n s t r u c t i o ni si m p l e m e n t e d ( 2 ) s t u d yo nv i d e om o s a i ca l g o r i t h mf o r2 ds c a rp a a e m i no r d e rt ot a c k l et h ei n c o n s i s t e n ti s s u eo fg l o b a lv i d e om o s a i c si nr e g i s t e r i n gv i d e o i m a g e sf r o ma2 ds c a nc a m e r a , w ep r e s e n tan o v e ld i r e c tr e g i s t r a t i o na l g o r i t h m w h e na l i g n i n gt h ec u r r e n ti m a g e ，i ti sn o tn e c e s s a r yt op r o c e s sas e q u e n c eo fv i d e o f r a m e s ，t h u se n s u r i n gt h er e a l - t i m ei m p l e m e n t a t i o n m o r e o v e r , t h ec o m p u t a t i o no ft h e t r a n s f o r m a t i o nb e t w e e nt h ec u r r e n ti m a g ea n dt h ep a n o r a m i ci m a g ef r a m ed e p e n d so n b o t ht h et e m p o r a la d j a c e n tm a t c h i n gf e a t u r ep o i n t sa n dt h es p a t i a la d ja c e n tm a t c h i n g f e a t u r ep o i n t s ，s ot h em o s a i cc o h e r e n c ec a l lb ea c h i e v e da n dt h ep r o b l e mo f r e g i s t r a t i o ne r r o ra c c u m u l a t i o ni so v e r c o m e t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc a nc o n s t r u c ts e a m l e s s v i d e om o s a i cq u i c k l yb o t hf o r1 ds c a nm o d ea n df o r2 ds c a nm o d eo fac a m e r a ，a n d m e e tt h er e q u i r e m e n to fr e a l - t i m eo b s e r v a t i o no fl a r g es t a t i cs c e n e s k e yw o r d ：p a n o r a m a ，1 ds c a np a t t e r n ，2 ds c a np a t t e r n ，i m a g ea l i g n m e n t , a c c u m u l a t i o n 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得洼；翅逡直基丝噩噩鳖别主 盟的，奎拦亘空) 或其他教育机构的学位或证书使用过的材料。与我一同工作的 同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名确瞅 签字日期：五研年r 月弓9 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：再d 既论 签字日期：加印年1 月弓。日 一字：季磊扛 导师签字：惕7 磊吁乙 签字醐3 7 引，月矽日 大视场视频全景图拼接方法研究 1绪论 1 1 研究的背景意义 视频图像拼接技术是将一段视频中各相邻帧图像相互配准而生成一幅包含 视频序列所有信息的全景图。该技术在大面积静态场景观测、虚拟现实、视频检 索、以及高分辨率图像的获取等方面有着重要应用。 早在计算机诞生之前，图像的配准和拼接就在实践中有所应用。当时人们需 要把从山顶或气球上获得的照片手工拼接在一起。二十世纪初期随着飞机技术的 发展，航空摄影术也得到了较大发展，但是由于飞机飞行高度的限制和对照片分 辨率的要求，人们想获得大场景的图片时仍需要专业人员利用有重叠区的照片来 手工构造大场景的拼接图，这些便是最初的手工拼接。二十世纪后期，卫星技术 遥感技术日益发展，人们对宽视角高分辨率图像【l 五3 】的需求越来越多，简易的手 工拼接已经无法满足人们对于研究的需求，于是诞生了视频图像拼接技术。 实际生活中，我们使用普通相机来获取宽视野的场景图像时，必须调节相机 焦距，通过缩放镜头才可以摄取完整的场景，但由于相机的分辨率一定，因此拍 摄的场景越大，我们所得到的宽场景图像的分辨率就越低。为了获取高分辨率的 场景照片，我们就不得不通过缩放相机镜头来减小拍摄的视野，但这样又得不到 完整的场景照片。而且对于一些超大尺寸的物体，或者对于大面积的场景观测， 即使我们调整焦距也无法用一张照片拍摄下来。利用扫描式相机和广角镜头1 4 j 可以部分解决视角不足这一问题，但专业摄像设备价格昂贵而且广角镜头拍摄的 照片边缘会产生难以避免的扭曲变形。目前虽然我们可以通过很多图像处理工具 进行手动拼接，如p h o t o s h o p 、p h o t o s t i t c h 等，但是这些软件不仅拼接效果不理 想，而且一次性工作量小，对于多幅图像拼接工作量大重复运动繁琐。因此将普 通相机拍摄的图像输入计算机而自动生成宽视角的无缝高清图像是视频拼接技 术的发展趋势，因此研究精确鲁棒而快速的图像拼接算法具有十分重要的现实意 义。视频图像拼接这一研究在军事、工业、医学、考古、交通等诸多领域都有着 广泛的应用前景。 1 2 视频图像拼接技术的研究现状 1 2 1 视频图像拼接技术的研究现状 视频图像拼接技术早期用于航空遥感照片合成【5 6 ，由于飞机或卫星上的相 大视场视频全景图拼接方法研究 机距离地面很远，因此合理地将图像假设为由光轴相互平行的相机拍摄得到的， 图像之间仅存在位移变换，对于这种图像采用简单的模板匹配方法合成全景图， 这种方法在现在也有广泛应用，主要用于航空图片以及大文档扫描合成。 2 0 世纪9 0 年代h e u n g y e u n gs h u m 提出同心圆拼酬8 1 ，引起国内外对柱面 全景图生成技术的广泛研究，目前研究技术相对比较成熟拼接效果也较好，得到 广泛应用。但这种方法是基于特定摄像机运动的，即相机需用三脚架固定在所拍 摄景物中心位置，既要保证相机不做偏斜和俯仰运动，又要保证摄像角度也就是 视点选取恰当。 2 0 世纪9 0 年代后期微软研究院的s z e l i s k i l 9 1 教授提出的二维空间八参数投影 变换模型以及基于运动的方法通过l m 迭代求出图像间的几何变换参数来进行 图像配准，这种方法在一定程度上减少了拍摄图像时对摄像机运动的限制，但计 算量却大量增加。 2 0 0 0 年，s h m u e lp e l e g ，b e n n yr o u s s o ，a l e xr a v - a c h a 等在r i c h a r ds z e l i s k 的基础上作了进一步改进，提出了自适应图像拼接模型【1 0 1 ，根据相机的不同运 动而自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像拼接。 s e v k e tg u m u s t e k i n b l , t 2 】博士通过摄像机标定建立成像模型，将捕获的图像投影到 统一的高斯球面上，从而获得拼接图像，这种方法拼接效果好，可靠性精确性都 较高，但由于需要对摄像机进行精确标定，不具备一般性。 2 0 0 1 年，清华大学的研究人员提出了一种针对图像拼接过程中计算量与拼 接精度之间进行折衷的方案，该方案需要保证摄像机绕垂直轴旋转，一定意义上 限制了摄像机的运动。 e u n - y o u n gk a n 9 1 1 3 1 ，s t e v eh s u 1 4 】等人对2 d 扫描方式下的视频图像拼接进行 了研究，提出了二维方式图像拼接的方法，对视频序列的一个子集在两两配准的 基础上，利用线图技术进行最优连接路径的寻找，并利用线性或非线性优化技术， 进行最佳变换参数的处理，优化目标使得全局配准误差达到最小，从而完成二维 扫描图像拼接。这种方法由于要对序列的多个子集进行全局优化处理，虽然拼接 质量好但是计算过于繁琐。 国内的苗- o - 阿u t l 5 】提出基于2 d 格状图的显微图像拼接，根据显微图像的特点， 针对大规模显微图像拼接提出了一种显微图像拼接的全局对准模型。利用2 d 格 状图表示图像的邻接关系，并根据局部对准的可靠性对格状图进行修正，以消除 空白区域的影响。把系统偏斜校正作为约束条件加入全局对准模型，并利用非线 性优化方法得到具有全局一致性的图像对准参数，取得了良好的效果，但同样计 算耗时巨大，并且需要人工干涉找到初始位置，不能实现整个过程的自动化。 由于摄像机在二维方式下扫描时全景图的拼接与一维方式扫描下的拼接有 所差别，二维多幅扫描方式下的拼接算法虽然和一维情况类似，但简单的一维扫 2 大视场视频全景图拼接方法研究 描拼接方法并不适用于二维拼接，目前的方法大多是针对两种情况分别研究，需 要手动区分摄像机的扫描方式。 1 2 2 图像配准技术的研究现状 图像配准是图像拼接中的关键技术。图像配准可以认为是在不同时间或相同 时间、从不同视角或相同视角对同一场景拍摄的两幅或者多幅图像进行的空间域 上的匹配过程。近几年在许多领域，诸如模式识别、自动导航、遥感领域、医学 诊断、计算机视角等都进行了大量研究。虽然每个领域都是根据自己的实际应用 背景来制定配准方法，但是不同领域的配准技术之间在理论方法上有很大的相似 性。 通过近几年的研究，根据图像配准中所利用的图像信息的不同，可以将图像 配准方法划分为三大类【1 6 , 1 ：基于灰度信息的方法、基于变换域的方法和基于特 征的方法，其中基于特征的方法又依据所选特征的不同而细分为若干类别。 一、基于灰度信息的配准方法 该方法直接利用图像中的灰度信息，根据对应关系模型将每个像素点交换成 对应点。采用某种搜索方法，寻找使得相似性评价函数值达到极值的变换模型的 参数值。19 8 2 年r o s e n f e l d t 】提出的交叉相关法是最基本的基于灰度统计的图像 配准方法，它通过归一化二维交叉相关函数表示了模板在图像上每一个位移位置 的相似程度。相关系数法是与其类似的一个准则，相关度可以通过快速傅里叶变 换计算，使得大尺度图像相关的计算效率大大提高。b a m e a t l 9 】等人提出了序贯相 似检测算法( s s d a ) ，并提出了与准则相配合的序贯搜索策略，比传统的交叉相 关法具有更高的效率。国内的王小睿【2 0 】等分别利用序贯相似度检测( s s d a ) 和 归一化积相关两种相似性度量方法，建立模板图像和输入图像之间的相似性度量 值，再利用模拟退火算法随机寻优，快速准确地找到最佳匹配点，从而实现图像 配准。基于灰度信息的配准方法原理简单，具有精度高、可靠性高及抗干扰性强 等优点，但是计算量会随着所选模板的增大而急剧增加，限制了其在大尺度图像 中的应用。 二、基于变换域的配准方法 在基于变换域的配准方法中，最为经典的就是相位相关法1 2 。这种方法最 早在1 9 7 5 年由k u g l i n 和h i n e s 提出，相位相关法具有场景无关性，能够将纯粹 二维平移的图像精确地配准。相位相关法利用傅里叶变换将两幅图像从空间域变 换到频率域，再根据傅里叶变换的性质求取位移量。对于平移运动，相位相关函 数产生的尖峰比互相关函数尖锐的多，因而相位法具有很好的效果。在此基础上 d ec a s t r o 和m o r a n d i 提出了扩展相位相关法【2 2 】，通过对数极坐标变换将旋转参 数和缩放参数都转化为平移参数，因而可以适用于同时存在平移、旋转、缩放的 大视场视频全景图拼接方法研究 情况。后来r e d d y 和c h a t t e r j i t 2 3 】改进了d ec a s t r o 的方法，指出两图像的平移矢 量可以通过它们的互功率谱的相位直接计算出来，大大减少了需要转换的数量， 提高了运算效率。改进的相位相关法在噪声的敏感性和计算的复杂度上都有一定 的优势，但这一方法受限于傅里叶变换的不变性质，只适用于在傅里叶变换中有 相应定义形式的图像转换，一般应用于仿射变换的图像配准中，对于图像转换形 式比较复杂的情况，需要基于特征的方法来解决此类问题。 三、基于特征的配准方法 基于特征的配准方法是图像配准中最常见的方法。点特征方面，早在1 9 7 7 年由m o r a v e c t 2 4 提出了基于图像灰度自相关函数的兴趣点检测算子，后来 b e a u d e t 2 5 】提出了一种旋转不变兴趣点检测算子d e t ，k i t c h e n 、r o s e n f e l d 2 6 等人 提出了基于图像灰度梯度和梯度变化的兴趣点检测算子k ，h a r r i s 2 7 等人改进了 m o r a v e c 算子使之具有旋转不变性，之后又有很多研究者对h a r r i s 算子所用的滤 波函数、时间复杂性等做了不同的修改以适应不同的应用目的，它通过将图像灰 度函数在变化点进行一阶泰勒展开，使各个方向可能的微小移动也将被包含进 去，克服了m o r a v e c 算法中对强边界的敏感性。牛津大学的s m i t h 、b r a d v 2 s 等 人提出了s u s a n 算子，其原理是与每一图像点相关的局部区域具有相同的亮度。 这一方法完全有别与以往的角点检测算法，不涉及图像的求导运算，具有简单直 观、特征定位比较准确等优点，缺点是适应性和抗噪性差，对于不同的图像需要 调整参数才能更有效。2 0 0 3 年i c c v 大会上，m b r o w n t 2 9 j 发表了一篇名为 r e c o g n i s i n gp a n o r a m a s 的文章，使用了基于不变量技术的s i f t 算法进行图像配 准，算法自动且效果较好，掀起了全景图技术研究的熟潮。另外对于图像的其他 特征，s t o c k m a n 和m e d i o n i 等人都曾通过匹配图像中提取的直线段来配准图像， 大连理工大学的封靖波等提出了一种基于相似曲线最相似的部分，从而找到匹配 位置。还有很多图像分割方法，比如c a n n y 边缘提取算子、拉普拉斯高斯算子、 动态阈值技术、区域增长等都可以用来做图像配准需要的边缘轮廓和区域的检 测。这些方法非常多而且各具特点，但并没有任何一种方法能对所有种类的图像 都能获得最佳效果，大多数的特征提取方法还是依赖于图像本身的。实际应用中， 我们需要根据不同的应用背景选择特征提取算法。 1 3 本文主要研究工作 本文的研究重点是手持摄像机拍摄条件下的图像拼接。 随着研究的不断深入，图像拼接的方法正趋于成熟和稳健。在总结国内外相 关研究的基础上，本文针对一维拼接中存在的误差积累问题、二维拼接中存在的 空间不完全匹配问题以及实时处理问题展开了研究。 4 大视场视频全景图拼接方法研究 对于一维拼接，由于相邻图像间的变换是通过对特征点集采用非线性优化算 法估计得到的，这说明求得的变换只能是在最小二乘意义下的最佳运动参数，必 然存在一定误差，随着帧数的增加，误差随矩阵连乘迅速增加，产生严重的误差 累积问题。本文采用将当前帧图像与全景图像直接进行配准的方法，避免了矩阵 连乘运算，解决了一维拼接中误差积累的问题； 对于二维拼接，同时考虑了时间和空间的邻接性，在配准过程中沿用我们一 维拼接中提出的当前帧直接与全景参考图像配准的方法，解决了二维拼接中由于 摄像机角度转换导致的不完全匹配问题，从而实现了二维扫描方式下的视频序列 全景拼接。 另外，整个算法过程中采用有用性原则，即只对有关系的区域进行运算，避 免了对大量无用区域的搜索以及运算，大大提高了运算效率，使算法可以应用于 实时处理。 1 4 本文的组织结构 全文共分五章。 第一章绪论。 主要介绍课题研究的背景及意义，国内外对视频图像拼接的研究进展，目前 存在的问题以及本文的主要研究工作。 第二章视频图像拼接技术综述 简要介绍了视频图像拼接技术的概念，全景图的生成原理及应用领域，并介 绍了图像拼接的相关知识，是后续研究的基础。 第三章一维扫描下全景图像拼接方法研究 在深入研究国内外全景图生成方法的基础上，提出了一种适合大面积静态场 景观测的视频全景图快速生成方法，实验证明该方法能够准确拼接出较高质量的 视频全景图像。 第四章二维扫描下全景图像拼接方法研究 深入研究摄像机在二维扫描方式下的特点，提出了一种适合摄像机以多幅扫 描方式工作的全景图生成方法，实验证明了该方法的有效性。 第五章全文总结与展望 对全文进行总结，并提出了论文中需要进一步研究的方向。 5 大视场视频全景图拼接方法研究 2 视频图像拼接技术综述 2 1 引言 视频全景图拼接技术是一种通过图像处理方法去除视频帧间冗余，将摄像机 拍摄的一段视频信息转化为一幅包含该序列所有信息的大面积全景图像的技术。 这种技术在大面积场景观测、虚拟现实、视频压缩及检索、高分辨率图像获取等 方面有重要应用。本文就是基于大面积静态场景观测的应用背景展开研究。 实际应用中，由于摄像设备的机械限制，通过镜头获取的图像视野往往不能 满足我们对于场景观测的需要，并且对于静态场景观测、遥感图像获取等应用， 视频序列并不能直观的反映场景信息，因此我们需要一幅大视野、宽角度的图像 来满足实际应用需求。视频全景图拼接技术就是利用了视频序列中相邻各帧图像 间存在较大重叠的特点，对重叠区域进行配准，去掉相邻帧间的冗余，通过图像 几何变换进行重采样从而拼接形成一幅包含该序列所有信息的全景图像。 2 2 全景图生成原理及特点 在构造全景图时，简单的说，图像序列之间应该具有一定的重叠区域，相邻 两幅图像的对应点之间应满足一定的对应关系模型，利用这个对应关系模型，可 以准确的找到图像的重合区域，从而通过重采样可以将图像序列拼合成一副大型 无缝的全景图。典型的全景图构造系统一般分为采集图像、图像预处理、图像配 准、图像变换融合、输出全景图几个部分。 全景图的生成过程有其自身的特点【3 0 】： 1 多样性 客观世界中自然物体和人造物体的种类繁多形状各异，这使得图像的内容千 变万化；由于光照条件的变化和景物中不可避免的物体移动，所以相机一次采集 的图像之间和同以景物不同时间多次采集的图像之间都存在着明显的差异；相机 在采集图像过程中存在多中运动方式，如平移、旋转、缩放、倾斜等，这也使得 到的图像具有不同的特点。图像拼接技术同时也广泛应用于诸多领域，如视频压 缩、虚拟现实、医学影像、大面积观测、考古勘察等等，这些都造成了图像拼接 技术的处理对象的复杂性和不可把握性，这也直接决定了图像拼接技术的多样 性。 2 针对性 由于图像的内容多种多样，他们的特点各不相同。另外由于某些图像是在特 6 大视场视频全景图拼接方法研究 殊条件下得到的，如柱面图像、球面图像、视频图像序列等，它们都有着鲜明的 特点。因此，针对这些特点产生了特定的图像拼接算法。一般来说，这些算法针 对性较强，对于某种条件下图像的拼接算法可能完全不适用于另一条件。 图像拼接算法的多样性和针对性决定了它们没有标准的测试图像，因此也没 有统一的评价标准，衡量一个算法的优劣主要时靠人的主观视觉感知。因此在拼 接过程中或多或少的需要与用户的交互操作，随着用户的主观评价进行调整直至 达到最佳的视觉效果。 本文根据图像拼接的特点以及应用进行了视频序列的拼接研究，下面着重讲 述一下本文中视频序列全景图生成流程。 1 采集图像 我们用摄像机采集视频时，通常有三种方式：固定摄像机旋转拍摄、置于滑 轨平移拍摄、人为手持拍摄。三种图像的获取方式不同会导致输入图像不同从而 导致配准方法有所不同。固定摄像机进行旋转拍摄的情况下，放置相机的三脚架 在拍摄过程中一直在同一位置。相机绕垂直轴旋转，理想情况下不绕相机光轴旋 转。这种拍摄方式不需要过多参数，较易实现，但拍摄图像不在一个平面上，往 往需要投影到同一个平面上，一般采用这种方法获取图像序列的描述与合成用柱 面和球面投影表示；相机纯平移拍摄的情况对拍摄要求较高，需将相机置于滑轨 之上，沿平行于成像平面的方向上移动，因此配准容易。但物体和相机的距离远 近，或者拍摄物体的大小的变化，都会影响到最后的拼接结果，由于拍摄条件苛 刻因此实用性不大；手持相机的拍摄方法容易实现，对相机运动无过多要求，但 由于相机运动复杂，描述运动的参数较多，因此配准这样的图像是比较困难的。 本文就是基于手持摄像机拍摄条件下的全景图像拼接。 2 图像预处理 我们将摄像机拍摄到的视频按固定时间间隔采集为图像，采集的图像过于密 集不利于实时处理，而过小的重叠区域不利于图像配准，重叠部分的多少时拼接 质量的重要影响因素，因此我们一般要求相邻图像至少有3 0 的重叠区域。理想 情况下，采集的相邻图像的重叠区域应有相同的光强，当光强变化较大时，我们 需要对图像进行亮度调整。 3 图像配准 图像配准是全景图像拼接技术的核心和关键。基本思想是对相邻图像重叠区 域通过相似性进行配准工作，带入能够描述相邻图像运动的参数模型，以确定相 邻图像的拼接位置，图像配准算法的好坏直接关系到全景图的拼接质量。 4 图像变换融合 通过求得的运动参数将图像变换到全景图中，由于配准中次像素级误差的存 在以及光照强度不完全相同等因素，单纯的叠加会导致拼接图中有明显的拼接痕 7 大视场视频全景图拼接方法研究 迹以及重叠区域的模糊现象，因此我们必须对图像进行平滑处理，以提高图像质 量。 5 输出全景图像 实时处理中，我们需要随着当前帧的处理实时的更新并输出全景图像。 2 3 视频拼接技术应用领域 早在1 9 9 2 年英国剑桥大学的l i s ag o t t e s f e l db r o w n 在文献中就总结了图像 配准的主要理论及图像拼接技术在各个领域的应用，当时他的讨论主要还是着眼 于医学图像处理、遥感图像处理等传统应用领域。时隔十七年，图像拼接技术有 了飞跃发展，目前在大面积场景观测、虚拟现实、视频压缩、视频检索以及高分 辨率图像的获取方面也有了广泛应用【3 l 】。 1 基于拼接技术的大面积场景观测及视频监控系统 图像拼接技术可以用于场景观测，通过将卫星图片或航空照片或者水下摄像 图片拼接成大范围的场景图片来实现对某一地区某一场景的整体勘察观测，比如 高大建筑物高分辨率全景图像的获取、水下考古、海底探测以及遥感观测等。视 频图像序列构造全景视图技术还可以用于现场操作员和指挥专家之间的远程协 作系统和远程遥控系统，现场操作员通过头盔摄像机将现场拍摄的视频图像通过 无线通信的方式传递给在远程的指挥专家，远程指挥专家在收到现场拍摄的视频 图像后构建出现场的全景图像，然后根据现场情况提出建议并通知现场操作员进 行相关的操作。 2 基于全景的虚拟现实场景的构建 虚拟现实技术是利用计算机构建一个逼真的虚拟环境，即以仿真的方式给人 们创造一个反映实体对象变化及其相互作用的三维世界，使得人们能够通过使用 专用设备，就能像在自然环境中一样对虚拟环境中的实体进行观察与控制。虚拟 场景的构建以连续的视频帧为基础数据，构建的虚拟现实环境具有计算量小、与 场景复杂度无关及具有与真实场景几乎一样的效果等优点而被广泛使用。 3 基于镶嵌图像的视频压缩 图像镶嵌技术的另外一个重要应用是视频压缩。目前m p e g - 4 编码标准针 对视频中背景对象的特点提出了s p r i t e 编码方式。利用图像拼接技术将整个视频 图像序列的背景内容拼接成一幅大的完整的背景全景图像，该背景在每一帧中出 现过的像素点，在这幅大的背景全景图中都能找到对应的点，这样的图像就叫做 s p r i t e 图像。由于s p r i t e 图像自身是不变的，因此只需传输一次，然后根据摄像 机的运动参数在接收端重建背景，这样可以大大减少传输的数据量。这种编码方 式可以很大程度上提高视频压缩效率。 8 大视场视频全景图拼接方法研究 4 基于拼接图像的视频检索 视频流帧间存在大量冗余信息，利用图像拼接技术去除冗余，将分散在各个 视频帧中的信息集中起来表示成整体的场景，这种紧密重组提供了对内容的非线 性浏览和高效的索引，可以有效地对感兴趣的信息进行直接快速存取、编辑注释 等操作。 以上只是简单列举了全景图技术的部分应用，随着对它的进一步研究，全景 图技术必将获得更加广阔的应用前景。 2 4 图像拼接基础知识 2 4 1 常用坐标系统 在图像拼接过程中，经常要将某幅图像变换到参考图像的坐标系下，这就需 要在不同的坐标系下考虑问题。本节简要介绍各种坐标系统的相互关系，作为图 像变换的基础。 我们在使用摄像器材进行图像采集的过程，是将现实世界的三维场景投影到 摄像器材的二维像平面上，投影过程是成像变换的过程【3 2 1 ，如图2 - 1 所示： z 。z 成像变换涉及到不同坐标系之间的转换，通常三维空间景物成像过程中常用 的坐标系有：世界坐标系、摄像机坐标系、像平面坐标系以及图像坐标系。 ( 1 ) 世界坐标系：表示三维场景点的客观世界的绝对坐标。该坐标系通过 ，、 q ，y ，z j 准确定义一个点在现实世界中的位置。又称为真实或现实世界坐标系统 呢o ( 2 ) 摄像机坐标系：以摄像机为中心制定的坐标系统舻，将场景点表示为以 9 大视场视频全景图拼接方法研究 观察着为中心的数据形式，一般常取摄像机的光轴为z 轴。 ( 3 ) 像平面坐标系：摄像机内形成的二维成像平面坐标x y 。该平面与摄像机 坐标系统的砂平面平行，且砂轴分别重合，像平面的原点在摄像机的光学轴上。 此坐标系类似于胶片所在的平面坐标系。 ( 4 ) 图像坐标系：图像采集的最终结果是转换为在计算机中进行存储与处理 的数字图像。因此图像坐标系是计算机内部数字图像所用的坐标系统m n ，代表 了图像阵列中图像像素的位置。一般我们取图像的左上角为原点，纵轴方向向下， 横轴方向向右，像素的坐标均为整数值。数组中的列数和行数代表了点的位置。 各坐标系之间可以通过关系矩阵进行转换。不同维数的坐标转换中我们需要 用到齐次坐标表示。齐次坐标用于表示n 维透视空间的点的n + l 维分量。透视空 间的点可以被认为是欧几里德空间加上一些无穷远处的点。每个坐标分量乘以一 个非零值并不改变这些坐标所表示的点，这样的坐标是齐次坐标。二维空间中一 ，、，、 点p 协，川的齐次坐标形式表示为p p ，y , l j 。 2 4 2 摄像机的运动形式 我们在手持摄像机进行拍摄时，为了获取场景的全貌，通常要进行复杂的运 动，而这种复杂的运动通常可以被分解为几种比较简单的运动形式l 3 3 j ：平移运 动、旋转运动、水平扫动、垂直扫动和焦距的缩放。 平移运动( t r a n s l a t i o n ) 是指摄像机运动平行于成像平面巧，即摄像机在平 行于像平面上的运动。 镜头缩放( z o o m i n g ) 是指摄像机的焦距发生了变化，即场景平面与成像平 面问的距离发生了变化。 水平扫动( p a n n i n g ) 是指摄像机绕y 轴( 垂直轴) 旋转。 垂直扫动( t i l t i n g ) 与水平扫动类似，摄像机绕x 轴( 水平轴) 旋转。 旋转运动( r o t a t i n g ) 是指摄像机绕光轴( z 轴) 旋转，这里需注意不能与水 平扫动和垂直扫动中的旋转混淆，这三种运动绕着不同的坐标轴旋转。 摄像机的不同运动方式对场景成像会产生不同效果。具体运动方式的示意图 以及成像结果如表2 1 所示。 在相机的几种基本运动方式中，水平旋转与垂直旋转两种运动方式，成像平 面会与场景平面不平行，由此会产生梯形失真( k e y s t o n i n g ) 和线性调频( c h i r p i n g ) 现象。梯形失真现象是指拍摄图像时所产生的梯形畸变，即原来场景中的平行的 直线在所拍摄的图像中会相交。线性调频现象是指场景图像随着空间位置的变化 1 0 大视场视频全景图拼接方法研究 其空间频率也会随之增大或较小：而平移运动、镜头缩放和旋转运动由于成像平 面与场景平面平行，不会产生上述两种失真现象。这两种失真现象带来透视投影 的效果，因而水平垂直镜头旋转下的坐标变换是投影坐标变换。 表2 - i 相机运动与成像结果示意图 名称相机运动示意图像变化结果图像变 换 平移平移变 换 变焦 口 缩放变 换 水平旋 转 投影变 换 垂直旋 转 投影变 换 绕轴转 动 旋转变 换 2 4 3 图像的几何变换模型 为了实现图像序列的拼接，就必须确定有重叠的两幅相邻图像的空间对应关 系，这也是图像拼接中关键的一步。为了确定图像间的对应关系，首先需要知道 其相应的对应关系模型，一旦确定了图像间的关系模型，则图像之间的配准问题 就转化成确定该模型的参数问题。目前常用的关系模型有刚性变换模型、仿射变 换模型、投影变换模型以及非线性变换模型【3 2 】等。 大视场视频全景图拼接方法研究 利用齐次坐标，我们可以用矩阵的形式来描述图像之间的变换模型为： 荤 = 蒌蒌车 司或x ，：栅 表2 2 几何变换中各参数作用 参数参数的作用 7 2水平方向位移 肌5垂直方向位移 ，确，鸭，豫 尺度和旋转量 ， 水平与垂直方向的变形量 ( 2 - 1 ) ( 1 ) 刚体变换( r i g i dt r a n s f o r m ) 如果一幅图像中的两点间的距离经变换到另一幅图像中后仍然保持不变，则 这种变换称为刚体变换。刚体变换只局限于平移、旋转和反转( 镜像) 。这种模型 不会扭曲物体的原有形状，矩阵如下式所示： lc o s 0 - s i n o 聊2i m 2 l s i n o c o s 0 7 5l l 001j ( 2 2 ) 其中