（模式识别与智能系统专业论文）图像拼接技术研究(1).pdf

摘要 摘要 目前，宽视野、高分辨率的图像或视频在一些领域显得越来越重要，比如摄 影测量学中全景视图的构造、视频编码领域的s p r i t e 技术、全景视频监控系统地 实现，特别是虚拟现实技术中虚拟环境的构建等。由于图像拼接技术解决了视野 与分辨率的矛盾问题，因而它为这些领域的关键技术提供了很好地解决途径。基 于图像拼接技术的这一特性，它也越来越成为图像处理领域一个热点研究问题。 本文首先较详细的介绍了图像拼接技术的研究现状、特点及应用领域，从而 展示了图像拼接技术广阔的应用前景。然后重点介绍了图像拼接技术中的图像配 准及图像融合等关键技术，分析和总结了它们的主要方法、性能以及存在的问题。 在此基础上，提出一种基于相位相关优化的图像拼接方法，该方法主要针对 r i c h a r ds z e l i s k i 提出的基于运动的2 - d 空间8 参数投影变换模型算法的局限性， 采用扩展相位相关法来获得初始配准参数值，然后利用l m 优化算法对初始参数 值进行优化而得到较为准确的配准参数，从而克服了人工确定初始参数值的不准 确问题。此外，在研究中针对相位相关法的局限性，提出一种基于兴趣点匹配的 图像拼接方法，该方法利用h a r r i s 角检测器将提取的兴趣点作为特征点，并采用 比较最大值法得到匹配特征对，从而实现图像的配准。基于兴趣点匹配的图像拼 接方法由于采用全局最优的思想，因此不会受到图像尺寸条件的影响，从而克服 了相位相关法缺点。论文最后讨论了全景图像的拼接技术，其中重点介绍了柱面 全景图像的拼接问题，并提出一种柱面全景图像拼接的解决方案。 关键词：图像拼接图像配准图像融合全景图像 a b s t r a c t a b s t r a c t a tp r e s e n t ，t h ew i d ef i e l do fv i s i o n ，t h eh i g hr e s o l u t i o ni m a g eo rt h ev i d e o f r e q u e n c ya p p e a ri ns o m ed o m a i n sm o r ea n dm o r ei m p o r t a n t l y , f o ri n s t a n c ei nt h e p h o t o g r a m m e t r yt h ep a n o r a m i cv i e ws t r u c t u r e ，t h i ss p r i t et e c h n o l o g yo ft h ev i d e o f r e q u e n c yc o d ed o m a i n , t h ep a n o r a m i cv i d e of r e q u e n c ys u p e r v i s o r ys y s t e mr e a l i z e s ， s p e c i a l l yi nt h ev i r t u a lr e a l i t yt e c h n o l o g yt h eh y p o t h e s i z e de n v i r o n m e n tc o n s t r u c t sa n d s oo n b e c a u s et h ei l l l a g em o s a i c st e c h n o l o g yh a ss o l v e dt h ef i e l do fv i s i o na n dt h e r e s o l u t i o nc o n t r a d i c t o r yq u e s t i o n , t h u si th a sp r o v i d e dw e l lt h ek e yt ot h es i t u a t i o nf o r t h e s ed o m a i n se s s e n t i a l t e c h n o l o g i e s b a s e do ni m a g em o s a i c st e c h n o l o g yt h i s c h a r a c t e r i s t i c ，i ta l s o m o r ea n dm o r eb e c o m e sa ni m a g e r yp r o c e s s i n gd o m a i nh o ts p o t r e s e a r c hq u e s t i o n t h i sa r t i c l ef i r s tl j l e t a i l e di n t r o d u c t i o ni m a g em o s a i c st e c h n o l o g yr e s e a r c hp r e s e n t s i t u a t i o n ，c h a r a c t e r i s t i ca n d 印p l i c a t i o nd o m a i n ，t h u sh a sd e m o n s t r a t e dt h ei m a g e m o s a i c st e c h n o l o g yb r o a da p p l i c a t i o np r o s p e c t t h e ni n t r o d u c e dw i t he m p h a s i si nt h e i m a g em a t c h i n ga n dt h ei m a g ef u s i o n ，a n a l y z e da n ds u m m a r i z e dt h e i rm a i nm e t h o d , t h ep e r f o r m a n c ea sw e l la st h ee x i s t e n c eq u e s t i o n i nt h i sf o u n d a t i o n ，p r o p o s e do u e k i n di m a g em o s a i c sm e t h o db a s e do nt h ep h a s ec o r r e l a t i o no p t i m i z a t i o n ，t h i sm e t h o d m a i n l ya i m sa tt h i sl i m i t a t i o no fw h i c hr i c h a r ds z e l i s k ih a sp r o p o s e dt h em o v e m e n t 2 - ds p a c e8p a r a m e t e r sp r o j e c t i o n st r a n s f o r m a t i o nm o d e la l g o r i t h m ，u s e st h e e x p a n s i o np h a g ec o r r e l a t i o nm e t h o dt oo b t a i nt h ei n i t i a lm a t c h i n gp a r a m e t e rv a l u e ， t h e nc a r r i e so nt h eo p t i m i z a t i o nu s i n gt h el - mo p t i m i z a t i o na l g o r i t h mt ot h ei n i t i a l p a r a m e t e r v a l u eb u tt oo b t a i nt h em o r ea c c u r a t em a t c h i n gp a r a m e t e r , t h u sh a s o v e r c o m et h ea r t i f i c i a ld e t e r m i n a t i o ni n i t i a lp a r a m e t e rv a l u eq u e s t i o n i na d d i t i o n ，i n t h er e s e a r c hi nv i e wo ft h ep h a s ec o r r e l a t i o nm e t h o dl i m i t a t i o n ，p r o p o s e do n ek i n d i m a g em o s a i c sm e t h o db a s e do nt h ei n t e r e s tp o i n t sm a t c h i n g , t h i sm e t h o df i r s t l y e x t r a c t st h ei n t e r e s t 母i n t su s i n gt h eh a r r i sa n g l ed e t e c t o r , a n du s e st h ec o m p a r i s o n m a x i m u mv a l u el a w t oo b t a i nt h em a t c hc h a r a c t e r i s t i cp o i n tp a i r , t h u sr e a l i z a t i o n i m a g em a t c h i n g i n t e r e s tp o i n t sm a t c hi m a g em o s a i c sm e t h o dh a so v e r c o m et h ep h a s e c o r r e l a t i o nm e t h o ds h o r t c o m i n g t h ep a p e rf i n a l l yh a sm a i n l ys t u d i e dt h ep a n o r a m i c i m a g et e c h n o l o g y , d i s c u s s e dt h ec y l i n d e rp a n o r a m i ci m a g ei s s u ew i t he m p h a s i s a n d p r o p o s e so n ek i n do f c y l i n d e rp a n o r a m i ci m a g em o s a i c ss o l u t i o n k e y w o r d s ：i m a g em o s a i ci m a g er e g i s t r a t i o ni m a g ef u s i o np a n o r a m i ci m a g e 创新性声明 本人声明所呈交的沦文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容外，论文中不 包含其他人已发表或撰写过的研究成果；也不包含为获得话安电子科技大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任伺贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承丰日一刨相关责任。 本人签名 日期麴五：f 垡 关于论文使用授权的说明 本人完全了解西安电予科技大有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅沦文；学校可以公布沦文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名 辫1 导师签名：遥墨乾日期兰翌笸：f _ ， 第一章绪论 第一章绪论 1 1 引言 真实世界是一个丰富而多彩的信息源，其中视觉信息又是众多信息中最重要 的信息，人类所获得的信息的7 0 - - 8 0 来自于视觉。由此可见视觉信息对人类的 重要性，而图像正是人类获取视觉信息的主要途径。通常我们能够很容易的获取 现实世界中的一系列局部的分离图像，然而把这些分离的图像信息合成为“全景 世界”对我们更为重要。因此图像拼接技术应运而生，它的目的就是把一系列局 部真实世界的图像合成为一个单一的、更大的、更复杂的全景图像，使我们可以 更加客观、形象地认识和理解真实世界。 图像拼接( i m a g em o s a i c ) 技术是数字图像处理技术的一个重要的研究分支，它 即是将一组相互间存在重叠部分的图像序列进行空间匹配对准，经重采样融合后 形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像。通过 图像拼接技术，可以剔除冗余信息，压缩信息存储量，从而更加有效地表示信息。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星图像的整合。 近年来随着图像拼接技术的研究和发展，它使基于图像的绘f # e j ( i b r ) 技术成为结合 两个互补领域一计算机视觉和计算机图形学的研究焦点 2 8 1 。在计算机视觉领域中， 图像拼接技术成为对可视化场景描述( v i s u a ls c e n er e p r e s e n t a t i o n s ) 的主要研究方 法；在计算机图形学中，现实世界的图像过去一直用于环境贴图，即合成静态的 背景和增加合成物体真实感的贴图。图像拼接技术可以使i b r 从一系列真实图像中 快速绘制具有真实感的新视图。目前，一个特别流行的图像拼接技术的应用是全 景图像的拼接，它是基于图像绘制虚拟现实场景创建和虚拟漫游的基础全景图 像提供一种在虚拟场景交互式浏览中良好的感觉，使用节点合成多个场景可以让 用户在场景之间切换漫游，利用计算机视觉的方法，能够从两个节点之间产生新 的中间视点图像，通过在全景图像中的漫游可以使用户能够主动地从不同的观察 点和方向了解环境。图像拼接技术是一个日益流行的研究领域，它已经成为照相 绘图学、计算机视觉、图像处理和计算机图形学研究中的热点，被广泛的应用于 数字视频压缩、运动分析、虚拟现实技术、遥感图像处理、医学图像分析等领域。 因此，对图像拼接技术的研究具有很好的应用前景和重大的现实意义。 1 2 国内外图像拼接技术的研究现状 提高图像的分辨率及获得更大视野是进行图像拼接的两个直接的和主要的目 的，而随着图像拼接技术在计算机视觉、计算机图形学及数字视频压缩等领域的 应用使得图像拼接技术日益成为数字图像处理领域的研究焦点。在国内外关于图 2图像拼接技术研究 像拼接的原理和方法已有不少的论文发表，但是目前还没有通用的拼接技术和方 法使得人们可以快速高效地实现图像的拼接。同时在已使用图像拼接技术的领域， 对于获取图像的设备要求很高。这就使得图像拼接的应用因为设备成本高、操作 复杂而受到很大的限制。 美国微软研究院的r i c h a r ds z e l i s k i 教授和匹兹堡大学的s e v k e tg u m u s t e k i n 博 士对图像拼接技术的研究做出了巨大的贡献。s z e l i s k i 提出2 d 空间八参数投影变换 模型【4 l ，这种模型通过采用l e v e n b e r g m a r q u a r d t 迭代非线性最小化方法( 简称l m 算法) 求出图像间的几何变换参数来进行图像配准。由于这种方法在处理具有平 移、旋转等多种变换的待拼接图像方面效果好，收敛速度快，因此也成为图像拼 接领域的经典算法，而r i c h a r ds z e l i s k i 也因此成为图像拼接领域的奠基人。2 0 0 0 年， s h m u e lp e l e g ，b e n n yr o u s s o ，a l e xr a v a c h a 等在r i c h a r ds z e l i s k 的基础上作了进一 步的改进，提出了自适应图像拼接模型，它是根据相机的不同运动而自适应选择 拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果 无疑推动了图像拼接技术的进一步的发展，因此自适应问题也从此成为图像拼接 领域研究的新的热点。s e v k e tg u m u s t e k i n 博士主要对消除在固定点旋转摄像机拍摄 自然景物时形成的透视变形以及将捕获的图像拼接为全景图进行了研究。他通过 标定摄像机来建立成像模型，将捕获到的图像投影到统一的高斯球面上，从而获 得拼接图像。用这种基于投影模型来完成图像拼接的方法，其拼接效果好、可靠 性高。但是该方法要求对摄像机进行精确的标定，同时要求摄像机透镜本身的畸 变参数引起的图像变形可以忽略不计。 在国内，王小睿等分别利用序贯相似度检；浈i j ( s s d a ) 和归一化积相关两种相似 性度量方法【”】，建立模板图像和输入图像之间的相似性度量值，再利用模拟退火 算法随机寻优，快速准确地找到最佳匹配点，从雨实现图像的拼接。浙江大学 c a d & c g 国家重点实验室和中国科学院自动化所模式识别国家重点实验室利用模 板匹配的方法进行搜索来确定重叠区边界获最佳匹配位置，从而获得拼接图像。 同时他们把这种方法应用于微血管循环和集成电路等的图像拼接研究中，取得了 一定的成效。大连理工大学的封靖波等提出了一种基于相似曲线的拼接方法i l “， 通过寻找按列梯度最大点，建立两条曲线，然后确定这两条蓝线最相似的部分， 从而找到两幅图像的匹配位置。这种方法在一定程度上简化了匹配策略并减小了 计算量。 早在1 9 8 8 年，h a r r i s 就提出t h a r r i s 兴趣点检测器f 3 】，他使用自相关函数来确定 信号发生二维变化的位置，这种方法提取的兴趣点被证明具有旋转、平移不变性， 并且可以达到亚像素级的精度。对信号噪声、数据获取时的参数变化和图像变换 以及图像光照条件等具有较好的鲁棒性。1 9 9 4 年，b l a s z k at r a c h i dd e r i c h e 通过二 维高斯模糊过滤得到一些低级特征模型，从此以后越来越多的人开始研究基于特 第一章绪论 征的图像拼接方法。1 9 9 7 年，l e i l am g f o n s e c a 和j u n w e ih s i c h 等人采用基于小波 变换的多尺度分析理论，先对图像作小波变换，计算小波交换的模值，模的局部 极大值点即对应图像中的边缘特征点。张迁等人利用最小同值吸收核算法( s m a l l e s t u n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ，即s u s a n 算法) 【1 6 】提取角点，利用这些 角点作为特征点来实现图像的拼接。后来，周鹏、谭勇等入在此基础上提出一种 沿圆弧曲线扫描的方法提取角点，从而提高了特征点提取的精确度。 经常用于图像拼接的方法还有相位相关法1 2 9 】，这种方法最早在1 9 7 5 年由k u g l i n 和h i n e s 提出，相位相关法具有场景无关性，能够将纯粹二维平移的图像精确地配 准。在此基础上d ec a s t r o 和m o r a n d i 发现用傅立叶变换确定旋转配准，就象平移配 准一样有效，于是他们提出了扩展相位相关法l 。后来r e d d y 和c h a a e l j i 改进t d e c a s t r o 的方法，提出使用基于快速傅立叶变换( f f t b a s e d ) 的方法【6 j ，大大减少了需 要转换的数量，提高了运算效率。相位相关法是一种简单的配准方法，也是最有 前途的自动配准方法。但这种方法一般需要比较大的重叠比例，通常要求待配准 图像之间有5 0 的重叠比例，同时计算量和适用范围与图像的尺寸的大小有很大关 系。 1 3 课题研究的背景和意义 从二十世纪六十年代起，随着电子技术和计算机技术的不断提高和普及，数 字图像处理技术进入高速发展时期。目前数字图像处理的应用越来越广泛，已经 渗透到工业、医疗保健、航空航天、军事等各个领域。在日常生活中，使用普通 相机来获取宽视野的场景图像时，人们必须通过调节相机焦距才可以摄取完整的 场景，但这样所获取的全景照片的分辨率相对较低，这是因为相机的分辨率是一 定的，所以拍摄的场景越大，拍摄得到的场景的分辨率就越低。因此人们不得不 通过缩放相机镜头来减小拍摄的视野以换取高分辨的场景照片。另外，由于距离 的限制，某些超大尺寸的物体无法用一张照片拍摄下来，这在航空航天照片的拍 摄中显得尤为突出。：以上这些情况就会在场景的大小和分辨率的高低之间形成一 对矛盾。因此为了在不降低图像分辨率的条件下获取大视野范围的场景照片，人 们采用了图像拼接技术来将多幅相片拼接成一幅大的照片。由于图像拼接技术所 使用的原始数据是一组具有高分辨率的图像序列，所以将这组高分辨率的图像序 列采用一定的拼接方法合成为所需要视野大小的全景图，这样既提高了图像的分 辨率又增加了视野的大小。当代医学影像成像系统的应用为医学诊断提供了不同 模态的图像，这些多模态的医学图像可以提供不同的医学信息，通常这些图像数 据来源于c t 或m 等设备的成像，在扫描过程中由于病人的移动可能使得这些二 维图像在方位和角度上发生变化，因此需要对这些图像进行配准，然后通过图像 4图像拼接技术研究 拼接技术和融合把它们之间的互补信息综合在一起，这样就能为医学诊断及人体 的结构和功能的研究提供更充分的信息。 近年来，随着虚拟现实技术的飞速发展，具有广阔应用开发前景的基于图像 的绘制技术( 简称i b r ) 已逐渐成为虚拟现实技术领域中一个热点问题，其中所涉及 到的图像拼接技术也成为众多研究者感兴趣的研究方向。虚拟场景的构建也是图 像拼接技术的一个重要应用领域。要想在虚拟场景中获得身临其境的感觉，就要 求虚拟现实系统能够实时地生成高质量的画面，因此在虚拟场景的创建过程中， 生成场景画面的质量和速度是衡量这个虚拟场景优劣的两项关键性指标。于是人 们利用基于图像的绘制方法，通过一组预先采集到的场景图像序列构建数据模型， 然后根据用户观察参数确定图像数据合成参数，最后通过图像拼接技术适当组合 这些场景图像来产生虚拟场景视图，以完成虚拟场景的绘制工作。由于基于图像 的绘制方法充分地利用了图像本身所具备的真实感以及发挥图像显示速度快的优 点，成为增强虚拟场景的真实感和提高实时场景绘制的一种重要手段。而在基于 图像的绘制方法中，图像拼接技术又是虚拟场景创建过程中的关键性环节，直接 影响到一个虚拟现实系统的性能，结合此项技术开发的虚拟现实系统具有不可低 估的应用开发前景，因此对图像技术的研究不仅对i b r 方法而且对整个虚拟现实技 术将产生深远的影响。 此外，随着多媒体技术的发展和信息高速公路的出现，多媒体应用逐渐网络 化，如视频点播、电子购物和访问多媒体图书馆等。视频数据作为重要的多媒体 数据源已经引起了人们的极大关注。但是我们知道，视频数据往往包含有大量的 冗余信息，特别是在某些包含静止场景的场合，视频图像序列往往是由于摄像机 做一定的运动生成的，为了有效地消除视频数据中的冗余信息，便于视频数据的 存贮、传输以及视频检索等，图像拼接技术为此提供了一种非常有效的技术途径， 如m p e g - 4 编码标准中的s p r i t e 技术等。 1 4 论文主要研究工作和组织结构 1 4 1 主要研究工作 本文的研究工作主要是针对实现图像拼接的关键技术：图像配准技术、图像 融合技术等的研究。在此基础上提出了两种图像拼接方法，即一种基于相位相关 优化的图像拼接方法和一种基于兴趣点匹配的图像拼接方法。论文后期主要集中 在全景图像拼接技术的研究，并在此基础上实现了实时全景视频监控系统的软件 设计。 第一章绪论 本论文的主要贡献： 5 1 ) 论文对图像拼接技术的特点作了概括和分析；归纳总结了图像拼接技术的合成 方式、图像拼接技术的应用领域、图像的各种配准方法以及图像的融合方法。 2 ) 针对经典的变换优化配准方法的缺点，提出一种基于相位相关优化的图像拼接 方法。这种方法利用扩展相位相关法获得初始的配准参数值，然后利用l - m 优化算法对初始参数值进行优化，从而得到较为准确的配准参数，该方法克服 了人工手动交互式确定寻找两幅图像重叠区域相关点而确定的初始参数与真 值之间较大误差的缺点。同时避免了基于图像灰度方法的大量繁琐的搜索过程 以及消除了基于图像特征方法的误匹配，是一种实时性较好，容易实现的拼接 方法。 3 ) 由于相位相关法的局限性，本文提一种基于兴趣点匹配的图像拼接方法，该方 法通过h a r r i s 检测器，提取出图像的兴趣点，再采用比较最大值法提取出匹配 特征对，利用匹配特征对实现图像的配准。由于基于兴趣点匹配的图像拼接方 法采用了全局最优的思想，因此不会受到图像尺寸条件的影响，从而克服了相 位相关法与图像的尺寸相关的缺点。 4 ) 针对图像融合技术中渐入渐出方法在两幅图像重叠部分中个别对应像素灰度 值存在较大的差异而使融合后的图像在这些像素处的灰度值出现跳变这一问 题，本文通过引入一阈值的方法来控制两幅图像重叠区域对应像素灰度值的差 异。实验表明针对差异的大小选择合适的阈值，可以明显改善重叠区域的平滑 效果。 1 4 2 论文的组织结构 全文共分七章。 第一章为绪论，主要介绍了国内外图像拼接技术的研究现状、课题研究背景、 课题研究意义以及论文完成的主要工作。 第二章为图像拼接技术综述篇，本章主要阐述了图像拼接技术的主要研究内 容、图像拼接技术的特点、图像的合成方式以及图像拼接技术的应用颁域。 第三章主要研究了图像拼接的关键技术。其中包括图像配准技术的基本原 理、方法和图像融合技术的原理与方法，并分析了各种方法的优缺点。 第四章针对经典的变换优化拼接技术，提出一种基于相位相关优化的图像拼 接算法，并给出实验结果和结论。 第五章通过对相位相关法的研究，提出了一种基于兴趣点匹配的图像拼接方 法，分析了这种方法相对于相位相关法的优越性能，最后实验证明了该方法的有 6图像拼接技术研究 效性。 第六章主要对全景图像拼接技术进行了深入地研究，重点介绍和分析了柱面 全景图像拼接技术，在此基础上给出了两个实验实例。 第七章的结束语是对本论文的一个总结以及对图像拼接技术的讨论和未来 的展望。 第二章图像拼接技术综述 第二章图像拼接技术综述 本章主要介绍了图像拼接技术的主要研究内容、特点、合成方式以及图像拼 接技术的应用领域指出图像配准技术是图像拼接的核心技术，并以图像合成方 式为基础对图像拼接技术进行分类通过对图像拼接技术应用领域的介绍，从而 展示了图像拼接技术研究的广阔前景和重要的价值。 2 1 图像拼接技术主要研究内容 2 1 1 图像拼接的主要相关技术 图像拼接( i m a g em o s a i c ) 技术就是将一组相互间存在重叠区域的图像序列实施 配准而融合形成一幅包含各图像序列信息的宽视野的、完整的、高分辨的新图像。 它主要包括以下几个方面： l 、图像配准：图像配准是指依据一些相似性度量来决定图像间的变换参数， 使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像，变换 到同一坐标系下，在像素层上得到最佳匹配的过程1 2 。 2 、图像融合：图像融合就是指将图像进行空间叠加从而增加信息量的过程。 一般情况下两幅图像由于采样时间和采样角度以及光照变化等因素的影响而使重 叠部分呈现出明暗强度及变形程度的差异，为了能够使融合后的图像具有视觉一 致性而且没有明显的接缝，则需采用无缝融合技术。 其中，图像配准是整个图像拼接技术的核心技术，它直接关系到图像拼接算 法的成功和效率，因此对图像配准技术的研究也是本论文研究的重点内容。 2 1 2 图像拼接的基本流程 图像拼接一般是一个多步骤的过程，如图2 1 所示是一个图像拼接的一般流 程图。首先要获取待拼接的原始图像，然后将原始图像经过预处理( 比如平滑去 噪等) ，再对图像进行有用信息的提取，接着进行关键的图像配准和效果评估，最 后进行图像融合，从而生成最终的全景图像。由于采用的方法的不同，不同的算 法之间的步骤也会有一定的差异，但大致的过程基本是相同的。其中，对于某些 算法，它们用到了迭代的方法，对得到的结果要进行多次的效果评估，在达不到 满意的效果的时候，就重新进行匹配直至达到一定的主观评价标准。图2 2 是一 个图像拼接过程的实物示意图。 7 图像拼接技术研究 图2 1 图像拼接过程流程图 图2 2 图像拼接过程示意图 2 2 图像拼接技术的特点 图像拼接技术是以多幅图像为处理对象，需要对两幅或两幅以上的图像同时 进行综合的分析，因此相对于其他诸如图像压缩、插值等图像处理技术，有其自身 的特点：多样性、针对性和复杂性。 1 、多样性 客观世界中的自然物体和人造物体的种类繁多、形状各异，这使得图像 的内容千变万化；由于光照条件的变化和景物中不可避免的物体移动，所以相机 一次采集的图像之间和同一景物不同时间多次采集的图像之间都存在明显的差 异；相机在采集图像的过程中，存在着多种运动方式，如平移、旋转、缩放等， 这也使得到的图像具有不同的特点以上原因造成了图像拼接技术的处理对象的 复杂性和不可把握性，这也直接决定了图像拼接技术的多样性。 2 、针对性 由于图像的内容是多种多样的，它们的特点各不相同。另外，由于某些 第二章图像拼接技术综述 9 图像是在特殊条件下得到的，如柱面图像、球面图像和视频图像序列等。因此， 针对这些特点产生了特定的图像拼接算法。一般来说，这些算法的针对性都很强， 对于某种条件下图像的拼接算法可能完全不适用于另一条件。 3 、复杂性 从多幅图像的采集到生成无缝的宽视角的全景图，中间需要经过多个环 节。因而图像拼接技术拥有复杂的特点，它一般都是多种处理手段和算法的总和。 图像拼接技术的多样性、针对性和复杂性决定了它们没有标准的测试图像， 因此也没有统一的评价标准，衡量一个技术的优劣主要是靠人的主观视觉感。图 像拼接技术由于有着以上的特点，因此任何一种算法，尤其处理对象是多幅图像 的时候，都无法保证由计算机来完成算法的全过程。在拼接过程中或多或少地需 要与用户的交互操作，随着用户的主观评价而进行调整直至达到最佳的视觉效果。 2 3 图像拼接方式 图像拼接技术是对图像序列进行操作的技术。为了从图像序列中构建大范围 的场景图像，摄像机需要通过平移、旋转、镜头缩放以及其它运动来拍摄得到需 要的图像序列，并且序列之间应该具有一定的重叠区域。根据相邻两幅图像之间 对应点满足的对应关系模型的不同，可以分为刚性变换模型、仿射变换模型、投 影变换模型以及双线性变换模型等。利用这些对应关系模型，可以将图像序列拼 合成一幅大型无缝的全景图。目前，图像拼接的方式主要有以下四种： 一、帧到帧合成方式( f r a a et of r a m e1 该方式首先计算出图像序列中连续相邻图像帧间的变换参数，根据这些 变换参数可以计算出图像序列中任意两幅图像帧问的变换参数。若选择图像序列 中的某一图像帧作为参考图像帧，图像序列中的其它图像帧与之配准，则图像序 列中的其它图像帧与参考图像帧间的变换参数可以通过先前计算出来的相邻图像 帧间的变换按照一定的次序组合得到，从而实现图像的拼接。若选择一个虚拟的 坐标系统，则需要知道该虚拟坐标系与图像序列中任意一幅图像帧所处的坐标系 之间的变换参数，再计算出图像序列中各图像帧与参考图像帧( 即与虚拟坐标系问 变换参数己知的图像帧) 间的变换参数，最后利用组合变换的方式实现图像的拼 接。这种合成方式也称为静态图像拼接技术，即采用批处理昀方式将图像序列中 的所有图像同时变换到同一坐标系上进行配准，然后选取不同的时空滤波器进行 图像的拼合以获取拼接图像。这里，坐标系可以由用户指定或按照一定的规则自 动选取，在拼接过程中，坐标系是固定不变的。静态图像拼接技术中的“静态” 并非是指场景是静止不动的，而是指拼接过程中的参考坐标系是固定的，场景中 允许存在运动目标。由静态图像拼接技术得到的拼接图像，其中的运动目标可能 i o 图像拼接技术研究 消失。如图2 3 所示是帧到帧合成方式示意图，这罩图石为参考帧，则变换矩阵 m 3 是由矩阵m ：m 2 3 组合而成，同理m 枷由帆，s t m q ：n - 1 ) n 组合而成。 m 2m 2 3m 3 4螈，m 图2 3 帧到帧合成方式 二、帧到拼接图像合成方式( f r a m et om o s a i c ) 采用帧到帧的合成方式进行图像拼接时，配准参数的连续组合会造成累计 误差，由此，人们提出了帧到拼接图像的拼接方式，即将当前图像帧与拼接图像 进行配准，在拼接图像与当前图像帧之间存在较大位移的情况下，可以将前一帧 图像与拼接图像间的配准参数作为初始值进行配准。这种合成方式也称为动态图 像拼接技术，即采用增量处理的方式，将当前图像与当前拼接图像( 由当前图像 以前的一段图像序列拼接而成) 变换到同一坐标系上进行配准，以当前的图像内 容来更新当前的拼接图像内容。在这里，因为将图像序列中的图像逐幅变换到当 前拼接图像所在的坐标系上进行配准，因此坐标系保持固定不变。由于采用增量 的拼接方式，当场景中存在运动目标时，利用动态图像拼接技术获得的拼接图像 不会出现运动目标消失的现象，同时也使得动态图像拼接技术特别适用于数字视 频数据的低比特率传输。然而采用增量的拼接方式导致拼接的图像缺乏随机访问 的性能，使之不适合用于视频检索、浏览以及视频编辑等领域。如图2 4 所示是帧 到拼接图像合成方式示意图，这里图石为参考图像。 昭晃尹 图2 4 帧到拼接图像合成方式 三、拼接图像到帧合成方式( m o s i ct of r a m e ) 该方式是将拼接图像与当前图像帧进行配准，以当前图像帧所处的坐标 第二章图像拼接技术综述 系为基准坐标系。这种合成方式特别适合于实时的视频传输，这样当前传输的图 像帧无需进行坐标变换。该合成方式也可以用于动态图像拼接技术中。此时，拼 接图像与当前帧之间的变换参数等于前一帧图像与当前帧图像之间的配准参数。 在这里，由于将当前拼接图像变换到当前图像所在的坐标系上进行配准，因此坐 标系是在不断交化的。如图2 5 所示是拼接图像到帧合成方式示意图。 黑旱尹 图2 5 拼接图像到帧合成方式 四、拼接图像到拼接图像( 树形) 合成方式( m o s a i ct om o s a i c ) 。 为了进一步减小图像拼接间的累计误差，提出了树形拼接的合成方式， 即将图像序列按照一定的规则进行分段拼接构成子拼接图像，最后再将各子拼接 图像配准合成最终的拼接图像，如图2 6 所示是拼接图像到拼接图像合成方式示 意图。 拼接子图i 、夕子z ：夕硼“ 一 全景图 图2 6 拼接图像到拼接图像合成方式 1 2 图像拼接技术研究 2 4 图像拼接技术的应用领域 图像序列包含了场景的空间、时间上的信息，其中的每一幅图像只反映了场 景的局部信息。由于它们在空间和时间上具有很大的冗余，因此采用图像拼接技 术可以将一组图像序列转换为单个场景的表示，大大减少了场景表示的数据量， 最大程度上压缩了场景数据信息。因此，图像拼接技术在摄影测量学、计算机图 形学、图像处理、视频通信和计算机视觉等科学领域得到了广泛的应用。 2 4 1 医学领域的应用 在医学领域，图像的应用无所不在。从c t 图像、x 光照片到人体的细胞照片， 医学对图像的质量和处理手段都有极高的要求，许多图像处理技术也是在解决医 学图像问题的过程中产生的。全景图由于其宽视角的优点也被用于了医学领域， 尤其是外科手术的领域。 在外科手术中，视网膜的激光手术是一个较难的课题。由于缺少对视网膜整 体状况进行检查的工具，这类手术的成功率只有5 0 。为了解决这一问题，a l i c a n c h a r l e s 和v s t e w a r t 等人提出了利用图像拼接的方法构建视网膜的整体视图【3 6 1 ，用 来作为外科手术时的依据。他们假设相机的运动只有旋转和平移且焦距没有变化， 并将视网膜近似为一个二维的曲面，这样通过求解一个1 2 参数的变换矩阵找到相 邻两幅图像之间的变换关系。在确定这1 2 个参数的过程中，他们利用了多级匹配 的方法，即在零次曲面上估计平移参数，在一次曲面上估计仿射变换参数，最后 在二次曲面上确定1 2 个变换参数。由于视网膜上遍布血管，有很多清晰的血管的 三叉点，因此以此作为匹配的特征点，取得了很好的效果。如图2 7 所示，这一方 法可以自动将一系列视网膜的图像拼合成一张大的视网膜图像。 图2 7 视网膜图像的拼接 左：三叉特征点右：拼接的视网膜全景图 第二章图像拼接技术综述 2 4 2 基于拼接技术的环境监测及视频监控系统 1 3 图像拼接技术可以用于环境监测，通过将卫星图片或航空照片拼接成大范围 的场景图片来实现对某一地区的整体监测，比如对某一地区的河流流域、耕地面 积以及农作物病虫害情况的监控等。在军事上，全景图像可以用来描述某一区域 上的动态信息，比如场景中的运动目标及其运动轨迹。当运动目标相对于背景比 较小的时候，可以在同一坐标系下对场景中的运动目标进行目标跟踪，也可以根 据视频的帧率以及运动目标的周围场景来估计运动目标的运动速度。利用时间域 上的连续性约束条件，对场景图像中运动目标的轨迹估计可以产生更为可靠的检 测和跟踪，而且在对运动目标进行跟踪时，可以有效地消除背景的运动和噪声的 影响。 在日常生活中，图像拼接技术也可用于全景图像视频监控系统中如图2 8 所示， 将由多路摄像头获取的分离的监控图像序列合成一幅宽视野的高分辨率的全景图 图2 8 全景图像视频监控系统示意图 像用来实现实时监控，这样就无需分别监控每一路视频。全景图像视频监控系统 在空间上不仅可以给人一种身临其境的整体感觉，而且可以更加准确的确定监控 目标的相对位置，同时使得监控系统更加符合人的视觉一致性的效果。全景图像 视频监控系统可以应用于视频会议、网上购物、交通控制和比赛电视直播等多个 领域。随着网络技术的不断发展，全景图像视频监控系统还可以进一步向网络化 发展，实现远程监控。在今后的远程全景图像视频监控系统中，实时监控的计算 机可以看作是一台拥有独立的i p 地址的服务器，用户可以通过局域网或i n t e m e t 访 问服务器，进行实时监视。 s z e l i s k i 提出了一种由视频图像序列构造全景视图的技术，通过这种方法构建 的全景视图可以用于现场操作员和指挥专家之间的远程协作系统和远程遥控系 统，现场操作员通过头盔摄像机将现场拍摄的视频图像通过无线通信的方式传递 1 4 图像拼接技术研究 给在远程的指挥专家，远程指挥专家在收到现场拍摄的视频图像后构建出现场的 全景图像，然后根据现场情况提出建议并通知现场操作员进行相关的操作。 2 4 3 图像拼接技术用于虚拟现实场景的构建 虚拟现实技术( v i r t u a lr e a l i t y ) 就是利用计算机构建一个逼真的虚拟环境，即 以仿真的方式给人们创造一个反映实体对象变化及其相互作用的三维世界，使得 人们能够通过使用专用设备，就能像在自然环境中一样对虚拟环境中的实体进行 图2 9 基于图像绘制的全景圈构建虚拟环境系统模型 观察与控制。图像拼接技术的发展是与全景图的应用领域的不断扩大分不开的， 其中一个重要且成功的应用领域就是基于图像的虚拟现实技术。在这种技术中最 关键的技术指标就是虚拟场景的构建，早期虚拟场景的构建通常采用基于计算机 图形学原理，即所谓的基于模型绘制技术( m o d e lb a s e dr e n d e r i n g ) 。这种技术首先 对场景进行三维几何建模，然后将图像映射到几何体上，当作某一部分场景的近 似，这个过程称作纹理映射。它依赖于定义纹理空间( 图像) 坐标与三维几何模型 中对应位置之间的映射函数，这种映射的确定既是困难的，也是费时的，经常需 要人工的干预，并且需要昂贵的加速绘制的专门硬件，同时具有很高的复杂度。 为了解决这一技术的难题，人们提出了基于图像的绘制技术( i m a g eb a s e dr e n d e r i n g 。 简称i b r ) ，i b r 技术可以使用图像拼接技术从一系列真实图像中快速绘制出具有真 实感的新视图。在基于i b r 技术的虚拟现实技术中，虚拟场景的构建是利用采集的 离散图像序列或连续的视频帧作为基础数据，通过图像拼接技术生成一系列全景 第二章图像拼接技术综述 图像，并对其进行空间关联建立起具有空间操纵能力的虚拟环境，如图2 9 n 示是 基于图像绘制的全景图构建虚拟环境系统模型。i b r 技术在构建虚拟现实环境时具 有计算量小、与场景复杂度无关及具有与真实场景( 从真实环境中获取) 几乎一 样的效果等优点而被广泛的使用。因此，从已有的实景图像中合成新视图的i b r 技 术引起了计算机图形学和计算机视觉界有关研究人员的普遍关注，并在全世界范 围内形成了i b r 的研究热潮。目前，i n t e r n e t 的普及也为虚拟全景空间的推广和应用 构筑了一个很好的平台，人们可以足不出户地进行虚拟旅游、虚拟购物以及虚拟 购房等。这些技术的广泛应用使得图像拼接技术进一步实用化和商业化。 2 4 4s p r i t e 技术在视频编码中的应用 图像拼接技术另外一个重要应用是视频压缩领域。面向对象的编码思想已经 成为m p e g - 4 编码标准的主导思想，与传统的第一代编码方法相比较，它有很多优 点。它可以根据图像的内容，将图像分割成不同的区域，形成不同的视频对象面 ( v i d e oo b j e c tp l a n e , v o p ) ，然后根据不同的应用要求，针对不同的视频对象面采用 不同的编码策略。这样的编码技术不仅可以在保证图像的视觉质量的同时，大大 提高了编码的效率。目前m p e g - 4 编码标准针对视频中背景对象的特点提出了 s p r i t e 编码方式，通常背景视频对象自身是没有任何局部运动的，它在每帧中所发 生的变化多是由于前景物体的运动，使背景时而被遮挡，时而又显露出来；或者 是由于摄像机的运动使背景产生比较复杂的变化。为了有效的编码这类图像，可 以