（计算机软件与理论专业论文）全景图自动拼接算法研究及系统实现.pdf

馈i j 论义 全景图自动拼接算法研究及系统实现 摘要 全景图是虚拟现实中一种重要的场景表示方法。通常获得高质量的全景图需 要使用昂贵的专用设备，而且拍摄时需要精确地校准摄像机。从普通摄像机图像拼 接是获得全景图的一种低成本而且比较灵活的方法。 采用普通照相机拍摄的照片可能出现图像扭曲、交叠和倾斜，照片之问可能 有一定色差，因此，在图像的拼接和建立全景图方面难度大。本文中主要是通过 对多种图像拼接算法的研究，提出图像拼接改进算法，该算法能够在较宽松的条 件下能够较准确地匹配两幅图像，实验证明该算法能够有效地拼接普通相机拍摄 的照片，消除图像扭曲、交叠和倾斜对于图像拼接的影响。同时，在实现柱面全 景图时，为了不改变物体在自然界中的几何信息，也进行了柱面投影研究，实现 柱面全景图。 最后使用v c + + 和o p e n g l 技术实现了图像拼接系统和柱面全景图浏览器，该系 统能够自动拼接按照数字排序的序列照片。柱面全景图浏览器可以通过鼠标和键 艋方向键3 6 0 ”浏览全景图。 关键字：图像拼接；全景图：柱面全景图：柱面投影 领l ：论史 全景图自动拼接算法研究及系统实现 a b s t r a c t a sa l li m a g e r e p r e s e n t a t i o no f v i r t u a le n v i r o a r n e n t ，p a n o r a m a h a si m p o r t a n t a p p l i c a t i o n si nv i r t u a l r e a l i t y g e n e r a l l y , t og e tap a n o r a m a w i t h h i g hq u a l i t y , w en e e d s o m e s p e c i a l ，e x p e n s i v ea n dc a r e f u l l yc a l i b r a t e de q u i p m e n t i m a g em o s a i ci sa n i n e x p e n s i v ea n d f l e x i b l ea p p r o a c ht og e tp a n o r a m aw i t ha s i m p l e h a n d - h e l dc a m e r a t h e p h o t o s t a k e nw i t hah a n d h e l dc a m e r a u s u a l l yh a v el a r g ep e r s p e c t i v ed i s t o r t i o n ， s m a l lo v e r l a p ，b r i g h t n e s sd i f f e r e n c e ，s m a l lc o n c e n t r i ce r r o r sa n dc a m e r ar o t a t i o n s t h e s ec h a r a c t e r i s t i c sm a k eb o t hi m a g ea l i g n m e n ta n dp a n o r a m ab u i l d i n gm o r ed i f f i c u l t t h a nu s i n gp h o t o st a k e nb yc a m e r a sc a l i b r a t e db ys p e c i a le q u i p m e n t b a s e do ns t u d y i n g m a n yi m a g em o s a i ca l g o r i t h m s ，w ep r e s e n ta b e t t e ro n et h a ti sa b l et oa c c u r a t e l ys t i t c h t w os i m i l a ri m a g e sa u t o m a t i c a l l yw i t ht h el i m i t a t i o no ft h ep h o t o s t h er e s u l tf r o mt h e e x p e r i m e n t s h o w st h ev a l i d i t yo f t h ea l g o r i t h m a tt h es a m et i m e ，is t u d yt h ec y l i n d r i c a l p r o j e c t i o na l g o r i t h m sa n di m p l e m e n tc y l i n d r i c a lp a n o r a m i ci m a g e a tl a s t ii m p l e m e n ta ni m a g e m o s a i cs y s t e ma n dap a n o r a m ab r o w s e rw i t hv c + + a n do p e n g l t h i ss y s t e mc a ns t i t c has e r i a lo fp h o t o so r d e r e db yn u m b e r s t h e p a n o r a m ab r o w s e rc a l lb e e nu s e dt o b r o w s ec y l i n d r i c a lp a n o r a m i ci m a g ew i t h i n3 6 0 。 o p e r m e d w i t hm o u s ea n dd i r e c t i o nk e y k e y w o r d s ：i m a g em o s a i c ；p a n o r a m i ci m a g e ；c y l i n d r i c a lp a n o r a m i ci m a g e ；c y l i n d r i c a l p r o j e c t i o n 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 己在论文中作了明确的说明。 研究生签名 。 于 ：经：i 拉。文卵耳年多月7 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阕或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：! 雌如# 4 年6 月了日 j i j 。 f 硕l 论义 全景图自动拼接算法研究及系统实现 1 绪论 随着社会和科学技术的发展，人们希望以更方便、更直观的方式与计算机进 行交互。虚拟现实技术f 是基于这一思想而产生的。虚拟现实是人们借助计算机 技术、传感器技术、仿真技术等仿造或创造的人工媒体空间，它是虚拟的，但又 有真实感，可通过多媒体传感交互设备使人进入一种虚拟的环境，产生身临其境 的感觉。 9 0 年代以来，虚拟现实和科学计算可视化等技术的研究得到了迅速发展，它 要求虚拟环境生成的速度不断提高，以达到实时性。传统的图形绘制技术均是面 向几何造型技术，绘制过程中涉及到复杂的建模、消隐和光度计算”1 ，而计算机 所提供的计算能力，以及网络带宽的限制往往不能满足复杂三维场景的实时绘制 目的。因而研究人员进行了大量研究，提出了多种实时图形绘制算法，如采用实 时消隐技术、多分辨率细节层次( 1 e v e lo fd e t a i l ，l o d ) 模型和基于图像的图 形绘制( i m a g e b a s e dr e n d e r i n g ，i b r ) 技术。近几年的s i g g r a p h 、e u r o g r a p h i c s 和i e e ev i s u a l i z a t i o n 等重要会议都设有交流专题，对i b r 进行了讨论，提出了 一些比较有效的算法”1 。 基于全景视图的方法作为i b r 中的一项关键技术，目前f 广泛的应用于虚拟现 实和计算机视觉等多种领域。i b r 的全景视图是把一些具有相关信息的一序列离散 的图像信息采用图像绘制技术的方法在一幅图像上完整地表现出来，它构造了一 个完整的图形环境，从而达到了较好的三维视觉效果。 图像拼接是将两张相邻且具有一定重叠区域的图像无缝的拼接在一起，是生 成全景图的关键技术部分，拼接算法的好坏关系到全景图真实感。本文讨论的对 象是一序列相邻图像，主要讨论的是图像的快速拼接算法及实现全景图生成系统。 1 1 选题背景及意义 人们所面对的是一个千姿百态，变化万千的环境。要想在计算机中重现人们 所看到的各种复杂环境，传统的虚拟现实技术是采用面向几何造型技术，在如今 的网络时代，由于带宽的限制，绘制速度远不能满足动态仿真、实时交互等对图 形绘制提出的要求，这样要达到实时性是有一定难度的。基于图像绘制技术( i b r ) 很好的解决了实时问题。 基于图像的虚拟现实技术是目前虚拟现实研究中最为活跃的研究课题之一， 因而作为它的基础问题之一的全景图生成问题也就成为了一个重要的研究方向， 倾 论文 全景图自动拼接算法研究及系统实现 全景技术的基本数据表示是由一组光学观察组成的，不需要明确的几何表示就能 提供令人信服的效果，全景技术是目前全球范围内迅速发展并逐步流行的一种视 觉新技术，它给人们带来全新的真实现场感和交互的感受。全景图是计算机图像处 理学界一个新颖的研究课题，它是基于图像的水平3 6 0 。及上下文空问的图像组织 环境，它是一种全新图像信息组织模式，可以表达完整的周围环境信息，相当于 人们从一个固定点向四周转圈所看到的景象。全景图对于观察者而言是建立在 图像上的立体的多角度的图像环境。 图像拼接是用来自动创建高分辨率的大图，是生成全景图的关键技术，它活 跃在摄影测量、计算机视觉、图像处理和计算机图形学等研究领域。图像拼接在 很多方面都有不同运用。传统运用于从收集来的照片构造人造卫星和天线的照片。 现在的运用包括场景的构造和变化监测，视频压缩以及视频索引，增大视域，甚 至简单的照片编辑。一个特别流行的运用是用数字全景图像模拟传统的基于电影 的全景图像来构建一个虚拟的场景和虚拟漫游。 在计算机视觉中，图像拼接是近来的一个趋势，即可视场景显示的研究。虚 拟场景和场景模拟的完全表示通常也需要恢复深度或视差信息。在计算机图形学 中，图像拼接是基于图像的图形绘制技术( i b r ) 的一个重要部分，i b r 的目的是 从真实或预先绘制好的图像中快速绘制新的真实感图像视景。 已经有一些用来获得真实场景的全景图，一种方法就是直接用全景照相机来 获得一个柱面全景图。另一种方法是用带有非常大的视角的镜头，如鱼眼镜头。 镜子式的金字塔和抛物线式样的镜子也可以致用获得全景图。“。 一个不需要那么多硬件却可以构造全视角的全景图的方法是用一序列图像或 视频图像来覆盖整个视觉区域。这些图像必须用个拼接算法来整合到一个全景 图中去。 全景技术应用广泛“1 ：可应用于网站建设、多媒体光盘制作、电子商务、房地 产展示、虚拟旅游、地理信息系统、宾馆酒店、虚拟展览等领域房屋丌发销售 公司利用虚拟全景浏览技术展示楼盘的外观、房屋的结构、布局、室内设计，购 房者在家中通过网络即可仔细查看房屋的各个方面，提高潜在客户群宾馆可以 利用网络，远程虚拟浏览宾馆的外形、大厅、客房、会议厅等各服务场所，展现 宾馆舒适的环境，完善的服务，给房客以实在感受，促进客户预定客房，同时也 是展示酒店形象的有效手段现代化的城市可以通过网络的虚拟浏览技术向世界 展示城市的迷人风貌，吸引旅游和投资者经典旅行社可以用优美的3 6 0 。全景照 片，显示景区内的优美景点。给旅游者以身临其境的感觉，制作风景区的介绍光 盘，也可以作为旅游公司吸引游客的绝好工具“互动虚拟物体”( v r o ) 技术使公 倾f 论文 全景图自动拼接算法研究及系统实现 司可以向客户提供更丰富的多媒体形式，用画和3 d 全景，来展示商品优点，吸引 客户购买3 d 全方位浏览技术大大提高了网络购物的可信程度，是电子商务站点 的有利助手。近年来，因特网的发展为全景技术提供了广阔的应用前景。 1 2 全景图研究的主要内容 在全景图技术的研究中，研究的主要内容包括： 1 生成全景图数据的采集，主要包括在照片拍摄时所需重叠大小，照相机拍 摄方法以及照相机的标定等。 2 同一空问问题，全景图大致可以柱面全景图、立方体全景图和球形全景图， 如在柱面全景图镶嵌过程中，如果对重叠图像直接进行无缝拼接，将会破坏实际场 景的视觉一致性，无法满足实际场景中各对象间的几何关系。为了保持实际场景中 的空间约束关系，我们必须将拍照得到的反映各自投影平面的重叠图像映射到一 个标准投影即柱面投影上，得到柱面图像后，才能进行拼接得到没有图像畸变的 3 6 0 。柱面全景图像。在全景图像的实际观察过程中，再将与用户观察方向一致的 部分经重投影变换到用户观察平面上束。 3 图像重叠区域匹配，在实际拍摄过程中，由于不同的拍摄技术以及照相机 的倾斜和旋转，所拍摄的照片有一定的摇晃和倾斜，以及由于焦距的改变，照片 中的同一物体大小的改变。同时还存在一定的噪声。如何在拼接过程中校准照片 消除噪声要加以研究。 4 图像融合，整个匹配过程完成以后，图像就定位了。但是如果只是将两幅 图像简单地叠加起来，会发现拼接而成的图像中含有清晰的边界，图像拼接的痕 迹非常明显，这是不能容忍的。出现这种现象，一方面是因为相邻图像间存在着 亮度的差异：另一方面则因为使用普通相机拍摄，会在采集到的图像中出现边缘 失真现象，而图像拼接拾拾要用到图像的边缘部分；还有则是因为相邻图像间不 可能是完全精确的平移关系，旋转、反射的影响虽然很小但仍然存在。为消除这 些影响，实现图像的无缝拼接，必须对图像的重叠部分进行平滑处理，以提高图 像质量。 5 浏览器实现，通过投影变换、无缝拼接生成的柱面全景图、立方体全景图 和球形全景图不能直接用来观看，通过o p e n g l 技术生成浏览器，观赏时，观者使 用鼠标或键盘控制画面，或上下、或左右，或拉近、或推远，画面在转动的同时， 画面上的每个像素都会遵循着要给观者以”误解”的原则，沿着浏览器上看不见的” 球型坐标”进行着有规律的”错位”变化。其结果就使得变形成”枣核”的矩形还原成 坝i ：论文 奎景图自动拼接算法研究及系统实现 了矩形，变形成弧形的线条还原成直线。通过景物形状的还原，使场景在转动过 程中产生透视立体感，同时使观者体验到很强的方位感。 1 。3 国内外研究历史和现状 全景图是计算机图像处理学界一个新颖的探索性研究课题，它指的是基于图 像的水平3 6 0 0 及上下文空间的图形组织环境，它是一种全新的图像信息、组织模 式，可以表达完整的周围环境信息，相当于人们从一个固定点向四周转一圈所看 到的景象。全景图对于观察者而言是建立在图像上立体的多角度的图像环境。 全景图是构成虚拟环境的基本单位，是描绘某个视点上周围环境的图像。根 据全景外在表现形式可以分为圆柱形全景、球形全景和立方体全景三种模式。不 同模式的全景图的存取难易程度均有很大差异。 1 立方体全景图，由六个平面投影图像组成，这种结构模式规则性好，易于 用计算机存取控制，但用相片构建立方体形全景图，相片的获取和相机的标定困 难较大，因立方体的相邻表面之间是相互垂直的，从而要求照相机主光轴在获取 相邻的相片时必须垂直，且摄取每一个平面图像需要9 0 。的广角镜，以避免图像的 变形，这就要求相机配有昂贵的镜头。因此照相机标定的准确与否将决定能否成 功生成全方位全景图像。生成全景图像时，所用的照相机标定方法不能过于复杂， 否则会影响全图像的推广和应用。 2 球形全景图，是将由普通照相机拍摄相片经镶嵌形成一个球体的形状。这 种模式与立方体形模式均能支持参与者在照相机的视点，它的视角是水平3 6 0 。， 垂直1 8 0 。是全视角的，及可以以任意的视线方向考察周围的环境。但是要构成球 形模式的全景图，必须先将平面相片投影成相应的球面图像，这是一个在图像平 面的x 与y 方向的非线性图像变形过程，且出于每个球面图像都有多个相邻图像， 因此在全景图镶嵌过程中图像求交定位均比较困难。再则，很难找到一个与球面 相对应且易于存取的数据结构，以存放球面图像数据。 3 圆柱形全景图，是用全景图相机拍摄的全景相片，或者是计算机绘制的全 景图像，或者是由普通相机拍摄的相片拼接成的一个以相机视点为中心的圆柱形， 该全景在水平方向能够实现视线3 6 0 。的环视，而在垂直方向参与者视线的转动角 度小于1 8 0 。此模式具有下面两个明显优点：其单帧相片的获取方式比立方体形 模式和球体全景都要简单。根据几何常识，圆柱面可展开成一个矩形平面，从 而我们可将圆柱全景图展开成一个矩形图像，且直接利用计算机的图像格式进行 存储与访问。虽然圆柱形全景在垂直方向允许参与者视线的转动角度小于1 8 0 。， 由于圆柱形全景在照相机标定方法上没有其他两种类型复杂，同时在绝大多数应 坝卜论史 全景图自动拼接算法研究及系统实现 用中，体现横向3 6 0 。的环视环境已足以表达空间信息。因此柱面全景图的生成问 题具有一定的代表性，3 6 0 ”圆柱形全景是目前虚拟环境的较为理想的选择。柱面 全景图的生成是通过将多幅场景图像经过投影变换后再进行拼接来实现的。 图像拼接主要是根据两图像重叠区域的相似度来实现的，其困难之处在于如 何保证生成图像的几何性和颜色协调性。目前已经存在了很多的图像拼接算法， 主要分为两大类：基于面积、基于特征的方法”1 。基于面积的方法是把一幅图像中 某一像素的像素值邻域作为模板，在另一幅图像中搜索具有相同( 或相似) 像素 值分布的对应点邻域，从而确定两幅图像的重叠范围。如s z e l i s k i 的基于运动 ( m o t i o n b a s e d ) 的方法、p e l e g 和h e r m a n 的多重投影( m a n i f o l d - p r o j e c t i o n ) 拼接法“3 、k y u n g h o 的等距匹配法”3 等，都是直接从图像重叠区域中的对应像素灰 度值出发考虑问题，虽然可以实现图像拼接，但是由于在算法中存在大量对像素 灰度数据的计算，所以普遍存在着计算量太大的缺点。基于特征的方法不是直接 利用图像像素值，而是通过像素值导出符号特征( 如特征点、特征线段等) 来匹 配，所以，它对于比度和明显的光照变化相对稳定。同时，它比基于面积的方法 要快得多。目前的大多数图像拼接算法都是采用这种方式的。然而，如何确定重 叠区域中相互匹配的特征点是目前图像拼接研究的主要内容。尤其是在相机在拍 照的是由有点倾斜和旋转以及重叠区域存在大量同纹理的图像，如同纹理的墙面， 海面等，在这种条件下的图像拼接如何消除误匹配问题是研究难点，也是研究重 点。 1 4 论文工作和结构 本论文主要工作是：针对全景图生成和图像拼接问题，通过改进现有的算法， 实现在较宽松的条件下快速、精确的无缝拼接；同时通过实验，验证该算法的有 效性；并利用v c + + 实现该算法；同时通过对同空间的讨论，实现柱面全景图； 并利用o p e n g l 技术实现柱面全景图的虚拟漫游。 本论文的组织结构如下：第二章全景技术的概括，介绍了全景技术的来由， 以及全景图中应用到的主要技术。第三章全景图生成，介绍了图像拼接中的一些 基本概念，以及图像拼接算法，列举两个算法得出去优缺点，通过研究这两个算 法以及其他一些算法，提出改进算法。第四章同一空间面，因为存在3 种全景图， 所以存在3 种空间面，只有把拍摄到的照片投影到这些面上，才不会改变实际的 几何信息，主要研究了柱面空问面。第五章系统的实现，利用提出的改进算法实 现一个拼接系统，同时，利用柱面正投影和反投影算法实现柱面全景图浏览器， 坝论文全景图自动拼接算法研究及系统实现 可以进行虚拟漫游。最后，总结了提出算法的优点和缺陷，以及以后工作的展望。 6 预：l 论文 全景图自动拼接算法研究及系统实现 2 全景技术概括 2 1 虚拟现实简介 传统的信息处理环境一直是“人适应计算机”，而当今的目标或理念是要逐步 使“计算机适应人”，使我们能够通过视觉、听觉、触觉、嗅觉，以及形体、手势 或口令，参与到信息处理的坏境中去，从而取得身临其境的体验“1 。这种信息处理 系统己不再是建立在单维得数字化空间上，而是建立在一个多维的信息空间中。 虚拟现实技术就是支撑这个多维信息空间的关键技术。 1 9 6 5 年，s u t h e r l a n d 在篇名为终极显示的论文中首次提出了包括具有交 互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本思想，从此，人们 正式开始对虚拟现实系统的研究探索历程。 1 9 6 6 年，美国m i t 的林肯实验室正式开始了头盔显示器的研制工作。 8 0 年代，美国宇航局( n a s a ) 及美国国防部组织了一系列有关虚拟现实技术 的研究，并取得了令人瞩目的研究成果，从而人们开始了对虚拟现实技术的广泛 关注。 9 0 年代，计算机技术的不断发展，使得虚拟现实技术不断创新。 虚拟现实 2 l ( v i r t u a lr e a l i t y ，简称v r ) ，又称之为临境、灵境，它是由美国v p l r e s e a r c hi n c ，公司的j l a n i e r 在1 9 8 9 年造出来的一个词，它是一种基于可计算信息 的沉浸式交互环境，具体地说，就是采用以计算机技术为核心的现代高科技生成 逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然 的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生亲临等同真实环 境的感受和体验。 虚拟现实系统是用各种硬件技术和软件技术方法，设计出合理的硬件、软件 及交互，使参与者能交互式地观察和操控系统生成的虚拟世界。从概念上讲，任 何一个虚拟现实系统都可以用三个“i ”来描述其特征，这就是“沉浸( i m m e r s i o n ) ”、 “交互( i n t e r a c t i o n ) ”和“想象( i m a g i n a t i o n ) ”【2 1 。 1 沉浸性”“。虚拟现实技术是根据人类的视觉、听觉的生理心理特点，由计 算机产生逼真的三维立体图像。使用者与虚拟环境中的各种对象的相互作用，就 如同在现实世界中的一样。使用者在虚拟环境中，一切感党都是那么逼真，有一 种身临其境的感觉。 2 交互性”“”。虚拟现实系统中的人机交互是一种近乎自然的交互，使用者不 坝 ：论文 全景图自动拼接算法研究及系统实现 仅可以利用电脑键盘、鼠标等进行交互， 3 多感知性”1 。由于虚拟现实系统中装有视、昕、触、动觉的传感及反应装 置，因此，使用者在虚拟环境中可获得视觉、听党、触觉、动觉等多种感知，从 而达到身临其境的感受。 虚拟现实中虚拟场景绘制技术 1 面向几何造型技术 绘制过程中涉及到复杂的建模、消隐和光度计算。在给出虚拟场景的三维模 型之后，为了使虚拟环境看上去更加逼真。还需要给各个模型施加各种纹理、颜 色与反射属性。几何建模描述的虚拟环境的三维造型( 多边形、三角形和顶点) 及其外观( 纹理、表面数据反射系数、颜色等) ，在虚拟场景生成、显示和漫游过 程中，涉及到复杂的几何变换、剪裁、光源和光照属性的变换，这些都需要大量 的计算，这对于普通计算能力的计算机来说，显示的速度就会有所下降，尤其是 在网络显示的时候，显示速度是难以忍受的。 2 基于图像的图形绘制技术( i b r 技术) 多年来，研究人员一直在追求生成出与真实场景非常逼近的虚拟场景。可是 有人却从另外一个角度在考虑这个问题：能否直接由真实场景的图片来构造一个 虚拟场景呢? 由于真实场景的图片在计算机内表现为点阵结构的像素图像，没有 三维几何信息，没有光照信息，虽然图像好看，易于获取，但图像往往只能反映 真实场景的某个角度的视觉特征，当用户移动视角时，无法由单幅图像看到其他 角度的场景。虽然这种基于真实图像场景构造的想法很直接，但直没有引起大 家的深入研究。直到由a p p l e 公司推出的q u i c k t i m ev r 系统，它是一个基于柱面 全景图像的虚拟现实系统，该系统无须知道图像的三维几何信息，但可以支持用 户在虚拟环境中3 6 0 0 环视、沿固定路线前进与后退等漫游操作，而且用户看到的 都是高质量的真实照片。从此，学术界确认了i b r 的学术地位，并引起全球研究 热潮。 2 2i b r 技术简介 基于图像的图形绘制4 1 ( i m a g e b a s e dr e n d e r i n g ，简称i b r ) 技术是以环境中 抽样出来的离散图像组成基础数据，通过处理与组织这些图像数据得到环境的连 续描述的过程。 i b r 技术是基于一些预先生成的图像来生成不同视点的场景画面，是一个新兴 的研究领域，它改变人们对计算机图形学的传统认识。传统图形绘制近似于摄影 倾卜论文 全景图自动拼接算法研究及系统实现 师的拍照，即每一帧场景的画面都只描述了一个给定视点沿特定视线方向观察场 景的结果。为了摆脱单帧画面视域的局限性，可以在个给定视点出拍摄或计算 得到其沿所有方向的图像，并将它们拼接成一张全景图像。为使用户能在场景中 漫游，需要建立场景在不同位置处的全景图。 目前可用采用的算法有图像投影变形( i m a g ep r o j e c t i v ew a r p i n g ) 、光场重建 ( 1 i g h tf i e l dr e c o n s t r u c t i o n ) 和混合式i b r 等技术h 1 。 1 图像投影变形技术 图像投影变形技术是目前比较常用的。它分为两类：无需深度或光流信息的 投影变形技术和基于深度或光流信息的投影变形技术。无需深度或光流信息的投 影变形技术就是将同一视点但不同视线方向的图像联系起来，运用图像拼接技术， 将局部的小图像连成一个大的全景图，再对全景图进行局部采样就得到新的画面。 这种投影方法存在局限性，即图像没有深度感，当视点前后移动时，景物的遮挡 关系体现不出来。基于深度或光流信息的投影变形技术就解决了上面问题。利用 给定画面可见点的深度值，局部重建场景的三维几何，并基于这些三维信息对可 见点进行投影变换。当视点移动时，将按照深度信息，对图像进行处理。这样既 摆脱了图像没有深度感的状况，也使得不同视点之间的场景切换变得连续。 2 光场景重建技术 光场重建( 1 i g h t f i e l dr e c o n s t r u c t i o n ) 技术是在全景函数重建技术上发展起来的 一种新的i b r 技术。全景函数刻划了一个给定场景的所有可能的环境映照，因而， 它以图像的方式给出了场景的精确描述。它可有意参数方程来描述，它定义了空 间任一处，在任何时刻和任一波长范围内场景中的所有可见信息，对空间中的任 一视点v ( v 。，v 。，v ：) ，从该视点出发的任一条视线可用一球面角e 和中来定义。 若记光波长为 ，则在t 时刻视点v 处的全景函数可定义为：1 3 = p ( 0 ，书， ， v 。，v 。，v ：，t ) 。为生成一帧给定视点沿特定方向的视图，只需将视点v ( v 。，v ， v ：) 和球面角0 和中及时刻t 代入全景函数即可。这其实是对全景函数的采样过程， 所以视图即为全景函数的一个样本。因此，基于图像的图形绘制问题可描述为： 给定全景函数的离散样本集合，生成该全景函数的一个连续表示。基于这一描述， i b r 可分为全景函数的采样、重建和重采样三个过程。 全景函数的获取是非常困难的，只是由于它所包含的信息量远远超出了当前 计算机的处理能力。就目前来看，光场函数重建技术还存在着很多问题亟需解决。 3 混合式i b r 技术 混合式i b r 技术是目前发展比较快的一种技术。它指同时采用几何和图像作 为基本元素来绘制画面的技术。在一个给定的小误差内，用图像影射来代替几何 9 坝 j 论殳 全景图自动拼接算法研究及系统实现 模型。这样既保持了绘制的高速度，又可以保证图像的质量。但是由于整个场景 均采取一样的环境映照，因而生成的图像存在较大的误差。为了减小误差，1 9 9 6 年s h a d e 等提出了层次图像存储算法( h i e r a r c h i c a li m a g ec a c h i n ga l g o r i t h m ) ； 1 9 9 9 年，c h a n gc h u n f a 又提出了l d i 树。1 。 2 8 全景技术简介 全景。( p a n o r a m a ) 技术是一种基于图像绘制技术生成真实感图形的虚拟现实 技术，它的基本数据表示是由一组光学观察组成的，不需要明确的几何表示就能 提供令人信服的效果。全景技术是目前全球范围内迅速发展并逐步流行的一种视 觉新技术，它给人们带来全新的真实现场感和交互的感受。 全景图可以用计算机生成，也可以用全景照相机拍摄，或用普通照相机拍摄 后进行拼接。基于图像建模方法的关键是全景图像的生成。 ( 1 )全景图，是基于图像上下文空间的图形组织环境； ( 2 )全景图的柱面模型。全景图采用圆柱体模型实现人眼对周围环境的理 解。优点是可以将它展为简单的平面图。在水平方向上表面无边界，从而简化了 建立图像的搜索； ( 3 )图像的拼接，即匹配具有重叠区域的两幅图像一般采用拼接算法 ( m o s a i c sk l g o r i t h m ) 和缝合算法( s t i t c h i n ga l g o r i t h m ) 。 ( 4 )图像平滑，处理拼接后的图像，使得两幅图像平滑过渡，实现无缝拼 接。 o 硕j 论文 全景图自动拼接算法研究及系统实现 3 全景图生成 3 1 图像拼接中的基本概念 1 图像拼接： 全景图( p a n o r a m a ) ，或者说是图像拼接( m o s a i c ) 技术是由于相机的视角的限 制，不可能一次拍出很大图片，而产生的。它利用计算机进行自动匹配，合成一幅宽 角度图片。 2 相似度函数： 在寻找匹配点的时候，确定两点为匹配点所依据的一个评价函数。 3 匹配： 在相互重叠的两幅图像中，精确的找出两幅图像的重叠区域，即为匹配。 4 伪匹配： 当相邻两幅图像的重叠区域无明显特征，或者存在多个特征相似的部分，如图 3 1 1 所示。就可能发生伪匹配导致拼接失败。无特征区域或特征相似区域广泛存 在于各种类型的图像中，例如自然景物图像中的天空、海洋、树林、大面积单一纹 理的墙壁等。在这种情况下匹配问题的解变得不唯一，可以说匹配变成了本身定义 不明确的不适定问题( i 1 卜p o s e dp r o b l e m ) 配的情况下，匹配问题的解变得不唯一 可以说匹配变成了本身定义不明确的不适定问题( i 1 卜p o s e dp r o b l e m ) ，这是就会 发生伪匹配。 左图像 颤l 论立 全景图自动拼接算法研究及系统实现 右图像 图3 1 i 伪匹配 5 鬼影3 ： 是指合成得到的全景图中由于同一物体部分重叠而使物体变得模糊的图像。 可以归纳为两种鬼影：配准鬼影和合成鬼影。配准鬼影的形成原因是由于拍摄时手 的运动不在一个平面上，这样拍得的相邻两幅图像之间不仅有平移关系，还存在旋 转关系，使得配准不准确：合成鬼影的形成原因是由于图像中存在运动物体，这些 物体因位移而无法正确合成。如图3 1 2 ，图中标出了图像中存在的两处鬼影，其 中，有钢架的是配准计算不准确造成的配准鬼影，而有工作人员的是运动物体造成 的合成鬼影。 左原始图像右原始图像 硕l 论史 全景图自动拼接算法研究及系统实现 图3 12 拼接后含有鬼影的图像 6 曝光差异又称曝光瑕疵“： 指相邻两幅图像由于曝光不同造成的拼接后图像色彩的明显不协调，如图 3 1 3 ，是由曝光不同的两幅图像拼接而成的，其左右颜色明显不协调。产生曝光 差异的原因一个是普通数码相机不易被人工控制曝光时间，还有一个原因是非专 业用户一般并不注意曝光调节。 图3 1 3 曝光不同的两幅图像拼接结果 7 图像平滑： 由于光照条件不尽相同，因此所要拼接的图像在亮度上可能会有较大的差别。 这样，如果仅仅是简单的将两幅图像拼接起来，在图像的拼合处会产生亮度的不连 续现象，出现明显的拼缝，要消除这种拼缝，就必须将拼接好的图像进行平滑处理， 使得两幅图像在重叠区域亮度平滑过渡，实现无缝拼接。如图3 4 ，是图3 1 3 经 过平滑处理后的图像。 碗一。论文 空景图自动拼接算法研究及系统实现 图3 14 经过图像平滑处理后结果 3 2 图像拼接算法 图像拼接的一般流程为：( 如图3 2 1 ) 幽3 2 1 图像拼接的一般流群 3 2 1 基于特征的图像拼接算法 在文献 1 2 中， 算法的主要思想是利用图像间隔一定距离的两列上的部分像 素。在前一幅图像的重叠区域中分别在两列上取出部分像素，用它们的比值作为模 板，然后在第两幅图像中搜索最佳的匹配。即对于第2 幅图像，出左至右依次从间距 相同的两列上取出部分像素，并逐一计算其对应像素值比值；然后将这些比值依次 与模板进行比较，其最小差值对应的列就是最佳匹配。这样在比较中只利用了一组 数据，其实可以说是利用了两列像素及其所包含的区域的信息。 设特征模板的维数是m ，即从每列中取出m 个像素，用b a s e i 来表示任一模 板元素。对第二副图像搜索范围中的任意两列元素，计算对应像素的差值，可以 得到数组i m a g e k 1 。因为图像不仅有水平方向的重叠，所以还要考虑垂直方向上的 交错，这样必须k m 。在进行匹配时，先进行垂直方向上的比较，然后再进行水 平方向上的比较，从而得到最佳匹配。 因为一般情况下相邻图像重叠的范围大约是3 0 5 0 ，所以具体作法是在第 硼j 。论业 全景图自动拼接算法研究及系统实现 一幅图像的右边，设在相隔2 0 个像素距离的两列上，取对应的2 组数，各有m ( 设 m = 2 0 0 ) 个像素。计算其比值得到了一个浮点数组b a s e 2 0 0 ，将它作为比较的模板。 然后从第二幅图像在相隔同样距离的列上各取出k ( 设k = 3 0 0 ) 个像素的数据，取 的点相对于模板上下多出5 0 个像素，这是因为两幅图像可能有垂直方向上的交错， 同时又假设错丌距离不超过5 0 个像素。计算它们的比值，就得到了浮点数组 i m a g e 3 0 0 。在开始时取第1 、2 l 列，接着是第2 、2 2 列，依次下去，视重叠宽度具有 不同数量的这样的数组，一般数组数取为图像宽度的一半( 与重叠量有关) ，即取到第 1 m a g ew i d t h 2 ，i m a g e w i d t h 2 + 2 0 列。在匹配时，首先进行垂直方向的比较，对第二幅 图像的每一个数组，计算对应像素值差值的平方和。因为上下可能交错5 0 个像素， 所以需计算1 0 1 个垂直方向的差值平方和。设垂直方向交错距离为d i s ，则对每一 d i s ( ol o o ) ，就得到一个c d i s ，其中。计算差值 平方和的目的是寻求与模板的最佳匹配，从而确定重叠交错距离。对应最小值的就 认为是组内最佳匹配，并记录垂直方向距离d i s 。接着循环计算所有的数组与模板的 对应值差值平方和，就得到了每个数组的组内最佳匹配和垂直方向距离。最后将每 个数组的组内最佳匹配进行比较，即进行水平方向的比较，得到的最小值就认为是 全局最佳匹配，由它的对应数组的垂直方向距离d i s 就可决定垂直方向上的交错距 离，由它的对应数组的位置和模板位置就可决定水平方向重叠距离。设模板两列像 素的距离为d ，具体算法如下： p r o c e d u r ei m a g em a t c h i n g b e g i n i n p u t 图像l 计算b a s e 2 0 0 模板值 f o r ( k = o ：k ( i m a g e 2 一w i d t h 2 ：k + + ) i n p u tp a r to fc o l u m nk + l ，k + l + d o fi m a g e 2 一i m a g e 3 0 0 输入第2 幅图像 f o r ( d i s = o ：d i s = 1 0 0 ：d is + + ) 1 9 9 c d i s = ( i m a g e i + d i s 一b a s e i ) 2 计算差值平方和 y s m a l l = 1 0 0 设组内最小值初值( 垂直方向) f o r ( d i s = o ：d i s - 1 0 0 ：d is + + ) i f ( c d i s y s m a l l ) 硕j j 论文 全景图自动拼接算法研究及系统实现 ys m a l l = c d i s l 组内最小值( 垂直方向) m _ d i s k = d i s 组内最佳匹配距离( 垂直方向) b e s t m c h k = y s m a ll x s m a l1 = 1 0 0 设全局最小值初值( 水平方向) f o r ( k - o ：k i m a g e 2 一w i d t h 2 ：k + + ) i f ( b e s t m c h k xs m a l l ) x _ d i s - k ：yd i s ：m _ d i s k 得到决定重叠交错距离的横向、垂直方向距离 e n d 得到的x d i s 、y d i s 可决定重叠交错距离，例如如果模板前一列距图像右边 为1 0 0 个像素，k 等于1 2 0 ，则重叠2 2 0 个像素：如果模板列从第6 0 个像素取 数，i m a g e i 从第1 0 像素取数，又yd i s = 4 0 ，则交错i o 个像素，说明第2 幅图像相 对第一幅图像偏上1 0 个像素。 通过对上述算法的研究，发现在这个图像拼接算法中存在几种局限性，这些局 限性也是必须要在拼接算法中克服的： 1 利用图像的特征太少。 只利用了两条竖直的平行特征线段的像素的信息，没有能够充分利用了实景 图像重叠区域的大部分特征信息。虽然算法提到，在待拼接的第二幅图像中由左 至右依次从间距相同的两列上取出部分像素，并逐计算其对应像素值比值：然后 将这些比值依次与模板进行比较，好像是利用到了第二幅图像中重叠区域的大部 分图像信息，然而在前一幅图像中，只是任意的选择了两条特征线，没有充分利 用到第一副图像的重叠区域的特征信息。这样很能找到最佳匹配位置。 2 对照片的采集者提出了较高的要求。 此算法对照片先进行垂直方向上的比较，然后再进行水平方向上的比较，d i s 记录的t 下错开的像素数，这样可以解决上下较小错开的问题。在采集的时候， 只能使照相机在水平方向上移动，然而，有时候不可避免的照相机镜头会有小角 度的旋转，使得拍摄出来的照片有一定的旋转，这这个算法中是无法解决的，所 以这样找到精确的匹配位置的。 3 对采集的照片存在很大限制。 如果，当相邻两幅图像的重叠区域无明显特征，如大片同色的墙面，或者海洋 颁十论文 全景图自动拼接算法研究及系统实现 平面，如图3 21 1 ，这样在选取特征模板的时候存在很大的问题如图中所示，在 图像3 2 1 1 ( a ) 中，任意选取两条平行的特征线段，不失一般性如果选取到图中标 出的两条特征线，计算b a s e l 2 0 0 1 ，同样在图像3 2 1 1 ( b ) 中，选取同等距离的两 条平行线段，从左到右计算i m a g e 3 0 0 1 ，这样，在每次水平移动后再计算 i m a g e 3 0 0 ，由于照片中存在大块纹理相同的部分所以与前面计算的元素值也是相 差不大的，就会发现与模板方差值很小的i m a g e 1 会很多，所以就会使得发现有很 多的匹配点，造成误匹配。 ( a ) 左原始照片( b ) 右原始照片 图3 2 ，1 1具有大片同色的两幅照片 4 不易对两条特征线以及两条特征线之间的距离进行确定。 算法中在待拼接的第一副图像重叠区域中分别在两列上取出部分像素中，并 没有给出选取这两列像素的限制，是如图3 2 1 2 人眼看来，图像的匹配位置一 目了然，然而，在利用拼接算法实现自动拼接的时候，如果选取的特征线不是很 恰当，如图3 2 ，12 ( a ) ，用这样的特征线计算出来的模板就失去了作为模板的意 义，因为根本就没有任何有用的特征信息，所以，必须对两列选取特征线的条件 给与限制，如果采取通过计算多个模板，通过给定一值用来选取最终模板，这样 会好一些，然而，如何选一定值也是一个问题。 同样，在确定步长时，选的过大，则不能充分利用重叠区域的图像信息。选 的过小，则计算量太大。 顿l ：论史 至景图自动拼接算法研究及系统实现 两条特征线 ， o o ( b ) 有图像 图3 212 选取不恰当的两条特征线 3 2 2 基于相似曲线的全景图自动拼接算法 文献 1 3 中，拼接算法分别待拼接的相邻图像的左、右两幅图像记为i ，、i ， 宽和高分别为w 、w ，和h 【，h ，。图( 3 2 2 1 ) 分别为待拼接的两幅图像。取图 像的左上角作为图像坐标的原点。首先，对于每幅图像，求出每一列的梯度值最大 的点，记录该点的纵坐标。其中，对于图像中任意一点( i ，j ) ，梯度值由下式计算 得到 m a g ( i ，) 3 1 ) i ( i ，j ) 是点( i ，j ) 的灰