（计算机应用技术专业论文）基于虚拟现实技术的实景空间研究.pdf

摘要 本文比较基于几何建模和基于图像绘制两种虚拟现实技术的特点，分析了基 于图像绘制技术在虚拟场景构造中的优点，并针对基于图像绘制技术所需要解决 的问题，提出了一套基本完备的建立虚拟实景空间的理论和技术，对空间的特性、 构造和操纵给予了详细的描述，通过扩展超媒体信息组织模型，得到了虚拟实景 空间的信息组织模型，使实景图像的组织被赋予了空间特性。此外，本文重点研 究了3 6 0 度柱面全景图像的生成算法，该算法包括柱面投影算法、利用 t a r r i s 角 点实现重叠图像匹配算法、无缝拼接算法和柱面到平面的反变换算法；研究虚拟 漫游模型的设计，并在对虚拟实景空间的时间和空间操作设计的基础上，利用j a v a a p p l e t 技术实现了利用按钮控制的实景空间浏览。 关键宇：虚拟现实技术图像绘制全景图像h a r r i s 角点虚拟漫游 a b s t r a c t l n 伽st h e s i s ，t h ef i r s t ，w e c o m p a r ei m a g e b a s e d r e n d e r i n gw i t hg e o m 哪 m o d e l i n gb a s e dr e n d e r i n ga n da n a l y z 梦t h ea d v a n t a g e so f i m a g e b a s e dr e n d e r i n gi nt h e t l e i ds c e n eg e n e r a t i o na r ed e s c r i b e d t h es e c o n d ，w ep u tf o r w a r da k i n do ft h e o r ya n d s o m et e c h n i q u e sf o rv i r t u a ls p a c et ow a l k t h r o u g h 。w es t u d yt h e c h a r a c t e r i s t i c s ，t y p e ， c o m p o n e n t s ，s p a c eo r g a n i z a t i o na n d m a n i p u l a t i o n b ye x t e n d i n gt h em o d e lh y r p e r n l e d i a 眦g e tt h es p a c ei n f o r m a t i o no r g a n i z a t i o nm o d e lo fv i r t u a l s p a c e ，w h i c hm a k e st h e p a n o r 锄ao r g a n i z a t i o ng e t t i n g s p e c i a lc h a r a c t e r i s t i c f u r t h e rm o r e ，w em o d i f ya n d l m p l e m e n tt h ea l g o r i t h mo fp r o d u c i n g3 6 0 一d e g r e ec y l i n d r i c a lp a n o r a m a t h ea l g o “t i n c l u d e sc y l i n d r i c a lp r o j e c t i o na l g o r i t h m ，i m a g em a t c h i n ga i g o r i t h h l ，s e a m l e s s l i n k i n g 龇g o r i t h r r la n dc y l i n d r i c a lt op l a n a rp r o j e c t i o na l g o r i t h m t h el a s t ，w es t u d yv i r t u a ls c e n e n a v l g a t i n gs y s t e mm o d e l ，b a s e do nt i m ea n d s p a c eo fm a n i p u l a t i o n ，u t i l i z ej a v aa p p l e t t e c t m i q u et or e a l i z et h ep a n o r a m a b r o w s e rw i t hb u t t o nc o n t r o l l i n g k e y w o r d s ：v i r t u a lr e a l i t yi m a g e b a s e dr e n d e r i n gc y l i n d e rp a n o r a m ah a r r i s c o r n e rv i r t u a ls c e n e n a v i g a t i n g 长春理工大学硕士学位论文原创性声明 本人郑重声明：所旱交的硕士学位论文，基于虚拟现实技术的实景空间研究是本人 在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法律结果 由本人承担。 作者签名：邂幽年三月亟日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理：l ：大学硕士、博十学位论文版权使用规 定”，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕十学位论文全文 数据库和c n l ( 1 系列数据库及其它国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权长春理下大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名：越垄翌年互月名日 指导导师签名： 年一月一日 1 1 研究目的和意义 第一章绪论 随着虚拟现实技术应用领域的日益扩大及应用内容的复杂化，在实际的科研 和工程中，经常会用遇到超过人眼视角的高分辨率图像，而普通相机的视角往往 不能满足需要，例如由于距离的限制，某些超大尺寸的物体无法用一张照片拍摄 下来，这在航空航天照片的拍摄中显得尤为突出，真实感图形实时绘制技术的需 求急剧增加。因而研究采用一些可以应用在现有的通用计算机平台上，高效的图 形绘制算法以进一步加速对复杂场景造型的绘制，然而算法的绘制速度、图像的 生成质量及场景复杂度之间的矛盾，己经成为计算机图形学领域一个非常重要的 课题。 虚拟场景的构造通常可以分为两类，基于图形的绘制技术n 鄹( g e o m e t r y b a s e dr e n d e r i n g ，简称g b r ) 和基于图像的绘制技术( i m a g e - - b a s e dr e n d e r i n g ， 简称i b r ) 。传统的场景生成方法g b r 技术是利用计算机图形学的三维建模技术生 成几何模型来表示物体，其过程是首先对真实世界进行抽象，然后建立其3 d 几何 模型，一般用多边形表示。为了获得更加具有真实感的三维模型，还需要采取纹理 映射、环境映射、明暗光照处理和实时消隐等处理，同时还需要大量的可见性判 断以及对于不同参数的重复计算。 在实际应用中，g b r 技术无论从目前计算机处理能力还是从开发人员的角度 看，存在诸多不足。一方面建模和绘制的开销都非常大，当实际场景相当复杂或 者需要提供相当多的细节的时候，这种方法就显得力不从心；另一方面实时绘制 速度都不能令人满意，绘制速度与场景复杂度和绘制品质成反比，尤其是在需要 实时反馈的条件下，更难获取令人满意的效果，而且需要专业人员和高性能的图 形工作站才能完成。因此，为了解决传统的基于几何的绘制技术的问题，基于图 像的绘制技术逐步发展起来。 基于图像的绘制技术构造的虚拟信息空间虚拟实景空间口4 1 利用照相机采 集的离散图像或摄像机采集的连续视频作为基础数据，经过图像处理生成全景图 像并对其进行空间关联，从而建立起具有空间操纵能力的虚拟环境嗡1 。其直接利用 真实场景的图像作为虚拟场景的表示形式，真实地再现了真实场景的视觉信息， 生成场景视图的质量与景物的复杂性无关，仅与待显示的图像的分辨率及相应的 生成算法有关，视图生成算法计算量不大，能够在工作站和p c 机上实时完成。这 种基于i b r 的绘制方法具有快速、简单、逼真的优点，为虚拟现实技术提供新的 实现途径。 1 2 国内外研究状况 1 2 1 国外研究状况 虚拟现实技术( 简称v r ) 的产生与发展，就虚拟现实本身而言，它主要涉及 到三个研究领域：通过计算机图形方式建立实施的三维视觉效果；虚拟现实技术 加强诸如科学计算技术方面的应用；建立对虚拟世界的观察界面。虚拟现实技术 己引起了人们的普遍关注，现在国内外有许多公司、大学、研究所正在致力于这 方面的研究。 目前的现状，国外在这一领域有着长足的发展，介入这一领域的科研单位和 公司越来越多，美国北卡罗来纳大学( u n c ) 的计算机系是v r 研究最早最著名的 大学。他们主要研究分子建模、航空驾驶、外科手术仿真、建筑仿真等，由b r o o k s 研制成功了第一个用于建筑设计的w a l k - t h r o u g h 虚拟建筑漫游系统，用户可以在 虚拟的u n c 计算机系大楼里面漫游。 麻省理工学院( m i t ) 是一个一直走在最新技术前沿的科学研究机构。m i t 原先 就是研究人工智能、机器人和计算机图形学以及动画的先锋。这些技术都是v r 技 术的基础。1 9 8 5 年成立了媒体实验室后，进行虚拟环境的正规研究。媒体实验室 建立了一个名叫b o l i o 的测试环境，用于进行不同图形仿真技术的实验。利用这 一环境，m i t 建立了一个虚拟环境下的对象运动跟踪动态系统。 英国的b r i s t o l 有限公司发现v r 应用的焦点应该集中在软件与整体综合技术 上，在软件研究和硬件开发的个别方面在世界处于领先地位。该公司将v r 分成三 大类别：实际环境检测、虚拟环境控制、虚拟环境显示。 虚拟实景空间具有开创和示范作用的研究是a p p l e 公司开发的q u i c k t i m ev r 系统。它是基于柱面全景的虚拟现实系统，采用环幕电影映像和全景图完成摄像 机的旋转，支持用户在虚拟环境中左看，右看，上看，下看以及环视，沿固定路 线前进后退等漫游操作，而且用户所观察的视觉效果是完全具有照片质量的，是较 为流行的全景视频产品。但是这种漫游不是平滑的，而是以跳跃的方式进行的。 为了解决这个问题，c h e n 和w i l lj a m s 等利用视图插值的方法，使得在不同视点处 观察时能够保持视觉上的平滑过渡。针对插值中产生的空洞问题，他们还提出了 相应的填充办法。但是这种插值方法需要知道场景的深度信息。 为了实现虚拟实景空间的自由漫游，日本东京大学以o u i c k t i m ev r 为基础研 制出一个系统，具体做法是：在真实场景中设置若干个采样点，这些点的间隔很 小，其坐标用g p s 进行定位，在每个点上拍摄若干照片，制成全景图像，所有的 全景图像用数据库进行管理。该系统具有两种功能，一种类似q u i c k t i m ev r ，用 2 户在每个采样点上只能环视，漫游是通过在不同结点之间的跳跃实现的；另一种 是在采样点之间使用变形技术进行插值，生成中间图像，使得相邻点之间的移动 更加平滑，而且可以减少采样点的数目，克服内存的限制。这个系统有许多缺陷， 一是采样点多，每个采样点是一个全景图像，不仅数据量相当大，而且数据冗余 也很大；二是漫游受限制，经过插值产生的中间结点，由于它们不是网状结构中 的结点，所以不能在这些结点上改变漫游方向，也不能进行环视等操作：三是需 要人工干预，在运用变形技术进行插值时，需要事先手工设置图像之间的对应点， 而且插值所引起的空洞问题难以解决。 1 2 2 国内研究状况 在国内，国防科技大学的虚拟实景空间系统h v s 口1 做的很完善。h v s 系统分为 两部分：虚拟实景空间创作平台与虚拟实景空间浏览器。创作平台又分为全景图 像生成器与空间编辑器。负责把多幅相互间有少量重叠区域的普通图像或连续的 视频拼接为全景图像，把众多的全景图像组织为虚拟实景空间的功能则是由空间 编辑器实现的，编辑过程可视化，便于操作。 清华大学计算机科学和技术系对虚拟现实和l 临场感的方面进行了研究，例如 球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感实验等方面都具有不 少独特的方法。他们还针对室内环境水平特征丰富的特点，提出借助图像变换， 使立体视觉图像中对应水平特征呈现形状一致性，以利于实现特征匹配，并获取 物体三堆结构的新颖算法。 浙江大学c a d & c g 国家重点实验室开发出了一套桌面型虚拟建筑环境实时漫游 系统，该系统采用了层面迭加的绘制技术和预消隐技术，实现了立体视觉，同时 还提供了方便的交互工具，使整个系统的实时性和画面的真实感都达到了较高的 水平。另外，他们还研制出了在虚拟环境中一种新的快速漫游算法和一种递进网 格的快速生成算法。 另外，中国科学院计算所实现了一个基于球面全景图固定视点室内漫游系统。 西北工业大学c a d c a m 研究中心、上海交通大学图像处理模式识别研究所，长沙 国防科技大学计算机研究所、华东船舶工业学院计算机系等单位也进行了一些研 究工作和尝试。 1 3 本文主要研究内容 集成各种媒体信息的虚拟现实空间提供一种具有沉浸感的空间漫游机制，保 证用户在漫游过程中获得平滑的视觉效果，并能维持用户视觉的一致性。本文首 先提出建立基于虚拟现实技术的实景空间的理论基础，然后分析此实景空间进行 漫游时需要解决的图像处理问题，进而设计一种漫游机制。本课题主要研究内容 如下： 1 对基于图像构建的理论与技术进行深入研究。分析基于图像绘制技术在虚 拟场景构造中的优点，以及目前基于图像绘制技术所需要解决的问题，提出一套 基本完备的建立基于虚拟现实的实景空间的理论和技术，对空间的特性、构造和 操纵给予详细的描述。 2 研究全景图的采集方法，重点分析3 6 0 度柱面全景空间的构造过程。利用 h a r r i s 算子提取图像的特征点，根据仿射变换系数计算两幅配准图像仿射变换后 的图像；根据重叠区域邻近位置进行双线性插值、加权平滑实现图像的无缝拼接； 设计并实现柱面全景图像的正反投影算法。 3 研究虚拟漫游模型的设计，并在对虚拟实景空间的时间和空间操作设计的 基础上，利用j a v aa p p l e t 技术实现基于虚拟现实技术的实景空间的全景图像浏 览。 4 第二章基础理论 2 1 虚拟现实中虚拟场景绘制技术 1 面向几何造型技术 绘制过程中涉及到复杂的建模、消隐和光度计算。在给出虚拟场景的三维模 型之后，为了使虚拟环境看上去更加逼真，还需要给各个模型施加各种纹理、颜 色与反射属性。几何建模描述的虚拟环境的三维造型( 多边形、三角形和顶点) 及 其外观( 纹理、表面数据反射系数、颜色等) ，在虚拟场景生成、显示和漫游过程 中，涉及到复杂的几何变换、剪裁、光源和光照属性的变换，这些都需要大量的 计算，这对于普通计算能力的计算机来说，显示的速度就会有所下降，尤其是在 网络显示的时候，显示速度是难以忍受的。 2 基于图像的绘制技术 多年来，研究人员一直在追求生成出与真实场景非常逼近的虚拟场景。可是 有人却从另外一个角度在考虑这个问题：能否直接由真实场景的图片来构造一个 虚拟场景呢? 由于真实场景的图片在计算机内表现为点阵结构的像素图像，没有 三维几何信息，没有光照信息，尽管图像好看，易于获取，但图像往往只能反映 真实场景的某个角度的视觉特征，当用户移动视角时，无法由单幅图像看到其他 角度的场景。虽然这种基于真实图像场景构造的想法很直接，但一直没有引起大 家的深入研究。直到由a p p l e 公司推出的o u i c k t i m ev r 系统，它是一个基于柱面 全景图像的虚拟现实系统，该系统无须知道图像的三维几何信息，但可以支持用 户在虚拟坏境中3 6 0 0 环视、沿固定路线前进与后退等漫游操作，而且用户看到都 是高质量的真实照片。从此，学术界确认了i b r 的学术地位，并引起全球研究热 潮。 2 2 基于图像的绘制技术 基于图像的图形绘制n 9 1 ( i m a g e - - b a s e dr e n d e r i n g ，简称i b r ) 技术是以环境 中抽样出来的离散图像组成基础数据，通过处理与组织这些图像数据得到环境的 连续描述的过程。i b r 技术是基于一些预先生成的图像来生成不同视点的场景画 面，是个新兴的研究领域，它改变人们对计算机图形学的传统认识。传统图形 绘制近似于摄影师的拍照，即每一帧场景的画面都只描述了一个给定视点沿特定 视线方向观察场景的结果。为了摆脱单帧画面视域的局限性，可以在一个给定视 5 点出拍摄或计算得到其沿所有方向的图像，并将它们拼接成一张全景图像。为使 用户能在场景中漫游，需要建立场景在不同位置处的全景图。 目前可用采用的高效算法有图像投影变形技术( i m a g ep r o j e c t i v ew a r p i n g ) 、 光场重建技术( 1 i g h tf i e l dr e c o n s t r u c t i o n ) 和混合式i b r 技术堙，2 副等。 1 图像投影变形技术 图像投影变形技术是目前比较常用的。它分为两类：无需深度或光流信息的投 影变形技术和基于深度或光流信息的投影变形技术。无需深度或光流信息的投 影变形技术就是将同一视点但不同视线方向的图像联系起来，运用图像拼接技术， 将局部的小图像连成一个大的全景图，再对全景图进行局部采样就得到新的画面。 这种投影方法存在局限性，即图像没有深度感，当视点前后移动时，景物的遮挡 关系体现不出来。对于视点移动与视点平面不平行的情况，浙江大学的鲍虎军等 提出非线性插值的解决方法n 8 1 基于深度或光流信息的投影变形技术就解决了上面 问题，利用给定画面可见点的深度值，局部重建场景的三维几何，并基于这些三 维信息对可见点进行投影变换。当视点移动时，将按照深度信息，对图像进行处 理。这样既摆脱了图像没有深度感的状况，也使得不同视点之间的场景切换变得 连续。 2 光场景重建技术 光场重建( 1 i g h tf i e l dr e c o n s t r u c t i o n ) 技术是在全景函数重建技术上发展 起来的一种新的i b r 技术。m c m i l l a n n 和b i s h o p n 2 1 的全光建模( p l e n o p t i c m o d e l i n g ) 系统通过采样图像，建立给定视点处的圆柱面全景图像( 2 d ) 表示，根据 不同圆柱面图像中像素的特征对应信息，建立圆柱面像素的极线约束n0 1 。利用该 约束信息，可以得到新视点位置( 3 d ) 所对应的圆柱面图像。全景函数口钔刻画了一 个给定场景的所有可能的环境映照，因而，它以图像的方式给出了场景的精确描 述。它可用参数方程来描述，它定义了空间任一处在任何时刻和任一波长范围内 场景中的所有可见信息，对空间中的任一视点v ( v ，v y ，v z ) ，从该视点出发的任一 条视线可用球面角e 和时刻t 来定义。若记光波长为z ，则在t 时刻视点v 处的全 景函数可定义为：p = p ( e ，v x ，v y ，v z ，t ) 。为生成一帧给定视点沿特定方向的视图， 只需将视点v ( v x ，v y ，v z ) 和球面角e 和时刻t 代入全景函数即可。这是对全景函数 的采样过程，所以视图即为全景函数的一个样本。因此，基于图像的图形绘制问 题可描述为：给定全景函数的离散样本集合，生成该全景函数的一个连续表示。 基于这一描述，i b r 可分为全景函数的采样、重建和重采样三个过程。全景函数的 获取是非常困难的，只是由于它所包含的信息量远远超出了当f j 计算机的处理能 力。就目前来看，光场函数重建技术还存在着很多问题急需解决。 3 混合式i b r 技术 所谓混合式i b r 技术是指同时采用几何及图像作为基本元素来绘制画面的技 术。该技术根据一定的标准，动态地将部分场景简化为映射到简单几何( 如四边形) 6 的纹理图像。当简化引起的误差小于给定阈值时，混合式i b r 技术直接利用纹理图 像取代原场景几何来绘制画面。由于简单几何面置于被简化景物的中心，而简化误 差被严格控制在给定的阈值内，因而这种绘制技术仍保持正确的前后排序，所生成 的图形质量亦非常高。混合式i b r 技术最明显的应用是采用环境映照来表示远距 离景物，如天空、山脉等，而近距离景物则采用传统几何绘制模式。该技术在各种 模拟器的动态仿真及三维游戏中得到了广泛的应用，它可在一定误差条件下，以较 少的代价来快速生成场景画面。但由于视点所在的位置，对整个场景均取统一的环 境映照，因而所生成的图像存在着较大的误差。 混合式i b r 技术作为一种新兴的i b r 技术近来得到了高度重视，成为目前发展 较快的一种技术。 4 表面反射属性的重建 实际上，i b r 技术包含两大主要研究方向，即由图像重建表面几何及由图像重 建表面反射属性。上述有关i b r 算法均假设景物表面为漫射表面，且在整个运动过 程中，场景的光照情况保持不变。显然，这种假设是理想化的，与实际应用具有很大 的差距。因此，i b r 技术必须在重建三维几何的同时也重建景物表面的光照属性。 早在1 9 9 2 年，h a e b e r l i 就利用简单的迭加原理来重新绘制场景，但该算法要求 场景中的光源类型、数目必须与原图像一致。之后，n i m e r o f f 等利用天空光的经验 模型有效地由已知图像重新绘制了在不同自然照明( 如阴天、晴天) 条件下的场景。 但这一方法只能处理受太阳和天空光照射的室外场景，且视点是固定的。后 来，b e l h u m e u r 和k r i e g m a n 利用奇异值分解技术从原始参考图像中抽取一组基图像， 新的图像则通过线性组合这些基图像得到。因此，问题的关键是如何根据光源及景 物表面的反射属性来确定组合系数。般来说，这种关系的确定是非常困难的，所 以，这种方法生成的新图像仅是一种近似。目前，该算法只能处理漫射表面。 最近，许多研究者在研究恢复表面的反射属性时，引入了场景的几何信息，从 而更有效地处理这一问题。s e i t z 等利用体元填色技术( v o x e lc o l o r i n gt e c h n i q u e ) 构造了一个中间可编辑的体元数据结构，这样就可在不同的照明条件下由这些几 何数据重新绘制画面。但是，这一方法仅适合于朗伯漫反射模型。而俞益洲等则利 用光度学理论，给出了恢复建筑物表面的双向反射率的具体算法，从而实现了由一 幅参考图像生成在不同时间及光照条件下该场景的新的画面。t t w o n g 也考虑了 双向反射率的重建问题。d e b e v e c 则通过恢复景物表面的双向反射率( b r d f ) 来将虚 拟景物自然地迭加到实拍图像中，使虚拟景物与实际场景具有相同的光照条件。 该算法通过测量场景的辐射和整体照明情况，并利用场景的动态深度图像模型来 照明虚拟景物。d e b e v e c 给出了一个将虚拟景物绘制到实际场景( 图像) 中去的一般 方法。 就目前的研究状况来看，对景物表面反射属性重建的研究还刚刚起步，还有 许多问题亟待解决。尽管有些算法已有较好的模拟结果，但其计算量非常大，还 7 难以达到实时。 2 3 基于h a r r i s 角点的图像拼接 2 3 1h a r r i s 角点及性质 角点又称为兴趣点，是像素点在其邻域内的各个方向上灰度变化量足够大的 点。它是一种重要的图像特征点，包含了图像中丰富的一维结构信息，广泛应用 于各种图像处理技术中。本文选用h a r r i s h 8 棚3 算子提取的角点作为特征点，应用 于图像匹配中。 这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵 m 。矩阵m 的特征值是自相关函数的一阶曲率，对图像中的任意一点，如果它的水 平曲率和垂直曲率值都高于局部邻域中其它点，则认为该点是特征点。它计算简 单有效同时非常稳定，在图像旋转、灰度、噪声影响和视点变换的条件下，与其 他算子相比是较稳定的一种点特征提取算子嘲。h a r r i s 算子的角点检测公式只涉 及图像的一阶异数： m = 寺e x p ( 一等) p l 矗弩l 亿， 这里l ，。分别代表图像中该点在水平、竖直方向的导数；g ，为x 方向的梯 度；g 。为工向的梯度；仃为高斯平滑滤波函数标准方差。 对上式进行相似对角化处理后得： m = 专唧( 等m 讣河1 r 亿2 ， 式中 ，五是四元矩阵m 的特征值。每个像素对应着一个这样的四元矩阵。这 里可以把r 看成旋转因子，仅由特征值五，以来分析亮度变化量，而不影响两个正 交方向的变化分量。经对角化处理后，将两个正交方向的变化量分量“提取 出 来成为 ，如，当二者都较小时，定义为平坦区域；当两者只有一个较大、而另一 个较小时，定义为边缘；当两者都较大时，定义为角点，可用r 来表示。图2 1 是理想的角点、边缘和平坦地区示例。图2 2 是理想的角点、边缘和平坦地区分 析图。 h a r r i s 指出m 的两个特征值五，五就是自相关函数的主曲率，很容易得到自相 8 关函数矩阵的行列式和矩阵的迹n ：= d e t ( m ) = + 舟( 村) = 也 箸= 爱0 。川| ：盘一l 一一i 囊哥 图21 理想的角点、边缘和平坦地区 图22 理想的角点、边缘和平坦地区分析 定义h a r r i s 兴趣点检测算子为r = d e t ( m ) 一k t r 2 ( m ) 。其中，k 为默认常数， 一般取k = o 0 4 一o 0 6 。当r 大于某一阐值且在某邻域内取得局部极值时，则标记该 点为候选角点。 以h a r r i s 角点理论3 9 依据，得到如下角点提取步骤“o “1 ： ( 1 ) 利用水平、竖直差分算子对图像每个像素进行滤波以求得，进而求 得m 中4 个元索的值： m = 瞄针托屿h 眨s ， ( 2 ) 对m 的4 个元素进行高斯平滑滤波，得到新的m 。离散一维零均值高斯函 数为： 一一( - 别 池a ， ( 3 ) 利用m 计算对应于每个像素的角点量c i m ( 即r ) ： 一= 掣 眨神 ( 4 ) 在矩阵c i m 中，同时满足“c m 大于阈值t h r e a h 和c 删是某领域的局部极 大值”这两个条件的点被认为是角点。提高阐值，则提取的角点数日变少；降低 闻值，则提取的角点数目变多。另外求局部极大值的领域大小也将会影响提取角 点的数目和容忍度。 2 3 2h a r r i s 算于的特征点检检测结果 采用上一算法获得的图2 3h a r r i s 角点参数设制和图2 4h a r r i s 角点图 i m 日n i ( 。m ) 蒿蜥e n 桤( ；- 9 m - ) f 一f r 一 | l m # r ( m c ) 一 # 一 s * 筹璺 i 一= 二= 一 图23h a r r i s 角点参数设制图24h a r r is 角点削 算法每一步骤效果显示： ( 1 ) 图2 5 原图像和高斯函数： 虢! 冷 图25 原图像和高斯函数 ( 2 ) 图像对x 方向高斯平滑滤波；n 像x c y 方向高斯平滑滤波l 感霹 图26 图像对z 高斯平滑滤波方向和对y 方向高斯平滑滤波 ( 3 ) 图27 为c i m 的阻像；图28 对c i m 进行领域内极大值滤波和闽值处理 后得到最终的角点： - ， i k 、。鼎 图27c i m 图像 图28 最终角点图 2 3 3 最优特征点选取 用h a r r i s 算子提取的角点数目多，不利于图像的匹配速度，有必要选取最具 有特征的角点作为匹配的候选点。由于本实验的选取三对匹配特征点对，因此选 出3 个最佳h a r r i s 角点作为侯选点。 本实验中每张图片有3 0 5 0 的重叠区，可按照以下步骤选取每幅图像重叠区 域中的最优角点： ( 1 ) 把重叠区划分成四等份，成为2 * 2 的格局，在每一区域中按照角点的闽值 大小形成一个从大到小的队列，井记录每一角点的坐标值； ( 2 ) 这样会有四个队列，在这四个队列中用迭代的方法选取3 个角点 ( 扎y ) 、 札( x ny ：) 、a 3 ( x ，y ，) ，且这3 个角点不共线，即： 玉二生j 二墨 ( 2 6 ) y 1 一y ly l y 3 记录这样的角点。 ( 3 ) 在第二步所满足的角点中，选取这样的角点，保证每两点的闽值大，闽值 比小两点所构成直线的斜率比值大。 按照此方法所提取的3 个最优角点如图29 所示： 2 34 图像配准 凹29 蛀优角点 设啊，卅z 为图像 和l 的一组对应特征点，投影变换后的图像为，j 和i ：，肌。、 m j 分别为，聊：变换后的对应点。由于匹配点存在误差，可能出现错误的匹配， 如果将图像直接作平移使得小2 点移到m 。点，有时可能得不到正确的拼接结果( 见 图2 1 0 ) 。 图2 1 0 缝合点查找不恿图 对于图像，。中的特征点屏m ，设其坐标为 ，y 。) ，并以该点为中心定义一 个大小为( 2 n + 1 ) ( 2 m + 1 ) 的相关窗口，设m 2 的坐标为了 2 ，yv 2 ) 选择第2 幅图像，2 中的搜索窗口为以该点为中心，大小为( 2 s + 1 ) ( 2 t + 1 ) 的窗口，然后用该区域中的点 m ：与图像j ：中的特征m 。在给定的相关窗口中进行相关操作，并设朋：的坐标为 了( x 2 ，j ，2 ) ，点m 。l 和m 2 的相关 s c o r e 。的定义为： ( 引两2 渊 其中，c o v ( m 。，肌：) 表示点m ，和m 2 在其相关窗口中的协差，其表达式为： ( 2 7 ) 一兰艺叭( x ，+ f ，少。+ ) 一e ( m 。) 】 砾巧+ 毛一y 2 + ) 一e ( 两) c 。v ( 坍一：) = 型芝1 丽丽忑r 一 ( 2 8 ) 盯( 朋i ) 为图像，在以点( x ，y 5 为中心、大小为( 2 n + 1 ) ( 2 m + 1 ) 的邻域内的标准偏差， 表达式为： o r ( m s = ( 2 9 ) 从式( 2 3 6 ) 可得出，相关值s c o r e 的取值范围从一1 到l ，点m 和m ：越相 似，相关值s c o r e 就越大。在实际匹配过程中，先确定一个有效的相关值阈值，当 用点m ，计算出来的相关值s c o r e 大于该阈值时可认为该点是特征点m 。的一个候 选匹配点。 由于图像，。中的每一个特征点都可能对应于图像，：中的多个特征点，而每一 个候选匹配点对( x 。，y 。) 对所有的( x ：，y ：) 都有相似度。若直接将候选匹配点的相 1 2 似度相加来得到匹配强度，则会存在一个不对称的问题，即某个匹配点的匹配强 度很可能与反过来计算得到的不一样，也即s t r e n g t h ( x l ，y 。1 ) s t r e n g t h ( x 2 ，y 2 ) 。 如图2 1 1 所示。 图2 1 1 匹配强度中“不对称问题”不恿图 解决方法是：在计算s t r e n g t h ( x 。，y 。) 时，对于图像i 。中邻域内的每一点计算其 与图像，中邻域内各个对应匹配点的相似度，取它们的所有相似度的最大值；同 样，在计算跏p 粥伸( x 。：，y 2 ) 时，对于图像，：中邻域内的每一点计算其与图像，。中 邻域内各个对应匹配点的相似度，取它们所有相似度的最大值；然后计算两者的 和就是要求的匹配强度。公式如下： s t r e n g t h ( x l ，少1 ) = s t r e n g t h ( x 1 ，y 1 ) + s t r e n g t h ( x 2 ，y 2 ) ( 2 1 0 ) 这样求得的匹配强度满足对称性要求，如果一对候选匹配点的匹配强度为零， 则将其视为错误的匹配。 2 3 5 图像融合 1 图像的空间坐标变换 对于所有图像配准技术最根本的问题是找出适当的图像转换或映射类型以正 确匹配两幅图像。当图像特征的一致性建立之后，匹配的函数也随之建立。因此， 在映射函数的设计中，应尽量考虑到变换后的观察图像与参考图像的一致的控制 点( c o n t r o lp o i n t s ) 应尽可能相近。 空间坐标转换，根据找到的对应匹配点的坐标来估计空间变换模型中的未知 参量，将目标图像坐标映射到参考图像坐标中。 图像变换的类型：刚体( r i g i d ) 变换，仿射( a f f m e ) 变换，投影( p r o j e c t i o n ) 变 换和非线性( c u r v e d ) 变换。 为了对图像具有很好的旋转、平移和缩放的适应性，同时为了避免出现空象 素点，本文采用二次线性插值的射仿射变换，进行空间坐标变换。下面简单介绍 一下仿射变换坐标系。 2 仿射变换坐标系 在平面万内直线x 与直线y 相交于o 点，在直线之外取一点e 作为单位点，e 向x 上平行射影为e x ，向y 上平行射影为e y ，取o e x 为x 的正向，o e y 为y 的正 向，以线段o e x ，o e y 作为o x 轴和o y 轴上一个度量单位，得到万上坐标系x o y 称为7 r 仿射坐标系m 1 见图2 1 2 ，对于7 r 上任一点p ，向x 轴平行射影为p x ，向y 轴投影为p y 。 图2 1 2 仿射坐标系 由上图可推出仿射坐标比例为： x ：堡y ：一o e , ( 2 11 )x = o y = k z 0 e x 。 o e , 由序数组( x ，y ) 称为点p 的仿射坐标，显然e 点坐标为( 1 ，1 ) 。 定理：在仿射坐标系下，共线三点a ，b ，c 的坐标为( 墨，y ，) 、( x 2 , y 2 ) 、( x 3y 3 ) ， 则三点的交比为： ( a e c ) ：必，x ：塑 ( 2 1 2 ) y 3 一y 2x 3 一x 2 推论：不共线的三对对应点决定唯一一个仿射变换。 3 仿射变换与图像像质之间的关系 图像配准的最后步骤是根据提取出的特征点计算出仿射变换系数，然后对待 配准图像进行旋转和平移操作。为了求得每个目标像素的值，都必须依照反变换 公式去找其在原像素点对应的像素点。使用反向像素运算还会带来一个问题，即 由于不是一对一的像素映射关系，计算出来的原像素点往往不是整数，而是处于 相邻的四个原像素点之间的小数。 通常采用重采样的方法来解决计算中出现的分数坐标像素的像素值。重采样 的像灰度是根据它周围原像素的灰度按照一定的权函数内插出的。根据图像重建 理论，理想的重采样函数是辛克函数( s i n e ) ，但是由于辛克函数是定义在无穷域 上的，又包括三角函数的计算，实际使用并不方便，因此采用了一些近似的函数 来代替它，比如采用三种常用的重采样方法h 2 侧：三次样条插值、双线性插值和最 近邻居插值。三次样条插值方法计算量较大，最近邻居插值在精度上有缺陷，实 1 4 际上本文中使用的是二次线性插值方法，既减少了计算量，又兼顾了精度n 3 ，4 4 1 。 4 拼接融合及拼接缝的消除 重叠区域进行加权平滑的方法的思路是：图像重叠区域中象素点的灰度值 p i x e l 由两幅图像中对应点的灰度值l p i x e l 和r p i x e l 加权平均得到，即： p i x e l = k x l p i x e l + ( 1 一七) r p i x e l ( 2 1 3 ) 其中：k 是渐变因子，满足条件：0 k l ，在重叠区域中，按照从左图像到右图 像的方向，k 由1 渐变至o ，由此实现了在重叠区域中由左边重叠区慢慢过渡到右 边重叠区的平滑拼接。图4 - 2 7 中阴影部分为待匹配图像的重叠区域，左图像重叠 区域中的一点l p i x e l 与右图像中的一点r p i x e l 在拼接时重叠，当左图像与右 图像拼接在一起时，重叠的l p i x e l 与r p i x e l 就变成了一点p i x e l ，从而实现平 滑过渡。 冈 特硅配i q 左阁像 匿狃 待融幻舸羽像 图2 1 4 图像加权平滑不恿图 上述加权平滑的方法在拼接时是基于一条直线作为拼接线的，即在寻找到一 个最佳拼接点后，就把这个拼接点所在的整列作为拼接线进行拼接。这样并不能 保证在这条拼接线上的每个点都是最佳拼接点，所以造成拼接线两边的图像灰度 差异仍然很大，从而导致直接对重叠区域进行加权平滑时效果不是很好。基于此， 本文在寻找拼接线时就寻找一条尽量最佳的拼接线，再进行加权平滑处理。这样 比直接加权平滑多一个步骤，使得拼接缝的消除效果更好。 寻找最佳拼接线时，采用一个滑动窗口在图像重叠区上逐行选择狄度值差异 最小的象元作为最佳拼接点。但是如果按照这种拼接点选择法会出现一个新问题， 就是往往会出现上下行拼接点位置相差较远的现象，这样拼接后有时因上下行之 间灰度差异较大而造成新的接缝。为避免这类现象发生，不仅要考虑相邻拼接点 的灰度值差异，而且还要考虑相邻拼接点的位置不能太远。这样就引进了一个闽 值t 把选择最佳拼接点的范围限制在这个阈值内。 除第一行按灰度值差异最小的原则处理外，其他各行的拼接点从一个选定区 域中选取，即与上一行所选拼接点同列的点及以该点为中心左右宽度为t 的区域 中的点，在这个区域中选取一个最佳拼接点。选出每行的拼接点后连接成一条拼 1 5 接线，可想而知，这条拼接线可能是条折线。由于各行都是选择规定邻域内灰度 差异最小的点作为拼接点，接缝现象就会得到很大的改观。同时t 的值又不能选 取得太大，应在1 5 之间选取为佳。找出最佳拼接缝后，按前面所述的加权平滑 对重叠区域再进行过渡，得到的图像质量有很大改观。 2 4 全景图 1 柱面全景图 固定视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的 连续环视图像序列，将这组图像序列无缝拼合，并投影到柱面空间坐标，就得到 了一幅柱面全景图n4 ”3 。柱面投影就是将图像投影到柱面上，它是一种透视投影而 非平行投影，通俗的讲就是要获得从投影中心点上观察图像在柱面上的成像。 2 多面体全景图 多面体全景图b 4 1 以景物中心为固定视点来观察整个场景，并将周围场景的图 像记录在以该点为中心的环境映照到多面体上，这样环境映射以多面体全景图像 的方式来提高其中心视点的场景描述。多面体全景图中以立方体最为简单，立方 体全景图是由6 幅广角为9 0 度的画面组成。 3 球面体全景图 球面映射口印的全方位全景图像将外界场景映射到一个球面上，观察者位于球 心。该类全景图像通常使用配备有鱼眼镜头的照相机来获取，由于鱼眼镜头能使 拍摄到图片的水平视角和垂直视角都达到1 8 0 度，那么对于拍摄整个场景，照相 机在两个相对的方向拍摄两幅图像，每幅图像包含了半个球面的图像信息，两幅 图像拼接起来就是整个球面扭6 1 。 采用球面模型生成的全景图，相对于柱面全景图来说，其视角范围很广，可 以说是没有视角限制。但球面全景图模型较复杂，技术尚欠成熟。在用普通照相 机拍摄的实景照片构建球面全景图时，需拍摄多层图像，然后再将实景照片平面 图像投影到球面上形成球面图像，再将经过球面投影转换处理过的照片拼在一起 形成球面全景图。有的照相机可以获取活动的球面全景视频，它装有多个镜头， 一次就可以获取整个球面全景图像。使用鱼眼镜头口力可以极大地简化图像拼接过 程，但也会严重影响图像质量。 1 6 第三章虚拟实景空间系统分析与设计 3 1 虚拟实景空间系统概述 基于虚拟现实技术的实景空间以下简称虚拟实景空间口4 1 ，是基于实景图像的 虚拟信息系统，它利用照相机采集的离散图像或摄像机采集的连续视频作为基础 数据，运用i b r 技术，将这些孤立的图像按照时间和空间的关联生成全景图，建 立起具有空间操纵能力的虚拟环境。 虚拟实景空间不同于传统的以g b r 技术为基础构造的虚拟空间，主要体现在 虚拟空间的建立( 以场景的真实图像为基础) 和操纵( 交互导航设计结合观察视 点的变换) ，而这由虚拟实景空间的特点所决定。虚拟实景空间的特点主要有以下 几个方面鸭弱3 ： 1 实景 基于图像的实景空间其基本素材是实景图像，它通过对实景图像的有效组织 构造相应的场景空间。而基于模型的虚拟空间，首先是对真实世界进行抽象，从而 建立起它的三维几何模型，一般用多边形表示构造空间，空间表现通过图形绘制 包括( 模型绘制、着色、消隐、光照以及投影等) 实现。图3 1 是这两种虚拟空 间构造方法的比较。 用户交互 上 3 d 几何建模 l 模型绘制、着色、 消隐、光照以及 投影 1 l 虚拟场景 用户交互 上 实景图像 1 l 图像组织，预处 理及插值算法 土 i 虚拟场景 基于模型的虚拟空间虚拟实景空间 图3 1 两种虚拟空间构造方法比较 1 7 2 空间 虚拟实景空间在空间上的组织以视点空间以及对视点空间进行空间关联的关 联链为基础。定义如下： 视点：视点是指用户某一时刻在虚拟实景空间中的观察点，即照相机或摄像机 的拍摄点，观测时所用的焦距固定。视点用三维坐标值w ( x ，y ，z ) 表示蚯1 。 视点空间：视点空间指某一视点处，用户所观察到的场景。该定义只限定了 视点的位置，对观察方向未作任何限定n 1 。也就是说，视点空间应包含任意观察方 向上用户所看到的全局场景。普通图像反映的往往是局部场景( 用户在某一视角看 到的场景) ，这种能反映全局场景的图像被称为全景图像( p a