（计算机应用技术专业论文）基于多视点的虚拟环境生成技术研究.pdf

信息工程大学硕士学位论文 摘要 虚拟环境也可以称之为虚拟空间( i m a g e b 笛e ds p a c e ) ，是虚拟现实的基础。本文是以 照相机多视点拍摄的实景图像为基本数据而形成的虚拟环境。 与传统的基于几何模型构造的虚拟环境相比，通过实景拍摄所建立起来的虚拟空间具 有场景构造方便、逼真，绘制速度快等优点在数据采集的最初就强调视点空问的概念， 并且提出了一个基于“虚实”的环境生成系统模型，此模型增强了所生成环境的临场感。 但是由于使用图像作为基本数据基础，所以虚拟空间的自由度受到很大限制。如何在 虚拟环境中自由漫游，是虚拟环境研究的关键。 围绕以上问题，本文所做主要工作如下： 1 提出一套较完备的建立基于多视点虚拟环境的技术方法，并对虚拟环境的特性、 构造及建立过程进行了详细的研究。 2 优化了虚拟现实生成系统模型，将虚实结合的方法引入到虚拟环境生成技术中， 将虚拟环境的生成过程看作两大模块，使虚拟现实的生成系统模型更加直观化，虚拟环境 的构造过程更加具体化。 3 将空间链的概念引入到虚拟环境构造过程，并采用一种基于特征线段的图像拼接 算法，这种算法能够实现视点间的过渡，既不需要图像的深度信息，又能同时插值图像的 形状和纹理。 4 对现有的一些图像整合算法加以改进，得到了针对3 6 0 。柱面全景图的生成算法。 该算法包括柱面正投影算法、图像变形算法、无缝拼接算法及柱面反投影算法。 关键字：虚拟现实，虚拟环境空间，多视点，视点空间，空间链，图像变形 第1 页 信息工程大学硕士学位论文 a b s t r a c t 1 1 l cv i n i l a le n v i r o 脚e n t ，删c hi sa l s oc a l l e dh a g e - b a s e ds p a c e ，i sm eb a s eo fv i r t i l a l r e a l i 吼t h e 枷c l ef o i l n d s 让峙v i m l a le n v i m 衄e n tb 笛c do nb a s a ld a t at h a ti so b t a i n e d 丘d ms 0 1 i d 、，i e wp i c t i l 他切k e nf b mm u c ha i l g l eo f v i e wb yc a m e r a c o m p a r e d 、v i t l l 伽i t i o n a lg e o m e 拄y - b 嬲e dv i r t l l a le n “r o n m e n t ，i m a g c - b 髂e d “r t l l a ls p 旧c e h 勰m ea d v a n t a g e s ， s u c h 船e 嚣i l yc o n 咖c t i n g ，触p r o 蛐g ，r e a l i 劬姐d o n n e i i l p i 琊i z e st l l ec o n c e p to f 、，i e ws p a c e t h ef i r s tp i l a i nc o l l c c t i l l gd a t a 锄dp r o p o s e s 锄 即v i r o 姗e m a ls y s t e h li n o d e lo f h a l i t y 锄dv i n l l a l l 矿，w i l i c hi m p r o v 嚣t i l er c a lf e e l i l l gt om e n e wa ，i ：岫m e n t h o 、w 惯t h e 自d e g r e eo fi m a g e _ b a s e ds p a i sl i i l _ l i t c db y 佗a li i n a g e s ，f b rt l l eb a s i c 纰 a 地m ei n l a g 铭h o wt 0m 加b l ei n1 h ea i f o 砌e n ti s t l 】峙l 【e yt ot h e a r c h “r c u a j e n y i r o n m c n t 1 1 1 e i l l a i l l w o r k o n n l c a b o v e i s s i l e sr c f h r 甜i n t h i s p a p e r i s ： 1 w bh a v ep i o p o s e da 骶= r i e so ft h e o r i 髂孤dt e c l l i l i q u cb a s c do nm l l l t i i v i e w 、r i r t i l a l e n v i f o 姗e n t ，趾dd e s c f i b e di i l 出! t a i lt h ed 唧胁c t i 面s t i c s ，t h ep r o c e s so fc o n s 劬d o n 锄d e s t a b l i s h m e n to f v i n u a le n v i r o n m e n t 2 w bh a v eo p t i i n i z c d 虹圮v i m l a lr e a l i s t i cs y s t e mm o d e l ，锄db r o u g h tt l 地m e 吐l o do f c o m b i n i 】 1 9r e a l i t y 觚dv 删l y i n t 0t h ec o n s m l c t i o no f 、，i 巾豫l 伽m r o n m e n t t a k i l l gt h ef o m l i i l g p r o c e s so f v i n i l a la i “r o 眦e n t 嚣t v 帕b i gm o d m e sm a l 【e st h ev i r t i l a l 化a l i s t i cs y s t e mm o d e lm o i n t i l i t i v e 觚dt l l ef o m i i l gp r o c e s so f v i n i l a la i f o n m tm o i m l l i t i v e 孤dm o c c t e 3 w bh a v em o d i f i e ds o m ee 】【i s 陆gl o c a la l g o r i t h 傩，锄dg o t 锄a l g 砌n mo f3 6 0 - d e g e s c y l i n d r i c a lp a n o 均m i ci m a g ew h i c hi n c l u d e sc y l i l l d r i c a lp 叫e c t i o na l g o r i t l l m ，i m a g em a t c h i n g a l g o 疵h m ，撇l e s sl i i l l 【i n ga l g o r i t l l ma n dc y l i l l d r i c a lt 0p l a n 盯p r o j e c t i o na 1 9 0 r i t i l m k e yw o r d s ：v i r t i l a lr e a l 时，r t i l a le n v 洳n m 咖，m 嘣新c 、】i r ，e w p o i n ts p a c e ，s p a t i a lc h a i n ， d i s t 0 柑o n0 f i i n a g e ，h n a g em o r p h i n g 第1 i 页 信息工程大学硕士学位论文 原创性说明 本人声明所提交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写 过的研究成果，也不包含为获得信息工程大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并标示谢 意。 学位论文题目：基士垒袒壶丝虚拟丕缝生盛蕴苤硒究 学位论文作者签名： 作者指导教师签名： 日期：年月日 日期：7 年月，多日 学位论文版权使用授权书 本人完全了解信息工程大学有关保留、使用学位论文的规定。本人授权信息工程大学 可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅和借 阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目： 基王多趣壶笪虞型巫缝生盛蕉盔班究 学位论文作者签名： 作者指导教师签名： 日期：矽7 年6 月衫日 日期：纠年月，多日 信息工程大学硕士学位论文 第一章绪论 1 1 课题来源及背景 当前，计算机硬件以及软件技术发展迅猛，几乎每1 8 个月更新一次。与此同时人机 接口也有很大的改善，从最初期的命令行执行接口，发展成为基于二维图标的窗口式接口， 大大方便了人机交互。但这种二维接口仍旧是以计算机为中心，存在严重的局限性。随着 人们对计算机使用要求日益提高，人们希望未来的人机接口是以人为中心，且具有多模式 输入输出：即对应人的多种自然感知模式，例如，视觉、听觉、触觉、力觉，并能以人的 自然语言对话，人们称这种全新概念的接口技术为虚拟现实o ，2 】技术。 自9 0 年代以来，“虚拟现实p ( m l a lr e a l 姆) ”一词就频繁出现在报刊杂志和学术文 章中。有的虚拟现实环境可以让你漫游在太空或在分子中旅游，也可以进行飞行训练或实 旌远程手术；也有人预言，随着虚拟现实的发展，虚拟现实几乎能解决一切问题。不管怎 样，虚拟现实技术，是9 0 年代以来最为科学界、工程界和教育界所关注的技术。它的兴 起，为人机交互界面的发展开创了新的研究领域；为智能工程的应用提供了新的界面工具； 为各类工程的大规模的数据可视化提供了新的描述方法；同时也为教育提供了新的手段和 方法。 事实上，虚拟现实可以说是一种“模型”，而建立这样一个模拟真实世界或想定的可 复现、可操作的模型1 4 i 的意义则是提高和扩展人的认知能力。本文基于多视点的虚拟现实 生成技术研究可以认为是这种模型的一个完善，与单一视点的虚拟现实环境相比，基于多 视点的虚拟环境在浏览上能够使使用者更全方位的观察和浏览，而在实现漫游上，基于多 视点的虚拟环境与单一视点相比，更支持完全自由漫游。 1 2 虚拟现实技术概论 1 2 1 虚拟现实技术的研究现状 虚拟现实技术并不是新生事物，1 9 6 5 年，被称为虚拟现实之父的美国人i v 弛s u 山e r l a n d 在一篇名为终极显示的论文中首次提出了一种假设，这种假设是使观察者不是通过屏 幕窗口来观看计算机生成的虚拟世界，而是生成一种直接使观察者沉浸并能互动的环境。 这一理论后来被公认为在v r 技术中起着里程碑的作用。之后在1 9 6 8 年，i v 弛s 删1 e d 觚d 使用两个可以戴在眼睛上的阴极射线管( c r t ) 研制出了第一个头盔显示器h m d ( h e a d m o u r 埔e dd i s p l a y ) ，并发表了ah e a d m o u n t c d3 dd i s p l a y 的论文，他对头盔式 显示器装置的设计要求、构造原理进行了深入的分析，并描绘出了这个装置的设计原形， 此举成为三维立体显示技术的奠基性成果。在第一个 m d 的样机完成后不久，研制者们 又反复研究，在此基础上把能够模拟力量和触觉的力反馈装置加入到这个系统中，并于 第1 页 信息工程大学硕士学位论文 1 9 7 0 年研制出了第一个功能较齐全的h m d 系统f ”。 现阶段虚拟现实的研究发展已经突飞猛进，相对来说国外的研究开始早，所取得的成 绩也较大： 美国的研究现状：美国是v r 技术的发源地。目前美国在该领域的基础研究主要集中 在感知、用户界面、后台软件和硬件四个方面。 美国宇航局n a s a 的a m e s 实验室完善了h m d ，并将v p l 的数据手套工程化，使其 成为可用性较高的产品。n a s a 研究的重点放在对空间站操纵的实时仿真上。 北卡罗来纳大学u n c 主要研究分子建模、航空驾驶、外科手术仿真、建筑仿真等。 在显示技术上，u n c 开发了一个帮助用户在复杂视景中建立实时动态显示的并行处理系 统，叫做像素飞机( p 仅e lp l a l l e s ) 。 麻省理工学院m r r 的媒体实验室成功开发了一个新颖的a s p e l lm o v i em a p 项目：四驾 摄像机穿行蛳的街道时，同时拍摄四个方位的照片，并在每个街道路口的场景中加入 选择漫游路线的交互手段。播放时，用户类似于自己开车在城市里游玩，通过触摸屏和游 戏杆来控制自己的速度和去向，对一些有名建筑，提供了相关的资料供查询，同时还提供 导航图来标识用户位置、提示关键场所等。另外，m i t 还在进行“路径计划”与“运动计 划”等研究。 a p p l e 公司推出全景视频产品q i l i c k 仇mv r l ，第一次使人们领略了具有照片质量 的虚拟现实环境。它利用软件把相同视点的若干张边缘稍有重叠的照片缝合在一起，组成 一张3 6 0 全景图像【 1 ，通过热点，将不同视点的全景图进行连接。通过在全景图上开窗口 实时生成用户所要观察的场景，经不同全景图之间的切换来实现在虚拟环境中的漫游。 m i c r o f t 公司在1 9 9 5 年开发出了基于w i n d o w s 的全景视频产品s u r m l l n d d ，利用硬 件直接通过全景照相机得到全景图像。 斯坦福研究所s r j 研究中心建立了“视觉感知计划”，研究现有v r 技术的进一步发展。 它还利用遥感技术进行外科手术仿真的研究。 s o f n d a g e 公司的专家们提出了渗透将有助于扩大虚拟现实的美学感，这是v r 未 来的一个发展方向。 欧洲的研究现状：欧共体认为v r 是一门新兴技术，已经组织了多次评价v r 的专题 活动。 德国d a m 船t a d t 的f r 姗h o f e r 计算机图形学研究所开发出一种名为“虚拟设计”的t 组合工具，可使得图像伴随声音实时显示。 德国国家数学与计算机研究中心g m d 专门成立了一个部门，研究科学视算与v r 技 术。研究的课题有v r 表演，冲突检测，装订在箱子中的物体的移动，高速变换以及运动 控制。 英国的a p p l 有限公司关于远地呈现的研究试验主要包括v r 技术重构问题。 第2 页 信息工程大学硕士学位论文 荷兰的v r 研究主要是研究一般性的硬件软件结构问题、人员因素问题，以及在工业 和培训中的应用。 日本的研究状况：在当前实用虚拟现实技术的研究与开发中日本是居于领先位置的国 家之一，主要致力于建立大规模v r 知识库的研究。另外在虚拟现实游戏方面也作了很多 研究工作。 东京技术学院精密和智能实验室研究了一个用于建立三维模型的人性化界面，成为 s p d a r 的系统。 n e c 公司的计算机和通信分部中的实验室开发了一种虚拟现实系统，它能让操作者使 用“代用手”去处理三维c a d 中的形体模型。该系统通过v p l 公司的数据手套把对模型 的处理与操作者手的运动联系起来。 东京大学的高级科学研究中心将他们的研究重点放在远程控制方面，最近的项目是主 从系统。 富士通实验室有限公司正在研究的一个项目是虚拟生物与v r 环境的相互作用。 我国的v r 技术的研究相对起步较晚，和一些发达国家相比还有一定的差距，但已经 引起政府有关部门和科学家们的高度重视。根据我国的国情制定了开展v r 技术的研究， 例如：九五规划、国家自然科学基金会、国家高技术研究发展计划等都把v r 列入了研究 项目。 北京航空航天大学计算机系是国内最早进行v r 研究、最有权威的单位之0 他们着 重研究了虚拟环境中物体物理特性的表示与处理；在虚拟现实中的视觉接口方面开发出了 部分硬件；实现了分部式虚拟环境网络设计。 浙江大学c a d c g 国家重点试验室开发出了一套桌面型虚拟建筑环境实时漫游系 统。另外，他们还研制出了一种新的虚拟环境快速漫游算法和一种递进网格的快速生成算 法。 哈工大计算机系已经成功地虚拟出了人的高级行为中特定人脸图像的合成，表情的合 成和嘴唇动作的合成，并正在研究人说话时头势和手势动作。 清华计算机科学和技术系对虚拟现实临场感的方面进行了研究。 西安交通大学信息工程研究所对虚拟现实中的关键技术立体显示技术进行了研 究。 北方工业大学c a d 研究中心完成了体视动画的自动生成部分算法与合成软件处理， 完成了v r 图像处理与演示系统的多媒体平台及相关的音频资料库，制作了一些相关的体 视动画光盘。 国防科技大学的虚拟实景空间系统h v s 是目前国内做的最完整的一个系统。它首先 利用采集的离散图像或连续的视频作为基础数据，处理成3 6 0 。柱面全景图，然后通过合适 的空间模型把多幅全景图组织为虚拟实景空间。提供进退、俯仰式、3 6 0 。环视、近看、远 第3 页 信息工程大学硕士学位论文 看等漫游可能。国防科技大学还实现了同心球拼图的室内三维漫游系统。由于球面同心拼 图如同单同心圆拼图缺少足够的深度信息，有着垂直方向的畸变缺陷，而室内空间多为平 面与折线，还原图像变形很大。 中国科学院计算所实现了一个基于球面全景图固定视点室内漫游系统。由于通常照相 机所拍摄的照片均为平面图像，球面图像与平面图像间相互映射失真较大，而且因数据的 存放与组织较困难，整个过程中图像映射与变换不如圆柱面方便。另外，中科院的遥感技 术研究所的奥运规划三维仿真系统是一个以v r 为基础，将遥感、地理信息系统、全球定 位系统进行综合、集成而建立的奥运环境信息集成平台。 西北工业大学c a d c a m 研究中心，上海交通大学图像处理及模式识别研究所，华 东船舶工业学院计算机系，安徽大学电子工程与信息科学系也在v r 方面进行了一些研究 工作和尝试。 可以看出，正是因为虚拟现实系统及其广泛的应用领域，如娱乐、军事、航天、设计、 生产制造、信息管理、商贸、建筑、医疗保险、危险及恶劣环境下的遥控操作、教育与培 训、信息可视化以及远程通讯等，人们对迅速发展中的虚拟现实系统的广阔应用前景充满 了憧憬与兴趣。 1 2 2 虚拟现实的定义 虚拟现实通常是指用立体眼镜和传感手套等一系列传感辅助设施来实现的一种三维 现实，人们通过这些设施以自然的技能( 如头的转动、身体的运动等) 向计算机输入各种 动作信息，并且通过视觉、听觉以及触觉设施使人们得到三维的视觉、听觉以及触觉等感 觉的世界。随着人们的不同的动作，这些感觉也随之改变。事实上，虚拟现实技术不仅仅 是那些带着头盔和手套的技术，而且还应包括一切于之相关的具有自然模拟、逼真体验的 技术和方法。它的最重要的目标就是真实的体验和方便自然的人机交互，能够达到或部分 达到这样目标的系统称为虚拟现实系统。在有关虚拟现实的定义中，大概可以分为两类： 一类观点比较重视虚拟现实的人一机交互特性，认为虚拟现实是一种先进的人一机交 互界面，它通过多通道传感器来实现实时仿真和交互。 另一类定义主要强调虚拟现实对人的感觉的直接仿真，认为虚拟现实是一个高级的仿 真环境【”】。 以上两类定义并非互斥的，实际上相互之间有着许多的相容之处，只是强调的重点不 同、出发点不一样而已。可以这么认为，强调虚拟现实的人一机交互接口作用的定义的人 较多地从人的认知度出发，强调虚拟现实作为认知工具的作用自然的交互方式有利于 使用者更好的理解、操作数字化信息；而强调感觉仿真定义的人是从“模型论”的角度出 发，强调虚拟现实是客观存在思维过程的模型，是一种研究和试验的工具。 虚拟现实系统对交互性、实时性有较高的要求，它是人工智能、计算机图形学、人机 第4 页 信息工程大学硕士学位论文 接口技术、多媒体技术、网络技术、并行计算技术等多种技术的集成。一个在真正意义上 实现了虚拟现实的系统应具备以下三个要素： 1 能给用户3 d 立体的虚拟世界； 2 给用户第一人称的感觉和实时任意活动的自由； 3 用户能通过一些控制装置和手段实时操作和改变所处的虚拟世界。 1 2 3 虚拟现实的特征 1 沉浸( h l l i n e r s i o n ) 人能沉浸到计算机系统创建出的环境中，人由观察者变成全身心的投入者，成为虚拟 现实系统的一部分，虚拟场景可随着人的视点作全方位的运动。 2 交互( h l t e m c d o n ) 人能通过键盘、鼠标以及各种传感器与多维化信息的环境发生交互，人如同在真实的 环境中与虚拟环境中的对象发生交互关系。例如，用户可以用手碰触虚拟场景中的物体， 这时人手有触碰物体的感觉，视场中物体也随人的动作而动作。为达到这个目标，高速计 算和处理必不可少。 3 想象( h a g i i 删o n ) 人可从定性和定量的综合集成的环境中得到感性和理性上的认识，进而使人能深化概 念、产生新意和想象，主动地寻求探索和接收信息，而不是被动的接收，因此能发挥创造 性。作为虚拟现实世界的创造者，想象力已经成为虚拟现实系统设计中的最关键问题之一。 下图为虚拟现实的经典“，”特性图【l l 】： 图1 1 经典“，3 ”特性图 可见虚拟现实系统使参与者处于一个具有身临其境、具有完善交互作用的、能帮助和 启发构思的信息环境。人们不能只靠听读看来获取信息，而是通过他与所处环境的交互作 用，利用人本身对解除事务的感知和认知能力，以全方位的方式获取各种形式的信息。 第5 页 信息工程大学硕士学位论文 1 2 4 虚拟现实的分类 虚拟现实系统按其功能不同，可以把各种类型的虚拟现实技术划分为四类，即桌面虚 拟现实、沉浸的虚拟现实、增强现实性的虚拟现实、分布式虚拟现实。 l - 桌面虚拟现实 桌面虚拟现实是利用个人计算机和低级工作站进行仿真，将计算机的屏幕作为用户观 察虚拟世界的一个窗口，通过这种输入设备实现与虚拟现实世界的充分交互，这些外部设 备包括鼠标、追踪球、力矩球等。它要求参与者使用输入设备，通过计算机屏幕观察3 6 0 。 范围内的虚拟境界，并操纵其中的物体，但这时参与者缺少完全的沉浸，因为它仍然会受 到周围现实环境的干扰。桌面虚拟现实最大特点是缺乏真实的现实体验，但是成本也相对 较低，因而，应用比较广泛。常见的桌面虚拟现实技术有：基于静态图像的虚拟现实 q u i c k t i m ev r 、虚拟现实造型语言v r m l 、桌面三维虚拟现实、m u d 等。 2 沉浸式虚拟现实 高级虚拟现实系统提供完全沉浸式的体验，使用户有一种置身于虚拟境界之中的感 觉。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其他感觉封闭起来，并提 供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其他手控输入设备、声音 等使得参与者产生一种身i 临其境、全心投入和沉浸其中的感觉。常见的沉浸式系统有：基 于头盔式显示器的系统、投影式虚拟现实系统、远程存在系统。 3 增强现实性的虚拟现实 增强现实性的虚拟现实不仅是利用虚拟现实技术来模拟现实世界、仿真现实世界，而 且要利用它来增强参与者对真实环境的感受，也就是增强现实中无法感知或不方便的感 受。典型的实例是战机飞行员的平视显示器，它可以使飞行员不必低头读取座舱中仪表盘 上的数据，从而可集中精力盯着敌人的飞机或导航偏差。 4 分布式虚拟现实 如果多个用户通过计算机网络连接在一起，同时加入一个虚拟空间，共同体验虚拟经 历，则虚拟现实提升刭一个更高的境界，这就是分布式虚拟现实系统。在分布式虚拟现实 系统中，多个用户可通过网络对同一虚拟世界进行观察和操作，以达到协同工作的目的。 目前最典型的分布式虚拟现实系统是s i m n e t ，s i m n e t 由坦克仿真器通过网络连接而成， 用于部队的联合训练。通过s 心幔t ，位于德国的仿真器可以和位于美国的仿真器一样运 行在同一个虚拟世界，参与同一场作战演习。 1 。3 本文研究内容及创新点 本文主要研究基于多视点的虚拟场景生成技术。根据虚拟环境生成流程，首先在数据 采集中根据照相机所在位置及角度的不同采集实景图像数据，着重强调了多视点采集。然 后用基于图像绘制的方法对所采集到的场景进行绘制，并通过图像的无缝拼接来构建场景 第6 页 信息工程大学硕士学位论文 图像。目前基于单视点的场景图像生成技术相对成熟，而基于多视点的场景图像生成技术 还处于发展阶段，其研究还没有形成一套相对完整的理论。 本文研究的主要内容在于： 1 提出一种优化的虚拟环境构建模型，该模型将工程学中的“虚实”概念引入到虚 拟环境构建过程中，将虚拟环境建立过程分为“实物虚化”和“虚物实化”两大模块； 2 拓展了单一视点的全景图像生成技术的概念，引入空间链的概念，在视点空间的 基础上将全景图有机的组合，从而奠定了基于多视点的虚拟环境生成的基础； 3 针对同一场景不同视点的图像采集作了重点说明，其中主要包括照相机拍摄方法， 照片拍摄时所需重叠度等； 4 为了维持实际场景中的空间约束关系，将拍摄得到的反应各自投影平面的各局部 图像映射到圆柱面上，并对已有的圆柱面正投影算法及柱面反投影算法进行验证； 5 采用一种基于特征线段差值的图像配准算法进行图像匹配。该算法是利用图像间 隔一定距离的两列上的对应部分像素线段，计算他们的差值作为特征模版，然后在第二幅 图像中搜索最佳的匹配； 6 采用一种基于特征线段为例的图像变形技术，这种方法能够实现上面所述的视点 间的过渡，不需要图像的深度信息，能同时插值图像的形状和纹理。 本文围绕上述问题而展开的，第2 章介绍了经过改良的虚拟现实系统模型，第3 章说 明了基于多视点的虚拟现实场景采集及绘制技术，第4 章讨论了虚拟现实场景的生成技术， 其中包括针对多视点这一关键技术所采用的图像变形算法、拼接及投影等算法等，最后是 总结和展望今后的工作。 第7 页 信息工程大学硕士学位论文 第二章基于“虚实”的环境生成系统模型 随着虚拟现实技术的发展，虚拟现实技术在各个领域都发挥着重要作用。建立有效的 虚拟环境，主要集中在两个方面：一是用虚拟环境精确表示物体的状态模型；二是环境的 可视化表示及渲染出的景象。从虚拟环境建立的重点发展方向可以看出，虚拟现实的研究 发展主要偏向于视觉方面，而其他如听觉、触觉等的发展研究，则是在视觉发展的基础上， 为完善视觉体验而进行的同步发展。之所以将重点放在视觉方面，是由于人们获取三维信 息主要依靠视觉，而不是听觉或触觉。计算机视觉还可以建立有关景象内容的语言，这些 景象或者来自空间，或者来自景象的时间先后关系。而只有它们的有机合作才能构成视觉 上身临其境的动态三维环境。 现在，与虚拟现实有关的内容已经扩大到与之相关的许多方面，像“人工现实”】 ( a n i f i c i a lr e a l 姆) ”、“远程监控( t e l 印r e 潮雠) ”、“虚拟环境【1 3 】( v i n l 璃ie n v i r o n m 锄t ) ”、 “塞博空间( c y b e r s p e ) ”等，都可以认为是虚拟现实的不同术语或形式。 2 1 虚拟现实系统的基本构成 虚拟环境系统由软件系统、数据库系统和硬件系统三部分构成。根据虚拟环境的应用 需求，以上三个部分通过不同的组合方式，而构成以下几种不同的应用系统【“1 。 1 图像生成系统 图像生成系统的核心是高速的主处理器和高性能的三维图形处理芯片。传统的虚拟现 实系统中的图像生成系统均是基于高档的图形工作站开发出来的。近年来，由于微机性价 比的大幅度提高，基于高档微机平台的虚拟现实系统已经大量的涌现和推广。基于多处理 器和多图形处理芯片的高档微机甚至在一些性能上已经达到或超过工作站的水平。 2 视觉显示系统 视觉仿真是整个虚拟环境仿真的主要研究内容。目的是使用户在使用虚拟仿真环境时 产生强烈的沉浸感和亲自控制的参与感。目前，相关设备的研制充分考虑了人眼的生理及 人的心理特性。其中，最主要的指标是视场和立体视觉。 3 运动系统 运动系统有多种形式，如：悬臂式、单轴线运动、三自由度运动平台、六自由度运动 平台等。目前广泛采用的是六自由度平台。平台可以实现绕三个轴的俯仰、横滚、偏航的 角运动和沿三个轴的升降、横移、纵移的线性运动。平台式运动系统能提供较为逼真的瞬 间过载动感、重力分量的持续感以及抖动、振动、冲击等的特殊效应某些飞行模拟器为 获得持续的过载感觉，常采用负荷服或过载座椅。 4 交互、控制、跟踪系统 虚拟环境系统需要能够实时地检测出回路中人头的位置和方向，准确地获得人手的位 置与指向，以及每个手指的位置与角度等的数据信息，以便将这些数据反馈给显示和控制 第8 页 信息工程大学硕士学位论文 系统。目前在交互、控制及跟踪系统中，较为普遍使用有四种基本的方法：基于机电、基 于电磁、基于声学以及基于光学技术。 2 2 。虚实”概念的提出 虚拟现实技术，或者说虚拟环境的构建技术在发展中困难很大，其原因主要有以下几 个方面： 首先是设备昂贵。一般的虚拟环境生成只能满足最普通用户的基本浏览要求，尽管如 此，通过普通软、硬件所生成的环境图像在质量上只能说差强人意。现阶段热门的基于瑚) r 技术图像处理技术m 1 在虚拟环境的生成上，可以为虚拟环境在图像的质量上提供好的保 证，但是基于这种技术的图像处理要完成较复杂的场景的渲染，就需要性能较高的图形工 作站和相应的软件支持。这些设备和软件的价格并不是一般消费者所能承受的，对于一些 普通的信息系统用户往往望而却步。 其次是建模过程繁琐。虚拟环境建模首先要解决的问题就是三维造型。我们所身处的 世界并不是简单的几何线条或图形就能够表达的，一些常见普通的物体，如花草树木之类 其几何形状往往更是复杂。即使是使用照相机所拍摄的实景图像作为基础，也需要使用者 有一定的空间构图理论。并且在图像复杂的情况下，只有实景图像来进行建模在仿真度上 满足不了需求。事实上，现在虽然有了一些商业软件的支持的，但是大部分的模型仍需要 人们手工绘制，而且需要有一定专业知识和经验的专业人员操作，其工作繁琐，所耗价也 是相当大的。 最后是庞大的数据处理量。虽然计算机技术发展至今，已经有了很大的飞跃，不论是 在硬件或是软件方面都有很大提高。即使是在当前流行的“双核”的计算机面前，其计算 机是否真有“双核”的功能及处理速度暂且不谈，虚拟环境构造过程中所产生的海量的数 据，仍然让计算机的运行显得缓慢，更有甚者是难以承受的。如果产生了需要并行处理的 数据，其速度就更是不能满足需要。 虽然解决这些问题的办法也不是没有，但是在这里提出一种相对独立的虚拟环境生成 系统模型。该模型是在虚拟环境生成系统的基础上加以改进，将虚拟现实的构造部分分为 “实物虚化”和“虚物实化”两部分。这两部分内容是相对独立的，又是以互相为依托而 存在的。这种基于“虚实”的理论在工程学上运用的较为广泛1 1 6 l ，但是本文中所说的基于 “虚实”的环境构造与工程学的并不相同。这里借助“虚实”这一概念，对虚拟环境的构 造过程抽象化。 2 3 虚实结合的虚拟环境生成系统模型 综上所述，我们所提出的这一种“虚实”相结合的虚拟环境生成模型，该模型在结构 上包括“实物虚化”和“虚物实化”两大部分。在“实物虚化”阶段，主要包括数据采集、 图形绘制、图像投影、图像整合等模型构建的关键技术。这些技术使得真实的虚拟世界的 第9 页 信息工程大学硕士学位论文 生成、虚拟环境对用户操作的检测和操作数据的获取成为可能。而在“虚物实化”的阶段， 也就是虚拟场景给用户的反馈阶段，此阶段包括确保用户在虚拟环境中获取图像数据信息 得到反馈，其中又包括图像的反投影技术等的关键技术。最后将这两部分所获得的图像数 据信息通过中间关联图像数据将其链接起来，形成具有真实感的虚拟环境空间。 2 3 1 基于“虚实”的相关概念 1 “实物虚化”的概念 虚拟环境构建就是把我们平时生活中所能感知的真实世界，如学校的办公楼、路旁的 树以及道路等进行图像数据的采集，然后经过计算机的绘制、着色、消影、光照以及投影 等一系列绘制过程，最后产生一个虚拟场景。这个场景和真实场景相比是“虚”的，但却 是逼真的“虚景”，并支持用户如身临其境般的体验( 如漫游) 。在这样的情况下，“实物 虚化”的优点可以得到充分的体现，比如很多用户去不了的地方，用这种方式使得人们想 亲身游历过了一样。在该虚拟环境构建模型中，这种“虚”特指“实物虚化”的过程，即 从图像数据采集开始，对采集到的图像数据进行场景绘制、投影处理及拼接处理所形成的 图像数据。 但是生成这种虚拟环境也需要大量的原始图像信息，如果场景过于复杂则需要相当大 的图像信息量。所以为了满足场景的实时性要求，只能降低场景的复杂度。 2 “虚物实化”的概念 即所说的身临其境的沉浸感。将真实的物体经过“虚化”这一过程处理之后，再将虚 化后的图像信息完整的“实化”，形成具有强烈真实感的虚拟环境空间。这种“实”感体 现在用户可以进行俯视、仰视、环视等的操作，甚至以第一视点“进入”到虚拟环境中进 行浏览、参观，就像身处真实场景中一样。当然这种“实化”也需要一定的软、硬件支持， 在实现浏览、参观的过程中还需要专门的工具包来支持。 在该模型中，“实”的概念指的就是将虚化后的图像数据还原为能在计算机上显示出 来的具有逼真感的虚拟环境场景，是将经过正投影处理后的图像数据经过反投影处理所形 成的。 3 “虚实结合”的概念 “实物虚化”和“虚物实化”这两部分既可以当作是相互独立的存在，又可以看作是 以相互为依托而存在的。而在虚拟环境构造中，“虚实结合”顾名思义是指把虚拟景物与 现实景物相结合，用以构造用户所需要的虚拟环境。现在这种虚拟环境的构造形式，被运 用在建筑学领域较多。“虚实结合”也是未来虚拟现实的一个主要发展方向之一，在建筑、 医学等都能起到很好的作用。而且，将“虚实结合”运用到视频会议当中，也是虚拟现实 与网络相结合的一个很好的发展方向。 本文所说的“虚实结合”特指将经过“实物虚化”和“虚物实化”的图像信息，经过 中间图像的链接所结合起来而形成完整虚拟环境的过程。 第l o 页 信息工程大学硕士学位论文 2 3 2 虚拟环境生成模型 优化后的虚拟环境生成系统模型图，如图2 1 所示，图中左边虚线框所表示的即为“实 物虚化”的过程，其中包括图像采集、图像绘制、图像投影、图像拼接等过程，这一部分 的主要功能就是将具体的物体经过处理生成虚拟环境；而右边虚线框所表示的即为“虚物 实化”的过程，其中包括反投影技术、虚拟环境和外部之间的调度接口等。这一部分，就 是将虚拟环境经由的接口和设备，转换成用户能够感知和身临其境的真实空间。最下面 的虚线框所表示出的就是“虚实结合”的过程。这里要重点说明的是“实物虚化”中的图 像数据应为采集到的连续图像( 详见第3 章) 。 图2 1 优化后的虚拟环境生成系统模型 2 4 虚拟环境生成流程 全景图生成方法主要有三种：一是计算机绘制，该方法用计算机图形学技术给场景建 模，在绘制成全景图。其优点是容易得到任何形状的全景图，但缺点是建模费时和繁琐； 二是用全景照相机进行拍摄。用这种方法的优点是容易得到全景图并且不需要复杂的建 模，而且缺点是设备昂贵；三是用普通照相机拍摄出一系列相互重叠的照片，然后拼接成 全景图。这样做的优点是可以制作出任何形状的全景图而不需要专门的设备，只需要普通 第1 l 页 信息工程大学硕士学位论文 的数码照相机即可，另一个优点是可以对每帧照片进行曝光控制，使得到的全景图光强平 衡。而此方法的应用则是建立在图像拼接的基础上的。 本文所生成的虚拟环境是基于实景图像的，采用基于图像的i b r ( i i i l a g e b a s c d r e n 捌n g ) 技术进行虚拟现实场景绘制。生成实景图像的目的是要生成真实感强的虚拟环 境，满足完全漫游的需要。 根据生成过程中的几个阶段，其流程图如图2 2 所示： 图像采集 弋夕 图像绘髑 弋夕 图像处理 弋夕 生成虚拟空间 图2 2 虚拟环境生成流程图 1 图像采集。生成全景图数据的采集，用数码相机拍摄图像序列，完成所需图像的 采集工作。 2 图像绘制。对采集到的图像数据根据需要进行绘制工作。本文采用基于图像的m r ( h i l a g e - b 船e dr e n d e 血g ) 技术，可以在实景的基础上加入虚拟景物，使生成的虚拟空间 更丰富。 3 图像处理。这部分包括图像的投影、拼接、反投影等一系列工作，是生成虚拟环 境的关键，尤其是图像的拼接。图像拼接算法的好坏，直接关系到生成的虚拟环境的质量 的好坏。如果只是简单的将两幅图像叠加起来，就会发现拼接而成的图像的拼接痕迹十分 明显。所以好的拼接算法能基本上实现图像的无缝拼接，满足基本需要。 4 生成虚拟环境。经过上述一系列的工作生成基本满足需要的虚拟环境。并且生成 此虚拟环境的目的是为了满足完全漫游的需要。 2 5 本章小结 在本章中，提出一种优化的虚拟环境构建模型，这种模型充分展示了虚拟环境构造过 程中“实物虚化”和“虚物实化”的过程。这一过程可以理解为在抽象的和实际的两部分 内容，对理解以及构造虚拟环境空间起到了辅助作用。 本章具体工作如下： 第1 2 页 信息工程大学硕士学位论文 1 借鉴了工程学中关于“虚实结合”的概念，将其拓展到虚拟环境构造的过程中， 提出一种基于“虚实”的改良后的环境生成模型，该模型包括“实物虚化”和“虚物实化” 两大部分。 2 在该模型的基础上建立了虚拟环境生成流程图，从图像采集入手，包括图像处理、 图像绘制等几大模块，最后生成虚拟环境。本篇论文是在此流程图的基础上，将基于多视 点的虚拟环境生成技术也分为这几个大的模块进行论述和说明的。 第1 3 页 信息工程大学硕士学位论文 第三章基于多视点的虚拟现实场景图像采集及绘制 全景图像采集的方法大致上分为两种：一是通过特殊的摄影设备( 全景照相机，带鱼 眼镜头的照相机) 直接获得，这种方法的好处是图像数据获取相对简单，但是设备的造价 相对较高。二是通过普通的光学照相机、数码相机拍摄多个序列图像进行制作。( 本课题 考虑到多方面原因，在数据采集过程中使用普通数码照相机作为拍摄工具) 。 在数据采集的基础上，为了得到虚拟现实环境中的虚拟场景，必须对场景进行绘制。 虚拟现实技术的场景绘制方法主要有基于几何的绘制、基于图像的绘制即1 和建模方法以及 基于图像的i b r ( i i n a g e b a s e dr e n d 锄g ) 技术【1 3 】。 3 1 基于多视点的图像采集技术 基于多视点的图像采集技术，是在普通图像采集技术的基础上，将多视点的概念独立 和强调出来。在虚拟环境中如果用户从一个视点前进或后退到下一个视点时，只是简单的 把第一个视点的图像切换到第二个视点的图像，会造成用户视觉上的跳跃感。为了更好的 解决这种问题，在图像采集的过程中，便在相邻视点之间沿路线采集多幅参考图像。 基于多视点的图像采集的目的有两个，一是为了更好的实现漫游浏览时视点问的切 换；二是根据第2 章中的虚拟现实生成系统模型，为虚拟场景生成提供完备的中间图像。 3 1 1 照相机旋转拍摄 在这里所说的照相机旋转拍摄分为两种情况，一种是使用三脚架固定相机。这种情况 将照相机和三脚架看成垂直轴，在拍摄过程中一直在同一位置。拍摄时，照相机绕垂直光 轴旋转，每旋转一定的角度，拍摄一张照片。另一种情况则是用人替换三脚架，用手持相 机进行拍摄。这两种方法所拍摄的照片在稳定度上，使用三脚架要高于手持相机。 拍摄所得到的照片中，相邻两张必须有部分重叠。重叠区域大小是图像拼接效果重要 的影响因素。一般建议【1 蚴御1 相邻图像之间重叠比例达到5 0 ，重叠比例越大，拼接就越容 易，但是要生成一幅全景图像需要的照片就越多。图3 1 说明了照相机旋转拍摄时两幅图 像重叠区域间的几何关系。 第1 4 页 信息工程大学硕士学位论文 图3 1 照相机旋转拍摄重叠区域间关系图 其中三表示采集图像的宽度，表示相邻图像间重叠区域的宽度。，与取决于连续图 像间的旋转角度y 和照相机的水平视角口。式( 3 1 ) 表示的是两幅图像重叠区域大小的计 算公式： 三：型竺二硷 ( 3 1 ) 工t a n 2 ) 然而如果照相机在拍摄中产生倾斜，或者在拍摄过程中照相机绕非定点轴进行旋转拍 摄，则通过公式( 3 1 ) 所计算出的重叠区域的实际大小可能不同。因此，通过相机旋转 采集图像时应尽量避免绕非定点轴的旋转。另一个需要考虑的因素是现实世界的对象是被 投影在2 d 平面上的，因此在图像采集过程中如果通过相继旋转拍摄，现实世界中两点之 间的距离也许会发生变化。 因为相机在连续图像之间做旋转运动，每个图像的方向是不同的，所以，通过此方法 采集图像在进行图像处理之前需要投影到同一个平面中，例如圆柱面、球面等。 3 1 2 照相机平移拍摄 相机平移拍摄是指照相机在一个平行于所拍摄景物的方向上做平移运动。在固定焦距 即照相机与所拍摄的物体之间的距离保持不变的情况下，照相机放置在一个滑轨上移动拍 摄。图3 2 为此方法的示意图，其中相机和滑轨对齐，目的是景物与滑轨平面即相机平行。 在实际应用中，滑轨由人来代替，这在拍摄中会因为人的前后晃动导致照相机与所拍摄景 物之间的距离改变，从而会有一定的误差。在这里我们认为由于这种原因而产生的误差很 小，几乎可以忽略不计。 第1 5 页 信息工程大学硕士学位论文 v l d 八 a ，v 、 n门 图3 2 相机平移拍摄重叠区域间关系图 由图3 2 所示，给定的平移量f ，相机和物体间的距离d ，相机的水平视角口。重叠 区域大小与图像大小的比例关系如式( 3 2 ) ： 圭= h ，( 2 d 伽( 口2 ) ) ( 3 - 2 ) 在拍摄所得到的图像数据中，相邻图像问的实际大小，是由相机的具体放置位置所决 定。照相机平移拍摄这种方法的缺点在于，如果采集的图像所需的相同的重叠区域大小以 及平移量f 随相机与物体之间的距离d 而增加，当物体离相机较远时，要获得所需的平移 量，图像采集就变得比较困难。所以在此过程中，尽量保持相机与物体之间的距离，相机 与物体之间的距离不宜太大，并且视点与视点之间所采集的图像