（机械电子工程专业论文）基于电子商务的虚拟场景的构建与交互技术研究.pdf

摘要 基于电子商务的虚拟场景的构建与交互技 术研究 研究生姓名：张璇导师姓名：薛澄岐教授 东南大学 摘要 随着网络技术和通信技术的迅速发展，基- 丁i n t e m e t 的电子商务在某些领域已经逐步取 代了传统的商务模式。电子商务的相关技术作为一个新的研究领域日渐兴起。目前，绝大部 分电子商务网站都以二维图片展示产品，以文字介绍产品性能，这在很多方面不能达到用户 对产品全面认识的要求。由于虚拟现实技术和电子商务都是基于i n t e r n e t 的，我们在电子商 务系统中引入了虚拟现实技术，让用户在使用电子商务系统时能够有身临其境的感觉，提供 给川户一个三维的虚拟商务场景并能交且地进行交易。 本论文苘允对虚拟现实技术以及相关技术进行了介绍，讨论了国内外的研究现状，就目 前国内外虚拟现实研究现状加以分析，并针对虚拟现实中的关键技术建模技术进行了说 明，对- j ：不同的建模手段进行了比较，并围绕三维场景的构建，对三维建模进行了广泛的探 索和讨论，指出目前虚拟现实技术中建模效率低的不足。在对漫游系统的三维建模过程中所 采州的技术和方法作了深入的研究的基础上，提出了将v r m l 赢接建模、3 d m a x 建模导入 剑v r m l 中和采川j 片建模的方法相结合的手段。从而提高建模的j l 作效率。并在高效率 建模的基础上对场景有效地集成，以实现在网络环境卜能够实时渲染，从而最大程度地克服 虚拟现实系统中图形生成速度这一的重要瓶颈。 本文还阐述了虚拟现实中的交互问题。其中包括自动漫游和交互式漫游的实现，视点控 制。碰撞检测以及与虚拟场景中物体的交互等问题。此外，还利用j a v a 编程技术与v r m l - _ - - 维场景的通讯提高了虚拟现实系统的可控制性。本文最后对全文进行了总结并对虚拟现实 技术在电子商务中应用的发展趋势进行了展望，拓展了基于电子商务的虚拟现实系统的研究 思路。 犬键字：虚拟现实，虚拟现实建模语言，建模，交互。电子商务 a b s t r a c t v i r t u a ls c e n ec o n s t r u c t i o na n di n t e r a c t i v e t e c h n o l o g yr e s e a r c hb a s e d o ne - c o m m e r c e gr a du a t es t u d e n t ：z h a n g x u a n s u p e r v i s o r ：p r o f x u ec h e n g q i s o u t h e a s tu n i v e r s i t y a b s t r a c t a l o n gw i t ht h er a p i dd e v e l o p m e n t o ft h en e t w o r kt e c h n o l o g ya n d c o m m u n i c a t i o nt e c h n o l o g y , e c o m m e r c eb a s e do ni n t e r n e th a sa l r e a d ys u b s t i t u t e df o rt h e t r a d i t i o n a lc o m m e r c i a lm o d eg r a d u a l l yi ns o m ef i e l d s t h er e l e v a n tt e c h n o l o g yo fe c o m m e r c e r i s ed a yb yd a y2 l san e wr e s e a r c hf i e l d a tp r e s e n t ，m o s te c o m m e r c ew e b s i t e ss h o wt h ep r o d u c t s w i t ht w o d i m e n s i o n a lp i c t u r e s 。i n t r o d u c i n gt h ep r o p e r t i e so ft h ep r o d u c t sw i t ht h ec h a r a c t e r s t h i s c a n tm e e tt h ed e m a n dt h a tu s e r sr e a l i z et h ep r o d u c t sr o u n d l yi nm a n ya s p e c t s b e c a u s et h e v i i t u a lr e a l i t yt e c h n o l o g ya n de c o m m e r c ea l la r eb a s e do ni n t e m e t ，w e h a v e i n t r o d u c e dv i r t u a lr e a l i t yt e c h n o l o g yi nt h ee - c o m m e r c es y s t e m ，e n a b l et h eu s e r st o h a v ef e e l i n go nt h es p o ti n p e r s o n w h i l eu s i n ge - c o m m e r c es y s t e m ，o f f e ra t h r e e d i m e n s i o n a lv i r t u a lc o m m e r c i a ls c e n et ou s e r sa n dc a nd oad e a li n t e r a c t i v e l y t h ep r e s e n tt h e s i si n t r o d u c e dt h e v i r t u a l r e a l i t yt e c h n o l o g y a n dr e l e v a n t t e c h n o l o g yf i r s t l ya n dd i s c u s s e dt h ec u r r e n tr e s e a r c hs i t u a t i o nb o t h a th o m ea n d a b r o a d t h ec u r r e n ts i t u a t i o no fd o m e s t i ca n do v e r s e a sv i r t u a lr e a l i t yr e s e a r c hw a s a n a l y z e d a n dt h ek e yt e c h n o l o g yo fv i r t u a lr e a l i t y , m o d e l i n gt e c h n o l o g y , w a s i l l u m i n a t e d i nt h i st h e s i s ，w ec o m p a r e dd i f f e r e n tm o d e l i n gm e a n sa n dc a r r i e do u t e x t e n s i v ee x p l o r a t i o na n dd i s c u s s e da b o u tt h et h r e e - d i m e n s i o n a lm o d e l i n ga r o u n dt h e c o n s t r u c t i o no ft h et h r e e d i m e n s i o n a ls c e n e w ea l s op o i n t e d o u tt h el o we f f i c i e n c yo f i n o d e l i n gi nv i r t u a lr e a l i t yt e c h n o l o g ya tp r e s e n ta n dm a d ead e e ps t u d yo nt h et e c h n o l o g ya n d m e t l l o d sa d o p t e di nt h et h r e e d i m e n s i o n a lm o d e l i n go fr o a m i n gs y s t e m ，p r o p o s e dac o m b i n a t i o n o fv r m lm o d e l i n gd i r e c t l y , 3 d m a xm o d e l i n gi n t r o d u c e d i n t ov r m la n dm o d e l i n gf r o m p h o t o g r a p h s ，t h u si m p r o v e d t h e w o r k i n ge f f i c i e n c y o fm o d e l i n g w ei n t e g r a t e dt h es c e n e e f f e c t i v e l yo nt h eb a s i so fh i g h e f f i c i e n c ym o d e l i n gi n o r d e rt oa c h i e v et h er e a l t i m er e n d e r i n g u n d e rt h ee n v i r o n m e n to ft h en e t w o r ka n do v e r c o m et h eb o t t l e n e c ko fg r a p hp r o d u c t i o ns p e e d a b s t r a e t i nt h ev i r t u a lr e a l i t ys y s t e mi ng r e a t e s td e g r e e t h i st h e s i sa l s oe l a b o r a t e dt h ei n t e r a c t i v ep r o b l e mi nv i r t u a lr e a l i t y , i n c l u d i n gt h e r e a l i z a t i o no fa u t o m a t i cr o a m i n ga n di n t e r a c t i v er o a m i n g ，v i e w p o i n tc o n t r o l ，c o l l i s i o n d e t e c t i o na n ds o m eq u e s t i o n sa b o u ti n t e r a c t i o no fo b j e c t si nt h ev i r t u a ls c e n e i n a d d i t i o n ，w eu s e dt h ec o m m u n i c a t i o nb e t w e e nj a v ap r o g r a m m i n gt e c h n o l o g ya n dt h e v r m lt h r e e d i m e n s i o n a ls c e n et oi m p r o v et h ec o n t r o l l a b i l i t yo fv i r t u a lr e a l i t ys y s t e m f i n a l l y , t h et h e s i ss u m m a r i z e dt h ew h o l es t u d yw o r k ，p r o s p e c t e dt h ed e v e l o p m e n t t e n d e n c ya n dd e v e l o p e dt h er e s e a r c ht h i n k i n go ft h ev i r t u a lr e a l i t ys y s t e mb a s e d o n e c o m m e r c e k e y w o r d s ：v i r t u a lr e a l i t y ，v r m l ，m o d e l i n g ，i n t e r a c t i o n ，e c o m m e r c e i l i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写j 丛r r , j 研究成果，也4 i 包含为获得东南大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 了谢意。 研究生签名：日期：2 叁：。 ! ! 旦 东南大学学位论文使用授权声明 东南大学、中闷科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和申j 予文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和 纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公 布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生 院办理。 研究生签名：蛱导师签名：驻 户 e l 期：叟星! s ! 堡 第一章绪论 1 1 课题来源 第一章绪论 虚拟现实以提供用户身临其境的真实感受和超越现实的虚拟特征为目标，在军事、医学、 艺术、商务等领域的应用正处丁迅速发展的阶段。将虚拟现实技术虑用在电子商务中，可以 更盘f 地向川户真实地展现商品的外型及各种功能，从而增强屯子商务网站的竞争力。众所周 知，电子商务系统中最简单的方法是将商品的图片放在网站上，然而仅看到图片对用户而言 是不够的。为了能更好地展示商品弗实现交互作用，引入虚拟现实可以使用户感觉身临其境。 使州虚拟现实已经成为电子商务发展的一种趋势。 在电子商务网站中应用虚拟现实技术，有利于给用户创建一个能使其感觉到一个身临其 境的逼真环境，其必要条件就是创建一个逼真的虚拟场景。因为人所感受到的人部分信息是 通过视觉获取的，而且在真实的世界里，人感受剑的是二维信息，所以二维建模技术在虚拟 现实技术中就处丁1 卜常核心和基础的地何，也是为虚拟现实技术所必须，是虚拟现实的底层。 l m 檀拟观实 界足人呵参j 0 并1 0 之交上：的世界，建模技术是所有意用中的一个大键步骤和 披术，它足整个虚拟现实技术的灵魂。模戳的准确度的高低，模拟场景的真实与否，往往直 接关系剑应 j 实例的成败。虚拟现实建模主要有两种，三维视觉建模和三维听觉建模。本文 讨论的是三维视觉建模。 1 2 虚拟现实技术发展和国内外研究动态 虚拟现实技术( v i r t u a lr e a l i t y ，简称v r 技术) 出现于2 0 世纪6 0 年代，随着处理器技术 的人幅度提高以及图形绘制技术、数字信号处理技术、传感技术的发展，近几十年来在国内 外形成，对虚拟现实的研究热潮。 1 2 1 虚拟现实技术发展阶段“1 虚拟现实技术的发展人致可以分为二个阶段：2 0 世纪5 0 年代至7 0 年代，是虚拟现实技术的 准备阶段；8 0 年代初至8 0 年代中期，是虚拟现实技术系统化、开始走出实验室进入实际应用的 阶段；8 0 年代末至今，是虚拟现实技术迅猛发展的阶段。 第一阶段，5 0 7 0 年代，为虚拟现实的思想萌芽和探索阶段。6 0 年代初，i v a ns u t h e r l a n d 教授在他的博十论文中对有关计算机图形交互系统方面作了论述。6 5 年他发表了论文“终极 显示”提出了感觉真实、交互真实的人机协作新理论。1 9 6 8 年他在哈佛大学组织开发了头盔 式立体显示器h m d 及头部位置跟踪系统，成为虚拟现实技术发展史上的一个重要的里程碑， 为虚拟现实的发展奠定了基础。历米他开发了一个虚拟系统可称得上是第一个虚拟现实系 统，它是基了：传统习惯、花费义人、模型义过分简化了的一个虚拟世界。i v a ns u t h e r l a n d 的 论文和一个过丁简单的虚拟世界是具有初始意义的虚拟现实技术，也正是虚拟现实技术的萌 芽。由丁在图形方面的显示和交互，冈此人们也称他为图形学之父。 第二阶段，8 0 年代初至8 0 年代中； i j ，开始形成虚拟现实技术的基本概念，并开始有实验 室进入实刚阶段。其重要标志是1 9 8 5 年在m i c h a e lm eg r e e v y 领导卜完成的v i e w 虚拟现实 系统，装备了数据手套和头部跟踪器，提供了手势、语言等交互手段，使v i e w 成为名副其 吱的虚拟现实系统，成为后来开发虚拟现实的体系结构。其他如v p l 公司开发了用于生成虚 东南大学硕士学位论文 拟现实的r b 2 软件和d a t a g l o v e 数据手套，为虚拟现实提供了开发工具。 第二阶段，8 0 年代木至今，为虚拟现实全面发展阶段。虚拟现实技术已经从实验室的试 验阶段走向了市场的实期阶段。对虚拟现实技术的研究也从基本理论和系统构成的研究转向 府川过稃中所遇剑的具体问题的探讨。 1 2 ：2 国内外研究现状2 1 l 、国外虚拟现实研究现状 美国是v r 技术的发源地，目前美国在该领域的基础研究主要集中在感知、用户界面、 后台软什和硬件四个方面。关国宁航局( n a s a ) 的a m e s 实验室完善了h m d ，并将v p l 的 数据手套l ：样化，使其成为可用性较高的产品。n a s a 研究的重点放在对空间的操纵的实时 仿真上。北k 罗米纳人学( u n c ) 土要研究：分子建模、航空驾驶、外科手术仿真、建筑 仿真等。在显示技术上，u n c 开发了一个帮助用户在复杂视景中尽力实时动态显示的并行 处理系统，叫像素飞机( p i x e lp l a n e s ) 。麻省理：l j 学院( m i t ) 建立了一个虚拟环境下的对 象运动跟踪动态系统。另外，m i t 还住进行“路径计划”与“运动计划”等研究。华盛顿大 学华盛顿技术中心的人机界面技术实验室( h i tl a b ) 在新概念的研究中起着领先作用，同 时也住进行感觉、知觉、认知和运动控制能力的研究。h i t 现已将v r 研究引入了教育、设计、 娱乐和制造领域。d a v es i m s 等人研制出虚拟现实撤退模型来观看系统如何运作。当前，这 模州已往拉斯维加斯的虚拟购物商场中得以运用。 欧洲的1 i j l = 究现状：欧共体( c e c ) 认为v r 是一门新兴技术，已经组织了多次评价v r 的 题活动。德国d a m a s 的f r a u n h o f e r 计算机图形学研究所开发出一种名为“虚拟设计”的v r 组合i ：具，可使得图像伴随声音实时显示。德国国家数学与计算机研究中心( g m d ) 专门 成立了一个部门，研究科学视算与v r 技术。研究的课题有v r 表演，冲突检测，装订在箱子 中的物体的移动，高速变换以及运动控制。荷兰的v r 研究主要是研究一般性的硬件软件结 构问题、人员闪素问题，以及在_ t ：业和培训中的应用。 住孵洲，日本的虚拟现实研究发展十分迅速，同时在韩国、新加坡等国家也积极开展了 虚拟现实技术方面的研究：f ：作。日本是虚拟现实技术居于领先位置的国家之一，它主要致力 丁建立人规模的v r 失i j 识库的研究。另外，在虚拟现实游戏方面也作了很多研究t 作。但日 本人部分虚拟现实便什是从美国进口的。东京大学的原岛研究室开展了3 个研究项目：人类 面部表情特征的提取、三维结构的判定和三维形状的表示、动态图像的提取。东京大学的广 濑研究室重点研究虚拟现实的可视化问题。为了克服当前显示和交互作用技术的局限性，他 们开发一种虚拟全息系统。他们的成果有一个类似c a v e 的系统、用h m d 在建筑群中漫游、 人体测避平l l 模，弘随动、琶行仿真器笛。富十通实验室有限公司研究的一个项目是虚拟生物与 v r 环境的相互作用。他们还研究虚拟现实中手势识别，开发了一套神经网络姿势识别系统， 该系统可以识别姿势，也可以识别表示词的信号语言。 2 、国内虚拟现实研究现状 虚拟现实技术是2 l 世纪科技发展的一个重要方向，也将是人类普遍应用虚拟现实技术的 时代它的发展将对诸多领域产生重人的影响。 我凼的v r 技术和一些发达国家相比，还有一定的差距，但已引起政府有关部门和科学 家们的高度露视。根据我国的国情，制定了开展v r 技术的研究，例如；九五规划、国家自 然科学基金会、国家高科技研究发展计划等都把v r 万 t j 入了研究项目。 北京航空航天入学计算机系是国内最早进行v r 研究、最有权威的单位之一，他们着重 研究了虚拟环境中物体物理特性的表示与处理：在虚拟现实中的视觉接口方面开发出了部分 硬件，实现了分布式虚拟环境网络设计。 浙江大学c a d & c g 国家重点实验室开发出了一套桌面型虚拟建筑环境实时漫游系统。 2 第一章绪论 另外，他们还研制出了一种新的虚拟环境快速漫游算法和一种递进网格的快速生成算法。 哈1 j 人计算机系已经成功地虚拟出了人的高级行为中特定人脸图像的合成，表情的合成 和羼动的合成，并正在研究人说话时头势和手势动作、语音和语调的同步等。 清华计算机和技术系对虚拟现实临场感的方面进行了研究。例如球面屏幕现实和图像随 动、克服立：体图闪烁的措施和深度感实验等方面都具有不少独特的方法。他们还针对室内环 境水j f 特祉二# 富的特点，提出借助图像变换，使立体视觉幽像中对应水平特征呈现形状一致 性，以利丁实现特征匹配，并获取物体二维结构的新颖算法。 北京科技人学虚拟现实实验室近年来从事虚拟现实研究，成功开发出纯交互汽车模拟驾 驶培训系统。由丁开发出的三维图形非常逼真，虚拟环境与真实的驾驶环境几乎没有什么差 别，冈此投入使用后效果良好。 武汉人学投资建成的虚拟现实实验室，目前已经成为国内一流的虚拟地理环境教学与研 究机构，不仅成功研制了图像数码三维模拟系统，而且为国氏经济的发展提供了大量科学的 空| 日j 信息。 另外，两北1 i 业人学c a d c a m 研究中心、上海交通大学图像处理模式识别研究所、长 沙国防科技大学计算机研究所等单位也进行了一些研究：r ：作和尝试。 值得一提的是国际上对分布式虚拟现实的研究从2 0 世纪9 0 年代才全面开展，在这方面， 我国与世界先进水平的差距并不太火。国家8 6 3 高技术发展计划从1 9 9 6 年开始将虚拟现实技 术列入重点支持范罔。并确定“分布式虚拟环境”为具体实施基础项目给予重点资助。在一 批v r 关键技术研究中取得进展，建立了国内一流的研究环境，也具备了今后领先国外首先 解决若干v r 问题的条件和能力。 1 2 3 虚拟现实建模技术研究现状和发展 随着虚拟现实技术的快速发展，新的方法和支持技术不断涌现。在三维建模方面已经出 现了基丁手势识别、语音识别等的直接建模方法| 3j 。如1 9 9 5 年8 月在美国洛杉矶举行的 s i g g r a h p 会议上，m u l t i g e n 公司展出一种s m a r t m o d e l 技术。这种技术区别于传统的三维建模 技术，采刈了于辨建模的方法，并研制了专川的二维浏览器。s g i 高层技术人员认为“这是 臼1 9 8 5 年以米，在3 d 建模方面最重要的发展”。从这个技术可以看出，人们不但能够建立虚 拟现实系统，并且虚拟现实技术将为人t f j 仓, j 建虚拟环境提供最直接的t 具。s t a n f o r d 人学研 制的“设计室”是一个基于虚拟现实技术的c a d 系统，该系统提供语音识别和手势跟踪功 能，设计者可以在网络虚拟环境中进行概念设计和装配设计。语音识别和手势跟踪已经成为 目前人机交互研究的重要内容f 4 1 。a t & t 公司研制了一个语音识别和手势跟踪系统，它采用 数据手态跟踪手的位置，并依靠简单的语音识别系统便可进行虚拟设计。另外，m i t 也研制 了旗j ：语音彭驯u 和手势跟踪的交互系统，采州了双手数据手套输入并伴有语音和眼神识别系 统。w i s c o n s i n 人学机械系开发了一个名为c o v i r d s 的虚拟设计系统，借助该系统设计者 可以利川更加臼然的交且方式来建立三维计算机模型，如将语音命令和手势识别结合起来定 义零1 i ，l ：的形状尺寸。在这种交互设计中，语音命令赋予双手动作内容。语音识别和手势跟踪 的交互系统代替了传统的键盘、鼠标，这样使得虚拟环境的创建变得更加直观和自然，自然 的虚拟环境创建方式将是虚拟环境建模技术发展的趋势p j 。 虚拟环境渲染领域的基丁图像渲染现实人们研究的热点。过去是基于计算机图形学的渲 染，即首先小j 真实世界进行抽象，刚多边形建立起三维集合模型，然后再实现多边行绘制、 着色、消隐、光照以及投影等一系列绘制过程，产生虚拟环境。这种基丁计算机图形的渲染 技术一方面需要高性能的图形下作站，硬件成本高，另一方面需要有专业的三维建模人员， 费刚也相当高。而基丁二图像的渲染技术是直接由照片图像来构建虚拟环境，近年来在世界各 国引起研究热潮。 3 东南大学硕：l 学位论文 1 3 本课题研究的目的和意义 在电子商务网站中应用虚拟现实技术，是目前国内外都在研究的一个问题。由于虚拟现 实技术的特点使得它在企业产品宣传和电子商务领域具备了1 f 常充分的发展前景。虚拟现实 技术强人的二维表现形式，能够全方位地展现一个对象( 企业的产品等实体) ，具有二维平面 图像不可比拟的优势。企业将他们的产品发布成网上三维的形式，能够展现出产品外形和结 构一卜的方7 j i 而面，加上互动操作，演示产品的功能和使用操作，充分利用互连网高速迅捷的 传播优势水推j 公司的产：晶。i 可对丁网上电子商务，将销售产品展示做成在线二维的形式， 顾客通过对它们进行观察和操作能够对产品有更加全面的、深入的认识和了解，从而其决定 购灭的儿率必将火幅增加，为销售者和中间商带来更多的利润。 虚拟环境_ 卜的商品可以不是现实上存在的物品，但有一个最重要的特性，就是能够通过 商家与川户的交且，可以不断修改虚拟物品以达到消费者的要求。随着用户需求的不断提高， 虚拟现实没备的不断涌山，不久的将米也许人家在i n t e r n e t 上看到的大多数都是三维的商务 系统，而不再是空中楼阁。虚拟现实技术为电子商务网站提供了一个直观的、逼真的场景， 使整个商务网站数字化、智能化、人性化。 1 4 本课题研究的主要内容 本课题t 要是研究基于电子商务的虚拟现实中场景的构建以及交互。深入的研究虚拟现 实中场景的建模以及电子商务中销售产品的建模，拟定将不同建模手段相结合，从而提高建 模过科的效率。住学习和研究建模理论的基础上，利用v r m l 建模语言直接建模，3 d m a x 建 模利通过照片直接建模等不同的技术手段。 在场景构建的基础上，研究讨论场景中的交互问题，主要涉及到场景中碰撞的检测，漫 游方式的选择，以及虚拟对象的交互功能的实现等问题。 4 第二章虚拟现实技术概述 第二章虚拟现实技术的概述 2 1 虚拟现实概述 2 1 1 虚拟现实基本概念 虚拟现实( v i r t u a lr e a l t y ，简称v r ) 是指通过人的多种感知通道( 视觉、听觉、触觉、 嗅觉、味觉等) 进 于实时模拟与交互的高级人机交互系统f 6 】。虚拟现实义可称为人工现实 ( a r t i f i c i a lr e a l i t y ) 、虚拟环境( v i r t u a le n v i r o n m e n t ) 等。1 9 9 5 年，在德国斯图加特召开的 虚拟现实国际会议( v i r t u a lr e a l i t yw o r l dc o n f e r e n c e ) 上，s t e p h a ne l l i s 给虚拟现实下了这样 一个定义：虚拟现实是一个当用户佩带上适当的装置后观察的综合的、交互式的、虚幻的环 境，它能提供模仿物理环境的感官信息的协调表达。 虚拟现实技术在进入9 0 年代以后有了飞速的发展，在多媒体、科学计算可视化、计算机 视觉等领域处处可见它的身影，它被j - 泛用丁各种教育、各种模拟训练、游戏娱乐、大型军 书演习、电影特级处理、建筑等行业中。 虚拟现实是近年米十分活跃的技术研究领域，是一系列高新技术的汇集，这些技术包括 计算机图形学、多媒体技术、人j ：智能、人机接口技术、传感器技术以及高度并行的实时计 算技术，还包括人的行为学研究等多项关键技术。虚拟现实是多媒体发展的更高境界，是这 些技术的更高层次的集成和渗透。它能给用户以逼真的体验，它为人们探索宏观世界和微观 世界以及由丁种种原冈不便丁直接观察事物的运动变化规律提供了极人的便利。由于它的诱 人前景，经问1 = 就立刻受到了人们的高度重视。有关人十认为，8 0 年代是个人计算机的年 代，9 0 ：v - - 4 - , 足多媒体计算机的年代，2 1 世纪初将是虚拟现实技术的时代【7 l 。为了把握虚拟现 实这一新技术。美、英、日等国政府以及大公司不惜投入巨额资金进行该领域的研究与开发 j l ：作，并在许多应用领域显示出了良好的应用。 2 1 2 虚拟现实技术特点嘲9 0 1 虚拟现实系统提供了一种先进的入机界面，它通过为刚户提供视觉、听觉、触觉等真观 而自然的实时感知交且的方法和手段，最人程度地方便h j 户的操作，从而减轻了用户的负担， 提高了系统的l ：作效率。美国科学家b u r d e a g 和p h i l i p p ec o i f f e t 在1 9 9 3 年世界电子年会上 发表了一篇题为“v i s u a lr e a l i t ys y s t e ma n da p p l i c a t i o n s ”的文章，在该文中提出一个“虚拟 现实技术的二角形”，它表示出虚拟现实技术具有三个突出特征：沉浸性、交互性、想象性 如图2 1 所示。 图2 1 虚拟现实技术的三个特性 5 东南人学硕士学位论文 1 、沉浸性 沉浸性义称浸入性，指用户感觉好像完全置身于虚拟世界一样，被虚拟世界所包围。虚 拟现实技术的特祉就是让刈户觉得臼己是计算机系统所创建的虚拟世界的一部分，使用户由 被动的观察青变成主动的参与者，沉浸丁虚拟t h = 界中，参与虚拟世界的各种活动。 虚拟现实的沉浸性来源丁对虚拟现实世界的多感知性，除了我们常见的视觉感知、听觉 感知、还有力觉感知、触觉感知、运动感知、味觉感知、嗅觉感知、身体感知等。从理论上 来说，虚拟现实系统应该具备人在现实客观世界中具有的所有感知功能。但鉴于目前科学技 术的局限性，在虚拟现实系统中，研究于应用中较为成熟或相对成熟的主要是视觉沉浸、听 觉沉浸、触觉沉浸、嗅觉沉浸，有关味觉等其他感知技术还正在研究之中，还很不成熟。 2 、交互性 在虚拟现实系统中，交互性的实现与传统的多媒体技术有所不同，在传统的多媒体技术 中，人机之间的交互i ：具从计算机发明剑现在，主要是通过键盘丁鼠标进行一维、二维的交 互，而虚拟现实系统强凋人与虚拟世界之间要以自然的方式进行交互，如人的走动、头的转 动、手的移动等。通过这些，用户与虚拟世界进行交互，并且借助丁虚拟现实系统中特殊的 t 贾f l ：设备( 如数据手套、力反馈设备等) ，以自然的方式与虚拟世界进行交互，实时产生在 真实世界中一样的感知，甚至连用户本人都意识不到计算机的存在。 3 、想象性 想象性指虚拟的环境是入想象出来的，同时这种想象体现出设计者相应的思想，因而可 以刖米实现定的目标。虚拟现实技术的应用，为人类认识世界提供了一种全新的方法和手 段，可以使人类突破时间与空间，去经历和体验世界上早已发生或尚朱发生的事件，可以使 人类浸入宏观或微观的世界进行研究和探索，也可以完成那些冈为某些条件限制难以完成的 事情。例如在建设一座大楼之前，传统的方法就是要画各种图纸，而现在可以采用虚拟现实 系统来进行设计与仿真。它的功能要比图纸生动强大的多，制作的虚拟现实作品反映的是设 计者的思想。所以有些学者称虚拟现实为放大人们心灵的工具，或人工现实( a r t i f i c a l r e a l i t y ) ，这就是虚拟现实所具有的第三个特征，即想象性。 2 。1 ：3 虚拟现实系统的组成和分类 1 、虚拟现实系统的组成 虚拟现实是计算机声称的给人多种感官刺激的虚拟世界( 环境) ，是一种高级的人机交 互系统。一个典型的虚拟现实系统主要由v r 引擎、输入输出设备、应用软件和数据库等组 成，其模删如幽2 - 2 所示1 1 ： 图2 - 2 虚拟现实系统的结构 6 第一口m 拟现实技术概述 2 q 。拟寅的分类1 1 4 m 】 根据广参与虚拟现实的不同形式以及沉浸的样度不同可以把虚拟现实技术划分四 类 ( ij 沉浸酗虚拟现实系统 沉浸掣虚拟现实系统是一套比较复杂的系统。虚拟现实系统创建的沉浸感主要来于各种 懂州所提供的感赏输入( 主要包括视觉、听觉、触觉等) ，他们使得参与者完全投八到一个 j 牲拟境界q - 、晰看不剑现实世界。使州着必须头戴头盘、手藏数据手套等传感跟踪装置( 如 幽2 3 ) 才能与虚拟丁 l = 界进行交互。由于这种系统可以将使用者的视觉、听觉与外界隔离， 闭此，川户周同的现实环境就被有效地屏蔽了，使得参与者有一种被虚拟境界包围的感觉， 艟眙全身心地投入到虚拟世界中去。这种系统的优点是用户可咀完全沉浸到虚拟世界中去 缺南是系统蹬备价格昂贵难以普及推广。 幽2 - - 3 头益式显示器、数据手套 ( 2 ) j 曾性现实刑虚拟现实系统 m 愠乩”菇技术允许参l 。者看见现实环境中的物体，同时又把虚拟环境的图形甍加在真实 物体i ，占是把真实环境自l 虚拟环境组台在一起的一种系统，既可以减少构成复杂真实环 境的汁葬义可以对实际物体进行操作。在增强式虚拟现实系统中，虚拟对蕞所提供的信息往 往是川户无法凭借自身感觉器官直接感知的深层信息用户可以利用虚拟对象所提供的信息 自 碗学位论立 求加世现实_ 界中的认知。目前，增强现实系统常川r ：医学可视化，军用飞机导航、设备 维护j 修辟、娱乐、文物占迹的复原等。典型的实例是医生在进行虚拟手术中，戴上可透视 悱 船式显斫器，既玎以看到做手术现场的情况也可以看到手术中所需要的各种资料。 ，3 ) 祟向型虚拟现实系统 桌面h 虚拟现实系统是通过计算机编程技术实现虚拟仪器和实验过程仿真模拟的虚拟 j 弛实系统。e 仅仅利州个人计算机平j 作站去进行仿真计算机的屏幕作为参与者观察虚拟 境 的商n 川户通过键盘、鼠标便可与虚拟环境进行交互( 如幽2 , 4 ) 。用户在忤通的电 脑埘过汁算机屏幕可以观察3 6 0 度范围内的虚拟境界，真实地感受到所虚拟的情景。利用 融杯剐键氚，就能操纵其中的物体但这时参与者缺少完全的沉馒。因为参与者坐在监视器 前肼祭虚拟境界时会受到周同现实环境的干扰。但它结构简单、成奉较低，易于普及推广， 是 粪经济宴川的系统。常见桌面虚拟现实技术有：基于静态图像的虚拟现实 q u i c k t i m e v r 、虚拟现实建模语言v r m l 等等。 图2 4 桌面型虚拟现实设计 ( 4 )分m 试虚拟现实系统 分布_ _ 【= e 拟现实主要提供多个用户麸同参与。多个用户通过计算机网络连接在一起t 同 吲参加一个麻拟空间，共同体验虚拟经历，将虚拟现实提升到了一个更高的境界。目前，最 皿h 的分札式虚拟现实系统是美国国防部实施的作战仿真互联网( d e f e n s es i m u l a t i o n i n t e m e t d s i ) 也是目前最大的v r 项目之一。 沉浸型虚拟现实系统和增强现实型虚拟现实系统需要昂贵的硬件设备，目前仅仅i 薹用在 平市、航空航犬等方面一般片j 户还无法承受，所以我们在本文中采用的是桌面型虚拟现实 系统。 22 虚拟现实的研究内容和关键技术 221 虚拟现实研究内容 虚拟现实是多种技术的综合其研究内容吐要包括虚拟环境的构建和与人自然的交 l 。f 如幽25 虚拟现实系统的研究内容1 第二章虚拟现实技术概述 图2 5 虚拟现实研究内容 9 东南大学硕士学位论文 2 2 2 虚拟现实关键技术 虚拟现实系统关键技术【i q 主要包括以下几个方面： l 、动态环境建模技术。虚拟环境的建立是v r 技术的核心内容，动态环境建模技术的目 的足获取实际环境的二维数据，并根据应用的需要，利川获取的三维数据建立相应的虚拟环 境模型。二维数据的获取可以采用c a d 技术( 有规则的环境) ，而更多的情况则需要采用非 接触式的视觉建模技术，两者的有机结合可以有效的提高数据获取的效率。 2 、实时三维图形生成。三维图形的生成技术已经较为成熟，而这里的关键是如何实现 “实时”生成。 3 、立体现实和j 传感器技术。v r 的交互功能依赖丁立体现实和传感技术的发展。常用的 立体现实利传感器设备有头盔式二维显示器、数据手套、数据农以及触觉传感装置等。 4 、应川系统开发l ：具。v r 应心的关键是寻找合适的场合和对象，即如何发挥想象力和 创造性。选择适当的应用对象可以大幅度地提高生产率，减轻劳动强度，提高产品质量。为 了达到这一目的，必须研究v r 的开发i ：具。例如，v r 系统开发平台、分布式v r 技术等。 5 、系统集成技术。由y - v r 中包括大量的感知信息和模型，因此系统的集成技术起着至 关重要的作川。集成技术包括信息的同步技术、数据转换技术、数据管理模型、识别与合成 技术等。 2 3 虚拟现实研究的方向 虚拟现实的研究方向可分为虚拟现实技术本身和虚拟现实应用两大类【1 引。( 如图2 6 所示) 图2 6 虚拟现实研究方向 l o 第二章虚拟现实技术概述 虚拟现实技术研究的主要内容包括：人与场景的融合技术、物体对象的仿真技术、图形 图像的实时生成和合成技术、多维信息的表示、实时处理及并发处理o o p 技术、高性能的 计算机图形处理技术研究及分布式虚拟环境，基丁网络环境的虚拟现实研究等。 在对虚拟现实相关的人的行为学冈素的研究方面仍在起步阶段，比如对在v r 系统中人 眼的考虑冈素只有立体视觉、分辨力、视觉暂留及视场，而其他因素还没有能够充分考虑到。 虚拟现实系统中实现人机自然交互硬件的研究仍然不成熟，至今可用作入机交互自然操 作的输入f 厦什还十分有限，操作不便，实时性芳，定位凼难，精度较低。 虚拟现实技术的另一个研究方向是基丁虚拟现实技术的虑用。虚拟现实技术的应用领域 十分j i 泛。在2 5 节中将作详细介绍，这些应用一般可分为系统仿真、科学可视化、三维动 画二个类型。 2 4 虚拟现实的瓶颈 前面介绍了虚拟现实技术是一种高度逼真的模拟人在自然环境中视、听、动等行为的人 机界面技术，以其关键技术所支撑的多维信息空间使参与者产生高度逼真的“现实”感觉。 其中，视觉通道是虚拟环境系统中最重要的接口。一般，人类从外界获得的信息近8 0 是 通过人的视觉得到。 人的视觉系统是非常敏感和严格的，任何不满足物理学和光学定律的运动视景、任何同 步不! c ，的视频序列都会给视觉系统带来额外的刺激，严重影响虚拟环境的“真实感”。因而， 对丁虚拟现实的虚拟环境而言，随着参与者的活动即时产生相应的图形画面的实时图形视觉 效果无疑是，缸生现实感的必要条件。 为了使人在观看电影时达剑实时响应的效果，要求电影每秒放映2 4 帧，但电影是简单 地重放事先录制的图像，并朱发生和电影场景之间的交互作用。而虚拟现实系统中的图像并 不足全部事先存储或事先绘制好，而是要基于目前所得剑的图像和人的视点等参数的改变去 计算和显示卜幅的图像，也就是说，在虚拟现实系统中的图像处理是基于交互作用的图像 处理，即图像的生成必须在实时中完成。所以，它不仅对制作出的图像质量有较高的要求， 对剀像的生成速度更有限制。 有两个重要的指标衡量用户所沉浸于虚拟现实的效果和程度。其一是动态特性，其二是 交互延迟特性。自然的动态特性要求每秒生成和显示3 0 帧图形画面，至少不少于1 0 帧，否 则就会产生严重的不连续和跳动感。交互延迟是影响用户的另一个重要指标。对于人产生的 交互动作，如匕行模拟时飞行位置、方向的控制，系统的图形生成必须能立即做出反应，产 生相应的环境和场景。其时间延迟不应大于0 1 秒，最多不能大于1 4 秒。否则在长期的工 作中，人会产生疲劳、烦躁、恶心的感觉，严重影响“真实”的效果。以上两个指标均依赖 】：系统生成蚓形的速度。对丁- 动态图形效果而肓，每帧图形的生成时间局限于3 0 5 0 毫秒； 而对丁交互延迟，除包含对于交互输入及处理时间外，幽形生成速度是重要因素。很显然， 图形生成速度称为虚拟现实的重要瓶颈【1 8 1 。 5 虚拟现实的应用 虚拟现实技术的应用极为j - 泛，h e l s e l 与d o h e r t y 在19 9 3 年对全世界范围内已经进行 的8 0 5 项v r 研究项目作了统计，结果表明：目前在娱乐、教育及艺术方面的应用占据主流， 达2 i 4 ，其次是军事与航空达1 2 7 ，医学方面达6 1 3 ，机器人方面占6 2 l ，商业方 面占4 9 6 ，另外在可视化计算、制造业等方面也有相当的比型19 1 。下面简要介绍其部分 东自 ￥m l 学位论 商川。 i 、医半 v r 在医学方面的应用具有十分重要的现实意义。在虚拟环境中可以建立虚拟的人体 模口借助r 跟踪球、h m d 、感觉手套，学生可以根弈易了解人体内部各器官结构这比 现仃的采川救科h 的方式耍有效得多。( 如闰2 7 ) 囝2 7 虚拟外科手术 p i e p e r 及s a t a r a 等研究者在9 0 年代初基于两个s g i t 。作站建立