（计算机应用技术专业论文）增强现实软件平台的研究.pdf

上海大学硕士学位论文 摘要 增强现实技术( a r - - a u g m e n t e dr e a l i t y ) ，是随着虚拟现实技术( v r j v i r t u a l r e a l i t y ) 迅速发展和实际应用需要而出现的一种将真实世晁信息和虚拟世界信息 “无缝”集成的新技术，是一种将真实场景同虚拟场景融合的技术。 本文的主要研究目标是实现一个基于p c 的增强现实软件平台i l l u s i o n 。根据 增强现实系统的特点，采用v i s u a lc + + 6 0 、o p e n l n v e n t o r4 0 和d i r e c t x 9 0s d k 进行系统开发。该软件平台包括实现平台功能的核心模块，以及实现增强现实各 种需要的功能模块。 本文详细介绍了增强现实软件平台的实现方法。首先，分析了增强现实的实 时图形显示和交互功能的需要，提出了一种增强现实软件平台的设计和实现方 案。确定将该软件平台i l l u s i o n 开发成具有管理扩展模块的功能、采用 o p e n l n v e u t o r 的显示枧能，支持视频融合和分层式软件管理等特征的平台。根据 以上的平台特征，本文具体介绍了平台核心m a n a g e r 、s m a r t 、s d k 、启动模块 等各部分的功能及其具体的实现方法。接着，在平台核心的基础上，本文分析了 增强现实的具体需要，将增强现实所需要实现的功能划分成各个功能模块，包括： 视频捕捉、合成显示、同步跟踪、模型处理、特效实现、交互控制等。然后探讨 了每个模块的实现原理和具体实现方法。 对子i l l u s i o n 平台在多机上的应用，本文对于多机应用中两个主要的问题： 多机同步渲染和多机通信，进行了分析，提出了采用m p i 来实现同步渲染，采 用d i r e c t p l a y 实现通信的问题。然后结合i l l u s i o n 平台，实现了双机立体显示以 及基于p c 的c a v e 系统。最后。本文对在i l l u s i o n 平台上开发的各种应用进行 了说明。 关键字： 增强现实、软件平台、视频捕捉、合成显示、同步跟踪、同步渲染 v a b s t r ac t a na u g m e n t e dr e a l i t y ( a r ) s y s t e mg e n e r a t e sac o m p o s i t ev i e wf o rt h eu s e ri ti sa c o m b i n a t i o no ft h er e a ls c e n ev i e w e db yt h eu s e ra n dav i r t u a lr e a l i t y ( v r ) s c e n e g e n e r a t e db yt h ec o m p u t e rt h a ta u g m e n t st h es c e n ew i t ha d d i t i o n a li n f o r m a t i o n i ti sa n e wt e c h n o l o g yw h i c hc a l lc o m b i n et h er e a lw o r l di n f o r m a t i o nw i t ht h ev i r t u a lw o r l d i n f o r m a t i o ng a p l e s s t h em a i np u r p o s eo f t h i sp a p e ri st od e s i g na n di m p l e m e n tap cb a s e da u g m e n t e d r e a l i t ys o f t w a r es y s t e m i l l u s i o n t oa c h i e v et h i sg o a l ，t h eb a s i cs t r u c t u r ea n df e a t u r e o ft h ea u g m e n t e dr e a l i t ys y s t e mi sa n a l y z e df i r s t a c c o r d i n gt oa n a l y z i n gr e s u l t ，w e d e v e l o pt h i sa rs y s t e mw i t hv i s u a lc + + 6 0 o p e n l n v e n t o r4 0a n dd i r e c t x 9 0s d k t h i ss y s t e mc a nb es e p a r a t e dt w om o d u l e s o n ei sac o r em o d u l ew h i c hc o m p l e m e n t s s o f t w a r es y s t e mf u n c t i o n ；a n da n o t h e ri saf u n c t i o nm o d u l ew h i c hc o m p l e m e n t sa l l a u g m e n t e dr e a l i t yf u n c t i o n ， t oc o m p l e m e n tt h ec o r em o d u l e ，f i r s t ，w ea n a l y z er e q u i r eo ft h eg r a p h i c sd i s p l a y a n di n t e r a c ti na u g m e n t e dr e a l i t y , a n dt h e nw ep u tf o r w a r das c h e m et od e s i g na n d c o m p l e m e n ta u g m e n t e dr e a l i t ys y s t e m w ed e s i g ni tw i t l lf e a t u r e s ：m a n a g i n ge x p a n d m o d u l e ，u s i n go p e n l n v e n t o rt od i s p l a y , c o m p o u n dd i s p l a ya n dl a y e rb a s e ds o f t w a r e m a n a g e m e n t t h e nw ei n t r of u n c t i o na n dp a r t i c u l a rc o m p l e m e n tm e t h o do fm a n a g e ， s m a r t ，s d k ，s t a r tm o d u l ei ns y s t e mc o r e o t h e rt h e nw es e p a r a t et h ef u n c t i o nm o d u l e s a c c o r d i n gt ot h en e e d so fa u g m e n t e dr e a l i t y t h ef u n c t i o nm o d u l e sc o n s i s t so f v i d e o c a p t u r e ，c o m p o u n dd i s p l a y , s y n c h r o n i z a t i o nt r a c e ，m o d e lm a n a g e ，s p e c i a le f f e c t ， i n t e r a c tc o n t r 0 1 t h ep r i n c i p l ea n dm e t h o dt oc o m p l e m e n tt h e s ef u n c t i o nm o d u l e sa r e a l s od i s c u s s e d t ot h eu s a g eo fi l l u s i o ni nm u l t ip c s ，t h i sp a p e rs o l v e st w om a i np r o b l e m si n m u l t ip c sp r o g r a m s ：s y n c h r o n i z a t i o nr e n d e r ；a n dm u l t ip c sc o m m u n i c a t i o n w e a d o p t m p it o c o m p l e m e n ts y n c h r o n i z a t i o nr e n d e r , a n da d o p td i r e c t p l a y t o c o m p l e m e n tc o m m u n i c a t i o n a tl a s t w eu s ei l l u s i o ni nt w om u l t ip c sp r o g r a m s ： d o u b l ep c ss t e r e od i s p l a y , p cb a s e dc a v es y s t e m k e y w o r d a u g m e n t e dr e a l i t y ，s o f t w a r es y s t e m ，v i d e oc a p t u r e ，c o m p o u n dd i s p l a y s y n c h r o n i z a t i o nt r a c e ，s y n c h r o n i z a t i o nr e n d e r v 圭堡盘鲎塑望焦堡圭 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 弘牟 本论文使用授权说明 日期塑堕) 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送交 论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：埠导师签名：皿 1 1 日期：舻) 圭竖叁望巫圭堂焦鱼童 第1 章绪论 1 1 课题来源与研究背景 增强现实技术( a r - - a u g m e n t e dr e a l i t y ) ，是随着虚拟现实技术( v r v i r t u a l r e a l i t y ) 迅速发展和实际应用需要而出现的一种将真实世界信息和虚拟世界信息 “无缝”集成的新技术。所谓虚拟现实，是指种计算机生成的三维环境，用户 可以佩带头盔显示器和位置跟踪器在其中移动，可以直接参与和探索虚拟对象在 所处环境中的作用和变化，仿佛置身于一个虚拟的世界中。而增强现实 ( a r a u g m e n t e dr e m i t y ) ，是一种将真实场景同虚拟场景融合的技术。它的目的 是通过计算机图形、图像处理技术实现实景( 现实环境或用户影像) 与虚景( 计 算机生成的虚拟环境或虚拟物体) 的合成。 a r 系统【2 j 是使用了a r 技术的应用系统。其重要特点有：用户拥有沉浸感， 虚拟环境与实际环境融为一体，几乎感觉不到真假融合所产生的不和谐：系统具 有交互性，用户可以通过交互设备直接与虚拟物体或虚拟环境进行交互；是在三 维空间中增添、定位虚拟物体，它的研究涉及系统结构、入机接口、三维注册、 头盔显示等方面。 2 0 0 2 年5 月，上海大学向上海市科委确立了“基于p c 平台的a r 系统的关 键技术研究及应用”这一科研项目( 0 2 5 1 1 5 0 0 8 ) 。该项目涉及的具体研究内容为： ( 1 ) 基于p c 平台的a r 关键技术和系统设计、开发及实现；( 2 ) 基于a r f v r 技术 的工程培训系统；( 3 ) 虚拟魔幻屋( v i r t u a lm a g i cr o o m ) 系统。其中第一项内容是基 础，第二、三项都是针对第一项内容的应用研究。 这一课题属于前沿技术，研究内容涉及多个方面。同时开展了包括系统结构、 场景建模、模型转换、跟踪注册、融合显示、人机接口等多方面的研究。 1 2 应用价值 增强现实技术可广泛应用于影视、娱乐【3 1 、建筑、工程设计( 4 i 、医疗、军事、 教育5 1 和旅游等领域，因而日益受到人们的关注。a r 技术不仅具有与v r 技术 上洛夫擘硕士学位论文 相类似的应用领域，而且更显著地突出于其对虚拟环境的增强效果，实现虚拟环 境和真实背景的无缝连接。 一个典型的例子，就比如我们自行开发的虚拟魔幻屋系统，将真实场景和虚 拟物体这样两种表现手段结合起来，以一定主题展现给用户，造成身临其境的幻 觉效果。用户在魔幻屋系统中，用户可以戴上头盔和控制设备在上海大学校园中 漫游、或是参观有多套家具可以切换的房间等。这个系统可以应用于电子游戏、 多媒体展示等行业。 增强现实技术同时也是科技馆、展览馆、影视乐园、青少年教育基地等场所 的新型的重要展示手段。由于该技术在应用方面的巨大前景，索尼、惠普、n e c 、 西门子、迪斯尼、好莱坞等公司纷纷投入到增强现实技术和相关领域的研究中， 并相继推出一些产品。增强现实技术的广泛应用必将对人们的生活和工作方式产 生重大的影响。 1 3 国内外研究现状 目前在a r 技术研究领先的国家有美国、日本、德国、英国、加拿大、瑞典 等，并在工程设计、医疗、军事、教育、娱乐、旅游等领域的应用展开了研究并 在一些领域得到了一些应用与成果懈。 美国d a r p a 将a r 技术列为重要的军事技术，并投入大量的资金进行有关 的软、硬件系统研制。在著名的s i m n e t 系统中应用了a r 技术。 1 9 9 6 年，美国科罗拉多矿业学院( c o l o r a d os c h o o lo f m i n e s ) 的w i l l i a m a h o 行 等人，在实验室中实现了初步的一个增强现实系统，用于培训学员学习计算机内 部结构。通过视频透视式头盔，该系统可在视频信号中正确位置附加计算机各个 部件说明信息，以直观的方式达到培训的目的。 1 9 9 7 年日本通产省也启动了一个为期三年的a r 技术研究的国家计划，并确 定了两个主要研究方向：1 、现实世界和虚拟世界的合成技术( t e c h n o l o g i e s f o r m e r g i n g t h er e a la n d v i r t u a l w o r l d s ) ；2 、三维显示技术( 3 dd i s p l a y t e c h n o l o g i e s ) ， 该计划使日本在a r 的关键技术上有了一定的突破，获得了一些预期的效果，在 关键设备上也具各了一定的设计和制造能力，如基于视频合成式的立体液晶眼 镜。 圭查盘望塑圭鲎焦迨塞 2 0 0 3 年v i e n n au n i v e r s i t yo f t e c h n o l o g y 在a r 系统“s t u d i e r s t u b e ”上开发了一 个三维几何构造工具，将增强现实应用到了数学几何的教学a t 7 1 。如图1 - 1 。这样 的教学易于学习，可以鼓励同学投入几何构造的实验，增强对空间的认识。 图1 1a r 系统“s t u d i e r s t u b e ”上的三维几何构造 1 9 9 9 年到2 0 0 3 年，v o l k s w a g e n 、b m w 、d a i m l e r c h r y s l e r 、a i r b u s 、s i e m e n s 公司和f r a u n h o f e r f o r c o m p u t e r g r a p h i c s 、u n i v e r s i t y o f m u n i c ha n d a a c h e n 共同开 发t a r v i k a 铂，将增强现实应用到了工业上。女1 l g l l 2 。 图1 2a r v i k a 我国目前在增强现实技术的研究上还处于起步阶段，尚未出现成熟的增强现 实系统。 浙江大学c a d & c g 国家重点实验室的虚拟现实和多媒体研究室从1 9 9 5 年 起，一直开展v r 基础算法研究。近年来开始涉及a r 技术的研究，在包括三色 立体基准注册技术和高精度视频目标跟踪算法等方面取得了进展【9 】 10 1 。在应用 上，对景观规划方面1 1 1 进行了研究，可以使设计人员能够比较有效地完成对景观 规划结果的直观评估。 北京理工大学信息工程学院光电工程系在增强现实方面发表了基于光流、基 于投影等多篇有关注册技术 1 2 的论文，也在头盔设计等方面取得一些成绩。 圭遂盘堂亟鲎焦熊塞 并进行了户外增强现实系统的跟踪技术的研究。 华东船舶工业学院电子与信息系研究了基于增强现实技术的智能针灸系统 的视觉处理。 1 4 本文研究工作 虚拟魔幻屋系统的设计目标是一个典型的a r 应用系统。在其3 m * 3 m * 4 m 的 真实场景中，用户可以头戴头盔显示器，感受到一些虚拟物体所产生的剧情。我 们在该系统的硬件的基础上，开发了i l l u s i o n 增强现实软件平台，在这个软件平 台上开发并验证各种算法、技术，实现虚拟魔幻屋系统。本文所述的研究就是对 软件平台i l l u s i o n 的设计及实现。开发工具主要采用v c + + 、o p e n n v e n t o r 、d i t e c t x s d k 等。本文在实现软件平台i l l u s i o n 上。主要做了以下几个方面的研究工作： i l l u s i o n 平台核心。a l l 开发平台i l l u s i o n 的任务是完成a r 项目所需要的实 时图形显示和交互功能。a r 项目需要实现的图形功能是真实场景数据和虚拟场 景数据融合并显示，融合后场景的内容能够通过各种已知或者未知的方式进行交 互，支持特效的扩展，支持动画等。因此将a r 开发平台i l l u s i o n 制作成具有以 下特征的平台：管理扩展模块的功能、采用o p e n i n v e n t o r 的显示机能，支持视频 融合和分层式软件管理。 l l l u s i o n 平台各种功能模块。负责完成作为一个a r 平台需要的各项功能：视 频捕捉、合成显示、同步跟踪、模型处理、特效实现、交互控制等功能。有了这 些功能模块，平台就具备了支持a r 的能力。 i l l u s i o n 平台针对多机应用。在i l l u s i o n 平台的基础上，对多机上的应用进行 了开发。实现了双机立体显示、基于p c 的c a v e 系统。并采用m p i 解决多机同 步渲染的问题，采用d i r e c t p l a y 解决多机问通信的问题。 步渲染的问题，采用d i r e c t p l a y 解决多机间通信的问题。 圭遂盘堂筮鲎焦煎童 第2 章增强现实系统结构 2 1 系统概述 一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的 软件系统协同实现的，常用的有如下三种组成形式f i 6 1 。 1 m o n i t o r - b a s e d 增强现实系统 在基于计算机显示器的a r 实现方案中，摄像机摄取的真实世界图像输入到 计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器。用户 从屏幕上看到最终的增强场景图片。它虽然简单，但不能带给用户多少沉浸感。 m o n i t c r - b a s e d 增越见实系统实现方粢如图2 - 1 所示。 + j l 图2 - 1m o n i t o r - b a s e d 增强现实系统 2 光学透视式( o p t i c a ls e e t h r o u g h ) t 曾强现实系统 头盔式显示器h m d ( h e a d m o u n t e dd i s p l a y s ) 被广泛应用于虚拟现实系统中， 用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技 术，这就是在a r 中广泛应用的穿透式h m d 。根据具体实现原理义划分为两大 类，分别是基于光学原理的穿透式h m d ( o p t i c a ls e e t h r o u g hh m d ) 和基于视频 合成技术的穿透式h m d ( v i d e os e e t h r o u g hh m d ) 。光学透视式增强现实系统实 现方案如图2 2 所示。 5 群 凇 图2 2 光学透视式增强现实系统 光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但它 同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。 3 视频透视式( v i d e os e e t h r o u g h ) 增强现实系统 视频透视式增强现实系统采用的基于视频合成技术的穿透式h m d ( v i d e o s e e t h r o u g hh m d ) ，实现方案如图2 - 3 所示。 r e a l w o d d g o r a b i 憾n f f lv i d e o 图2 - 3 视频透视式增强现实系统 视频透视式增强现实系统与光学透视式增强现实系统相比，具有如下优点： 1 1 在合成策略上的灵活性。光学透视式的一个基本问题是虚拟对象不能完 全挡住实际世界对象。而视频混合则可以实现各种合成效果； 2 ) 视野比较宽； 3 ) 实际视图与虚拟视图之间的延迟可以实现比较精确的匹配； 4 1 附加的定位策略。在光学透视式系统中，系统关于用户头部位置的唯一 6 上浯太学硕士学位论文 信息来自头部跟踪器。视频透视式提供另一种信息源实际场景的数 字图像。数字化的视频意味着视频方法能够采用光学方法无法实现的附 加定位策略。 5 1 比较容易匹配真实世界。 由以上分析可知，采用视频透视式的a r 系统，可以兼顾成本、性能和适应 性三个方面。 2 2 系统设计 基于p c 平台的a r 技术研究内容和技术关键之一是在p c 构架的硬件系统 上如何实时地实现虚拟世界信息和现实世界信息的无缝集成。即包含a r 系统的 共性问题，“静态错误( 空间错误) ”问题即视点跟踪和虚拟物体定位问题： 也包含基于p c 的a r 系统的突出问题，“动态错误( 时间错误) ”问题即系统 的实时性和同步性问题。 由上述同时考虑本项目的研究结果将主要应用在室内环境的情况，系统设计 方案如图2 - 4 所示，总共包括六个部分：实时跟踪模块、多通道交互模块、三维 虚拟物体设计制作、场景融合、a r 开发平台i l l u s i o n 、头盔显示模块。 实时交互 = 二_ ： 实时跟踪! = 一二= 图2 - 4 基于p c 平台的增强现实系统结构图 亨 上海大学硕士学位论文 1 ) 实时跟踪模块：采用磁力跟踪的跟踪系统。通过磁力跟踪设各获得跟踪 点的空间位姿信息。实现系统的定位。 2 ) 多通道交互模块：基于语音识别、感觉反馈等新的交互技术，允许用户 利用语音、操纵杆与增强现实系统以并行、较为随意的方式进行交互， 提高了人机交互的自然性和高效性。 3 ) 场景融合：场景融合是增强现实系统与虚拟现实系统不同的一个方面， 包括真实场景视频数据采集、摄像头标定、虚实场景融合等技术。 4 ) a r 开发平台i l l u s i o n ：针对a r 系统开发了一个扩展灵活、使用方便的 a r 开发平台i l l u s i o n ，采用核心层、应用层和扩展层三层结构，从而可 实现灵活的模块化管理、开放的扩展体系。 5 ) 三维虚拟物体创作：为了充分利用发挥艺术创作人员的创造力，允许他 们利用熟悉的主流三维建模工具3 dm a x 等进行虚拟场景和物体建模， 然后利用开发的专用转换插件实现三维虚拟物体的导出，从而可以在增 强现实系统中加以利用。 6 ) 头盔显示模块：项目采用视频透视式增强现实系统，利用双通道立体显 示技术，实现了基于头盔的立体显示，还可提供多人立体沉浸显示环境。 2 3 硬件系统 基于p c 平台的a r 系统的整个硬件系统比较复杂，其中些关键设备也比 较特殊。以下对它们进行简单介绍。 2 _ 3 1 整体构架 增强现实系统系统的硬件构架简单原理图如图2 - 5 所示，它由一个蓝屋和相 应的硬件设备组成。蓝屋长宽高分别为3 米、3 米、2 8 米，墙壁布置为蓝幕。 在小屋的外面有一台磁力跟踪器和四台互相连接的计算机( a l 、a r 、b 、c ) ： 除了以上这些关键设备，小屋中还有包括桌椅、灯光、和一些可用程控的真实物 体等。 a l 、a r 、b 、c 是特殊配置的高速计算机，是a r 系统的运算处理中心。 a l 、a r 的功能主要有：虚拟模型构造转换、场景采集、合成显示、场景控制等 上洛夫学硕士学位论文 多种功能。bf 1 ：为叫络迎俯的服务器。c1 1 篮川j ：进干h ! 踪数_ ) l | 的扶褂年汁弹， v l 、v r 地火蕊诎示* i ：安浆的曲个搬像头，川j ：采集川1 柠剑的r i 实m 期。i l l ：j e i j 头箍爪器i ：还安姨了磁力t 0 撼_ ： ，它足磁力跟跞器的部分返越为了眦 系统进行趴踪注圳。磁力趴踪器利川磁儿原删进行趴踪。 心围里掴旦 芦i 洲 i 儿 2 3 2 视频捕捉设备 ，j 数卅 h 边阿络 l 国里 r 磁j j j j 瑟。 a i 滏奄荔c 图2 - 5 a r 系统硬件构架图 脓幺肌i n q 视频捕捉没备包折搬像头利图像捕捉h e 们川j 。采集场川冬| 像。 系统t l 订v i 、v r 似个1 i z 二撒像义，我们楸j l i j * 蛆，选择合适的擞像义：0 两个擞像火| j l ；雕n 0 仃两块= | | l 抛k ，这阳块。卜分制分以j n l q f 剐。贸机卜，均衔处理 负城： _ i 船j 的摄像头必须扪搬类似人叭规洲剑川刮像，此v l 、v r 这州个摄 像_ i ；艏蜓钉较人的必； n ，以他能够 b l 目i 洲亿墩f ： 比较满意的图像。、找们采川 的址i 小c b c 公州j l j 进| 0i 。c 】i - p 4 9 aj 、i t 摄像头，它具打背光补偿，l 【动i h 衔，i 动增涟控制等功能。j i 搬像三l 使川i 4 ”c c d ( 32 x 2 4 m m ) ，水、i 嫂4 7 0 i i i m 线，仃效像鬃7 5 2 * 5 8 2 ，镜_ i f l ! j 参数iz j 酬，焦距范为4 9 r a m 城人) | = i 径比为l ：1 6 ，水、卜视，n 范为5 1 8 。2 3 8 。, l t - “m 细j 渊范目为3 8 3 。17 8 。垓 擞像三l 仃7 1 ：多j 渊州n 参数，分讲二钙较崩，使j i j 它捕捉f | ，jj 冬f 像质； f h 蚶，址个 比较符合i 殳汁劭艇的选择。针对这曲个摄像头采集的数抓，找们使川j 1 | j 铋h 正人 敞利披的10 m o o n ss d k 一2 0 0 0 。它址f e l p c i 视频j | | 抛h 为w i n d o w s 2 0 0 0 捉 1 9 旦。 图 上海太擘硕j - 学位论文 r 灯i l , js ；k d ；。它针刈系统j t ：发提供：次j i ：发包( 以卜 简4 ；6 ：s t ) k ) ，川。以他川v i s u a l b a s j c 、v i s l i i lc 一一、d e l p h i 等多种编枞i 茸i i 进行次 发。 2 3 3 跟踪设备 姒踪设箭址完成j l l ! n 球汁j j ；1 - - t j f i , ( 1 , 3 i 韭符，这1 l ! 所激f 1 9 外小址葵墩千弁，f l u 址包 括磁儿姒踪； ： ，c 汁；7 ：1 ，1 等系列艘什，这j j 艘什翻师趴踪泣删订天。嵫，心踪 器川j 趴踩_ 、器，州l 、。1j ：跟罅j 川j ，1 1 1 ： i t i i 的扣：r 嗣，j ，这址为了将席拟 址豫_ 、删 灯爻摄像又【1 i 9 厅化姿态个i f g c d # l ；。 图2 - 6 磁力跟踪器 如同2 - 6 所1 ，木系统使川的磁力心踪器也括l - s i s l 、发射器、接收器等吲刑：。 发州器删铵收涨和1 i 机之川订线连接，及州器“。i i f u 磁场，接收槲接l u 融俯l j ， 以发射* ： 为瞳标原点处：- t f i i i i f f i | 标系，i - j ? i i 迎j i u 磁场切割i n 那3 7 ：d ：d 3 1 k 器 的审问1 t f l 利姿态。7 i ! w h j 叫，j 4 ；监把发甜擀川i 定剑小h ( f l ；j 定处，他j ；p 怀彖 川业的：界审删m 扔i 系敛，接收搽必 _ _ ； 做五装剁炙髓卜爿能刈+ 川一火琊 j 叫i 趴踪作川。 2 3 4 头盔 | ! l 器址个复杂的系统，j i 最坫水的j 山能址给j r l 提供 个；! ) l = 议的! 匹h ：珥 境。a r 系统t h 头热4 i 仪仪代表夫疆q ；嚣，还j _ | i l 帅进行场j j 采蜒年删踪汴jj j 。 头艇 i j l 4 器。i 。i ；l ；l 。i ，, i 现吠系统t i i f 内信息 【 ，j 改衙，f 【2 - 7 所o i 。我们使川 v 8 ，弘火豁艟1 ：器，该头煞挺f j i 九i 阿斤r 彩nl c d 【 1 i ： ： ，拔收 8 0 0 x 6 0 0 x 6 0 1 1 z x 2f 。、i i f j ：f 内v g a 视# m f i i l j ，h 像j 贞l l 4 ；i f 、1j ：c r t 娃，j i p , i ，顺：i ：为 r - z ，j i “4 7 ：- r h f , i g 川、埸j ：州+ 门优l i 。| | f j ：v 8 儿编址川j 、艟 ij ：址9 川：j 为 上浯大学硕士学位论文 了在视频透视式增强现实系统中使用，我们对v 8 头盔进行改造，在头盔显示器 上安装了v l 、v r 两个摄像头，并加装头部跟踪器。 2 4 软件系统 图2 7 改造后的v 8 头盔显示器 a r 开发平台i l l u s i o n 的运行平台是w i n d o w s2 0 0 0p r o f e s s i o n a l ，开发平台是 v i s u a lc + + 6 0 ，o p e ni n v e n t o r4 0 ，d i r e c t x 9 0s d k 。o p e ni n v e n t o r 是一个3 d 程 序的开发平台，d i r e c t x 9 0s d k 是一个多媒体开发平台，我们使用了其中的视频、 声音、网络传输等开发库。 上洛太学硕士学位论文 第3 章增强现实软件平台i l l u s i o n 3 1i l l u s i o n 平台概述 a r 技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。a r 系统运行过程中通常要完成跟踪、图像处理、图形处理三个任务。要达到流畅的 视觉效果，需每秒处理2 5 帧以上画面，具有较高的实时性要求。 a r 开发平台i l l u s i o n 的任务是完成a r 项目所需要的实时图形显示和交互功 能。a r 项目需要实现的图形功能是真实场景数据和虚拟场景数据融合并显示， 融合后场景的内容能够通过各种已知或者未知的方式进行交互，支持特效的扩 展，支持动画等。因此将a r 开发平台i l l u s i o n 制作成具有以下特征的平台： 1 管理扩展模块的能力 在w i n d o w s 操作系统下，扩展功能可以通过d l l 或者e x e 实现的。e x e 实现的效率非常之低，只能用于模块组的启动、停止这样的功能，或者独立性非 常强的功能组。在这个平台项目中，这种方式，显然的不适用。因此在这个平台 项目中，我们只考虑d l l 的扩充。 在c + + 开发的软件项目中，功能的扩充，可以通过以下两种方式，实现两个模块 之间的耦合： 函数调用：通常用于比较松散的耦合，插件开发难度低，效率还可以； 派生类：通常用于比较紧密的耦合，插件丌发难度高，效率也高。 因此在a r 图形平台中，采用了函数调用的方式耦合插件和平台之间的关 系。 2 采用o p e n i n v e n t o r 的显示机能 o p e n i n v e n t o r 是在o p e n g l 图形函数库上采用面向对象方法开发的3 d 开发 库。它提供了数据管理和一系列可扩充的对象库，简化了图形编程，也不失 o p e n g l 固有的强大3 d 处理能力，因此在i l l u s i o n 中将利用o p e ni n v e m o r 的显 示机能，完成三维图形的实时显示能力。 圭鲎蠢堂亟鲎垡垒奎 3 ，支持视频融合 a r 项目需要实现真实场景数据和虚拟场景数据融合并显示，而我们采用的 视频透视式增强现实系统中，真实场景数据的采集是通过安装在头盔上的双摄像 头和视频捕捉设备来完成的，因此支持视频融合是i l l u s i o n 平台所特有的功能。 4 分层式软件结构 考虑增强现实技术是不断发展变化的，因此作为a r 系统的开发平台采用核 心层、扩展层和应用层三层结构，从两可实现灵活的模块化管理、开放的扩展体 系。 核，t l , 层完成开发平台的数据管理和功能管理。负责管理扩展模块，由一组 d l l 组成，完成一系列的管理功能。数据管理器提供数据消息机制，以便将来 扩展数据对象；功能管理器提供插件管理功能，规范外部插件的统一接口；还提 供背景视频显示的功能和接口；提供动画数据的管理等。另外，核一t l , 层生成具体 的应用程序。菜单、工具条、消息派送等接口元素的具体行为也是在这个部分实 现的。 扩展层负责完成作为一个a l l 平台需要的各项功能：动画计算、视频捕捉、 启动、动画文件读取、远程控制c a m e r a 等功能。有了这些模块的协助，平台 就具备了支持a r 的能力。 应用层是针对具体项目所制作的模块，为具体的应用项目提供特殊的、有针 对性的功能。 3 2 软件平台的开发技术 3 2 1i l l u s i o n 平台中采用的开发技术 在i l l u s i o n 平台中所采用的主要开发技术如图所示； 圭迄盘茎堡：兰鲎垡：迨塞 fs | l _ 一羔_ i 而石j 。1 i ：圳哆 i 如3 1 所 俐形核心，n f ) i r e c t xs d k 眦 刊| f 越玎址雕 立f 粗制 叫牛j 血 图3 - 1i l l u s i o n 平台中所采用的主要开发技术 _ ，f | ：i l l u s i o n 核心的编。j 1 1 采川厂s t l 技术。o p e n i n v e n t o r 作 梭，钭处雌、合成! i 爪、m 步小跞、特效灾脱小揶彳r 成j 1j 。m 一：眦 文f 托锄0 、m 绵通信l ：延川了d i r c c t x 投术。 3 2 2o p e n l n v e n t o r 增蛳现灾卜f i l l u s i o ni ；坐；安叭对一：维形的处 l | ! 。在h 形核，山山川，, l l 供 选择f c j 办案包括使川筇通川的 f _ 形埔；o p e n g l 或j 它i i 端f f l = 警l 彤软件 笈位。 我删选川f | 越s ( ：i 公dj i ：发的( p c n in v ( ? n 【”i 维川：发包“7 ，这足利一矬矗n o p e n ( ；i 。- i 2 f i ! i 纠形接ii 之l ：f 1 9 迎川的商、i k 化i 绯j i ：发包，i l l l个完牡的川c + + 编 。，；f 门人j 幔炎忭纰成：它支锄f 向刘缘的改汁力+ 挫i ，j 以实现刈象的边州、埘- 陀m 述、- , 0 j i l , i 表现等。系列功能，势川以饥多个、卜台运 j ：。w in d o w s 、r 俞m j ( i p er l i i v or l i 能够jv i s u a l c + + 6 0 紧密结合，f _ f 助这个妓求成热、助能燃人、 使川、泛的软什j r 发l j ， ，能 ! | 多“设地 发年溯试使川3 1 l ：j o p e n l n v e n t oj - 旧c f i i 软件。 1 jo p o n ( ；i 甜【七较o p e n l n v e n l o r 迎过它r | g f j = 匀i 数烈l ： 目f o p e n g l ，。史 脱i 维i 到形刈象永。( j p c n g l ，九按把h 永的对象送入到帧绥冲器h j o p c n i n v c l l t o l 则把需婴 小的埘琢先f f 入o p c n l n v c n t o r 内部的数圳晰f ， 把刈 缘利操f l j ! , j 装钮起，“1o p e n l n v e n l o r 数川蚱的艟_ i 操f 1 ；被激i j l 州，o p e n l n v e n l ( ) i 把以! 【1 1 1 ：的对象送入到倾缓 i | | 器i 进行 出爪：拍：o p e n g l 小，埘豫的 。 ，j 硼j 埘 圭鱼盘堂亟：兰鲎垡：建塞 肘壤n 勺搽f ；址分jj ：的，腼o p c n l n v c n t o r 把埘缘及其拱f l d ：, t 戮在起：川o p c n g l 址1 i 刈豫，川户必钡掌抛很多编乖t 矧1 ，晰如刈缘的选取、旋转、r - 移等操f 1 ：， 川1 必颁川系列嗣g l 编氍i 肼u 术实蜣，而o p e n l n v e n t o r 。j ：! ；i 先傩供了系列订勺 机：准纰什嗣l 操f 1 ：，刚户烈镒把这此纠t f l ：纰合起来即j 。，无需了解a 多的川1 ，c 时一1 然o p e n l n v e n t m 也仪特j - 搬多o p e n g i n 0 必活之处，使t 】以构逊r | l 所； j 篮| _ j ，mo p e n l n v e n t o r 术提供的划织、f l l 仆及j 搽作。好比制造 f t 机擀t 川j 一既j 以f l 制造j 4 个零件( o p e n g l 的方) 也l i j 先炙“j 十，j ：“睇i 。i i 己删遗址b 特殊零什( o p e n l n v c n t 0 1 。的力八) 。总之我们j 。以愀槲a r 系统外 发l i l f f 0 体j 聍j j 之水决定怎样 ：| 【合使川o p c n g jo p c n l n v c n m r , 把o p c t l l n v c n t o l 。 提 l 的埘蒙龇件和o p e n g l 提 j e f 舟具体瀚数纰余4 ：，毽锼朋c 0 p e n i n v e i l o r 。1 ：n 衍避o p e n l n v e n t o rf 一核心，它4 ；扎【为j | 】j 提9 t - j , 3 ：人i 竹自l + j 礼： 心川拔ii ，还符雕o p e n l n v e n t o r 龟i j 建纳吐个对象。它色捅二个部分：维场：j ：数 捌j ：，| ：、交撇作嗣i 剥琢纰仆库。铷：场缋数州h ：也禽了。系，! j l l 】术杓成j 瓣场j j l 纠的n 0 和州”娅晌功能刈琢：1 i 点h ! j ! l j 摊供，仆多o p c n l n v c n t o r 九硅允m 定的m j 、i 小什和搭眦f 门机制，t t jj ，电t j 以楸州| ，fu j j | j 需蛆加入i ，i 山f 门刈缘搭州机制农扩允 “占一、嵋i ；梵h 搽干1 ：p 毖址川再“蜕并j 以编辑的厅炎水响随川刈场 馨1 ( i q 史h 垛1 _ 11 一j 什。 上海太学硕士学位论文 节点是三维场景数据库中最基本的组成对象，由节点组成的层次结构称为场 景图，场景图不是节点的简单堆砌，它定义了节点的次序，在场景中较早出现的 节点对后面的节点产生影响，它也提供了一种机制来限制这种影响，使场景中的 某一部分，能够在机能上与其他部分分隔开。 节点大致可以分为3 类：形状节点，属性节点，分组节点。形状节点定义场 景中物体的几何形体，包括两大类：基本几何形体，如圆锥，长方体，球体和圆 柱体等；复杂几何形体，如面片集合、四方形网格、线段集合、n u r b s 曲面等等。 属性节点记录应用于几何对象的属性，包括材质、纹理、灯光、视点等等，几何 变换节点也属于属性节点。分组节点将一个以上的节点组合在一起，使它们能够 像一个单独对象那样被处理。常用的分组节点包括g r o u p 节点，s e p a r