（计算机应用技术专业论文）基于投影的增强现实系统的关键技术研究.pdf

l 二海大学硕? l 学位论文 摘要 增强现实技术( a u g m e n t e dr e a l i t y ，a r ) 是随着虚拟现实技术( v i r t u a lr e a l i t y ， v r ) 的迅速发展和实际应用需要而出现的一种将真实世界信息和虚拟世界信息 “无缝”集成的新技术，是一种将真实场景同虚拟场景融合的技术。增强现实技 术的无缝融合问题，即一致性融合问题，主要包括几何一致性和光照一致性两个 方面。基于投影的增强现实系统是一种通过一定的投影和透射的方式，使用投影 技术来构架增强现实系统，覆盖用户视野广，给使用者得到更好的沉浸感。 作者主要的研究工作体现在以下几个方面： 我们研究了基于投影的a r 系统中的光照一致性技术，通过结合利用朗伯表 面和镜面反射表面的标志球进行图像处理和分析，并结合空间几何原理，通过图 形学的光照模型进行逆推计算，较精确的推算出光源的位置与光照强度。 为了将光照检测技术应用到基于投影的增强现实系统中，我们引入了一种自 适应光照调节技术。自适应光照调节技术通过对真实场景光照信息采集与处理、 虚拟场景光照模型的建立与实现以及虚实场景光强对应关系的建立、拟合与验证 这几个过程，实现虚拟场景的光照情况自动根据真实场景中光照信息变化而相应 变化，将自适应光照调节技术应用到“魔幻展台”中，给整个基于投影的增强现 实系统带来更好的光照一致性。 我们应用了无缝拼接的相关技术如几何校正、颜色校正和边缘融合，通过使 用投影仪来替代c r t 显示器作为投影设备，将多个虚拟图像投射到基于投影的 a r 系统中生成完整的图像，带来了更好的沉浸感。 关键词：基于投影的增强现实系统；光照一致性；光照检测；光照调节技术； 无缝拼接 v 上海大学硕士学位论文 a b s t r a c t a u g m e n t e dr e a l i t y ( a r ) i sa ne x t e n s i o no fs t a n d a r dv i r t u a lr e a l i t y ( v r ) i na s e n s et h a ti ta l l o w su s e r st os e ec o m p u t e r - g e n e r a t e dv i r t u a lo b je c t ss u p e r i m p o s e do v e r t h er e a lw o r l d i ti san e wt e c h n o l o g yw h i c hc o m b i n e st h er e a lw o r l da n dt h ev i r t u a l w o r l ds e a m l e s s l y t h ep r o b l e mo fs e a m l e s sf u s i o ni na u g m e n t e dr e a l i t yi n c l u d e st w o a s p e c t s ，t h eo n ei sg e o m e t r i cc o n s i s t e n c y , a n dt h eo t h e ri si l l u m i n a t i o nc o n s i s t e n c y t h ep r o j e c t i o n - b a s e da u g m e n t e dr e a l i t ys y s t e mu s e sb o t ht h ew a y so fp r o j e c t i o na n d r e f l e c t i o n ，a n dt h ep r o j e c t i o nt e c h n o l o g yt ob u i l da na u g m e n t e dr e a l i t ys y s t e m i tc a n m a k et h eu s e r s v i e ww i d e ra n d p r o v i d eu s e r sw i t hb e t t e rv i s u a le f f e c t t h em a i nw o r l ( sa r ei n c l u d e di nt h ep a p e ra sf o l l o w s ： w es t u d yo nt h ei l l u m i n a t i o nc o n s i s t e n c yi nt h ep r o j e c t i o n b a s e da u g m e n t e d r e a l i t ys y s t e m i nt h ed i s s e r t a t i o n ，w ei n t r o d u c et w os p h e r e sw i t hl a m b e r ts u r f a c e a n do n es p h e r ew i t hm i r r o rr e f l e c t i o ni nt h er e a ls c e n e t h r o u g hi m a g ea n a l y s i sa n d a n a l y t i c a lg e o m e t r yo ft h r e ed i m e n s i o n s ，t h ei l l u m i n a t i o np a r a m e t e r so ft h er e a ls c e n e a r ee s t i m a t e da c c u r a t e l y t oa p p l yt h ei l l u m i n a t i o nd e t e c t i o nt e c h n o l o g yt oo u rs y s t e m ，w ei n t r o d u c et h e a u t o m a t i c a l l ya d j u s t i n g - i l l u m i n a t i o nt e c h n i q u e s i ti n c l u d e st h e s es t e p s ：c o l l e c ta n d d i s p o s et h ei l l u m i n a t i o no fr e a ls c e n e ；b u i l da n di m p l e m e n tt h ei l l u m i n a t i o nm o d e lo f v i r t u a ls c e n e ；b u i l d ，c o m b i n ea n dv a l i d a t et h er e l a t i o n s h i pb e t w e e nt h er e a l i l l u m i n a t i o na n dt h ev i r t u a ll i 曲t i n g w ea p p l yt h ea d j u s t i n g - i l l u m i n a t i o nt e c h n i q u e s t ot h e m a g i cs h o w b o x t h ev i r t u a li l l u m i n a t i o nc a nb ec h a n g e da u t o m a t i c a l l y w i t ht h er e a ll i g h t i n gi nt h es y s t e m i tr a p i d l yi m p r o v e st h ei l l u m i n a t i o nc o n s i s t e n c yi n t h ea r s y s t e m w eu s et h ep r o j e c t o r st or e p l a c et h ec r tm o n i t o r , a st h ep r o j e c t i o nd e v i c ei no u r a rs y s t e m t h r o u g ht h ec o n n e c t i o nw i t h o u tg a pt e c h n o l o g i e ss u c ha sg e o m e t r y e m e n d a t i o n ，c o l o rc o r r e c t i o na n de d g ec o m b i n a t i o n ，v i r t u a lp i c t u r e sa r ep r o j e c t e di n t o o u rs y s t e mt oc o m b i n ei n t oo n ew h o l ep i c t u r e ，a n di tp r o v i d e sg o o de f f e c t k e y w o r d s ：a r o j e c t i o n b a s e da u g m e n t e dr e a l i t ys y s t e m ；i l l u m i n a t i o nc o n s i s t e n c y ； i l l u m i n a t i o nd e t e c t i o n ；a d j u s t i n g - i l l u m i n a t i o nt e c h n o l o g y ；c o n n e c t i o nw i t h o u tg a p v i 上海大学硕 ：学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：牲导师签名：胤日期： i i 2 幻爱多矽 上海大学硕。l 学位论文 第一章绪论 1 1 研究背景与课题来源 增强现实【l 】【2 心( a u g m e n t e dr e a l i t y ，a r ) 技术是传统的虚拟现实技术的拓 展，是一种将真实场景同虚拟场景融合的技术。所谓虚拟现实，是指一种计算机 生成的三维环境，其用户仿佛置身于一个虚拟的世界中，可以佩带头盔显示器和 位置跟踪器在其中移动，并可以直接参与虚拟对象在所处环境中的作用和变化。 而增强现实的目的是通过计算机图形、图像处理技术实现实景( 现实环境或用户 影像) 与虚景( 计算机生成的虚拟物体或虚拟环境) 的合成。 2 0 世纪9 0 年代初期，波音公司的t o mc a u d e l l 和他的同事在其设计的一个 辅助布线系统中，首次提出了“增强现实 这个名训4 1 。由于增强现实在虚拟现 实与真实世界之间的沟壑上架起了一座桥梁，因此，增强现实的应用潜力是相当 巨大的。例如：可以将增强现实技术应用于游戏和电影电视画面中的特技制作； 以及可以利用增强现实系统的虚实结合技术进行辅助教学和进行高度专业化训 练等等。其在军事、医学、机械、设计、娱乐等领域的良好应用前景，使得增强 现实技术的研究正受到越来越广泛的重视。 基于投影的增强现实系统是一种通过一定的投影和透射的方式，使用投影技 术来构架的增强现实系统。基于投影的增强现实系统可以通过如投影仪等投影设 备将虚拟图像融入真实场景中；也可以使用一些特定的光学设备，采用图像折射 的方法实现虚实场景的结合。 基于投影的增强现实系统弥补了头盔式系统的视点领域受限制和较为笨重 等缺点，给使用者得到更好的沉浸感，得到分辨率更高、视野更宽的显示效果。 增强现实系统的关键问题就是解决真实场景与虚拟物体在几何、光照方面的 一致性。几何一致性指虚拟物体与真实物体在空间位置上的一致性，使两者达到 无缝合成，使用户在a r 系统中拥有良好的沉浸感；光照一致性是指虚拟物体表 面的光照效果的真实感，必须配合真实光源的情况，在虚拟物体上制作出明暗、 反射、阴影等光照效果，使其能和真实环境很好的融合。 目前，国内外对光照一致性方面的研究相对较少，这也造成了增强现实系统 j ：海大学硕t - 学位论文 中虚拟物体的真实感不强的现状。因此，基于投影的a r 系统的光照一致性问题 如光照检测、自适应光照调节等技术的研究，对于增强整个系统的真实感是非常 有意义的。 如何提高显示视野从而得到更好的沉浸感，这也是基于投影的a r 系统所要 解决的问题。通过使用多个投影仪来替代普通c r t 显示器作为投影设备，将多 个虚拟图像投射“拼接”成一幅完整的图像，从而提高显示的分辨率。要实现这 样的效果，就需要使用无缝拼接的相关技术如几何校正、颜色校正和边缘融合。 本课题来自上海大学多媒体技术研究与开发中心申请的上海市科委重大项 目“基于p c 平台的增强现实系统的关键技术研究及应用”。科研项目基于投影 的增强现实系统的关键技术的研究，是该科研项目的一个延续性课题。通过我们 对基于投影的增强现实系统的光照一致性、无缝拼接等关键技术的研究，以及相 关实验，以期望在基于投影的增强现实系统有更好的应用价值，提供更好的真实 效果。 1 2 课题研究的目的和意义 增强现实技术可广泛应用于影视、娱乐、建筑、工程设计、医疗、军事、教 育和旅游等领域，因而日益受到人们的关注。a r 技术不仅具有与v r 技术相类 似的应用领域，而且更显著地突出于其对虚拟环境的增强效果，实现虚拟环境和 真实背景的无缝连接。 一个典型的例子，比如我们自行开发的虚拟魔幻屋系统，就是将真实场景和 虚拟物体这样两种表现手段结合起来，以一定主题展现给用户，呈现出身临其境 的幻觉效果。用户在魔幻屋系统中，可以戴上头盔和控制设备在校园中漫游、或 是参观有多套家具可以切换的房间等。这个系统也可以应用于电子游戏、多媒体 展示等行业。 a r 的应用潜力是相当巨大的，正在日益受到关注。许多时候人们出于经济， 安全和效率等多方面因素的考虑，无法在现实中开展些项目或者工程，这时就 需要借助增强现实技术来模拟。比如，a r 可用来对员工进行复杂的操作和维护 任务的培训，或者在手术规划过程中用于将医疗数据与病人的图像叠加起来。为 解决遥控机器人操作中因人机接口技术滞后而导致的遥控系统操作员难以胜任 2 r 海学顿l 学位论文 复杂任务的问题。在家庭装修中，利用增强现实技术可以使用户立刻在装修现场 看到设计的效果。在文物古迹重建中，在完整保持古迹遗址风貌的基础上，全面、 立体，精致地再现当时的景象。同时a r 技术也是科技馆、展览馆、影视乐园、 青少年教育基地等场所的新型的重要展示手段，必将对人们的生活和工作方式产 生重大的影响。 基于投影的增强现实系统可以被用作为虚拟屣台，与真实展台有着相同的形 式，非常适合在传统的博物馆使用。基于投影的a r 技术对系统内的文物进行了 增强，通过这个技术的应用，可以对这些文物的历史、功能进行讲述，还可以对 文物缺失的部分进行修补。 因此，基于投影增强现实系统的关键技术是非常值得研究的。 1 3 国内外研究概况 鉴于本文的研究的内容，f 面就基于投彰的增强现实技术的国内外研究现状 作个概述。 3 1 国外研究概况 国外对基于投影的增强现实系统的研究起步相对较早，已取得了一些成果。 德国鲍蠹斯大学的o l i v c r b i m b e r 博士洲q 【7 培人制作了倒金字塔型以及圆形 玻璃投影的增强现实系统，如图l1 所示。他们采用一种基于放映机的光照技术， 有选择的在真实景物表面投射阴影，使虚实场景具有逼真的遮挡效果。采用计算 机三维图形对实物模型进行了三维增强显示，不仪扩大了观众的观察范围，同时 可供多个观众同时观看。 一 图ll 倒金字塔型的增强现实系统 卜海大学硕士学位论文 哥伦比亚大学s t e v e nf e i n e r 等应用a r 技术显示室内被隐藏的框架结构如 梁、柱，可以在房屋改造时让设计人员对原有的结构一目了然。 荷兰的m u l d e r 则通过在半透镜下面添加液晶板作为挡光元件来实现虚实遮 挡，提出了利用基于视觉的场景重构方法牛成遮挡掩膜的算法，并在文献【8 】中给 出了他的第一个系统原型，如图1 2 所示。该系统被命名为个人空间站( p e r s o n a l s p a c es t a t i o n ) 【9 1 ，之后，他又在文献【l o 】中进一步提出了利用基于模型的场景重构 方法牛成遮挡掩膜的算法。 图1 2m u l d e r 的个人兰i 兰间站系统原型 在基于投影的增强现实系统的光照一致性方面，q i n f e nz h e n g 在1 9 9 1 年首先 提出了第一个光照估计算法，通过分析包含标志物的图像，并利用图像中沿轮廓 线的阴影信息，来推算真实环境中点光源的方位角。该算法只是估算点光源的位 置，没有计算光源强度。并且在计算过程中，忽略了环境光。 p a u ld e b e v e c 给出了一种全局光照的估算方法 1 l 】【12 1 ，使用基于高动态范围图 像的场景模型而不是使用虚拟光源来进行虚拟物体的光照处理。该方法能够表现 出虚拟物体之间反射光的相互作用，使虚实光照更加逼真一致。但是该方法也需 要对真实场景建模，前期工作烦琐。 o l i v e rb i m b e r 博士通过摄像机拍摄真实场景图像，采用计算真实场景中物体 的辐射度信息的方法来推算出真实场景物体的漫反射信息，通过这些信息来对模 拟出虚拟物体在真实光照情况下的光照情况。虽然该方法达到了一定的融合效 果，但其算法复杂度较高，也无法达成实时性，因而只能在特定的基于投影的增 强现实系统中使用，应用受到了一定的限制。 4 上海大学硕十学位论文 s a t o 和w a n g 等人通过分析阴影信息进行光源预测。该算法能够用于有多个 光源的场景，但是仅仪能估算出各个光源的方向，而不能算出具体的位置和亮度。 在基于投影的增强现实系统的无缝拼接技术研究方面，r a s k a r 1 3 】等人提出的 低成木多投影仪拼接系统，采用一个摄像头，通过计算投影空间、摄像空间和显 示空间的对应性来实现多个投影仪的几何校正的方法。大大降低了拼接成本，并 且具有较大的灵活性。但是没有对投影仪进行颜色校正，没有考虑摄像头几何曲 解模型的参数。后来，r a s k a r 等人又提出了可几何识别和自我配置的投影仪集群， 使用摄像头和倾斜传感器的辅助。 y c h e n ，d c l a r k 等人描述了一个自动投影仪排列的算法，它使用一个摄像 头，记录投影仪之间的相对位置，对相邻投影仪进行点匹配或线匹配达到多投影 仪的自动几何排列。它采用机群控制，比较适合投影仪数较多，且在投影墙上进 行无缝拼接的场合。 1 3 2 国内研究概况 目前，国内针对基于投影的增强现实技术研究尚处于起步阶段，相应的研究 成果还比较少。 清华大学自动化系国家c i m s 工程技术研究中心对增强现实环境中的视觉 一致性问题【1 4 1 进行了研究。以映射对应方法实现了虚实场景的几何一致性，并 采用面向实际光效的虚拟光效恢复方法实现光效一致性，使实体模型产生的光照 效果如阴影、高光等与真实场景保持一致。 浙江大学的林柏纬【l5 】等设计的系统使用4 台w i n d o w sp c 配以高性能 w i l d c a t 图形显示卡解决了立体影像显示时的同步等问题，并加入头部跟踪设备， 实现对用户头部运动的交互响应。 北京理工大学的周雅【l q 等人，提出根据注册图像中标志物的明暗状况，利 用计算机图形学的光照明模型计算方法进行逆推，可以较为方便地建立增强现实 系统的光照模型。 上海大学硕七学位论文 1 4 本文的组织结构 本文的组织结构如下： 第一章绪论，简要地介绍了论文的研究背景、研究的目的和意义以及国内 外研究现状。 第二章基于投影的增强现实系统，简单介绍了增强现实和基于投影的增强 现实技术的系统组成、关键技术及应用。介绍了基于投影的a r 系统( 魔幻展台) 的系统结构、软硬件系统平台，对该系统的模块组成及工作原理进行了描述，详 细说明了各模块的实现方案并介绍了相关实现技术。 第三章基于投影的增强现实系统的光照一致性，简单介绍了光照理论，然 后实现了一套对真实环境的光照检测的方法。另外使用了自适应光照调节技术来 使虚实场景能够以较快的速度实现基本一致的光照效果，并通过实验对整套方法 进行验证。 第四章基于投影的增强现实系统的无缝拼接技术，讨论了使用投影仪作为 投影设备将虚拟图像融合到真实场景中的方法，分别运用了几何校正、颜色校正、 边缘融合等技术使虚拟图像无缝地拼接，然后介绍了无缝拼接模块的设计和实 现，并通过实验验证其效果。 第五章总结与展望，总结了本文所做的工作，并对存在的不足及下一步的 工作进行了叙述。 6 上海大学硕j ：学位论文 第二章基于投影的增强现实系统结构与组成 2 1 增强现实技术及其系统 增强现实技术是在虚拟现实技术基础上发展起来的一门新技术，与传统虚拟 现实技术所要达到的完全沉浸效果不同，增强现实技术致力于将计算机生成的虚 拟物体、场景或系统提示信息叠加到真实场景中，创造一个虚实结合的世界，从 而实现对现实的“增强”。 增强现实系统是使用了增强现实技术的应用系统。其主要的特点是：用户拥 有沉浸感，虚拟环境与实际环境融为一体，几乎感觉不到真假融合所产牛的不和 谐；系统具有交互性，用户可以通过交互设备直接与虚拟物体或虚拟环境进行交 互；系统在三维空间中增添、定位虚拟物体。增强现实系统的研究涉及系统结构、 人机接口、三维注册、头盔显示等多方面。 典型的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件 系统协同实现的。其工作原理如图2 1 所示：一方面，摄像头拍摄所得的视频直 接显示在显示器中，使用户看到真实场景，或通过光学透视式系统使用户看到真 实场景：另一方面，虚拟摄像头拍摄到的虚拟视频也被送到显示器。融合过程中， 需要虚、实两个摄像头的全方位对准，这需要跟踪注册等系统的支持。最后，显 示器产生了融合的场景。 图2 1 典型的增强现实系统的j ：作原理 皆鼎鞋 - t母基 t 海太学硕学位论文 下面讨论一下三种常用的增强现实系统的结构。 1 ) 基于计算机显示器( m o n i t o r - b a s e d ) 的增强现实系统 在摹于计算机显示器的增强现实系统中，摄像机摄取的真实世界罔像输入到 计算机，与计算机图形系统产生的虚拟景象合成并输出到屏幕显示器。用户从 屏幕上看到最终的增强了的场景图像。该方案的优点是结构简单、容易实现，对 硬件要求低，因此被实验室中的增强现实技术研究者们大量采用。该系统的实现 方案如图22 所示。 i 鲁，近， 篙盘喜h “ l _ 1 m 厂：i = h 帕m 口 豳2 2m o r | i t o r - b a s e f l 增强现实系统 2 ) 光学透视式( o p t i c a ls e e t h r o u 曲) 增强现实系统 头盔式显示器( h e a d m o u n t e dd i s p l a y s ，h m d ) 被广泛应用于虚拟现实系 统以增强用户的视觉沉漫感。增强现实技术也采用了类似的显示技术，这就是在 a r 系统中广泛应用的穿透式h m d 。根据具体实现原理可以将穿透式h m d 分为 两大类：基于光学原理的光学穿透式h m d ( o p t i c a ls e e t h r o u 曲h m d ) 和基于 视频合成技术的视频穿透式i - i m d ( v i d e os e e , - t h r o l i 血h m d ) 。 圈2 3 光学透视式增强现实系统 光学透视式增强现实系统的实现方案如图23 所示。光学透视式h m d 通过 上海大学硕士学位论文 一对安装在眼前的半透半反射光学合成器实现对外界环境的观察。用户既可以透 过光学合成器看到周围的真实环境，又可以通过光线反射看到计算机产生的增强 图像或信息。 光学透视式增强现实系统具有结构简单、分辨率高、没有视觉偏差等优点， 但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。 3 ) 视频透视式( v i d e os e e t h r o u g h ) 增强现实系统 视频透视式增强现实系统采用基于视频合成技术的视频透视式h m d ( v i d e o s e e - t h r o u g hh m d ) ，其实现方案如图2 4 所示。视频透视式h m d 通过一对安装 在用户头部的摄像机摄取外部真实环境的景象，计算机通过计算处理将所要添加 的虚拟信息或图像信号叠加在摄像机的视频信号上，最后将融合后的视频显示在 头盔显示器中。 c o m b i n e dv i d e o 图2 4 视频透视式增强现实系统 2 2 基于投影的增强现实系统 r 舱 卜黜d 基于投影的增强现实系统是一种通过一定的投影和透射的方式，将虚拟场景 与真实场景进行融合的系统。基于投影的增强现实系统可以通过如投影仪等投影 设备将虚拟图像融入真实场景中；也可以使用一些特定的光学设备，采用图像折 射的方法实现虚实场景的结合。 基于投影的增强现实系统也是一种多投影沉浸式的系统。可以使用多个投影 面应用于整个系统中，这样几乎能够覆盖用户的所有视野，再配合声效和交互设 备，基于投影的增强现实系统就能提供给使用者一种前所未有的带有震撼性的沉 9 海大学砸# 位论女 浸感。 与其它增强现实系统相比，如光学透视式h m d ，基于投影的增强现实系统 具有更清晰的显示分别率，且没有头盔带给用户的沉重负担和对眼睛的不适感。 同时，基于投影的增强现实系统还能够支持多位用1 同时沉浸在同个增强 现实的环境中，相比其他的增强现实系统，其系统成本会更低。 在基于投影的增强现实系统的范围内可以容纳多位用广同时进入虚拟世界， 同时对一个虚拟场景的不同侧面进行观察。在运行过程中，系统司阻和用，、进行 交互，实时生成虚拟环境的立体影像并投影到各个真实场景中。 但是基于投影的增强现实系统也存在着定位精度要求高、虚实场景时空匹配 与交互一致性和虚实场景融合后其真实感效果等问题。 通过对基于投影的增强现实系统的特点和技术的学习和研究，我们研制r 基 丁二投影的a r 系统“魔幻展台”。 “魔幻展台”的基本特点是采用图像折射的方法实现虚实场景的结合，同时 虚拟场景由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现。其 投影系统的基本原理如图25 所示： 折廿点 u 像窀目 武 型2 5 基于投影的a r 系统的投影原理 在外形上，“魇幻展台”就像是一个倒置的四棱台。实际上它的四个面都是 由半透镜面组成。演示时，棱台的内部放置真实物体，四个镜面将其下方的显示 屏图像投射到展台上，利用其半透特性达到虚实结合的效果。 i 嗨大学顿十学位论文 2 3 硬件系统 基于投影的增强现实系统的整个硬件系统由多种设备构成，如若t 台p c 机、 工业级摄像头若干、视频采集卡、非线性编辑器，微型彩色c c d 、投影仪、测 光仪、百兆，千兆交换机等网络设备等，其中些关键设备也比较特殊，如倒半 透镜系统，下面对它们进行详细介绍： 2 3 1 整体构架 避 、嚣 萌0 l叫 誊，】8“8 ” ppd 去害交 镕1 图2 6 基于投影的a r 系统硬件及网络构架闰 基于投影的增强现实系统的硬件构架简单原理图如剖2 6 所示，由一个倒金 字塔型的半透镜组合。其中，使用五台计算机通过高速交换机设各构成一个多台 联网p c 系统，其中p c i 、p c 2 、p c 3 、p c 4 为s l a v e 计算机，丰要负责虚拟场景 的渲染和控制；p c 5 为m a s t e r 计算机，主要负责整个系统协调控制，用户通过 它与系统进行交互。同时，使用四台c r t 显示器( 或者四台投影仪) 将渲染以 后的虚拟物体投影到展台中，使其融入真实物体中。 p c i p c 2 、p c 3 、p c 4 、p c 5 都是配置性能较高的p c 机。所有的p c 机之 间由高速网络联结，构成了一个基于网络p c 集群的分布渲染系统。 p c i 、p c 2 、p c 3 、p c 4 分别控制场景的前后左右四个面，其丰要功能有： 巷 b 多 t 辉学硕学位论文 虚拟模型构造转换、虚拟场景渲染、虚拟场景控制、光照处理、边缘融合处理等 多种功能。这四台p c 机所牛成的虚拟图像通过特定的投影设备，折射到展台中 央。 p c 5 主要控制摄像头和投影仪的运作，以及整个系统协调控制，包括发送启 动信号和同步信号等，可以看作为系统的“辛控机”。丰控机需要使用恰当的传 输协议与各个上的渲染程序通信，通过网络同步功能对各节点的虚拟场景图像渲 染进行同步控制：同时，通过使用摄像头用于采集真实场景的光照信息，经过实 时计算，并将虚拟场景的光照信息通过高速网络传递到p c i 、p c 2 、p c 3 、p c 4 这四台机器上以便实现该a r 系统的光照一致性。 232 投影设各 在“魔幻展台”中，我们使用了c r t 显示器及投影仪作为投影设备，用来 投射生成的虚拟图像。 使用投影仪比显示器更加便于装卸和操作，同时对于场景的一个面，我们可 以使用多个投影位来“拼接”生成图像，这样得到更好的沉浸感，分辨率更高、 视野更宽的显示效果，而显示器无法扩展显示区域。相比显示器投影仪的价格 更加昂贵。 通过分析和比较，如图2 7 所示，我们采用了s o n y v p l c x 5 投影仪。该投 影仪采用正投方式，并具有自动梯形矫正功能，光亮度均匀值为8 5 ，可以很好 的满足实验的需要。 蕾耐一j 厂7 7 一、。厂一耸遭一 j ：海大学硕十学位论文 2 3 3 视频捕捉设备 视频捕捉设备包括摄像头和图像捕捉卡，它们用于采集真实场景的光照信 息。我们采用的是l c h p 4 9 a 工业摄像头，它具有背光补偿，自动白平衡，自 动增益控制等功能。该摄像头有许多可调节的参数，分辨率较高，使用它捕捉的 图像质量很好，是一个比较符合设计初衷的选择。针对这个摄像头采集的数据， 我们使用了1 0 m o o n ss d k 2 0 0 0 型视频捕捉卡。它是一种p c i 视频捕捉卡，为 w i n d o w s 2 0 0 0 x p 提供了很好的驱动。它针对系统开发提供二次开发包( 以下简称 s d k ) ，可以使用v i s u a lb a s i c 、v i s u a lc + + 、d i r e c t s h o w 等多种编程语言进行二 次开发，这个s d k 复杂度比其他型号视频捕捉卡的s d k 复杂度稍大一些，但由 于该s d k 二次开发的功能比较强大，能较好满足系统的整体要求，因此我们还 是选择了这款视频捕捉卡。 为了比较不同摄像头对光线处理的不同效果，实验过程中我们还使用了u s b 摄像头( l o g i t e c hq u i c k c a me x p r e s s ) ，对于一般要求的视频采集也能取得比较好 的效果。 2 3 4 光照测试设备 我们使用泰仕公司的t e s 数位式照度计，该照度计可测量的范围由 o 1 l u x 一2 0 0 0 0 0l u x 的光强。我们用照度计来测量真实场景中光照环境的光 强，依据这些数据结果来验证和修正我们的光照检测模块，使我们的系统更精确、 更可靠。 2 4 软件系统 基于投影的增强现实系统的运行平台是w i n d o w s2 0 0 0p r o f e s s i o n a l ，开发平 台是v i s u a lc + + 6 0 ，o p e ni n v e n t o r4 0 ，o p e n g l ，及d i r e c t 9 0s d k 下的 d i r e c t s h o w 。 o p e ni n v e n t o r 是一个虚拟场景程序的开发平台，d i r e c t x 9 0s d k 是一个多媒 体开发平台，其中，我们使用了d i r e c t s h o w 作为真实场景视频采集和处理的开 发包。此外，开发中还使用了3 d sm a x 作为建模软件平台。 j 海 硕士学位论文 这里我们对与自适应光照调节系统开发有比较密切关系的丰要软件开发平 台o p e ni n v e n t o r 4 0 、d i r e c t s h o w 做一下简单介绍。 2 4 1 软件开发包 o p e ni n v e n t o r 是t g s 公司在o p e n g l 1 9 函数库上层开发的3 d 开发库。它专 用于实现交互式3 d 图形应用的全方位、面向对象的框架体系，简化了软件开 发的过程提供了一系列可扩充的对象库，简化了图形编程，也不失o p e a g l 固 有的强大3 d 处理能力。w i n d o w s 平台下的o p e n i n v e n t o r 能够与v i s u a l c + + 60 紧密结合，借助这个技术成熟、功能强大、使用广泛的软件开发工具，能够高效 的开发和调试基于o p i n v e n t o r 的三维软件。 节点是o p e ni n v e n t o r 中最基本的组成元素，由节点组成的树结构称为场景 图( s c e n e g r a p h ) ，场景图中定义了节点的次序，在场景图中较早出现的节点对后 面的节点产牛影响，也可以通过一种手段来终止前面节点对后面节点的影响， s e p a r a t o r 节点就能把组内节点的影响限制于分组内部。o p e ni n v e n t o r 中的节点 大致可以分为三类：形状节点、属性节点和分组节点。形状节点定义了场景中物 体的几何形状，如圆、长方体、面片等：属性节点记录应用于几何形状节点的属 性包括材质、纹理、灯光、视点、几何变换等：分组节点将一个以上的节点组 合在一起，使它们能够像一个单独对象那样被处理。节点中的属性称为域，属性 的值称为域值。每种节点都有自己的一套域，域中定义了节点的各个属性。每种 节点都是一个对象，有对应的值域和方法，通过调用方法，可以设定或修改节点 的属性。 圈2 8 典型的o p e n i n v e n t o r 场景图图2 9 人体模女! 效果牲i w 己一 1 跨$p巫磊 上海大学硕士学位论文 o p e ni n v e n t o r 中典型的场景图如图2 8 所示，在这个图中显示的是一个人体 模型图形的i v 文件数据节点组，通过这个图可以得出文件在构成图像时是 采用了数据节点的方式，以层次结构，将图形由大n d , 划分成几个部分，逐一进 行描述和渲染。在图2 9 中就可以看到这个文件所显示出的人体模型效果图。 与o p e n g l 相比较，o p e ni n v e n t o r 通过它自身的场景数据库调用o p e ng l 实现三维图形对象的显示。o p e ng l 直接把显示的对象送入帧缓冲器中，而o p e n i n v e n t o r 则把需要显示的对象先存入o p e ni n v e n t o r 内部的数据库中，并把对象 和操作封装在一起，当o p e ni n v e n t o r 数据库的显示操作被激活时，才把要显示 的对象送入到帧缓冲器中进行显示；在o p e ng l 中，对象的显示和对对象的操 作是分开的，而o p e ni n v e n t o r 把对象及其操作封装在一起；用o p e ng l 显示对 象，用户必须掌握很多编程细节，诸如对象的选取、旋转、平移等操作，用户必 须用一系列的g l 编程语句来实现，而o p e ni n v e n t o r 预先提供了一系列的标准 组件和操作，用户只需把这些组件组合起来即可，无需了解太多的细节。同时， o p e ni n v e n t o r 也保持了很多o p e ng l 的灵活之处，使用户可以构造自己所需要 的，而o p e ni n v e n t o r 未提供的对象、组件及其操作。总之，我们可以根据a r 系统开发中的具体需求来决定怎样组合使用o p e ng l 与o p e ni n v e n t o r ，把 o p e ni n v e n t o r 提供的对象组件和o p e ng l 提供的具体函数组合在一起使用。 在w i n d o w s 平台下针对视频的应用开发接口主要有v f w ( v i d e of o r w i n d o w s ) 和d i r e c t s h o w 两种方案可选。d i r e c t s h o w 【2 0 】【2 1 1 作为高级流式媒体的应 用接口，相对于v f w ，为用户提供了高质量的多媒体流采集与回放解决方案。 它把多媒体应用从数据传输、硬件差别、视频音频同步等复杂问题中解放出来， 大大减少了开发人员的工作量。 七海大学硕- | ：学位论文 图2 1 0d i r e c t s h o w 系统结构图 d i r e c t s h o w 是w i n d o w s 平台下d i r e c t x 开发库的一个集成子集，它是一种开 发构架。d i r e c t s h o w 系统结构如图2 1 0 所示。它提供了丰富而强大的多媒体c o m 组件，这些组件被称为滤镜( f i l t e r ) 。滤镜是d i r e c t s h o w 中的基木单位，按工作 中的角色不同，可分为源( s o u r c e ) 、变换( t r a n s f o r m ) 、渲染( r e n d e r i n g ) 三 类。无论何种滤镜，都有一个或多个引脚( p i n ) 。引脚分为输入和输出两类，滤 镜之间可以通过彼此的输入输出引脚连接。在某种配置下，一系列滤镜被组合起 来以完成某项特定功能，这被称为一个滤镜图( f i l t e rg r a p h ) 。图2 1 1 是一个典 型的d i r e c t s h o w 滤镜图。 j f i l t e r g r a ，p r 、h m a n a g e r j i 图2 1 1 典型的d i r e c t s h o w 滤镜图 d i r e c t s h o w 应用程序必须符合d i r e c t s h o w 的规范，必须拥有自己的滤镜图。 因此，d i r e c t s h o w 程序具有逻辑清晰、结构良好、功能强大等优点。 真实场景的图像是通过视屏捕捉设备摄像头采集的。在这个系统中，不仅要 对真实场景进行采集，而且要能对采集的视屏进行提取，转化，分析，分割等操 1 6 上海大学硕十学位论文 作，这就需要能对从摄像头硬件设备到屏幕这样一条媒体数据链路进行控制。综 合d i r e c t s h o w 开发特点和我们的开发需求，因此我们选用d i r e c t s h o w 进行真实 场景视频采集和采集。 2 4 2 系统软件结构 按照功能划分，整个软件系统由多个不同的功能模块组成，其中以i l l u s i o n 平台为核心模块，其它各模块是根据具体的功能需要，在i l l u s i o n 核心模块的基 础上扩展开发的。整个系统软件平台功能模块的划分如图2 1 2 所示。 图2 1 2 基于投影的a r 系统软件平台的功能模块划分 1 i l l u s i o n 核心模块 1 ) i l l u s i o n 平台的功能特性 a r 开发平台i l l u s i o n 的任务，是完成a r 项目所需的实时图形显示和交互功 能【2 2 】。a r 项目需要实现的图形功能是真实场景数据和虚拟场景数据融合并显 示，融合后场景的内容能够通过各种已知或未知的方式进行交互，支持特效的扩 展，支持动画等。因此我们将a r 开发平台i l l u s i o n 制作成具有以下特征的平台 【2 3 】： ( 1 ) 管理扩展模块的能力 在w i n d o w s 操作系统下，扩展功能可以通过d l l 或者e x e 实现的。e x e 实现的效率非常低，只能用于模块组的启动、停止这样的功能，或者独立性非常 1 7 卜海大学硕j 二学位沦文 强的功能组。这种方式显然不适合于我们所讨论的a r 系统。因此，我们只考虑 了d l l 的扩充。 在c + + 开发的软件项目中，功能的扩充可以通过以下两种方式，来实现两个 模块之间的耦合：一种是函数调用，通常用于比较松散的耦合，插件开发难度低， 效率较高；另一种是派生类，通常用于比较紧密的耦合，插件开发难度高，效率 也高。因此在a r 图形平台中，我们采用了函数调用的方式耦合插件和平台之间 的关系。 ( 2 ) 采用o p e n l n v e n t o r 的显示机能 在i l l u s i o n 中将利用o p e ni n v e n t o r 的显示机能，完成三维图形的实时显示能 力。 ( 3 ) 支持视频融合 a r 项目需要实现真实场景数据和虚拟场景数据融合并显示，而我们设计的 视频透视式增强现实系统真实场景数据的采集是通过安装在头盔( h m d ) 上的两 个摄像头和视频捕捉设备来完成的，因此支持视频融合是i l l u s i o n 平台所特有的 功能。 ( 4 ) 分层式软件结构 考虑增强现实技术是不断发展变化的，因此作为a r 系统的开发平台采用核 心层、扩展层和应用层三层结构，从而可实现灵活的模块化管理、开放的扩展体 系。 核心层完成开发平台的数据管理和功能管理。负责管理扩展模块，由一组 d l l 组成，完成一系列的管理功能。数据管理器提供数据消息机制，以便将来 扩展数据对象；功能管理器提供插件管理功能，规范外部插件的统一接口：还提 供背景