（计算机科学与技术专业论文）增强现实应用技术研究.pdf

浙江大学博士学位论文 摘要 增强现实技术致力于将计算机生成的信息同真实世界中的场景结合起来， 它可以为医疗和工程用户提供准确、高效的辅助操作界面，也能够为教育或 娱乐程序构造引人入胜的交互环境随着相关技术的进步增强现实技术逐 渐成为下一代人机接口的发展方向之一。它涉及到计算机科学中的诸多领域， 早期的研究集中在提高定位精度的传感器和视频检溅的跟踪定位技术上，以 提高配准过程的准确性为主要目标随着研究的深入，提高增强现实应用系 统显示的质量，提供快速开发的支持成为新的需求。 当前主要存在两种类壅的开发库对增强现实应用的开发提供支持，其一 是提供底层增强现实功能的基本开发库，另一种则是集成基本开发库并提供 复杂功能支持的开发框架使用前者开发增强现实应用是一项极其复杂的工 作；而对予后者大多处予实验室应用阶段，框架的设计都有结构复杂、依赖 于特殊设备和难予掌擐的缺点，并不能提供对真实感渲染和实时协作方面的 有效支持。 本文没有集中讨论增强现实中最基本的跟踪定位技术，而是针对增强现 实应用系统开发的需要，直接以基于定位标记的视频检测为基础，从增强现 实环境中的阴影生成方法和光线检测算法入手，首先为虚拟物体与现实环境 显示的一致性提供手段。这两种方法被集成在随后提出以场景管理为核心的 增强现实软件框架a r s g f 中。a r s g f 被设计为由6 个主要组件构成，为室 内增强现实应用的开发提供场景组织、真实感渲染、设备管理和协同工作等 4 个方面的支持。文中最后给出了3 个利用m 氇g f 软件框架开发的增强现实 应用实例，用以详细说明利用a r 8 g f 的软件体系结构设计与实现a r 室内 应用和桌面应用的过程。本文主要研究内容包含以下几点： 1 虚拟物体和真实环境之间的阴影是体现增强现实环境一致性的重要指 标之一。针对增强现实中的阴影绘制特点，本文首先利用改变经典的阴影体 的绘制次序生成中的相互间的阴影。同时在阴影体算法的基础上，实现了真 实物体和虚拟物体之间绘制软阴影的方法。在处理复杂场景时，阴影体方法 难以保证阴影绘制的效率。本文进一步利用改进的阴影映射方法生成真实环 境和虚拟问题之间的阴影，能够在尽量减少绘制质量降低的前提下保证生成 生成阴影与场景复杂性无关性，减少阴影生成步骤对场景绘制效率的影响， 并可以适应不同的虚拟场景内容构造方式。 2 ，在光照一致性检测研究中，本文主要讨论了基于定位标记检测真实场 景光源的方法。通过检测定位标记表面辐照度的变化和真实光源之间的关系 建立模型，在相机坐标空间中用逐渐逼近的方法拟合真实场景中的光源的强 浙江大学博士学位论文 度和方向。这一方法能够直接利用定位标记提供场景信息降低系统配置的复 杂性，并支持多个场景光源的检测。在此基础上本文讨论了利用相同的算法 实现在全局坐标系下构造虚拟光源。 3 基于场景管理的增强现实开发框架方面，本文提出基于场景管理的增 现实开发框架a r s g f 。a r s g f 是一个开放式的软件框架，各个组件之间通 过定义明确的抽象接口相互访阎，除提供满足基本a r 应甩的功能模块耜交 互工具之外，开发者可以在各个组件在其基础上独立扩展，而不需改变整个 软件框架的结构。框架通过图形场景统一管理系统中的图形节点、设备和应 用状态信息。框架中为增强现实系统的开发定义统一的抽象设备接口，在此 基础上能够灵活地构造不同交互工具。协作组件通过独立定义的场景状态传 输协议在多个用户进程之间同步场景状态，为多用户协作应用的开发提供透 明的支持。 本文的所有工作最后都集中于a r s o f 软件框架中，实现为一个开发库。 与现有研究相比，a r s g f 的结构简单、灵活，更加具有针对性。它集成了真 实场景光线检测功能和真实感渲染机制，同时提供方便的节点管理和协作功 能。为室内增强现实系统提供了统一软件体系结构，可以减少开发过程中的 重复工作，为基于视频标记定位的室内增强现实应用系统提供快速的开发支 持。 关健词增强现实真实感光照一致性光源检测增强现实软件框架 增强现实系统 浙江大学博士论文 a b s t r 叠c t a u 鲫e n t e dr c a l i t y ( a r ) i sd e d i c a t e dt oc o i n b i n ev i n u a lo b j e c t sw i t ht h er e a l w o r l d i tc a np r o v i d eam o r en a t u r a lu s e ri l l t e r f k ef b re n g i e r s8 n de s t a b l i s h 鼬c i n a t i n ge n v 油n m e n t f o re d u c a t i o 粕de n t e n a j n l n e n t 印p l i c a i i o 璐a r r e 髂e a r c he n c o m p s e sal a r g em 强b e ro f 盯e a si nc o m p u t e rs c i e n c e i no r d e rt o r e g i s t e r “n l l a lo b j e c t si nt h er e a lw o r l d 、) l ，i t l l s u f f i c i e n ta c c l l r a c y ，e 州yw o r ki s c o n c e n t r a t e do nt h es e n s o rt e c h n o l o g ya n di m a g ep r o c e s st e c h n o l o g y w i t l l 廿l e d e v e l o p m e n t 劬c k i n gt e c l i l l o l o g y t 1 1 ei m a g eq u a l 时蛐dt l l er a p i dd e v e l o p m e t t e c h n o l o g yh a v eb e c o m ean e w 聆q u i r m e t t l l et o p i co f 廿l i sd i s s c n 撕o ni sas c to fa l g o r i t h m sa n dm e t h o d sf o r p h o t o r e 8 l i 蛐呦d e 血gi na re n v i r o n m ta n d a rs o na r c h i t e c h m t h ea i l ni s t op r o m o t et h ed i s p l a yq l i t y 蚰dp r o v i d eas t a b l es o n 缸衄e w o r kf o ra rr 印i d d e v e l o p m e n t t h i sp a p e rb e g i l l s 研t l lp h o t o r e a l i s mr e n d 盯i n gt e c i l n o l o g y n m o d i 矗e s 佃os h a d o wg e n 钉a t i n g 描e t h o df o ta re n v i r o 姗e n t ，a i m 也e p 重o v i d e sa r e a lw o r l d l i g h t i n gd e t e c t i o nm e t h o df o rm a r k e rt r a c k i n gb a da rs y s t e m t h e s e t w ot e c l l l l o l o g i e sa r et l l e np u ti n t o 强a rs c e n eg r a p hb a s e d 胁l e w o r k ( a r s g f ) ， a r s g fc o n s i s t so fs e w ：r a lc o m p o n 髓t s ，e a c ho fw h i c ha d d 糟s s e sd i 丘b r e m f u n c t i o n s t h e 矗a m e w 村kt h a t 畔i d e sg u p p o r tf b rs c e n eg r a 垂hm 髓a g e p h o t o r e a l i s m r e n d e r i n g ，d e v i c ea b s t r a c t 蚰dc o l l a b o r a t i o n ，g i v e sc o n v e n i e n c ef o rr 印i da r s y s t e md e v e l o p m e m t h ec o n t r i b u t i o n so f 也i sd i s s e r t a t i o na r ea sf o l l o w s _ f i s t l y ，f o rs h a d o wg e n e r a t i o n ，t w 0i m p r o v e dm e m o d s ，s h a d o wv o l 啪跳d s h a d o wm 叩，a r em o d i f i e dt og e n e r a t es h a d o w sb e t w e e nv i t i l a lo b j e c t sa n dr e a l o b j e c t sf o rd i 仃e r e n ta ra p p l i c a t i o n s s e c o n m y ，i nc o n s i s t e n c e 1 l 眦i n 砒i o n ，al i g l l td e t e c t i o nm e t h o di sp r o p o s e d ， w h i c hb u i l d sad e t e c t i o nm o d e lb a s e do nt l l er c l a t i o n s h i pb e t w e c nt h ei m d i a n c e o ft h e 衄c k i n gm a r k e r s 锄dt h er e a ll i 曲t t k sm o d e lc 她g e n e r a t ev i m l a ll i g h t s t os i m m a t et h er e a l l i g h t sg r a d u a l l yi nc a m e r a lc o o r d i n 砒es p a c e t 1 1 i sm e t l l o dc a i l g e n e r a t ev i r t u a l1 i g h ti nt 1 1 ee n v i r 0 衄e mw i t l lo n ea 1 1 dt w or e a ll i g h t b a s e do n t h i sm e m o d ，as a m em e t l l o dg e n e r a t ev i n u a ll i g h ti n 西o b a lc o o r d i n a t es p a c ei s a l s op r e s e n t e d t h i r d l y ，i ns o r w a r e 丘锄e w o r k ，as c e n e 掣a p hb a s e da u g m e n t e dr e a l i t y d e v e l o p m e n t 丘啪e w o r k ( a r s g f ) i sp r o p o s e d np m v i d e ss u p p o nf o rr a p i da r a p p l i c a t i o nd e v e l o p m e n t 浙江大学博士学位论文 a l lw o r k sd e s c r i b e di i lm i sp a p e ra 代i n t e g r a t e di n t ot h ea r s g fs o 脚a r e 胁e w o r k 1 1 1 雠a p p l i c a t i o n sa r cd e v e l o p e d b 船e do na r s g f t h e yg i v em c p a n i c u l 盯p r e s e m 砒i o no fh o wt od e s i g na n di m p l 蜘l 蛐ta rs y s t e m s i i lt h e a r s g f 缸c h i e t e c t u r e k 啊 凼a u g m e n t e dr e a l i 坝p h o t o r e a l i s mr e n d e r i n g c s i s t c y i l l 啪i n a t i o n ，l i g h t i n gd c t e c t ，a u 印1 t e dr e a l 毋f r 鼬e w o r k ，a u 蛐e t c d r e a l 时s y s t e m 浙江大学博士学位论文 图表目录 图表目录 图1 1 虚拟一现实联合体环境中的4 种子环境2 图2 1 简单a r 系统的基本流程7 图2 2s - h m d 原理8 图2 3 使用投影的室内a r 环境【引自【7 】9 图2 43 d 显示设备1 0 图2 5 平面图形标记定义的世界坐标系统1 l 图2 6 标记的正规化1 2 图2 7 定位标记一屏幕坐标转换的过程1 3 图2 8 从卜蚴计算出的两个垂直向量”，、1 4 图2 9 摄像机的定标1 5 图2 1 0 用a r 肋。虹t 合成的场景2 0 图2 1 1 基于s d i e r s t u b e 框架的多用户系统结【3 0 】引自2 2 图3 1 投影法2 6 图3 2 阴影体方法原理2 7 图3 3 轮廓边检测2 7 图3 4 使用z 筋l 测试的模扳缓冲计数方法2 8 图3 5 阴影映射方法原理。2 9 图3 6a r 环境下的阴影体算法的o p e n g l 实现过程3 2 图3 7 半影尺寸计算3 4 图3 8 光源视景体剪裁面的设定3 6 图3 9i b t a t i n gc a l i p e r s 算法3 7 图3 1 0a r 环境下的阴影映射算法的0 p g l 实现过程3 8 图3 1 1 虚拟物体对真实物体的阴影3 9 图3 1 2 真实物体对虚拟物体的阴影4 0 图3 1 3 a r 下的软阴影4 0 图3 1 4a r 中的阴影映射4 1 图4 1 光源种类4 3 图4 2 两面片之间的辐射能量4 6 图4 0 标记与光源的空间位置关系4 7 图4 4 辐照度与光源入射角关系4 8 图4 5 估算距离的调整4 9 图4 6 逐渐逼近的光线检测过程5 1 图4 7 面光源的构造5 3 i v 浙江大学博士学位论文 圈表目录 图4 8 世界坐标的构造路径5 4 图4 9 单光源光照的检测5 6 图4 1 0 多光源光照检测5 7 图5 1a r s g f 框架基本结构6 l 图5 2 定位管理器结构。6 2 图5 3 标记管理器结构6 3 图5 4 场景管理器结构6 4 图5 5 工具节点的构造6 5 图5 6 场景中的消息与节点管理。6 6 图5 7 协作管理器。6 8 图5 8a r a r 协同工作模式6 8 图5 9a r - w e b 协作模式。6 9 图5 1 0a r 应用功能模块和a r s g f 组件的对应关系7 2 图5 1 1 标记工具7 3 图5 1 2 手势命令7 3 图6 1a r p r 应用逻辑7 9 图6 2a r p r 的辅助操作8 0 图6 3s h m d 界面8 3 图6 4 窗口界面8 4 图6 5c f d 体系结构。8 6 图6 6a r w 曲c h 锄i c a l 的世界模型8 9 图6 7 a r - w 曲c h e m i c a 的体系结构9 0 图6 8a r w 曲的协作方式9 l 图6 9 单分子装配和多分子装配9 2 图6 1 0 基于w e b 的a r 操作接口9 2 v 1 1 增强现实的发展 第1 章绪论 与传统虚拟现实技术所要达到的完全沉浸的效果不同，增强现实技术致 力于创造一个虚实结合的世界。它将计算机生成的物体叠加到真实景物上。 通过诸如光学透视式头盔显示器( s 玎讧d ) 、配有各种成像原件的眼镜、投影 仪、普通显示器、甚至是手机屏幕等多种设备，为用户实时的提供一个由虚 拟信息和真实景物组成的混合场景。增强现实技术最基本的目的是通过这个 含有计算机生成的信息的混合场景帮助我们完成一些复杂的工作。随着模式 识别技术和传感器技术的发展，使用者可以通过诸如数据手套、定位系统、 视频标记、甚至是肢体语言等各种方式与混合场景中的虚拟物体进行交互。 这使增强现实技术具有越来越广泛的应用领域，例如在工作中提供辅助信息、 交通导航、支持灵活有效的计算机辅助设计界面和在训练或学习中的增强理 解。增强现实技术实际上为人和计算机之间的交互提供更加自然的接口。此 外，在增强现实环境中可以让用户在看到虚拟物体的同时，仍能看到真实的 场景，即使在停电和设备故障等情况下，也能保证用户的安全。从实用性来 说，在现阶段增强现实技术比传统的虚拟现实技术具有更加广泛的应用领域。 增强现实技术与虚拟现实技术几乎同时出现，早在1 9 6 8 年图形学先驱 s u t h e d a l i d 制作了第一头盔式显示器就是透射式、而非完全沉浸式的，它可 以作为a r 设备使用。在随后的2 0 年中，由于硬件设备与图形学研究本身的 限制，a r 技术没有显著的进展，2 0 世纪9 0 年代初期，波音公司的t o m c 粕d e l l 和他的同事在其设计的一个辅助布线系统中提出了“增强现实”( a u g m e m e d r e a l i t y ，简称a r ) 这个名词【1 】。这个系统利用透射式头盔显示器将简单线 条绘制的布线路径和文字提示信息实时地叠加在机械师的视野中，依靠虚拟 布线路径和提示信息帮助机械师一步一步地完成一个复杂的拆卸过程，减少 在日常工作中出错的机会。接下来又相继出现了多种增强现实应用系统，主 要集中在医疗、制造与维修、机器人动作路径的规划、娱乐和军事等几个方 面。但是由于设备配置的复杂性和精度要求等方面的原因，所有这些系统都 没有真正投入实际应用，a z 啪a 【2 】在1 9 9 7 年曾对上述系统极其使用的基本 技术给出一个详尽的综述。 a r 技术的逐渐发展，也推动相关领域的理论研究，m i l g r 哪等人f 3 ，4 1 提出如何对这种虚拟物体和真实相结合的显示环境进行的分类的方法。在他 的分类中，所有类型的物体构成一个连续的环境，称为虚拟一真实联合体。 在这个联合体中主要划分出4 种子环境( 如图1 ) 。处于分类的两个极端的是 浙江大学博士学位论文 完全不包含虚拟信息的真实环境和完全由计算机生成的虚拟环境。位予其间 的是a r 环境和增强虚拟环境。其中位虚拟一真实联合体左边的a r 环境是 将虚拟物体加入到真实世界中，作为辅助手段。而右边的增强虚拟环境 ( a u g m e n t e d r t l l l l y ) 所使用的方法则正与增强现实环境相反，它以真实世界 信息为辅助手段，将现实景物弓l 入到虚拟环境中，以获取更加真实沉浸感， 并为虚拟环境提供与真实世界的沟通渠道。 图1 1 虚拟一现实联合体环境中的4 种子环境 在两个虚拟一现实联合体两个端点之间的部分是虚拟物体和真实世界共 存的环境，统称为混合现实( m i ) 【e d - r e a l i t y ，简称m r ) 环境。实际上，m r 技 术处理的范围更加宽泛，它还包括图像融合、人工场景生成等非实时完成的 应用，而a r 技术则更侧重于实时方法的研究。 从2 0 世纪9 0 年代末开始，这个领域的研究者们开始聚会在一系列每年 召开的、和增强现实相关的国际研讨会和工作会议上。例如，国际增强现实 工作会议( i w a r ) 、国际增强现实研讨会( i s a r ) 和国际混合与增强现实会 议( i s m a r ) 。这些会议在很大程度上促进了a r 的研究发展。近年来随着 移动设备计算能力的增强和对网格计算环境的关注，对户外增强现实系统和 支持分布式协同操作增强现实系统的研究明显增加。 1 2 a r 应用系统的特点 a r 应用系统的处理对象是虚实结合的混合环境，其应用系统的设计面 临全新的问题。a z u m a f 5 】提出a r 应用系统应该具有的3 个特点。 合并真实和虚拟场景 支持实时交互 支持3 d 环境中的配准 这3 种属性紧密相关，其中第1 、3 种属性都要求对合成到真实场景中的 虚拟信息和物体准确定位并进行真实感实时绘制，使虚拟物体在合成场景具 有真实的存在感和位置感。实现这种要求的前提是，利用各种传感器检测真 实世界的信息，并创建相应的几何模型。模型的精确性取决传感器所获取的 精度，需要建立的模型越精确，所需要的数据量就越大。大量的数据处理增 规了a r 应用系统的复杂性。同时a r 应用需要对众多传感设备和输出设备 进行配置和管理，并支持添加新的传感器设备。这都增加了a r 应用的开发 难度。 a r 环境中的交互过程需要从特殊的硬件交互设备或一些定位传感器获 取数据，为了保证实时性，所有数据和相应操作要求在极短的时间间隔内得 到处理，同时保证输出帧频保持在用户可以接受的范围内。在复杂的a r 应 用中，大量数据的处理不能依靠单独的计算机来完成，需要考虑使用分布式 的处理，用以保证应用的实时性。a r 实时交互的要求进一步增加了a r 应用 的复杂性。 随着端到端的网络传输速率的不断提高，a r 应用对协同工作要求显得 日益重要，基于a r 接口的远程控制和远程协作成为新的需求。协作式a r 应用具有多用户接口，能够在不同a r 进程之间共享和交换数据。在分布式 环境中进行a r 应用的开发是一个繁琐的工作，尤其是当使用大量移动设备 加入a r 协作中，使进程管理工作更加复杂化。 1 3 问题提出 虽然对a r 技术的研究已经经过很长时间，各项基本技术逐步成熟，但 是开发a r 应用仍然是一项具有挑战性的工作。首先a r 应用系统依赖于显 示设备、跟踪定位传感器和校准过程。其次是a r 软件结构的复杂性，它需 要处理检测、定位、场景组织和渲染等不同任务来保证应用的正常运行。 随着a r 领域研究的逐渐深入，陆续出现了许多a r 应用开发工具包和 应用框架。它们包含了a r 应用开发中可重用的功能代码，降低了a r 应用 的开发难度，并且都在一定程度上解决了3 d 环境下的配准问题。 但是a r 开发工具包主要提供对a r 应用底层开发的库函数，开发者仍 然需要处理大量跟踪定位数据的组织、场景的管理、设备接口的定义和协作 中的同步等问题，缺少对整个a r 应用开发过程的支持。 另外，一些应用框架可以为a r 应用的开发提供高层次的支持，但是现 有的框架一般配置复杂、需要特殊的交互设备和跟踪定位传感器。其提供的 体系结构过于结构化，并不能满足a r 应用开发的实际需要。 a r 应用开发中的各项要求总是相互矛盾的，它需要在准确性、实时性 和真实感的要求下寻找合适的平衡点。a r 应用系统的开发过程仍然十分复 浙江大学博士学位论文 杂，这使当前大多数a r 应用仍然停留在实验室阶段。除对硬件相关的要求 外，当前a r 应用的开发主要面临以下问题： 1 如何达到3 d 环境下的精确配准。 2 如何获得a r 中一致性的真实感。 3 如何管理a r 场景。 4 如何简化设备管理。 5 如何支持a r 中的协作工作。 3 d 环境下的配准体现a r 应用对准确性要求，而一致性的真实感渲染则 反应出对a r 系统显示质量的要求。场景管理提供了灵活的应用数据组织和 管理的结构，设备管理和协作支持简化了开发中的复杂性。后三个问题体现 了对a r 应用开发本身的需求。 1 4 论文的主要研究工作和篇章安捧 如前所述，a r 应用系统的开发是一个复杂的过程，面临着诸多问题。 本文主要针对后面4 个问题提出一组解决了方法。从提高a r 场景的真实感 入手，首先提出两种a r 环境下阴影绘制的改进方法和基于辐照度原理的真 实场景光源检测方法。接下来集中解决a r 应用系统开发中面临的场景管理、 设备管理和协作管理三个方面的问题。所有技术最终被集成在一个以场景管 理为核心的a r 应用开发框架中。本文通过上述研究，旨在建立一种适用于 基于视频标记定位的a r 应用系统开发框架，降低a r 应用系统的开发难度， 推动a r 技术在各个领域的普及应用。 本文的研究内容包括 1 提出a r 环境下的两种阴影绘制方法。首先在阴影体算法的基础上， 提出a r 环境中绘制真实物体和虚拟物体之间阴影和软阴影的方法。利用模 板缓存完成阴影的分割，简化了实时绘制时的计算。为了适合更复杂场景的 实时阴影生成，接着提出利用阴影映射方法方法处理a r 场景中的阴影生成。 由于精度问题是影响阴影映射方法生成阴影质量的主要因素，利用a r 环境 中物体的可见性构造优化光源视景体，使阴影图在最大程度上满足相机视景 体中阴影测试的精度，同时避免了以相机为视点对场景的重复渲染。 2 提出了a r 环境下利用定位标记表面的漫反射特性和辐射度原理检测 真实场景光源的方法。利用a r 应用环境中交互操作的特点，采用逐步逼近 的方法构造真实场景光源。同样的测率适合单光源和多光源照明环境下对真 实场景光源的重建，并在点光源检测的基础上实现面光源的构造。基于定位 标记的光线检测方法不需要特殊的检测设备和真实场景的几何模型信息，支 持在系统运行过程中动态创建一个或多个虚拟光源，使a r 混合场景获得一 4 致的光照效果。算法能适应光照变化的动态环境，尤其适用于存在很多交互 的a r 室内系统。 3 提出了基于场景管理的a r 应用开发框架，框架中跟踪定位设备和交 互设备进行统一管理。规范化接口的数据结构，场景状态、图形结构和交互 工具都作为场景中的节点统一管理。这种设计方式为a r 应用的开发带来两 种便利。一方面它提供了节点之间高效率的访问机制，所有图形和操作相关 的状态查询操作都可以通过节点管理器其完成。在另一个方面，它提供了灵 活的交互工具设计机制。在不同的应用中，设计者可以通过组合多个a r 虚 拟设备的输入，并赋予合适的外观。a r s g f 通过内容管理器装入并渲染第三 方创作软件构造的3 d 模型，这个过程在独立的图形节点中完成。而场景管 理器负责渲染整个场景中的节点。内容管理器通过获取场景中的全局光源节 点来保证整个虚拟场景的光照一致性。场景中提供了两种方法设置全局光源 节点。第一种直接通过开发者设定，适合应用在可控的场景中；第二种方法 通过定位管理器来检测真实场景光源，适合应用在普通环境下的桌面和室内。 同时，a r s g f 中提供了两种阴影本影和半影的渲染方式。开发者能够通过设 置场景状态参数在真实感和性能之间选择最适合的的渲染方式。提供了a r a r 和a r w e b 应用之间的两种协同工作模式，支持a r 应用之间和a r 应用与基于w e b 的3 d 应用之间的协同工作。它隐藏了协同工作中场景消息 交换的细节，因此对于开发者来说，协同工作的a r 应用与独立的a r 应用 在开发上过程上基本相同。 4 。在a r s g f 框架的基础上开发的三个典型a r 应用系统，从应用需求 出发，详细阐述基于a r s g f 的软件体系结构设计和实现各个系统的过程。 在a r s g f 框架的支持下能够迅速的构建类似岫r 的产品帮助或演示系统， 避免了繁琐的定位标记管。对于c f d 等需要在较大场景内建立全局坐标的的 a r 应用，a r s g f 的场景管理方式能够降低应用逻辑设计的复杂性，帮助开 发者设计出松散耦合的系统，增加运行时的稳定性，减少设计错误引起的反 复过程。对于类似于a r w 曲c h e m i c a l 的教学系统，a r s g f 能够将复杂的 模型和数据管理与对象的外观和行为设计分离开，使应用可以使用单独的系 统对模型和数据进行管理，在不增加应用复杂性的基础上使其能够利用其它 专用系统提供的功能，提高应用的可扩展性 本文分为七章，各章安排如下： 除本章介绍前入相关工作和本文研究内容之外，后续章节的安排如下， 第二章主要介绍增强现实中的真实感渲染方法。在介绍一般图形学的真实感 渲染技术的基础上对现存的增强现实中真实感实现方法进行了详细的分类， 阐述一些方法的优缺点，明确了需要进一步完善的目标。第三章主要介绍增 强现实应用中的真实光源检测技术，主要阐述基于标记辐照度的检测模型， 浙江大学博士学位论文 单真实光源的检测技术，多真实光源的检测技术，以及面光源的模拟。第四 章主要介绍基于场景管理的增强现实开发框架，重点阐述该框架的设计目标， 组成结构，以及图形节点的设计和层次结构等。第五章中给出了在基于场景 管理的增强现实开发框架下开发的几个增强现实应用实例，详细介绍了框架 对一般增强现实应用和存在复杂交互关系的增强现实程序开发的支持技术， 第六章对全文进行了总结，并提出了将来的研究方向。 6 第2 章a r 相关技术 2 1a r 的支撑技术 a r 是一个典型的交叉学科，它的研究范围十分广泛，涉及到诸如信号 处理、计算机图形和图像处理、人机界面和心理学、移动计算、计算机网络、 分布式计算、信息获取和信息可视化，以及新型显示器和传感器的设计等各 个领域。a r 系统不需要显示完整的虚拟场景，但是需要分析大量的定位数 据和场景信息，以保证由计算机生成的虚拟物体可以精确的定位在真实场景 中。以基于视频标记定位的系统为例，a r 系统中一般都含四个基本的步骤 ( 如图2 1 ) ：1 ) 获取真实场景信息；2 ) 对真实场景和场景位置信息进行分 析；3 ) 生成虚拟景物；4 ) 合并视频或直接显示。这种方式首先利用视频流 中的标志物获得场景位置信息。然后图形系统根据相机位置和从真实场景中 获得的定位信息计算虚拟物体坐标到相机视平面的仿射变换，通过变换矩阵 在视平面上绘制虚拟物体。最后依靠输出设备显示合成场景。输出设备、跟 踪与定位技术、交互技术和真实与虚拟之间的合并技术是实现一个a r 系统 的基本支撑技术。 一 真实 厂i 习 。1 一 增视频j 图2 1 简单a r 系统的基本流程 2 1 1 输出设备 大多数a r 应用是针对人类视觉设计的，以图形作为主要的输出媒体。 它们需要将算机生成的内容信息与真实世界组成的混台场景尽量真实地展现 在入的视野中，同时可以使用声音输出作为辅助手段以补偿交互过程中虚拟 物体对触觉等方面的反馈不足。a r 使用多种输出设备以满足合并视频和立 体视觉的需要，通常可以分为各种平面显示设备、投影设备和3 d 显示设备。 2 1 1 1 平面显示设备 普通显示器是最为常用平面显示设备，它们容易获得、并且具有较高的 7 浙江大学博士学位论文： 分辨率，但是在使用的时候会限制使用者的活动范围。 头戴式显示器( h m d ) 是虚拟现实系统中的常用的设备，它可以被佩戴带 在使用者的头部，为双眼各提供一路成像设备。为获得与双眼重合的视场范 围，a r 系统中使用的网d 在成像设备附近增加了一路或两路摄像机，同时 成像设备的成像平面被调整到距离双眼一定距离之外。h m d 使用完全封闭 的结构，采用视频合成技术将现实景物和虚拟景物合并在一起，并直接显示 在成像平面上，这种显示方式能够提供较高亮度和高分辨率的显示效果。 h m d 具有一个明显的缺点，由于摄像机位置与双眼位置的不一致性，导致 合成视场与真实视场之间存在一定的偏差。从视觉本身考虑，大脑会很快适 应这种偏差，但这种缺点会在一些应用中对使用者自身的安全产生潜在的威 胁。 相比h m d ，透视式头戴显示器( s h m d ) 更加适合a r 系统的需要( 图 2 2 ) 。这种显示器使用一种常称为合并器的分光镜，它能够将位于其上部的 l c d 显示器的影像反射到使用者的眼中，同时能让周围环境的光线穿透进 来。在商业产品中，分光镜的透明性一般是可调的。s h m d 原理简单，可以 根据需要制作。 摄像机 显示嚣 半透明的 反光镜 图2 2s - h m d 原理 h m d 和s h m d 所共有的缺点是两者的设备体积大、佩戴不便，常时间 佩戴会引起不适，对于户外使用的用户更难于接受。为了使用方便的考虑， 通常都可以将这两种显示器改为手持式，但在使用的时候也限制了手的活动。 针针对这些缺陷一些商业产品作出了部分改进来减少佩戴时的不便，其中 m i c r o v i s i o n 公司提供了称为n o m a d 的商用显示系统 6 】，这个系统可以将虚 拟图像直接投射到视网膜上，这种方法在一定程度上减少显示设备的体积， 提高了输入光线的强度。它通过其内部的一个激光器将数字图像的各个象素 以脉冲形式依次输出，一个微机电反射镜将激光脉冲按其在图像中的位置依 次将各个象素反射到光学图像合成器中相应位置的透镜上，最后通过透镜将 光线反射到视网膜上。这种显示装置的体积明显减小，但是由于是按象素输 出图像，因此速度较慢，目前的产品只能在真实场景中叠加红色的文字和线 框图形。另外的一类改进是m i c m o p t i c a l 的e y e g l a s s 系列产品，在这种产品 r 相关拄木 的设计中将一个小彩色显示屏直接安装在普通眼镜上。这种设备仅重几十克， 但是显示区域过小、位置固定，使其应用受到限制。 2 1 1 2 投影设备 对于平面显示设备，通常把图像生成在固定的设备表面，而投影设备能 够将图像投影到大范围的环境中。与头带式的显示设备相比，投影设备适合 室内a r 应用环境，其生成图像的焦点不随使用者的视角改变而变化，与固 定的跟踪定位设备相配合能够实现更加稳定的应用效果。同时投影设备能够 直接将虚拟物体投影到真实世界中的相应位置，改变真实物体的表面纹理和 真实场景的光照效果。 图2 3 使用投影的室内a r 环境【引自【7 】 基于投影的显示环境中为获取立体投影效果，可以采用间隔投影方式为 双眼分别提供不同的视图。这种投影方式要求投影设备的帧频应能够达到 l o o 帧，秒以上，用户则需要佩戴特殊的眼镜以同样速率交替打开或遮挡左右 眼的视场。另外一种3 d 投影方法可以则通过软硬件配合实现，如图2 3 中所 示，为实现对不同墙面的投影，需要通过两步渲染过程完成。首先跟踪用户 视场方向，以用户观察点为视点渲染场景模型，然后以投影设备所处位置为 视点，从缓冲区读出前次渲染结果，以投影纹理方式再次渲染【7 】。但是这种 方式并不能支持多用户多视免的应用环境。 投影设备的缺点是体积较大，一旦配置好后则在整个应用中位置固定， 因此不适合户外移动a r 应用系统。 2 1 1 33 d 显示设备 以平面显示器和投影仪作为a r 应用的显示设备都存在不同的缺点，理 想的a r 成像设备应具有体积小、便于移动、可清晰的将3 d 图像投影到自 由空间并且支持交互操作的特点。虽然现实中仍不能制造这种理想的显示设 备，但是现代显示技术已经开始逐步接近这个目标。s a rd i s p l a y 【8 】在l c d 像素阵列前布置一层掩模，随视点位置的不同，所接收到的阵列上发光点的 9 浙江大学博士学位论文： 集合也不相同，以此产生立体影像【9 】( 萄2 4 左) 。通过体扫描技术( s w 印t v o l 啪e ) 是一种常用的3 d 显示方法，它使用精确定义的投影或激光阵列将 图像显示在告诉旋转的透明介质上，在空间中形成3 d 图像。固体状态 ( s o l i d s t a t e ) 方法利用内置投影仪作为光源，使光线轮流照射在一个多层液 晶屏的各个层上，效果楣当于在具有一定厚度的液晶屏上显示出3 d 图像。 t r 孤s s c r c e n 利用类似的技术通过偏振光投影仪将图像投影到具有精细结构 的成像设备中( 图2 4 中) 。1 0 2 t e c h l o g y 公司的显示器通过把特定的方法 改变空气的性质，然后将其喷出，再使用激光将t v 、d v d 和电脑等视频源 显示在被改变后的空气中，这种技术可以将图像获3 d 模型显示在设备上方 的空气中，为交互操作提供方便( 图2 4 右) 【1 0 1 。 相机坐标 理想屏幕坐标 观察屏幕坐标。首先考虑以屏幕作为观察对象的a r 系统 的位置估计( 图2 7 ) 。 理想屏幕举标 标记 图2 7 定位标记一屏幕坐标转换的过程 从标记坐标( x m ，y m ，z m ) 通过公式2 4 转换到相机坐标( x c ，y c ，z c ) x ： i 乙 1 x q 比 z h l = 垤。 相机坐标通过公式2 5 转换为理想的屏幕坐标 城 f 墨， 蚓2 l ：0 硼 置 鼍 z c l = p x m 匕 z m 1 x c 乓 z c 1 = x “ z m 1 ( 2 4 ) ( 2 5 ) 其中p 为相机投影矩阵，在标定相机时确定。其中s 。为x 轴放大系数 ( p i x e l m m ) ，其中母为y 轴放大系数( p i x e l m m ) f 为相机镜头焦距，( x o ，y o ) 为人眼坐标系中z 轴的位置( 可途中心) 。 获得t c m 是位置估计的主要目的。在图像预处理过程之后，可以获得标 记在相机屏幕上的平行四边形。在这个平面上其两个平行边的方程可以表示 为 d 】工+ 岛y + c 1 = o ，口2 x + 6 2 j ，+ c 2 = 0 ( 2 6 ) 墨乏正 k ooo 浙江大学博士学位论文 根据投影到理想相机屏幕的公式，可以使用相机坐标代替上式中的屏幕 坐标x 与y 。则得到以下平面方程，这两个平面分别包含方程4 中的两条直线。 q + ( 啊k + q 厂) + ( q + 6 1 + c 1 ) z ：= 0、 啦。蓐k + ( 吗x + 如s ，) 【+ ( 吒+ 6 2 + c 2 ) z ：= o 设这两个平面的法向矢量分别为阼，和啦，四边形标记平行的两边的方向 矢量可从 ，砌得到。设通过这种方法得到标记两对平行边的单位( 方向) 向量可以分别表示为“卜“ 。这两个向量( 在相机坐标空间) 的关系应为 “上，但是由于相机的图像采集存在误差，这使材、“：不会准确的垂直， 为了补偿这个误差，在这个平面上定义了相互垂直的两个新的向量v 卜v 2 ( 图 2 8 ) ，求出与v 卜v ? 都垂直的向量 ，中的旋转部分乃砧可由下式求出 蚝站= 【码，屹。，b 】 u 2 屹 图2 8 从“j 、蜥计算出的两个垂直向量v ，、 此时标记坐标空间中标记四角坐标与屏幕坐标空间中标记四角的位置均 为已知，通过式2 4 与式2 5 即可推导出暇。的值。这时7 k 已经求出。 由于图像处理的原因，以上方法推导出的t c 。存在误差，可以利用以下 以下方法消除误差。首先用转换矩阵将标记的四角坐标( 已知) 从标记坐标 空间转换为屏幕坐标，然后用得出的坐标与实际值之间的误差来修正转换矩 阵。首先修正旋转成分，然后修正位移成分，经过多次循环后，识别结果可 以达到很高精确度。 为避免由于摄像机镜头和h m d 引入的定位错误，需要对摄像机和h m d 进行定标。摄像机定标的目的是为了得到相机的投影矩阵p ，由于摄像机镜 头和传感器存在变型和失真现象，无法从标定过程中