（计算机应用技术专业论文）增强现实系统中虚拟光照技术的研究与应用.pdf

，母凡学坝l 学位硷义 摘要 增强现实技术是一种将真实场景同虚拟场景融合的技术，它的目标是解决 真实场景视频和虚拟物体的无缝合成问题。a r 现在主要的研究工作集中在跟 踪、注册和交互技术方面，光照方面现阶段虽然也有少量的研究，但大多数都 蓿重于生成高质量的图像，忽略了a r 系统的实时性要求。本文研究了增强现 实系统中普遍存在的真实场景与虚拟场景间的光照问题，并提出一些解决方案， 不仅增强了虚拟场景的真实感，同时也保证了a r 系统的实时性。作者主要的 研究：”r 作体现在以下几个方面： 解决虚实光照差异的首要问题是采用面向实际光效的虚拟光效恢复方法。 首先，虚拟光源的位置要与真实光源保持一致，若真实光源在场景中移动，虚 拟光源的移动应该与真实光源保持一致。本文使用磁力跟踪系统，在光源上安 装了磁力跟踪接收器，跟踪真实光源的空间姿态，并将跟踪到的数据转换到虚 拟场景坐标系，实现了虚实光源的姿态一致性。第二，选择适合的光照明模型 表现真实场景光照效果。第三，阴影是表现光照真实性的另一个重要方面，为 保证a r 系统的实时性，采用平面阴影的方法。 然后，本文提出了光照明模型中所存在的不足之处并对其进行改进。在通 常情况下，环境光值取默认值或由手工设定，从而影响了环境光的精确性，影 响到整个光照明模型的精确性。针对这一情况，本文提出精确恢复环境光的两 种方法：时间插值法和基于图像的插值法。这两种方法提高了环境光的精确性， 从而增强了整个光照明模型的精确性，并对p h o n g 光照明模型进行改进，提高 了p h o n g 模型的精确度，同时不影响光照计算的实时性。 最后，本文给出了将真实场景和虚拟物体融合并显示给用户的技术合 成显示技术。该技术主要包括两个方面：首先，虚实摄像头保持一致，然后再 实现虚实视频的合成。本文在真实摄像头参数已标定的基础上，先用真实摄像 头参数校正虚拟摄像头，实现了虚实摄像头一致。然后通过对o p e nl n v e m o r 的 研究，创建了一个新类实现了虚实视频的融合。 关键词：增强现实，光照明模型，阴影，o p e n i n v e n t o r ，o p e n g i 。 v 抛i 学坝l 学位论文 a b s t r a c t a u g m e n t e dr e a l i t y ( a r ) i san e wd e v e l o p i n gt e c h n o l o g yb a s e d o nv i r t u a lr e a l i t y ， w h i c he n h a n c e st h er e a lw o r l db ys u p e r i m p o s i n gc o m p u t e rg e n e r a t e di n f o r m a t i o no n t o po f1 t m a di t sm a i np u r p o s ei s t or e a l i z es e a m l e s si n t e g r a t i o n t h ep r e v i o u s r e s e a r c hi nm ed o m a i nf o c u s e so nt r a c k i n g ，r e g i s t r a t i o na n di n t e r a c t i o n t h e r e sa l s o s o l i l er e s e a r c ho ni l l u m i n a t i o np r o b l e m s ，b u tm o s to ft h e mp a ym o r ea t t e n t i o nt o h i g h - q n a l i t yo fi m a g e p r o d u c t i o nw h i l et a k i n gn oa c c o u n to f r e a l t i m ei nt h i sp a p e r ， w ed os o m er e s e a r c ho ni l l u m i n a t i o np r o b l e me x i s t i n gg e n e r a l l yi nt h ea rs y s t e m a n dp u tf o r w a r ds o m es o l u t i o n sw h i c hd e c r e a s et h el i g h t i n gd i s c r i m i n a t i o nb e t w e e n l e a lw o r l da n dv i r t u a lw o r l de f f e c t i v e l y , s i m u l t a n e o u s l ye n s u r et h er e a l t i m eo f s y s t e m t h em a i nw o r k si n c l u d e di nt h ep a p e ra r ea sf o l l o w s ： r e c o v e r i n gv i r t u a li l l u m i n a t i n ge f f e c t sb a s e d0 nr e a ll i g h t i n ge f f e c ti s a l l a d v i s a b l em e t h o d 、0 n rs o l u t i o nh a st h r e em a i ns t e p s f i r s t l y , t h ep o s eo ft h ev i r t u a l l i g h ts h o u l db es a m et ot h er e a lo n ea n dw eu s em a g n e t i ct r a c k i n gt e c h n i q u et og e t t h ei n f o r m a t i o no ft i r em o v e m e n to fr e a ll i g h t ，a c c o r d i n g l yt oc a l c u l a t et h ep o s eo f v i r t u a ll i g h t s e c o n d l y ，a na p p r o p r i a t el i g h t i n gm o d e li ss e l e c t e dt os i m u l a t er e a ll i g h t e f f e c t s t h i r d l y ，c o n s i d e r i n gs h a d o w i sf i n i m p o r t a n tf a c t o re f f e c t i n gr e a l i t yo f l i g h t i n g ，p l a n a rs h a d o wm e t h o di ss e l e c t e dt oe n s u r ei t ，s i m u l t a n e o u s l ye n s u r et h e r e a l - t i m eo fs y s t e m t h e n ，t h ep a p e rp u tf o r w o r dh o wt oi m p r o v et h ep r e c i s i o no ft h ei l l u m i n a t i o n m o d e l g e n e r a l l y ，a m b i e n tl i g h tv a l u ei sd e f a u l to rs e tb ym a n u a l ，w h i c hw i l la f f e c t t h ep r e c i s i o no fa m b i e n tl i g h t ，t h e r e f o r et w om e t h o d sa r ep u tf o r w a r di nt h i sp a p e rt o r e c o v e rt h ea m b i e n tl i g h ta c c u r a t e l y ：t i m e i n t e r p o l a t i o nm e t h o da n di n t e r p o l a t i o n m e t h o db a s e do ni m a g e t h et w om e t h o d si m p r o v et h ea c c u r a c yo ft h ea m b i e n tl i g h t v a l u ea n de n h a n c e 也ew h o l ea c c u r a c yo ft h ei l l u m i n e a t i o nm o d e l i na d d i t i o n w e i m p r o v et h ep h o n ga l g o r i t h mt o i n c r e a s ei t sp r e c i s i o n ，s i m u l t a n e o u s l ye n s u r et h e r e a l t i m el i g h t i n gc a l c u l a t i o n f i n a l l y , s y n t h e t i cd i s p l a yi sat e c h n o l o g yw h i c hi n o s c u l a t e st h er e a ls c e n ew i t h v i r t u a lo b j e c t sa n dd i s p l a y si tt ot h eu s e r t h i st e c h n o l o g yi n c l u d e st w oa s p e c t s ：h o w t ok e e pt h ev i r t u a lc a m e r ac o n s i s t e n tw i t ht h er e a lo n e ；h o wt or e a l i z et h e i n o s c u l a t i o no fr e a la n dv i r t u a lv i d e o i nt h i sp a p e gw ec a l i b r a t et h ev i r t u a lc a m e r a a c c o r d i n gt ot h ec a l i b r a t e dr e a lc a m e r a a n dt h e nan e wc l a s si no p e ni n v e n t o ri s e s t a b l i s h e dt or e a l i z et h ei n o s c u l a t i o no f r e a la n dv i s u a lv i d e o k e y w o r d s ：a u g m e n t e dr e a l i t y ；l i g h tm o d e l ，s h a d o w , o p e ni n v e n t o r o p e n g l v l 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究 作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示t n 意。 本论文使用授权说明 期! 堕型j 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送 交论文复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此飙定) 签名：丝叠 导师签名： i l 第一章绪论 1 1 课题来源与研究背景 增强现实技术( a r - - a u g m e n t e dr e a l i t y ) 是在虚拟现实技术( v r v i r t u a l r e a l i t y ) 基础上发展起来的一门新技术【l j 2 1 3 l 。增强现实又与虚拟现实不同，v r 技术使用户完全沉浸在计算机生成的虚拟环境中f 4 ，而a r 技术则是把计算机 生成的虚拟环境或虚拟物体合成到用户看到的真实世界中，以增强用，j 的视觉 感受，从而实现更自然的交互。目前，这一技术已经应用到影视、娱乐、建筑、 虚拟设计、维修装配和教育培训等各种应用领域，因而日盏受到人们的关注。 a r 系统是应用了a r 技术的应用系统。r o n a l da z u m a 在文献 1 中提出， 增强现实系统具有以下几个特点：1 ) 真实场景与虚拟场景的融合；2 ) 实时交互： 3 ) z 维注册。从技术角度讲，a r 的目标是解决真实场景视频和虚拟物体的无缝 合成问题，即：用户在a r 系统中拥有沉浸感，虚拟环境与实际环境融为一体， 几乎感觉不到真假融合所产生的不和谐。 目前，增强现实的研究主要集中在真实场景与虚拟场景的时空匹配与交互， 由于实时性方面的原因，它们融合后的真实感效果还没有得到深入的研究，如 虚实环境光照融合方面的研究。 上海大学于2 0 0 2 年5 月向上海市科委确立了“基于p c 平台的a r 系统的 关键技术研究与应用”这一科研项目，项目编号0 2 5 1 1 5 0 0 8 。到目前为止，已 完成软件核心，包括跟踪注册、融合显示、人机交互等功能，并且成为一个司 扩展的技术验证平台。下一步的研究内容包括虚拟物体的光照及阴影，以便提 供一个具有更好、更强、更具有真实感效果的a r 应用系统。整个系统实现于 p c 平台，基于o p e n i n v e n t o r 及v c + + 6 0 开发。 1 2 国内外研究概况 a r 技术不仅具有与v r 技术相类似的应用领域，而且更显著地突出于其对 虚拟环境的增强效果，实现虚拟环境和真实背景的无缝连接。 海大学碳：卜学位论j = ： 1 2 1国外研究概况 国外对增强现实的研究起步较早，取得了一些比较成功的经验。 2 0 0 0 年英国牛津大学的s i m o n 等人研究基于共面自然特征点的跟踪方法并 应用于建筑设计，将新建筑物或建筑装饰物的三维模型与实景的录像融合在一 起，如图11 所示，通过这种方式可以对新建筑物和周围的环境是否和谐提供 了直观的和重要的判据。 图1 1 运用a r 技术评价拟建的桥的造型和位置是否和两岸原有的建筑风格和布局协惆 哥伦比亚大学s l e v e nf e i n e r 等应用a r 技术显示室内被隐藏的框架结构如 梁、拄，可以在房屋改造时让设计人员对原有的结构一目了然。 在增强现实系统的光照方面，国外已有多篇相关论文 5 1 1 ”。f o u r n i e r 等人做 了开创性的研究。他们指出一个完整的可行方案是：建立真实场景的完整几何 模型( 包括场景和光源) ，然后在场景中加入虚拟的物体，用辐射度算法计算全 局光照。场景的几何模型重建用长方体( ( b o x ) 作为基本的构造单元，并假定所有 物体全是漫反射体；采用一幅照片，通过把模型重投影到真实图象上来估计各 个l 、t 见表面的漫反射率，每个面的漫反射率由该面的辐射度与周围像素f f 勺平均 辐刺度比值来确定，对于场景在照片中不可见的表面，其漫反射率赋以场景的 平均漫反射率。对于环境中的光源，若位置已知，则用辐射度方法确定光源的 能量，若位置未知，则把每个面片看作光源，由面片的辐射度计算其发射能量。 海夫学坝1 一学位论文 f o u r n i e r 的方法虽然得到了较高的融合效果，但远未达到实时的效果。 1 2 2 国内研究概况 我斟目前在增强现实技术的研究上还处于早期阶段。 清华大学自动化系国家c i m s 工程技术研究中心对增强现实环境中的视觉 一致性问题【7 l 进行了研究。以映射对应方法实现了虚实场景的几何一致性，并 采用面向实际光效的虚拟光效恢复方法实现光效一致性，使实体模型产生的光 照效果如阴影、高光等与真实场景保持一致。 浙江大学c a d & c g 国家重点实验室对室外增强现实系统【8 j 的光照问题进行 了研究，它们采用光照交互指定和自动恢复相结合的方法，利用天文学知识， 恢复了太阳光的光照模型，只能应用于室外景物的a r 系统，而对于其他类型 的光源则需要交互指定，虚拟物体的明暗在光照模型给定后，可由三维绘制引 攀直接给出，虚拟物体投射的阴影只考虑本影。 1 3a r 系统普遍存在的闯题 增强现实的目的，是让用户置身于一个真实物体与虚拟物体共存的场景中， 用尸一可以在其中学习或是操作。因此，要让用户确信虚拟物体是真实环境的组 成部分。而这一问题的关键技术就是解决真实场景与虚拟物体在几何、光照和 时间三个方面的一致性问题l9 1 。几何一致性指虚拟物体与真实物体在空间位置 上的一。致性，这是虚实结合最基本的要求；光照一致性是指虚拟物体表面的光 照效果的真实感，即给人造成这样一种假象，真实光源对虚拟物体表丽产生了 明暗、反射等光照效果。时间一致性是指实时交互的问题。 由于目前增强现实系统中虚拟物体的真实感绘制技术还未能达到实时的要 求，所以a r 现在主要的研究工作集中在跟踪、注册和交互技术方面，现阶段 光照方面的研究很少。 在使用视频透视式头盔显示器的a r 系统中，真实场景和虚拟场景的融合 是通过视频叠加的方式实现的。呈现在用户眼前的真实场景，是摄像机实时拍 摄的图像，虚拟场景是由一虚拟摄像机拍摄的图像。由于真实场景与虚拟场景 f o u r n i e r 的方法虽然得到了较高的融台效果，但远未达到实时的效果。 1 2 2 国内研究概况 我国目前在增强现实技术的研究上还处于早期阶段。 清华大学自动化系圈家c i m s 工程技术研究中心对增强现实环境中的视觉 一致性问题7 l 进行了研究。以映射对应方法实现了虚实场景的几何致性，并 采用面向实际光效的虚拟光效恢复方法实现光效一致性，使实体模型产生的光 照效果如阴影、高光等与真实场景保持一致。 浙江大学c a d & c g 国家重点实验室对室外增强现实系统l s 的光照问题进行 了研究，它们采用光照交互指定和自动恢复相结合的方法，利用天文学知识， 恢复了太阳光的光照模型，只能应用于室外景物的a r 系统，而对于其他类型 的光源则需要交互指定，虚拟物体的明暗在光照模型给定后，可由三维绘制引 擎直接给出，虚拟物体投射的阴影只考虑本影。 1 , 3a r 系统普遍存在的阀遂 增强现实的目的，是让用户置身于一个真实物体与虚拟物体共存的场景中， 用，可以在其中学习或是操作。因此，要让用户确信虚拟物体是真实环境的组 成部分。而这一问题的关键技术就是解决真实场景与虚拟物体在几何、光照和 时i 嘲三个方面的一致性问题州。几何一致性指虐拟物体与真实物体在空间位置 上的一致性，这是虚实结合最基本的要求；光照一致性是指虚拟物体表面的光 照效果的真实感，即给人造成这样一种假象，真实光源对虚拟物体表面产生了 明喑、反射等光照效果。时间致性是指实时交互妁问题。 由于目前增强现实系统中虚拟物体的真实感绘制技术还未能达到实刚的要 求，所以a r 现在主要的研究工作集中在跟踪、注册和交互技术方面，现阶段 光照方面的研究很少。 在使用视频透视式头盔显示器的a n 系统中，真实场景和虚拟场景的融合 是通过视频叠加的方式实现的。呈现在用户眼自i 的真实场景，是摄像机实时拍 摄的闺像，虚拟场景是由一虚拟摄像枫拍摄的图像。由于真实场景与虚拟场景 拯的图像，虚拟场景是由一虚拟摄像辊拍摄的图像。出于真实场景与虚拟场景 海夫学坝1 一学位论文 f o u r n i e r 的方法虽然得到了较高的融合效果，但远未达到实时的效果。 1 2 2 国内研究概况 我斟目前在增强现实技术的研究上还处于早期阶段。 清华大学自动化系国家c i m s 工程技术研究中心对增强现实环境中的视觉 一致性问题【7 l 进行了研究。以映射对应方法实现了虚实场景的几何一致性，并 采用面向实际光效的虚拟光效恢复方法实现光效一致性，使实体模型产生的光 照效果如阴影、高光等与真实场景保持一致。 浙江大学c a d & c g 国家重点实验室对室外增强现实系统【8 j 的光照问题进行 了研究，它们采用光照交互指定和自动恢复相结合的方法，利用天文学知识， 恢复了太阳光的光照模型，只能应用于室外景物的a r 系统，而对于其他类型 的光源则需要交互指定，虚拟物体的明暗在光照模型给定后，可由三维绘制引 攀直接给出，虚拟物体投射的阴影只考虑本影。 1 3a r 系统普遍存在的闯题 增强现实的目的，是让用户置身于一个真实物体与虚拟物体共存的场景中， 用尸一可以在其中学习或是操作。因此，要让用户确信虚拟物体是真实环境的组 成部分。而这一问题的关键技术就是解决真实场景与虚拟物体在几何、光照和 时间三个方面的一致性问题l9 1 。几何一致性指虚拟物体与真实物体在空间位置 上的一。致性，这是虚实结合最基本的要求；光照一致性是指虚拟物体表面的光 照效果的真实感，即给人造成这样一种假象，真实光源对虚拟物体表丽产生了 明暗、反射等光照效果。时间一致性是指实时交互的问题。 由于目前增强现实系统中虚拟物体的真实感绘制技术还未能达到实时的要 求，所以a r 现在主要的研究工作集中在跟踪、注册和交互技术方面，现阶段 光照方面的研究很少。 在使用视频透视式头盔显示器的a r 系统中，真实场景和虚拟场景的融合 是通过视频叠加的方式实现的。呈现在用户眼前的真实场景，是摄像机实时拍 摄的图像，虚拟场景是由一虚拟摄像机拍摄的图像。由于真实场景与虚拟场景 本身就是两个不同的场景，真实场景中的光源无法对虚拟场景的物体产生任何 光照效果，从而使真实场景与虚拟场景间产生了显著的差异，给人造成不真实 的感觉。本文即将讨论在增强现实系统中如何克服虚拟物体与真实物体合成中 的光照差异，将光照理论引入增强现实系统，致力于产生“无缝”集成的a r 系统。 1 4 本文所做的工作 本沦文是以作者攻读硕士学位期间承担课题的工作为基础，所作的具体 工作如下： 1 、首先对光照理论进行系统介绍，分析并选择适合a r 系统的光照明模型、多 边形着色方法与阴影生成技术。 2 、针对目前光照明模型中环境光设置不精确的情况，提出两种环境光恢复技 术：时间插值法和基于图像的插值法。根据环境光随时间变化的规律拟合出 环境光变化规律曲线，推导出环境光按时间变化的数学模型。根据环境光变 化曲线精确化p h o n g 光照模型。 3 、虚拟装修光照及阴影的实现。在虚拟场景与真实场景正确对位的基础上，采 用面向实际光效的虚拟光照恢复方法实现光照一致性。主要实现方法是获取 真实场景光源的位置及光照参数，并用磁力跟踪技术跟踪真实场景中光源运 动位置及方向，作为虚拟光源的光照明模型参数：在虚拟装修系统中实现- ， p h o n g 光照明模型、平面阴影以及光线跟踪算法。 4 、在w i n d o w s 平台实现了虚拟装修系统虚实视频的融合。 l ：坶人学坝十学位论文 第二章增强现实系统总体设计 2 1 系统概述 典型的增强现实系统，由一组紧密联结、实时工作的硬件部件与相关的软 件系统协同实现的。其工作原理如图2 1 所示：一方面，用户佩戴摄像头在真 实场景里移动，摄像头拍摄所得的视频直接显示在头盔显示器中，使用户看到 真实场景。另一方面，有一个虚拟摄像头在虚拟的场景中移动，从摄像头位置 拍摄到的虚拟视频同样也被送到了头盔显示器。融合过程中，需要真假两个摄 像头的全方位对准，这需要跟踪注册等系统的支持；同时由于虚实场景存在光 照不一致的差异，需要为虚拟场景建立面向实际光效的虚拟光照系统。最后， 头盔显示器内产生了虚实融合的场景。 场景坐繇少相黜妙 一 黟 k ：爻、夕、 逸系刘：、鬻 誉笃簿耋二 2 2 硬件系统 系统的整个硬件系统比较复杂，其中一些关键设备也比较特殊。下面对它 们进行简单介绍。 5 f i 淘大学顺卜学位论文 2 2 1 整体构架 增强现实系统的硬件构架简单原理图如图2 2 所示，它由个小屋和图像电 子硬件组成。小屋长宽高分别为3 米、3 米、2 8 米，墙壁布置为蓝幕；小屋顶 部安装了两个摄像头( c l 、c a ) 。 图2 2 a r 系统硬件构架图 在小屋的外面有一台磁力跟踪器和四台互相连接的计算机( a l 、a r 、b l 、 b r ) ：除了以上这些关键设备，小屋中还有包括桌椅、灯光、和一些可用程序 控制的真实物体等。 a l 、a r 、b l 、b r 是特殊配置的高性能计算机，是增强现实系统的，t l , 脏。 a l 、a r 的功能主要有：虚拟模型构造转换、场景采集、合成显示、场景控制 等多种功能。b l 、b r 主要用于进行跟踪注册计算。v l 、v r 是头盔显示器上 安装的两个摄像头，用于采集用户看到的真实视频。同时头盔显示器上还安装 了磁力传感器，它是磁力跟踪器的一部分，这是为了配合系统进行跟踪注册。 c l 、c r 是天花板上的摄像头，它们在高处拍摄几何图形标志模板图像，用于 进行视觉跟踪注册。磁力跟踪器通过磁力原理进行跟踪注册。 2 2 2 视频捕捉设备 视频捕捉设备包括摄像头和图像捕捉卡，它们用于采集场景图像。系统中 洵人学f 映l ：学位论殳 共有c i ，、c r 、v l 、v r 四个电子摄像头，我们根据需要，选择合适的摄像头。 需要说明的一点是：电子摄像头包括摄像机和光学镜头两个部分，摄像机就是 产生图像的c c d ，光学镜头和摄像机对摄像头的性能都有很大影响。与四个摄 像头匹配的有四块捕捉卡，这四块卡分别分布在四台计算机上，均衡处理负载。 头箍上的摄像头必须拍摄类似人眼观测到的图像，因此v l 、v r 这两个摄 像头需要有较大的灵活性，以便能够不断调节，取得比较满意的图像。我们采 用的是日本c b c 公司制造的l c h p 4 9 a 工业摄像头，它具有背光补偿，自动自 平衡，自动增益控制等功能。该摄像头有许多可调节的参数，分辨率较高，使 用它捕捉的图像质量很好，是一个比较符合设计初衷的选择。针对这两个摄像 头采集的数据，我们使用捕捉卡是1 0 m o o n ss d k - 2 0 0 0 。它是一种p c i 视频捕 捉卡，为w i n d o w s 2 0 0 0 提供了很好的驱动。它针对系统开发提供二次开发包( 以 下简称s d k ) ，可以使用v i s u a lb a s i c 、v i s u a lc + + 、d e l p h i 等多种编程语言进行 二次开发，这个s d k 复杂度不高，易于使用。 而天花板上的c l 、c r 摄像头的要求就低一些，我们采用自行组装的方式， 其中摄像头采用w v b p 3 3 4 ，它也具有自动亮度控制、背光补偿等功能；镜头 是根据光学注册性能要求不同而灵活安装。组装的摄像头同样提供了清晰的图 像，作为视觉注册的输入。对于这两个摄像头，捕捉卡是m a t r o xm e t e o ri i ，这 是一块支持从n t s c 、p a l 、r s 1 7 0 、c c i r 视频源捕捉图像的p c i 捕捉卡，与 1 0 m o o n ss d k 2 0 0 0 相同，它也提供了s d k ，但它的s d k 相当复杂全面。 2 2 3 跟踪设备 跟踪设备是完成跟踪注册功能的设备，这里所说的并不是一套设备，而是 包括磁力跟踪器，c l 、c r 摄像头，视觉标志，b l 、b r 计算机等一系列硬件， 这些硬件都与跟踪注册有关。系统使用了视觉、磁力两套跟踪设备。其中磁力 跟踪器用于跟踪头盔，相当于跟踪用户眼睛的位置和方向，这是为了将虚拟摄 像头和真实摄像头的方位姿态全面对准；还可以跟踪光源的位置，为了将虚拟 光源和真实光源的方位姿态全面对准；视觉跟踪设备主要跟踪计算场景中某些 真实物体的位置姿态，确保虚拟物体安放在相对与某些真实物体的固定位置。 海大学坝i 学位论文 本系统使用的磁力跟踪器是包括主机、发射器、接收器等部件。发射器和 接收器和主机之间有线连接，发射器产生电磁场，接收器接收电磁信号，以发 射器为坐标原点建立三维直角坐标系，主机通过电磁场切割原理计算接收器的 空间位置和姿态。在应用中，需要把发射器固定n d , 屋的固定处，使其坐标系 同臼己建立的世界空间坐标系一致，接收器必须被安装到头盔上才能对用户头 部产生跟踪作用；同样，必须把接收器安装到光源上才能实现对光源的跟踪。 从跟踪器得到的数据是相对于跟踪器坐标系的数据，而不是世界坐标系的数据， 因此要将跟踪器得到的数据变换到世界坐标系的数据，然后再转换到虚拟场景 坐标系，从雨可以相应的设置虚拟摄像头参数以及虚拟光源参数。经过一系列 坐标系的转换，保证了真实场景摄像头与虚拟摄像头参数的一致性，以及真实 光源与虚拟光源参数的一致性。 视觉跟踪设备由两个摄像头、视觉标志和两台计算机组成。摄像头用作信 号接收器，拍摄安装在某些物体上面的视觉标志，视觉标志是- - e o 经过特殊设 计的平面图形，蕴含易于提取的图像特征，计算机通过摄像头提供的图像进行 计算机视觉处理，提取视觉标志的位置姿态，从而检测出真实物体的位置姿态。 2 2 4 头盔 头盔是一个复杂的系统，其最基本的功能是给用户提供一个沉浸式的感应 环境。a r 系统项目中，头盔不仅仅代表头盔显示器，还辅助进行场景采集和 跟踪注册。 头盔式显示器( h e a dm o u n t e dd i s p l a y ，h m d ) 是增强现实系统中的信息显示 设备。根据图像合成技术的不同，头盔式显示器可分为光学透视头盔显示器 ( o p t i c a ls e e t h r o u g hh m d ) 和视频透视头盔显示器( v i d e os e e t h r o u g hh m d ) 。 光学透视头盔显示器采用光学原理，通过一对安装在眼前的半透半反的光 学合成器实现对外界真实环境与虚拟信息的融合，用户能够直接穿过透镜看到 真实场景，虚拟场景是通过光学折射的原理传入用户眼帘的。佩戴这种头盔显 示器的使用者既可以看到外部的真实环境，又可以看到计算机生成的虚拟景物。 而视频透视头盔显示器采用的原理是，由安装在使用者头盔上的两个摄像头拍 街火学坝士学位论文 摄真实视频，计算机通过计算处理将所要添加的信息或图像信号叠加在摄像机 的视频信号上，通过视频信号融合器实现计算机生成的虚拟场景与真实场景融 合，传到用户眼前的两个显示器。光学透视式头盔显示器与视频透视头盔显示 器之间的主要区别就在于真实环境的显示方式。光学透视式头盔显示糕系统简 单，真实场景几乎完整地呈现给用户，用户对周围环境的感知依靠自己的眼睛 来实现，然而正是由于这一点，很小的定位注艇误差都会被注意到，使得真实 场景与虚拟场景的融合变得困难。视频透视式头盔显示器对真实环境的显示分 辩率尽管受到摄像机和显示器性能的限制，但在融合结果呈现给用户之前，可 以对真实环境与虚拟信息进行强制对准，这使真实与虚拟图像的融合容易了很 多，而且这种头盔的价格相对便宜很多。考虑到增强现实系统在融合难度和价 格方面的原因，我们选用了视频透视式头盔显示器。 头盔显示器提供左右两个真彩色l c d 显示器，接收6 4 0 + 4 8 0 4 6 0 h z 的v g a 视频信号。由于头盔显示器本身不带摄像功能，因此，在系统实现中，头盔显 示器上安装了v l 、v r 两个摄像头，这样就构成了一种视频透视式头盔显示器， 通过头盔上的摄像头拍摄真实视频，和虚拟场最融合后传到用户眼前的l c d 二。为t n 务于注册模块，头盔显示器上面还安装磁力接收器。头盔显示器如 图2 3 所示。 2 3 软件构架 图2 3 本系统使用的头盔显示器 本系统的运行平台是基于专业级图形加速卡的w i n d o w s2 0 0 0p r o f e s s i o n a l ， 开发平台是v i s u a lc + + 6 0 ，o p e ni n v e n t o r 4 0 ，d i r e c t x 9 0s d k 。o p e n i n v e n t o r 是一个3 d 程序的开发平台，d i r e c t x 9 0s d k 是一个多媒体开发平台，我们使 9 海大学顺。l 学位论文 用了其中的视频、声音、网络传输等开发库。开发中还使用了3 d sm a x 等建模 软件。 a r 系统的软件结构相对比较复杂。它由多个逻辑功能模块组成。如图2 4 所示，核心控制系统调动各个系统协同工作，是最关键的软件模块。图像软件 模块在外围分别提供某些功能。 陬丽卜旦塑型l 陌蕊阐 ! 垂璺i i i i ! i i i ! 一吐i i j ! ；i ! ! 司物体投影 一二二 二丁一4 “”“一 虚拟光照模块h e 匾蔓鎏墅重! ! ! i ! ：卜一带光照的摸型数据 场景采集模块负责采集真实场景的视频，一方面送给合成显示系统，以便 与虚拟物体的视频融合：另一方面，视频数据送往同步跟踪系统，用于对用户 头部位置进行注册。 同步跟踪系统是跟踪注册技术的软件实现。一方面为核心提供用户的头部 空间位置和空间姿态，另一方面为光照模块提供真实场景光源的空间位置和空 间姿态。 场景模型模块把3 d s m a x 构造的模型，转换成核心支持的文件格式，为核 心提供虚拟场景数据。 虚拟光照模块提供了仿效真实场景光照的光照明模型，并重新计算虚拟场 景模型表面光照及阴影，得到带光照的模烈数据，为虚拟视频的合成提供虚拟 场景数据。 合成显示模块在系统外围实现增强视频的合成与显示。合成显示系统接收 真实、虚拟两种视频，将它们合成显示到头盔显示器。 核心系统功能比较复杂，它是虚实两个部分的连接点，其性能关系到整个 系统的运行性能。软件核心包括一系列纯c + + 的类库，一系列支持三维模型的 类库， 一系列与跟踪模块的接口，以及升级接口。 o 诲人学颂十学位论文 2 3 1 真实场景视频采集 用于合成显示的真实场景视频采集是a r 系统的基础。这部分视频信号的 采集使用v l 、v r 摄像头，使用d i r e c t s h o w 构架的软件模块，通过1 0 m o o n s 卡采集外部视频信号实现。这个软件模块的滤镜图如图2 5 所示。 图2 5 真实场景视频采集程序的滤镜图 头盔显示器上的v l 、v r 两个摄像头用于捕获真实场景视频图像。通过滤 镜实现了两路的视频捕获( v i d e oc a p t u r e o 和v i d e oc a p t u r e l ) ，捕获的视频 的分辨率为6 4 0 + 4 8 0 ，2 4 位真彩。为了保证捕获的视频的同步以及便于作其他 的处理，我们编写了一个自定义的滤镜s t e r e o v i d e o m i x 用来进行视频图像的合 成。s t e r e o v i d e o m i x 在输入引脚上接收两路相同参数的视频流( 分辨率为 6 4 0 4 4 8 0 ，2 4 位真彩) ，s t e r e o v i d e o m i x 再将两路视频图像进行水平的拼接，合 成为分辨率1 2 8 0 + 4 8 0 ，色彩为2 4 位的视频图像，在s t e r e o v i d e o m i x 的输出引 脚输出视频流。由于我们所获取的视频要与虚拟场景视频进行合成显示，所以 我们不采用d i r e c t s h o w 提供的v i d e or e n d e r 进行渲染显示，而是采用系统的核 心来实时地获得视频图像帧，通过o p e n g l 进行渲染。视频图像帧的获取通过 d i r e c t s h o w 提供的s a m p l eg r a b b e r 来实现。 2 3 2 虚实注册 虚实注册，是实现真实场景和虚拟物体正确融合的基础，它是合成显示中 的一个模块。合成显示的原理如图2 6 所示。我们的系统使用视频透视式头盔 显示器，通过头盔上的摄像头采集真实场景的视频，将这个视频与场景模型构 造与转换系统提供的虚拟物体视频合成，最后得到增强视频，传输到用户眼前 的l c d 。虚实注册技术包括真实摄像头标定、畸变校正和虚拟摄像头校正。 j 海大学硕l 。学位论文 图2 , 6 合成显示的原理图 、 f 真实场景1 l 为了解决合成显示的真实度，虚实两个摄像头的焦距、视角等参数应浚 致。所以必须求解出真实摄像头的焦距、视角等参数，并根据这些参数设置虚 拟摄像头。 要求得真实摄像头的参数，就要进行摄像头标定。标定的参数分为内部参 数和外部参数。内部参数反映了摄像头的性能，通常包括：图像在两个坐标轴 方向的放大倍数、图像中心点。外部参数描述了摄像头坐标系和世界坐标系的 空间关系，包括旋转矩阵和平移矩阵。 本系统通过针孔摄像头模型，空间几何关系推导出了基本等式： s m 。= 爿陋f m 式( 2 1 ) 其中s 是任意的缩放因子，a 是摄像头的内参数矩阵，r 和t 摄像头的外部 参数，r 描述了世界坐标系和图像坐标系的夹角旋转关系，t 描述的是平移量。 然后，在此基础上采用的z h a n 9 9 9 标定算法继续推导计算摄像头的参数， 通过该算法求出摄像头内参数信息，然后可以根据公式( 2 1 ) ，反向推导出外参 数矩阵r 和t 的计算公式。 然后我们推导了根据内部参数求取摄像头焦距、视角这两项重要参数的方 法。 。= 丽d 面x , h i x 面，= 面d 石y , g y 历 式( 2 - 2 ) x f o r ：2 口，c 辔( 兰生) ，j 归v ；2 口r c 培( 鱼)式( 2 3 ) 日。q 声、痧代表摄像机在x 、y 两个方向的焦距，d x 、d y 是像素大小，根据图像 捕捉时的实际参数能够方便地取值，( u o ，v o ) 为摄像头光轴与图像平面的物理交 向凡学坝十学位论文 点，事实上，u x = u 0 v x = v 0 ，x f o v 是摄像头的在x 轴上的广角( f i e l do f v i e w ， f o v ) ，y f o v 为在y 轴上的广角。根据以上两个公式可以很容易地通过标定得到 的四个内参数计算摄像头的焦距和摄像头两个方向的视角。 2 3 3 虚拟场景模型 在本系统中所采用的虚拟场景模型是用3 d sm a x 创建的。三维模型的制作 是一个艺术加工的过程，是一个由整体到局部，逐步细化，逐步修改的过程， 最终达到令人满意的效果。然而，模型越精细、越光滑，尽管会有很好的视觉 效果，但必然会带来巨大的面片数量，会给程序执行带来巨大的计算量，从而 使场景无法实时显示。因此，必须在效果与效率之间进行平衡，我们采用以下 建模的原则：( 1 ) 以“远虚近实”的思想来决定模型的精度，对于远处无法靠近 观察的物体减少面片的数量：( 2 ) 以“可见性”决定模型精度，去掉隐藏的多边 形；( 3 ) 提高模型中重要部分的精度，对于将来需要做动画的模型，在关节处适 当增加面片。( 4 ) 合理使用纹理贴图，在增强模型的真实性的同时减少场景模型 多边形数量。 考虑到我们采用的3 d 程序的开发平台是o p e ni n v e n t o r ，而o p e ni n v e n t o r 不支持3 d sm a x 的模型格式，这就需要将m a x 文件格式转换成o p e ni n v e n t o r 支持的i v 文件格式。于是，我们采用3 d sm a xs d k 开发了一个数据格式转换 插件，将3 d sm a x 中创建的虚拟物体文件格式转换成o p e ni n v e n t o r 支持的t v 文件格式。由此所得到的虚拟场景数据经过虚拟光照模块的处理，得到了虚实 合成所需要的虚拟场景数据。如图2 7 是用3 d sm a x 创建的虚拟场景实例。 图2 7 虚拟场絷实倒 2 4 坐标系 从场景采集到系统的模型转换，从跟踪注册到场景融合，a r 系统涉及到了 许多坐标系，图2 8 是它们的示意图。明确各个坐标系的职责，以及推导其中 的转换，是整个系统不可或缺的步骤。 系进行阐述。 一+ 虚拦溅头+ 虚拟丰f 1 机坐标系+ 相机位置、 焦距等 车h 机坐标系 以下就对这些坐标系以及它们之间的关 虚 场景坐标系 成像平囱 圈2 8 增强现实系统的坐标系 1 场景坐标系( 世界坐标系) 场景坐标系就是真实场景的三维坐标系，世界坐标系是一个参照坐标系， 我们把这两个坐标系设为一致，认为它们是同一坐标系。这是整个a r 系统的 最基础、最重要的坐标系。以某一个屋角作为原点，顺着屋角的三个平面的交 线伸展坐标轴，x y 平面就是地板平面，z 轴平行于墙向上，按右手法则确定x 、 y 轴的方向。 2 摄像头坐标系 摄像头坐标系就是以摄像头镜头中心点为坐标原点的一个三维空间坐标 系。无论是头盔上安装的摄像头，还是天花扳上的摄像头，都是两两成对安装。 将摄像头对的中心连线作为x 轴，两个摄像头的光轴作为z 轴，镜头所对方向 是z 轴正方向，任意选取x 轴的正方向，按右手法则确定y 轴。这样，一对摄 像头的x o y 平面共面，z 轴平行。简化了计算机视觉处理过程。 3 成像平面坐标系和图像坐标系 成像平面坐标系就是摄像头c c d 成像平面上的二维坐标系。其原点就是摄 1 4 + 躲 j l 一 坐 一 0 0 拟 一 刀罗赫燃刀7， 名坛赢伊 像头坐标系中的z 轴和成像平面的交点，而x 、y 轴和摄像头坐标系的x 、y 轴平行，正方向也保持一致。图像坐标系是c c d 所输出的数字图像上的二维坐 标系。通常将原点置于图像的左上角，其x 轴向右，其y 轴向下。x 方向就是 像素的列数j 的方向，y 轴方向就是像素行数i 的方向。 4 虚拟场景坐标系 虚拟场景坐标系是虚拟场景的三维坐标系。虚拟场景是按照真实a r 系统 的环境，按同样的尺寸比例建模所得的场景。