（计算机软件与理论专业论文）增强现实中虚实融合光照一致性研究.pdf

苏州大学学位论文使用授权声明 i i iiiii i i ili ti ti iii ii | y 17 3 2112 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 非涉密论文口 论文作者签名： 导师签名： 彦辟 日鼽业幽 日期：型j ! 么继 一体的方式来增强用户对真实环境的理解和体验。增强现实的研究目标是实现虚拟对 象与真实场景的虚实融合，在动、静态的真实场景画面中加入虚拟对象时，虚拟对象 在几何和光照方面要和真实场景中的其它物体相一致。本文研究工作集中在光照一致 性方面，主要研究工作如下： 1 介绍了增强现实的研究现状与发展方向，对增强现实的关键技术作了比较深 入分析。对光照一致性算法的研究现状作了较全面的研究，对其优缺点进行了对比。 介绍了光照与材质、光照模型和g p u 等与实时光照计算相关的技术。 2 首先分析了真实世界中光照状况，对现有研究工作获取光照方法和绘制结果 进行较详细的比较，从而得出结论，用高动态范围图像来表示复杂光照，可以得到令 人满意的结果，满足增强现实研究目标，最后对获取真实场景光照的方法进行了总结。 3 针对现有研究工作对虚拟对象反射特性缺乏深入研究的问题，本文提出了采 用c o o kt o r r a n c e 光照模型进行虚实场景的实时光照计算，利用球面调和基函数的方 法，实时地计算高动态范围图像的光照系数，在着色器计算得到漫反射分量，通过环 境映射技术对镜面反射进行模拟，全部光照计算在g p u 中完成。 4 作为实时光照计算的后期效果处理，提出了一种改进的高斯滤波器，模拟了逼真 的眩光效果。同时，。还模拟了透明材质的虚拟对象的光线折射效果，绘制出虚实融合 的场景，产生全局照明的真实感效果，使虚实场景更具真实感。 关键词：增强现实，光照一致，虚实融合，实时光照算法，眩光与折射，g p u 作者：王贞东 指导教师：马小虎 c o m p r e h e n s i v es t u d yo fi l l u m i n a t i o nc o n s i s t e n c ya l g o r i t h mi sg i v e na n dt h e i rs t r e n g t h sa n d w e a k n e s s e sa r ec o m p a r e d s o m et e c h n o l o g yw h i c hr e l a t e d t or e a lt i m ei l l u m i n a t i o n c o m p u t i n g ，s u c ha sl i g h t i n ga n dm a t e r i a l ，i l l u m i n a t i o nm o d e la n dg p u ，a r ei n t r o d u c e d 2 f i r s t l y ，r e a lw o r l dl i g h t i n gc o n d i t i o n si sa n a l y z e d ，a n dm o r ed e t a i l e dc o m p a r i s o n o fe x i s t i n gr e s e a r c hw o r ki nt h er e s p e c t so fi l l u m i n a t i o na c q u i s i t i o na n dr e n d e r i n gr e s u l t s a r eg i v e n ，a n dt h e ni ti sc o n c l u d e dt h a tu s i n gh i g hd y n a m i cr a n g ei m a g et or e p r e s e n tt h e c o m p l e xl i g h t i n gc a ng e tam o r es a t i s f a c t o r yr e s u l t sa n dm e e th i g hr e a l i s t i cd e m a n d i n go f a u g m e n t e dr e a l i t y f i n a l l y , t h ew a y so fa c q u i s i t i o nr e a ls c e n el i g h t i n ga r es u m m a r y 3 c o n s i d e r i n gl a c k i n gi n d e p t hs t u d yo nt h es y n t h e t i co b j e c t s r e f l e c t i v ep r o p e r t i e s o ft h ee x i s t i n gr e s e a r c h ，w ea d o p tt h ec o o kt o r r a n c ei l l u m i n a t i o nm o d e lt oa c c o m p l i s ht h e i l l u m i n a t i o nc o m p u t i n gi n t h i st h e s i s t h el i g h t i n gc o e f f i c i e n t so fh i g hd y n a m i cr a n g e i m a g ei so b t a i n e di nr e a lt i m eb yu s i n gs p h e r i c a lh a r m o n i c s ，a n dt h ed i f f u s ec o m p o n e n t o f t h ei l l u m i n a t i o nm o d e li sg o t t e ni nt h es h a d e r a n dt h es p e c u l a rc o m p o n e n ti ss i m u l a t e d l i r e s e a r c ho ni l l u m i n a t i o nc o n s i s t e n tm i x i n go f v i r t u a la n da c t u a lr e a l i t yi na u g m e n t e dr e a l i t y a b s t r a c t v i at h et e c h n o l o g yo fe n v i r o n m e n tm a p s ，a l lc o m p u t i n gt a s ka le a c c o m p l i s h e di ng p u 4 am o d i f i e dg a u s s i a nf i l t e rt os i m u l a t ear e a l i s t i cb l o o m i n ge f f e c ti sp r o p o s e di n t h ep a p e r , w h i c hi su s e df o rp o s tp r o c e s s i n ge f f e c to fr e a lt i m ei l l u m i n a t i o nc o m p u t i n g t h e r e f r a c t i o ne f f e c to fs y n t h e t i co b j e c tw i t ht r a n s p a r e n tm a t e r i a li ss i m u l a t e da n dt h es c e n e so f m i x i n gv i r t u a la n da c t u a lr e a l i t ya l er e n d e r e di nr e a lt i m e ，t h e r e f o r e ，t h eg l o b a li l l u m i n a t i o n e f f e c ti so b t a i n e da n dt h er e n d e r i n gs c e n e sa l em o r er e a l i s t i c k e y w o r d s ：a u g m e n t e dr e a l i t y , i l l u m i n a t i o nc o n s i s t e n c y , m i xo fv i r t u a la n dr e a l i t y , r e a lt i m ei l l u m i n a t i o na l g o r i t h m ，b l o o m i n ga n dr e f r a c t i o n , g p u i i i w r i t t e nb yw a n gz h e n d o n g s u p e r v i s e db ym ax i a o h u 目录 第一章绪论1 1 1 研究背景与意义1 1 2 增强现实关键技术研究现状2 1 2 1 几何一致性研究现状2 1 2 2 光照一致性研究现状。4 1 3g p u 图形架构与实时图形绘制发展和现状6 1 4 论文的主要内容和组织结构7 1 4 1 研究目标与论文主要内容7 1 4 2 论文组织结构安排。7 第二章实时光照计算相关技术 2 1 光照与材质9 2 2 光源与光照模型1 0 2 2 1 光源l0 2 2 2 光照模型1 1 2 3g p u 可编程图形处理器1 5 2 3 1g p u 图形处理器功能及其发展历程1 5 2 3 2 可编程顶点处理器1 6 2 3 3 可编程片段处理器1 7 2 4 本章小结1 8 第三章真实场景光照表示与获取方法1 9 3 1 真实场景光照表示1 9 3 1 1 光照表示方法相关研究工作的比较1 9 3 1 2 基于图像光照技术的光照表示方法2 1 3 2 真实场景光照的获取方法2 2 3 3 本章小结2 3 第四章复杂环境光源下虚实场景的实时光照绘制算法2 4 4 1 引言。2 4 4 2 绘制方程与c o o kt o r r a n c e 光照模型2 5 4 3b r d f 漫反射分量的计算2 7 4 3 1 辐射照度环境映射2 7 4 3 2 基于球面调和基函数的漫反射分量计算2 8 4 4b r d f 镜面反射分量的计算3 0 4 4 1 环境映射技术3 0 4 4 2 镜面反射的计算与模拟3 1 4 5 实验结果与分析3 2 4 5 1 实验环境3 2 4 5 2 结果与分析3 2 4 6 本章小结3 7 第五章虚实场景眩光与折射的模拟3 9 5 1 眩光模拟k 3 9 5 1 1 眩光现象3 9 5 1 2 改进的高斯滤波器的实时眩光模拟4 0 5 2 透明材质物体的光线折射及其模拟4 1 5 3 实验结果与分析4 4 5 3 1 实验环境4 4 5 3 2 结果与分析4 4 5 4 本章小结4 7 第六章工作总结和展望4 8 6 1 工作总结4 8 6 2 工作展望4 8 参考文献5 0 攻读硕士学位期间发表的论文5 5 攻读硕士学位期间参与的科研项目5 5 至炙谢5 6 增强现实中虚实融合光照一致性研究 第一章绪论 1 1 研究背景与意义 第一章绪论 虚拟现实( v i r t u a lr e a l i t y ，v r ) 是目前计算机学科的主流方向，也是近期的研究 热点。虚拟现实技术是2 l 世纪影响人类生活的一项重要技术，具有重要的理论价值 和广泛的应用价值，被列入国家中长期科学与技术发展规划纲要( 2 0 0 6 2 0 2 0 年) 。 增强现实( a u g m e n t e dr e a l i t y ，a r ) 是虚拟现实技术的拓展，它是一种能够把虚拟对 象与真实环境紧密结合起来，以增强人们对真实环境的理解与体验的技术。目前，对 于增强现实的概念，尚没有一个统一的定义。但一般认为，增强现实技术是借助于三 维显示技术、交互技术、多种传感技术、计算机视觉技术以及计算机图形学技术把计 算机生成的三维的虚拟对象融合到用户所要体验的真实环境中的一种技术，其目的在 于通过把计算机生成的虚拟对象与真实环境融为一体的方式来增强用户对真实环境 的理解。它强调三维虚拟对象与真实世界物体的合成与交互，为解决医疗手术、机械 装配、电子学习等领域中的应用问题提供了新的技术手段f l 一】。 8 0 年代后期，受美国宇航局和国防部的多个虚拟现实项目的影响，增强现实形 成了基本概念。9 0 年代是增强现实技术迅速发展的1 0 年。随着几个学术水平较高国 际会议：国际增强现实研讨会( i w a r ) ，国际混合与增强现实会议( a c m & i e e e i s m a r ) 的涌现，一些研究机构也应运而生，比较著名的有：麻省理工大学的图像 导航外科手术实验室、哥伦比亚大学的图形和用户交互实验室、日本的混合现实实验 室、新加坡的混合现实实验室和新西兰的坎特伯雷大学人机交互实验室等。此外，用 于快速开发的开源软件工具a r t o o l k i t 也由华盛顿大学的图形实验室成功开发并维护 至今。随着增强现实概念的成熟和技术的不断进步，原有的研究领域已拓展到多个新 的领域，如：城市规划、教育娱乐、工业仿真、文化遗产保护等。增强现实系统也从 简单的桌面型扩展到户外可携带型、空间体验型。显示设备也从头盔显示器延伸到大 型可触摸式、桌面投射式和便携式。 增强现实技术是虚拟现实技术的一个重要分支，它将虚拟图形环境与真实环境融 为一体，使用户从感官上确信虚拟环境是其真实环境的组成部分。a z u m a 等【3 , 4 】对增 第一章绪论 增强现实中虚实融合光照一致性研究 强现实系统和其使用的基本技术给出了详尽的综述。国外各个研究机构利用增强现实 技术开发很多系统，广泛应用于社会各个领域，比如：b i l l i n g h u r s t 等f 5 j 的m a g i cb o o k 使用手持增强现实显示器和视频跟踪技术叠加虚拟三维模型到真实的书页上，实现了 可以在真实和虚拟之间无缝变换的可转换混合现实界面。由于增强现实可以在真实环 境中叠加虚拟信息，这就为协同工作的用户群提供了新的交流环境。因此，上世纪 9 0 年代开始研究者开始关注协同增强现实的研究与应用，代表的系统如 s t u d i e r s u b e t 6 1 、s h a r e ds p a c e t 7 】等。近年来一些研究也开始关注用手持设备作为显示设 备，以实现协同交互，如文献 8 ，9 】中提到的系统。支持多人同位( c o 1 0 c a t e d ) 协作 的界面或交互技术在过去的群件( g r o u p w a r e ) 系统有比较丰富的研究成果，但增强 现实环境下面临更复杂的情况，这些都为增强现实交互界面的设计提出了新的挑战。 增强现实技术作为一个涉及到多种学科交叉的研究领域，诸多领域的研究成果都 可以促使增强现实研究与应用的飞速发展，因此这也会吸引愈来愈多研究人员投入到 这个领域的研究中，增强现实已经在导航、设计、娱乐等领域广泛应用，使人们和计 算机之间能够更加自然和有效的交互，像计算机学科的其他研究领域一样，增强现实 技术的研究与发展将对人类的生活方式与生产方式产生深远而重大的影响。 1 2 增强现实关键技术研究现状 1 2 1 几何一致性研究现状 增强现实技术的三大特性是虚实结合、实时交互和三维几何尺度上的匹配，这主 要通过显示技术、交互技术、多种传感技术和计算机图形与图像技术等技术来实现。 增强现实技术目的在于通过把计算机生成的虚拟对象与真实环境融为一体的方式来 增强用户对真实环境的理解。增强现实的研究目标是实现虚拟对象与真实场景的虚实 融合，即在动、静态的真实场景画面中加入虚拟对象时，虚拟对象在几何和光照方面 要和真实场景中的其它物体相一致。赵沁平【1 0 】指出，虚实融合是虚拟现实领域中有待 进一步研究的关键科学问题之一，也是增强现实的研究目标，要实现这个目标，关键 在于实现虚拟对象与真实场景之间的几何和光照一致。 增强现实中虚实融合光照一致性研究第一章绪论 头部( 摄像机) 的空间定位跟踪和虚拟对象在真实空间中的定位两个方面的内容， 关系到虚拟对象和真实对象的配准、排列。目前较常见的虚实注册方法主要分为三类： 基于传感器的注册方法、基于计算机视觉的注册方法和基于传感器和视觉结合的注册 方法。 基于传感器的注册技术就是利用硬件设备进行虚实注册【1 1 】。常见的应用于虚实注 册的设备有全球定位系统( g l o b a lp o s i t i o n i n gs y s t e m s ，g p s ) 、电子指南针( e l e c t r o n i c c o m p a s s e s ) 和惯性测量单元( i n e r t i a lm e a s u r e m e n tu n i t ，i m u ) 等，它们利用硬件获 取空间位置。此类方法的优点是注册算法简单，系统运行速度快，但用户必须佩戴相 关设备，影响了交互的自然性，且传感设备价格昂贵，使用前需进行校准，难以大范 围推广应用。 基于计算机视觉的虚实注册方法就是利用视觉感知技术进行虚实注册。此类方法 不需佩戴价格不菲的传感器，可实现自然的人机交互。该方法可分为有标记和无标记 两种。基于标记的注册技术【1 2 1 需预先在真实场景中人工定义标记，然后利用标定好的 标记进行虚实注册。该方法的不足是必须在摄像机的视域中对事先标定的标记进行连 续跟踪，一旦标记被遮挡，其位置就不能被正确估计。无标记的注册方法【1 3 】是直接使 用场景中的特征来取代人工标记，大大简化对场景的预设定，提高了交互的自然性。 由于无标记的注册方法在某些特征失效后会自动选取其他特征代替，其可在一定程度 上缓解遮挡对注册结果的不利影响。但该方法面临的最大问题是如何在保证实时性的 前提下提高配准的准确度。目前许多基于无标记的注册算法为了提高配准的准确度把 自身设计得非常复杂，但实时性差强人意，尚未达到实用水平。因此，在保证注册准 确度的前提下提高实时性是该方法亟待解决的核心问题。 此外，目前也有将视觉与传感器相结合的注册方法【1 4 ，15 1 ，通过综合考虑基于传 感器的结果和基于视觉的结果来实现更为准确和鲁棒的注册。 目前，国内在增强现实注册方法上也已开展了一些创新性研究，典型例子如北京 理工大学针对三维注册方法作了深入研究，最终完成了对圆明园景观的数字重建；华 中科技大学利用a r t o o l k i t 实现三维注册算法并开发出样板房展示系统等；浙江大学 和中国科技馆的技术人员合作，在研究注册技术的基础上联合开发“虚拟生物实验室” 原型系统。 增强现实中虚实融合光照一致性研究 一致性研究现状 致是增强现实研究中实现虚实融合的另一重要方面。光照一致性主要关注 的光照对虚拟对象的作用，包括明暗、反射、阴影等。本文的研究工作集 致性方面。 为了实现虚拟对象与真实场景光照的一致，首先需要采集到真实场景的光照信 息，然后利用计算机图形学的光照算法计算真实场景光照对虚拟对象的影响，如明暗、 反射、阴影效果等。j a c o b s 等【16 】为增强现实技术提供了一个很好的光照一致性方面研 究工作的总结，文献中根据真实场景的几何信息和辐射度信息把增强现实的光照算法 分成三类：c o m m o ni l l u m i n a t i o n 、r e l i g h t i n gi l l u m i n a t i o n 和i n v e r s ei l l u m i n a t i o n ，并 分别就这三类算法对现有的研究工作进行了详细的讨论。j u n g 等【1 7 】提出了一个在增 强现实中进行真实感和非真实感绘制的框架，算法的主要思想是利用图形处理单元的 ( g r a p h i cp r o c e s s i n gu n i t ，g p u ) 多通道着色器技术，对融入真实场景的虚拟对象进 行光照计算，最后既可以绘制具有真实感的虚实融合场景，也可以绘制具有卡通或油 画风格的非真实感虚实融合场景。 在增强现实光照一致性研究中，获取真实场景的光照信息是对虚拟对象进行真实 感绘制的前提。d e b e v e c i s 提出了基于图像光照技术( i m a g e b a s e dl i g h t i n g ，i b l ) ，利用 光测球来获取真实场景光照，然后利用计算机图形学的离线光照算法，即非实时的全 局光照算法对虚拟对象进行绘制，取得了非常具有真实感的绘制结果。a g u s a n t o 【l 卅 扩展了d e b e v e c 的方法，在不需要真实场景几何信息的情况下，把虚拟对象溶入真实 场景进行实时绘制，算法能保持光照一致性，但没能够生成实时阴影。 增强现实研究中，真实场景的光照信息通常用高动态范围图像( h i g hd y n a m i c r a n g ei m a g e s ，h d ri m a g e s ) 来表示，k a t r i e n 等【2 0 1 用手持摄像机拍摄到有物体移动的真 实场景的低动态范围图像，这些图像经过多次曝光，由算法不需人工干预自动地生成 高动态范围图像，从而提出了自动非人工干预的动态场景的光照采集方法，而以往的 方法需要人工拍摄静态的低动态范围图像来合成高动态范围图像，这就严格地限制了 增强现实的应用范围。 b l i n n 和n e w e l l 2 1 】利用环境映射技术( e n v i r o n m e n tm a p s ) 生成物体表面复杂的 4 增强现实中虚实融合光照一致性研究 第一章绪论 光照效果，通过将入射光照表示在纹理( t e x t u r e ) 中来实现复杂的光照模型，模拟虚 拟对象对远处周围环境的反射。 阴影为观察物体之间的空间位置提供重要的视觉线索，增加虚实场景的真实感， 使人们能够在其中快速地定位虚拟对象，更容易完成虚拟对象之间以及虚拟对象与真 实物体之间的交互操作。当前g p u 图形架构硬件的快速发展使得增强现实中的实时 阴影绘制成为可能。h a i l e r 等【2 2 】提出了在增强现实应用中能够产生虚拟对象与虚拟对 象、虚拟对象与真实物体和真实物体与虚拟对象之间阴影的实时绘制算法，但是在绘 制前需要预先获得真实场景的几何模型和预定义虚拟光源位置。j a c o b s 等【2 3 】用c a n n y 边缘检测的方法从真实场景中提取已知物体的阴影轮廓，通过与已知物体的几何模型 进行比较对真实场景中的光照方向进行估算，由此构造虚拟光源和虚拟对象的阴影， 但该方法不仅要求预先知道场景中真实物体的几何模型，而且要求真实物体产生较清 晰的阴影。s u p a n 等 2 4 1 通过基于图像光照技术来获取真实场景中的光照信息，完成真 实环境光照信息的采集与重构，应用g p u 的项点着色器与像素着色器来实现动态场 景阴影的实时绘制，使得虚拟对象和真实场景的阴影基本达到一致。 国内在增强现实光照一致性方面主要有以下比较有代表性的研究工作。 周雅等【2 5 】根据注册图像中标志物的明暗状况，利用计算机图形学的光照模型计算 方法进行逆推，可以较为方便地建立增强现实系统光照模型。姚远1 2 6 通过检测视频定 位标记表面辐照度的变化和真实光源之间的关系建立模型；然后在交互过程中迭代计 算真实场景中光源的强度和方向，自动生成的虚拟光源可以近似地逼近真实场景的光 照，在具有一个或多个真实光源的增强现实环境中，使虚拟对象和真实物体能产生近 似一致的光照效果。丰艳【27 j 利用两个理想朗伯表面球作为标志物进行图像处理和分 析，并通过计算机图形学的光照模型进行逆推计算，从而实现了一种真实光照估计算 法。王骏【2 8 】利用基于图像的光照模型，使用光测图作为光源从而实现对场景的照明， 用双向折射率分布函数简化了局部光照模型的设计。 尽管以往的研究工作在虚实场景的光照明暗和阴影绘制方面取得了比较好的研 究结果，但都忽视了常见不同材质的虚拟对象对周围环境的反射作用。我们【2 9 】则提出 了在复杂环境光源下对虚拟对象进行动态照明的实时光照绘制算法，在光照动态变化 的真实场景中，完成虚拟对象和真实场景虚实融合光照实时绘制，模拟了常见不同材 增强现实中虚实融合光照一致性研究 场景的反射特性，算法在实时绘制速度和绘制结果的视觉真 好的结果。 实时图形绘制发展和现状 g p u 是相对于c p u 的一个概念，n v i d i a 公司在1 9 9 9 年发布g e f o r c e 2 5 6 图形 处理芯片时，首先提出g p u 的概念，并定义g p u 为“一个单芯片的处理器，集成了 几何变换、光照、三角形构造、裁剪和绘制引擎功能，并具有每秒至少1 千万个多边 形的处理能力 。这是在现代的计算机应用中，特别是虚拟现实以及各种仿真软件中， 图形的处理速度变得越来越重要，因此，需要一个专门的图形核心处理器。现在市场 上的显卡大多采用n v i d i a 和a t i 两家公司的图形处理芯片。g p u 是显卡的核心部 分，相当于c p u 在电脑中的作用，它决定了显卡的档次和性能，同时也是2 d 显卡 和3 d 显卡的区别依据。2 d 显示芯片在处理3 d 图形特效时主要依赖c p u 的处理能 力，称为软加速，3 d 显示芯片是将3 d 图形特效处理功能集中在显示芯片内，也即 所谓的硬件加速，显示芯片通常是显卡上最大的芯片。 实时计算机图形学的发展与g p u 图形架构的发展密切相关，必须利用g p u 强劲 的硬件性能来做一些高级渲染，提高图形真实感绘制效率，从而达到实时性能【30 。针 对图形绘制计算量大的问题，运用g p u 中的顶点着色器和像素着色器实现实时光照 计算，以平衡c p u 和g p u 的负载。图形绘制过程主要在图形处理器中实现，从而保 证了算法的实时性。 基于g p u 的通用计算在计算性能方面的提高不仅仅体现在实时图形绘制阶段， 更重要的是利用g p u 的并行处理能力来提高运算速度。相对于以往采用固定绘制管 线的图形硬件，可编程硬件无疑加速了g p u 在实时图形计算方面的应用。g p u 作为 一种高度并行化的流式处理器，它可以实现c p u 与g p u 并行计算，减少二者之间的 数据通信，因此能够大大加速图形绘制的速度。另外，实时图形绘制语言如n v i d i a 提供的图形c 语言( cf o rg r a p h i c s ，c g ) 、微软d i r e c t 3 d 提供的高层着色语言( h i g hl e v e l s h a d i n gl a n g u a g e ，h l s l ) 以及o p e n g l 着色器语言【3 l 】( o p e n g ls h a d i n gl a n g u a g e ，o p e n g l s l ) 的出现无疑使得人们更容易编程实现实时图形绘制。本文利用o p e n g l 着色 器语言来编程实现虚实场景的实时光照绘制算法。 6 增强现实中虚实融合光照一致性研究第一章绪论 1 4 论文的主要内容和组织结构 1 4 1 研究目标与论文主要内容 本文研究工作主要集中在增强现实光照一致性方面，研究目标是在真实场景复杂 光照条件下，充分利用g p u 图形硬件架构，实现虚实场景的实时光照绘制算法，最 终绘制出具有高度真实感的虚实融合的虚实场景。围绕着这个研究目标，主要研究了 以下几个方面的内容：计算机图形学中实时光照计算相关技术；真实场景光照的表示 和获取方法；采用c o o kt o r r a n c e 光照模型进行虚实场景光照绘制的算法；作为光照 计算后期效果处理的眩光效果的模拟方法；模拟透明材质的虚拟对象的光线折射效果 的方法。 对以实现虚实融合为研究目标的增强现实来说，本文的光照一致性研究工作具有 比较重要的意义。 1 4 2 论文组织结构安排 本文共分六章，各章的主要内容如下： 第一章介绍了增强现实的研究现状及国内外的相关工作，对增强现实的关键技 术，特别是对光照一致性方面现有的研究工作进行了较为全面深入的分析与研究。 第二章介绍了本文研究工作的理论和技术基础，即对计算机图形学中实时光照计 算的相关理论与技术：光照与材质、光照模型、g p u 可编程处理器等内容作了简单 扼要的阐述。 第三章分析了真实世界中光照状况，对现有研究工作获取光照信息方法和绘制结 果进行较详细的比较，从而得出结论，用高动态范围图像来表示复杂环境光照，可以 得到令人满意的结果，满足增强现实虚实融合的研究目标，最后对获取真实场景光照 的方法进行了总结。 第四章针对以往研究工作忽视了常见不同材质的虚拟对象对周围环境的反射作 用的问题，提出了采用c o o kt o r r a n c e 光照模型进行虚实场景的光照计算，利用球面 调和基函数的方法，在着色器计算得到漫反射分量。通过环境映射技术对镜面反射进 7 第一章绪论增强现实中虚实融合光照一致性研究 行了模拟，全部光照计算在g p u 中完成，实现了复杂环境光源下虚实融合光照实时 真实感绘制算法。作为本文研究工作的核心部分，该章的工作成果发表在文献 2 9 】中。 第五章在上一章的基础上，为了实现更逼真的虚实融合效果，提出了一种改进的 高斯滤波器，对浮点纹理缓冲区中的绘制结果进行多遍滤波模糊，最后通过着色器把 多遍滤波结果叠加在一起，模拟了逼真的眩光效果；同时，模拟了光线在材质透明的 虚拟对象中的折射效果，使绘制出来虚实场景实现虚实融合，产生全局照明的真实感 效果，虚实场景更具真实感。 第六章总结全文的研究工作，并指出了今后进一步研究方向。 增强现实中虚实融合光照一致性研究第二章实时光照计算相关技术 第二章实时光照计算相关技术 本章介绍本文研究工作的理论基础和技术，即对计算机图形学中实时光照计算的 相关关键理论基础与技术：光照与材质、光照模型、g p u 可编程处理器等内容进行 分析与讨论。基于这些理论基础与技术，在后续章节利用g p u 多通道着色技术，采 用g p u 与c p u 并行处理来设计虚实场景的实时光照绘制算法。 2 1 光照与材质 光照过程，通常称为明暗处理，要求确定构成物体表面的每个像素反射到观察者 眼中的光的颜色，这些颜色取决于照射到表面上的光源的特性，也依赖于表面本身的 反射特性。通过计算场景中的光线和物体表面材质反射光线颜色的相互作用，可使光 照模型接近于真实世界的照明系统，最终的光照效果是光线与表面共同作用的结果。 在真实世界中，光线在到达眼睛之前经过了物体表面的多次反射，每次反射时，物体 表面都会吸收一些光，有些被随机反射扩散出去，其余的到达下一个物体的表面或眼 睛。光线跟踪算法【3 2 1 模拟了实现真实世界中光线反射的效果，尽管该算法能够创建非 常逼真的与自然界中观察到的极为相似的光照效果，但是它是非实时的光照绘制算 法。 场景中物体的材质特性决定了光线是如何被反射的，从而表现出它是用什么材料 做的，物体的材质描述了物体对光的反射特性，包括反射光的强度、颜色和方向分布 等【3 引。直接光照下，材质可以表现为物体的颜色、明暗、高光或者漫反射等，在全局 光照明的框架下，需要考虑从光源出射的光经过反射后照亮场景的效果。比如，反射 光能进一步照亮场景；反射物体的颜色能够影响其他物体的颜色，即渗色 ( c o l o r b l e e d i n g ) 高光材质可以形成焦散( c a u s t i c s ) 。因为入射光线与物体材质表面 的作用相当复杂，需要制定一种材质的环境光反射色、漫射光反射色、镜面光反射色 以及它的光泽度。 与光线对应，材质有独立的环境反射、漫反射和镜面反射颜色成份，分别决定材 质对环境光、漫反射光和镜面反射光的反射能力。环境反射和漫反射决定了物体的颜 9 增强现实中虚实融合光照一致性研究 镜面反射色通常为白色或灰色， 面光成份的颜色和强度决定。通 的大部分将表现为红色，而高光 的组合，因此，光源的颜色就由 它所发出的这三种原色光的含量决定，而物体表面的颜色则由其反射的这三种光的含 量决定f 3 。不同的物体表面对光线有不同的反射特性，那些通常看起来光泽的表面能 够将入射光很好地向某一特定方向反射，而另外一些则将入射光均衡地散射向各个方 向，大部分表面的特性是介于这两者之间的。当然有些表面也会自己发光，比如汽车 前灯。o p e n g l 中近似认为材质的颜色由它的反射光中的红绿蓝三色所占的百分比决 定，比如：一个理想的红色球将反射入射的所有红光并吸收所有绿色和蓝色光。这样 的球在白光( 含红绿蓝三色光) 和纯红光的照射下的表现是一致的即都是红色球，然 而在不含红光成份的光( 如纯绿光) 的照射下则呈现为黑色，因为没有光被反射。 纹理贴图技术可以为物体表面提供视觉上非常逼真的真实感效果，通过各种图形 绘制技术可以模拟复杂光照与材质相互之间作用的效果，使用光照效果能够有效地增 强场景的真实感。目前，由于新的具有强大图形计算能力g p u 的出现，实时光照算 法能够较好地模拟实时图形应用中光照和材质相互作用效果了。 2 2 光源与光照模型 2 2 1 光源 光源是任一发出辐射能量的对象，它对场景中其他对象的光照效果有贡献。一个 光源可定义许多属性，可以指定其位置、发射光颜色、发射方向及它的形状等。计算 机图形学中把真实世界的光照抽象为两种不同类型的光源：直接光源，点光源。直接 光源被认为是无限远的，这种光源常常用于模拟太阳。点光源是有位置的，被看成是 单独一个点，这个点在所有方向上发射光子。 1 、直接光源 1 0 增强现实中虚实融合光照一致性研究第二章实时光照计算相关技术 直接光源是一个无穷光源，它在单一的方向从无限远处发射光线。直接光源可以 用来对诸如太阳光的光源进行建模，可以认为这种光源发出的光是平行的。由于直接 光源在空间中没有位置，具有无限的射程，并且发射的光强度不像点光源和聚光灯那 样随着距离的增加而减弱。 2 、点光源 点光源是一种在空间中的某个点上向各个方向等强度的发射光线的光源，光线的 强度随距离的增加而自然减弱。点光源是计算机图形学研究中的一种抽象，实际上， 光源可能是线光源，也可能是面光源或是其它形式的光源。 在增强现实光照一致性研究中，由于真实场景的光照情况非常复杂，光源往往不 是少数点光源、直接光源等简单光源，而是环境光源、面光源等复杂光源。如果在光 照计算时把物体之间的相互反射考虑在内，更加复杂，以现有的计算机硬件性能，很 难实现算法的实时绘制，因此，很多全局照明绘制算法，比如光线跟踪算法、辐射度 算法和光子跟踪算法等都是离线的非实时绘制算法。h a v r a n 等【3 4 1 通过高动态范围摄 像机采集到真实场景中的光照变化，这些变化以高动态范围图像保存，通过光源的抽 样算法把真实场景的光照抽样为若干点光源和方向光源，利用这些光源完成对虚拟对 象的实时光照绘制，并生成了虚拟对象的阴影，但该算法模拟了单一的高光材质的虚 拟对象对光照反射作用。 2 2 2 光照模型 光照模型为物体表面设定的各种光学特性来计算物体表面的光照效果，这些特性 包括透明度、颜色反射系数及各种物体表面纹理参数，精确的光照模型按照入射光能 量与物体表面之间的相互作用结果进行计算【3 3 1 。光照模型描述的是光源与被绘制表面 的颜色的关系，可以分为局部光照模型和全局光照模型。局部光照模型，指绘制时当 前绘制点的颜色只受直接照射该点的光线的影响，而不考虑通过其它途径比如内部散 射、透射，物体周边其它表面反射传播过来的光的作用，因而一般默认表面为不透明 的理想漫反射面。常见的局部光照模型有l a m b e r t 漫反射模型、b l i n n p h o n g 模型3 5 】 和c o o k - t o r r a n c e 模型3 6 j 等。 首先介绍朗伯漫反射模型。自然界的大部分景物都是漫反射体，除了极少数的物 体，像是磨得很亮的金属、玻璃等会完全反射入射光的物体外，大部分的物体，在大 部分的情形下会散射入射光。这是因为物体的表面往往是粗糙的，而粗糙的表面就会 散射入射光。当光源来自一个方向时，漫反射光均匀向各方向传播，与视点无关，所 以无论观察者在哪里，看到的漫反射光强度都一样。朗伯定律总结了一个理想漫反射 物体在点光源照射下的光的反射规律，根据朗伯定律，一个理想漫反射物体表面上反 射出来的漫反射光的强度同入射光与物体表面法向之间夹角的余弦成正比。 除了均匀的漫反射，在光滑表面还会形成镜面反射。反射的路线与入射方向和表 面法线形成的反射光线保持一致，其结果是在表面上出现耀眼的强光( 高光) ，这就 是镜面反射。与漫反射不同，镜面反射在表面上的可见性依赖于观察者所处的位置， 镜面反射遵循反射定律，反射光与入射光位于表面法向两侧，对于理想反射面，入射 角等于反射角，观察者只能在反射方向上才能看到反射光，而其它方向看不到的。 b l i n n p h o n g 光照模型是一个计算镜面反射范围的经验公式，它的计算公式如下 所示： i = k o ln “d l l 州n + ks l l q h 丫3 1 2 ( 2 1 ) 增强现实中虚实融合光照一致性研究第二章实时光照计算相关技术 式中，k 。，如，k 。，也是由模型的材质属性决定的，而l 和l 则由光源的属性决定。 由于模型表面上每一点的法向量n 、光源方向l 、半法向量h 都是非线形变化的， 要精确地计算模型的光照效果就需要对每个像素进行独立的计算，可以通过光线投射 方法( r a yc a s t i n g ) 来实现，但是它的计算量较大。在o p e n g l 中，常采用g o u r a u d 绘制方法来逼近b l i n n p h o n g 光照模型，该方法首先进行基于顶点的光照计算，然后 对每个像素进行颜色插值。一般来说，由于顶点的个数远远小于像素的个数，而且线 性插值方法速度非常快( 往往由硬件支持) ，所以g o u r a u d 绘制方法的绘制速度大大 快于光线投射方法，但它产生的镜面反射效果远不如光线投射方法。为了弥补 g o u r a u d 绘制方法的不足，常采用另一种逼近b l i n n p h o n g 光照模型的方法是p h o n g 绘制方法，该方法可以充分利用硬件加速的技术，如基于硬件的p e r - p i x e l 绘制和顶 点编程技术等，产生与光线投射方法类似的镜面反射效果，同时满足实时性的要求。 在增强现实光照一致性研究中，不少研究工作，如在文献 2 2 ，2 3 ，2 4 ，2 6 等中 所介绍的工作，用不同方法把真实场景中的光照抽样成点光源，然后利用b l i n n p h o n g 等光照模型来完成对虚拟对象光照计算。 使用b l i n n p h o n g 光照模型绘制出来的