（计算机软件与理论专业论文）手持设备上基于增强现实的虚实交互技术的研究与应用.pdf

a b s t r a c t a u g m e n t e dr e a l i t y ( a u g m e n t e dr e a l i t y , r e f e r r e dt o a sa r ) i san e wf i e l do fr e s e a r c h d e v e l o p e do nt h eb a s i so f v i r t u a lr e a l i t yt e c h n o l o g y ( v i r t u a lr e a l i t y , r e f e r r e dt oa sv r ) i t a l s oi sa 1 1i m p o r t a n td e v e l o p m e n td i r e c t i o no fh u m a n m a c h i n ei n t e r f a c et e c h n o l o g y a u g m e n t e dr e a l i t yt e c h n o l o g ya c c u r a t e l ya d d s t h ec o m p u t e r 。g e n e r a t e dv i r t u a lo b j e c t sa n d t h e i rr e l a t e di n f o r m a t i o nt ot h er e a le n v i r o n m e n t ，y o uc a ns e ear e a l i t y - v i r t u a ls p a c eb y d i s p l a yd e v i c ew h i c hv i r t u a lo b j e c t ss e a m l e s s l yi n t e g r a t e di n t oa r e a ls c e n e i tc a l lb r i n g sa m o r er e a la n dn e we n v i r o n m e n t a st h ed e v e l o p m e n to fm o b i l ed e v i c e sa n dt e c h n o l o g y , d e s i g na u g m e n t e dr e a l i t ys y s t e mo ns u c hh a n d h e l dd e v i c eo fh i g hu n i v e r s a l i t y , h i g h d i 伍l s i o nr a t e ，p o r t a b l e ，l o we n e r g yc o n s u m p t i o n w i l lp r o m o t et h ed e v e l o p m e n to f a u g m e n t e dr e a l i t yt e c h n o l o g ya n db r i n gi m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n dp r a c t i c a l s i g n i f i c a n c e h u m a n c o m p u t e ri n t e r a c t i o nt e c h n o l o g y st e c h n i c a l c o r es h i f t e df r o mc o m p u t e rt o u s e r s t h eg e s t u r e so fh u m a ni si n t e r p e r s o n a lc o m m u n i c a t i o nm e t h o d sw h i c h i st h em o s t n a t u r a l i n t u i t i v ea n de a s yt om a s t e ra n dc o n t a i n sm u c hm o r ei n t e r a c t i v e i n f o r m a t i o n u s e r sc a i ld i r e c t l yu s eh a n da sac o m p u t e ri n p u td e v i c e ，i s s u e da no r d e rt h r o u g ht h e g e s t u r e s d o e sn o tr e q u i r et h em e d i at o a c h i e v eh u m a n 。c o m p u t e ri n t e r a c t i o n s o ，t h e i n t e r a c t i o nb a s e do ng e s t u r er e c o g n i t i o nt e c h n o l o g yh a sg r a d u a l l yb e c o m ear e s e a r c h h i g h l i g h ti nh u m a n - c o m p u t e ri n t e r a c t i o n r e s e a r c hf i e l d t h e r e f o r e t h es t u d yo fi n t e r a c t i v et e c h n o l o g yo fa r b a s e do nh a n d h e l dd e v i c e sw i l l b r i n gg r e a tp r a c t i c a lv a l u e t h e m a i nw o r ki nt h i sp a p e ri sa sf o l l o w e d ： f i r s t l y , aa l g o r i t h mo fa d a p t i v et h r e ef r a m ed i f f e r e n c em o v i n gt a r g e td e t e c t i o n i s p r o p o s e d m o v i n gt a r g e td e t e c t i o ni sap r e r e q u i s i t e f o ri n t e r a c t i o n b ya n a l y z i n g t h es t r e n g t h sa n dw e a k n e s s e so fm a i n s t r e a m v i d e od e t e c t i o nm e t h o d s ，an e w a l g o r i t h mb a s e do nm o v i n gt a r g e t r a t ew h i c hc o u l da d a p t i v ea d j u s tf r a m ei n t e r v a l l s p r o p o s e d t h ee x p e r i m e n t ss h o wt h a tt h i sa l g o r i t h mi s f a s t e rt h a no t h e re x i s t e dm e t h o d s u s e da i m e da tm o v i n gt a r g e td e t e c t i o n t h e r e f o r ei ti sf e a s i b l ef o re n d 。u s e r s d e v i c e sw i t h l o wc o m p u t a t i o n a lp e r f o r m a n c ee f f e c t i v e l y d e v i c e s a n dr e d u c et h ep r o c e s s i n gd e l a y so fh a n d h e l d t h er e a l i t yi n t e r a c t i v es y s t e mb a s e do nh a n d h e l dd e v i c e sn e e d si n t e g r a t e dc a m e r a s c a p t u r er e a l t i m ev i d e oi m a g e a st h eu s e ru n c o n s c i o u sp h y s i o l o g i c a lh a n d s h a k eo rm o v e m o b i l eh a n d h e l dd e v i c e s a r el i k e l yt or e s u l tt h eb a c k g r o u n dc h a n g e s s u r e n d r a s a l g o r i t h mw h i c hc o u l da c h i e v ea d a p t i v eu p d a t et h eb a c k g r o u n d ，c o m b i n e dw i t ha d a p t i v e 啪4舢8舢8肌3舢3 舢7i0i删y 一 -o-oll-rll t h r e ef r a m ed i f f e r e n c ea n db a c k g r o u n dd i f f e r e n c es o l v e dd e t e c t i o ne r r o rp r o b l e m sb e c a u s e db yj i t t e ro nh a n d h e l dd e v i c e i tc a ni m p r o v et h ed e t e c t i o n a c c u r a c ya n d e f f e c t i v e n e s s k e y w o r d s ：a u g m e n t e dr e a l i t y ；h a n d h e i dd e v i c e ；h a n dg e s t u r er e c o g n i t i o n ； t e m p o r a ld i f f e r e n c e ；b a c k g r o u n ds u b t r a c t i o n 目录 第一章绪论1 1 1 课题研究背景与研究意义1 1 1 1 增强现实技术一l 1 1 2 增强现实交互技术3 1 2 增强现实技术的应用价值4 1 3 增强现实技术的国内外研究进展1 l 1 3 1 国外研究成果1 1 1 3 2 国内研究成果1 4 1 4 论文研究内容l5 1 5 论文组织结构1 6 第二章增强现实关键技术1 7 2 1a r 显示技术1 7 2 1 1 头盔显示器：1 7 2 1 2 手持显示设备1 8 2 1 3 其他显示设备18 2 2 人机交互技术1 9 2 3 视频检测技术2 1 2 3 1 光流法( o p t i c a lf l o w ) 。2 2 2 3 2 背景差分法( b a c k g r o u ds u b t r a c t i o n ) 2 2 2 3 3 帧问差分法( t e m p o r a ld i f f e r e n c e ) 2 2 2 4a r t o o l k i t 丌发工具包2 3 2 5 小结2 3 第三章常用的动态图像检测技术2 4 3 1 常用的动态图像检测方法2 4 3 1 1 背景差分法。2 4 3 1 2 帧间差分法2 5 3 1 3 自适应背景更新算法一s u r e n d r a 算法2 7 3 1 4 三帧差分运动目标检测算法2 8 3 2 小结3 0 第四章基于手持设备的人手分割与交互技术3 1 4 1 人手的检测与识别3 l 4 1 1 改进的自适应三帧差分运动目标检测算法3 2 4 1 2 手持设备+ 卜人手分割检测技术3 3 4 2 人手与虚拟物体的交互3 6 4 2 1 人手轮廓提取3 7 4 2 2 人手指尖特征区域的定位3 8 4 2 3 虚实交互的判定与反馈4 1 4 3 小结4 1 第五章基于手持设备的增强现实虚实交互系统整体结构4 2 5 1 系统设计目标4 2 5 2 系统开发软硬件环境4 2 5 3 系统整体框架一4 3 5 4 虚拟物体跟踪注册技术4 4 5 4 1 标记识别和摄像机姿态定位4 4 5 4 2 虚实注册4 5 5 5 手持设备上人手分割与交互实现4 8 5 6 手持设备上基于a r 技术的c h i n e s ec h e s s 游戏5 0 5 7 卅、结5 l 结论5 2 1 、全文工作总结5 2 2 、存在问题及展望5 2 参考文献5 3 攻读学位期间的研究成果5 7 致谢5 8 学位论文独创性声明。5 9 学位论文知识产权权属声明。5 9 第一章绪论 第一章绪论 1 1 课题研究背景与研究意义 1 1 1 增强现实技术 随着计算机的普及与应用，用户越来越重视系统的使用性，在系统功能、 使用和接受程度上有个更严格的要求，这就使系统人机交互部分的友好性越来 越重要，许多功能完善的系统因为存在人机交互复杂问题而得不到广泛的应 用，因此对人机交互接口进行研究具有十分现实和深远的意义。 随着人类与计算机交流方式的发展，出现了更有突破性的媒介，沿着命令 行界面一多媒体界面一增强现实的过程发展。 增强现实技术( a u g m e n t e dr e a l i t y ，简称a r ) ，作为在虚拟现实技术 ( v i r t u a lr e a l i t y , 简称v r ) 的基础上发展起来的一个新的研究领域，是近年来 国内外众多知名大学和研究机构的研究热点之一，成为人机界面技术发展的一 个重要方向。 a r 技术与传统的、以完全沉浸感、交互性和构想为基础特征的v r 技术 达到的效果有所区别，传统的v r 技术晗1 综合运用了计算机仿真技术、计算机 图形学、多媒体技术、计算机网络技术等基础技术，是利用电脑模拟产生一个 三维空间的虚拟世界，借助计算机和立体眼镜、传感手套等第三方传感辅助设 备进行数据交换，提供使用者关于视觉、听觉、触觉甚至嗅觉等感官的模拟， 从而建立起一个三维信息的虚拟人工环境，产生逼真的三维现实感觉，让使用 者如同身历其境一般，享受完全意义的沉浸感，可以及时、没有限制地观察三 度空间内的事物。而a r 技术借助于显示技术、交互技术、计算机图形学技术 及多媒体技术，以通过计算机系统提供的辅助信息来增强用户对现实世界感知 为目的，借助计算机图形技术、界面可视化技术、计算机辅助设计技术、图像 处理技术构造出现实环境中不存在的虚拟对象，并通过传感技术将计算机生成 的虚拟对象及其相关信息准确实时的叠加到真实环境中，在同一个时空中存 在，可以通过显示设备看到一个真实场景中无缝融入虚拟对象的虚实结合空 间，不是用完全虚拟的世界去完全替代现实世界，而是利用虚拟信息去补充和 增强现实世界的内涵，为人们带来一个视觉效果更真实、场景信息更丰富的新 环境，使体验者从感官和心理上确定虚拟对象是真实环境的组成部分，实现两 者的完美结合。同时，a r 比v r 对匹配精度要求更高，由于人眼天生的高分 辨率和完美的人类视觉系统对极小著异的敏感性，导致人眼对虚实融合的误差 青岛人学硕1 ：学位论义 要求更高瞄1 。 六十年代中期，随着计算机图形学、计算机图像处理技术的飞速发展，美 国哈佛大学i v a ns u t h e r l a n d 教授n 1 首次接触a r 研究，经过深入的探讨，研制 出世界上第一台可以实时显示3 d 图像的头盔显示器，这是国外进行有关a r 研究最早的记录，由于种种原因，直到二十世纪，a r 技术才真f 成为国内外 科研机构互相追逐的热点技术，并取得了很大成就与进展。 现在，虽然a r 技术已经成为科研领域非常普遍的研究技术之一，但对a r 的概念还没有一个完全官方的描述，曼洛维奇肺3 曾对增强现实做出这样的定义： “将动态的、背景专门化的信息加在用户的视觉域之上”。费尔尼与理查兹则认 同增强现实是虚拟现实的另一种表现形式，通过将图像信息强加于现实世界之 上而形成虚拟与现实的合二为一。h r l 实验室a z u m ar o n a l dt 曾经用三个词 对a r 的特征进行了定义，虚实结合、交互技术、三维注册哺1 ，并得到了广泛 的认可。 虚实结合：可以实现计算机显示屏到真实环境的扩展，即将通过计算 机产生的虚拟对象与真实环境进行融合，实现感官上的统一体，用户 享有沉浸感，完全感觉不到真假融合的突兀。例如：通过叠加虚拟景 象到现实目标而产生类似x 光透视的现实应用；将3 d 导航地图信息 直接嵌入到现实景观中以引导旅游者的方位h 1 等。 交互技术：即允许人机实时交互，感受系统功能的强大性。它使交互 从方法单一的鼠标、键盘交互精确转向在整个外界环境中自由系数较 大的交互，从使用者只能坐在屏幕前进行局限性交流递进到实现真正 的融入整个环境进行扩张性交流。 三维注册：即将通过计算机产生的虚拟对象与用户所处的真实环境进 行全方位的三维信息配准，实现根据使用者在三维空间中的运动轨迹 来调整虚拟对象的方位。 然而，一个完善的a r 系统不仅应该能实现静态理论交互一一虚拟对象与 真实环境的无缝融合，还应该能够实现动态理论交互一一真实对象与虚拟对象 的交互为目标，这样才能更深一层的实现真正意义上的虚实融合。因此， m i l g r a m 随后提出了混合现实区间表示法晴3 ，根据计算机生成的虚拟信息量与 真实环境信息量的大小来定义从真实环境到虚拟环境的连续变化区间。如图 - 1 1 所示。 由图中左起，我们可以看到，从真实环境到真实环境中计算机产生信息的 增加，会进入a r 范畴；随着真实环境中计算机产生信息比例的增加，图中向 右发展，进入v r 范畴。实际一l ，a r 与v r 的交界没有非常严格的定义。 2 ) ) ) 1 2 3 ( ( ( ， 人工智能及机器学习等；从人的角度包括人类心理学、通信原理、语言学、社 会科学、认知学和人类因素评估等方向。科研人员在人机交互技术方面的研究 成果必将影响着计算机的发展。 所谓人机交互( h u m a n c o m p u t e ri n t e r a c t i o n ) 是指：一切有关人类使用的 可交互计算机系统的设计、实现、评估等准则及相关的外围现象研究旧1 。主要 研究人与计算机之间相互发出指令并反馈的交互过程，是人与计算机之间传 递、交换信息的方式和接口，是计算机系统的重要组成部分。目前，处于统治 地位的人机交互方式是用户借助于鼠标、键盘等输入设备通过交互界面程序向 计算机发送指令并得到相应的动作反馈。由于这个领域的研究内容很丰富，出 现了多样化的交互技术。 传统的以计算机为中心的人机交互技术发展到现在以人为中心的人机交 互技术经历了五个阶段n 们：早期的手工作业阶段一一作业控制语言及交互命令 语言阶段一一图形用户界面阶段一一多通道、多媒体的智能人机交互阶段。目 前多通道、多媒体的智能人机交互技术已经成为引领智能媒体的高端技术，与 智能系统结合的越来越紧密，最终实现一个整体的智能环境。 青岛人学顺i j 学位论文 1 1 2 2a r 系统中的人机交互技术 随着a r 技术的科研成果同趋成熟，从概念性走向实际性，以a r 系统为主 体的计算机应用和以掌上电脑、个人数字助理( p e r s o n a ld i g i t a la s s i s t a n t ，简称 p d a ) 、智能手机( s m a r tp h o n e ，简称s p ) 为代表的微型化、便携化、嵌入化的通 讯媒体成为新型计算机发展的方向。基于a r 的人机交互技术才受到科研领域的 广泛关注，成为a r 的基础技术，也是影d l f i j a r 系统实用性、效果的关键技术。 与人机交互技术结合的a r 系统，摆脱了传统a r 系统的冰冷时代，用户 可以通过语音、手写、肢体语言、表情等多样化动作通道与计算机生成的虚拟 信息进行交互式反应，使用户更自然的融入到场景中去，具有更新鲜的体验感。 但随着a r 技术的同新月异的发展、显示设备的多样化和便携化、智能手持 设备的风起云涌，使a r 系统对人机交互技术的需求越来越大，由没有任何人机 交互借口的应用转向充分利用交互技术( 如手势识别技术) 的应用。同时，移 动技术、手持设备功能越来越强大，便携式手持设备成为实现增强现实人机交 互接口的凭借，具有很大的发展潜力是市场。总之，人机交互技术已成为a r 系统中必不可少的主体技术，成为增强系统整体影响力的主要手段，也是国内 外科研机构研究的热点问题。 1 2 增强现实技术的应用价值 a r 技术作为近年来发展迅猛的前沿技术，不仅能够广泛应用与所有v r 技术应用的领域，而且还以自身所特有的优势，占据了很大的应用市场。a r 技术以用户真实世界为主体，以计算机产生的虚拟对象为客体，将计算机的虚 拟信息引入到用户的“身边”，通过用户与虚拟对象的交互过程中，体验a r 系统带给人们的视觉冲击。正是由于a r 技术具有的各种特点和巨大的应用潜 力，决定它能够广泛应用于医疗、军事、商业娱乐、机械制造、装配与维修、 多媒体应用、城市规划、人工智能等各个领域，具有广阔的市场前景。 ( 1 ) 医学研究领域 在医疗方面，由于成像技术的普遍运用，使a r 技术和v r 技术有了很大 的应用空间，成为辅助诊疗的有效技术，并在医疗领域的各个方面发挥作用， 主要应用有以下几个方面： 基于图像的外科手术导航系统1 ( i g s ：i m a g eg u i d e ds u r g e r y ) ：借助于a r 技术与v r 技术，充分利用各种医学可视化图像信息辅助实施手术，提高手术的 精确度和成功率。对于复杂性、j x l 险性较高的手术过程中，a r 技术将病人超声 波、核磁共振成像( m r i ) 或汁算机x 线断层摄影( c t ) 检查的图像信息叠加 4 到病人手术的相关部位，如图1 2 所示，将病情诊断的结果与实际手术过程紧密 联系起来，使医生具有“透视眼”，更加明确病人体内病症情况准确定位手术 位置，协助外科医生精确完成手术，避开重要的组织、神经及血管等功能区， 实现手术过程的可视化功能，降低手术风险，减少手术创伤，提高手术质量。 目前，i g s 主要应用于神经外科，如颅内手术、脊椎手术中，在整形外科、耳 鼻咽喉科等也有应用。 美国北卡罗莱纳大学口羽( u n c ) 图形及可视化科学技术中心( s t c ) 一直 对a r 系统在医学方面的应用做着大量的研究，主要成果有超声波和腹腔镜检查 可视化技术。如图1 2 所示。 科罗拉多矿业大学研究小组将增强现实技术应用到妇产医学中，利用超声 波传感器扫描孕妇子宫内的胎儿图像，并通过佩戴在医生头上的头盔显示器显 示出动态的婴儿图像。 图1 2 外科手术过程中显示的虚拟手术切口 基于a r 的心理疾病治疗系统：针对现在心理疾病没有很好的治疗方法的问 题，巴伦西亚大学的j u a n ，m c 等人设计丌发了一套基于a r 技术的心理疾病治 疗系统，通过计算机系统在真实环境中生成虚拟的恐惧物，让病人尝试去接触、 感觉、适应，克服心理障碍。这就是所谓的情景治疗方法，让患者在一个现实 空间中，能够看到又计算机生成的虚拟恐惧体，并尝试身临其境的去克服狭隘 的心里障碍。图1 3 所示的是用于治疗昆虫恐惧症的心理治疗系统。 青岛人学颂 ：学位论文 图1 3 昆虫恐惧症心理治疗系统 ( 2 ) 机械装配、制造与维修 a r 技术同时被广泛应用于工业领域中并有很大的发展空间。目前，全球化 市场竞争的日趋加剧，科技日趋发达，工业制造、装配、维修的复杂性也随之 大幅度提高，工业企业一直在寻找可以减少产品加工时间和成本的方法，尤其 是工业产品在设计过程中的装配、拆卸与维护等复杂过程中。根据技术人员对 于新型技术设备的组装、维修需要长时间查看大量技术手册和指南，影响工作 效率和速度，而a r 技术恰恰能够弥补这方面的缺陷，将大量详细的技术手册和 指南通过计算机用3 d 图像显示出来，在真实的机械上匹配的显示虚拟注释注解 信息，这些虚拟的3 d 图像和附加信息将细节的步骤显示到机械的具体位置，现 场指导技术人员进行操作。通过3 d 的增强现实体验，让技术人员都能随时随地 掌握产品结构与实际运用的落差、并可以将所有产品组件紧密无缝的集成在一 起，涵盖了组装和维护中所有可能的情况，让制造的专业知识逐步被汲取出来， 组装、维修和制造经验将得以重复利用。与安装技术手册和说明相比，具有更 直观、更简单、更高效的特点，大大提高技术人员的组装效率和完成质量。 2 0 0 9 年4 月1 6 r 1 7 日，上海科技馆，爱迪斯通携完整的3 d 工业仿真解决方 案。参加由上海交通大学、德国帕得博恩大学等共同主办的第二届中德“虚拟 现实与增强现实技术及其工业应用，研讨会。 目前，这一领域的许多应用都成功运用了a r 技术。例如：美国波音公司计 算机服务研究和技术组将飞机制造中的电力线缆和接线器的装配与a r 技术相 结合，取得了极大的成功。通过a r 技术，将复杂的线路装配简单化，使任何没 有受过训练的普通工人都可以轻松、正确的完成装配过程，减少公司培训新员 工的时间和经费，节省大量用于存储布线板的空问和花费。哥伦比亚大学s t e v e f e i n e r 、m a c i n t y r e 研究组研制的激光打印机维修跟踪系统也是成功运用a r 技术 的实例。如图1 4 所示。n 本c h u o 大学工业和系统t 程系研究的p a r t n e r 系统 6 第一章绪论 n 3 1 就是利用a r 技术，通过在投影机上显示出拆卸步骤和器件，成功指导未经培 训的员工完成任务。 p e i n e r r 的研究小组设计实现了应用于汽车门锁安装的a r 辅助系统，系统利 用a r 技术与语音识别系统帮助无经验用户成功完成汽车门锁安装任务。 图1 4 激光打印机上显示的虚拟放纸托盘 ( 3 ) 注释及注解的可视化 注释及注解的可视化应用是a r 技术得以广泛推广的另一大领域。a r 技术 可以对任何场景和事物进行实时注释说明，提供给用户直观的信息库。 例如：在国外的大型图书馆，读者可以借助于手持设备在馆内查阅图书资 料的同时，方便的定位所需图书资料的位置、信息等，大大减轻了图书管理员 的工作量，方便图书馆管理员的管理工作，同时给读者留有更大、更自由的查 阅空间。欧洲计算机工业研究中心( e c r c ) 也做了大量关于a r 注释技术的应用 实验，主要用于对复杂机械模型的注释讲解作用，当用户想要了解机械模型某一部 件的名称、功能、特征时，只需要用手指向这个部件，通过头盔显示器的屏幕将会 显示出用户想要了解的相关信息。 很多应用程序允许一个人“注释”生活世界的生活。它实际上是模糊了 的数字和现实世界一致。这些数字说明可以看出当我们看通过取景器或在智 能手机液晶显示器，而着眼于任何户外( 或室内) 位置的设备摄像头。在内 置数字罗盘，g p s 并h 加速度计，帮助准确位置和方向提供的数据呈现在正确的 观点的c g i ，以便最终输出的c g i 是对现实世界的视觉无缝结合。 j u n a i o 程序就是这类的应用。允许使用者用手机摄像头对准实际生活景点 时，将会显示出虚拟的3 d 图像，这些3 d 图像是关于曾在这罩发生过的古代战 争、事件及固家历史，带来了全新的感受，通过边走边看，实现不断学习和让 历史活着。在世界上任何地方都可以注明“地理标签”，这将推动景点旅游与历 青岛人学顺1 ：学位论文 史并行访问的双重影响。如图1 5 所示。 图1 5j u n a i o 关于景点注释的应用程序 法国一家应用软件开发工作室p r e s s e l i t e 在i t u n e s 商店中推出了首款支持 增强现实技术( a r ) 的i p h o n e 应用程序，这款应用程序被称为m e t r op a r i s - s u b w a y ，当你通过i p h o n e 摄像头观看周围巴黎城市环境时，应用程序会显示附 近店铺的信息。如图1 6 所示。 图1 6i p h o n e 应用程序关于城市注释的应用 8 一 第一章绪论 ( 4 ) 教育 目前，最大问题和挑战，教师和教育工作者似乎今天所面临的一项，就是 小工具和技术正对在校学生和儿童很分心的效果。如果我们可以利用科技，教 育来激励青年一代重视和珍视教育成果，以一个非教科书的方式，实现传道授 业解惑，帮助教育他们。实际上，是借助一种有趣的方式在这些设备，以打破 学生进入“数字化个人空间”。 a r 技术充分发挥了它在专业教育方面的优势，例如，历史课上，可以通 过a r 技术，将古代皇帝的登基仪式、战乱时期各国的烽火战争以及圆明园曾 经的瑰丽模样再现在学生的眼前。如图1 7 所示。不仅可以将课堂转向户外， 激发学生的兴趣，还能生动真实的还原历史原貌，加深学生对历史知识的印象， 保持历史活着。 图1 7 手持设备上显示出实际场景中曾发生的历史事件 ( 5 ) 军事领域 在军事领域，a r 技术也有突出的应用价值。已经尝试应用于军事教育训练、作 战模拟、作战分析研究、作战任务保障与评估、武器装备研制等方面，成为军事高 科技发展的重要领域。目前，美国军方从事了大量关于a r 技术的目标跟踪研究， 主要用于给军用飞机上装载的武器装备提供瞄准路径方面的增强信息以及瞄准射击 坏境的特征信息，给飞行员提供更完善的模拟训练和真实战争信息，达到开阔飞行 员视野和提供导航信息的目的，军用飞机飞行员使用平视显示器和头盔瞄准具，把 向量图形叠加在实际世界的飞行图上( 即飞行员的视野中) ，提供基本的导航与飞行 信息1 。这些图形可以对环境中的目标进行定位，或者与武器系统接口来进行瞄准、 攻击。如图1 8 所示。 9 青岛人学硕l ：学位论文 美国海军新一代的潜艇成像系统“环视”系统就利用了a r 技术，通过计 算机把半透明的叠加信息图像加入到真实场景中去，信息图像中标识出技术人员和 视头的方位、艇的方向、标记目标的位置和当前的视频来源，并把增强的图像传送 到现实器。 目前，战场上的比斗也转向科技竞争，战场上，士兵佩戴头盔显示器进行战斗， 一 可以显示关于战场环境、地理位置等辅助信息，例如，近距离攻占一座碉堡，士兵 需要了解碉堡周围环境、碉堡名称及内部结构、自身方位等相关信息，a r 技术可以 很容易的提供这些信息，并实时指导士兵进行作战。提供了导航、测距、目标搜索 等功能，提高作战成功率。 图1 8 应用于军用飞机的瞄准定位系统 ( 6 ) 商业应用 随着a r 技术的日益强大，大多数公司也看到了a r 系统的应用前景和用 户的强大需求，由于a r 技术具有多样化的性能，能够应用于各个领域实现意 想不到的创意，因此受到了广泛的亲赖，很多公司都在挖掘a r 系统巨大的市 场潜力。 通用电气( g e ) 公司推出三维奇境网络广告游戏诠释风能科技，这一中国 首个针对大众的增强现实游戏受到了极大关注。三维奇境风能游戏依靠创新的 增强现实( a r ) 技术，以逼真的三维影像提供非凡的游戏体验。同时g e 三维 奇境的互动性让用户的细微操作通过电脑摄像头被感知，并反映在三维影像 中。在游戏中，普通用户利用双手操纵三维影像里的风车，捕捉源源不竭的风， 把风能传化为电能。 阿迪达斯使用增强现实技术创建了一个三维的虚拟世界，用户购买的阿迪 达斯鞋子中嵌入有集成电路板，只要用户登录阿迪达斯网站，通过验证后就能 看到这个建立在真实世界基础上的虚拟世界。用户可以使用鞋子控制角度或者 1 0 o 第一章绪论 移动镜头进行浏览，并且能和朋友一块进行游戏。 t 1 3 增强现实技术的国内外研究进展 1 3 1 国外研究成果 国外对a r 技术的研究比国内起步较早，成功的范例也带动了全世界a r 技术的发展。 1 9 6 8 年，美国a r p a 信息处理技术办公室主任i v a ns u t h e r l a n d 建立了“达 摩克里斯之剑”光学穿透式头盔显示器( s e e t h r o u g hh e a dm o u n t e dd i s p l a y ) ， 它被认为是世界上第一个头盔显示器。由于技术还不成熟，这个世界第一个头 盔显示器只能显示二维线框图像，简单的叠加效果，没有完全浸沉感，用户只 能看到线框图叠加在真实环境之上，头盔显示器根据传统的轴对称光学系统原 理，外观笨重，体积和重量都很大。1 9 7 5 年，j h c l a r k 利用i v a ns u t h e r l a n d 设计的头盔显示设备和u t a h 大学开发的机械w a n d 建立了一个曲面设计的交互 环境n5 1 。之所以没有广泛引起重视，是由于当时的相关技术还不成熟，但这为 3 d 交互技术的发展奠定了基础。 九十年代以来，是a r 技术迅猛发展的时代，出现了大量的科研机构致力于 a r 技术的研究，例如：美国麻省理工学院的图像导航外科手术实验室、哥伦比 亚大学的图形和用户交互实验室、日本的混合现实实验室、德国的a r v i k a 组织、 新加坡的混合现实实验室等，并取得了很大的成绩。 1 9 9 2 年，美国北卡大学( u n ca tc h a p e lh i l l ) 研究用于医学领域的a r 技 术，成功将超声波数据与病人的腹部集合显示，实现医学手术可视化。1 9 9 3 年， 哥伦比亚大学管理学院( c o l u m b i ag r a d u a t es c h o o lo f m a n a g e m e n t ) 教授迈克尔 费纳( m i c h a e lf e i n e r ) 教授等人设计一个基于知识的a r 系统n 翻( k n o w l e d g e b a s e d a u g m e n t e dr e a l i t yf o rm a i n t e n a n c ea s s i s t a n c e k a e m a ) ，能够实现激光打印机 上显示维修步骤，方便技术人员快速维修。1 9 9 6 年，美国科罗拉多矿业学院 ( c o l o r a d os c h o o lo f m i n e s ) 的w i l l i a ma h o f f 肿人，通过实验研制了一个具有 基本功能的增强现实系统，用于计算机硬件结构的培训，培训学员通过显示的 注释说明，就可以轻松的掌握计算机硬件的各个组成部分及功能。美国卡内基 梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 的计算机研究所从1 9 9 3 年起，就开始了 虚拟现实方面的研究，建立了包括三维重建等实验室。通过长时间的研究和重 视，在三维重建、机器视觉、视频跟踪、注册等方面具有丰富的实验经验和成 果。 随着增强现实系统附属硬件配置的提高和改良，人们不再满足于局部增强 青岛人学硕i j 学位论文 的效果体验，因此，可移动的a r 系统随之发展起来。以哥伦比亚大学研究团队 所发展出来的佩带式a r 系统一一t o u r i n gm a c h i n e n 7 1 为代表，其配置了微型计算 机、追踪器和头戴式显示器与互动装置的接口盒，重10 公斤左右，并配有一个 辅助增强的手持式显示器。佩带t o u r i n gm a c h i n e 可以透过头戴显示器随时的观 察校园，在显示器中出现虚拟旗帜的位置，表示有内附信息。当选中旗标，就 可以在原来的位置显示出早己拆除的古老建筑三维模型，重现校园历史遗迹。 a rq u a k e n 踟是在视频游戏q u a k e 的基础上结合增强现实技术开发的场景游戏。 这位澳大利亚的一位设计者将大学校园的特定标志融入到游戏中，当用户佩戴 者h m d 在校园走动时，可以看到生成的虚拟怪兽并支持射击动作。h u m a n p a c m a n ( 真人吃豆子) 是新加波国立大学的研究人员设计开发的a r 户外游戏， 将复杂的街道变成游戏中的迷宫，用户是游戏中角色人，允许多用户同时进行 游戏，最终以用户吃到的虚拟豆子数量决定胜负。最近，美国宾夕凡尼亚州匹 兹堡卡内基梅隆大学的研究人员推出了一款透视增强现实系统，系统使用两个 摄像机，个摄像机直接采集真实场景，另一个摄像机扫描捕获障碍物后的物 体图像，再有系统输出显示在直观看到的图像上，实现透视功能。如图1 9 ( d ) 所示。尽管移动式a r 技术促进了a r 系统的发展，但由于硬件设备的复杂性， 不便于携带，仍有一定的局限。 为了打破这种局限，便携性成为增强现实系统发展的主要内容，在手持式设备 上结合增强现实技术有了进一步的推广。华盛顿大学人机交互实验室( h i tl a b ) 研 究设计的m a g i c b 0 0 k n 们通过手持设备浏览纸质图书，根据内容在图书平面上显示三 维虚拟图像及动画，在书本的特定单元显示，在增强图书内容的同时，扩增知识体 系。通过手持设备，用户可以根据喜好选择增强现实模式还是完全虚拟模式。除了 可以在真实环境中体验虚拟资讯外，还可以完全沉浸在虚拟世界取得不同的浏览体 验。 随着p d a 和智能手机功能的完善和性能的提高，科研人员开始乐衷于以这类通 用性高、普及率大的手持设备作为a r 系统平台。2 0 0 2 年，w a n g e r 将a r t o o l k i t 工具 包移植至i j p d a 上实现了独立完成所有a r 处理任务的系统。在充分考虑p d a 不能解决 浮点运算的问题上，找到替代浮点运算的方法，将a r t o o l k i t 平台应用到p d a 中。随 后，w a n g e r 与自己的大学奥地禾l j v i e n n au n i v e r s i t y 和g r a zu n i v e r s i t yo f t e c h n o l o g y 开 发了s t u d i e r s t u b ee s 软件框架，可以直接用于各种手持设备上。 当应用于通用手持设备上技术逐渐成熟，多样化的系统应用也随之出现