（计算机应用技术专业论文）基于artoolkit平台的增强现实人机交互系统的若干问题研究.pdf

基于a r t o o l k i t 平台的增强现实人机交互系统的若干问题研究 摘要 增强现实( a r ) 是一种将计算机产生的虚拟物体或信息与真实环境进行合 成并对景象加以增强或扩充的技术。文中介绍了a r 的基本概念、主要应用及 研究现状，分析了a r 的关键技术及开发平台。 本文分析了a r t o o l k i t 平台的基本建模与渲染方法，指出了其存在的问题 并进行了改进，将基于3 d s 的建模方法与基于可编程图形硬件的c g 图形渲染 方法应用于a r t o o l k i t 平台，设计并实现了一个基于单目视觉的桌面a r 人机 交互系统。本文的主要工作包括： 1 研究了a r 中基于视觉的跟踪注册方法，主要分析了标识物的识别及多 个坐标系的矩阵转换等问题。基于视觉的跟踪注册方法识别效率高，能够满足 a r 系统对实时性的要求。 2 分析了a r t o o l k i t 平台的基本建模方法并对其进行了改进，将基于3 d s 的建模方法引入a r t b o l k i t 平台。分析了3 d s 文件的基本结构、3 d 编辑器块结 构及关键帧块结构，给出了系统实现以及实验结果与分析。将3 d s 模型信息应 用于a r 系统的虚拟物体建模，提高了模型的复杂度和建模的效率。 3 分析了a r t o o t k i t 平台的基本渲染方法并对其进行了改进，将基于可编 程图形硬件与c g 语言的渲染方法引入a r t o o l i o t 平台。分析并实现了c g 光照 渲染、雾化渲染和变形动画效果，给出了各部分的实验结果及分析。将c g 应用 于a r 系统的图形渲染，提高了渲染效率，增强了a r 场景的真实感。 4 将3 d s 模型信息的导入、基于c g 的图形渲染、交互信息的分析与处理 等模块与a r t o o l k i t 平台进行整合，设计并实现了一个基于单目视觉的桌面a r 人机交互系统，给出了系统实验结果及分析。该系统兼容性好，对硬件要求 低，性能稳定，具有可扩展性以及良好的可移植性。 关键词：增强现实，a r t o o l k i t ，人机交互，3 d s ，c g r e s e a r c ho ft h eh u m a n - c o m p u t e ri n t e r a c t i o ns y s t e mf o r a u g m e n t e dr e a l i t yb a s e d o na r t o o l k i t a b s t r a c t a u g m e n t e dr e a l i t y ( a r ) i sak i n do fs k i l lw h i c hc a r lr e a l i z et h ef u s i o no fv i r t u a l o b j e c t si n t or e a le n v i r o n m e n ta n de x p a n di t t h ep r e s e n tt h e s i si n t r o d u c e st h eb a s i cc o n c e p t o fa ra n di t sm a i na p p l i c a t i o n s i ta l s oa n a l y z e st h ek e yt e c h n o l o g i e so fa ra n d d e v e l o p m e n tp l a t f o r m t h i st h e s i sa p p l i e st h em o d e l i n go f3 d sa n dt h eg r a p h i c sr e n d e r i n gw h i c hi sb a s e do n p r o g r a m m a b l eg r a p h i c sh a r d w a r ei n t ot h ea rs y s t e m ，a n df u r t h e rd e v e l o p st h ep l a t f o r mo f a r t o o l k i t b e s i d e st h a t ，t h i sp a p e rd e s i g n sah u m a n - c o m p u t e ri n t e r a c t i o ns y s t e mb a s e do n m o n o c u l a rv i s i o n , a n dd i s c u s s e si t sr e a l i z a t i o n s t h ep r e s e n tt h e s i si n c l u d e s ： 1 s t u d yt h ea u g m e n t e dr e a l i t yo ft r a c k i n gr e g i s t r a t i o n ，m a i n l yo nt h er e a l i z a t i o no f i d e n t i f i c a t i o nm a r k e ra n dt h ec o n v e r s i o no ft h em a t r i xo fc o o r d i n a t es y s t e m a u g m e n t e d r e a l i t yo f t r a c k i n gr e g i s t r a t i o ni so f h i g he f f i c i e n c ya n dt h u sc a nb eu s e dt om e e tt h en e e do f r e a l t i m ep e r f o r m a n c e 2 a n a l y z et h eb a s i cm o d e l i n go f a r t o o l k i ta n da m e l i o r a t ei t , i n t r o d u c et h em o d e l i n g o f3 d si n t ot h ep l a t f o r mo fa r t o o l k i t i ta l s oa n a l y z e sb a s i cs 仃u c t l l r e so f3 d sf i l e st y p e 3 de d i t o rc h u n ka n dk e y f r a m e rc h u n k ，p r e s e n t st h er e a l i z a t i o no ft h i sk i n do fm e t h o da n d t h er e s u l t so f t h ee x p e r i m e n t t h ea p p l i c a t i o no f3 d sf i l et y p ei n t ov i r t u a lm o d e l si n c r e a s e s t h ec o m p l e x i t ya n de f f i c i e n c yo f m o d e l i n g 3 r e s e a r c ht h eb a s i cr e n d e r i n go ft h ep l a t f o r mo fa r t o o l k i ta n da m e l i o r a t ei t p a t f o r w a r dt h ea p p l i c a t i o no fp r o g r a m m a b l eg r a p h i c sh a r d w a r ea n dp l a t f o r m - c r o s so fc g l a n g u a g ei n t ot h ep l a t f o r mo fa r t o o l k i t a n a l y z ea n dt h e nr e a l i z et h ec gl i g h t e n i n g r e n d e r i n g f o ge f r e c ta n dt h ee 船c t so fd i s t o r t i o na n i m a t i o n p r o v i d et h ee x p e r i m e n tr e s u l t o fe a c hs e c t i o na n di t sa n a l y s i s t h ea p p l i c a t i o no fc gi n t ot h ea rs y s t e mc a nf u r t h e r i m p r o v et h er e a l i t i e so f v i r t u a lo b j e c t s ，a n di t sc o m b i n a t i o no f r e a lo b j e c t s 4 i m p o r t3 d sm o d e l i n g ，g r a p h i c sr e n d e r i n gb a s e do nc g ，t h ed i s p o s a lo fm u t u a l i n f o r m a t i o ni n t ot h ep l a t f o r mo fa r t o o l k i t i n t r o d u c ea n dd e s i g nt h er e a l i z a t i o no fa h u m a n c o m p u t e ri n t e r a c t i o ns y s t e mb a s e do nm o n o c u l a rv i s i o n t h es y s t e mh a sag o o d c o m p a t i b i l i t y , l o wr e q u i r e m e n to nt h eh a r d w a r e ，s t a b l ec a p a b i l i t y , b e t t e re x p a n s i b i l i t ya n d t r a n s f e r a b i l i t y k e y w o r d s ：a u g m e n t e dr e a l i t y , a r t o o l k i t ，h u m a n c o m p u t e ri n t e r a c t i o n , 3 d s ，c g 插图清单 混合现实的连续变化区间1 孕妇腹部的虚拟胎儿3 激光打印机的虚拟打印纸托盘4 讲解发动机模型时添加文字注释4 虚拟线显示了机器臂计划移动的位置5 真实桌子与虚拟台灯及椅子6 视频透视式头盔显示器l o 光学透视式头盔显示器l o 普通显示器1 l 平面标识物1 3 摄像机坐标系和标识物坐标系的转换关系1 4 a r t o o l k i t 的体系结构。1 8 a r t o o l k i t 的工作流程1 9 加入3 d s 建模的a r t o o l k i t 平台工作流程2 2 3 d s 文件部分块及其层次结构2 3 3 d s 模型信息导入及绘制程序流程图2 9 实验采用的平面标识物3 0 在a r t o o l k i t 平台中导入3 d s 鲨鱼模型及纹理贴图3 0 在a r 系统中导入带有关键帧动画的3 d s 模型3 1 在a r 系统中导入多个3 d s 模型3 l c g 运行库a p i 的各个部分3 3 加入c g 图形渲染的a r t o o l k it 平台工作流程3 5 基于o p e n g l 建模的a r t o o l k it 平台c g 渲染流程图3 5 基于3 d s 建模的a r t o o i k i t 平台c g 渲染流程图3 6 放射项3 7 环境反射项3 8 漫反射项3 8 漫反射光照的计算3 8 镜面反射项3 9 计算镜面反射项3 9 指定一个聚光灯的取舍角4 0 用来计算聚光灯效果的向量4 l 为一个聚光灯指定内部和外部圆锥4 1 s m o o t h s t e p 函数的曲线图4 2 卫4 5 6 1 2 3 4 5 6 7 l 2 3 4 5 6 7 l 2 3 4 5 6 7 8 9 n 挖坞m ，2 2 2 2 2 2 2&屯龟t t龟t乱t乱t龟t乱乱图图图图图图图图图图图图图图图图图图囹图图图图图图图图卧卧艮卧卧卧酊 图4 1 5c g 顶点光照程序流程图4 2 图4 1 6 在a r t o o l k i t 平台中加入c g 光照处理4 3 图4 1 7 雾的粒子对光线传播的影响4 4 图4 1 8c g 雾化效果程序流程图4 5 图4 1 9 在a r t o o l k i t 平台中加入c g 雾化处理4 6 图4 2 0 沿法向量方向移动物体表面顶点4 7 图4 2 lc g 变形动画程序流程图4 7 图4 2 2 在a r t o o l k i t 平台中加入c g 光照及变形动画处理4 8 图5 1a r 人机交互系统工作流程5 0 图5 2 系统初始化及获取视频帧流程图5 0 图5 3 标识物检测识别及变换矩阵计算流程图5 1 图5 4 标识物空间距离计算流程图5 1 图5 5 虚实场景合成流程图5 2 图5 6 通过调整标识物距离控制3 d s 鲨鱼模型的缩放效果5 3 图5 7 通过调整标识物距离控制c g 雾化效果5 4 表格清单 表3 1m o d e 的取值及功能2 1 表3 2 o p e n g l 实用库中的建模函数一2 1 表3 3o p e n g l 实用工具开发库中的建模函数2 l 表3 43 d s 文件的块结构2 3 表3 5 物体描述块( o x 4 0 0 0 ) 的子块信息2 4 表3 6 三角形列表块( o x 4 1 0 0 ) 的子块信息2 4 表3 7 顶点列表块( o x 4 1 1 0 ) 信息2 4 表3 8 面描述块( 0 x 4 1 2 0 ) 信息2 5 表3 9 点光源块信息2 6 表3 1 0 相机块( 0 x 4 7 0 0 ) 信息2 6 表3 1 lr g b 颜色块信息2 6 表3 1 22 4 位颜色块信息2 6 表3 1 3 关键帧块( o x b 0 0 0 ) 信息2 7 表3 1 4 保存3 d s 块信息的常量定义2 7 表3 1 5 保存3 d s 主要块信息的结构体2 8 表3 1 6 类c l o a d 3 d s 中的主要方法2 8 表4 1 常见的o p e n g l 图形渲染函数3 2 表4 2c g 顶点p r o f il e 3 4 表4 3c g 片段p r o f i l e 3 4 表4 4 实验中的c g 光照参数信息4 3 表4 5c g 雾化效果的外部控制参数4 5 表4 6c g 变形动画的外部控制参数4 7 表5 1a r 交互实验的部分参数值5 3 独创性声明 本人卢明所早交的学位论文是本人在导师指导r 进行的研究仵及取得的研究成果。 据我所知，除了文中特别加以标注雨j 致谢的地方外，论文中不包含其他人已经发表或撰弓 过的研究成果，也不包含为获得 金墅! ：些厶堂或其他教百机构的学位或证够而使 圳过的材料。与我一同1 ：作的同忠对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名： 签字日期：历7 年6 月2 艿e l 学位论文版权使用授权书 本学位论文作者完全了解金墅e 些厶堂有关保留、使h j 学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印f f ：和磁盘，允许论文被查阅和借阅。本人授权金 胆! ：些厶堂可以将学位论文的全部或部分内容编入有关数据库进行检索可以采_ l 影印、 缩印或扫描缚复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 签字日期：砷月瑙日 学位论文作者毕业后去向： 1 ：作单位： 通讯地址： 签字刚2 矗压“嘶 f 电话： 邮编： 致谢 本论文的写作，从选题、开题到整个写作过程，一直是在导师蒋建国教授的悉一b 指导与严格要求下完成的。在三年的学业中，蒋老师不仅给予了我专业的学术知识， 更给予了我做研究的科学方法，这将使我获益终生。蒋老师开拓性的思维方式，正直 朴素的品质、对科学真知的追求精神、严谨求实的科学研究态度潜移默化地给予了我 巨大的影响。我的硕士毕业论文得以完成，首先我要对导师蒋建国教授致以深深地感 谢。 衷心感谢合肥工业大学计算机信息学院的刘晓平教授、王浩教授、齐美彬副教授 和其他老师，是他们在各自领域渊博的学识指导我避免进入很多误区。在他们的热情 帮助下使我顺利完成了学业。 本论文的写作同时也得到了我的同事淮北煤炭师范学院的魏仕民教授、洪留荣博 士的悉心指导，在论文的写作过程中，同学及同事彭太乐、刘升、张震、张亚萍、李 建国、岳成刚等人给予了我不尽的启迪与研究的思路。在此我对所有帮助过我的老师、 同学及同事表示衷心的谢意。 硕士论文的写作是一个充满挑战与十分艰辛的过程，需要坚定的信念、精神的支 撑与生活上的照顾。感谢几年来我的妻子每每在关键的时刻对我的鼓励与支持，感谢 我的父母多年来对我事业追求的理解及他们为我所做出的巨大帮助，我特别将我的这 篇论文献给我的家人。 最后，衷心感谢为审阅本文而付出辛勤劳动的专家学者。 作者：沈克 2 0 0 7 年6 月 第一章绪论 1 1 论文研究背景 增强现实( a u g m e n t e dr e a l i t y ，a r ) 是由虚拟现实( v i r t u a lr e a l i t y ，v r ) 发展出来的新研究领域，是一种将计算机产生的虚拟物体或信息与真实环境进 行合成并对景象加以增强或扩充的技术。a r 与v r 的主要区别在于，它并不 是把使用者与真实世界隔离，而是将计算机生成的虚拟对象叠加到真实场景中， 构造出虚实结合的空间。从观察者的角度来看，真实物体和虚拟对象是共存的， 同时可以互相增强或互为补充。因此a r 系统具有虚实结合、实时交互以及三维 注册等新的特点。a r 技术可以加强人们对现实世界的感知与交互能力，具有广 泛的应用前景，也是近年来的一个研究热点。 a r 技术最早可以追溯到1 9 6 8 年，s u t h e r l a n d 制作的第一个透射式头盔显 示器就可以作为a r 设备来使用。由于硬件设备与图形学研究本身的限制，在随 后的2 0 年中a r 技术并没有显著的进展。2 0 世纪9 0 年代初期，波音公司的t o m c a u d e l l 和他的同事在其设计的一个辅助布线系统中提出了“增强现实”这个 名词。该系统利用透射式头盔显示器将用线条绘制的布线路径和文字提示实时 地叠加在操作人员的视野中，依靠虚拟布线路径和提示信息帮助操作人员完成 复杂的拆卸过程，减少工作中出错的机会。接下来又相继出现了多种a r 应用系 统，主要集中在医疗、制造与维修、机器人遥控、娱乐及军事等方面。由于设 备配置的复杂性和精度要求等方面的原因，这些系统大部分还没有真正投入实 际的应用”。 m i l g r a m “3 定义了一个从真实世界到虚拟环境的连续变化区间，如图1 1 所 示。这个变化区间被称为混合现实( m i x e dr e a l i t y ，m r ) ，a r 是m r 区间的一部 分。图中的增强虚拟( a u g m e n t e dv i r t u a l i t y ，a v ) 是指把真实对象添加到虚拟环 境中。 图1 1 混合现实的连续变化区间 a r 与v r 在技术上存在着很多不同，主要表现在以下几方面： ( 1 ) 对虚拟场景的生成要求不同 对a r 而言，虚拟物体或信息起到了辅助增强的作用，为了满足实时性等 要求，一般的a r 系统对虚拟对象的数量和真实感要求不高，比如一些解释和 说明类应用，通常只要求简单的图形或文字的增强信息。某些高级a r 应用需 要能够做到高度真实感的虚拟对象与真实场景进行无缝融合。 而对于v r 而言，必须保证具有高度真实感的虚拟场景，因为在v r 技术 中，虚拟场景完全代替了真实世界场景。如果虚拟场景不够真实，则无法让使 用者有足够的沉浸感。 ( 2 ) 使用的显示设备不同 a r 系统不隔离周围的真实环境，强调用户在现实世界的存在性并努力维 持其感官效果的不变性。a r 系统致力于将计算机产生的虚拟环境与真实场景 进行融合，从而增强用户对真实场景的理解，因此需要借助能够将虚拟环境与 真实场景融合的显示设备，通常采用透视式头盔显示器。 v r 系统强调用户的视觉、听觉和触觉等感觉器官完全沉浸在由计算机实 时产生的虚拟环境之中，通常需要借助能够将用户视觉与真实环境相隔离的显 示设备，因此v r 系统一般采用浸没式头盔显示器。 ( 3 ) 对注册精度要求不同 a r 与v r 对注册精度的要求不同。在a r 系统中，注册主要是指将虚拟物 体与真实场景进行全方位的对准。而在浸没式v r 系统中，注册是指呈现给用 户的虚拟环境与用户的各种感官相匹配。a r 系统对注册精度的要求比v r 系统 更高。 a r 系统要求实时地检测出观测点的位置和指向，以便根据这些信息确定 所要添加的虚拟对象在真实空间中的位置，从而产生与用户看到的真实世界景 象相匹配的输出效果，也就是要使真实景象显示和虚拟对象绘制之间保持同步 和协调一致。a r 系统必须保证足够的注册精度，较大的误差会破坏虚拟物体 与真实场景的视觉一致性，从而改变用户对其周围环境的感觉，影响用户在a r 场景中动作的协调性，甚至会导致完全错误的用户行为。 v r 系统要求能够产生与用户姿态相一致的虚拟图像输出，也就是要使用 户的运动姿态和虚拟场景显示之间保持同步。为使两者能够协调一致，必须在 两者之间使用传感器，由于传感器误差而造成的注册错误会使用户的视觉系统 与运动系统产生感觉差异，但由于人的视觉系统具有视觉暂留的特性，v r 用 户可以逐渐克服和适应这种感觉差异所带来的不适应性。 1 2a r 的主要应用及国内外研究现状 a r 技术在外科手术与医学研究；机械制造、装配与维修；注释及注解的 可视化；生活与娱乐；军事；机器人遥控以及商业等领域都具有广阔的应用前 景。 ( 1 ) 外科手术与医学研究 常见的a r 医学应用是用a r 系统指导进行外科手术。利用a r 技术可以 2 将病人的核磁共振成像( m r i ) 或计算机x 线断层摄影( c t ) 图像叠加在病人 的身体部位，使医生可以更具体地了解病人体内的病情。a r 也可以协助实现 手术过程的可视化，在手术过程中，a r 系统可以提供给医生精确的手术位置 和手术步骤提示信息，指导医生一步步地完成手术。 目翦在医学领域从事a r 系统研究的机构主要有美国北卡罗莱纳大学 ( u n c ) 图形及可视化科学技术中心( s t c ) ，他们主要将a r 技术用于超声波 和腹腔镜检查可视化的研究。科罗拉多矿业大学研究小组利用超声波传感器扫 描孕妇的子宫，得到三维的胎儿图像，并将其显示在医生佩戴的头盔显示器上， 从而使医生看到了正在运动的胎儿图像1 ，如图1 2 。另外，m i t 的a i 实验室、 通用电气以及其它一些研究组织或机构也正在从事m r i 或c t 可视化方面的工作 1 5 图1 2 孕妇腹部的虚拟胎儿 ( 2 ) 机械制造、装配与维修 在机械设备的制造、装配与维修领域，利用a r 技术可以将大量复杂的手 册或指南以生动的3 d 图形表示，并且直接与真实场景结合，对每一步的工作 进行现场指导。对工程技术人员而言，这些附加的图像、文字比安装手册更加 生动和易于理解。利用3 d 图形的重叠进行注释与注解可以使技术上的指导更 加清楚直观。而且由于a r 系统的增强显示可以为工程技术入员实时提供大量 所需信息，因此大大简化了工程技术人员实施工程的难度，提高了工作效率及 工程质量。 在这一领域，目前已研制出可供演示的原型系统，如哥伦比亚大学f e i n e r 、 m a c i n t y r e 研究组应用a r 技术进行激光打印机的维修跟踪，如图1 3 所示。 该研究组还将a r 系统用于汽车门锁的安装。该系统能够一步一步地指导毫无 经验的用户完成复杂的门锁安装任务。在安装过程中用户还可以通过语音识别 系统与计算机进行交互式的对话。该样机曾经在1 9 9 8 年的工业交易会上展出， 并受到了众多媒体的关注”1 。美国波音公司计算机服务研究和技术组将a r 技 术应用于飞机制造中的电力线缆的连接和接线器的装配。在a r 系统的帮助下， 一个未受过训练的工人也可以胜任此项工作，因而减少了公司培训员工的周期， 同时为波音公司节约了大量用于存储布线板的空间和花费。 图1 3 激光打印机的虚拟打印纸托盘 ( 3 ) 注释及注解的可视化 利用a r 技术对事物或环境进行解释说明是a r 的又一应用领域。例如在 图书馆，读者在馆内走动的同时可以用手持式显示器显示图书馆内的各类信息， 如书架的图书内容。在欧洲计算机工业研究中心( e u r o p e a nc o m p u t e ri n d u s t r y r e s e a r c h c e n t r e ，e c r c ) 的此类研究实验中，用户只需指向一个机械模型的某 一部位，a r 系统即可显示出该部位的名称”1 ，如图1 4 所示。另外，还可利用 私人信息对人或特殊物品进行注释注解，起到提示提醒的作用。 图1 4 讲解发动机模型时添加文字注释 ( 4 ) 生活与娱乐 在日常生活中，a r 系统可用于助残、导游、导航，以及购物指南等。哥 伦比亚大学已研制出称之为“m a r s ”的校园导游系统。索尼计算机科学实验 室目前已研制出用于校园导游、购物指南、博物馆导游等多方面应用的a r 系 统。 另外，a r 在娱乐和新闻业的一个应用雏形就是每晚的天气预报节目。主 持人站在变化的气象图前，为我们指点天气的变化情况。实际上，主持人只是 4 站在摄影棚中的一块绿或蓝屏前完成节目的录制。再利用一种被称为“色度选 择( c h r o m a k e y i n g ) ”的技术将计算机绘制的图形与录制完成的真实图像合成。 也可以利用a r 技术将真实的演员与虚拟的背景实时融合在一起，娱乐业将其 看作是一项节约影视制作成本的方法，用计算机创建及存储道具和布景远比用 实物廉价得多。当然，严格按照a z u m a 对a r 的定义，这类应用并不是真正意 义上的a r 技术，因为它不具备“实对交互”的特点。m i t 媒体实验室正在进 行一项名为a l i v e 的研究，试图进一步开发a r 在这方面的应用，实现真正 意义上的a r 。s a t o h 研究组开发出了一个实时交互性a r 系统，可用于玩曲棍 球游戏。该游戏属于交互式游戏，在游戏过程中用户双方持球柄驱动虚拟球体 模仿真实的曲棍球比赛场景。 ( 5 ) 军事应用 军事领域对a r 技术一直相当关注，并取得了一些成果。目前美国军方正 在从事a r 技术中目标跟踪的研究，以期望为军用飞机上装载的武器装备提供 瞄准路径方面的增强信息，并达到开阔飞行员视野和提供导航信息的目的，甚 至可以对环境中的目标提供更好的跟踪与定位，以提高武器的瞄准精度。 随着a r 技术研究的深入，今后的a r 系统将可以运用在室内或室外的任 意环境，不必局限于驾驶舱等狭小的空间。室外的a r 系统可为陆上步兵提供 许多辅助信息，起到导航、测距、目标搜索等关键作用，可用于战时或平时的 军事训练。 ( 6 ) 机器人遥控 机器人的遥控一直是一个难题，尤其是当机器人的活动线路较长，距离较 远时，通讯连接存在较大延迟。在这种情况之下，通过控制机器人的虚拟模型， 用户可以对机器人的行为进行实时的设计和指定。控制的结果直接显示在真实 世界之中。设计经过检验和确定之后，用户就可以指示真正的机器人去执行指 定的设计，如图1 5 所示。这就避免了由于延迟而导致对机器人活动路线的引 导产生不稳定效果“。 图1 5 虚拟线显示了机器臂计划移动的位置 机器人的虚拟模型还可以预测操作后的效果，因此可以在用户执行既定任 务时作为计划编制和预览工具。经过多伦多大学a r g o s 系统的演示证明，利 用a r 来进行机器人活动路线设计，比传统方法更易于操作，精度更高。 ( 7 ) 商业应用 增强现实还广泛运用于广告、办公环境、室内装潢等商业领域。s a t o h 研 究组将a r 系统用于室内装饰。在一个简陋的房间内，用户通过头盔显示器可 以看到经过装饰后的室内虚拟场景“，如图1 6 所示。d a n i e l a h a l l 等人研制出 了一种用于办公室环境的增强现实系统m a g i c b o a r d “”。华盛顿大学将增强现实 技术运用于远程会议系统。 图1 6 真实桌子与虚拟台灯及椅子 a r 作为一个新的研究领域，在近年来取得了很大的发展。1 9 9 7 年，a z u m a 等人在发表的一篇综述论文中定义了a r ，概述了a r 系统的特点并总结了a r 的发展。在2 0 世纪9 0 年代，国际上相继成立了几个a r 研讨会，如国际增强 现实研讨会、国际混合现实研讨会，以及增强现实环境设计研讨会等。一些有 资金资助的组织也非常关注a r ，如日本的混合现实系统实验室、华盛顿大学 人机接口实验室( h i t ) 和德国的a r v i k a 协会等等。 a r 在应用领域有着巨大的潜力，在工业、国防、教育、医疗等领域具有 很广阔的应用前景。国内在a r 方面的研究起步较晚，北京理工大学、国防科 技大学、北京航空航天大学、浙江大学、电子科技大学等国内院校己经在a r 系统的摄像机校准算法、虚拟物体的投影注册算法、用于a r 的头盔显示器的 设计、a r 三色立体基准注册技术、a r 中的重叠问题、a r 的工程应用等方面 取得了一些研究成果。 a r 目前还存在很多技术方面的难题。例如，透视式头盔显示系统缺乏足 够的亮度、对比度和分辨率。这就使光学透视式头盔显示器存在真实环境与虚 拟场景光强度难以达到最佳匹配的缺点，而视频透视式头盔显示器则将人眼的 分辨率降低至显示器的分辨率范围。注册也是一个较难解决的问题，因为人的 视觉是非常敏感的，跟踪系统的误差、延迟等原因都会造成注册误差，到目前 6 为止还没有一个系统的解决方案。另外，目前的大多数a r 系统都是运用于预 知的环境中，而在非预知环境中的a r 系统比较少见。 a r 除了技术上的问题之外，还存在用户界面和社会接受程度的限制。a r 需要确定许多高层任务，比如要确定提供何种信息，如何恰当的表示数据，用 户如何查询数据等。社会接受程度是a r 面临的又一挑战，如果具备了理想的 硬件和直观的界面，a r 系统如何能够象移动电话一样，成为人们每天生活的 一部分。劝说用户戴上a r 显示系统还要解决从时尚到个人隐私等许多问题， 目前对这些问题的研究还较少涉及。 总体来说，目前的a r 应用系统发展还不成熟，大多处于基础理论研究及 实验室开发阶段。少数可用的a r 系统也被限制在专业领域，成本较高，难于 普及。当今大多数个人及企业用户正在使用基于w i n d o w s 平台的桌面p c 系统 或笔记本电脑，并且其中相当一部分配备有廉价的c m o s 摄像头，这给基于单 目视觉的a r 应用系统带来了广阔的发展空间，但目前以此为基础的a r 应用 还不多见。 1 3 论文研究内容及组织结构 1 3 1 研究内容 本文研究了a r 系统中的关键技术，包括显示技术、跟踪注册技术、虚实 合成技术及人机交互技术等。主要研究a r 系统中基于视觉的跟踪注册方法，包 括标识物的识别及多个坐标系的矩阵转换等问题，同时研究a r 应用系统中采用 的人机交互方式。 根据目前基于单目视觉及桌面p c 平台的a r 技术应用不足的现状，本论 文基于a r t o o l k i t 开发平台进行相关研究。分析a r t o o l k i t 开发平台的体系结 构及工作流程，主要研究a r t o o l k i t 平台的建模方法和图形渲染方法，分析其 基本建模和图形渲染方法存在的问题并进行了改进，将基于3 d s 的建模方法以 及基于可编程图形硬件与c g 语言的图形渲染方法引入a r t o o l k i t 平台，提高了 a r 应用系统中建模及渲染的效率和a r 场景的真实感。 将3 d s 模型信息的导入、基于c g 的图形渲染、交互信息的分析与处理等模 块与a r t o o l k i t 平台进行整合，设计并实现一个基于单目视觉的桌面a r 人机交 互系统。 1 3 2 本文的组织结构 本文的组织结构安排如下： 第一章绪论。首先介绍了论文的研究背景，主要包括a r 的基本概念及其 与v r 的区别；然后介绍了a r 的主要应用领域及研究现状，提出了发展基于单 目视觉及桌面p c 平台的a r 应用系统的必要性。 7 第二章a r 关键技术及开发平台。首先介绍了a r 中的显示技术、跟踪注 册技术、虚实合成技术以及人机交互技术，重点介绍了基于视觉的跟踪注册及 a r 系统的人机交互方式，然后分析说明了a r t o o l k i t 平台的体系结构、工作流 程和主要特点。 第三章a r t o o l k i t 平台的建模方法。首先分析了a r t o o l k i t 平台的基本 建模方法及其存在的问题，然后对a r t o o l k i t 平台的建模方法进行了改进，将 基于3 d s 的建模方法引入a r t o o i k i t 平台，分析了3 d s 文件的基本结构、3 d 编 辑器块结构及关键帧块结构，最后给出了系统实现以及实验结果与分析。 第四章a r t o o l k i t 平台的图形渲染。首先分析了a r t o o l k i t 平台的基本 渲染方法及其存在的问题，然后对a r t o o l k i t 平台的渲染方法进行了改进，将 基于可编程图形硬件与c g 语言的渲染方法引入a r t o o l k i t 平台，重点分析并实 现了c g 光照渲染、雾化渲染和变形动画效果，给出了各部分的实验结果及分析。 第五章a r 人机交互系统的设计与实现。在a r t o o l k i t 平台中加入了3 d s 模型信息的导入、基于c g 的图形渲染、交互信息的分析与处理等模块，设计并 实现了一个基于单目视觉的桌面a r 人机交互系统，给出了系统实验结果及分 析。 第六章总结与展望。主要总结了本人在论文研究阶段的工作，并对a r 应用系统中的跟踪注册、基于c g 的图形渲染以及人机交互技术的进一步研究进 行了分析与展望。 8 第二章a r 关键技术及开发平台 增强现实是一个典型的交叉学科，它的研究范围十分广泛，涉及到诸如信 号处理、图像处理、计算机视觉、计算机图形学、人机交互、计算机网络与移 动计算等各个领域。建立一个a r 系统需要解决很多关键技术问题。主要包括 四个部分：显示技术、跟踪注册技术、虚实合成技术与人机交互技术。 2 1 显示技术 a r 应用系统一般是针对人类视觉设计的，以图形图像作为主要的输出媒 体。因此，a r 中的显示技术是基本的关键技术之一。通常可以把a r 中采用的 显示技术划分为以下几类：视频透视显示、光学透视显示、普通显示器显示、 投影式显示、手持式显示器显示等。 2 1 1 头盔显示器 头盔显示器较其他几种显示技术而言沉浸感最强，因此现有的a r 系统中大 多采用头盔显示器。因为用于a r 系统的头盔显示器能够看到周围的真实环境， 所以叫做透视式( s e e - t h r o u g h ) 头盔显示器。透视式头盔显示器的主要作用是实 现虚拟信息与真实场景的融合，由三个基本环节构成：虚拟信息显示通道、真 实环境显示通道、图像融合及显示通道。根据对真实环境的表现方式划分，目 前的透视式头盔显示器主要有基于摄像原理的视频透视式头盔显示器和基于光 学原理的光学透视式头盔显示器两种形式。 视频透视式头盔显示器( v i d e os e e - t h r o u g hh m d ) 是把一个封闭的视频头盔 同一到两个视频摄像机结合在一起。视频摄像机为用户提供真实世界中的场景， 这些真实的视频同虚拟信息生成器产生的虚拟图像相融合。最后结果由位于封 闭式头盔上的显示器输出，用户便可以观察到增强的真实世界。图2 1 显示了 视频式头盔显示器的构造示意图。它由安装在使用者头盔上的摄像机摄取外部 真实环境的图像，头顶跟踪器跟踪用户的位置，虚拟场景生成器根据用户的位 置处理生成所要添加的虚拟信息，通过视频合成器，虚拟信息与真实环境的视 频信号融合在一起，最后通过位于头盔前部的显示器呈现给用户。 9 一藿蠢 图2 1视频透视式头盔显示器 基于光学原理的光学透视式头盔显示器( o p t i c a ls e e t h r o u g hh m d ) 则是通 过一对安装在用户眼前的半透半反的光学混合器实现对外界真实环境与虚拟信 息的融合，如图2 2 所示。真实场景直接透过半透半反镜呈现给用户，虚拟信 息生成器根据头部跟踪器跟踪到的位置，计算生成虚拟场景信息，经过监视器 光学放大，再经半透半反镜反射进入人眼睛，真实场景和虚拟信息的融合通过 光学混合器来实现。 图2 2 光学透视式头盔显示器 透视式头盔显示器可以实现虚拟信息与真实环境的混合显示，在上述两种 头盔显示器系统中，都存在两个生成混合图像的图像源：真实环境和计算机生 成的虚拟信息。它们之间的主要区别就在于真实环境的显示方式。光学透视式 h m d 对真实环境是几乎“无损”的显示，使用者对真实环境的观察只受到半透 半反的光学组合器的过滤，所获得的信息比较可靠和全面，但这也使真实环境 与虚拟图像的融合变的较为困难。而视频透视式头盔显示器对真实环境的显示 受到诸如分辨率等很多因素的限制，但是在真实环境与虚拟图像的融合方面却 比较容易。 1 0 2 1 2 投影显示器 投影式显示( p r o j e c t i o nd i s p l a y s ) 是将虚拟信息直接投影到要增强的物 体上。美国伊利诺斯州立大学和密歇根州立大学的一些研究人员研究出一种原 型系统，采用放在头上的投影机( h e a d - m o u n t e dp r o j e c t i v ed is p l a y ，h m p d ) 来进行投影。该系统由一个微型投影镜头，一个戴在头上的显示器和一个双面 自反射屏幕组成。由计算机生成的虚拟物体显示在h m p d 的微型显示器上，虚拟 物体通过投影镜头折射后，再由与视线成4 5 度的分光器反射到自反射的屏幕 上。自反射的屏幕将入射光线沿入射角反射回去，进入人眼中，从而实现了虚 拟信息与真实环境的重叠。 2 1 3 普通显示器 a r 系统也可以采用普通显示器