（计算机应用技术专业论文）易用型增强现实系统开发工具的设计与应用.pdf

浙江大学硕士学位论文摘要 摘要 本文提出一种基于g u i 操作的通用增强现实开发模型- - g p d m a r ，并以此模型 为指导，在w i n d o w s 平台上开发了面向非专业人员的易用型开发工具e a s y a r 系 统。另外，作者还利用e a s y a r 实现了两个增强现实应用系统。， 本文首先简要介绍了增强现实的概念、发展历史及其应用领域。并对增强现 实系统进行综述，根据系统涉及到的技术和功能，将增强现实系统划分为若干个 子模块，阐述各个子模块的功能及其相关技术；然后重点提出通用增强现实开发 模型g p d m a r 。g p d m a r 模型对外提供了一个g u i 界面操作环境，内部采用一组抽 象逻辑组件来实现用户预设的应用逻辑；其次以g p d m a r 模型为指导，以a r t o o l k i t 为基础库，在w i n d o w s 平台上实现了一个易用型a r 系统开发工具- - e a s y a r 系统； 最后使用e a s y a r 系统设计和实现了虚拟点菜系统与分子剪刀展项两个增强现实 应用系统，验证g p d m a r 模型的可行性。虚拟点菜系统把增强现实技术引入到餐 馆的点菜管理服务中，用户通过标记进行点菜并在增强的真实场景中获得菜目和 结算信息；分子剪刀展项运用增强现实技术，实现虚实结合的三维动画和交互方 式，让用户以沉浸的方式体验基因的剪切、拼接等一系列重组操作过程。 关键字：增强现实，计算机视觉，g p d m a r ( 通用增强现实开发模型) ，e a s y a r 系统 浙江大学硕士学位论文 a b s t l a c t a b st r a c t t h ist h e s is p r e s e n t sa ne a s yw a y t o d e v e l o pd i f f e r e n ta u g m e n t e d r e a l i t y ( a r ) a p p l i c a t i o n sw i t h i nag e n e r a lp u r p o s ed e v e l o p m e n tf r a m e w o r k ag u i d em o d e lc a l l e dg p d m a risp r o p o s e da n da ne a s y t o u s ed e v e l o p m e n t t o o li s i m p l e m e n t e do nw i n d o w sp l a t f o r ma c c o r d i n gt o t h isg u i d em o d e l f i n a l l yt w op r a c t i c a ia p p l i c a t i o n sa r ed e v e l o p e du s i n gt h ist 0 0 1 c h a p t e r1i n t r o d u c e st h ec o n c e p t ，h i st o r ya n da p p li c a ti o no fa ra n d d is c u s s e st h ed e t a i ls i n c l u d i n g f u n c t i o n a ls u b _ 。m o d u l e sa n dk e y t e c h n o l o g i e si n s i d eat y p i c a l l y v is i o n 。b a s e da r s y s t e m ；c h a p t e r 2 d e s c r i b e sag e n e r a lp u r p o s ed e v e l o p m e n ts o l u t i o nf o ra rs y s t e mw i t hav i e w o fs u p p o r t i n gf a s td e v e l o p m e n t a i m e da tt h i s ，ag u i d em o d e lc a l l e dg p d m a r i sf o r m e d itp r o v i d e sag r a p h i c a iu s e ri n t e r f a c e i n si d e s ，ita d o p t sa s e t i e s o fl o g i c a lc o m p o n e n t sw h i c hc a na c h i e v ed i f f e r e n tl o g i c a lt a s k s t h r o u g hc o m b i n a ti o n s a c c o r d i n gt ot h ism o d e l ，a ne a s y t o u s ed e v e l o p m e n t t o o lc a l1e a s y a ri sd e v e l o p e do nt h ep l a t f o r mo fw i n d o w sa n da r t o o i k it i nc h a p t e r3 ；u si n ge a s y h r ，c h a p t e r4d e v e l o p st w op r a c ti c a1a p p li c a ti o n s y s t e m s t h ef i r s to n ec a l l e dv i r t u a lm e n ua 1l o w su s e r st oo r d e rd i s h e s w it hm a r k e r sa n dg e td e t ail e di n f o r m ti o nt h r o u g ha na u g m e n t e dv i e wo f at e a lm e n u t h eo t h e ro n ec a ll e dd n as p li c ea 1l o w su s e r st oe x p e r i e n c e t h ec o u r s eo fd n ar e c o m b i n a ti o nb ym a n i p u l a ti n gm a r k e r si na ni m m e r si v e a n dv i v i dw a y k e y w o r d s ：a u g m e n t e dr e a li t y ，c o m p u t e rv is i o n ，g p d m a r ( g e n e r a lp u r p o s e d e v e l o p m e n tm o d u l eo fa u g m e n t e dr e a lit y ) ，e a s y a r 浙江大学硕士学位论文 图目录 图目录 图1 1 虚实连接带1 图1 2 基于视觉的a r 体系结构3 图1 3 使用木浆来挑选、放置、移动以及删除家具5 图1 4 增强现实组装指导系统8 图2 1g p d m a r 模型系统框图13 图2 2 应用逻辑模块算法流程图1 4 图2 3g u is h e l l 的基本框架1 5 图3 1e a s y h r 系统运行界面17 图4 1 虚拟点菜系统流程图2 9 图4 2 虚拟点菜系统运行截图3 1 图4 3 分子剪刀展项运行截图3 6 图4 4 分子剪刀系统流程图3 8 图4 5a r t o o i k it 实现的分子剪刀展项3 9 i i i 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得逝姿盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解逝姿态堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字日期：年月日签字日期：年月日 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 增强现实技术能够使计算机生成的虚拟信息与真实场景进行无缝融合1 1 ，并 能支持用户与其进行交互，它已经成为虚拟现实研究中的一个重要领域，也是人 机交互技术发展的一个重要方向，在现实生活中得到了广泛的应用。 1 1 增强现实概述 增强现实技术实时地把计算机生成的虚拟图像以正确的位姿叠加到真实的 物体上。a z u m a 2 1 提出了一个被普遍接受的增强现实定义，他认为增强现实技术是 一种融合虚拟和真实图像，能够实时交互，把虚拟图像注册到真实世界中的技术。 通过增强现实技术，把计算机生成的虚拟信息有机地融合到真实的场景当中，其 目的在于增强或扩张使用者视觉系统中的景象，增强使用者对真实世界的感知能 力和交互能力。 增强现实是虚拟现实的一个重要的分支。虚拟现实是一种模拟真实环境的先 进人机交互接口f 3 1 ，它强调用户的感官与真实世界隔离。增强现实则能让用户沉 浸在一个真实世界与虚拟物体相互融合的环境里面。事实上，增强现实并不是唯 一将虚拟世界和真实世界相结合的技术。m il g r a m 等人【4 1 提出了如何对这种虚实 结合的显示环境进行分类的方法，该方法根据用户界面中计算机生成信息的比例 定义了一个从虚拟世界过渡到真实世界的连续区域，称为虚实连接带 ( v i r t u a l i t yc o n t i n u m ) ，如图1 1 所示。 厂混雠实 真实环境增强现实 增强虚拟虚拟环境 图1 1 虚实连接带 浙江大学硕士学位论文第1 章绪论 1 2 增强现实的发展历史 本节对增强现实技术的发展历史作一个简要的回顾。表1 - 1 总结了增强现实 技术的发展历史。 表1 1 增强现实技术发展历史 1 9 5 7 - 1 9 6 2 盔 美国电影摄影师h e i l i g 创造发明了s e n s o r a m a 多感知模拟器”1 i 这个模 拟器包含了画面、声音、振动以及味道它是目前所知最早的沉浸式多 感知系统之一 1 9 6 6 年 s u t h e r l a n d 拍1 发明了头戴显示器，并把它认为是通向虚拟世界的一个窗 口 1 9 7 5 年 k r u e g e r 创建了一个叫做v i d e o p l a c e 的人工现实( a r t i f i c i a lr e a l i t y ) 实验室，旨在为用户周围创建一个能对用户的行为动作作出反应的人工 现实环境。 1 9 8 9 年 l a n i e r 首次提出了虚拟现实( v i r t u a lr e a l i t y ) 一词，并创立了首家买 虚拟现实产品的公司v p l 19 9 2 盔 c a u d e l l 在b e e i n g 公司帮助工人布置飞机线缆时首次提出了增强现实 ( a u g m e n t e dr e a l i t y ) 一词 1 9 9 2 年 r o s e n b e r g n 引开发了首个有实际用途的a r 系统。 1 9 9 2 年 f e i n e r 等人在图形接口会议( g r a p h i c si n t e r f a c ec o n f e r e n c e ) 上发表 了首篇关于a r 系统原型k a r m a 的重要论文该论文第二年发表在美国计 算机协会通讯( c o m m u n i c a t i o n so ft h ea c m ) 中，并被广泛引用 19 9 9 盔 k a t e 在h i t 实验室开发了a r t o o l k i t ，发表在当年的s i g g r a p h 中 2 0 0 0 年 b r u c e 与t h o m a s 开发了户外移动a r 游戏a r q u a k e ，发表在i n t e r n a ti o n a l s y m p o si u mo nw e a r a b l ec o m p u t e r s 中 2 0 0 4 年 2 0 0 4 年，g o r d o n 与l o w e 在i s m a r 上提出使用s i f t 方法实现脱离标记 的增强现实注册过程9 1 2 0 0 8 年w i k i t u d e 从t r a v e lg u i d e 于2 0 0 8 年1 1 月2 0 日在g 1a n d r o i d 手机平 台上发布 2 0 0 9 盔 s a q o o s h a 把a r t o o l k i t 移植到a d o b ef l a s h 中，把增强现实带入网页浏 览器之中。 1 3 增强现实系统综述 增强现实是一个多学科交叉的研究领域，它涉及到的研究对象包括信号处 2 浙江大学硕士学位论文第1 章绪论 理、计算机图形学、图像处理、人机界面与心理学、移动计算、计算机网络、分 布式计算、信息获取和信息可视化以及新型显示器和传感器的设计等【10 】。实际可 用的a r 系统必须包括以下几项技术【l ：( 1 ) 图形渲染硬件和软件用于创建覆盖 在真实世界之上的虚拟内容：( 2 ) 跟踪技术把用户视点的改变正确地反映在图形 渲染上；( 3 ) 标定注册工具对齐用户视点和虚拟视点；( 4 ) 显示设备显示虚实融 合的图像；( 5 ) 能够运行相关代码并支持输入输出设备的计算机处理器；( 6 ) 交 互技术描述用户如何操作a r 虚拟内容。本章讨论的a r 系统是基于视觉跟踪定位 技术的，一个典型的基于视觉的a r 应用系统模块结构如图1 2 所示。 图1 2 基于视觉的a r 体系结构 接下各小节将简要描述关键子模块的功能和研究内容。 1 3 1 系统模块介绍 1 跟踪定标 在计算机视觉中，大部分可行的跟踪技术可以分为两类：基于特征的跟踪与 基于模型的跟踪。基于特征的跟踪方法的基本原理是找到二维图像特征与其三维 世界坐标的对应关系。通过把特征的三维坐标投影到二维图像的坐标系中，最小 化它们对应的距离来求得摄像机的位姿12 1 。 有标记场景 对于一个有标记的增强现实场景，首先要在场景图像中分割出场景中的标 记，并恢复标记的形状。其处理过程分为以下几个步骤：( 1 ) 门限处理1 3 1 ；( 2 ) 边缘检测，可以应用l o g 算法【1 4 1 以及c a n n y 算法【1 5 1 实现；( 3 ) 边界恢复，例如使 用霍夫变换1 6 1 算法恢复出标记的边界直线经过以上的图像处理过程，便得到定 3 浙江大学硕士学位论文第1 章绪论 标过程需要的基本输入信息。 摄像机定标是重建三维真实世界的重要组成部分。摄像机定标包括两个方 面：内部参数定标与外部参数定标。内部参数给出摄像机的光学和几何学特性， 焦距，比例因子和镜头畸变；外部参数给出摄像机坐标相对于世界坐标系的位置 和方向，如旋转和平移1 7 】。k a t o 1 8 1 提出的正方形标记的定标方法利用标记的几何 特点，算法计算简单、准确性高( 基于该算法的h r t o o l k i t 库在实际开发中已被 广泛应用) 。 无标记场景 对于一个无标记的增强现实场景，图像处理阶段的主要目的是在图像中找出 关键特征的匹配对，这些特征匹配用作后续定标注册模块的输入目前主流的宽 基线自动特征匹配算法的基本步骤如下： 步骤l ，利用特征点提取算法，如h a r r i s 角点检测算法【1 9 1 ； 步骤2 ，采用适当的特征描述符，为每个关键特征点建立特征向量； 步骤3 ，根据特征向量的相似性来匹配特征点，获取候选匹配对。这里可以 采用各种距离函数来度量特征向量的相似性，对于高维向量可以采用基于k d 树 的b b f 算法【2 0 1 来解决。 步骤4 ，用r a n s a c 算法1 2 1 1 和极线约束剔除所有匹配对中的错误匹配。 l o w c 提出的s i f t 特征提取与描述算法【2 2 1 因其特征对旋转、尺寸以及光照变 化能保持不变，同时对仿射变换、噪声也具有一定的稳定性从而获得了广泛的应 用。许多最新的特征匹配算法也经常把它作为一个测试基准。 另外，v a c c h c t ti 等人1 把关键点的识别问题形式化为一个贝叶斯分类问题。 通过线下训练一个目标物体特征点的分类决策树，使得算法不需要在线做大量计 算的图像预处理过程。 无标记定标注册的基本思路与有标记定标注册是一致的。无标记定标注册需 要额外给真实场景指定一个世界坐标系，并确定每个特征点在这个坐标系中的位 置。通过对真实场景视频流中的每帧图像进行处理得到一组二维到三维的特征匹 配对。利用这些特征匹配对可以求解出定标矩阵。 4 塑垩查! ! 主兰竺兰苎 苎! 主兰兰 基于模型的跟踪技术利用被跟踪物体的特征模型，比如c a d 模型，基于可识 别特征的二维模板来跟踪定位c o m p o r t 采用机器人学中的视觉服务方法从一组 模型特征( 线，圆圈，圆柱以及球) 中计算摄像头的位姿拉4 1 3 逻辑控制 逻辑控1 模块定义和实现用户与系统的交互逻辑为此逻辑控制模块需要完 成两方面的任务( 1 ) 定义用户与系统的交互方武；( 2 ) 实现用户和系统的交互 内容。 定义用户与系统的交互方式即为系统指定并实现一种交互技术早先is h i l 提出了接触式用户界面( t a n g i b l eu s e ri n t e r f a c e ) ，即用户使用一个宴体物件 来操作数字信息o ”由于被使用的实体物件拥有与虚拟物体类似的属性物理限 制以及功效，这使得接触式用户界面功能非常强大我们可以把接触式用户界面 的隐啃应用到蚰中束，这种新的交互隐喻被称为t a r ( t a n g i b l oa u g m e n t e d r e a l i t y ) 。k a t o l 2 ”等人开发的v o m a r 应用系统展示了t a r 的强大功能 举个例子，图1 3 展示了在一个 r 室内设计的应用中，用户使用一个拍子 来选择和安排虚拟家具。拍子的动作被映射到基于手势的命令中，比如，倾斜拍 子可以把一个虚拟物体放入场景当中：敲打一个模型可以删除它。应用命令与拍 子的物理功效之阔的直观映射，使没有 r 经验的用户能很容易地创建虚拟场景 图i3 使用木浆来撬选放置，移琦以及删除家具 实现用户和系统的交互内容需要实现一种结构和机制来对不同的交互输入 浙江大学硕士学位论文第1 章绪论 产生不同的输出。这是一个具体的a r 系统最具自身特色的地方。第2 章提出了 通用增强现实开发模型g p d m a r ，它描述了一种通用逻辑控制结构和机制；第3 章 在g p d m a r 基础上设计实现了易用型a r 系统开发工具e a s y a r 系统，为不同目的 a r 系统提供了快速开发支持。 4 融合渲染 融合渲染模块完成虚拟场景和真实场景的融合叠加输出。因为有先前的跟踪 定标工作，所以这一阶段只需要作一些简单绘制和叠加处理，就能得到几何一致 的虚实融合图像。在一些为真实场景添加注释、箭头等指示性虚拟信息的a r 应 用中，这种具有简单的几何一致性的虚实融合效果已经能够满足应用需求。但在 一些要求高沉浸感的应用中，仅仅满足几何一致性的虚实融合效果显然不能满足 要求。为了得到高沉浸感的虚实融合效果，还需要满足虚实融合时的遮挡一致性 以及光照一致性。随着a r 应用需求的发展，遮挡一致性与光照一致性得到了越 来越多的关注，已成为目前的研究热点。虽然目前还没有成熟稳定的解决方法， 但一些解决思路已经出现。朱杰杰【2 7 1 等人使用高斯拟合的方法实现虚拟物体与真 实物体的遮挡问题；孙超m 1 等人则通过检测恢复人手的深度信息来实现人手与虚 拟物体的遮挡关系。 5 显示设备 目前应用于a r 系统的显示设备主要有看透式头戴显示器( s - h m d ) ，投影显 示器以及手持显示器。看透式头戴显示器采用光学或者视频技术，能够让使用者 看到被叠加上虚拟物体的真实场景。看透式头戴显示器基本上可以分为两类：光 学看透式( o s t ) h m d 和视频看透式( v s t ) h m d 。o s t 具有简单和轻巧的物理结构； 而v s t 能使用各种图像处理技术，比如矫正灰度和色彩以及控制混合比例t 2 9 1 。为 了给视点依赖的o s t 显示器产生正确的遮挡效果，b i m b e r 与f r 6 h li c h t 3 0 1 提出了 投影仪照明技术。 1 3 2 增强现实软件库现状 当前对增强现实应用开发提供支持的开发库大致可以分为两类，一类是提供 6 浙江大学硕士学位论文第1 章绪论 底层增强现实功能的基本开发库，另一种则是集成基本开发库并提供复杂功能支 持的开发框架1 3 1 1 。第一类开发库主要有a r t o o l k i t 、a r d k i 3 2 1 以及v p r n 等等，它 们提供最基本的a r 开发过程中所需的服务，比如摄像机定标与视频合并，但它 们对应用逻辑控制以及融合渲染几乎没有提供任何开发支持。第二类开发库主要 有o s g a r 3 3 1 、m o r g a n 3 4 1 以及d w a f r 等等，它们都是支持快速开发、可重用的a r 开发框架。虽然第二种类型的开发框架在开发过程中为某个功能模块提供的一个 快速的模型，但熟悉与掌握框架本身就需要有一定的学 - j 周期。另外，这两类开 发库在开发模式上一脉相承，他们均只提供了函数接口供专业开发人员使用，这 使得很多非专业人员被拒之门外。 1 3 3a r t o o l k i t 的功能与不足 a r t o o l k i t 是目前最为流行的增强现实开发库，它提供了基本的图像采集与 跟踪定标功能。使用a r t o o l k i ta p i 开发人员可以直接设定图像采集源，得到跟 踪定标结果。但a r t o o l k i t 对应用逻辑控制以及融合渲染没有提供任何开发支持。 o s g a r 在a r t o o l k i t 的基础上加入一个图形渲染引擎减轻了开发者绘制虚拟图形 的负担，但是它也没有提供对应用逻辑的快速开发支持。同时a r t o o l k i t 的a p i 接口使得系统的完成必须要有程序开发人员的介入。为了解决这个现状，本文第 二章将提出面向非专业用户的通用增强现实的开发模型g p d m a r ，第三章根据 g p d m a r 模型设计实现了易用型增强现实系统开发工具e a s y a r 。 1 4 增强现实的应用领域 由于增强现实能实时地增强使用者视野中的真实景象，同时其硬件实现比较 容易，因此它被广泛地应用于各个领域当中。 1 组装加工与维修 y u a n 等人3 5 1 开发了一个基于增强现实的组装指导系统，组装人员通过使用一 个虚拟的交互面板来完成组装任务，同时这个系统不需要在组装器件上按置任何 传感器和标记。图1 4 显示了这个组装指导系统。 淅 学h 学位论i 第1 章绪论 图14 增强现实组装指导盖坑 2 医疗 利用增强现实技术治疗心理疾病，j u a n 等人开发7 基于增强现实的克服蟑蝉 恐惧症的治疗系统“】。 3 数字娱乐 利用增强现实技术进行数字体育娱乐，h e n r y ss o n 等人口”实现7 一敖手机平 台上双人对打的 r 网球游戏。 4 户井导航 a z u m a m l 提出开发一个户外 r 应用系统，这个系统需要基于g p s ，惯性和计 算机视觉等多种感知方j 击曲跟踪景统目前，一些户外定标注册技术已经出现陬 ”4 “。奥地利开发商m o b l l i z y 开发了一个手机上平台上的实境导航系统w i k i t u d e d r i v e 这个系统充分利用手机早台上的g p s 、惯性传感器以及指南针系统，结台 蜡强现实技术，在真实场景中增强显示导航信邑，从而实现脱离地图的实境导航。 5 古迹重建 北京理工大学王涌天等人利用增强现实技术在回明园古迹遗址现场对圆明 园进行数字重建 6 施工建设 m i z u n o 等人 4 3 1 使用户外增强现实技术，在一些施工对象上展示一些虚拟提示 浙江大学硕士学位论文第1 章绪论 信息，帮助施工人员定位施工对象内部的关键部位。 7 布局与规划 f a n g 等人1 开发了一个增强现实机器人模拟系统，在这个模拟系统中，一个 真实机器人的虚拟副本被用来预先模拟和规划机器人的运动轨迹，从而确保真实 机器人在运动过程中不会发生碰撞。k a t o 等人【4 5 1 开发了一个城市规划应用系统， 在这个系统中用户可以使用t u i 的操作规范对虚拟物体进行操作 1 5 本文的工作与篇章安排 本文的工作包含以下几方面内容： ( 1 ) 对增强现实的概念、发展历史、技术要素以及应用领域进行了全面的 介绍。综述了增强现实系统组成以及涉及到的关键技术。 ( 2 ) 提出了一种简单易用并且具有通用目的的a r 开发思路，设计了通用增 强现实开发模型g p d m a r 。g p d m a r 模型对外提供了一个g u i 界面操作环境，内部 采用一组抽象逻辑组件来实现用户预设的应用逻辑。 ( 3 ) 以g p d m a r 模型为指导，本文以a r t o o l k i t 为基础库，在w i n d o w s 平台 上实现了易用型a r 应用系统开发工具e a s y a r 系统。 ( 4 ) 使用e a s y a r 系统开发实现虚拟点菜系统与分子剪刀展项两个a r 应用 系统。虚拟点菜系统把增强现实技术引入到餐馆的点菜管理服务中，用户通过标 记进行点菜并在增强的真实场景中获得菜目和结算信息；分子剪刀展项运用增强 现实技术，实现虚实结合的三维动画和交互方式，让用户以沉浸的方式体验基因 的剪切、拼接等一系列重组操作过程。 本文的章节安排如下： 第一章简要介绍了增强现实的概念、发展历史及其应用领域。并对基于视觉 的增强现实系统进行综述。 第二章提出通用增强现实开发模型g p d m a r 。 第三章根据g p d m a r 模型在w i n d o w s 平台上，以a r t o o l k i t 为基础库实现了易 用型增强现实开发工具e a s y a r 系统。 9 浙江大学硕士学位论文第1 章绪论 第四章使用e a s y a r 系统设计和实现了虚拟点菜系统与分子剪刀展项两个增 强现实应用系统。 第五章总结本文的所做的工作以及展望下一步工作方向。 l o 浙江大学硕士学位论文第2 章通用增强现实开发模型 第2 章通用增强现实开发模型 目前，增强现实已在诸多领域内形成了巨大的应用潜力，如军事训练，外科 手术，娱乐，维修，产品加工组装，产品设计以及其它制造业等等删。随着需求 的日益增长，提供增强现实应用系统的快速开发支持成了新的需求。 一些专门开发虚拟展品的公司希望能有一种简单易用、面向非专业人员的a r 开发工具。为此，本章在对面向非专业人员的通用开发系统进行探索和实践的基 础上，提出了一个面向非专业用户同时又具备专业开发人员扩展接口的通用a r 开发模型g p d m a r ( g e n e r a1p u r p o s ed e v el o p m e n tm o d u l ef o ra u g m e n t e d r e a li t y ) 。在g p d m a r 模型中，所有产品的功能细节和底层的开发平台均被抽象 和泛化处理，任何从平台上( 包括a r 底层开发库和硬件设施) 的面向非专业用 户的通用开发系统均可以尝试将g p d m a r 作为开发过程中的指导模型。g p d m a r 模 型对外提供了一个g u i 界面操作环境，内部采用一组抽象逻辑组件来实现用户预 设的应用逻辑。 尽管目前已经存在一些3 d 跟踪识别的研究4 7 ，4 8 i 以及基于自然特征的注册方 法1 4 9 1 ，但出于对稳定性的考虑，大多数a r 应用系统都是基于标记，用这些标记 来识别和注册不同的操作组件。 在开发a r 应用系统过程中，开发人员所面临的一个主要的问题是在增强世 界中决定什么时候，什么地点展示什么虚拟信息。这是a r 应用系统中的基本问 题。例如在一个展示各种病毒对人体的危害的a r 展项中，代表病毒的各个标记 与虚拟人体靠近时，计算机需要展示对应病症人体的虚拟场景；另一个问题是a r 应用系统至少需要一个对增强世界场景的局部理解，这种理解需要一个丰富的感 知形态以及能与周边世界的变化进行通信的解释1 4 6 。例如，基于a r 的组装指导 系统( a r b a s e da s s e m b l yg u i d a n c es y s t e r n ) 1 5 0 l 提供一个虚拟的交互面板指导组 装操作员的工作，在组装过程中，计算机根据组装进度和状态显示不同的虚拟指 导信息和反馈。 浙江大学硕士学位论文 第2 章通用增强现实开发模型 g p d m a r 模型提出了解决上述两个问题的通用逻辑应用框架。g p d m a r 模型通 过一个接口把这个通用逻辑应用框架的定制过程映射到用户的g u i 操作中，为非 专业用户提供直观简单的定制过程；同时，g p d m a r 模型还提供了一组供专业开发 人员扩展的编程接口，使得开发人员能够扩展应用系统的个性化功能。 2 1 总体框架描述 图2 1 描述了g p d m a r 模型系统的总体框架，其中“一”表示调用依赖关系； “j ”表示输入或反馈信息或处理数据的流向。整个系统由通用a r 运行时库( 阴 影区域) 、实例脚本、g u is h e l1 、显示设备以及启动程序组成。其中通用从运 行时库提供启动程序的运行环境。一个具体的a r 运行实例由实例脚本与通用a r 运行时库组成。实例脚本是一个具体的运行实例的存档，用于初始化一个a r 运 行实例以及配置通用a r 运行时库内部的逻辑组件，同时它也是连接通用a r 运行 时库和g u is h e ll 的枢纽。通用a r 运行时库在初始化a r 运行实例时解释实例脚 本，并据此初始化一些应用逻辑的内部组件；应用逻辑是通用a r 运行时库的核 心部分，它负责执行逻辑控制任务，同时它对外提供了一个编程接口供专业开发 人员实现个性化的功能；a r 基础库负责底层的定标渲染等任务。g u is h e l l 为用 户提供一个用于生成与编辑实例脚本的g u i 操作界面。启动程序分为默认启动程 序和扩展启动程序默认启动程序的唯一功能是负责加载实例脚本启动一个a r 运行实例；扩展启动程序除了加载实例脚本，还可以利用应用逻辑提供的编程接 口实现一些新特性。使用默认启动程序非专业人员可以运行浏览g u is h e l l 生成 的实例脚本的行为，若要为程序添加各种个性化功能，开发人员需要使用应用逻 辑的编程接口来扩展新功能。 用户要使用这样一个系统，首先要通过g u is h e ll 生成一个实例脚本，o 然后 运行启动程序。注意，在系统的运行中可能一直有来自用户的输入，但为简明起 见，这些信息流未在图中标出。 本章后续小节将详细描述g u is h e l l 与应用逻辑的内部算法。所有算法描述 中用到的定义与记号在2 2 节统一介绍。 淅 学学位论文第2 章用增理实* 发横型 圈21g p m ( a r 模型系统框图 2 2 基本定义 本小节给出在后面算法描述中出现的定义及其记号表示 关联：特指增强现实中一对实物与虚物的依附关系，用二元组 r p v 表示 其中r 表示实物，v 表示虚物； 关联库：系统可用的所有关联的集合，记为l ； 关联库幂集：表示关联库的所有子集的集台，记为2 。 事件：系统感兴趣的用户行为，记为e ； 事件库：系统中所有可能发生的事件的集合，记为e ； 响应：对应于某个事件的系统处理行为，记为h ： 响应能力：系统拥有的所有响应的集台，记为h ； 状态：表示系统所处的状态，是一个逻辑抽象的概念，记为s ； 起始状态：不存在前驱状态的状卷。记为。； 结束状态：不存在后继状态的状态，记为5 耐； 状态集：表示系统所有的状态的集旮，记为s ； 习0 一 浙江大学硕士学位论文第2 章通用增强现实开发模型 转移关系：表明前驱状态到后继状态的转移关系，记为万，万s x s 。 上下文：当前系统所处的状态，记为c ： 上下文属性：系统中所有包含上下文的所有二元关系和映射。 下面首先对主控模块进行讨论。 2 3 应用逻辑模块 一个应用逻辑模块由流程控制器( f c ) ，事件响应函数( r ) 以及空转器 ( i d l e r ) 组成，记c m = 。 流程控制器控制系统按照某种路径安排方式从s 胁。经历至某个j 。d 。流程控 制器用一个有限状态机表示，记为f c = 。 事件响应函数负责对在系统运行中发生的事件作出响应，用状态和事件到响 应的映射表示，记为r ：s x e i f , h 在没有任何事件发生的情况下，系统运行空转器，可以用空转器向用户展示 上下文属性，比如显示某种关联的i d l e r 可用一个二元关系表示，即i d l e r s x 2 l 。 另外，在执行主控模块实例过程中用户行为记为a c t i o n ，当前状态用c 表示。 算法流程如图2 2 所示。 照产输入 扩展编程接口 图2 2 应用逻辑模块算法流程图 1 4 直接输出 浙江大学硕士学位论文 第2 章通用增强现实开发模型 具体描述如下： 1 初始化上下文，c = s 抽打； 2 如果c e s 。d ，系统终止。否则，继续下一步； 3 如果a c t i o ne ，系统执行m l e r ，返回至2 ；否则，继续下一步； 4 执行事件响应函数尺( ) ； 5 执行流程控制器，置c = 万( ) ，返回至2 。 2 4g o is h e ll 模块 根据前文描述，g u is h e l l 的主要功能是把用户的输入信息转换成一个主控 模块的实例。g u is h e l l 对用户提供一个g o i 界面，内部采用实例生成算法。通 过该算法，g u i 界面中用户的操作序列增量式映射到一个实例中，用户操作的具 体性决定了实例化不是一个抽象到具体的过程，而是一个初步具体到最终具体的 增量式过程。最终生成的实例通过文件系统被保存到实例脚本当中g 0 1s h e l l 的基本框架如图2 3 所示。 l g u i 界面 i 实 r i实例 i 1r i 实例脚本 i 生成算法 件系统 图2 36 0 is h e l1 的基本框架 实例生成算法描述如下： 1 初始化一个c m = ( f c ，e ，r ，m l e r ) ，其中 f c = ( s 如豇u j 删 ，e ，万，s 如n ， j 州1 ) ，e = ，r = ，i d l e r = 中； 浙江大学硕士学位论文第2 章适用增强现实开发模型 2 上下文初始化c = s 如疗； 3 i d l e r = ( c ， ) ) u i d l e r ： 4 e = e o ) u e ； 5 h = h o u 日： 6 如果 1 0 改变了上下文属性， 万= ( ，s 。) ) u 万； 否则， 万= ( ，c ) u 万； 7 r = ( ，h o ) u 尺； 8 c = j 。，返回到3 说明：1 带“0 ”下标的变量记号表示g u i 界面中用户新增的控件或操作；s s e l 泛指g u i 界面中选定的状态；s 。泛指系统新增的状态；中表示空集。2 算法一 直循环执行直至用户发送完成命令 1 6 女走掌曩学位论文 第3 章* 月型* 发i 其e a s y a r 辘 第3 章易用型开发工具e a s y a r 系统 为了给基于预标记的增强现实应用系统提供是倚单快速的开发过程，本文 以g p i 珊a r 为指导模型，以a r t o o l k i t 为底层基础库，毗碰撞为输入事件在w i n d o w s 平台上开发了e a s y a r 系统e a s y a r 系统旨在让非程序开发人员以及非相关领域 的程序开发人员能快速直观地开发出个性化的增强现实应用系统图3 1 为 e a s y a r 杀统的运行界面 哥焉孚睾鼍! _ _ 暑 一一 熟竺 圈3 1e a s y r 蒜j 巍运行界面 3 1 数据结构设计 以g p d m a r 为指导模型来实现e a s y a r 系统，首先要对g p d m a r 模型中涉及到 的各个元素设计对应的数据结构e a s y a f 系统中主要的数据结构有如下三个， 1 关联体 关联体结构对应着c r 模型中的关联关联体中包含着两个重要的信息， 标记i d 和关联在此标记上的虚拟场景i d 在具体的实现过程中，为了更好地配 合应用逻辑模块的工作，关联体结构中需要包合其他一些信息，包括虚拟场景在 “ 一h 墨= i 浙江大学硕士学位论文第3 章易用型开发工具e a s y a r 系统 标记局部坐标系中的位置、标记的定标矩阵以及其他用于应用逻辑判断的标志 符。 2 碰撞元 碰撞元结构包含了g p d m a r 模型中的一个事件及其响应行为。这里事件特指 碰撞事件。碰撞元结构的内容如下： 标记1 ：用于碰撞检测的第一个标记； 标记2 ：用于碰撞检测的第二个标记； 动画段1 ：碰撞后第一个标记上虚拟场景播放的动画时间段； 动画段2 ：碰撞后第二个标记上虚拟场景播放的动画时间段； 变更场景1 ：碰撞后关联在第一个标记上的新场景； 变更场景2 ：碰撞后关联在第二个标记上的新场景； 新场景动画1 ：第一个标记上新场景播放的动画时间段； 新场景动画2 ：第二个标记上新场景播放的动画时间段； 更新状态标志：指示是否转移当前状态到状态链表中的下一个状态； 碰撞数：标记1 、2 上需要完成的碰撞数目； 碰撞点对链表：每个元素记录两个标记上碰撞点在标记局部坐标系的中坐 标； 碰撞模型：用于记录已经碰撞过的点的显示模型。 注意：为描述方便，本文中把更新状态标志置位的碰撞定义为关键碰撞。 3 状态与状态链表 e a s y a r 系统中的状态对应着系统运行过程中的某一阶段性任务；状态链表中 所有的状态元素代表了整个状态库，同时链表的组织形式也说明了e a s y a r 系统 中状态的转移是单向前进的。状态结构包含两部分内容，系统需要识别的标记与 系统需要检测的碰撞。在系统的运行过程中，系统只会关注当前状态中需要识别 的标记以及需要检测的碰撞。这样系统在不同的状态下就会有不同的表现。一旦 当前状态中有关键碰撞发生，系统便转入状态链表中的下一个状态。 浙江大学硕士学位论文第3 章易用型开发工具e a s y a r 系统 3 2 扩展编程接i = 在g p d m a r 模型中并没有给出扩展编程接口的制定规范，因为编程接口的具 体定制会随着不同语言或不同操作系统而有比较大的不同。特定于w i n d o w s 操作 系统与c + + 语言，e a s y a r 提供了基于事件对象和回调函数的扩展编程接口。其中 使用事件对象可以让用户的扩展程序捕获到来自应用逻辑的碰撞事件，然后实现 自定义的响应处理过程；用户向应用逻辑模块注册的回调函数主要用于自定义渲 染过程。用户自定义的渲染过程之所以采用回调函数而不是自定义事件响应处理 过程来实现是因为两个原因：( 1 ) 目前o p e n g l 并不能较好地支持多线程渲染；( 2 ) 一般的应用中只会用到一个显示设备，在只有一个渲染上下文的情况下，使用多 线程并不能提升系统的性能，而且使用多线程时，资源的同步与线程的切换都会 额外地增加系统的开销。 1 e a s y a r 中应用逻辑模块编程接口的实现过程 解析实例脚本文件，统计实例中的碰撞事件数目，创建该数目大小的一个事 件内核对象数组。然后将这些对象一一对应到实例中的碰撞元。 应用逻辑检测标记的碰撞情况，若检测到某一碰撞，除了执行碰撞元里定义 的响应行为外，应用逻辑还将执行以下两个动作：( 1 ) 触发相应的事件内核对象； ( 2 ) 调用用户在启动程序里为该碰撞注册的回调函数。 2 e a s y a r 中应用逻辑模块提供的主要编程接口函数 b o o li n i t g p a r r t ( p c s t ri n s t a n c e c o n f i g p a t h ) ； 通用a r 运行时库初始化函数，该函数接受一个字符串作为输入参数，参数 指明了要运行的实例脚本的文件路径。调用成功返回t r u e ，若由于文件路径无效 或其他原因导致调用失败则返回f a l s e 。 b o o lg p a r r t d is p l a y f u n c ( i n tc 11 一i d ，v o i d ( * f u n c ) ( v o i d ) ) ； 该函数用于注册与某个碰撞对应的渲染回调函数，参数c 1 1 一i d 指名了碰撞 元的i d ，f u n c 参数指明相应的回调函数。