（教育技术学专业论文）基于unity3d的虚拟实验系统设计与应用研究.pdf

硕士学位论文 m a s t e r st h e s l s 摘要 实验教学一直以来在教育教学中都起着极其重要的作用 但由于我国人口基 数庞大 不论在校或不在校的学习者的人数都非常多 致使实验器材紧缺 它也 成为教学和学习中最薄弱的环节 随着虚拟现实技术的出现 为实验教学提供了 新的思路 利用虚拟现实技术可以开发仿真性非常高的虚拟实验环境 凭借良好 的交互性 易操作性和廉价迅速得到普及 已被应用于各种实验学科教学中 调查分析表明 近年来国内外虚拟实验教学软件都得到了长足的发展 在不 同教育阶段均起到了相当重要的作用 但是虚拟实验环境存在着一些本质的缺 陷 非现实世界的实验环境给学习者一种不真实的感觉 并且虚拟实验系统难以 实现协作学习 不利于学习者的协作能力 团队精神的培养 更重要的是现实世 界中许多情况是无法预料与模拟的 基于这些问题 本文设计了一款基于增强现 实技术的虚拟实验平台 本文主要工作包括 1 分析真实实验与虚拟实验的特点 寻找将两者优势结合的方法 2 在u n i t y 3 d 技术中实现增强现实的关键部分 虚实结合 3 从实际系统应用出发 寻求众多增强现实实现方式中的创新 预设 m a r k e r 识别 4 研究增强现实系统的难点 实时交互 利用区域响应技术来实现虚拟世 界与真实世界的实时交互 5 完成系统总体架构的设计 并编码实现 6 以金属燃烧实验为实例进行案例分析研究 本虚拟实验系统的特色之处在于 实现真实实验与虚拟实验的融合 注重提 高用户体验度 软件交互功能良好 界面操作简单 提供简单而实用的协作实验 模式 关键词 虚拟实验 增强现实 u m 够3 d m a r k e r 识别 硕士学位论文 m a s t e r st h e s i s a b s t r a c t e x p e 曲e i l t a l 搬l c l l i n ga l w a y sp l a y sav e 巧i m p o n a r l tr o l ei ne d u c a t i o n 锄dt e a c m n g h o w e v e r t h el 孤翟ep o p u l a t i o no fl e a n l e r sa ts c h o o lo fn o ti i lo u rc o m l t i yc a u s e st l l e s h o r t a g eo fe x p e r i m e n t a le q u i p m e n t a n d l i si st h ew e a k e s tl i i l l i i lt e a c l l i n ga n dl e a m i i l g n ed e v e l o p m e n to fv i m r e 甜时p r 0 v i d e se x p 甜血朗t a lt e a c h i n g 谢t l ln e w 廿1 0 u 咖s t h eu o fv i 删r e a l i 够c 锄d e v e l 叩v i 删e x p e r i m e n t a le n v i r o m n e n tw i mv e r rl l i 曲 s i i i l u l a t i o 玛w t l i c hi sv e 巧p o p u l 盯b yv i i t l l eo fi t sg o o di n t e 础i o 玛h 卸d l e a m l i 够彻d c h e a p n e s s 锄dh a sa l r e a d yb e e n 印p l i e di nv 撕 璐e x p e r i m e n t a lt e a c l l i n g t h ei n v e s t i g a t i o ns h o w st l l a tm ev i m l a le x p e r i m 朗伽t e a u c i l i n gs o f h a r ea th o m e0 r a b a u dg c t si o n 哥l a s t i i 玛d e v e l o p m e n t 觚dp l a y sai n 句o rp a r ti i ld i 妇f 酿斌e d u c a t i o ns t a 呼s b u tt i l e r ea r es o m ee s s e n t i a ld e f 宅c t si nv i m i a le x p e r i m e n t a le n v i r o 眦e n t f o fi n s t a i l c e 姐 u r l r e a lf e e l i n gt 01 e a 盯嘲 sb m u 曲tb yt l l e1 1 0 tr e a le x p e r i m e n t a le n v i r o 肌l e n t 也eh a 叫 r e a l i z a t i o no fc o l l d b o m t i v ei e 枷n gb yt 1 1 e i 删e x p e r i m e n t ms y s t e m w 1 1 i c hi sn o t 9 0 0 df o r l ed e v e l o p m e n to fl e 锄e r s c o l l 籼m t i v ea b i l i t ra n dt e a i i ls p i r i t 锄dm o r e h p o r t 觚t l y 也ee i s t e n c eo f s o m ec a s e s 也a tc 锄 tb ep r e d i c t c d 锄ds i i l l u l a t e di i lt h er e a l 0 r l d b a s e do nn l o s ep m b l e m s t h j sp a p e rd e s i 孕l sav i l l u a le x p e r i m e n t a ls y s t e mb y a u 足m e n t e dr e a l t 哆 n e m 句0 rt a s ko f t l l i sp a p e r 硫l u d e s 1 a i l a l z em ec h 缸a c t e r i s t i c so fr e a l 叩r i m e n t 锄dv 删e x p e 面n e n t s e a r c hf o ra m 劬o dc o m b i i l e d 谢t l la d v 锄t a g e so f 廿l et 釉 2 i m p l 锄e n tm ek e ys e c 岖o no fa u 肿e n t e dr e a l i 够一廿l ec 0 m b i n a t i o nb e t i e e i lt l l e r e a l 锄dt h ev i n l l a lb y 印p l y i r 培u i l i t 3 d 3 p i l r s u es 0 m ei 彻o v a t i o na m o n gs 0m a i l ym e t h o d so fa 嶝n e m e dr e a l i 锣n o m p 础m c a ls y s t e ma p p l i c a t i o i l s p r e s e t t i n g m a r k e ri d e n t i 舡 4 s t u d y 也ed i 伍c u l 廿e si i la u g m e n t e dr e a l i t rs y s t e m l er e a l 娩a t i o no fr e a l t i m e i n t e 眦t i v ei i lr e 面a n dv i n u a lw o r l db yu s i n go fr e 百o n 却r e s p l o n 钯c h i l o l o g y 5 f u l f i l lt l l ed e s i 印o fo v e m l ls y s t e i n a t i c 胁n e w o r k 锄dr e a l i z ei tb yc o d i n g 6 加l a l y z e 锄dr e s e a r c h t l l ec a s eo fm e n t a lb 岫 l i l l ge x p e r i r n e n t t h ec h a r a c t e r i s t i c so fm ev i 巾l a l e x p e r i m e n t a ls y s t e ml i e i i lm e 陀a l i z a t i o no f b l c n d i i l gr e a je x p i 洳e n t 趾dv 删e x p 甜m e n t t l l ei i n p r 0 v e m e n to f l i s e re x p 丽c n c e 也e 硕士学位论文 m a s t e r st h e s i s g o o di i l t e r a c t i v e 劬c t i o no f 也es o f h 脚 s i i i l p l i c i 妙i i lo p e r a t i o 玛a n d 也ep r o v i d i i l g c o l l 籼m t i v ee x p e r i m 酬m o d c k e y w o r d s n t l a le x p e r h e n t a u g m e n t e dr e 翻i 够 u i l i 够3 d m a r k e ri d e m i 匆 硕士学位论文 m a s t e r st h e s i s 1 1 研究背景及意义 第一章绪论 实验作为科学研究的基本方法之一 早在十六世纪就开始被运用于教育教 学 1 6 8 7 年 艾萨克 牛顿出版 自然哲学之数学原理 一书标志着完整的实验 思想体系和方法论的形成 l 实验是指根据科学研究的目的 尽可能的排除外界因 素的影响的同时突出主要因素 并利用一些专门的仪器设备而人为地变革 控制 或模拟研究对象 使某一些事物 或过程 发生或再现 通过观察和分析从而去 认识自然现象 自然性质 自然规律 实验的目的在于通过学习者亲自动手参与 实验 来培养学习者的观察能力 分析能力和实践能力 在现代 以学习者为中 心 的教学和学习模式下 实验教学对培养学习者的研究能力 创新能力等综合 能力都有帮助 因此对于理科 尤其是物理和化学等需要分析和理解的科目 实 验教学有着举足轻重的作用 研究表明 人的动作记忆效率远远高于语言文字记忆的效率 所以学生动手 参与的学习比只看书本的学习更有效率 同时众所周知的是 对事物的本质的了 解能促进我们的记忆 实验教学可以吸引同学们主动参与学习 帮助同学们认识 事物的本质 这无疑对教学有着极大的促进作用 真实实验由来已久 并且在教育教学中发挥着非常重要的作用 甚至实习也 可以看作实验的一个部分 人们习惯于在熟悉的场所中工作和学习 而纯虚拟的 环境下 人们缺少真实感和安全感 严重影响学习和工作效率 因此真实实验在 教学中经久不衰 真实实验也有着它不可弥补的缺陷 许多实验器材价格昂贵 实验存在安全 隐患 不能超越时空等 而虚拟实验能克服真实实验的各种弊端和制约 可以有 效地解决目前实验教学中存在的诸多问题 但是现实中很多情况无法预料 也无 法模拟 因此纯虚拟的实验也有它的不足 尤其是在我国国情下 人口基数庞 大 学习者人数众多 中学实验教学存在着各种各样的问题 首先 学习者与教 育资源比率严重失衡 导致教育资源分配不均 某些地区实验设备和仪器相对落 后 不能达到进行有效教学的要求 其次 实验教学模式相对滞后 严重影响了 实验教学效果 教育投资有限 不能按时更新仪器设备 阻碍了实验教学的有效 开展 随着计算机技术的发展和教育信息化改革的推进 各种新型软硬件产品和新 硕士学位论文 m a s t e r st h e s i s 的教学理念层出不穷 这些新的产品和教学理念正在逐步被应用到课堂教学中 并发挥着越来越大的作用 虚拟实验的概念于1 9 8 9 年由美国弗吉尼亚大学的威廉 沃尔夫 w i l i 锄 w 甜f 教授最先提出 它是在虚拟现实技术的基础上产生和发展起来的 是对真 实实验进行模拟或再现的一种实验模式 虚拟实验的组成包括由计算机系统生成 的实验室环境 虚拟的实验仪器以及虚拟资源等 在虚拟实验中 学习者将不受 时空限制 可以随时随地的进入虚拟实验系统 通过键盘 鼠标 数据手套等交 互设备与虚拟实验系统中的虚拟仪器进行交互 来完成与真实实验一样的各种实 验操作过程 还可以通过计算机网络共享系统中的虚拟仪器 共享实验数据等 所取得的学习和训练效果等价于甚至优于在真实实验中所取得的教学效果 从实 验内容的角度看 虚拟实验可以是某真实实验的再现 也可以是现实中不不能完 成的实验的模拟 但是完全沉浸式虚拟现实系统的硬件设施价格昂贵 限制了虚拟现实技术在 实验教学中的普及应用 而桌面式虚拟实验系统难以提供真实感的人机交互 不 能有效的吸引学生主动参与实验 并且实验效果不够直观 无法体现实验教学的 作用 只有将真实实验和虚拟实验结合起来 才能更加完美的体现实验教学的作 用 所以我们引入增强现实技术来实现虚拟实验与真实实验的融合 增强现实 a u g m e n t e dr e a l i t y 简称a r 是在虚拟现实技术基础上发展起 来的新技术 是通过计算机系统提供的信息增加用户对现实世界感知的技术 并 将计算机生成的虚拟物体 场景或系统提示信息叠加到真实场景中 从而实现对 现实的 增强 u n i t y 3 d 作为一款专业的游戏引擎 它能够提供方便 简洁的多平台游戏开 发 对d i r e c t x 和0 p e n g l 拥有高度优化的图形渲染管道 非常适合用于虚拟现实 世界的生成 基于通过增强现实技术将u n i t y 3 d 生成的虚拟现实世界叠加到真实环境中的 思考 我们开发了基于u n i t y 3 d 的a r 虚拟实验平台系统 为学生提供一个自由 的 虚拟的 真实的实验平台 利用本系统进行实验教学 对于学习者的实践能 力 分析解决问题的能力 创新能力等的培养有着重要的促进作用 并且使用的 虚拟的实验器材 需要的设备也非常廉价 解决了教育资源分布不均的问题 同 时突破了真实实验的时空限制 能极大的有效利用教育资源 同时其提供的协作 学习模式可以培养学生的协作能力和团队精神 2 7 硕士学位论文 m a s t e r st h e s i s 1 2 研究现状 虚拟实验在国外已经发展了很长时间 得到了广泛的应用 因此研究深度和 应用领域较为成熟 其中比较有影响力的 比较有特色的虚拟系统有 l k 啪a n y t i m ea n y w h e r ep h y s i c s 物理实验室1 6 j l e 锄a n 如m ea n 州l e r ep h y s i c s 是一个基于互联网的虚拟物理实验系统 面向 所有的访问者开放 突破了原有的实验室在空间 时间以及开放对象等方面的限 制 该虚拟物理实验系统的特色之处是 通过j a v aa p p l e t 技术来对真实的实验 设备进行模拟仿真更加灵活 提供基于网络提供丰富的交流活动 方便学习者的 交流和互相学习 后台数据库记录学习者的学习情况 便于教师有针对性的制定 教学计划 2 w t o n 虚拟教学软件 9 n e w t o n 虚拟教学软件由d e s i g n s o f t 公司设计开发 为学习者提供了一种全新 的学习方式 以模拟物理规律为驱动机制 n e w t o n 允许学生以交互的方式来创建 物理实验 通过交互操纵方式来开展探究性研究 突破了实物模型所固有的限 制 该平台预留了丰富的交互性的接口 通过这些接口可以方便的设置物理模型 的属性 如设定物理模型的质量 摩擦力 弹力等 指定模型所受的重力 所具 有的初速度等 建立相关模型间的逻辑联系 此外 n e w t o n 支持虚拟环境标记语 言 v r i l 通过这种语言可以将任何我们需要的物理模型加入到n e w t o n 中 或者 以这种语言的形式输出实验结果 我国在虚拟实验方面的研究和应用是近1 0 年才开始的 但受到各界的重视 虚拟实验的研究工作也取得了非常大的进展 主要集中在各高校 如中国科技大 学 四川师范大学等 l 几何光学实验设计平台l l o j 国内研发的虚拟实验系统多数都是学科针对性比较强的系统 几何光学实验 设计平台就是中国科技大学开发设计的一款专门用于光学教学的虚拟教学软件 该平台以一个虚拟的光学实验室为基础 有针对性的为学习者提供各种有关光学 的知识文本资料 并且包含了一个特定的答题平台 但是此系统也有欠缺的地方 比如对于学习者之间 师生之间的交流活动 学生的协作学习等方面提供的支持 太少 3 硕士擘位论文 m a s t e r st h e s l s 2 虚拟仿真化学实验室 四川师范大学也研发了一款比较有代表性的虚拟实验系统 即其软件重点实 验室研发的虚拟仿真化学实验室 虚拟仿真化学实验室是专门针对初中化学的实 验课程设计的 3 d 类型的虚拟实验系统 此系统的优点包括具有较高的显示效 果 良好的操作体验性和绝对的安全性 避免了真实实验中存在的各种隐患发生 的可能性 u i l i 锣3 d 是一个用于创建诸如三维视频游戏 建筑可视化 实时三维动画等类 型互动内容的综合性创作工具 u i l i 妒d 类似于d i j 优t o r b l e n d e rg 锄ee n g i i l e n o o l s 或t 0 r q u eg 锄eb u i l d e r 等利用交互的图形化开发环境为首要方式的软件 其编译器运行在w i n d o r s 和m a co s x 下 可发布游戏至w i n d o w s m a c w i i 或 i p h o n e 平台 也可以利用u i l i 坶 e bp l a y e r 插件发布网页游戏 支持m a c 和 w i n d o w s 的网页浏览 u i l i 锣3 d 在游戏开发和虚拟现实的开发中有其独特的魅力 另外它也可以用于实现增强现实技术 增强现实 a u g m e n t e dl k a l 毋 是虚拟现实的基础上发展起来的一种技术 在 现实 虚拟 这个连续统中它处在靠近现实的这一端 它通过显示技术 计算机 图形 计算机多媒体等技术将虚拟信息叠加到现实环境或者现实物体上 来达到 信息加强的效果 增强现实技术的出现为虚拟实验中存在的问题找到了出路 1 3 存在的问题 根据研究分析表明 无论是真实实验还是虚拟实验 都存在着它们固有的缺 陷和不足 对于学习者的学习和各方面能力的培养都自身的局限之处 真实实验的缺陷 1 由于我国人口众多 教育投资的严重不足和实验器材多数比较昂贵 导致 实验资源分布不均衡和实验教学设备及仪器相对落后 2 真实实验的教学模式比较单一化 难以达到比较好的教学效果 3 实验资源不能突破时间和空间介绍 导致学生人均实验资源占有率非常 低 4 实验过程中由于物质反应有安全隐患 虽然随着计算机技术的发展 虚拟实验解决了许多真实实验中存在的问题 但是它自身也存在着不足 l 实验环境的虚拟化 导致学习者在一个虚假的环境中感到不安 不能达到 较好的学习效果 4 硕士学位论文 m a s t e r st h e s i s 2 现实中许多情况不能得到完整的模拟 这种与现实世界的不相符 导致教 学结果的偏差 3 虚拟实验系统难于提供较好的协作学习方式 不利于学习者团队协作能力 的培养 1 4 研究内容 本文主要在于探索借助u n i t y 3 d 技术将增强现实技术引入虚拟实验系统中 目的在于探索新的虚拟实验的教学模式 以期进一步提高初中教学实验的质量 培养学生的协作学习能力 动手实践能力与创新思维能力 具体研究内容包括 1 以真实实验在教育教学的重要作用和协作学习对学习者协作能力的培养 作为立足点 寻找增强现实与虚拟实验的结合点 2 在u n i t y 3 d 技术中实现增强现实的关键部分 虚实结合 3 从实际系统应用出发 寻求众多增强现实实现方式中的创新 单一 m a r k e r 识另l j 4 研究增强现实系统的难点 实时交互 利用区域响应技术来实现虚拟世 界与真实世界的实时交互 5 完成系统总体架构的设计 并编码实现 6 通过一个案例 介绍本系统的具体功能及特点 1 5 论文的组织结构 本文总共分为五章 第一章绪论 主要介绍论文的研究背景及国内外本课题的研究现状 选题意 义 研究内容以及本文的组织结构 第二章系统相关理论与技术 主要为本课题研究的理论与技术基础 介绍了 虚拟实验的特点 类型和发展趋势 对u i l i 哆3 d 技术中的重要概念及其优势进行 和增强现实的关键技术及其实现方式都做了比较详细的介绍 第三章系统关键技术研究 详细讨论了本系统实现中所运用到的各种关键技 术 m a r k e r 识别技术 虚实结合技术和区域响应技术 第四章基于u i l i 锣3 d 的虚拟实验系统设计与实现 重点讨论了系统的总体架 构设计和系统各模块的具体实现方式 然后介绍了两个系统应用实例 第五章案例分析 设计并分析一个具体案例 阐述基于本系统进行虚拟实验 硕士学位论文 m a s t e r st l e s i s 的优势 第六章总结与展望 对系统设计及实现过程进行了总结式陈述 鉴于本系统 的不足 对系统未来的发展进行了展望 本文的总体结构如图1 1 所示 绪论 土 相关技术研究 l j m a r k e r 识别技术虚实结合技术区域响应技术 l 厂 系统设并与实现 视频获取模块m a r k 盯识别模块虚实结合模块 上 厂 系统应用案例设计与分析 案例设计 案例分析 1r 总结与展望 6 第一章 o 第二章 8 第三章 8 第四章 o 第五章 0 第六章 硕士学位论文 m a s t e r st h e s i s 第二章系统相关理论与技术 2 1 虚拟实验 历史的发展告诉我们 新技术是改变人们生活模式 改变社会模式的关键 并且无论是经济 政治 还是文化中都起着举足轻重的作用 计算机技术的发 展 对人们生活方式的改变产生了深刻的影响 但是当计算机技术深入影响社会 的各行各业的同时 在教育中的应用却迟迟没有取得长足的进展 随着教育技术 的出现 促进了教育理论与新技术的融合 而虚拟实验的出现则代表着新技术与 实验教学的紧密结合 虚拟实验的概念于1 9 8 9 年由美国弗吉尼亚大学的威廉 沃尔夫 w i l i 锄 w 甜f 教授最先提出 它是在虚拟现实技术的基础上产生和发展起来的 是对真 实实验进行模拟或再现的一种实验模式 虚拟实验的组成包括由计算机系统生成 的实验室环境 虚拟的实验仪器以及虚拟资源等 在虚拟实验中 学习者将不受 时空限制 可以随时随地的进入虚拟实验系统 通过键盘 鼠标 数据手套等交 互设备与虚拟实验系统中的虚拟仪器进行交互 来完成与真实实验一样的各种实 验操作过程 还可以通过计算机网络共享系统中的虚拟仪器 共享实验数据等 所取得的学习和训练效果等价于甚至优于在真实实验中所取得的教学效果 2 1 1 虚拟实验的特点 虚拟实验通过虚拟现实技术来完成各种虚拟实验环境的构建 实验者通过交 互设备与虚拟实验环境交互来进行实验操作 来模仿在真实的环境中所开展的各 种实验项目 虚拟实验系统模拟真实实验的场景 并提供与实际实验的操作方法 相类似的交互接口 为实验教学开启了一种全新的教学模式1 1 5 1 与真实实验相 比 虚拟实验具有自己独有的特点 2 1 仿真性 虚拟实验利用虚拟现实技术构建虚拟实验环境 是对真实实验环境的模拟 虚拟实验的环境是对真实实验环境的模拟 包括物理属性如重力 摩擦力等 化 学反应如氧化反应等 在一些特殊情况下甚至要模拟现实世界难以得到的理想环 境 比如物理中的摩擦力实验 需要真空状态下的实验环境 在虚拟实验中就比 较容易得到这样的理想环境 虚拟实验仪器也是模仿真实仪器的功能创建的 所 以功能和操作方法与真实仪器也一样 因为虚拟实验的目的就是通过进行实验操 作 技能训练和知识探究来学习真实世界的知识 因此 虚拟实验具有较高的仿 7 硕士学位论文 m a s t e r st h e s i s 真性 2 强交互性 真实实验的特点就是实践性 即通过学习者的参与 来锻炼学习者的实践动 手能力 这需要学习者与实验的实时交互 而虚拟实验是对真实实验的模拟 在 虚拟实验过程中 学习者需要通过各种交互方式与虚拟实验环境中的仪器设备交 互以达到训练技能和知识探究的目的 因此 虚拟实验系统需要提供自然 实时 的交互模式 因此虚拟实验需要强交互性 3 开放性 虚拟实验是基于虚拟现实技术发展起来的 利用虚拟现实技术 实验内容可 以彻底打破空间的限制 大到宇宙天体 小至原子级别的粒子 学习者都可以进 入这些物体的内部进行观察 同样 一些需要几十年甚至上百年才能观察到的变 化过程 通过虚拟现实技术 虚拟实验可以在一段短的时间内呈现给学习者 并 且虚拟实验系统是一个开放的学习环境 它打破了时空限制 学习者可以自由的 进入虚拟实验系统学习 交流以及探索 因此虚拟实验具有开放性 4 节约成本 便于及时更新实验设备 虚拟实验中使用到的仪器 设备都是通过计算机构建出来的虚拟物体 成本 低 而且这些虚拟的仪器设备在使用的过程中没有任何的损耗 还可以无限制的 重复使用 所以虚拟实验可以有效的节约实验教学的成本 虚拟实验器材 设备 都是由计算机系统生成的 是虚拟的 所以可以及时的对设备进行更新 保证实 验教学的内容能赶上社会科技反正的需要 在真实实验室中 一些大型设备或者 精密设备的经费投入是非常大的 一般的学校很难承担起这样的开销 更不用说 对设备进行更新换代 而如果用虚拟仪器代替这些昂贵的真实仪器来完成实验教 学 则既能有较的完成实验教学任务j 还能节约成本的同时较容易的对仪器 设 备进行更新 2 1 2 虚拟实验的类型 经过几十年的发展和研究 国内外都涌现了许多有特色的虚拟实验系统 根 据不同的分类形式 可以将虚拟实验分为不同的类型 本文根据使用者参与虚拟 实验形式的不同以及沉浸程度的不同 把虚拟实验分为以下几种类型 1 沉浸式虚拟实验 沉浸式虚拟实验系统是与虚拟现实技术的沉浸性特点相对应的 这类通常使 用全息三维显示技术 例如头盔式显示器或洞穴式立体显示装置等 将使用者隔 离到一个虚拟的三维世界中 所有的感官包括触觉 视觉 嗅觉以及听觉都经过 8 硕士学位论文 m a s t e r st h e s i s 特殊处理 模拟真实世界的感受 让使用者就像处在一个真实世界一样 例如飞 行员模拟训练中使用的虚拟飞行实验系统 但是这种形式的虚拟实验系统所需的 设备都是比较昂贵的 难以在经济投入相对较低的教育领域得到推广 2 桌面式虚拟实验 桌面式虚拟实验是目前最流行 并且相对低级的虚拟实验 与其他虚拟实验 系统的区别在于 把计算机显示屏幕作为使用者观察虚拟环境的窗口 使用者的 所有感官还处在现实世界中 桌面式虚拟实验的缺点是使用者很容易受到外部环 境的影响 干扰 难以长时间的吸引学习者的注意力 但是这种形式的虚拟实验 系统所需设备的成本相对较低 更新也比较方便 因此在教育领域得到了广泛的 应用 3 分布式虚拟实验 分布式虚拟实验室也称网络虚拟实验室 是虚拟现实技术和计算机网络技术 发展与结合的产物 分布式虚拟实验是基于网络环境构建的 学习者分布在网络 的各个终端 通过终端同时进入虚拟实验系统 一起完成实验的操作过程 在这 种类型的虚拟实验系统中 学习者对应不同的终端 学习者可以处于不同地理位 置以一个虚拟替身出现在实验场景中 进行学习者之间和学习者与系统之间的实 时交互 共享相同的实验环境 2 1 3 虚拟实验的发展趋势 虚拟实验的发展时间不是很长 目前的研究也存在很多的不足 但是作为一 种先进的实验教学模式 对教学的发展有重要的意义 应用前景非常广阔 随着 科技的发展 对虚拟实验的研究将会越来越全面 完善 虚拟实验在教育中将会 发挥越来越重要的作用 1 仿真性提高 仿真性是虚拟实验的重要特征 对真实实验的模拟也是虚拟实验的目的之 一 一方面对真实世界的模拟 随着立体显示技术 传感技术等相关技术的快速 发展及应用的普及 会越来越逼真 另一方面 增强现实技术的出现为虚拟实验 带来了新的思路 不局限于虚拟世界的创建 而是直接对真实世界进行信息增 强 总之 随着时代的进步 计算机技术的发展 虚拟世界会越来越真实 虚拟 实验的仿真性也会越来越高 2 自适应性 增强 自适应 是自然界所有生物的一种特征 人也不例外 随着人工智能的发 展 现代各种计算机系统也表现出一定的自适应性 目前的虚拟实验系统已经表 9 飞 硕士学位论文 m a s t e r st h e s i s 现出不同程度的自适应性 如有针对性的设计实验 根据学习者特点制定学习计 划等 因此虚拟实验系统必然以自适应性为发展方向 3 协作性增加 协作学习模式已经得到了教育界的广泛认同 这种模式有利于学习者协作能 力和团队精神的培养 而实验作为一种协作性很强的实践活动 学习者之间的交 流与协作在实验中具有非常重要的地位 而且很多实验环节都需要同伴的相互协 作才能完成 因此实验对于学习者协作能力和团队精神的培养有着重要的作用 基于网络的虚拟实验系统的出现 以及增强现实技术的引入 必将使虚拟实验更 加具有协作性 4 多种技术相融合 增加虚拟实验功能 虚拟实验是基于虚拟现实技术发展起来的 网络技术 立体显示技术 人工 智能技术以及增强现实技术也不断的影响着虚拟实验 随着计算机相关的各种高 新技术的发展 虚拟实验与这些技术的不断融合 虚拟实验的功能一定会更加强 大而全面 更有利于提高教学效率和教学质量 2 2u n i t y 3 d 技术介绍 u i l i 锣3 d 是一个用于创建诸如三维视频游戏 建筑可视化 实时三维动画等类 型互动内容的综合性创作工具 u 1 1 i t y 3 d 类似于d ir e i c t o r b l e n d e rg 锄ee n g i n e 咖o l s 或t o r q u eg 锄eb u i l d e r 等利用交互的图形化开发环境为首要方式的软件 其编译器运行在w m d o i r s 和m a co s x 下 可发布游戏至w i n d o w s m a c w i i 或 i p h o n e 平台 也可以利用u n i 锣 e bp l a y e r 插件发布网页游戏 支持m a c 和 w i n d o w s 的网页浏览 2 2 1u ni t y 3 d 重要概念 u i l i 谚3 d 是一个层级式的综合开发环境 具有视觉化的编辑 详细的属性编辑 器和动态的游戏预览 一个完整的u i l i 毋3 d 程式是由若干个场景 s c e n e 组合起 来的 每个场景中又包含有许多模型 g 锄e o b i e c t 并通过脚本来控制它们的行 为 而我们在场景所看到的内容是由摄像头 c 锄e m 来呈现并控制的 u i l i t y 3 d 拥有非常强大的物理引擎 能模拟现实世界中的物理现象 并且提供粒子系统这 样一个功能来实现许多炫丽特效 正是因为这些特性 u n i 哆3 d 经常被用来快速的 制作游戏或者开发游戏原型 层级式综合开发环境 层级式的组织结构 即父子链 模型与模型之间存 在父子关系 即当父级对象移动时 子级对象也会一起移动 子级对象通过与父 l o 硕士学位论文 m a s t e r st he s i s 级对象的关系来确定本身位置 这样一种组织结构非常符合人的思维习惯 即我 们通常说的整体与部分的关系 便于使用者快速掌握u m 妙3 d 的使用 场景 s c e n e 场景是u n i t y 3 d 程序的基本组成单位 任何一个u i l i 锣3 d 程序都是由若干场景组合而成 程序通过脚本在这些场景之间转换 模型 g 锄e o b j e c t 与脚本 模型 在游戏开发中又叫游戏对象 u i l i 坶3 d 的设计是以面向对象理论为基础 所有的对象都是继承自0 巧e c t 对象 包 括g 锄e o b i e c t 对象 不同类型的o b j e c t 有自己本身的专有属性 o 场e c t 的行为则 由脚本实现 u i l i 母3 d 支持c 群 j a v a s c r i p t 和b 0 0 三种脚本语言 并且因为 u i l i t i r 3 d 是基于m o n 0 的m o n o 脚本 一个基于 n e tf r 锄e w o r k 的开源语言 所以 u i l i t y 3 d 支持动态索引等功能 摄像头 c 锄e 豫 如果把场景比作一个房间 摄像头就是房间的窗口 摄像头控制着场景能呈现给使用者的内容 一个场景能展现的内容是由若干摄像 头叠加而成 这些摄像头之间存在一个纵深的前后顺序 物理引擎 删邮d 内置对n v i d i a 的p h y s xp h y s i c se n g i i l e 支持 开发者 不再需要自己开发一套复杂的物理引擎 而只需要往g a m e o b j e c t 上附加刚体 重 力等物理特性就可以使用这套物理引擎来模拟现实的物理现象 粒子系统 u n i 锣3 d 内置一套优秀的粒子系统 能完成许多特殊效果的制 作 2 2 2u ni t y 3 d 的优势 u i l i t y 3 d 最初的设计不是用于创建虚拟现实世界的 但是它提供的许多功能以 及它的一些特性 决定了它是一个方便而快捷的创建虚拟世界的利器 删够3 d 构 建虚拟世界的优势有 跨平台一键设置 易于移植到移动客户端 u r 正巧3 d 是一款可以便捷的跨 平台的游戏引擎 在u r l i 锣3 d 的界面f i l e 菜单b l l i l ds e t t i i l g 中可以快速的进行设 置 如图所示 我们可以选择将u i l i 哆3 d 程序发布到w i n d o w s a n d r o i d 或i o s 平 台上 也正是因为跨平台的特性 u 1 1 i t 3 d 程序可以不需要复杂的修改就能移植到 移动客户端 j 页士聿位论丈 m a s t e r st h e s i s 图2 1u n i t i r 3 d 发布设置 入门快捷 功能全面 删t y 3 d 是一个层级式的综合开发环境 既可以完 成建模 模型编辑的功能 也可以完成游戏开发的工作 并且可以创建虚拟现实 环境 功能非常全面 父子链式的组织结构非常符合人的思维习惯 并且具有视 觉化的编辑 详细的属性编辑器和动态的游戏预览 所以u n i 锣3 d 入门简单 使 用者可以在一个非常短的周期内掌握u l l i t r 3 d 的使用 物理引擎 对n v i d i a 的p h y s xp h y s i c se n g i i l e 物理引擎的支持 使 u 1 1 i t y 3 d 在构建虚拟现实世界 开发真实感游戏具有其独特的魅力 2 3 增强现实技术介绍 增强现实 a u 肿e n t e dr e a l 时 是虚拟现实的基础上发展起来的一种技术 在 现实一虚拟 这个连续统中它处在靠近现实的这一端 它通过显示技术 计算机 图形 计算机多媒体等技术将虚拟信息叠加到现实环境或者现实物体上 来达到 1 2 硕士学位论文 m a s t e r st h e s i s 信息加强的效果 增强现实的三大特性是虚实结合 实时交互和三维标定 这依 托于显示技术和三维跟踪标定技术来实现 随着计算机图形技术 显示技术和计 算机技术的发展 近十年来增强现实的研究已经得到了飞速发展 形成了三种实 现增强现实的主流方式 2 3 1 增强现实关键技术 一 1 显示技术 增强现实技术的本质就是 通过计算机技术将虚拟信息叠加到真实世界 得 到一个信息增强的现实世界与虚拟世界的混合体 然后使用显示技术将这个混合 体呈现给使用者 目前增强现实中使用的显示技术主要包括头盔显示器显示 桌 面式显示 手持式显示和投影式显示等几种 头盔显示器显示 头盔显示器现有的虚拟现实技术的人机界面的主流方 向 较其他几种显示技术而言沉浸感最强 头盔显示器一般分为视频透视式和光 学透视式 桌面式显示 桌面式显示技术即使用普通台式电脑的显示器作为人机界 面 这种方式最廉价 并且仅仅用于演示系统效果完全可以胜任 因此在研究中 得到了广泛的运用 手持式显示 手持式显示技术即使用移动客户端作为人机界面 随着智能 机的迅猛发展 摄像头已成为移动客户端的必备设备 移动客户端的处理能力也 越来越强 手持式显示技术必将在增强现实中得到更加广泛的运用 投影式显示 投影式显示是将虚拟信息直接投影到真实世界的物体上 从 而实现信息增强 2 跟踪注册技术 增强现实的跟踪注册技术包括摄像机的空间定位跟踪和虚拟物体在真实空间 中的定位两个方面的内容 即实现虚拟和真实对象的配准 排列 实现跟踪注册 技术的方法一般分为两种 一种叫跟踪器法 采用跟踪传感器实现跟踪注册 一 种是通过计算机图形学技术来实现 简称视觉法 跟踪器法 基于跟踪器的注册方法普遍采用惯性 超声波 电磁 光学 无 线电波或机械装置等进行跟踪 这种方法是根据在摄像机位置安装传感器 通过 传感器来获取摄像机位置信息来实现跟踪定位的 然而 对于在实际的增强现实 系统中 若仅仅根据摄像机跟踪系统提供的信息来进行定位 误差会比较大 并 且容易受到外界的干扰 所以不经常单独使用 而是与下面将要介绍的视觉法结 合使用 1 3 硕士学位论文 m a s t e r st h e s i s 视觉法 视觉跟踪注册主要包括基准点法 模板匹配法 放射变换法和基于 运动图像学列的方法等 其中模板匹配法运用比较广泛 模板匹配法事先对相机 标定内部参数 然后通过图像分析处理提取视频帧中特定图形图案 并与已有的 模式进行匹配 即m a r k e r 识别 若识别成功即可确定特定图案的位置和姿态 从 而确定需要叠加到特定图案上的虚拟模型的位置和姿态 2 3 2 增强现实实现方式 近十年来 增强现实技术得到了迅猛的发展 形成了几种主流的实现增强现 实的技术 1 g p s s e n s o r 这种类型的增强现实系统通过g p s 取得纬度 经度和高度 通过地磁s e l l s o r 取得面向的方向 通过加速度s e i l s o r 取得倾斜的角度 然后根据这些位置信息获 取相关信息后叠加显示 如图所示 圜一0 i 陋 图2 2g p s s e n s 0 r 型增强现实系统原理图 2 m a r k e r 识别 m a r k e r 识别型的增强现实系统将m a r k e r 图像的信息事先保存 通过图像识别 技术 在当前的图像中查找识别m a r k e r 图像 从m a d 泔图像中获取位置信息 然 后在m a r k e r 图像上叠加显示 3 图像识别 与m 批e r 识别型相似都需要用到图像识别技术 但是图像识别型使用的图像 1 4 硕士学位论文 m a s t e r st h e s i s 更加复杂 而不仅仅是二维的m 酞c r 像进行解析 识别出风景 物体和空间 2 4 本章小结 图像识别型的增强现实系统通过对摄影图 然后叠加显示 本章首先就虚拟实验进行了详细的介绍 包括虚拟实验的类型 特点和发展 趋势 然后介绍了本系统的两大技术基础u m 坶3 d 技术和增强现实技术 分别对 u i l i 够3 d 的重要概念和优势以及增强现实技术的关键技术和实现方式进行了阐述 1 5 一 硕士学位论文 m a s t e r st he s i s 第三章基于u n i 毋3 d 的虚拟实验系统关键技术研究 基于u i l i 够3 d 的虚拟实验系统是基于游戏引擎u m t r 3 d 开发的 实现m a r k e r 识别型增强现实技术的虚拟实验系统 本系统需要解决的关键技术包括三个方 面 m 破e r 识别型增强现实系统的三维跟踪与注册技术 m a r k e r 识别 基于 u n i 锣3 d 的增强现实系统的显示技术 虚实结合 虚拟实验的交互一区域响应 3 1m a r k e r 识别 随着增强现实技术的发展 以其关键技术三维跟踪注册为基础形成了三类主 流的实现增强现实的技术 包括g p s 定位 s e n s o r m 砌 e r 识别以及图像识别 这 三类实现方式都得到了广泛的应用 其中m 州泔识别型的增强现实因其简便 轻 量并且有许多开源产品 得到了推广 3 1 1 a r k e r 识别相关技术及基本原理介绍 m 破e r 型的增强现实程序的基本流程是取得摄像头的图像 m a r k e r 识别 m 缸k e r 的位置和方向检测和在摄像头的图像上合成c g 动画然后显示 m 破e r 型 增强现实技术比较成熟 其代表作a r l l k t 使用简单方便 而且因为a r t 0 0 1 1 i t 是开源软件 容易接触和研究 已经被多家公司采用和借鉴 并且同时也被爱好 者们在其它平台上实现 比如f l a s h 版 a n d f o i d 版等 1 二维码 本文中提到的m 破e r 是指一种二维矩阵码 通常运用于图像识别技术中 通 过特定的模板匹配算法来进行图像符号识别 二维码 又称二维条码 是在一维条码的基础上扩展出的一种具有可读性的 条码 是用某种特定的几何图形按一定规律在平面上分布的黑白相间的图形记录 数据符号信息的 二维码可以分为堆叠式和矩阵式两种二维码 本系统中使用的 是矩阵式二维码 它是在一个矩形空间通过黑 白像素值矩阵中的不同分布进行 编码 在矩阵相应元素位置上 用方块的出现表示二进制 1 不出现表示二进 制 o 方块的排列组合确定了矩阵式二维码所代表的意义 模板匹配 在计算机视觉识别过程中 常常需要把不同的待测图像和标准图 像进行比较 就是模板匹配 是一种最常用的图像识别技术 2 m 破e r 识别的基本原理 国内外对于m a r k e r 识别算法的研究非常多 其中尤其以a r t o o l 始为代表 1 6 硕士学位论文 m a s t e r st h e s i s 并且其是开源软件 非常适合研究者的使用 m a r k e r 识别的原理如图3 1 所示 图3 1m a r k e r 识别原理图 m 酞e r 型增强现