混合现实技术及其教育应用现状与展望_1

1、    混合现实技术及其教育应用现状与展望    三、混合现实技术教育应用现状教育形态变革离不开技术创新的推动，新兴技术对学习的内涵、形式以及环境的理解与发展产生不可忽视的影响。近年来，基于vr、mr的教育游戏、模拟场景等资源的开发与应用愈加成熟，并在教学实践活动中取得较好的效果。mr作为融合了vr、ar两者优势的新型交互技术，尽管在硬件和交互体验上依然存在较大提升空间，但在教育工作者和科研人员的共同参与下，mr技术已在学科教学、在线虚拟课堂创设、医疗卫生和建筑与电气工程等领域取得初步应用。（一）支持具体学科教学mr具有模拟性强、显示质量优、采用自然方式

2、交互等优点，与学科知识的深度融合将改变传统教学资源的形式，为学习者提供真实感觉体验，有效改善教学形态和学习方式。微软在其宣传片中展示了基于混合现实的产品hololens的教育应用，其中就包括与化学、数学、物理等课程相结合的案例。例如：在“3d元素周期表”课程中，3d显示的元素周期表以悬浮的形式动态呈现，学习者可以采用手势、语音、体感等自然交互方式与单个元素进行互动或把多个元素进行结合观看化学反应过程和结果，以帮助学习者方便理解和记忆枯燥的化学元素周期表。在数学“三视图”课程中，学习者可以借助mr技术多角度观察几何体形状特点，借此促进知识理解及提高形象化思维能力。另外，在语言科目的学习中，伊巴涅

3、斯12（blanca ibanez m）等研究者开发了一个用于西班牙语学习的mr应用，应用可呈现讨论多个电影节目信息的虚拟情景，使学习者在模拟对话场景中获得知识。该应用将熟悉的真实世界进行数字化场景建模，学习者借助显示设备沉浸其中并可进行探索、合作、交流等学习活动，以促进语言基础知识的提升。此外，沉浸式、高保真立体音频功能与接近真实的虚拟化场景相结合，可对听觉和视觉感官形成有效刺激，从而帮助学习者进入轻松、投入和有效的学习之中。（二）支持创设在线虚拟课堂乔纳森指出学习环境是以技术作为支撑的，各种数字技术互相交融、彼此协调，为学习者提供探索、建构和反思的有效方式。随着传感器、人工智能、学习分析、

4、大数据、情感识别等技术在教育领域中的应用，学习环境中的技术丰富度加速上升，对学习者的认知过程产生了重要影响。mr技术可以创造一个虚拟与现实完美结合的世界，并通过网络技术将处于不同地域学习者的虚拟化个体耦合连接到同一个在线虚拟课堂中。英国埃塞克斯大学卡拉汉13（victor callaghan）等研究者力图创建一个“mr在线学习环境”，该系统能够将参加在线课程的师生生成虚拟对象并集成在同一个mr空间中，学习者借助mr眼镜、高清显示器和空间音频看到其他的虚拟对象并能进行交流，从而实现不同空间中师生、生生的实时互动。这种基于虚拟对象交互的在线学习形式将有助于培养学习者存在感、社区感和协作能力，并能有

5、效提高在线参与度，改善现有在线学习中交互性、参与性、积极性等方面的不足。另外，虚拟在线课堂同时为学习者提供交流讨论的消息传递窗口，能将学习情感反馈给教师，对在线学习中情感层面的交互有一定帮助。新加坡国立大学刘伟14（wei liu）等研究者使用mr技术和有形交互技术为当地小学成功开发出mr课堂，并在该mr课堂中开发了“太阳系”等教学模块，为常规教学和探索式学习提供崭新的方式。mr课堂“太阳系”模块包含一个主操作台，学习者可使用头戴式显示器来观察太阳系的构成和行星轨道运动。该模块中也包含依据知识点开发的交互程序，例如在讲解地球南北极气温差异时，如果将虚拟物体放置到地球北极，会发现该物体会逐渐被“

6、雪”覆盖，从而帮助学习者直观掌握极地气候气温变化等知识。此外，对该模块使用效果的研究表明，学习者对该mr课堂表现出较强的使用意愿，并为实现协作式学习、体验式学习以及促进学习者的知识建构等提供有力支持。（三）支持医疗卫生领域的技能培训由于受环境、资源等客观条件的限制，一些危险系数高、资源开销大或需要特殊场景的实验和培训在现有条件下难以开展，而mr技术可为学习者提供真实高效的虚拟实验和操作机会。医学专业的学习者在学习过程中需要练习与病人沟通的技巧，以提高与病患的沟通能力，但由于缺乏真实病人对象，使这类课程的学习受到严重限制。佛罗里达大学乔浩川15（joon hao chuah）等研究者开发了用于训

7、练临床沟通能力的mr系统，使学习者可在mr环境中与虚拟儿童病患进行模拟对话，用以练习检查儿童发育状态。该系统中的虚拟儿童病患能准确模拟真实病理症状，使用者通过一块24寸的液晶显示器观察虚拟儿童，并采用自然用户界面或鼠标点击的方式与之发生交互。在互动过程中学习者一方面可通过虚拟儿童语音反馈和肢体动作来判断发育状态，另一方面可向虚拟儿童布置简单任务，之后根据任务完成程度对其病况作出诊断。为了评价mr训练系统的有效性，研究人员共邀请10名医护人员参与测试，结果表明该系统既可增加练习次数，也可使临床沟通技巧得到提升。美国罗德岛州布朗大学克博伊西16（leo kobayashi）等研究者使用autode

8、sk maya软件将病人ct扫描图像进行合成、渲染，以生成人体某一部位的解剖结构全息图像。这种全息图像可导入mr眼镜中，并利用mr眼镜将解剖结构图像叠加到物理训练器上，学习者在观察病理结构的同时又可以进行外科操作技能的训练。研究者设计了一个两小时的课程以检验这种训练方式的实际效果，结果证明，在mr技术的支持下，所有参与者都能较好地完成任务要求。（四）支持建筑与电气工程领域中的技能培养建筑行业工人往往需要在脚手架、屋顶、钢架等多种高风险环境中工作，由于工作性质等原因，要求新手工人在开始正式工作之前必须具备一定的技能水平与安全意识。mr技术可为受训者呈现高空脚手架等模拟建筑环境，受训者可在其中进行

9、各种类型的模拟训练。如英国赫里奥特瓦特大学的博斯切17（frédéric bosché）等研究者结合当前建筑培训行业困境开发了一个mr模拟系统，专门用于培训建筑工人。该系统能使受训者沉浸于模拟建筑环境中，并支持用手和实际工具进行操作模拟，从而加快培养专业技能。另外，系统中的高度模拟能帮助受训者克服高空作业的恐惧，熟悉高空作业规范，对提高安全意识与降低工作风险具有良好的效果。此外，mr技术虚实融合的特性可将电气施工设计模型叠加到施工人员的视觉场景中，与工程设计图的传统呈现方式如文字描述、图纸等相比，该方式具备直观、容易理解、提高施工效率等特点。亚利桑那州国家大学的沙

10、卢布18（jad chalhoub）等开发了一款使用microsoft hololens呈现电气设计模型的mr应用，为施工人员提供规范指导。该应用首先将设计好的3d模型导入unity中，然后生成可在hololens中运行的程序。施工者将在佩戴好hololens之后，看到该模型在真实施工环境中的具体布置情况。研究表明，该方法一方面可以缩短施工人员理解设计所需的时间，在减少施工误操作的同时也提高了安装效率。另一方面，对于新手工人而言，该应用可在施工过程中显示各种操作提示，能显著加快新手工人的技能培养速度。（五）支持航空航天与军事领域的仿真训练在航空航天领域，基于各类现实增强技术的仿真训练系统具有低

11、风险、高收益以及不受气候条件影响和场地限制等独特优势19，并且能够为飞行员、航天员提供充分的训练机会。mr仿真训练系统可实现虚拟景象与真实环境的互相融合，在呈现真实世界的基础上，又可将当前时空不存在的物体反映到受训者视觉范围中，从而为受训者提供超越真实的模拟飞行环境。此外，mr仿真训练系统能实现听觉、触觉等综合感知与交互，与传统模拟器相比具有明显优势。例如，flightsafety公司的vi-tal 1100仿真训练系统能够为飞行员和机组成员提供多种任务下的飞行场景20，如编队飞行、任务彩排和空中加油练习等。实践表明，该系统能有效缩短受训者学习飞行系统和处理突发事件的反应时间，同时满足了日益增

12、长的训练需求。与航空航天领域类似，风险低、效益好的仿真训练系统在各国军事训练中同样备受青睐。传统的军事训练中存在训练内容受限、训练真实感差、环保和经济性差等缺陷，而mr技术支持下的仿真训练系统能为受训者呈现一个仿真度极高的训练环境，并为受训者提供视觉、听觉、触觉等多层感知交互信息，在获得真实战场体验的同时，又能满足经济环保、过程可控、训练全面等诸多要求。中佛罗里达大学休斯（charles e. hughes）等研究者开发了基于mr技术的模拟平台，用以满足士兵城市作战中多场景训练的需求21。该平台中加入了障碍箱、武器道具等真实物体，受训者通过头戴显示器能看到真实环境和虚拟道具互相融合的视觉场景。

13、在该场景中，受训者既可感受到真实环境如灯光、门、百叶窗的变化，也可以同虚拟敌人展开作战。此外，该模拟训练平台具备良好的声学环境，如射击建筑物上的灯会产生声音反馈，或能够听到同伴电台呼叫以完成协作作战。可见，mr技术支持下的仿真训练系统能为受训者带来身临其境的感官体验，对其军事技能和战术素养的提升具有明显的帮助。四、混合现实技术教育应用展望及挑战（一）混合现实技术教育应用展望1.促进智慧教育资源建设智慧资源为智慧学习环境中教与学的过程提供了有效支撑，是具有多维交互性和个性化定制等特征的新型数字化学习资源22。基于mr的智慧资源将具备多维动态交互及个性化支持等核心要素，以满足“数字土著”的学习诉求

14、和智慧学习的需要。mr将与自适应技术、情感计算、人工智能等技术结合，使mr智慧资源为学习者个性化学习提供支持。mr环境中虚拟物体的建模方式、色彩搭配与整体布局对学习者的学习兴趣具有潜在影响，在自适应技术、情感计算、学习分析等技术支持下，mr所构建的学习情境能够快速识别学习者特征与认知风格，并结合人工智能对可视化环境中影响学习者学习兴趣的诸多因素作出自适应调整，以满足学习者个性化需求，并促进高阶思维能力和情感的培养。mr智慧资源将为学习者提供全方位、多通道的实时交互，学习者与学习资源间的单向传播关系将会得到改善。mr智慧资源将弥补现有学习资源单向传播、交互及体验效果差等不足，并使学习者获得实时反

15、馈。例如可将与知识点相关的动画、声音甚至气味融入mr书籍，学习者在接触到相关学习内容时会有不同类型的可交互媒体呈现出来，从而为学习者提供全方位、多通道的感官体验，有效激发学习者学习兴趣并促进其知识内化。2.为教育游戏提供新思路近年来，mr作为一项新的人机交互技术出现，并凭借其显著优势引起了教育游戏研究者的关注，同时也为教育游戏教育性与游戏性的融合提供了崭新思路23。传统教育游戏多采用鼠标、键盘、手柄等设备作为交互工具，因此学习者在操作体验上难以获得较为真实的感受。此外，由于受画面效果、立体音效等影响，传统游戏在沉浸体验、临场感、真实性、代入感等方面难以满足学习者的需求。借助mr可为学习者构造出

16、感官效果真实、交互自然的游戏场景。在该场景中，游戏的情境、任务、情感等要素与知识巧妙结合，在为学习者提供游戏沉浸感、临场感、真实感的同时完成表达知识、传递知识、建构知识的任务24。mr游戏场景的真实性、动态性与传统二维、三维计算机游戏存在较大差异，其虚实融合的特征在增强教学模拟、感知体验以及操作感受方面颇具优势，或将成为未来教育游戏发展的重要方向。mr支持下的教育游戏摒弃传统教育游戏的操控方式，更加强调采用自然方式进行交互，从而弥补操作缺乏真实感、细腻感的不足。在mr教育游戏中，学习者融入到任务场景并利用手持设备、体态、手势、声音等方式完成游戏操作，良好的显示效果和立体声技术可大大提升学习者的

17、操作真实性、趣味性和沉浸感，从而增加学习者对知识内容的专注程度。mr技术支持下的教育游戏更加强调角色代入感，鼓励学习者协同合作完成游戏任务。角色代入感是影响学习者任务完成度的主要因素，mr提供了良好的沉浸式情境体验，能够吸引学习者以预定游戏角色的身份参与到游戏中，并按照游戏设定主动完成学习任务25。在面对较为困难或探索类任务时，学生可以相互组队共同完成游戏任务，从而在获得良好游戏体验的同时获得经验、习得知识并加强团队协作能力。3.转变学习方式，培养“21世纪技能”“21世纪技能”是智慧时代对新生代学习者提出的能力要求，学习与创新技能、数字素养技能、职业和生活技能的培养对传统学习方式提出了挑战2

18、6。传统学习方式注重知识的灌输，要求学习者被动接受和积累知识，但对创新能力、批判性思维、决策力、问题求解能力等高阶思维能力的培养难以形成强有力的支持。mr技术可将人类“想象”中的环境付诸“现实”，将对情境学习、体验学习、场馆学习提供支持辅助，帮助学习者实现由传统学习方式向新型学习方式的转变，促进培养“21世纪技能”。情境学习理论认为对知识的意义建构只有结合真实情境才能达到最佳效果，mr可以结合具体学习任务生成高度仿真的学习情境，帮助学习者获得技能、建构知识和激发兴趣27。基于mr的情境学习避免了传统学习方式中知识的被动灌输，并能引起学习者想象力与创造力的发挥。此外，基于mr的情境教学突破了传统

19、情境式教学的局限，可将有助于建构情境的大型物体展示到学习者视觉环境中，使情境的真实性得到进一步增强。同时，情境的创设也将有利于实施学习体验活动，帮助学习者在实际体验中激活认知、产生联想，并促进创造力培养。再者，对于知识的生成是建立在实际体验之上的，将被动学习的方式转为主动建构、自由探索，能有效增加学习过程的趣味性。4.支持创客教育和在线学习在创客教育中，处于mr环境中的学习者可将任意的元素、物体进行组合、翻转或重新设计，实现难以在真实环境中呈现的创意，甚至可以将在mr环境中制作的模型传输到计算机中，在3d打印和计算机建模技术的支持下将创意变为现实。这无疑会激发学习者创新、创造的动力，使所学知识

20、得以应用，有利于培养学习者创新能力。在远程教育领域，mooc与在线学习等新兴学习形式在学习体验、学习监督、学习动机等方面存在各种各样的问题，由此导致的辍学率高、学习效果差、资源利用率低等问题对远程教育的可持续发展造成了不可忽视的影响28。mr将与在线课程、mooc等在线学习形式结合，在网络技术、移动互联与同步技术的支持下为学习者构建虚拟网络教室，使位于不同地区、国家的学习者集中在同一个虚拟课堂环境中。在mr构建的在线课堂中，学习者将以虚拟化身的方式参与到课堂活动中，实现师生、生生的“面对面”交互，充分弥补现有在线课程在情感交互层面的缺陷。由此可见，mr技术支持下的远程教育突破时域限制，加强学习者之间的远程协作以及不同学习者之间的文化交流与意义建构，在未来促进资源共享以及教育公平上具有极大的应用潜力。（二）混合现实技术教育应用面临的挑战mr技术尚未发展成熟，在教育领域的应用还处于初步探索阶段，尽管科研人员以及教育工作者已经开发出诸多支持教学的应用，但要实现mr技术在教育领域的普遍应用仍面临许多挑战。1.mr技术教育应用所需成本高技术成本是制约新兴教育技术在教育领域推广使用的主要问题。由于一套完整的mr设备及相关服务成本偏高，普通学校由于资金限制无法购置为