远程实时授课交互功能的优化.doc

远程实时授课交互功能的优化摘要: 为改进远程实时授课交互方式提出一个新的解决方案,即运用运动捕捉技术捕捉人物行为和表情,抽象出运动数据以驱动人体三维模型 替身 进行实时运动。这一方案的设计充分体现以教师为主导, 以学生为主体的教育理念,通过改进现有的实时虚拟现实课堂系统的方式,最终实现远程实时授课系统师生以及生生之间最大程度的交互。关键词: 实时授课系统;运动捕捉技术; 实时虚拟课堂;师生交互; 替身1 现有远程实时授课系统交互功能不足及原因分析远程教育实时授课指的是授课时教师与学生处于同一时间不同地点, 即异地同时授课, 它克服了时间上的差异。在远程教育实践中先后出现了两种相对成熟的远程实时教育解决方案: 基于流媒体技术的视频实时授课系统和基于虚拟现实技术的网络虚拟教室。1. 1 视频实时授课系统的不足及原因分析简单的视频实时授课主要利用 QQ 视频或其他能够实时交流的工具完成, 教师利用这些交流工具的多人视频功能将授课画面传送给学生, 只要网络提供保证, 教师端发送的视频流、 音频流、 数据流与学生接收的信息流相一致就可以达到实时授课的效果。这种实时授课一般会根据实际需要分成两个不同的构成方式。第一种形式是一个教师同时教授不同地方的学生, 即一个教师端面对多个学生端, 各个学生同时不同地。第二种形式是一个教师端面对一个学生端, 但是学生端是所有学生, 即师生异地, 但所有学生同时同地。而不管哪一种都存在一个缺点就是交互困难, 教师的主导作用不能体现, 学生的主体性得不到满足。造成这个问题的主要原因有:教师方面。由于窗口数量和学生端数量的限制, 教师无暇顾及所有同学的反应, 无法看清学生的上课表情, 就不能判断学生的听课效果, 从而忽略了学生反应, 严重缺乏课堂上师生互动的环节。学生方面。一种情况, 学生面对的是计算机里没有丰富肢体行为表现的半身 教师形象, 教师动作表情的单一性容易引起学生的视觉疲劳, 实时课堂因此变得枯燥和乏味, 不利于师生之间的交流。另一种情况, 虽然学生面对的教师不再是 半身 形象, 教师有课堂风格表现, 但是学生与学生之间主要通过话语来完成信息传递, 不能让自己的动作和行为得到体现, 交互方法因此显得单调。1. 2 现有网络虚拟教室的不足及原因分析为实现良好的交互,人们开始致力于对网络虚拟教室系统的开发。网络虚拟教室就是在网络空间中建立一个虚拟的可交互的教学系统, 通过模拟传统的课堂教学功能, 为分处各地的师生提供一个可共享的虚拟学习环境。目前有较强影响力的就是基于计算机支持的协同工作理论( ComputerSupported Cooperative Work. CSCW)所创建的虚拟教室. 它是以BBS、 聊天室和电子白板之类的交流工具为教学的主要形式. 教学内容可以多种媒体形式呈现。这种类型的虚拟教室是以二维界面作为交互接口, 交互单调。随即, 三维虚拟分布式虚拟学习环境、 分布式智能教学系统、 智能虚拟环境也产生了, 但是它们存在另一个不足: 教师和学生在网络虚拟教室中需要通过控制鼠标和键盘等外界设备来实现自身的运动,其运动状态不是由人物自身表现的, 运动缺乏真实性和自由性, 让人觉得很机械。因此笔者探究了新的解决方案以实现一个具有一定真实感的、 能够进行高效交互的实时授课系统。2 远程实时课堂交互功能优化模型笔者所提供的新型的解决方案,是利用远程捕捉技术和虚拟现实技术相结合实现的。2. 1 运动捕捉技术基本概念笔者所介绍的运动捕捉技术指的是实时运动捕捉。实时运动捕捉技术是指在确定运动体位置后, 利用视频捕捉设备将运动体的运动轨迹以图像的形式记录下来, 然后利用计算机将其转化为抽象的运动数据,并根据这些运动数据驱动虚拟模型运动,最后实时反馈给现实和控制系统的一门新型运动控制技术。到目前为止, 常用的运动捕捉技术从原理上说可分为机械式、 声学式、 电磁式和光学式, 不同原理的设备各有其优缺点。同时随着技术的不断发展, 不依赖于专用传感器而直接识别人体特征的运动捕捉技术也走向应用, 如多视点非接触式运动捕捉技术。微软公司所开发的“ Project Natal ”项目采用的就是这种非接触式的运动捕捉, “Project Natal ”是微软Xbox 360 动作感应控制器的名称, 它是一个让游戏玩家无需任何游戏控制器的游戏控制方式, 它可以检测到玩家的行动。它的运动捕捉设备有 RGB 摄像机, 深度传感器和多向麦克风, 并有专门的软件支持, 这些设备和软件提供了全身体立体动作抓取, 面部识别和语音识别。2. 2 模型要素分析为优化远程实时授课系统的交互功能, 笔者提出了以下构想: 借助运动捕捉技术, 3D 技术以及其他技术的支持, 构建一个虚拟的教学场景, 为每一位课堂成员提供一个“3D 替身” 。将成员在现实中的运动和表情通过“3D 替身”以某种相对明显的方式实时地呈现在虚拟教学场景中,让教师通过观察“3D替身”的运动变化从而了解到学生的现实中的表情和动作, 促进教师对课堂的把握与调控。让学生能够在远距离的教学环境下, 通过丰富的课堂行为与教师进行非语言交互, 达到多维度、 全方位的信息传输和交互影响。该技术方案模型如图 1 所示, 模型主要分为 5 个部分: 教师、 运动数据、 3D 替身、 虚拟教学平台以及学生。下面对模型的结构以及原理进行分析。2. 2. 1 教师端和学生端同以往的远程教育实时授课系统一样, 这里的教师端和学生端的终端是面对计算机的实体人。所不同的是, 他们的动作和表情可以被实时捕捉, 克服了以往的各种实时授课环境的交互单一以及交互灵活度不够的障碍。因为该模型所体现的教师和学生的“替身”运动, 不是通过鼠标和键盘控制, 而是利用运动捕捉设备实时捕捉教师和学生的运动变化并通过抽象处理以控制“替身” 运动。这不仅保证了教师和学生能够将自己的动作通过“ 替身”真实的反映在电脑屏幕上, 同时也克服了视频会议中多窗口视频所造成的网络不畅以及障碍, 保证教师和学生之间、 学生和学生之间交流的易见性和方便性。2. 2. 2 运动数据的获取及处理运动捕捉技术的实质就是要测量、 跟踪、 记录物体在三维空间中的运动轨迹。因此它可以对人的运动轨迹进行捕获, 并处理记录的运动数据。典型的运动捕捉设备是由传感器、 信号捕捉设备、 数据传输设备和数据处理设备等部分组成。运动捕捉过程主要包括以下几个步骤: 首先, 通过固定在运动物体上的传感器, 跟踪物体从而向系统提供运动物体的位置信息; 接着由信号捕捉设备如摄像头, 负责捕捉和识别传感器的信号; 完成捕捉后, 数据传输设备将实时运动数据快速传输到计算机系统中进行处理; 最后由数据处理设备将运动数据进行修正、 处理, 并将这些运动数据与三维模型结合, 驱动三维模型的运动。图 1 技术方案模型(这个图你到最后确定需要，我给你画)2. 2. 3 “3D 替身” 以及虚拟教学平台“3D 替身” 和虚拟教学平台是解决方案的重要组成部分。如今的IT 行业, 已经有很多款软件可以满足对 3D人物模型的创建, 如 Aut odesk maya, 并且利用这些软件搭建虚拟三维场景。同时运用到虚拟现实建模语言 ( VRML)中的各种节点进行整合并设置交互, VRML 的使用为WWW上的 3D模拟带来变革。在这种虚拟教学平台中, 学习者通过自我控制行为表现与环境中的物体进行类似自然的交互, 从而产生了“身临其境” 的沉浸感, 达到了一种及时、 高效、 无阻的交互。3 网络虚拟教学实施过程及交互的最终优化效果3. 1 实施过程分析网络虚拟教学平台最重要的目标就是实现师生和生生之间的无阻交互。本文主要介绍的是实时课堂交互, 因此虚拟教室是所要介绍的重点。虚拟教室是网络虚拟教学平台的重要组成部分, 也是进行远程实时授课、 实现无阻交互的必要学习环境。教师和学生在进入平台后, 根据课程名称选择课堂。虚拟课堂实际上就是真实课堂的虚拟化, 同样拥有黑板、 讲台、 电子白板、 课桌椅等教学必备工具。上课期间, 教师通过自身的实际运动来控制教师替身完成书写板书、 播放视频、 使用虚拟电子白板等操作, 学生模型会实现地体现学生的实际课堂行为, 如听课神情变化、 记录笔记、 回答问题等。虚拟课堂实施过程如图 2 所示, 下面对虚拟课堂的实施过程进行说明:图 2 虚拟课堂实施过程第一步, 课前准备阶段。师生选择自己的课程进入虚拟教室, 做好上课准备。师生共处一个课堂, 达到时间和空间上同一, 克服时空障碍, 使远程教学具备了面授教学的同样条件。第二步, 授课阶段。师生实时完成替身驱动。教师根据自己的上课风格开始授课行为, 学生替身表现出学生听课状态及行为。第三步, 课堂调控与学生交互阶段。对于教师来说, 可以真实展现自身课堂风采, 也能够轻易的对课堂进行实时调控和交互, 例如, 教师可以像面授教学一样观看学生上课表现, 根据学生替身的课堂行为了解到学生实际的课堂反应从而调整课程进度、 调节课堂氛围以及进行实时答疑等; 而对于学生来说, 由于自己的实际行为会通过替身的运动变化处于教师的实时“ 监视 ”下,他们会更加集中精力的听课, 同时能够将自身在课堂中的言语、 表情以及行为清楚简便的表现出来, 学习的主体性得到了体现,学习动机得到了激发。3. 2 最终优化效果分析笔者所介绍的解决方案中网络虚拟教学平台以及平台内的教学实施过程是整个方案的核心。利用这个平台实现了“人机交互” 向虚拟“人人交互”的转变。这个网络虚拟教学平台克服了师生、 生生之间远程实时授课空间上隔离、无法直接交流的弊端, 使远程教学具有面对面课堂教学的特点, 让学生的主体地位得到了体现。它所产生的优化效果可以从以下几个方面来总结。2. 2. 1 创设了三维虚拟课堂场景, 实现直接的认知交互远程教学中研究者一直致力于通过各种现代通讯技术手段来实现师生之间的交互。传统利用视频会议“人一机一人”交互模式, 在实际的实施中往往是以“教师为中心 ”,师生的行为交流效果较之面授教育的课堂教学相差甚远。同时在交流知识的过程中, 由于网络以及窗口数量的限制, 师生、 生生之间不能够进行充分的交流, 例如: 由于师生、 生生相互之间并不知道各自的课堂状态, 在教师提问时, 可能会出现多位学生同时回答问题的情况, 这影响了课堂有序性, 阻碍了教师对学生的实时辅导。而虚拟教学平台所构造的是类似传统面授课堂的三维学习环境,它解决了无法面授所造成的课堂混乱等问题, 提高了认知交互的效率。网络虚拟教学平台为实时反馈提供了便利。例如, 教师在授课时, 通过观察学生模型的表现后便可确定学生是否能够接受课程内容、 自己所教授的方法是否满足学生的需要等, 从而便于及时调整课堂教学内容和方法。因此网络虚拟教学平台所创建的三维课堂场景, 通过增强师生课堂现实感, 让师生乐在其中。3. 2. 2 采用替身行为机制, 激发学生协同学习的兴趣在实时的课堂中,时常会出现协同学习, 如: 小组讨论等,网络虚拟教学平台支持多用户替身在虚拟场景中的交互, 用户可以通过运动捕捉技术所形成的替身行为机制来实现替身间的交互行为,从而改善了用户之间过去简单的基于对话框的文本交互以及利用鼠标和键盘控制替身的机械方式, 提高了协同感。例如, 学生可以根据需要进行走动, 让“替身”与所分配好的小组其他成员“替身”坐在一起, 这样既满足了学生心理上所需求的 面对面 的感觉,教师也可以清楚的了解具体的分组情况, 这种愉快、 自主的学习环境, 提高了学生进行相互交流积极性。3. 2. 3 自然运动驱动替身行为, 促进师生之间情感交互网络上的情感交互体现了在网络学习环境中人与人的社会关系和积极的内心情感的交流。人物的动作和表情是表达情感最直接的方式,单凭鼠标键盘等来完成这些行为使师生的行为间接化、 机械化, 并且容易产生疲劳, 有时甚至会因为操作不当而造成了相反的结果。网络虚拟教室的构建不仅给师生创造了面对面的课堂环境, 增强了人对真实课堂的体验感。同时突破了传统视频远程实时会议局限于语言交流, 也克服了现有的虚拟现实课堂中,教师和学生无法表现自身神情、 体态和行为所造成动作过于机械化的弊端, 为师生提供了更加丰富的情感交流方式。例如, 教师在自己的授课终端前表现