虚拟现实技术与应用-教学大纲

虚拟现实技术与应用教学大纲大纲版本：1.0课程名称（中/英）：虚拟现实技术与应用Virtualrealitytechnologyandapplication学分/周学时：2/2+1总学时：48理论学时：32实验学时：16课程类别：选修开课学期：春季适用专业：计算机、软件工程、数字媒体等课程性质：专业方向类课程课程编号：SENG3159.02先修课程：C++程序设计，计算机图形学一、课程简介本课程是计算机科学与技术、软件工程、数字媒体等专业的方向选修课程。本课程主要讲述虚拟现实的原理、方法、技术和应用，核心是高沉浸感虚拟环境体验中所需要的关键技术，包括空间位置跟踪、三维场景建模、人机交互等原理、方法和实现技术，深入理解虚拟现实方法、体验系统软件的开发过程，进一步提升计算机科学与技术的专业素养。虚拟现实技术涉及人机交互、计算机图形学、计算机视觉、多媒体以及心理学、控制学等多个学科，具有较强的学科交叉性，已经成为可以拉动多学科发展，并不断产生新思想、新技术和新经济生长点的重要领域。同时，虚拟现实与实际应用紧密衔接，可向不同领域辐射，已成为影响各行业运行质量和效率的研究方向。二、课程目标本课程的教学目标是：使学生掌握虚拟现实的基本理论、技术、方法，并从典型虚拟现实应用系统研发的角度，综合选择、运用合适的虚拟现实技术，解决具有中等复杂度的虚拟现实仿真系统设计和开发等实际问题，对于提高学生综合运用知识的能力和未来在虚拟现实相关行业从事创新性工作等方面有着积极的作用。（一）课程具体目标1.理解现有虚拟现实系统中各模块的功能和实现方法，能够针对真实生活中的具体需求场景设计虚拟现实系统，能够以团队合作形式完成从需求分析、功能设计、代码实现、系统搭建全流程；（毕业要求3.2：针对软件工程及相关领域的复杂工程问题，设计满足特定需求的软件系统和软件模块的能力，能够选择和利用合适的平台、开发工具和程序设计语言，实现满足设计要求的软件系统，并能够分析系统的主要性能、存在问题以及进行进一步优化的方案。）2.理解高沉浸感虚实融合中所需要的关键技术，包括空间位置跟踪、三维场景建模、人机交互等原理、方法和实现技术，能够对不同系统和方法的优劣进行对比和分析。（毕业要求5-3：针对软件工程及相关领域的复杂工程问题，能够选择和利用恰当的工具，对问题进行预测和模拟，并理解其局限性的能力。在必要时，具备独立开发专用软件技术工具的能力。）3.理解虚拟现实系统的复杂性，包括二维UI界面设计、三维数字资产建模、核心算法研究、前后端平台开发等，能够组建合理的团队共同完成项目。（毕业要求9-1：理解多学科背景下个人和团队的协作关系，良好的团队合作意识和能力，并能完成所承担角色的任务。）（二）课程目标与毕业要求的关系本课程目标主要支撑的毕业要求指标点如表1所示。除表1所列举指标点外，根据学生特点、本课程教学特色，教学目标还涉及对毕业要求5（选择和使用现代工具）和10（沟通能力）等能力培养，为弱支撑，不在表1中列举。表1本课程对专业毕业要求指标点的支撑课程目标支撑的毕业要求指标点课程目标1课程目标2课程目标3三、教学内容及基本要求 介绍每个知识单元的学时安排、主要内容、基本要求、重点和难点、作业以及课外要求等。说明教学内容对课程目标的支撑关系。《虚拟现实技术与应用》课程是面向高年级本科生开设的一门专业方向选修课，48学时。本课程将首先从介绍虚拟现实技术的起源和发展过程开始，通过讲述虚拟现实技术在各个行业应用中的应用情况和典型虚拟现实系统开发流程，逐步分析虚拟现实在发展过程中所面临的需求与挑战，以及背后所蕴含的技术问题，着重结合各种具体应用来讲授背后的共性技术原理和算法。在此基础上，重点讲授虚拟现实系统常见的空间定位、图像显示、输入输出、协同交互等关键技术。由于本门课程具有专业性、前沿性，因此也组织学生开展初步的学术论文调研、阅读和汇报，帮助学生了解本领域的前沿技术热点和进展。由于本门课程是一门实践性很强的课程，因此课程主要考核方式以团队项目制进行。指导学生结合虚拟现实技术在医疗、教育、培训等领域的应用情况，选择难度适中的开发项目，供学生自由组队完成，使得学生能够结合虚拟现实技术应用场景来学习以及加深对相关技术的理解、掌握以及应用，并借此培养学生的创新意识与专业技能。本课程的教学内容，以课程具体目标为总体指导进行制定。通过虚拟现实的基本概念和技术组成等教学内容，传授基于华为VREngine的虚拟现实系统原理和基本组成，包括各个组成的基本原理等知识，从而有针对性地培养虚拟现实系统的模块组成（课程目标1）和关键技术（课程目标2）。教学内容中除安排课内讲授知识外，还组织学生以团队项目形式进行实践（支持课程目标3），旨在巩固课堂传授知识点，使学生在面对计算机复杂工程问题时，能将虚拟现实技术合理运用于该类工程的设计实现之中（课程目标2），进行解决方案的分析和改进，并进行合理的需求分析、功能分析和验证。本课程的教学内容不仅完全覆盖课程拟达成的具体目标，同时，根据计算机科学与技术、软件工厂和数字媒体专业人才培养总体目标，以及课程所面向学生特点，课程内容还涉及计算机体系结构、计算机视觉、计算机图形学、人机交互、项目管理等内容，旨在培养知识交叉应用、沟通交流等综合工程能力。（一）虚拟现实的基本概念（4学时）主要内容：（重点覆盖课程目标1）虚拟现实的定义。虚拟现实的发展历史和发展趋势。虚拟现实与增强现实、混合现实之间的异同点。虚拟现实的主流软硬件平台。虚拟现实的应用领域。基本要求了解虚拟现实的技术发展历史和趋势。掌握虚拟现实的主流软硬件平台。掌握虚拟现实的技术应用场景。2.重点、难点重点：虚拟现实与增强现实、混合现实之间的区别。难点：虚拟现实与增强现实、混合现实之间的区别。3.作业及课外学习要求作业：了解市场主流的虚拟现实、增强现实系统，分析其核心功能和开发生态中的热点产品。（二）虚拟现实的空间定位方法（4学时）（重点覆盖课程目标1，2）主要内容：三维空间基础知识。坐标系统变换。空间定位技术。辅助定位技术。1.基本要求掌握虚拟现实场景下的不同坐标系及相互之间的变换方法。了解虚拟现实场景下的不同空间定位技术。2.重点、难点重点：坐标系统变换、里程计。难点：视觉惯性里程计。3.作业及课外学习要求作业：运行一个开源的视觉惯性里程计算法代码。课外学习要求：上网查阅资料，了解多种不同的视觉惯性里程计方法。（三）虚拟现实的三维建模方法（4学时）（重点覆盖课程目标1，2）主要内容：物体建模方法。场景建模方法。角色建模方法。大规模城市方法。动画仿真方法。1.基本要求=1\*GB2⑴了解各建模方法的目的和关键评价指标。=2\*GB2⑵掌握至少一种自动化建模方法的代表性方法思路。=3\*GB2⑶掌握至少一种自动化建模方法的开源算法实现和分析。2.重点、难点重点：自动化建模方法的代表性方法思路分析和开源算法实现。难点：自动化建模方法的代表性方法的开源算法实现。3.作业及课外学习要求作业：选择一个自动化建模任务，调研现有的主流方法，能对各方法进行横向比较、判断和分析。课外学习要求：通过完成作业和实验，进一步掌握不同自动化建模方法的目标、思路，了解各种不同的自动化建模方法的异同。（四）虚拟现实的多模态输入方法（3学时）（重点覆盖课程目标1，2）主要内容：键盘输入。语音输入。体感输入。眼神输入。多模态输入。1.基本要求掌握各种模态输入的相关概念及评价性指标。掌握各种模态输入的技术发展现状及优缺点。掌握多模态融合输入的相关方法和技术。2.重点、难点重点：各种模态输入的技术发展现状及优缺点。难点：多模态融合输入的相关方法和技术。3.作业及课外学习要求作业：。选择某特定的模态输入方法进行文献调研，对比主流方法。课外学习要求：对某特定的模态输入方法进行文献调研后，选择一个开源算法框架进行分析和实现。（五）虚拟现实的图像反馈技术（4学时）（重点覆盖课程目标1，2）主要内容：人类视觉机制。头戴式虚拟现实成像技术。虚拟现实关键渲染技术。1.基本要求了解人类视觉成像的机制。掌握头戴式虚拟现实成像的不同技术分类。掌握虚拟现实关键渲染技术的难点。2.重点、难点重点：虚拟现实关键渲染技术中实时渲染、光照一致性等内容。难点：虚拟现实关键渲染技术中实时渲染、光照一致性等内容。3.作业及课外学习要求作业：虚拟现实关键渲染技术中实时渲染、光照一致性等内容。课外学习要求：熟悉虚拟现实关键渲染技术中实时渲染、光照一致性的代表性方法，选择其中一个开源算法进行分析调试程序。（六）虚拟现实多模态反馈技术（3学时）（重点覆盖课程目标1，2）主要内容：听觉机制及虚拟现实系统中的声音输出触觉机制及虚拟现实系统中的触觉输出。嗅觉机制及虚拟现实系统中的嗅觉输出。味觉机制及虚拟现实系统中的味觉输出。1.基本要求掌握各种模态输出的相关概念及评价性指标。掌握各种模态输出的技术发展现状及优缺点。掌握多模态融合输出的相关方法和技术。2.重点、难点重点：各种模态输出的技术发展现状及优缺点。难点：多模态融合输出的相关方法和技术。3.作业及课外学习要求作业：。选择某特定的模态输出方法进行文献调研，对比主流方法。课外学习要求：对某特定的模态输出方法进行文献调研后，选择一个开源算法框架进行分析和实现。（七）虚拟现实的协同交互技术（2学时）（重点覆盖课程目标1，2）主要内容：主流虚拟现实软件中的协同交互。基于移动设备的虚拟现实协同交互。协同交互的核心特点和特征。2.基本要求了解主流虚拟现实软件中的协同交互。掌握基于移动设备的虚拟现实协同交互。掌握协同交互的核心特点和特征。3.重点、难点重点：协同交互的核心特点和特征。难点：多人共享物理空间条件下的注册和跟踪技术。4.作业及课外学习要求作业：了解和对比基于移动设备的虚拟现实协同交互主流技术，形成调研报告。课外学习要求：通过文献调研，了解多人共享物理空间条件下的注册和跟踪技术现状。（八）虚拟现实的应用架构（3学时）（重点覆盖课程目标1，4）1.主要内容：应用架构概述。虚拟现实应用的主要功能。服务器端概念架构。客户端概念架构。以华为VREngine为例的架构分析。2.基本要求了解一个典型虚拟现实应用的软件架构。熟悉服务器端、客户端的组成模块。掌握核心的主流框架技术。3.重点、难点重点：搭建一个虚拟现实应用的服务器-客户端架构。难点：搭建一个虚拟现实应用的服务器-客户端架构。4.作业及课外学习要求作业：搭建一个虚拟现实应用的服务器-客户端架构。课外学习要求：上网查阅一个主流的虚拟现实应用，并分析它的架构搭建方案。（九）虚拟现实的未来发展（2学时）（重点覆盖课程目标1）1.主要内容：虚拟现实与5G通信。虚拟现实与物联网。虚拟现实与人工智能。2.基本要求了解虚拟现实与前沿技术之间的联系和支撑关系。熟悉虚拟现实在未来场景中可以发挥的技术作用。3.重点、难点重点：虚拟现实与前沿技术之间的联系和支撑关系。4.作业及课外学习要求作业：围绕虚拟现实在未来落地场景的应用设想，完成一份课程报告。课外学习要求：调研虚拟现实与前沿技术之间的最新结合成果。（九）课程实验、论文汇报、项目、企业专家汇报内容一：VREngine环境配置实验（2学时）（重点覆盖课程目标2）主要介绍华为VREngine的基本功能，开发环境安装配置等。内容二：项目开发实验（8学时）（重点覆盖课程目标2，3）学生根据项目目标、计划和任务书，以团队形式进行项目开发。内容三：学术论文报告（4学时）（重点覆盖课程目标2）从虚拟现实领域的顶级学术会议（InternationalSymposiumonMixedandAugmentedReality、IEEEVirtualReality等）以及学术期刊（IEEETransactionsonVisualizationandComputerGraphics等）近两年发表的文献中选择一篇进行汇报。内容四：学生项目汇报（6学时）（重点覆盖课程目标2，3）以团队形式汇报项目的选题、中期进展和最终项目成果。从针对真实生活场景中的一个需求，提出虚拟现实技术的应用背景，阐述相关技术现状，明确系统开发的功能需求清单、人员分工，到持续性的功能实现，最后完整呈现项目成果。实验五：企业专家汇报（2学时）（重点覆盖课程目标2）企业团队入校进行交流，主要介绍其公司技术的核心功能，包括环境跟踪、运动跟踪和人体人脸跟踪，与学生互动。四、教学安排及教学方式介绍学时安排、讲授环节采取的教学方式等。总学时48学时，其中，讲授32学时，实验（上机）16学时。以下以单周进行一次理论课及一次实验课、双周进行一次理论课进行教学安排。讲授环节主要采用教师讲解、演示、互动的教学形式。教师讲解知识点、演示程序代码，使学生对知识点形成直观印象，并通过课堂教学双方互相提问，与学生互动，鼓励学生在课堂上发表自己的见解，加深对知识点的理解，达到课程目标。上机环节主要采用教师安排任务、学生自主上机练习，教师现场指导、答疑的形式。上机练习可利用实验室电脑或学生个人电脑编程，通过安装在本地的编译环境进行上机练习。周次教学内容基本要求及重点和难点学时教学方式1虚拟现实概述主要介绍虚拟现实的基本概念；产生背景；主要技术特点；增强显示、混合现实的基本概念、虚拟现实头盔与虚拟现实头盔的基本原理、虚实融合技术、典型虚拟现实应用系统等；目前的典型的应用方向和大型系统；2课堂讲授1华为VREngine引擎入门主要介绍华为VREngine的基本功能，开发环境安装配置等。2上机实践2硬件及系统结构主要介绍虚拟现实系统的主要软硬件构成要素、虚拟现实的常用硬件，包括三维获取设备（位置、姿态、几何数据等）；三维显示设备（立体眼镜，投影墙，头盔，三维显示器等）；人机交互设备（数据手套，触力觉设备，Kinect等）；图形计算系统（工作站，高端显卡等）；虚拟现实的系统结构分类，包括桌面式、手持式和头戴式等。2课堂讲授3软件及计算架构主要介绍绘制流水线、基于PC的图形体系结构、基于Cluster的并行图形绘制、并行图形绘制系统的分类、并行图形绘制的研究内容、基于端边云融合的计算架构等。2课堂讲授3项目开题汇报学生以团队进行项目的开题汇报。2课堂讲授、学生演示汇报4位置跟踪技术主要介绍离散型/基于事件触发的输入设备、连续型/基于采样的输入设备、混合型输入设备、语音、手势、运动输入设备，6自由度跟踪技术与系统。2课堂讲授5环境感知技术主要介绍依托传感器，特别是摄像机，对外部环境的分析和理解。主要介绍计算机视觉的相关任务，包括图像分类、目标定位、目标检测、图像分割等。2课堂讲授5项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践6显示技术主要介绍视觉感知原理、视景生成技术、立体显示技术、虚拟物体建模等。2课堂讲授7企业团队现场交流企业团队入校进行交流，主要介绍核心功能，包括环境跟踪、运动跟踪和人体人脸跟踪，与学生互动。2课堂讲授7项目中期汇报学生进行项目的中期汇报。2课堂讲授、学生演示汇报8真实感绘制技术主要讲授局部与全局光照模型、光线跟踪、辐射度传递、阴影、纹理映射等，以及基于可编程流水线的实时真实感绘制技术。2课堂讲授9前沿学术论文汇报安排学生以个人/团队形式进行一次前沿文献调研报告，从虚拟现实领域的顶级学术会议以及学术期刊近两年发表的文献中选择一篇进行汇报。2课堂讲授、学生演示汇报9项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践10建模技术主要介绍几何建模、运动建模、物理建模、行为建模、场景管理等方面的概念、方法和常用技术。2课堂讲授11多模态输入技术介绍键盘、手柄、手势、语音、眼神等输入模态，以及利用摄像机、麦克、触摸屏等多种交互媒介。2课堂讲授11项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践12前沿学术论文汇报安排学生以个人/团队形式进行一次前沿文献调研报告，从虚拟现实领域的顶级学术会议以及学术期刊近两年发表的文献中选择一篇进行汇报2课堂讲授、学生演示汇报13多模态输出技术介绍除了视觉以外的虚拟现实系统输出，主要包括听觉、嗅觉、触觉、味觉等模态，以及融合多模态融合输出的新一代交互手段。2课堂讲授13项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践14协同交互技术主要介绍允许多人在不同的时间、空间背景下，共同完成一个任务的协同技术，包含远程协作、异地协作、实时多用户协作、独立视图协作。2课堂讲授15未来展望主要介绍元宇宙、虚拟人、人工智能、物联网、人工生命等方面。2课堂讲授15项目开发学生根据项目目标、计划和任务书，以团队形式进行项目开发，教师提供支持和辅导。2上机实践16项目终期汇报学生进行课程项目的终期汇报2课堂讲授、学生演示汇报五、考核方式与成绩评定办法以虚拟现实技术及应用课程对软件工程专业的毕业要求支撑为基础，通过项目制考核学生的综合表现，包括团队合作、项目管理、工程、现场演示等。本课程实践性强，在专业通过工程教育认证的背景下，本课程以产出为导向，培养学生的工程实践能力.课程不再采取传统的卷面考核，采用过程考核+项目考核，注重学生团队合作能力的考查。本课程以更合理的考核机制更好的督促学生学习知识，掌握技能，达到课程目标以及该课程支撑的毕业要求。最终成绩由课程参与（10%）、论文汇报（10%）、课程项目（80%）等综合而成。其中课程项目分为开题报告（15%）、中期报告（25%）、终期报告（40%）组成。各部分所占比例如下：课程参与：10%，主要通过考勤、课堂互动、课后交流的形式对学生的课程参与进行评估。论文汇报：10%，安排学生以个人形式进行一次前沿文献调研报告，从虚拟现实领域的顶级学术会议（InternationalSymposiumonMixedandAugmentedReality、IEEEVirtualReality等）以及学术期刊（IEEETransactionsonVisualizationandComputerGraphics等）近两年发表的文献中选择一篇进行汇报。汇报时间10分钟，并预留3分钟进行提问交流。主要考核学生对于前沿科研成果的思路和方法的学习能力。开题报告：15%。以团队形式汇报项目的选题。针对真实生活场景中的一个需求，提出虚拟现实技术的应用背景，阐述相关技术现状，明确系统开发的功能需求清单、人员分工和项目预期进展。汇报时间10分钟，并预留3分钟进行提问交流。主要考核学生分析、解决问题的能力，以及团队组织/合作的能力。中期报告：25%。以团队形式汇报项目的进展，重点汇报系统已实现的功能，采用的核心算法，遇到的困难，预期采用的技术路线，以及接下来的工作计划。汇报时间10分钟，并预留3分钟进行提问交流。主要考核学生软件开发以及算法设计与实现能力。学生应能够通过搭建相应的开发环境，以团队合作的形式完成合适的系统开发工作量。终期报告：40%。以团队形式进行项目的最终报告，并要求提交一份文字版本项目报告。重点汇报系统已实现的功能，采用的核心算法，与预期计划的变动，人员分工，项目整体开发体会和经验。汇报时间10分钟，并预留3分钟进行提问交流。文字版本项目报告要求包含上述内容，但宜言简意赅，建议正文宋体小四、1.5倍行距格式下控制在5页纸内（需附封面、参考文献，但不计入页数）。全方位考核对虚拟现实系统的基础知识、方法和技术的掌握程度，团队配合程度以及解决问题的能力。课程目标达成考核与评价方式，以及成绩评定对照表。课程目标毕业要求考核与评价方式及成绩比例（%）成绩比例（%）课程参与论文报告课程项目13.2510254025.3510254039.12020合计102070100（二）考核与评价方式及成绩评定考核与评价标准1.课程参与考核与评价标准课程参与课程目标评价标准成绩比例（%）优秀(0.9~1)良好(0.8~0.89)中等(0.7~0.79)及格(0.6~0.69)不及格(0.0~0.59)课程目标1能够独立思考，对虚拟现实技术有全面深入的理解，能够在课堂内外提出有价值问题能够独立思考，对虚拟现实技术有较为完整的理解，课堂上积极交流对虚拟现实技术有基本的理解，课堂上能够在老师引导下交流对虚拟现实技术有基本的理解对虚拟现实技术理解不清楚，或者思路不清楚50课程目标2能够对给定的应用问题提出相应的算法，并在课堂内外与老师主动交流能够对给定的应用问题构建设计合理的算法能够对给定的应用问题设计部分算法基本能够对给定的问题设计部分算法不能对给定的模型设计算法50注：该表格比例为课程参与部分的成绩比例。2．论文报告考核与评价标准论文报告课程目标评价标准成绩比例(%)优秀(0.9~1)良好(0.8~0.89)中等(0.7~0.79)及格(0.6~0.69)不及格(0.0~0.59)课程目标1能够对所选择的学术文献进行深入阅读，对论文选题、方法、结果、讨论部分结合虚拟现实技术进行清晰讲解，能够提出自己的独到观点。能够对所选择的学术文献进行较为深入阅读，对论文选题、方法、结果、讨论部分结合虚拟现实技术进行清晰讲解。能够对所选择的学术文献进行阅读，对论文选题、方法、结果、讨论部分进行讲解。能够对所选择的学术文献进行阅读，对论文选题、方法、结果、讨论中的一部分内容进行讲解。无法完成学术论文的阅读和讲解。50课程目标2能够围绕所选学术论文的核心技术主题开展更多文献，能够对不同系统和方法的优劣进行对比和分析能够围绕所选学术论文的核心技术主题文献开展部分调研工作，能够简单分析主流方法的优缺点。能够围绕所选学术论文的核心技术主题开展更多文献，并整理相关资料。能够利用搜索引擎，围绕所选学术论文的核心技术主题开展简单的调研。无法围绕核心技术开展更深入的文献调研。50注：该表格比例为论文报告部分的成绩比例。3．课程项目成绩考核与评价标准课程项目课程目标评价标准成绩比例（%）优秀(0.9~1)良好(0.8~0.89)中等(0.7~0.79)及格(0.6~0.69)不及格(0.0~0.59)课程目标1能通过已实现系统很好地展示虚拟现实系统的各关键技术模块，概念清楚，逻辑清晰能通过已实现系统较好地展示虚拟现实系统的各关键技术模块，概念清楚能通过已实现系统较好地展示虚拟现实系统的各关键技术模块能通过已实现系统展示虚拟现实系统的各基础模块无法实现系统、或无法展示虚拟现实系统的各模块36课程目标2能通过已实现系统展示关键技术，解题问题思路清楚，能呈现完整解决方案，评估不同技术的优缺点及分析理由能通过已实现系统展示关键技术，解题问题思路较为清楚，能呈现较为完整的解决方案能通过已实现系统展示关键技术，解题问题思路基本清楚能通过已实现系统展示关键技术无法通过已实现系统展示关键技术36课程目标3能够组建合理的团队共同完成项目，展现优秀的团队合作意识和能力，并能完成所承担角色的任务能够组建合理的团队共同完成项目，展现良好的团队合作意识和能力，并基本能完成所承担角色的任务能够组建团队共同