增强现实算法基础 课程教学大纲-AR

XX大学XX学院《增强现实》理论课程教学大纲课程名称增强现实英文名称AugmentedReality课程代码开课单位课程类别■专业培养□重点提升□双创教育□素质拓展□辅修学士□微专业学分3学时48适用专业数字媒体技术先修课程数据结构、线性代数、高级程序语言课程网站课程描述《增强现实》课程是软件学院数字媒体技术系的专业必修课、软件工程的方向选修课，讲解增强现实技术的基本概念、基础理论和典型方法，培养学生理解、应用和开发增强现实技术的能力，为在数字媒体技术领域、奠定基础。本课程主要介绍增强现实概念模型、虚实融合、人机交互等内容，重点讲授空间注册算法，要求学生掌握C++等基本编程技巧。教学目标教学目标1：理解增强现实的基本概念、概念模型与运行原理，了解增强现实常用的显示设备与工作原理。教学目标2：掌握增强现实的空间变换、相机模型等基本原理，掌握空间注册的基础算法，主要包括基于平面标记跟踪、三维点跟踪、自然特征点跟踪，以及视频场景的相机跟踪、三维重建等方法。教学目标3：了解在空间注册的基础上的虚实融合的基本原理，理解几何一致性、光照一致性、交互一致性在增强现实中的作用，掌握实现虚拟融合与交互对技术的需求。教学目标4：了解增强现实的现代实现方法、信息资源和开发工具，通过对专业软件和仪器设备，具备开发增强现实应用的能力。对增强现实复杂工程问题进行预测与模拟，并能够理解工具的局限性。课程教学内容及学时分配第一章增强现实概述（6学时，其中授课5学时，研讨1学时）【教学目标和要求】1.理解增强现实的基本概念、概念模型；2.理解增强现实的发展、现状及其未来趋势；3.理解增强现实系统的构成；4.理解增强现实与虚拟现实的关系；5.了解增强现实的基本开发工具和环境。。【具体教学内容】阐述基本概念和模型、增强现实的呈现装置。【教学和学习建议】讲解、演示与实验的结合。【教学/考核难点重点】1.增强现实的概念、原型与基本原理；2.增强现实的系统构成与要点。第二章空间变换与相机模型（6+4学时，其中授课5.5学时，研讨0.5学时，实验3.5学时、测试0.5学时）【教学目标和要求】1.了解增强现实中涉及的空间以及坐标系；2.理解增强现实的空间之间变换的表达形式；3.理解增强现实的空间连续变换的表达形式；4. 理解计算机视觉的相机模型及其建立过程；5.理解相机模型的单视图视觉定标方法；6.了解相机的视觉模型与图形绘制模型之间的对应关系。【具体教学内容】讲述空间变换的数学模型、变换的表示模型、计算模型；讲述相机的数学模型以及如何估计该模型，以及相机的畸变模型，并应用在投影仪-相机的校准上。【教学和学习建议】结合在Unity中虚拟物体的动态驱动，练习空间变换矩阵以及相机参数的设置。【教学/考核难点重点】1.增强现实的空间之间的变换关系；2.相机的模型及单视图定标方法。第三章基于平面标志的空间注册（2+4学时，其中授课2学时，研讨0学时，实验3.5学时、测试0.5学时）【教学目标和要求】1.实现简单的基于平面标志的增强现实实例；2.理解平面标记的3D注册原理；3.理解平面标记的检测方法；4.理解虚拟物体绘制所需要的相机参数与3D注册的关系。【具体教学内容】人工平面标志的注册技术与方法、定位技术与方法，引导学生实现AR的应用。【教学和学习建议】以AR在PC机或者手机上的开发包为工具，要求学生学会使用工具。【教学/考核难点重点】1.构建简单的增强现实系统；2.平面标记的3D注册原理。第四章基于3D点的空间注册（8+4学时，其中授课7.5学时，研讨0.5学时，实验3.5学时、测试0.5学时）【教学目标和要求】1.理解3D点的实时注册方法与原理；2.理解3D空间的实时注册方法与原理；3.理解增强现实的跟踪注册方法；4.了解增强现实中的注册跟踪系统的原理。【具体教学内容】3D点的定位跟踪、观察者的位姿跟踪等算法，增强现实中连续变换方法的数学表示；增强现实实用系统的原理。【教学和学习建议】引导学生理解算法数学模型，理解应用系统采用的传感器与算法的优势和限制条件。【教学/考核难点重点】1.3D空间的注册方法与传感器的配合；2.增强现实应用系统的跟踪注册方法。第五章特征点的检测与匹配（4+4学时，其中授课3.5学时，研讨0.5学时，实验3.5学时、测试0.5学时）【教学目标和要求】1.理解角点检测与斑点检测的基本原理；2.理解亮度不变、尺度不变、旋转不变的含义与实现方法；3.理解SIFT、SURF、ORB等方法的基本过程；4.理解基于点对应估计图像变换的基本方法；5.理解连续特征跟踪的基本方法。【具体教学内容】Harris、KLT、SIFT、SURF的原理和方法的简单介绍。【教学和学习建议】以算法理解为主。【教学/考核难点重点】1.角点检测与斑点检测的基本原理；2.基于点对应估计图像变换的基本方法。第六章基于视频序列的空间注册（8+4学时，其中授课7.5学时，研讨0.5学时，实验3.5学时、测试0.5学时）【教学目标和要求】1.理解3D点的实时注册方法与原理；2.理解3D空间的实时注册方法与原理；3.理解增强现实的跟踪注册方法；4.了解增强现实中的注册跟踪系统的原理。【具体教学内容】双视图几何基础、相机位姿估计、相机跟踪定位、实时跟踪、集束调整、SLAM介绍。【教学和学习建议】由于目前手机版本的跟踪注册普遍采用视觉SLAM来实现，并且取得了良好的效果，因此本章的内容是重要的，但是由于内容比较复杂，可以进行介绍性质的学习，放宽实现要求。【教学/考核难点重点】1.双视图几何的推导（难点）；2.基于多视图几何的实时跟踪注册方法；3.有限重建的基本方法和原理。第七章虚实融合中的一致性（4+4学时，其中授课3.5学时，研讨0.5学时，实验3.5学时、测试0.5学时）【教学目标和要求】掌握虚实融合中的一致性基本原理，了解真实感绘制关键技术和空间增强现实技术。【具体教学内容】几何一致性、光照一致性、交互一致性、真实感光照明模型、绘制方程、阴影生成技术、虚实融合中的遮挡处理方法、空间AR。【教学和学习建议】以理论讲授为主，辅以实验说明。【教学/考核难点重点】虚实融合的一致性基本原理、真实感光照明模型、虚实遮挡处理方法、空间增强现实基本原理。第八章增强现实中的光照重建（2+0学时，其中授课2学时，研讨0学时，实验0学时、测试0学时）【教学目标和要求】了解真实场景光照特点，掌握真实场景光照建模方法和简化的光照参数求解算法，了解课本中介绍的其他光照重建方法。【具体教学内容】室内和室外场景光照特点、基于采集的场景光照重建方法、基于参数求解的光照重建方法。【教学和学习建议】理论讲解为主，辅以实验说明。【教学/考核难点重点】真实场景光照的建模方法和光照求解的基本思想。第九章虚实场景间的光影交互与融合（2+0学时，其中授课2学时，研讨0学时，实验0学时、测试0学时）【教学目标和要求】掌握虚实融合时虚实场景阴影的交互模拟方法、了解模拟虚实场景镜面映射算法的基本思想。【具体教学内容】阴影的基本概念、虚实阴影交互模拟算法、真实场景在虚拟物体表面产生镜面映像的方法、虚拟物体在真实场景表面产生镜面映像的方法。【教学和学习建议】理论讲解为主，阴影投射交互模拟需要配合实验加以说明。【教学/考核难点重点】虚实阴影交互模拟算法、虚实场景镜面映射效果模拟相关技术。第十章增强现实中的图像融合（2+0学时，其中授课2学时，研讨0学时，实验0学时、测试0学时）【教学目标和要求】1.理解图像融合的基本概念；2.理解图像合成与抠像的基本方法；3.理解多分辨率融合、基于图割的融合、泊松融合的基本原理。【具体教学内容】增强现实中的图像融合、抠像方法、图像融合方法。【教学和学习建议】图像融合关系到最终的虚实融合的效果，由于内容有复杂度，可以要求学生理解算法原理，可以调用openCV的函数制作虚实融合的效果。【教学/考核难点重点】1.蓝幕与自然图像抠像的基本原理；2.基于图像金字塔与图割融合的基本方法。第十一章人机交互与应用（2+4学时，其中授课1.5学时，研讨0.5学时，实验3.5学时、测试0.5学时）【教学目标和要求】1.了解人机交互的基本概念和目的；2.理解增强现实中人机交互的特点；3.理解增强现实中人机交互的方法和技术要点；4.了解增强现实的应用开发平台和人机交互的实现。【具体教学内容】人机交互的概念、设备、原理；人机交互的历史；用户与虚拟物体的交互；虚拟物体与现实环境的交互；增强现实的开发平台。【教学和学习建议】人机交互是一门独立的学科，因此本章的目的是要学生明白增强现实与人机交互的关系，并且理解增强现实环境中人机交互的主要模式和关键问题。【教学/考核难点重点】1.理解增强现实中的人机交互的特点和原理；2.理解增强现实中主要的人机交互的实现方法。考核及成绩评定方式【考核方式】：课堂提问讨论10%、实验、期末考试（笔试、闭卷）【成绩评定】：其中课堂提问及平时成绩占10%，实验30%，期末考试60%。【考试大纲】教材及参考资料【教材】秦学英，刘艳丽，钟凡，邢冠宇著，《增强现实算法基础》，清华出版社，2023年。（虚拟现实专题规划教材）【参考书】3-5本相关的教材或者专著、杂志或网络资源[1] 鲍虎军，章国锋，秦学英.增强现实：原理、算法与应用.北京:科学出版社，2019。[2] [美]史蒂夫•奥克史他卡尔尼斯（SteveAukstakalnis）著，《增强现实：技术、应用和人体因素》，机械工业出版社，2017年。[3] （美）基珀，（美）兰博拉著，郑毅译, 《增强现实技术导论》，国防工业出版社出版，2014年。[4] 王涌天、陈靖、程德文