《增强现实算法基础》教案（48学时） 秦学英

课程名称增强现实课程编号授课时间专业及班级修课人数总学时48+32学分4课程类型必修课公共基础()专业（学科）基础课(√)专业课()选修课专业限选课（）专业任选课（）全校任选课（）授课方式理论课(√)实践课(√)学时分配课堂讲授48学时；实践环节32学时考核方式考试(√)考查()是否采用多媒体是是否采用双语否使用教材：（名称、作者、出版社及出版时间）秦学英，刘艳丽，钟凡，邢冠宇著，《增强现实算法基础》，清华出版社，2023年。（虚拟现实专题规划教材）教学参考书：（名称、作者、出版社及出版时间）[1] [美]史蒂夫•奥克史他卡尔尼斯（SteveAukstakalnis）著，《增强现实：技术、应用和人体因素》，机械工业出版社，2017年。[2] 鲍虎军，章国锋，秦学英.增强现实：原理、算法与应用.北京:科学出版社，2019。[3] （美）基珀，（美）兰博拉著，郑毅译, 《增强现实技术导论》，国防工业出版社出版，2014年。[4] 王涌天、陈靖、程德文著，《增强现实技术导论》，科学出版社，2015年。[5]MBillinghurst,AClark,GLee,Asurveyofaugmentedreality.FoundationsandTrends®inHuman–ComputerInteraction8(2-3),73-272，2015.教研室审查意见章节名称第1章增强现实概述授课时间6课时课次1-3（总第1-3次）教学目的与要求理解增强现实的基本概念、概念模型；理解增强现实的发展、现状及其未来趋势；理解增强现实系统的构成；理解增强现实与虚拟现实的关系了解增强现实的基本开发工具和环境。教学重、难点1.增强现实的概念、原型与基本原理；（重点）2.增强现实的系统构成与要点。课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入通过举例和视频示范，给出增强现实的最初概念和原型，呈现增强现实未来可用的场景和理念。通过互动交流，引导学生提出对增强现实应用场景的思考，以及开发和应用增强现实技术所涉及到的相关技术。二、教学内容的组织安排第1次授课（2课时）本章介绍本课程的整体知识框架，了解课程需要学习的基本内容。尽可能缕清概念和框架。通过提问、举例、讨论等方式，提升学生的参与度与概念掌握的程度。增强现实的基本概念增强现实的基本概念中，重要内容包括：增强现实三要素；增强现实的三个一致性；增强现实的框架。增强现实简史增强现实的阶段性发展以及其中的典型事件：1960-1989年的幼稚期；1990-1999年的发展初期；2000-2010年的活跃期；2010-现在的爆发期。第2次授课（2课时）增强现实的呈现增强现实是视点依赖的技术，为了实现虚实融合的效果，出现多种呈现的设备与概念模型：头盔显示器智能眼镜屏幕穿透式显示器空间增强现实遥在第3次授课（2课时）增强现实应用增强现实由于与现实世界的紧密联系，具有广泛的应用：教育与培训医疗军事智能制造市场营销娱乐游戏通讯增强现实与虚拟现实增强现实是与虚拟现实技术并肩发展起来的，讲述重点：虚拟现实的概念；增强现实与虚拟现实的区别与联系；Milgram的现实与虚拟的连续统；增强现实在设备和技术上与虚拟现实的共享。作业布置安装增强现实的开发环境Unity3D，学习如何实现应用开发。主要参考资料1．阅读第1章扩展阅读中的综述论文，重点阅读Azuma的《Asurveyofaugmentedreality》；2．网络相关资源，寻找增强现实的演示视频。教学后记

章节名称第2章空间变换与相机模型授课时间4课时课次总第4-6次教学目的与要求了解增强现实中涉及的空间以及坐标系；理解增强现实的空间之间变换的表达形式；理解增强现实的空间连续变换的表达形式；理解计算机视觉的相机模型及其建立过程；理解相机模型的单视图视觉定标方法；了解相机的视觉模型与图形绘制模型之间的对应关系。教学重、难点1.增强现实的空间之间的变换关系；（重点）2.相机的模型及单视图定标方法。课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入通过列举增强现实空间坐标系，使学生了解增强现实之间存在的多个空间。而增强现实需要将这些空间对齐，因此需要理解增强现实需要的坐标变换及如何实现这样的坐标变换。具体来说，增强现实涉及的主要是刚体变换（欧氏变换）、尺度变换和相机的透视投影变换。二、教学内容的组织安排第1次授课（2课时）主要讲授增强现实中涉及的空间坐标系，以及坐标变换关系的表示方法。由于增强现实具有时域上的连贯性，因此需要掌握空间连续变换的表示方法。2.1增强现实中的空间增强现实涉及到现实世界的场景坐标系、观察者坐标系、相机坐标系、物体坐标系等等，也涉及到虚拟物体的局部坐标系或者虚拟场景的坐标系，因此主要需要了解空间坐标系及其表示方法：空间坐标系空间关系的表示增强现实环境的坐标系2.2空间变换与坐标变换增强现实需要这些坐标系在整个过程中保持相对关系，因此主要需要了解空间之间变换的方法：刚体的坐标变换空间线性变换及对应矩阵第2次授课（2课时）相机常常用于增强现实空间注册的传感器，也是虚拟物体绘制的需要预知的参数，因此相机模型是增强现实中必须了解的内容。2.3相机的几何模型建立作为传感器的普通相机或者摄像头的几何模型，即3D点与图像像素2D点之间的对应关系，主要内容包括：针孔相机模型相机成像模型相机畸变模型其中，相机的非线性畸变模型作为了解内容，具体的模型即校准方法不做要求。2.4单视图定标基础根据建立的相机几何模型，从图像中校准相机的内外部参数矩阵。增强现实中常用的投影仪模型，也与相机模型相同。因此，投影仪与相机的校准方法是相机校准方法的应用。主要内容包括：投影矩阵P的标定由投影矩阵估计内外部参数K、R和t相机径向畸变校正（选学）投影仪与相机的校准作业布置在Unity3D中驱动物体的运动；安装ARCore/ARKit/Vuforia等AR的软件开发包，并基于Unity实现最基本的增强现实应用开发，练习如何发布到手机；第2章作业。主要参考资料学生不需要扩展阅读，但是可以参考扩展阅读的内容了解更多关于相机模型的内容。教学后记

章节名称第3章基于平面标志的空间注册授课时间2课时课次总第7次教学目的与要求实现简单的基于平面标志的增强现实实例；理解平面标记的3D注册原理；理解平面标记的检测方法；理解虚拟物体绘制所需要的相机参数与3D注册的关系。教学重、难点1.构建简单的增强现实系统；（重点）2.平面标记的3D注册原理。课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入通过在Unity3D环境中采用ARCore等开发工具包，实现基本的基于平面标记的增强现实原型系统，通过改变虚拟物体的模型和运动方式，制作个性化的应用系统，体验增强现实的效果。二、教学内容的组织安排第1次授课（2课时）主要讲授平面标志的位姿估计原理，平面标志的检测与位姿估计方法，以及获得位姿估计参数如何用于虚拟物体的绘制。3.1系统概述介绍增强现实系统的主要构成。3.2平面位姿估计介绍基于单应性矩阵的平面位姿估计方法，主要包括以下内容：单应性矩阵求解单应性矩阵从单应性矩阵分解旋转和平移3.3平面标志的检测介绍人工标志的检测算法原理，以及如何用于估计位姿。由于增强现实是实时系统，因此需要实现快速、鲁棒的算法。3.4虚拟物体绘制介绍平面标记估计的位姿与渲染的相机参数的对应关系。作业布置基于OpenCV中Aruco库提供的标志检测功能，实现一个简易的增强现实系统。第2章作业。主要参考资料学生不需要扩展阅读，但是可以参考扩展阅读的内容了解更多关于相机模型的内容。教学后记

章节名称第4章基于3D点的空间注册授课时间8课时课次总第8-11次教学目的与要求理解3D点的实时注册方法与原理；理解3D空间的实时注册方法与原理；理解增强现实的跟踪注册方法；了解增强现实中的注册跟踪系统的原理教学重、难点1.3D空间的注册方法与传感器的配合；（重点）2.增强现实应用系统的跟踪注册方法。（重点）课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入由《阿凡达》电影拍摄的增强现实系统介绍入手，通过讲解其中的应用需求，引入空间注册方法的要求和方法。二、教学内容的组织安排第1次授课（2课时）主要讲授3D点的实时注册方法，以及基于点的实时注册方法，将一组点构成结构后，确定空间注册的部分方法。4.13D点定位讲授4种基础的空间点注册方法，这些方法主要基于不同的传感器，主要包括：三角测量定位法三边测量定位法航位推算法摄影测量方法4.2空间变换估计讲授如何将一组点构成结构，用于空间变换的估计。第2次授课（2课时）4.2空间变换估计（续）主要讲授4种基于点注册的实时空间注册方法，主要包括：三角测量定位法三边测量定位法航位推算法摄影测量方法第3次授课（2课时）主要讲授增强现实环境中，如何实现空间注册及传感器的使用和配置。并将空间注册方法获得的位姿矩阵用于一般增强现实应用系统中。4.3增强现实中的注册跟踪增强现实显示器的配置虚拟物体注册增强现实中的空间变换常用传感器时间延迟问题注册跟踪系统基于传感器的定位跟踪基于视觉的定位跟踪混合定位跟踪作业布置由模拟数据估计位姿；用估计的位姿实现增强现实的效果；第4章作业。主要参考资料参考文献【5】教学后记

章节名称第5章特征点的检测与匹配授课时间4课时课次总第12-13次教学目的与要求理解角点检测与斑点检测的基本原理；理解亮度不变、尺度不变、旋转不变的含义与实现方法；理解SIFT、SURF、ORB等方法的基本过程；理解基于点对应估计图像变换的基本方法理解连续特征跟踪的基本方法教学重、难点1.角点检测与斑点检测的基本原理；（重点）2.基于点对应估计图像变换的基本方法。（重点）课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入由第3章基于平面标志的增强现实系统入手，平面标志要求特定标志物，具有较大的限制，基于特征检测与匹配可以实现对任意平面对象的自动检测与跟踪，因此本章内容可以认为是对第3章内容在自然场景下的扩展。二、教学内容的组织安排第1次授课（2课时）主要讲授特征检测与匹配的基本原理，包括角点检测与斑点检测，尺度不变与旋转不变性等内容。5.1特征检测的基本原理角点检测斑点检测尺度不变性5.2特征匹配的基本原理处理像素值变化旋转不变性第2次授课（2课时）主要讲授代表性的特征检测与匹配方法，基于点对应的图像变换估计方法，连续特征跟踪方法等。5.3代表性特征检测与匹配方法SIFT特征SURF特征ORB特征5.4基于点对应的位姿估计鲁棒最小二乘估计随机采样一致性方法（RANSAC）5.5连续特征跟踪作业布置实现Haris角点检测；第5章作业。主要参考资料SIFT、SURF、ORB方法的相关论文教学后记

章节名称第6章基于视频序列的空间注册授课时间6课时课次总第14-17次教学目的与要求理解3D点的实时注册方法与原理；理解3D空间的实时注册方法与原理；理解增强现实的跟踪注册方法；了解增强现实中的注册跟踪系统的原理教学重、难点1.双视图几何的推导；（难点）2.基于多视图几何的实时跟踪注册方法（重点）；3.有限重建的基本方法和原理。（重点）课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入由《阿凡达》电影拍摄的增强现实系统介绍入手，通过讲解其中的应用需求，引入空间注册方法的要求和方法。二、教学内容的组织安排讲授没有任何先验空间信息的实时注册方法，通过视觉特征的对应，实现现实场景的稀疏重构，获得相机的位姿及特征点对应的3D坐标。进一步，介绍场景的有限稠密重建方法，获得场景的重建点云。第1次授课（2课时）以及基于点的实时注册方法，将一组点构成结构后，确定空间注册的部分方法。6.1双视图几何基础讲授两帧图像之间，通过特征对应所建立的约束关系，以及如何从中求解相机的位姿和特征点对应的3D坐标（3D重构）。在主要的推导和求解中，常假设相机的内部参数矩阵已知，这样可以简化理论的复杂度。主要包括：对极几何理论基础矩阵计算投影矩阵计算3D稀疏重构本节内容较为抽象，具有一定的难度，可以舍弃部分较为困难内容的推导的讲解。第2次授课（2课时）6.2图像序列的定标根据2帧图像之间的对应关系，如何实现视频图像序列的相机定标和更为准确的3D点重构。重点在于，讲解通过集束调整的目标函数，满足增强现实对精确性的要求，通过预计算满足增强现实对实时性的要求。这些算法理论构成了SLAM的基础，SLAM将继续针对精确性、实时性以及能耗等提出更多的算法理论。尽管SLAM是移动端增强现实的主体，但是其算法复杂度很高，不讲解推导和求解的具体方法，仅介绍其思路。主要内容包括： 由运动恢复结构集束调整定标算法框架相机的实时跟踪SLAM简介第3次授课（2课时）6.3空间有限重建增强现实环境中，虚拟物体与现实环境存在相互影响，因此需要对产生影响的局部环境进行重建，以营造阴影、遮挡、运动轨迹等复杂的相互影响效果。本讲介绍了一些常用的物体或场景的重建方法以及原理，也一并介绍了相关传感器。主要内容包括：有限重建的意义基于体元的重建场景重建的主要方法场景平面检测第4次授课（2课时）6.4基于多视图的重建基于多视图的重建方法是多视图视觉理论的框架中实现的方法，仅需要相机拍摄的影像就可以重建场景，但是单凭图像重建的场景或物体缺乏尺度信息。由于在增强现实中，SLAM也是基于多视图理论的，因此方法具有延续性，在进行定标和稀疏重构后，通过稠密匹配就可以获得重建的几何信息。本讲也以原理为主，不必强调重建理论的推导和证明。主要内容包括：立体视觉原理双视图像的正则化稠密点重建3D表面模型作业布置由模拟数据估计位姿；用估计的位姿实现增强现实的效果；第6章作业。主要参考资料参考文献【5】教学后记章节名称第7章虚实融合中的一致性授课时间4课时课次总第18-19次教学目的与要求掌握虚实融合中的一致性基本原理；了解真实感绘制关键技术；了解空间增强现实技术。教学重、难点1.虚实融合的一致性基本原理；（重点）2.真实感光照明模型与绘制方程；（难点）3.虚实遮挡处理方法。（重点）课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入空间配准使得虚拟物体能够正确的放置在真实场景中，但是仅完成空间配准还无法满足高质量虚实融合的要求，虚实融合画面中的虚拟物体还需要呈现与现实场景光照相一致的逼真的外观，与周围物体之间的光影投射、正确的几何遮挡，并能进行合理的交互。因此还需要研究虚实融合过程中的一致性问题。二、教学内容的组织安排首先介绍虚实融合中的一致性绘制条件，引出空间一致性、光照一致性以及交互一致性三种一致性概念，并给出虚实融合的框架与流程；基于虚实融合的一致性条件，引出实现虚实融合一致性所需使用的绘制技术，为一致性条件的实现奠定理论基础；然后，借鉴绘制技术中的遮挡处理方法讲解虚实场景的遮挡处理技术；最后，简单介绍空间增强现实技术的基本与原理。第1次授课（2课时）主要介绍虚实融合中需要满足的一致性条件，并给出虚实融合的框架与流程，围绕虚实融合一致性介绍部分真实感绘制技术。7.1虚实融合中的一致性绘制讲授为构建高真实感虚实融合画面所需满足的一致性条件和虚实融合的框架和流程，主要内容有：一致性的条件虚实融合的框架与流程7.2虚实融合一致性相关的绘制技术讲授用以满足光照一致性的关键绘制技术，包括：真实感光照明模型绘制方程真实感实时绘制技术第2次授课（2课时）主要介绍其他虚实融合一致性相关技术，虚实融合遮挡处理方法以及空间增强现实基本原理。7.2虚实融合一致性相关的绘制技术讲授其他虚实融合一致性相关技术，包括：阴影生成技术可见性检测技术7.3遮挡处理介绍虚实融合过程中，虚、实场景间相互遮挡效果模拟方法，主要包括：静态前景遮挡处理动态前景遮挡处理7.4空间增强现实介绍简要介绍空间增强现实的实现原理，主要包括：投影系统与3D实体的几何校准投影系统与3D实体的色彩校准在任意表面上的投射图像作业布置第7章作业。主要参考资料见扩展阅读。教学后记章节名称第8章真实场景的光照重建授课时间2课时课次总第20次教学目的与要求掌握真实场景光照建模方法；掌握简化的光照参数求解算法；了解课本中介绍的其他光照重建方法。教学重、难点1.真实场景光照的建模方法（重点）2.光照求解的基本思想（难点）课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入为保证虚实融合画面的光照一致性，绘制虚拟物体的光照环境需与其所在的真实场景光照保持一致，为此需要实现对于真实场景的光照重建。二、教学内容的组织安排首先针对室内、外场景介绍真实光照的分布特点，根据光照分布特点介绍真实场景光照的建模、表示方法，以及光照参数的求解方法。第1次授课（2课时）介绍真实场景的光照特点和常用的真实场景光照重建方法。8.1真实场景光照重建特点主要内容有：室外场景光照重建特点室内场景光照重建特点8.2基于采集的光照重建方法介绍基于镜面球的光照重建方法的思想和实现流程，并对其优缺点进行分析。8.3基于参数求解的光照重建方法介绍根据捕获场景图像估计场景光照分布的方法，主要内容包括：真实场景光照建模基于简化光照模型的光照参数求解方法较为完善的光照参数求解算法其他光照参数求解算法作业布置第8章作业。主要参考资料见扩展阅读。教学后记章节名称第9章虚实场景间的光影交互与融合授课时间2课时课次总第21次教学目的与要求掌握虚实融合时虚实场景阴影的交互模拟方法了解模拟虚实场景镜面映射算法的基本思想教学重、难点1.虚实阴影交互与模拟算法（重点及难点）2.虚实场景镜面映射效果模拟相关技术（重点）课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入将计算机生成的虚拟景物无缝融入真实场景时，虚实物体间将会产生光影上的互相影响，包括虚实物体间相互投射阴影、相互镜面映射、以及虚实物体间的颜色辉映、透射等复杂光照效果。本章主要介绍在增强现实中如何模拟虚实场景间光影的交互效果。二、教学内容的组织安排首先介绍虚实融合中的阴影交互模拟方法，主要从阴影的概念、真实阴影检测以及虚实阴影交互融合三个方面进行介绍；然后讲授虚实场景镜面映射效果模拟基本思想和涉及到的关键技术。第1次授课（2课时）介绍虚实场景阴影交互模拟和镜面映射效果模拟方法，主要包括：9.1虚实景物间阴影的交互与融合讲授虚实场景阴影交互模拟方法，主要内容有：阴影的概念及作用真实阴影的检测虚实阴影交互与融合方法9.2虚实场景镜面映射效果交互与融合介绍虚实场景镜面映射效果模拟方法，主要内容有：真实场景在虚拟物体表面上的镜面映射虚拟物体在真实场景表面上的镜面映射虚实场景镜面映射效果融合方法作业布置第8章作业。主要参考资料见扩展阅读。教学后记

章节名称第10章增强现实中的图像融合授课时间6课时课次总第22-23次教学目的与要求理解图像融合的基本概念；理解图像合成与抠像的基本方法；理解多分辨率融合、基于图割的融合、泊松融合的基本原理。教学重、难点1.蓝幕与自然图像抠像的基本原理；（重点）2.基于图像金字塔与图割融合的基本方法。（重点）课型理论课■案例讨论课□实验课□习题课□其他□主要教学方法理论授课教具多媒体设备教学内容的组织与设计一、课程导入由图像融合与增强现实的关系入手，增强现实是虚拟与现实空间的融合，在某些特殊情况下通过图像融合来实现会更便捷。二、教学内容的组织安排第1次授课（2课时）主要讲授图像融合的基本概念，以及图像合成与抠像的基本原理。10.1图像融合与增强现实10.2基于抠像-合成的图像融合图像合成蓝幕抠