增强现实技术应用的培训课件

1、增强现实技术应用的培训课件第一章 增强现实技术简介 1.1 增强现实发展背景 1.2 增强现实技术简介 1.3 增强现实发展动态内容安排第二章 基于视觉的增强现实系统框架 2.1 系统框架 2.2 系统的模块介绍 2.3 图像采集与处理模块 2.4 三维模型绘制模块 2.5 标识识别模块 2.6 三维注册模块 2.7 深度检测模块 2.8 虚实融合模块 2.9 动作交互模块内容安排第三章 图像的采集与预处理 3.1 摄像机图像实时采集 3.2 图像的预处理 3.3 图像的实时显示 内容安排第四章 图像的实时显示 4.1 简单三维模型绘制 4.2 复杂三维模型绘制与加载 4.3 三维模型的渲染

2、内容安排第五章 三维注册与虚实融合 5.1 通用相机模型 5.2 透视投影原理 5.3 图像的标识识别 5.4 像平面间的变换 5.5 三维空间坐标变换 5.6 虚拟场景与真实场景的配准 5.7 虚实融合内容安排第六章 动作交互与多媒体控制 6.1 键盘鼠标输入 6.2 动作传感器输入 6.3 图像分析与动作识别 6.4 三维动画生成 6.5 碰撞检测与同步 6.6 视频文件的渲染与控制 6.7 虚实动作的分层融合 6.8 音频文件的渲染与控制内容安排第七章 原型系统 7.1 空客A380增强现实发布会 7.2 新娱乐活动增强现实体验 内容安排考核方式 课时分配平时成绩：40%期末考试：60%

3、总课时32：上课26学时，上机4学时X3D增强现实技术：第二代三维立体网络动画游戏设计，张金钊著，北京邮电大学出版社，2012-05增强现实环境下基于手势的自然交互，孙超,浙江大学博士学位论文，2010年7月增强现实系统虚实无缝融合相关问题研究，丰艳，上海大学博士学位论文，2007.3增强现实的应用技术研究，范苑竹，浙江大学硕士学位论文，2008.6虚拟现实与增强现实技术及其工业应用：英文版，马登哲，上海交通大学出版社，2011-01 主要参考教材第一章 增强现实技术简介 1.1 增强现实技术简介 1.2 增强现实发展动态 1.3 增强现实应用领域1.1 增强现实简介 增强现实技术(Augme

4、nted Reality，简称AR)是虚拟现实技术最重要的分支之一。将真实世界和计算机生成的虚拟世界无缝融合在一起。理想的增强现实系统不仅提供实时的、逼真的、高解像度的3D场景，而且需要有一套复杂跟踪定位设备和交互感应设备，以此来实现人与虚拟环境的无缝融合，并使人通过最自然的操作与虚拟世界中的三维物体进行实时交互。增强现实技术可以将不可抵达现场的真实世界或者存在于人们想象中的虚拟世界用三维动画模拟的方式生动形象地展现在现场的人们面前。1.1 增强现实简介 增强现实与虚拟现实的区别与联系虚拟现实 (VirtualReality，简称VR)，也称虚拟实境或灵境，是一种可以创建和体验虚拟世界的计算机

5、系统，它利用计算机技术生成一个逼真的、具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，同虚拟环境中的实体相互作用，使之产生身临其境感觉的交互式视景仿真和信息交流。1.1 增强现实简介 增强现实是一个新兴的多学科交叉研究领域，它的研究范围非常广泛，包括以下多门技术：信号处理计算机图形学图像处理计算机网络三维建模技术三维渲染技术新型显示器和传感器的开发与设计1.1 增强现实简介 一个完善的AR系统包括多个学科研究的技术，其中系统显示技术、跟踪定位技术、虚实融合技术和用户交互技术是实现一个AR系统的基本支撑技术。一般增强现实的显示技术分为以下五类:头盔显示器、投影式 (Projeet

6、Display)显示技术，手持式(Hand Held Display)显示器，普通液晶显示器、3D电视机。跟踪定位系统必须能够实时地检测观察者在场景中的位置、视域的方向，甚至是运动的情况，以便用来帮助系统决定显示何种虚拟物体，并按照观察者的视场重建坐标系。在AR应用中，通常使用两类跟踪和定位技术，一种是基于硬件设备的跟踪定位技术，一种是基于机器视觉的跟踪定位技术。1.1 增强现实简介 用于跟踪定位技术的硬件系统和设备主要包括:全球卫星定位系统(GPs)和 DeadReckoning技术、超声波定位仪、惯性导航装置、螺旋测度仪、测距仪、光学系统、磁跟踪器、机械装置。基于视觉的跟踪注册技术即是从真

7、实环境中获取一幅或者多幅图像，然后标定摄像机与目标间的相对位置和方向。1.1 增强现实简介 基于视觉跟踪的方法大体上可以分为以下四类:己知单幅图像中的六个或者六个以上的匹配点进行跟踪，目前大多数研究者采用这种算法。这类视觉跟踪的方法使用相机标定的技术，利用单幅图像中己知点的三维空间位置与它们在图像平面坐标系中的成像坐标实现跟踪注册。这些已知点是物体的特征点:如拐点、孔洞、放置的标志点。从运动摄像机拍摄到的序列图像或者是从拍摄到的运动目标序列图像进行跟踪。通过运动目标的序列图像来研究运动目标的运动特征。首先要利用序列图像来估计目标的运动参数和确定目标的结构，即通过对序列图像的处理，然后在具有系统

8、噪声和测量噪声的情况下，从统计的意义上对运动目标参数做出精确的估计。1.1 增强现实简介 图像的模板匹配。使用模板匹配的方法从不同视点提取真实环境的图像用作模板寻找真实环境的数字化图像，一旦找到虚拟物体就被叠加到真实环境。三视图和多视图的跟踪技术。由多部摄像机从真实环境的各个角度提取标识物的图像，通过应用Harris角点检测或SIFT特征点匹配等算法提取图像特征点，计算场景中真实物体的深度信息，确定虚拟物体与真实环境的遮挡关系后显示虚实结合的场景图像，使真实场景与虚拟物体实现更加自然的时空范围中的融合，使用户可以与虚拟物体自由交互。1.1 增强现实简介 由于要实现虚拟和现实物体的完美结合，必须

9、将虚拟物体合并到现实世界中的准确位置，这个过程称为注册 (registration) 。衡量AR系统性能以及影响其实用性的关键指标是三维跟踪注册精度。目前的注册误差可以分成两大类:静态注册误差、动态注册误差。静态注册误差是当用户的视点和真实环境中的物体均保持静止时才会产生。动态注册误差则只有当用户的视点或者物体运动时才会产生的。动态注册误差是造成增强现实系统注册误差的主要来源，也是限制增强现实系统实现广泛应用的主要因素。1.1 增强现实简介 虚实融合技术虚实融合技术包括跟踪定位过程中对虚实环境进行准确的配准，实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性，同时支持自然的交互。它们需要依靠软

10、件系统实现。在AR的应用中，为了真实模拟出客观世界中三维物体对虚拟物体的遮挡关系，必须比较虚拟物体与真实物体的深度信息。在阴影生成方面，需要考虑真实物体和虚拟物体之间的阴影和虚拟物体之间的阴影;在AR场景的光照设置中，需要考虑真实场景和虚拟物体光照条件的一致性，并能够自适应真实世界光照条件的变化。1.1 增强现实简介 用户交互技术下一代AR技术的主要特征是实现用户与真实场景中的虚拟物体之间更自然的交互，AR系统需要通过跟踪定位设备获取交互控制数据执行用户对虚拟物体实施的行为指令。 AR应用系统常使用以下3种方式实现用户与系统之间的交互: 姿态命令、传感器、特制工具。姿态命令: AR中的命令是通

11、过运用人工智能中的机器学习和模式识别技术来完成的。如使用手势识别等。传感器：X-box、扇形传感器特制工具: 提供特制工具与虚拟物体交互。1.1 增强现实简介 增强现实系统的特点：虚实结合、实时交互、三维注册 虚实结合的特点是指虚拟物体与真实世界的结合，即使用户所感知的混合世界里，虚拟物体出现的时间或位置与其真实世界对应事物相一致和协调。同时，系统能根据用户当前的位置或状态即时调用与之相关的虚拟世界，并即时将该虚拟世界与真实世界结合，真实与虚拟之间的相互作用或影响是实时完成的，比如视线上的相互阻挡，形状上的相互挤压等等。三维注册要求对合成到真实场景中的虚拟信息和物体准确定位并进行真实感实时绘制

12、，使虚拟物体在合成场景具有真实的存在感和位置感。1.2 增强现实发展动态 AR技术始于二十世纪六十年代，美国哈佛大学 Ivan Sutherland教授发明了光学透明头盔显示器(see一 throughHead一 Mounted Display，简称STHMD)显示计算机生成的3D图形。20世纪80年代到90年代，AR的发展较为成熟，一些公司和高校不断研制出完善的AR系统。1986年，Furness研制的vCAss系统采用头盔显示器将射程、射击目标等作战信息显示在飞行员的视野中。20世纪90年代初期，美国波音公司设计了一个辅助布线系统。把简单线条绘制的布线路径和文字提示信息实时地叠加在机械师的

13、视野中，帮助机械师一步一步地完成一个拆卸过程，减少日常工作中出错的机会。1.2 增强现实发展动态 20世纪90年代末，AR领域的研究者们开始集会在一系列每年召开的和增强现实相关的国际研讨会和工作会议上，其中包括国际增强现实工作会议(IWAR)、国际增强现实研讨会(ISAR)和国际混合与增强现实会议(IsMAR)等，这些会议很大程度上促进了AR研究的发展。国外研究AR系统的单位有：SIEMENSAG、美国微软公司、美国MIT大学，美国哥伦比亚大学、澳大利亚Vienna大学、日本Nara协会等，这些单位已经在AR系统的摄像机校正算法、AR头盔显示器的设计、硬件平台的应用、视觉跟踪技术等方面取得了一

14、些可喜的成果。国内研究AR系统的单位有北京理工大学、浙江大学、北京航空航天大学、中国科学院计算机研究所、国防科技大学、电子科技大学、华中科技大学、上海大学等。1.2 增强现实发展动态 2006年，Andel Miroslavl等人基于带摄像头的手机，开发了一个基于移动电话的交互式面对面的增强现实软件。用户可以手持手机，走在未装修的房间里，可以体验手机屏幕上展现的虚拟装修效果。该软件系统通过手机摄像头对房间关键点图像识别，渲染虚拟装修效果，让用户体验所见即所得。2007年，Reifinger等人提出了一种基于红外跟踪系统的自动区分静态和动态手势识别方法。红外目标安装在用户的拇指和食指上，系统捕获

15、到信息后，通过距离分类器提取静态手势，通过统计模型提取动态手势。采用此种手势识别方法完成任务要快于键盘、鼠标，但是手部舒适性稍差。1.2 增强现实发展动态 2009年，Abbate等人提出一种耐用的实时人体动作捕捉系统的架构。将智能惯性测量传感器单元分布于人体关键部位上，设定一个单片机收集来自传感器的数据，采用卡尔曼滤波方法实现定位。2009年，Lu等人采用基于图形处理器(GPU)实时计算方法，利用从捕获的立体影像中获取信息来确定物体在真实场景中的深度，来设定虚拟物体与真实物体之间的相互位置。法国增强现实技术供应商Total Immersion已经研发出一款增强现实软件DFusion，用于高端

16、影视后期、独立的图像处理的特效合成。1.2 增强现实发展动态 2006年，北京理工大学王涌天教授等人采用带位置追踪器的可穿戴式增强现实系统实现了圆明园增强现实展示；随后，陈靖、王涌天等人提出了一种基于自然特征点的实时跟踪注册算法，在已知场景中的3D模型以及少量已标定关键帧图像的基础上，选择与当前图像最为匹配的关键帧，利用基于关键帧的图像匹配方法实时获取摄像机的运动参数估计。2008年，浙江大学陈成钱等人以投影仪为显示设备，以红外摄像机为光学传感器，设计出基于投影仪、红外摄像机的多点触控系统，采用手、手指、其他物体投影在桌面的信息进行交互。1.2 增强现实发展动态 2009年，上海大学的陈一民等

17、提出并实现了一种基于增强现实和异型屏的多人实时互动的系统。首次提出了在展览展示领域融合应用AR技术与多异型屏技术，研究并实现了AR系统多人实时互动相关技术，设计了AR交互系统的渲染平台、交互平台和网络通信平台。2009年，电子科技大学的杜凤仪等采用基于标示物的视觉跟踪方法，采用了符合人手操作的方式，利用图形学的多种图形绘制与渲染技术来完成各种文物模型及虚拟信息交互。1.2 增强现实发展动态 2010年，华中科技大学的田元、王乘等人对增强现实中的虚实遮挡处理方法进行了研究，针对不同的应用场合，研究相应的虚实遮挡处理方法，在提高增强现实系统可用性的同时，最大限度保证虚实遮挡处理的效果和系统的实时性

18、。2010年，上海交通大学刘一然、杨旭波等人研究了基于多投影及移动投影的增强现实技术，采用一台相机采样环境数据和投影仪参数，采用多台投影仪来共同显示。1.3 增强现实应用领域 新产品展示领域： 在新产品发布会上，将虚拟的新产品的外型、内部结构、工作过程等信息，在讲解员的讲解过程中，逐次展现在大屏幕上，让人感就到新产品就在现场。军事领域: 部队可以利用增强现实技术，进行方位的识别，获得目前所在地点的地理数据等重要军事数据。古迹复原和数字化文化遗产保护: 文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过数字头盔看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。工业维修领域: 通过头盔显示器将辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、零件图。1.3 增强现实应用领域 教育领域: 美国华盛顿大学人机界面技术实验室设计的名为MagicBook的增强现实系统，使用户在看到书上的文字时可以看到文字所描述物体的三维模型。娱乐、游戏领域: 增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对