智能建造理论与实践 课件 4.9节 增强现实技术

第四章智能建造技术与应用4.9增强现实技术——增强现实概述增强现实的定义增强现实（AugmentedReality，简称AR）技术是一种基于计算机实时计算和多传感器融合，将现实世界与虚拟信息结合起来的技术。对人的视觉、听觉、嗅觉、触觉等感受进行模拟和再输出，并将虚拟信息叠加到真实信息上，给人提供超越真实世界的感受体验具有虚实结合、实时交互、3D定位等显著特性4.9增强现实技术——增强现实概述增强现实的起源20世纪50、60年代20世纪90年代20142015至2016AR技术的起源，可追溯到20世纪五、六十年代由于当时的AR技术价格较高，并且具有自身延迟较长，设备计算能力有限等缺陷，导致这些AR游戏产品以失败收尾，第一次AR热潮就此消退Facebook以20亿美元收购Oculus后，类似的AR热再次袭来AR领域共进行了225笔风险投资，投资额达到了35亿美元，原有的领域扩展到多个新领域，如城市规划、虚拟仿真教学、手术诊疗、文化遗产保护等4.9增强现实技术——增强现实技术概述增强现实关键技术跟踪注册技术虚拟对象生成技术显示技术增强现实应用还依赖于设备的显示技术，为了达到逼真的展示效果，高效率的显示技术和显示设备必不可少增强现实的目标是把虚拟世界套在现实世界并进行互动需要保证所生成的虚拟物体真实感和实时性强移动设备摄像头与虚拟信息的位置需要相对应，这就需要通过跟踪技术来实现4.9增强现实技术——增强现实技术概述增强现实研究内容分解——显示技术图4-56光学透射式头盔显示器和视频透射式头盔显示器1）近眼式显示设备

近视眼显示设备主要是指头盔显示器。头盔显示器主要分为两种：光学透射式头盔显示器和视频透射式头盔显示器。如果按照显示器件数量，也可以划分为单目头盔显示器和双目头盔显示器。4.9增强现实技术——增强现实技术概述增强现实研究内容分解——显示技术2）手持式显示设备

手持式显示设备，顾名思义就是拿在手上的显示设备。最常见的就是我们的智能手机和平板电脑。这类设备具有很好的便携性，是一种天然的AR设备。它们有摄像头作为图像输入设备，有自带的处理器，有显示单元，具备了进行AR开发的所有条件。在目前市面上，很多增强现实APP都是围绕这类设备开发的。4.9增强现实技术——增强现实技术概述增强现实研究内容分解——显示技术3）固定式显示设备

给桌面级显示器添加一个网络摄像头，就可以完成AR任务了。该摄像头可以捕捉空间中的图像，然后估计摄像头的位置和姿态，最后计算生成虚拟信息，并进行虚实融合，输出到桌面显示器上。虚拟镜子，这是利用摄像头对着人进行拍摄，然后输出到一个类似于镜子的大型显示器上，给人一种照镜子的感觉。同时，还可以进行虚拟换装，或者添加一些虚拟物件，达到AR效果。4.9增强现实技术——增强现实技术概述增强现实研究内容分解——显示技术4）投影式显示设备投影机是一种重要的虚拟现实和增强现实设备。最常见的基于投影的增强现实系统是在展会上的各种绚丽的投影展品，包括虚拟地球、汽车表面投影等。这类系统属于空间增强现实系统。另外，柱幕、球幕、环幕投影也可以归为基于投影的空间增强现实。投影机还可以用于构建CAVE系统。手持式投影机结合图像捕捉设备，还可以建立动态的空间增强现实系统。4.9增强现实技术——增强现实技术概述增强现实研究内容分解——跟踪技术1）固定式跟踪系统机械跟踪器超声波跟踪器电磁跟踪器通过控制机械臂各个关节的转动来跟踪机械臂末端的空间位置，精度可以控制得比较高通过一个固定的发射源发射出三维正交的电磁场，接收端通过检测接收到的电磁场的方向和强度来确定位置通过测量一个声音脉冲从发射源到传感器的飞行时间来测量距离。4.9增强现实技术——增强现实技术概述增强现实研究内容分解——跟踪技术2）移动式传感器

GPS，全称是全球定位系统。这个系统在智能手机上应用很普遍。它通过接收多颗卫星信号来确定当前所处的位置。对于户外大范围增强现实有着重要意义。4.9增强现实技术——增强现实技术概述增强现实研究内容分解——跟踪技术3）光学跟踪技术跟踪模式照明种类有些跟踪需要对被跟踪的目标预先建模，例如一些图像跟踪工具箱。有的则不需要提前建模，例如同步定位与跟踪技术（SLAM）人工标志与自然特征有些跟踪系统不需要自主添加光源，只是利用环境光，称为被动照明；有些跟踪需要主动发射某种照明光线，来实现其跟踪，称为主动照明。人工标志指的是人造的用于跟踪的图像标志等。自然特征指的是自然环境中本身就有的特征，不是人为放置用来跟踪的特征。互补式融合竞争式融合协作式融合传感器融合4.9增强现实技术——增强现实技术概述增强现实研究内容分解——标定和注册

跟踪、标定和注册是AR系统研究的三个核心问题，下面将从标定及注册的相关类型及涉及的技术等方面进行介绍这两个问题摄像机标定①标定内参数在使用中必须先标定摄像头的内参数②校正镜头畸变镜头畸变可以分为径向畸变和切向畸变两种。它们也都可以通过标定来确定畸变参数虚拟信息是通过摄像头捕捉环境，建立跟踪注册信息，然后渲染输出到头盔显示器上。这个回路的处理时间导致虚拟信息的渲染比头部转动会有延迟显示器标定注册①单点主动对准法这个方法要求用户佩戴头盔显示器，并且将屏幕上的一些十字光标与真实世界中的物体进行多次对齐，多次对齐需要通过头部转动完成②使用瞄准转置该方法需要将瞄准装置与显示器上的十字叉丝对准4.9增强现实技术——增强现实技术概述增强现实研究内容分解——视觉一致性几何一致性几何一致性还要求在时间变化中保证几何一致。虚实遮挡也要保持一致。必须使用额外的传感器，探测出真实物体的空间位置，然后决定哪些虚拟图像是应该被遮挡起来的。光照一致性渲染的虚拟物体怎样保持与真实环境一致的光照效果，也是需要注意的。通过某个方式获得真实环境中的光源分布，然后在虚拟世界中模拟这个光照效果。4.9增强现实技术——增强现实技术概述增强现实研究内容分解——交互技术设备交互肢体交互手势交互语音交互触摸交互眼动交互脑机接口4.9增强现实技术——增强现实技术概述增强现实中的可视化，主要是对场景中的物体进行标注和解释。对于标注和解释的合理性和正确性，需要经过仔细探究。需要对数据进行过滤，考虑两个方面的问题：第一，标注的合理性；