《增强现实算法基础》课件 01增强现实概述-AR-Introduction

增强现实算法基础

--增强现实概述什么是增强现实？增强现实(AugmentedReality)的定义是将计算机构建的虚拟物体与现实场景叠加在一起，使人类的感官产生虚拟物体与现实场景一体化共存的知觉体验的技术。虚拟物体是由计算机生成的3D物体或者场景文字、线框等信息数据的可视化信息原始图像虚拟物体景象虚实融合图像增强现实(AugmentedReality)的定义是将计算机构建的虚拟物体与现实场景叠加在一起，使人类的感官产生虚拟物体与现实场景一体化共存的知觉体验的技术。知觉体验知觉：视觉、听觉、触觉、嗅觉、味觉虚拟物体如何产生视觉体验？可见、可听、可触摸与力反馈……虚拟物体与现实场景一体化共存空间上的存在感通过人体的知觉通道的刺激感知的通过虚实融合技术实现什么是增强现实？虚实融合的场景，其中铁塔、大桥和数目是虚拟的增强现实场景，其中小猫是虚拟的增强现实(AugmentedReality)的定义是将计算机构建的虚拟物体与现实场景叠加在一起，使人类的感官产生虚拟物体与现实场景一体化共存的知觉体验的技术。增强现实三要素虚实共存：虚拟信息与现实世界并存3D注册：虚拟物体在现实场景中的空间关系实时交互：用户可与虚拟物体实时交互虚实融合将虚拟景物融入真实场景从而虚实物体共存同一空间，其位置、姿态、尺度、光照等保持一致什么是增强现实？《阿凡达》电影是增强现实么？增强现实的观察者观察者视觉上感知增强现实环境人的左眼或者右眼，或者相机观察者坐标系以观察者观察的方式建立的坐标系观察者空间观察者在该坐标系中的参数：位置、姿态、视线方向、焦距、解像度等增强现实的空间一致性空间一致性虚拟物体与现实场景空间保持一种恒定的关系空间注册确定观察者观察现实场景的相对位置与姿态的过程虚拟物体在现实场景中空间位姿的稳定性现实桌面上放置一只虚拟兔子并有三个观察者观察者观察到的虚拟兔子观察者1观察者2观察者3

观察者1观察者2观察者3

空间注册确定观察者观察现实场景的相对位置与姿态的过程虚拟物体在现实场景中空间位置的稳定性通过现实空间确定观察者空间与虚拟空间的变换关系，以正确绘制观察者所看到的虚拟物体增强现实的空间一致性

观察者1观察者2观察者3

增强现实的光照一致性光照一致性虚拟物体与现实场景在光照上的协同性和交互作用实现光照一致性的要素虚拟物体必须逼真绘制虚拟物体与现实场景共享光照环境，包括光源、阴影投射、相互反射等增强现实的交互一致性增强现实环境的三元素用户、虚拟与现实用户与虚拟之间的交互虚拟与现实间的交互交互一致性虚拟物体对交互作用的响应必须符合客观规律，接受现实环境的约束，并且满足在线实时的要求空间注册黄色物体是虚拟的，与灰色物体绑定在一起跟随运动增强现实中虚实无缝融合需要满足的一致性增强现实中虚实无缝融合需要满足的一致性空间一致性光照一致性交互一致性增强现实的主要构成增强现实中的关键问题特殊显示器跟随视点的显示装置感知与交互感知用户与现实的状态变化计算机对这些变化做出相应虚实世界的融合通道视觉、听觉、触觉、味觉、嗅觉本课程主要讲述视觉相关的算法增强现实技术的核心技术显示器视点依赖式显示装置空间注册实时性与精确性虚实融合遮挡光照交互性增强现实是一种所见即所得的交互方式未来的新一代计算平台增强现实简史幼稚期：1965-1990计算机图形学萌芽首款增强现实头盔显示器诞生由于军方介入进入沉默期发展初期：1990-20001990年波音公司开发的AR系统增强现实AugmentedReality一词探索各种增强现实的原型1996医学AR系统1996Transvision1997旅游机器(TouringMachine)增强现实简史活跃期：2000-2010基于视觉的开发包：ARToolKit从头盔到投影仪、平板和手机空间增强现实与第六感增强现实简史爆发期：2010-2013:GoogleGlasses概念模型，过于轻量而未获商业上的成功2016/2019:Hololens微软发布，主流的AR/MR眼镜2017：ARKit/ARCore苹果和谷歌发布的智能手机端的AR开发工具智能手机的普遍使用，成为AR的重要设备2021:MixedRealityToolKit（MRTK）Hololens的开发环境和工具，团队2023年正体裁撤2023:VisionPro苹果公司发布的智能眼镜增强现实的呈现AR呈现的特点增强现实是视点依赖的同时观察到虚拟与现实显示器的主要设备类型显示器投影仪观察者1观察者2观察者3

观察者1观察者2观察者3

增强现实的呈现显示器的分类近眼显示器头盔眼镜隐形眼镜近身显示器/手持显示器平板电脑智能手机空间显示器投影仪+屏幕拼接投影仪+实景光学装置增强现实的呈现：头盔显示器头盔显示器(HeadMountedDisplay,HMD)的发明1967年IvanSutherland发明的首款增强现实头盔显示器“达摩克利斯之剑”1990年波音公司首次开发的增强现实系统增强现实的呈现：头盔显示器原理与模型同时观察到虚拟与现实需要“穿透”显示器屏障两种穿透模式视频穿透式头盔显示器光学穿透式头盔显示器增强现实的呈现：头盔显示器视频穿透式头盔显示器由双目摄像头拍摄的视频提供现实世界的画面虚拟物体的景象与视频画面融合UNC制作的头盔增强现实的呈现：头盔式显示器光学穿透式头盔显示器透明的显示器，使环境光线可以直接进入眼睛虚拟物体的景象通过反射进入眼同时观察到虚拟和现实的光线，难以产生正确的遮挡景象增强现实的呈现：智能眼镜智能眼镜是头盔的轻量化、智能化形式代表产品谷歌眼镜googleglasses微软Hololens/Hololens2.0苹果AppleProHololensAppleProMicroSoftGoogleGlasses增强现实的呈现：屏幕穿透式显示器屏幕显示器缺乏可移动性手持式显示器平板电脑具有智能计算能力与移动网络画面较大，携带不便智能手机

具有智能计算能力与移动网络画面较小，携带方便良好的AR设备屏幕显示器增强现实的呈现：空间增强现实空间增强现实显示盒基于光学装置采用半反射半透射材质采用特殊的光学原理毋须穿戴设备秀盒(showcase)效果秀盒(showcase)效果增强现实的呈现：空间增强现实空间增强现实显示盒基于光学装置采用半反射半透射材质采用特殊的光学原理毋须穿戴设备手持式镜面显示器效果手持式镜面显示器

增强现实的呈现：空间增强现实基于实物模型采用相机辅助校准投影仪营造特殊效果计算机图形学绘制效果石膏实体模型投影仪营造的空间增强现实效果投影仪营造的空间增强现实效果未投影的现场增强现实的呈现：空间增强现实基于实物模型采用相机辅助校准投影仪营造特殊效果计算机图形学绘制效果石膏实体模型投影仪营造的空间增强现实效果投影仪营造的空间增强现实效果增强现实的呈现：空间增强现实基于实物模型采用相机辅助校准投影仪营造特殊效果计算机图形学绘制效果投影仪营造的3种花瓶空间增强现实效果原始场景增强现实的呈现：空间增强现实基于实物模型采用相机辅助校准投影仪营造特殊效果计算机图形学绘制效果仓库空间增强现实效果系统结构图虚拟琴键增强现实效果增强现实的呈现：遥在遥在是在远程空间上的存在真实体被采样建模为数字模型通过网络传输到达远处通过计算机呈现数字模型未来办公室的概念模型遥在系统工作时，远程对象与现场对象共处统一时空现场的情景遥在系统工作的情景增强现实的呈现：遥在遥在是在远程空间上的存在真实体被采样建模为数字模型通过网络传输到达远处通过计算机呈现数字模型增强现实的应用教育与培训飞行器着陆训练书籍的动画呈现儿童拼读学习用于提示的虚拟物体增强现实的应用医疗用AR提供体内的信息用AR提供影像学的检测信息医生通过手持式AR查看病人

医生查看数据原理图

现场效果图医疗场景的概念模型增强现实的应用军事提供不可见的三维景象提供导航、战场等信息增强现实的应用智能制造将数字化信息与制造的实际场景对应提供制造对象的设计评估、检测维修与装配验证等技术手段应用实例欧洲空客公司的智能增强现实工具（SART）辅助进行超过6万个管线定位托架的安装质量管理SART应用场景：帮助检查托架的位姿是否准确显示器画面增强现实的应用市场营销提供商品在现实场景中的使用效果家具衣物增强现实的应用娱乐游戏提供现实场景中的游戏方法PokémonGO是第一款曾风靡世界的增强现实游戏增强现实的应用通讯提供遥在式的通讯方式区别于视频会议增强现实与虚拟现实(AR/VR)虚拟现实是全部由虚拟信息构成的环境，形成与真实世界相同的感知虚拟现实缺乏与现实世界的联系虚拟现实主要是图形学的延申增强现实与虚拟现实(VR)同步发展虚拟对象的处理和交互方式与VR相同需要感知现实世界的关系VRARAR增强现实与虚拟现实(MR/AR/VR)虚拟与现实的连续统1994:Milgram’sreality–virtualitycontinuum增强现实：AR混合现实：MR增强虚拟：AVAR虚拟现实：VR消除现实：DR扩展现实：XR增强现实与虚拟现实(MR/AR/VR)增强现实平台ARToolKit1999/2005/2008/2010：firstARSDKVuforia/EasyARPC上的开发平台ARSDKforiPhone/Adroid