增强现实-报告模板

评 分 细 则组成员评分项（权重%）文档结构10文档内容10演示文档10陈述情况10演示工具使用技巧20对课题的掌握程度20总计100简 短 评 语教师签名： 年 月 日评分等级优秀 良好 中等 及格 不及格备注评分等级有五种：优秀、良好、中等、及格、不及格目录摘要2Abstract3第一章绪论41.1 课题国内外研究现状41.2 发展历史41.3 研究意义5第二章增强现实技术介绍6 2.1核心技术6 2.2工作原理9第三章增强现实的实现11 3.1实现中的难点问题11 3.2应用实例11第四章总结与展望134.1 总结134.2 展望13致谢15参考文献16摘要增强现实（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。该技术可以将虚拟的物体合并到现实场景中，并能支持用户与其进行交互，它已经成为虚拟现实研究中的一个重要领域 ,也是人机界面技术发展的一个重要方向。本课题讲述了国内外在这个领域中的主要研究内容和进展情况，并介绍了增强现实中的支撑技术、开发工具和相关理论；然后应针对当前AR应用的现状，简要分析了实现中的难点问题并介绍典型的AR应用实例。关键词：增强现实、显示、注册、交互、应用AbstractAR (Augmented Reality, referred to as AR), is a kind of real-time computing the position of the camera image and Angle and combined with the corresponding image technology, using computer to generate a vivid visual, listening, force, touch and feel of virtual environment, such as through a variety of sensing device users immersion to the environment, realize the user and the environment of natural interaction directly. The technology of virtual objects can be incorporated into the real scene, and can support the user to interact with, it has become an important field in the study of virtual reality, is an important direction of development of human-machine interface technology. This topic describes the main research contents and progress in this field at home and abroad, and introduces the support in the augmented reality technology, development tools and related theory; Then should be based on the status quo of the current AR application, the brief analysis of the problem of the difficulty in the implementation and introduces the typical AR application example.Key Words：Augmented reality, display, registration, interaction and application第一章绪论1.1 课题国内外研究现状作为新型的人机接口和仿真工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。国内在AR方面的研究起步较晚，但北京理工大学、国防科技大学、西安石油学院、电子科技大学、华中科技大学、四川大学等已经在AR系统的摄像机校准算法、虚拟物体的投影注册算法、用于AR的头盔显示器的设计、AR三色立体基准注册技术、AR中的遮挡问题、AR的工程应用等方面已经取得了一些研究成果。总体来讲，增强现实在中国处于起步阶段，现在许多虚拟现实领域的企业已经开始专注于“增强现实”的研发和应用。比如中视典数字科技研发的VRP12.0就集成了增强现实的功能。2.2国外研究状况相较而言，国外对于增强现实的研究起步早了许多，收获颇多。国外研究AR系统的单位有德国SIEMENSAG、美国微软公司、美国MIT大学、美国哥伦比亚大学、澳大利亚Vienna大学、日本Nara协会等这些单位已经在AR系统的摄像机校正算法、AR头盔显示器的设计、硬件平台的应用、视觉跟踪技术等方面取得了一些可喜的成果。1.2 发展历史 AR技术始于二十世纪六十年代，美国哈佛大学IvanSutherland教授发明了光学透明头盔显示器(see一throughHead一MountedDisplay，简称STHMD)显示计算机生成的3D图形。20世纪80年代到90年代，AR的发展较为成熟，一些公司和高校不断研制出完善的AR系统，其中比较好的有:1986年，Furness研制的vCAss系统采用头盔显示器将射程、射击目标等作战信息显示在飞行员的视野上。1986年，美国北卡大学(LJNCatChaPelHill)研制出用于实现生物化学和建筑可视化的STHMD系统。1993年，美国哥伦比亚大学的Feine:教授等人设计了一个基于知识的AR系统。该系统用于指导机械维修，可以将有关技术说明叠加在激光打印机上，辅助技术人员完成维修工作。20世纪90年代初期，波音公司的TomCaudell和他的同事在他们设计的一个辅助布线系统中提出了“增强现实”（augmentedreality，简称AR）这个名词。接下来又相继出现了多种增强现实应用系统，主要集中在医疗、制造与维修、机器人动作路径的规划、娱乐和军事等几个方面。但是由于设备和精度等方面的原因，所有这些系统都没有真正投入实际应用，Azuma在1997年曾对这些系统和其使用的基本技术给出过一个详尽的综述。20世纪90年代末，这个领域的研究者们开始聚会在一系列每年召开的和增强现实相关的国际研讨会和工作会议上，例如，国际增强现实工作会议（IWAR），国际增强现实研讨会（ISAR）和国际混合与增强现实会议（ISMAR）等。这些会议在很大程度上促进了AR的研究发展。近年来随着移动设备计算能力的增强和对网格计算环境的关注，对户外增强现实系统和支持分布式协同操作增强现实系统的研究明显增加。1.3 研究意义增强现实，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。 AR能为我们提供现实中无法直接获知的信息，这种信息实际上让每个人眼中的世界更加多样性。同样的大楼在我们的AR视线里，会披上完全不同的信息外套，给予相关的注释，同时，信息的及时更新将给众多用户带来更多的互动与联系。此外，地理上没有关联的事物可以通过AR技术将这些零散的信息收集整合呈现在你的面前。这些都是目前AR已经显现出来的一些特点。当然随着技术的发展，未来的AR可能会更加先进。第二章增强现实技术介绍2.1核心技术增强现实系统的核心技术主要有：显示技术、注册技术、交互技术。（1）增强现实的显示技术增强现实系统设计最基本的问题就是实现虚拟信息和现实世界的融合。显示技术是增强现实系统的基本技术之一。一般而言，可以把增强现实的显示技术分为以下几类：头盔显示器、显示投影式显示、手持式显示器显示和普通显示器显示。1.头盔显示器(Head-mounteddisplay,简称HMD)显示现有的虚拟现实技术的人机界面中大多采用头盔显示真实世界器。主要原因是头盔显示器较其他几种显示技术而言沉浸感最强。因为用于增强显示系统的头盔显示器能够看到周围的真实环境，所以叫做透视式（see-through）头盔显示器。透视式头盔显示器一般分为视频透视式（Vedioseethrough）和光学透视式（Opticalsee-through）。前者是利用摄像机对真实世界进行同步拍摄，将信号送入虚拟现实工作站在虚拟工作站中将虚拟场景生成器生成的虚拟物体同真实世界中采集的信息融合，然后输出到头盔显示器。而后者则是利用光学组合仪器直接将虚拟物体同真实世界在人眼中融合，实现增强。还有一种更为奇特的方法是虚拟视网膜显示技术（VirtualRetinalDisplay简称VRD）。华盛顿大学的人机界面实验室（HITLab）研究出的VRD是通过将低功率的激光直接投射到人眼的视网膜上，从而将虚拟物体添加到现实世界中来。2.投影式显示projectiondisplay投影式显示是将虚拟的信息直接投影到要增强的物体上，从而实现增强。日本Chuo大学研究出的PARTNER增强现实系统可以用于人员训练，并且使一个没有受过训练的试验人员通过系统的提示，成功地拆卸了一台便携式OHP（OverHeadProjector）。另外一种投影式显示方式是采用放在头上的投影机(Head-MountedProjectiveDisplay简称HMPD)来进行投影。美国伊利诺斯洲立大学和密歇根洲立大学的一些研究人员研究出一种HMPD的原型系统。该系统由一个微型投影镜头一个戴在头上的显示器和一个双面自反射屏幕组成。由计算机生成的虚拟物体显示在HMPD的微型显示器上，虚拟物体通过投影镜头折射后再由与视线成45的分光器反射到自反射的屏幕上面。自反射的屏幕将入射光线沿入射角反射回去进入人眼中从而实现了虚拟物体与真实环境的重叠。3.手持式显示器(HandHeldDisplay简称HHD)显示通过采用摄像机等其他辅助部件，一些增强现实系统采用了手持式显示器。美国华盛顿大学人机界面技术实验室设计出了一个便携式的MagicBook增强现实系统。该系统采用一种基于视觉的跟踪方法把虚拟的模型重叠在真实的书籍上，产生一个增强现实的场景同时该界面也支持多用户的协同工作。日本的SONY计算机科学实验室也研究出一种手持式显示器，利用这种显示器，构建了TransVision协同式工作环境。4.普通显示器显示Monitor-basedDisplay增强现实系统也可以采用普通显示器显示。在这种系统中，通过摄像机获得的真实世界的图像与计算机生成的虚拟物体合成之后在显示器输出。在需要时也可以输出为立体图像这时需要用户戴上立体眼镜。（2）增强现实的注册技术为了达到增强现实虚实无缝融合，三维注册起着重要的作用，这也是近十年来增强现实研究领域最大的热点之一。三维注册技术一直以来是增强现实系统研究的重点也是主要的技术难点。而三维跟踪注册精度是衡量AR系统性能、影响其实用性的关键指标。注册误差可分成两大类：静态注册误差和动态注册误差。当用户的视点与真实环境中的物体均保持静止时，系统产生的误差称静态注册误差。而只有当用户的视点或环境中的物体发生相对运动时才会出现的误差称为动态注册误差。动态注册误差是造成增强现实系统注册误差的主要来源，也是限制增强现实系统实现广泛应用的主要因素。目前增强现实的研究中主要采用以下两种三维注册方法：1. 基于跟踪器(Tracing)的三维注册技术基于跟踪器的三维注册技术主要记录RE（realenvironment）中观察者的方向和位置，保持VE(virtualenvironment)与RE的连续性，实现精确注册。主要采用的跟踪器包括电磁跟踪器、惯性跟踪器、测距仪、超声波定位仪、全球定位系统(GPS)等，常用的跟踪设备包括：机电式跟踪器、电磁式跟踪器、声学跟踪器、光电跟踪器、惯性跟踪器、全球卫星定位系统等。为了弥补各跟踪器的缺点，许多研究者采用混合跟踪的方法以取长补短，满足增强现实系统高精度注册的要求。2. 基于视觉(Vision)的三维注册技术基于视觉的j维注册技术是目前占主导地位的跟踪技术。主要通过给定的一幅图像来确定摄像机和RE中目标的相对位置和方向。典型的视觉三维注册技术有：仿射变换注册和相机定标注册。仿射注册技术的原理是给定三维空间中任何至少4个不共面的点，空间中任何一个点的投影变换都可以用这4个点的变换结果的树形组合来表示。仿射变换注册是AR三维注册技术的一个突破，解决了传统的跟踪、定标等繁琐的注册方法，实现通过视觉的分析进行注册。相机定标注册则是一个从三维场景到二维成像平面的转换过程，即通过获取相机内部参数计算相机的位置和方向。（3）增强现实的交互技术交互技术是增强现实中与显示技术和注册技术密切相关的技术满足了人们在虚拟和现实世界自然交互的愿望。AR中虚实物体交互的基本方式有两类：视觉交互与物理交互。视觉交互包括虚实物体相互间的阴影、遮挡、各类反射、折射和颜色渗透等。物理交互包括虚实物体间运动学上的约束、碰撞检测和受外力影响产生的物理响应等。交互本身可以是单向或双向的，但由于技术上的原因，目前的研究基本上被限制在真实物体对虚拟物体的单向交互方面。通常会使用以下几种交互方法：1、 传统交互方法：在校园浏览系统中，用户背着移动PC和眼踪设备。头戴透视式头盔显示器，手持手写笔和DA，在校园中漫步。AR系统通过摄像头捕捉到校围场景，并在这些场景中添加建筑物的相关信息，从而帮助使用者了解校园情况。2、手势交互手段：基于手势的人机交互手段是较为新颖的一种交互手段。基于视觉的手势交互已受到广泛的关注，由于手势本身的多义性及时空差异性，加之人手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的多学科交叉研究课题。传统识别手的形态的方法分为基于模型的方法和基于表征的方法两大类。由于手的形态变化维度极高，在实时搜索自然人手对应的3D模型时，前者由于计算复杂度的原因往往达不到速度的要求，因此各种手戴标记被广泛应用。3、基于标记以及其他相关信息进行交互AR系统中不仅仅利用标识进行三维注册，有时也可以利用标识和虚拟系统中的信息进行交互。例如印度的大学生中已经有人研究了利用色环实现纸上投影的信息转移到电脑上。还有人研究采用装有反光标记的黑色手套，操纵虚拟的国际象棋棋子。2.2工作原理移动式增强现实系统的早期原型增强现实的基本理念是将图像、声音和其他感官增强功能实时添加到真实世界的环境中。的确是这样，但是电视网络所做的只是显示不能随着摄像机移动而进行调整的静态图像。增强现实远比您在电视广播中见到的任何技术都要先进，尽管增强现实的早期版本一开始是出现在通过电视播放的比赛和橄榄球比赛中，例如Racef/x和添加的第一次进攻线，它们都是由SporTVision创造的。这些系统只能显示从一个视角所能看到的图像。下一代增强现实系统将显示能从所有观看者的视角看到的图像。在各类大学和高新技术企业中，增强现实还处于研发的初级阶段。最终，可能到这个十年结束的时候，我们将看到第一批大量投放市场的增强现实系统。一个研究者将其称为“21世纪的随身听”。增强现实要努力实现的不仅是将图像实时添加到真实的环境中，而且还要更改这些图像以适应用户的头部及眼睛的转动，以便图像始终在用户视角范围内。下面是使增强现实系统正常工作所需的三个组件：1.头戴式显示器2.跟踪系统3.移动计算能力增强现实的开发人员的目标是将这三个组件集成到一个单元中，放置在用带子绑定的设备中，该设备能以无线方式将信息转播到类似于普通眼镜的显示器上。让我们分别来了解这个系统中的每个组件。2.3 相关理论增强现实是一种同时包括虚拟世界和真实世界之要素的环境。它的出现与下述科技进步密切相关：（1）计算机图形图像技术增强现实的用户可以戴上透明的护目镜，透过它看到整个世界，连同计算机生成而投射到这一世界表面的图像，从而使物理世界的景象超出用户的日常经验之外，这种增强的信息可以是在真实环境中与之共存的虚拟物体，也可以是实际存在的物体的非几何信息。（2）空间定位技术为了改善效果，增强现实所投射的图像必须在空间定位上与用户相关，当用户转动或移动头部时，视野变动，计算机产生的增强信息随之做相应的变化，这是依靠三维环境注册系统实现的。这种系统实时检测用户头部位置和视线方向，为计算机提供添加虚拟信息在投影平面中映射位置的依据，并将这些信息实时显示在荧光屏的正确位置。（3）人文智能人文智能将处理设备和人的身心能力结合起来，它并非仿真人的智能，而是试图发挥传感器、可穿戴计算机等技术的优势，使人们能够捕获自己的日常经历、记忆所见所闻，并与他人进行更有效的交流。在这一意义上，它是人的身心的扩展。作为智能，它基于用户在计算过程中的反馈，并不要求有意识的思考与努力。第三章增强现实的实现3.1实现中的难点问题虽然近年来增强现实技术取得了很大的发展，但是还是存在很多技术方面的难题。为了能够使用户始终感到虚拟物体确实是真实世界的一部分，就必须有一个连续一致的虚拟物体相对于真实世界的准确定标。但不幸的是，准确定标是一个较难解决的问题。首先，人的视觉系统对于视觉上的偏差，哪怕是非常微小的（甚至几个象素的误差）也是非常敏感的；其次，如定位的失误、头部跟踪系统的误差以及其他的干扰等在虚拟现实系统中可以忽略不计的误差；又如合成延迟所造成的真实环境与虚拟物体生成的不同步等在虚拟现实系统中不存在的问题，在增强现实系统中都是不能容忍的。这会使真实世界和虚拟物体严重脱节和错位，用户不但没有身临其境的感觉，反而这种表现形式还不如完全的虚拟环境。只有这个问题解决好了，增强现实技术才能严格地适用于各种应用领域。此外，增强系统设备需要趋于微型化和低能耗，高储备。目前的大多数系统都是运用于预知的环境中，而在非预知的环境中的增强现实系统比较少。同时，如果增强现实系统运用于户外用户，必须戴上计算机、传感器、显示器、电池等许多设备，在便携式风靡全球的今天，笨重的AR系统设备是无法赢得人们的欢迎的。 增强现实和人机交互关系密切，必须重视人机交互的研究。增强现实还有很长的路要走，机会和挑战并存。3.2应用实例 到目前为止，增强现实技术已经被应用到多个领域。一、军事军队数十年来一直在设计使用增强现实。事实上，美国海军研究所已经资助了一些增强现实研究项目。国防先进技术研究计划署（DARPA）已经投资了HMD项目来开发可以配有便携式信息系统的显示器。其理念在于，增强现实系统可以为军队提供关于周边环境的重要信息，例如显示建筑物另一侧的入口，这有点像X射线视觉。增强现实显示器还能突出显示军队的移动，让士兵可以转移到敌人看不到的地方。美国海军在“弗吉尼亚”级潜艇的新一代成像系统中已经应用了增强现实技术，由美国科尔摩根公司研制，主要用于潜艇远距离观测;二、医学在医学领域，利用增强现实技术能在临床外获得更好的经验。医生可以利用增强现实技术对外科手术进行可视化辅助操作和训练。使用表面感应器，像MRT，CT，实时地搜集病人的三维数据信息，并实时地绘制成相应的图像，融合到对病人的观察中。更确切地说，医生可以直接观察到“H射线版本”的病人。这对外科手术是非常有用的。增强现实技术可以使医生只需要很小，甚至不需要任何手术切口，就可以清晰地看到病人内部的“解剖视图”。例如用超声波感应器扫视孕妇的腹部，并在腹部对应处绘制出一个三维的胎儿图像，医生就可以看到胎儿在母体中的状态。三、维修和建设这很可能是应用增强现实的第一个行业。可以将标记器连接到人们正在施工的特定物体上，然后增强现实系统可以在它上面描绘出图像。这是一个比较简单的增强现实形式，因为系统只需要知道用户相对于他看到的物体所在的位置，而不必跟踪那个人的确切物理位置。日本Chuo大学工业和系统工程系研究出的PARTNER系统就指导了一个没有经过训练的人员成功地拆卸了一台投影机。这种系统一般是用增强现实技术为维护人员提供辅助信息。四、娱乐增强现实系统广泛应用于各种娱乐活动中。虚拟演播室技术是增强现实在传统视频合成技术的基础上发展的结果。同时增强现实技术还可用于各种游戏体育比赛的转播等。德国DML数字媒体实验室利用增强现实技术扩展了原来基于蓝影技术制作天气预报节目的方法，用虚拟的三维场景替换了原来的平面背景使得节目效果更好。五、教育增强现实技术在儿童教育领域也将发挥其交互性、趣味性的优势。有专家评估，增强现实技术对教育的影响可以归结为三点，即知识可视化，实时交互性和超现实感官体验。增强现实技术可以通过虚实结合的学习环境来促进知识的迁移，达到寓教于乐的目的。随着移动设备和增强现实技术的结合，移动学习和自主学习成为现实。曼恒的研发人员开发的AR移动平台可以将一本普通的、印有插图的纸质图书中的二维内容通过互动形式来实现对应三维内容的生动展现。第四章总结与展望4.1 总结增强现实技术是一个多学科交叉的领域，它包括计算机视觉、计算机图形学、传感器、网络、GPS等诸多技术。人们能够通过增强现实技术将真实世界和虚拟世界重合在一起，得到对真实世界更深的理解。AR由于其具有对真实环境的增强输出特性，在医疗研究和解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域发挥着巨大作用，相信随着技术的日益成熟，AR将会走进人们的生活，给人们提供更多的便利与乐趣。4.2 展望值