增强现实的解决方案

1、移动增强现实关键技术及研究增强现实是随着计算机图形技术、可视化技术以及光电成像技术等一系列技术的发展在 近年出现的，虚拟现实营造一个和用户周围环境完全不同的由计算机生成的虚拟场景， 而增强现实则是把计算机生成的虚拟物体或文字信息叠加到真实的环境中，增强现实在 虚拟环境和真实环境之间搭起了一个桥梁。是一个典型的增强现实场景，用户借助手机、平板电脑等智能终端显示设备自带的摄像 头观察周围的真实环境，在其手持的智能终端显示屏上除了可以看到其周围的真实环境 之外，还可以看到由计算机生成的虚拟辅助信息，如最近的麦当劳在哪个位置，这可以 通过在周围环境上叠加一个汉堡来表示附近有一家麦当劳店。当用户来到一个

2、陌生城市,如果要找最近的地铁站，可以通过手机摄像头扫描周围环境来得知最近的地铁站或其他 一些感兴趣的地点在哪个位置。除了在工业、医疗等领域具有十分广泛的应用，近年来 增强现实在军事领域也有非常广泛的应用。在本次国防电子展上展出了一套单兵作战系 统，借助摄像机和头盔显示器士兵在观察战场环境时可以看到例如敌方的火力点等很多 提示信息。在夜晚和恶劣天气情况下这套系统具有重要作用，可以更好的保护士兵，使 得士兵能够更好地地完成作战任务。近年来增强现实技术得到了很大的发展，图2是一些典型的增强现实应用，在体育转播时，借助增强现实技术可以把运动员的名字或者所做国家的国旗叠加在跑道上，由于事 先已经获取了摄

3、像机以及赛场环境的准确参数，可以保证在实时转播时由计算机所添加 的虚拟物体或者文字信息天衣无缝的融合到当前环境中。除了体育转播以外，现在很多 的演出中也应用了增强现实技术。增强现实的另外一个典型应用是运行在手机上的一个智能感知系统。例如借助增强现实 技术，当用户到达一个陌生的环境需要获取信息时，通过举起手机拍摄周围环境，所有 的陌生文字都可以变成其熟悉的语言。在商业区举起手机拍摄就可以很快找到最近的快 餐店的地址。当想知道天气时，只需要拍摄一下天空，就可以获得天气的信息。移动增强现实系统所需要解决的系列关键技术移动增强现实系统由硬件和软件两部分构成。硬件部分主要包括可以把用户当前所处的 真实环

4、境和计算机所生成的虚拟物体以及文字同时进行显示的显示载体，这既可以是单 兵作战系统中的头盔显示器，也可以是用户手持的智能手机或者是平板电脑。除了融合 显示装置外，还需要了解用户意图的人机交互设备，因为系统需要知道用户现在的需求 是什么，采用传统的键盘鼠标无法实现这样的人机交互，需要采用包括语音识别、眼动 跟踪、身体动作跟踪等一系列的自然交互手段。此外还需要硬件计算平台来完成融合显 示、虚拟物体的绘制以及人机交互等一系列的复杂运算。除了上述硬件平台之外还需要 一系列软件的支撑，包括识别当前用户所看到的场景中的物体种类以及物体具体位置的 识别和跟踪软件，把虚拟的三维物体进行实时的绘制和融合显示的三

5、维图形渲染绘制软 件，这些硬件和软件平台一起构成了移动增强现实系统。目前有三种方式可以实现移动增强现实系统，包括基于头盔式显示器的移动增强现实系 统、基于手持投影仪的移动增强现实系统以及基于智能手机、平板电脑等便携智能终端 的移动增强现实系统。尽管移动增强现实系统已经显示出了在诸多领域中广泛的应用前景，但是由于技术条件 和成本的限制，和大规模的推广应用尚有一定的距离，目前比较成熟的应用大多集中在 军事、医疗等对价格不是特别敏感的领域。目前制约移动增强现实系统性能的因素主要包括以下两个方面，一是移动计算平台的计 算资源、电池的寿命和重量的限制。二是户外场景复杂多变的因素，由于户外存在光照 的变化

6、以及遮挡等问题， 同时用户在户外的场景中自由移动，事先无法预测用户的轨迹,而环境又会有阴晴雨雪变化，所有这些不可控的因素制约了移动增强现实技术的应用。开发移动增强现实需要攻克以下六项关键技术：一、高效便携的终端定位系统，为了获得用户在环境中的准确位置，完成对用户在环境 中的准确定位，目前有几种方法可以实现，当用户携带手机时，通过移动网络可以对用 户进行粗略定位，可以记录用户在网络中的一个历史轨迹，通过这样的一系列的历史数 据，在服务器端可以对用户当前的位置有一个相对精确的估计，这些的复杂运算是在服 务器端实现的，借助服务器端强大的计算能力，可以在不占用移动端过多资源的情况下 获取准确的定位。二

7、、移动终端和多核工作站之间不同计算能力设备间的任务协同。为了实现移动增强现 实系统，要完成非常多复杂的运算，包括对用户位置的跟踪、渲染、绘制等，这些复杂 的运算任务要在移动终端和系统的服务器中进行协调，目前的解决方案是把一部分工作 放在手机端由手机实现，而将另外一部分复杂运算放在服务器中实现。三、海量目标的精确识别。在生活中有时我们希望能够知道用户面前的建筑物是什么， 用户面前的车是什么型号，目前有多种方式实现这样的功能。为了识别出这些物体，可 以通过提取对象的轮廓特征、纹理特征等来辨识。由于户外环境的复杂多变，单一的特 征很难实现百分之百的识别，为此在移动增强现实系统中，通过多特征融合进行物

8、体识 别，例如对于同一个用户眼前的建筑物，首先提取它的多种特征，通过融合多种特征来 更加详尽的对目标加以识别和描述。四、六自由度跟踪定位，即知道用户在环境中是在向哪个方向看以及确定用户所处的位 置，所采用的方法是事先在计算机存储部分已经标好的图像，当实际用户使用的时候， 通过将拍摄到场景中的图像和事先存储的图像进行匹配可以获得准确的六自由度信息。五、多传感器数据融合。目前移动智能终端带有多种传感器，在实际使用中即可以通过 计算机视觉技术对摄像头所拍摄的环境物体进行跟踪，也可以采用惯性传感器进行姿态 跟踪，通过融合多个传感器的输出可以获取更加准确的跟踪结果。六、真实、高效的3D渲染。为了实现移动

9、增强现实系统，还需要把生成的三维物体准确 的绘制到当前的场景中，考虑到移动终端资源的限制，需要绘制算法能够尽可能简化，解决的方法之一就是简化传输数据的冗余性，从而实现真实高效的三维渲染。下面介绍国外的典型应用。图3所示是增强现实浏览器，用户只需要在手机上选择一个频道，在拍摄周围环境的时候，用户所有感兴趣的信息都会自动出现在屏幕上。比如在 选择餐饮的时候，周围的所有的饭店的符号都会出现在屏幕上，用户可以通过点击屏幕 看到对应的评价，甚至可以下载饭店的优惠券。移动增强现实在博物馆导览方面也有很好的应用。博物馆提供了非常多的展品，但目前 所有展品的标签所提供的信息都是有限的，用户到博物馆参观时希望知

10、道展品背后的故 事。借助移动增强现实技术，用户进入到博物馆时可以在手机上下载一个软件，当用户 在博物馆内进行游览时当用户看到感兴趣的展品，通过手机屏幕呈现和这个展品有关的 文字、图片以及视频等信息可以增强用户对展品的认识。移动增强现实在电子商务方面也有很多的应用，例如近年来在北京地铁站出现的虚拟购 物超市，消费者只要通过手机拍摄想要购买的物品并发送给服务商，就可以享受到送货 上门的服务。移动增强现实在教学培训上也有广泛的应用，国外开发了一款在iPhone上的运行的软件，可以在实际的电路上通过三维显示的方式来叠加学生需要搭建的电子元器件来指导 学生进行电路的搭建。在化学、地理等等一些教学中，通过

11、对三维的分子结构以及三维 的空间星系进行增强显示可以加深对这些知识的理解。在导航导览方面增强现实具有更加广泛的应用，目前国外新开发的GPS软件上已经应用了增强现实，当把这样一款 GPS安放在驾驶的车辆上，就会看到前方的道路地面叠加出 了方向箭头，可以实时指引驾驶员，通过这样的可视化手段为用户提供了非常好的使用 感受。在本届国防电子展上也有多款产品应用了增强现实技术，例如晚上驾驶照明条件不好时，可以借助红外传感器观察周围环境，然后把增强后的路况借助增强现实技术显示在风挡 玻璃并后准确的叠加在驾驶员前方的道路上，从而增强用户对环境的理解。增强现实在商业广告方面也有很多的应用，Ibuttefly是一

12、款下载在iPhone上的AR应用，是旅游和餐饮业的一个很好的宣传平台。在娱乐游戏方面，增强现实可以把用户周 围的真实场景变为游戏场景，而在社交网络应用上，增强现实技术可以方便用户与好友 进行在线交流。近年来增强现实在古迹重建及导览方面也有很多的应用，例如用户到圆明园进行游览时 可以通过增强现实技术看到圆明园被烧毁之前的壮美建筑，加深对古迹现场的理解。发展方向移动增强现实的一个发展方向是基于投影仪的移动增强现实系统。尽管目前手机屏幕越 来越大，但是不可能无限增大，同时大的显示屏幕对于电池是一个非常大的考验。美国 MIT开发的移动增强现实系统借助微型的投影仪把增强信息投到用户手上以及用户阅读 的报纸上，同时用户可以通过不同的手部动作和投射出的影