ARToolkit技术预研报告.docx

ARToolkit技术预研报告概念、应用及相关资料LAIGU2010-12-20作者: Cheval HeARToolkit技术预研报告概念、应用及相关资料一、基本概念增强现实（Augmented Reality，简称AR），也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。二、技术状态增强现实(Augmented Reality，简称AR)是近年来国外众多知名大学和研究机构的研究热点之一，AR技术不仅在与VR技术相类似的应用领域，诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有比VR技术更加明显的优势。三、技术特性增强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交互、三维注册的新特点。四、应用领域* 医疗领域：医生可以利用增强现实技术，轻易地进行手术部位的精确定位。* 军事领域：部队可以利用增强现实技术，进行方位的识别，获得目前所在地点的地理数据等重要军事数据。* 古迹复原和数字化文化遗产保护：文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。* 工业维修领域：通过头盔式显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等。* 网络视频通讯领域：该系统使用增强现实和人脸跟踪技术，在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟物体，在很大程度上提高了视频对话的趣味性。* 电视转播领域：通过增强现实技术可以在转播体育比赛的时候实时的将辅助信息叠加到画面中，使得观众可以得到更多的信息。* 娱乐、游戏领域：增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对战。* 旅游、展览领域：人们在浏览、参观的同时，通过增强现实技术将接收到途经建筑的相关资料，观看展品的相关数据资料。* 市政建设规划：采用增强现实技术将规划效果叠加真实场景中以直接获得规划的效果。五、专家学者国内比较权威的增强现实学者是北京理工大学 光电工程系的王涌天教授。六、ARToolKit技术1、ARToolKit介绍-原文地址：/artoolkit/documentation/userintro.htm-A、 简介ARToolKit 它是一个C/C+ 语言编写的库，通过它可以让我们很容易的编写 增强现实 应用程序。增强现实（AR）是将电脑虚拟的图像覆盖到真实世界画面中，这个技术在工业和理论研究方面都存在着极大的潜能。 对于开发一个AR程序来说，最困难的部分在于实时的将虚拟图像覆盖到用户视口，并且和真实世界中的对象精确对齐。ARToolKit使用电脑图像技术计算摄像机和标记卡之间的相对位置，从而使程序员能够将他们的虚拟对象覆盖到标记卡上面。ARToolKit 提供的快速和准确的标记跟踪，能够让你快速的开发出许多更新更有趣的AR程序。 B 、支持的系统ARToolKit 目前支持以下操作系统： SGI IRIX 、PC Linux 、Mac OS X 、PC Windows (95/98/NT/2000/XP) ARToolKit 的最终版本将会是跨平台的.对于开发包来说，这些不同版本的函数集都是一样的，只是其实现利用了相关平台上的硬件特性。 目前版本的ARToolKit同时支持 Video(普通视频) 和标准的see-through AR . Video see-through AR 是指将虚拟图像覆盖到实时视频。标准的see-through AR要求使用者具备头部现实设备(带在眼睛上的那种摄像设备)，并且它有着更加复杂的视频标准和注册要求。C、Artoolkit 的工作原理基本原理 基于ARToolKit 的应用程序可以在实时视频中显示有景深的虚拟影像（透视投影）。 虽然看上去有点象魔法，但不是的。秘密在于用于跟踪的黑色形状标记。ARToolKit 的跟踪步骤如下： 1.摄像机捕获真实世界的视频，并将它传送给计算机。 2.软件监控视频流中的每一帧图像，并在其中搜索是否有匹配的图形标记。 3.如果找到了，ARToolKit 将通过数学运算计算出图形标记和摄像头的相对位置（投影变换矩阵）。 4.得到摄像头的位置之后，此来调整模型的位置和方向。 5.将模型渲染到标记卡所在（帧画面）的位置。 6.最终输出到显示设备的视频流是进过处理的，因此当人们通过显示设备看到视频（而不是直接拿眼睛看真实世界）时，模型便覆盖到拍摄到的真实世界画面上了。下面这张图描述了ARToolKit如何实时跟踪标记，并将模型显示到正确的位置的过程。局限性 目前完全由电脑实现的AR系统存在着一些局限性。 基本上只有当标记完全出现在视频中，虚拟对象才会出现，这会限制虚拟对象的尺寸和移动速度。这也意味着如果用户用手或者其他物体遮挡了标记，虚拟形象也将消失。有效范围也是问题。标记的实际尺寸越大，能跟踪的距离越远。表1列举了一些标记尺寸和最大有效范围的数据。测量的方法是移动标记和摄象机，直到虚拟对象消失为止。 Pattern Size (inches)Usable Range (inches)2.75163.50254.25347.3750表1：不同尺寸的标记和对应的跟踪最大范围同时范围也会受到标记的复杂程度的影响。标记越简单，跟踪效果越好。一整块纯黑或纯白的标记效果是最好的（- -#）。如果将上表中4.25英寸的标记弄的非常复杂，跟踪距离将从34英寸减少到15英寸。跟踪效果也会受到摄象机和标记的相对朝向的影响。标记最好的状态就是水平出现在摄象机画面中。相对角度越小，越难正确识别标记。最后，跟踪效果还受到光照条件的影响。光可能产生反射和折射，这会令识别标记更加困难。为了减少这样的情况，可以使用一些不容易产生反射的材质来制作标记。比如使用三夹板（建筑材料）。在工艺品店买到的名为“fuzzy”的带绒毛的纸张（不知道是什么，听起来象劣质手纸.）效果也很好。D、安装和生成介绍本质上讲， ARToolKit 是一个许多软件库的集合-一同连接到目标程序。所以 ARToolKit 是以源代码形式发布的，而你必须自己编译它-在指定的平台和操作系统环境下。你需要一个对应操作系统下的开发环境，每个平台上都有免费的开发环境可用。虽然 ARToolKit 为各个平台提供了同样的函数（接口），但是安装则不尽相同。在这篇文章里我们将指导你在不同的环境下进行安装。你的机器、操作系统和平台都必须满足基本需求。你的硬件必须包括一个视频流输入设备和足够的（剩余的）CPU去执行视频的处理和显示任务。同时也依赖于许多其他的库，这对于编译和连接来说非常重要。最主要的依赖库是OpenGL ，GLUT。另外就是视频处理库，如DirectShow,V4L,QuickTime等。我们会在下面列出各个平台上相关的依赖库清单。在Windows平台上生成必备条件：开发环境支持 Microsoft Visual Studio 6和 Microsoft Visual Studio .NET 2003，不过你也可以用其他免费的开发环境进行生成 (例如 Cygwin, /)DSVideoLib-0.0.8b-win32在Windows平台上,DSVideoLib 用于和摄相头驱动进行通信.ARToolKit 2.71 要求使用DSVideoLib-0.0.8b 或以上版本。以下地址提供了源代码和二进制库文件的下载 ARToolKit downloads page on sourceforge.GLUT检查是否安装过GLUT运行时库和SDK.如果没有，你可以从这里下载到/nate/glut.html检查你的系统里有没有GLUT运行时库，比如 c:windowssystem32 glut32.dll 检查你的VS是否有GLUT的SDK Includeglglut.h Libglut32.lib DirectX RuntimeDX9.0b 以上视频输入驱动将摄相头接到电脑上，安装好必需的驱动. 运行amcap.exe 以检查你的摄相头是否安装了VFW 或WDM驱动（可以在DX SDK中找到，SamplesC+DirectShowBin）。检查你的驱动列表。(可选的, 使用VRML需要这个) OpenVRML-0.14.3-win32你可以在这里下载到OpenVRML的源代码和二进制文件 ARToolKit downloads page on sourceforge.生成 ARToolKit现在你可以开始生成 ARToolKit 了. 生成步骤如下:1.将ARToolKit随便解压缩到一个路径下，下面的步骤将以ARToolKit代指这个路径 2.将 DSVideoLib 解压缩到 ARToolKit. 确保文件夹名称为DSVL. 3.将 DSVL.dll 和 DSVLd.dll 从 ARToolKitDSVLbin 拷贝到 ARToolKitbin. 4.将 GLUT 的DLL 扔到 Windows 的System32 文件夹, 在VS中设置好 GLUT的头文件和库文件 5.运行脚本 ARToolKitConfigure.win32.bat ，它将创建 include/AR/config.h. 6.打开 ARToolKit.sln (VS.NET 2003) 或者 ARToolkit.dsw (VS6). 7.生成. VRML渲染库和例子是可选的:8.解压缩 OpenVRML 到 ARToolKit. 9.将 js32.dll 从ARToolKitOpenVRMLbin 拷贝到 ARToolKitbin. 10.在VS中加载 libARvrml 和 simpleVRML 项目，生成。七、与公司当前状况相结合的问题通过前面的介绍我们已经基本了解了ArToolKit的情况，它本质上是一种动态处理实时视频数据的技术手段，在实时的真实的影像数据上叠加可以由用户与设备的互动操作得到的虚拟信息后再展现给终端用户，因此如果能够加入我们的产品，将能为我们的产品提供更加丰富、直观的互动展示用户体验。但是，我们可以在ArToolKit的官方网站上看到，它的最后一个版本更新是在2003年11月，对运行环境和开发环境的支持只在WinXP和VS2003之前，而我们现有的运行环境和开发环境是以Win7和VS2010为主，因此在系统整合方面会存在问题，解决办法有两种，一是使用WinXP和VS2003单独为ArToolKit开发产品，二是将ArToolKit的源代码升级到VS2010的版本上，使用CMake或许能够完成此任务。另外，在实际应用当中，必须考虑到 前面提到的局限性问题。八、参考资料1、Artoolki