（计算机应用技术专业论文）基于artoolkit的增强现实技术在恐龙博物馆中的应用研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 增强现实技术( a u g m e n t e dr e a l i t y , ，简称a r ) 是把虚拟的物体叠加到现实世界的 图像上，实现人与虚拟物体的交互，这些虚拟物体可以是文字，图片，3 d 模型或视频 等等。 a r t o o l k i t 是一套基于c 语言的增强现实系统开发包，是实现增强现实技术的工 具之一，也是目前的一个研究热点，借助它可以很容易的进行增强现实系统的开发。 a r t o o l k i t 采用计算机视觉技术，能够实时的精确地计算出用户的视点，从而将虚拟物 体精确地叠加到现实世界图像上，另外a r t o o l k i t 算法便于移植，尤其是在移动设备 上的移植。 本文分析了a r t o o l k i t 算法流程，设计并实现了将恐龙虚拟视频叠加到现实世界 的桌面人机交互系统，并研究了标记检测识别时位图图像匹配算法和数学模型。 本文首先介绍了a r 的基本概念，主要研究现状，分析了a r t o o l k i t 算法流程，总 结了基于a r t o o 飚t 算法的其他移植版本与相应平台技术。 其次本文研究了标记检测识别时位图图像匹配计算放法，分析其他图像匹配计算 方法，对几种图像匹配计算方法进行比较，选取合适的计算方法，提高了匹配结果的 精准值，并对匹配结果进行仿真。 最后本文研究了增强现实技术在恐龙博物馆中的应用前景，并根据一个基于 a r t o o l k i t 算法的f l a r t o o l k i t 开发包，设计了一个基于恐龙图样矩形标记检测识别的 桌面人机交互增强现实系统。 关键词：增强现实；a r t o o l k i t ；标记检测；恐龙；图像匹配 西南交通大学硕士研究生学位论文 第1i 页 a bs t r a c t a u g m e n t e dr e a l i t yi ss u c hat e c h n i q u ew h i c ho v e r l a yv i r t u a lo b j e c t st or e a l - w o r l d i m a g et e c h n o l o g y ，r e f e f r e dt oa sa r a rc a l li m p l e m e n tt h ei n t e r a c t i o nb e t w e e nm a l la n d v i r t u a lo b j e c t s t h ev i r t u a lo b j e c t sc a nb et e x t ，i m a g e s ，3 dm o d e l so rv i d e o s ，a n ds oo n a r t o o l k i ti sad e v e l o p m e n tk i to fa u g m e n t e dr e a l i t ys y s t e mw h i c hi sb a s e do nc l a n g u a g e a r t o o l k i ti s o n eo ft o o l sw h i c ha r eu s i n gt oi m p l e m e n ta u g m e n t e dr e a l i t y t e c h n o l o g y , a l s oi sar e s e a r c hf o c u sc u r r e n t l y , w ec a nd e v e l o pa u g m e n t e dr e a l i t ys y s t e me a s i l y w i t hi t a r t o o l k i tu s e sc o m p u t e rv i s i o nt e c h n o l o g y , a n dc a nc a l c u l a t et h eu s e rp o i n to fv i e w r e a l - t i m ea c c u r a t e l yt oo v e r l a yt h ev i r t u a lo b j e c t st or e a lw o r l di m a g ea c c u r a t e l y i na d d i t i o n , a r t o o l k i ta l g o r i t h mi se a s yt ot r a n s p l a n t ，e s p e c i a l l yi nt h em o b i l ed e v i c e t h ep a p e ra n a l y z e st h ea l g o r i t h mp r o c e s so fa r t o o l k i t ，a n dd e s i g na n di m p l e m e n tt h e d e s k t o ph u m a n c o m p u t e ri n t e r a c t i o ns y s t e mw h i c ho v e r l a y sd i n o s a u rv i d e o t ot h er e a l w o r l d i na d d i t i o n m ep a p e rr e s e a r c h e st h eb i t m a pi m a g em a t c h i n ga l g o r i t h m s a n d m a t h e m a t i c a lm o d e l si nt h ed e t e c t i o na n di d e n t i f i c a t i o n f i r s t l y , t h ep a p e ri n t r o d u c e st h e b a s i cc o n c e p t sa n dt h e m a i nr e s e a r c ho fa r a n d a n a l y z e dt h ea l g o r i t h mp r o c e s so fa r t o o l k i t ，a n ds u m m a r i z et h e o t h e rt r a n s p l a n t a t i o n v e r s i o n sa n dr e l a t e d p l a t f o r m st e c h n o l o g yw h i c ha r eb a s e do n a r t o o k i ta l g o r i t h m s e c o n d l y , t h ep a p e rr e s e a r c h e st h em e t h o do fb i t m a pi m a g em a t c h i n gc a l c u l a t i o ni n d e t e c t i o na n di d e n t i f i c a t i o no ft a g ，a n da n a l y z e st h eo t h e rm e t h o d so fi m a g em a t c h i n g ，a n d s e l e c tt h e a p p r o p r i a t e c a l c u l a t i o nm e t h o dw h i c hi su s e dt oi m p r o v et h ea c c u r a c yo f m a t c h i n gr e s u l t st h r o u g hc o m p a r i n gw i t hs e v e r a li m a g em a t c h i n gm e t h o d f i n a l l y , t h ep a p e rr e s e a r c h e s t h ea p p l i c a t i o nf u t u r ep r o s p e c t so fa u g m e n t e dr e a l i t yi nt h e d i n o s a u rm u s e u m ，a n dd e s i g n e dad i n o s a u rm u s e u ma u g m e n t e dr e a l i t ys y s t e m b a s e do n t h er e c t a n g u l a rm a r k e r so fd i n o s a u rp a t t e mw i t hf l a r t o o l k i t k e yw o r d s ：a u g m e n t e dr e a l i t y ；a r t o o l k i t ；m a r k e rd e t e c t i o n ；d i n o s a u r ；i m a g em a t c h i n g 西南交通大学曲南父逋大字 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密断植用本授权书。 ( 请在以上方框内打“寸) ：l 乎坼 日期：细小 7 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： ( 1 ) 研究了a r t o o l k i t 算法流程，分析了算法中矩形标记物的检测识别，跟踪定位 原理，总结了基于a r t o o l k i t 算法的其他移植版本及相关技术。 ( 2 ) 对a r t o o l k i t 标记物的图像匹配值计算方法进行分析，分析其他图像匹配计算 方法，对几种图像匹配计算方法进行比较，选取合适的计算方法，提高了匹配结果的 精准值，并进行仿真。 ( 3 ) 研究基于a r t o o l k i t 算法的增强现实技术在恐龙博物馆里的应用，设计了一个 基于f l a r t o o l k i t 开发包的桌面增强现实人机交互系统，该系统主要是通过对恐龙图 样的矩形标记进行检测识别，并加载相关恐龙虚拟视频，实现人与虚拟视频的交互。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名：彩 日期：扣p6 1 。一 西南交通大学硕士研究生学位论文第1 页 1 1 研究背景 第1 章绪论 增强现实技术( a u g m e n t e dr e a l i t y ，简称a r ) 从广义上来说是虚拟现实技术的一 个分支，从狭义上来说增强现实与虚拟现实又有着本质的区别，虚拟现实( v i r t u a l r e a l i t y ，简称v r ) 是让计算机完全虚拟现实环境，使用户的视觉、听觉和触觉等感官 完全沉浸在虚拟环境中，实现用户与虚拟之间的交互，用户的视觉对象是完全虚拟的， 而a r 则是在用户所处的现有现实环境的基础上加载虚拟场景，在现实场景的基础上 扩展用户视觉，实现用户与虚拟以及现实之间的交互。因此增强现实技术的研究不仅 是在虚拟现实技术的基础上前进了一步，更重要的是它包含了新的虚拟理念，有着更 广阔的应用前景和商业价值。 增强现实一词诞生于2 0 世纪9 0 年代初，当时波音公司的t o mc a u d e l l 和他的同事 在他们设计的一个辅助布线系统中提出了增强现实这个名词，该系统依靠s h m d ( 光 学透视头盔显示器，o p f i c a ls e et h r o u g hh e a dm o u n t e dd i s p l a y ) 把由简单线条绘制的布 线路径和文字提示信息实时地叠加用户的视野中，叠加的这些信息可以帮助用户逐步 地完成拆卸过程，以减少用户在日常工作中出错的机会【l 】。随着a r 技术的发展，又相 继出现了多种增强现实应用系统，主要集中在医疗、制造与维修、机器人动作路径规 划、娱乐和军事等几个方面。 a r 通常是以透过式头盔显示系统【2 巧】和三维注册( a r 系统中用户观察点和计算机 生成的虚拟物体的定位) 系统相结合的形式来实现的f 2 】。通过三维注册方式，将虚拟物 体加载到现实场景中，从而使现实场景得到增强，实现用户与虚拟和现实场景的实时 交互。其中加载的虚拟物体可以是图片、3 d 模型、视频、非几何形的文字信息等等。 a r 系统开发的工具有多种，如a r t o o l k i t 系列、c o i n 3 d 和m rp l a t f o r m 掣1 1 。其 中a r t o o l k i t 是一套基于c 语言及o p e n g l 的增强现实系统开发包，该工具包是最初 由日本大阪大学的h i r o k a z ok a t o 博士于1 9 9 9 年在华盛顿大学人机接口实验室 ( h i t l a b ) 设计开发的i l 一。a r 目前已成为a r 领域内最广泛的开发包，目前比较常 见的a r l 晒o l k i t p l u s 工具包、f l a r t o o l k i t 工具包以及基于手机移动设备的 n y a r t o o l k i t ( 基于g o o g l ea n d r o i d1 0 ) 工具包和a r t o o l k i t p l u s $ 6 0 ( 基于s y m b i a n s 6 0 ) 等工具包都是在a r t o o l k i t 算法基础上移植用来开发a r 系统的开发包。 随着人们对a r 研究的逐渐深入，目前a r 增强现实技术在博物馆应用方面开始受 到关注，欧洲已经开始有恐龙博物馆使用a r 技术进行展示，但a r 技术尚未在恐龙博 物馆中开始大规模应用，目前仍处于研究阶段，因此研究a r 技术在博物馆中的应用 具有非常好的前景和价值。 西南交通大学硕士研究生学位论文第2 页 1 2a r 国内外研究现状 增强现实技术自问世以来，国内外许多大学，实验室和研究机构等科研单位都对 a r 充满兴趣并进行研究，取得了许多成果，这使得a r 技术越来越成熟，应用也越来 越广泛。 美国麻省理工大学的m 实验室利用a r 技术将核磁共振或c t 扫描成的3 d 图像 叠加在病人的身体部位，通过头盔显示器等显示设备扩展医师的视野，使医师能实时 地掌握病人身体部位的信息。在医学领域的应用上，a r 系统还可以通过图像或文字信 息的叠加增强为医师提供精确地手术导航，医师根据提示逐步完成手术操作，可以大 大提高手术的成功率【6 。7 j 。 在工业设计，机械制造领域，自波音公司将a r 用于辅助布线系统后，a r 在该领 域内应用日趋成熟，哥伦比亚大学的f e i n e r 和m a c i n t y r e 研究组使用a r 技术进行激光 打印机的维修跟踪，该研究组还将a r 系统用于汽车门锁的安装，该系统能逐步地指 导毫无经验的用户进行门锁的安装，在安装过程中用户还可以通过语音识别系统与计 算机进行交互式对剖6 引。 在文化遗产领域，i n t r a c o m 公司在欧盟的支持下研制出了采用a r 技术对古希腊 遗址进行现场复原的古迹电子导游系统a r c h e o g u i d e l 7 j 。 在增强现实领域，尤其是文化遗产保护领域，北京理工大学王涌天教授等作出了 突出的贡献和研究，取得了丰硕的成果4 1 ，王涌天教授及其研究小组利用a r 技术成 功对圆明园相关遗址进行复原，目前已经研制出了可供演示的定点观察式原型系统， 用户视野通过该系统在圆明园相关遗址的基础上进行复原增强，其效果如图1 1 和1 2 所示1 9 】o 早期的a r 研究除了对硬件设备要求较高外，软件的设计相对也比较复杂，1 9 9 9 年h i r o k a z ok a t o 博士开发出了a r t o o l k i t 工具，使得a r 增强系统可以简单的在p c 机器上通过单目摄像机来实现，对硬件设备的要求大大降低。 该工具能在不同的操作系统上实现，支持w i n d o w s 、l i n u x 、m a co sx 和s g i 操 作系统，这使得a r 走进人们的日常生活起了促进作用。该工具的另外一个有点是算 法精炼简洁，用c 语言实现，便于移植，a r t o o l k i t 的这些优点使它在增强现实领域 获得了青睐，关注和研究a r t o o l k i t 的研究机构也越来越多，其中国外有华盛顿大学 人机接口实验室、新西兰坎伯雷大学人机界面实验室等研究机构，国内有浙江大学 c a d & c g 国家重点实验室等。 西南交通大学硕士研究生学位论文第3 页 图卜1 西水塔遗景宴址。 闰卜2 西水塔重建效果“1 由于a r t o o l k i t 的可移植性，随着移动通信的快速发展，尤其是现代智能手机的 出现，使基于a r t o o i k i t 的增强现实技术在智能手机上的实现成为可能i i ”a r 研究者 和爱好者们开始尝试在智能手机系统上实现a r 增强现实系统，并取得了重大成果。 一些为当前知名品牌和主流m o b i l e p h o n e o s 设计的a r 系统逐渐丌始得到应用目前 比较成熟的智能手机增强现实系统有l a y a ra u g m e n t e dr e a l i t yb r o w s e r 和a r o u n d a u g m e n t d r e a l i t y b r o s w e r 等。l a y a r 增强现实浏览器己经分别在i p h o n e3 g s 和s a m s t m g g a l a x ys ( a n d r o i d21 ) 智能手机上移植实现“q ，如图l 一3 所示；针对n o k i a 系列的 a r 增强现实浏览器a r o u n d 目前已经在n 9 7 等版本上得以实现mj ，如图1 _ 4 所示。 西南交通大学硕士研究生学位论文第4 页 图卜4a r o u n d 浏览器增强现实系统 a r 有着巨大的应用潜力和价值，但目前的a r 技术总的来说还不是很成熟，研究 方面也主要集中在高校的实验室应用方面范围狭小，功能比较单一，但随着硬件设 备和软件技术的发展以及随着对a r 研究的不断深入，a r 在人们的日常生活中将会得 到更广泛的应用。 1 3 本文研究内容与论文结构 131 本文的研究内容 本文主要研究了27 1 版本的a r t o o i i g t 基本原理和流程及其相关技术，主要研究 西南交通大学硕士研究生学位论文第5 页 ( 1 ) 研究了a r t o o l k i t 工具基本原理，分析了算法中矩形标记物的检测识别，跟 踪定位原理，总结了基于a r t o o l k i t 算法的其他移植版本及相关技术。 ( 2 ) 研究了a r t o o l k i t 中图像匹配结果值的精确度，对a r t o o l k i t 标记物检测识 别时图像匹配值计算方法进行分析，分析其他图像匹配计算方法，对几种图像匹配计 算方法进行比较，选取合适的计算方法，提高了匹配结果的精准值，并进行仿真。 ( 3 ) 研究基于a r t o o l k i t 算法的增强现实技术在恐龙博物馆里的应用，设计了一 个基于f l a r t o o l k i t 开发包的桌面增强现实人机交互系统，该系统主要是通过对恐龙 图样的矩形标记进行检测识别，并加载相关恐龙虚拟视频，实现人与虚拟视频的交互。 1 3 2 论文结构安排 本文主要内容以及论文结构安排如下： 第一章绪论，首先介绍了论文研究背景，a r 技术基本概念以及a r 技术的诞生； 之后介绍了a r 的主要应用领域、在该领域取得的成果以及国内外a r 研究现状；最后 介绍论文的内容以及论文组织结构。 第二章a r t o o l k i t 基本原理，首先介绍了a r t 0 0 1 融开发工具的特点；然后介绍 了a r t o o l k i t 基于计算机视觉处理的相关理论和数学模型；然后重点分析了a r t o o l k i t 算法流程和函数实现流程，并绘出详细函数流程图；最后分析了标记检测时位图图像 匹配算法和数学模型。 第三章a r t o o l k i t 图像匹配算法改进研究，首先选取若干不同矩形标志，分析了 a r t o o l k i t 在从摄像头获取的图像中提取出的矩形区域与标志图像进行匹配时的匹配 结果；然后通过改进匹配采用的不等式数学模型来改进图像匹配算法，并进行实验结 果分析。 第四章恐龙博物馆中增强现实系统的研究与实现，采用基于a r t o o l k i t 算法的 f l a r t o o l k i t 开发工具，设计并实现一个基于单目视觉的人机交互系统，该系统通过 检测不同的恐龙矩形标记，在现实场景中叠加相关恐龙视频，并由用户进行选择播放 与控制。 第五章总结与展望对本文内容做了一个简单总结，在此基础上提出进一步工作 方向和展望。 西南交通大学硕士研究生学位论文第6 页 第2 章a r t o o ik t 基本原理 本章首先介绍了a r t o o l k i t 开发工具的特点；然后介绍了a r t o o l k i t 基于计算机 视觉处理的相关理论和数学模型；然后重点分析了a r t o o l k i t 进行标记检测和跟踪定 位算法流程和函数实现流程。 2 1a r t o oikit 概述 a r t o o l k i t 采用基于矩形标识物的视频检测方法，利用计算机视觉技术来计算观察 者视点相对于所检测到的矩形标识的位置和姿态，即通过计算摄像机坐标系、矩形标 识物坐标系和屏幕坐标系的转换矩阵来确定所检测到得矩形标识的位置和姿态，从而 实现矩形标识物的跟踪与定位，加载虚拟物体进行增强，并显示增强后的视频。 2 1 1a r t o oikit 体系结构 a r t o o l k i t 是一组c 语言函数库，它由几个函数库组成，分别是【6 , 1 8 】： a r 3 2 1 i b 函数库：包括摄像机校正与参数收集、矩形标识物识别与跟踪和定位模 块，主要完成摄像机定标、矩形标识物识别与三维注册等功能。 a r v i d e o w i n 3 2 1 i b 函数库：基于微软视频开发包m sv i s o ns d k 的视频处理函数库。 主要完成图像实时采集功能。 a r g s u b 3 2 1 i b 函数库：基于o p e n g l 的图形处理函数库，完成图像的实时显示， 三维虚拟场景的实时渲染等功能。 以上几个库函数中除a r v i d e o w i n 3 2 1 i b 外，其它部分的源代码都是对用户开放的， 开发人 图2 - 1a r 体系结构图 西南交通大学硕士研究生学位论文第7 页 212a r t o o i k i t 工作流程 a r t o o l k i t 工作流程如图2 - 2 所示。a r t o o l k i t 通过计算摄像机相对于矩形标识物 的位置来进行宴时跟踪与定位。a r t o o l k i t 首先检测摄像头设备是否正常，然后初始化 摄像机内置参数，导入标识物模式文件启动摄像头捕获视频，然后根据用户设定的 阀值将采集到的一帧彩色图像进行二值化处理，转化为黑自二值图像，并进行反色处 理【”土0 】，如图2 - 3 所示。对该二值图像进行边缘检测 2 1 瑚啪连通域分析，找出其中所有 的矩形区域，对这些矩形区域进行初步处理，如清除过小的矩形区域，将筛选过后的 矩形区域在该帧彩色图像中找出相对应的矩形区域作为候选区域，将每一候选区域与 模式文件库中的模式文件进行图像匹配，得到相应的匹配值( 即相似的概率) ，并记录 该候选区域的相关状态信息，对于模板库中的每一个模扳而言，候选区域中与之匹配 所得到的匹配值最高者并且大于某一给定参考值( 该参考值。开发人员可适当更改) ， 则认为匹配成功，a r t o o l k i t 找到了一个标识，利用该标识区域的变形来计算摄像机变 换矩阵，从而计算出摄像机相对于标识的位置和姿盘，这样就可以进行跟踪与定位， 叠加虚拟物体。 2 - 2a r t o o l k i tr 作流程圈 絮三一令_ 西南交通大学硕士研究生学位论文第8 页 213a r t o o i k i t 主要特性 a r t o o l k i t 主要特性田1 有如下几点： ( 1 ) 提供了一个简单的框架用于构建实时性增强现实应用程序； ( 2 ) 支持多种操作系统：p c w i n d o w s 、p c l i n u x 、m a c o s x 、s g i r i x 等； ( 3 ) 基于计算机视觉算法的三维虚拟物体注册： ( 4 ) 支持多种输入源格式：u s b 、f i r c w i r e 等； ( 5 ) 支持多种格式的视频数据：r g b y u v 4 2 0 p 、y u v 等； ( 6 ) 基于单摄像机视觉识别，支持多种型号摄像机： ( 7 ) 通过初始化摄像机内置参数，减少图像失真效： ( 8 ) 采用基于标识物的视频检测方法进行定位，采用封闭的黑色正方形外框、内 部为任意图形或圈像但非空或非完全对称的矩形标记为标识物，矩形边长标准长度为 8 0 m m ，黑色矩形框内标记图案标准长度为4 0 r a m ，a r t o o l k i t 开发出来的应用程序需 要标识物，这在一定程度上制约了a r t o o l k j t 工具在开发户外增强现实应用中的使用； ( 9 ) 基于头盔显示器或者实时视频表示增强效果； ( 1 0 ) 基于c 语言，便于移植，代码基于开源授权协议g p l ； 2 2a r t o o l k i t 基本原理 a r t o o l k i t 进行实时跟踪与定位是基于标识物的视频检测以及计算机视觉技术，因 此标识物和计算机视觉变换矩阵是a r t o o l k i t 的重要基础。 2 2 1a r t o o i k i t 标记文件 a r t o o l k i t 采用封闭的黑色正方形外框、内部为任意图形或图像但非对称的矩形标 记为标识物，如图2 4 所示。 a ) 文字矩形标记b ) 恐龙矩形标记 图24a ”l o o l k i t 标记示铆 西南交通大学硕士研究生学位论文第9 页 图2 4 a 图片来源于a r t o o l k i t 工具包，图2 4 b 黑色矩形框内图样来自吉林大学博 物馆1 3 1 ，整个标记按照a r t o o l k i t 标准标记制作而成。 a r t o o i k i t 在检测标识物时将提取的矩形区域同已经导入到模式库中的标识物模 式文件进行匹配，这些模式文件是预先制作好的，模式文件以文本格式存在，该文本 文件内容是4 个4 8 + 1 6 的二维矩阵。如图2 5 所示，d i n o s a u r p a t 文件根据a r t o o l k i t 提供的标记模式文件制作应用程序生成，光照环境为室内同光灯。 a r t o o l k i t 用1 6 1 6 的二潍矩阵存储标识物每卜像素点的亮度等级，由于要分别存 储像素点的r g b 亮度等级，因此用4 8 * 1 6 的二维矩阵来存储像素点的r g b 等级，即 3 个1 6 + 1 6 矩阵，分别表示像素点的r 、o 、b 亮度等级矩阵。a r t 0 0 1 k i t 标记是有方 向的，检测时需要确定标已的方向从而进行定位，因此将该4 8 + 1 6 矩阵中对代表三 个r g b 的1 6 1 6 矩阵进行逆时针旋转以代表标记的方向，这样就得到4 个4 8 * 1 6 的矩 阵。 a r t o o l k i t 提供了函数a r s a v a p a t t 来制作标识物模式文件，开发人员可通过该函数 来编写制作标记模式文件的应用程序或直接采用a r t o o l k i t 提供的标记模式文件制作 应用程序。模式文件的扩展名由开发人员自行命名，一般为p a t 或p a r t ，但不限于此扩 展名。 2 0 92 1 1 2 3 818 7 17 8 16 0 12 6 】” 1 17 10 6 1 148 8 14 4 8 3 】807 4 97 8 8 10 42 2 4 14 820 3 15 114 4 2 2 423 0 2 叫23 3 23 823 7 2 40 2 3 4 酬2 - 5 恐龙矩形标记的模式立作 由于a r t o o l k i t 通过矩阵的旋转来确定标记的方向，因此矩形标记内部图像理想 状态下为非空图像，这样一个4 8 + 1 6 = 维的矩阵经过旋转后得到的矩阵与原矩阵存在 差异，每一个矩阵代表标记的一个方向，倘若矩形标记内部图像为空白图像，则理想 状态下其模式文件的4 个4 8 1 6 二维矩阵为同矩阵，这样无法确定标记的方向。不过 由于标记模式文件的制作过程是：打印标识物，启动标记模式文件制作应用程序，摄 像机捕获标识物，应用程序对捕获的标识物处理生成标记模式文件。在摄像机捕获视 iiii 2 3 1l!；l 2 l 4 8 1 0 2 9 2l；3 3 ；i 4i_) !eiili 3堡埔们铂”曲船蛐”i；el塑钔靶虬孙们种拍“驰拈卯” 西南交通大学硕士研究生学位论文第1 0 页 频的过程中，由于打印效果、光照的影响以及标记上的阴影等其他因素，使得内部图 像为空白的标记获得的标记模式文件二维矩阵并不相同，如图2 - 6 和2 7 所示，空白标 记图片来源于a r t o o l k i t 工具包，b l a n k l l lp a t 文件根据a r t o o l k i t 提供的标记模式文 件制作应用程序生成，光照环境为室内日光灯。这样a r t o o l k 豇增强现实应用程序在 检测标识物时虽然能通过图像匹配确定标识物的方向，但受光照影响等因素的影响很 大，使得在检测过程中出错率较高，因此实际应用中在制作a r t o o l k i t 矩形标识物时 黑色正方形框内的图像一般采用非空白图像。 26 内部为空白图样矩形标记 13 713 9 2 0 4 2 0 6 20 62 0 9 2 03 20 5 2 叫2 0 4 2 0 32 0 4 2 0 4 2 0 s 2 0 42 0 3 2 0 2 2 0 3 2 0 22 0 2 2 0 2 2 0 3 2 0 22 0 0 2 0 0 2 0 0 2 0 12 0 3 2 0 1 2 0 0 19 819 6 222a r t o oj k j t 坐标体系 闰2 7 空白标记的模式文件 a r t o o l k i t 增强现实系统对检测到的标记进行定位所面临的核心问题是计算现实 世界标识物坐标系与摄像机坐标系之间的转换矩阵，现实世界标识物坐标系、摄像机 ；ii 3 9 ii 2i 8 ii1o；iii 3 3；ii 9 lliilli；：7 i；3 9 3 o 0 0 0 0 0 0 0 0 9 0 9 9 9 5 3 3 3；o蛇心晒陀姑蛇帅卯蜡吣 8。3 3；9 9 6。3 5；9 ；3 3；5 o o i。5 5i 9 *i 3 3；0坠蚰叫盯吁帖盯蛇驰蛇帖们蛆 堕”毗们们跎叭姑叽姑鸭卯 堕盯盯盯盯跖”昭踮蛇如” 西南交通大学硕士研究生学位论文 第1 1 页 坐标系和屏幕坐标系体系结构如图2 8 所示。 根据计算机视觉基本理论知测2 9 。2 1 ，设( x m ，y m ，z m ) t 为现实世界标识物坐标 系，( x c ，y c ，z c ) 。为摄像机坐标系，t c m 为摄像机变化矩阵，r 和t 表示摄像机的 旋转和平移变换，r 为3 * 3 正交矩阵，t 为三维位向量( t 1 ，t 2 ，t 3 ) 1 ，摄像机坐标系与 现实世界标识物坐标系之间的关系见公式2 1 【1 8 2 3 1 。 摄像机坐标系 标识物坐 图2 - 8a r t o o l k i t 坐标系 设( x l ，y 1 ) t 为屏幕坐标系，s 为摄像机的内置参数，该内置参数a r t o o l k i t 系统 已经给定，应用程序启动后初始化该内置参数，开发人员也可以通过a r t o o l k i t 提供 的库函数校正该内置参数，h 表示某一时刻，f 表示焦距，s 表示倾斜系数，通常取0 ， a 表示像素的纵宽比【2 4 】，摄像机坐标系与屏幕坐标系见公式2 2 。 x c 圪 z c 1 = 瞄 刚编x c 由公式2 1 和公式2 - 2 得： = = s 互 如 疋8 五8z 肘 1 0 1 j l = x m z m 1 ( 2 - 1 ) ( 2 - 2 ) 3 3 3 7 ， 如如o k 圪乙。 乙。 广iiiiil 7 i 1 肼圪乙。 广叫iiiii业 0 0 0 西南交通大学硕士研究生学位论文 第12 页 肼 娟 崔 x m z m 1 c 2 3c 2 4i c 3 3c 3 4j x m z 肘 l 2 2 3a r t o o i k i t 跟踪与定位 ( 2 3 ) a r t o o l k i t 是基于单摄像机视觉的【2 5 1 ，由公式2 1 、公式2 2 和公式2 3 可知矩阵s 为摄像机内置参数，该内置参数a r t o o l k i t 已经给定，可通过a r t o o l k i t 提供的摄像 机校正程序进行参数校正。摄像机变换矩阵t c m 是变化的，因此矩阵c 也是变化的。 对于一个跟踪标识物中心点位置并对中心点在现实场景中进行定位的增强现实系统来 说，除了要确定标识物中心点在屏幕坐标系中的坐标外，还须计算出该时刻摄像机变 化矩阵t o m 。 a r t o o l k i t 通过对标识物进行检测，对于与标识物模式文件匹配的矩形区域，计算 出该矩形区域的方向、四条边线的线性方程、四个顶点的二维坐标、中心点坐标和区 域内像素点数目，匹配成功后计算出该矩形区域对应于模式文件的编号( 该情况为多 标记检测，多标记检测时需要对多个标识物模式文件进行编号，便于检测，单标记检 测时不须编号，系统默认该标识物模式文件编号为0 ) 以及与该模式文件的匹配概率值。 a r t o o l k i t 会存储该矩形区域的这些状态信息值。 a r t o o l k i t 通过提取的矩形区域的四个顶点的屏幕坐标初步估算摄像机变换矩阵， 然后通过非线性最小二乘法对摄像机变换矩阵进行迭代求精，从而求出摄像机变换矩 阵【2 6 , 2 7 。非线性最d x - - 乘法迭代求精见公式2 4 。 1 3 e r r 2 = ( ( 矗一) 2 + ( y d y d ) 2 ) m i n ( 2 - 4 ) - r z = 0 公式2 4 中砟。和儿，是根据估算出的初始t c m 和公式2 3 计算出的矩形区域的四个 顶点在理想屏幕坐标系下的坐标，非线性最小二乘法通过求提取的矩形区域的顶点与 公式2 3 计算出的顶点之间的距离平方和的最小值来获得最佳的t c m 。 a r t o o l k i t 通过摄像机变换矩阵和摄像机内置参数矩阵计算出中心点在摄像机坐 标系中的三维坐标值，从而进行定位和虚拟注册( 叠加虚拟物体) 。 k 乙。 丌iiiiiiiii儿 互疋五艮他忍o 2 2 2 凰您风。局彤皿o 广叫iiiii也 0 0 ok 儿，o巩。 畈o o 。，。l l i k 比乙。 i-。l c 西南交通大学硕士研究生学位论文第13 页 2 3a r t o o lkjt 函数流程 a r t o o l k i t 是一组基于c 语言的函数库，在w i n d o w sx p 下其函数流程主要分为二 部分，第一部分：首先检测摄像头设备，初始化摄像头内置参数，导入标识物模式文 件；第二部分：启动摄像头捕获视频，对摄像头捕获的视频进行标识物检测，并计算 摄像机变换矩阵，根据摄像机变换矩阵计算出标识现实世界标识物中心点在摄像机坐 标系下的三维坐标，进行定位，根据计算出的中心点三维坐标进行虚拟叠加。下面以 单标记检测为例具体分析a r t o o l k i t 函数流程。 1 函数流程全局变量说明如图2 - 9 所示。 图2 9a r t o o l k i t 函数流程图全局变量 2 第一部分：检测摄像头设备，初始化摄像头内置参数，导入标识物模式文件，函 数流程图如图2 1 0 所示。其中局部变量：a r p a r a m * p a r a m ，表示指向a r t o o o l k i t 摄像 头内置参数数据格式的指针。 图2 1 0 中函数参数和返回值说明：函数i n ta r v i d e o o p e n ( c h a r * n v c o n f ) ，该函数打 开摄像头配置文件，参数表示配置文件路径，如果打开成功则返回0 ，否则返回1 ； 函数i n ta r v i d e o l n q s i z e ( i n t 宰x ，h a t y ) ，该函数设置视频窗口大小，参数x 、y 分别表 示表示视频窗口的横向长度和纵向长度，成功根据配置文件获得x 、y 默认值则返回o 否则返回1 ； 函数i n ta r p a r a m l o a d ( c o n s tc h a r * f i l e n a m e ，i n tn u l l l ，a 良p a i a l i l 木p a r a m ) ，该函数打开摄 像头内置参数文件，并将数据用a r p a r a m 结构体存储，参数f i l e n a m e 表示摄像头内置 参数文件路径，p a r a m 指向a r p a r a m 空间的指针，如果成功找到内置参数文件并且参 数文件结构正确则返回0 ，否则返回1 ； 函数 i m a r p a r a m c h a n g e s i z e ( a r p a r a m宰s o u i c e ，i m x s i z e ，i n t y s i z e ，a r p a i a l l l * n e w p a r a m ) ，该函数改变a r p a l a m 结构体中摄像头内置参数中的视频窗口大小值，并 将新的参数数据存入n e w p a r a m 指向的a r p a r a m 空间，参数s o u i c e 值为p a r a m ，x s i z e 和y s i z e 值由用户输入，表示新的视频窗口大小值，n e w p a r a m 为指针，设置成功返回0 ， 西南交通大学硕士研究生学位论文第14 页 否则返回1 ； 函数i ma r l n i t c p a r a m ( a r p a r a m 幸p a r a m ) ，该函数初始化摄像头内置参数，即将新的 参数写入p a r a m 中，参数p a r a m 值为n e w p a r a m ，返回值为o ； 、心= i = 一肼。 返同io 返回- 1 全局变量c p a r a m - n a m e 引用传递给f i l e n a m e ， n u m - - 般为1 ，将局部变量p 猢引用给脚 i n ta r p a r a m l o a d ( c o n s tc h a r * f i l e n a m e , i n tn u m , _ - - - 巡攀- - + 旦兰婴l 返同7 - o - - 返回- 1 全局变量印a r 锄引用给n e w p 跏 i n ta r p a r a m c h a n g e s i z e ( a r p a r a m s o u r c e ，i n t x s i z e ，h a ty s i z e ，a r p s i s i i i + n e w p a r a m ) 全局变量c p a r a ml 用给p a r a m ， i n ta r l n i t c p a r a m ( a r p r r a m + p a r a m ) 全局变量c p a r 锄引用给p a r a m i n ta r p a m m d i s p ( a r p a r a r f l p a r a m ) 适一勰， v o i da r g i n i t ( a r p a r a m * c p a r a m ，d o u b l ez o o m ，i n t 篓 f u l l f l a g ，i n tx w i n ，i n tw i n ，i n th m d f l a g ) 图2 - 1 0a r t o o l k i t 初始化 函数i n ta r p a r a m d i s p ( a r p a r a m 枣p a r a m ) ，该函数显示摄像头内置参数数据，参数 p a r a m 表示指向新的参数数据的指针，返回0 ； 西南交通大学硕士研究生学位论文第15 页 函数i n ta r l o a d p a t t ( c o n s tc h a r * f i l e n a m e ) ，该