（信号与信息处理专业论文）增强现实环境下基于视觉的高精度目标跟踪技术研究.pdf

l 警 ：、r ! 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：盈丝建 日期：卅矽年月力日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩日或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 盈芷缝导师签名： 哺 日期：。 斫口年月日 _ 吣 摘要 7 i i 1 l ll r l j i i r j t lr l li l i j l l l i j ll ijifri f 佃 y 17 13 4 81 。 摘要 增强现实技术是是- i i 新兴的技术，在医疗、军事、娱乐、教育、制造维修 以及机器人导航等领域中具有广阔的应用前景。增强现实系统的目标是使用计算 机产生的虚拟信息来增强用户对真实世界的视觉感知。跟踪注册技术是增强现实 系统的关键技术，而基于视觉的跟踪注册技术一直是该领域的研究热点。计算机 产生的3 d 模型、2 d 纹理、标签等虚拟信息必须精确地投影到由便携式摄像头捕 获的视频流中。为了达到这个目的，我们必须精确定位当前视频帧对应的摄像机 的姿态，然后确定虚拟物体在真实世界中的位置。目前，比较成熟的视觉跟踪注 册技术是基于标志点的跟踪注册技术，即通过在真实场景中放置人工标志点来达 到跟踪注册的目的。由于这种方法需要事先放置人工标志点，所以限制了其在复 杂环境中的应用。所以开发一套能够适用于复杂环境的增强现实系统成为了当前 的研究热点。 本文研究了国外的研究现状，提出了一种基于图像自然特征的跟踪注册技术， 并实现了一套适用于复杂环境的增强现实系统。本文算法分为两个阶段，离线处 理阶段和在线处理阶段： ( 1 ) 离线处理阶段：对目标场景进行图像采集，得到一系列参考图像。利用 s u r f 算法提取参考图像特征，然后利用特征匹配技术得到图像匹配对，最后利 用光束平差法对目标场景进行三维重建并求取参考图像对应的摄像机参数。 ( 2 ) 在线处理阶段：首先利用s u r f 算法提取当前帧的图像特征，利用提取 的图像特征与参考图像进行匹配，并根据离线阶段构造的场景三维模型得到特征 点2 d 到3 d 的对应关系，最后利用这些对应关系即可求取当前帧的摄像机参数并 确定虚拟物体在真实场景中的位置。 经过以上处理后，就可以实现基于自然特征点的增强现实系统。本文的最后 对该算法进行了仿真，实验证明这种方法可以实现对摄像机的精确稳定跟踪。并 且对视角变化、部分遮挡、模型缺失等具有一定的鲁棒性。 关键字：增强现实，计算机视觉，自然特征，s u r f ，三维重建 一、 心， 丝墨型盟 - _ _ _ _ _ _ _ _ _ 一 a bs t r a c t a u g m e n t e dr e a l i t y ( a r ) i san e wt e c h n o l o g y , w h i c hh a sag o o da p p l i c a t i o n p r o s p e c ti n a r e ao fm e d i c i n e ，m i l i t a r y , e n t e r t a i n m e n t ，e d u c a t i o n ，m a n u f a c t u r i n ga n d m a i n t e n a n c e ，r o b o t i cn a v i g a t i o ne t c a u g m e n t e dr e a l i t y a i m e da te n h a n c i n gt h eu s e r s v i s u a lp e r c e p t i o no ft h ep h y s i c a lw o r l dw i t hc o m p u t e r - g e n e r a t e dv i r t u a li n f o r m a t i o n r e 百s t r a t i o nt e c h n o l o g yh a sa ni m p o r t a n tr o l ei na rs y s t e m s ，a n dr e g i s t r a t i o nb a s e d o n c o m p u t e rv i s i o ni sh o ti n v e s t i g a t e di na r v i r t u a li n f o r m a t i o n ，s u c ha sr e n d e r e d3 d m o d e l s 2 dt e x t u r e sa n dl a b e l s ，m u s ta p p e a rc o r r e c t l yp r o j e c t e d o n t ol i v ev i d e o c a p t u r e db ya m o b i l ec a m e r a t oa c h i e v es u c has y n t h e s i s ，i ti sn e c e s s a r y t or e c o g m z e w h a ti sv i e w e db yt h ec a m e r a , a n dt oa c c u r a t e l yl o c a l i z et h ec a m e r aa n dt h ev i r t u a l o b j e c t si nt h er e a lw o r l d c u r r e n t l y , am a t u r ev i d e or e g i s t r a t i o nt e c h n o l o g yw h i c hi s a c c o m p l i s h e db yp l a c i n ga r t i f i c i a lm a r k e ri nt h es c e n ei sw i d e l yu s e d i na rs y s t e m s b e e a u s eo fr e q u i r i n gp r e - p l a c e da r t i f i c i a lm a r k e r s ，t h i sm e t h o dl i m i t e di t sa p p l i c a t i o n i no u t d o o re n v i r o n m e n t s t h e r e f o r e ，d e v e l o p i n ga na rs y s t e m , w h i c hi s f i tf o r c o m p l e xe n v i r o n m e n t , i se x t e n s i v e l yr e s e a r c h e d i nt h i st h e s i s ，b ya n a l y z i n gt h er e s e a r c ho fa r ，ar e g i s t r a t i o nt e c h n o l o g yw h i c hi s b a s c do nn a t u r a lf e a t u r e so fi m a g ew a sp r o p o s e d ，a n d 龃a rs y s t e mf i tt oc o m p l e x e n v i r o n m e n tw a ss c h e m e do u t t h ea l g o r i t h mo f t h i st h e s i sw a sd i v i d e di n t ot w os t e p s ： ( 1 ) o f f - l i n ep r o c e s s i n g ：f i r s t l y , as e to fr e f e r e n c ei m a g e so fo b j e c t i v es c e n ew a s c a p t u r e db yam o b i l ec a r f l e r a a f t e r w a r d s ，s u r fa l g o r i t h mw a sa p p l i e dt oe x t r a c t t h e i m a g ef e a t u r e sa n dm a t c h e di m a g ep a i r sw e r eo b t a i n e db yu s i n g f e a t u r em a t c h i n g t e c h n o l o g y l a s t l y , 3 ds t r u c t u r em o d e lo fo b j e c t i v es c e n ea n dc a m e r ap a r a m e t e r so f r e f e r e n c ei m a g e sw e r ep r o d u c e db yb u n d l ea d j u s t m e n t ( 2 ) o n - l i n ep r o c e s s i n g ：s u r fa l g o r i t h mw a sf i r s t l ya p p l i e dt o e x t r a c ti m a g e f - e a 船e so fc u r r e n tf r a m e a n dt h e nt h ei m a g ef e a t u r e so fc u r r e n tf r a m e w e r eu s e dt o m a t c hw i t ht h er e f e r e n c ei m a g e s a n da c c o r d i n gt ot h e3 ds t r u c t u r eo fo b j e c t i v es c e n e ， as e to fc o r r e s p o n d e n c e so f2 dt o3 dw a sp r o d u c e d f i n a l l y , t h ec a m e r ap a r a m e t e ro f c i 】仃伽tf la m ew a so b t a i n e db yt h ec o r r e s p o n d e n c e s ，a n dt h ep o s i t i o no fv i r t u a lo b j e c t s w a sd e t e r m i n e de v e n t u a l l y a b s t r a c t a f t e rt h ea b o v es t e p s ，a l la rs y s t e mb a s e do nn a t u r a lf e a t u r e sw a ss c h e m e do u t a tt h ee n do ft h i st h e s i s ，s i m u l a t i o n sw e r ec a r r i e do u to ft h ea l g o r i t h m i ti sp r o v e dt h a t t h i sm e t h o dw h i c hi sr o b u s tt ov i e w p o i n tv a r y i n g ，p a r t l ys h e l t e r i n ga n dm o d e lp a r t l y m i s s i n gc a na c h i e v et h eg o a lo ft r a c k i n gt h ec a m e r aa c c u r a t e l y k e y w o r d s ：a u g m e n t e dr e a l i t y , c o m p u t e rv i s i o n ，n a t u r a l f e a t u r e ，s u r f , 3 d h i 7 目录 目录 第一章绪论1 1 1 课题的目的和意义1 1 2 增强现实简介1 1 2 1 增强现实与虚拟现实1 1 2 2 增强现实的应用2 1 2 3 增强现实技术研究现状5 1 2 3 1 典型的增强现实系统5 1 2 3 2 增强现实系统中的跟踪注册技术6 1 3 本文算法基本框架及主要研究内容8 1 3 1 算法基本框架8 1 3 2 主要研究内容9 1 4 论文结构9 1 5 本章小结1 0 第二章s u r f 特征提取算法及特征匹配技术1 1 2 1s u r f 特征点检测及特征描述符创建1 1 2 1 1 积分图像1 l 2 1 2 基于h e s s i a n 矩阵的特征点检测1 2 2 1 3 特征点描述符18 2 2 特征匹配技术2 0 2 2 1s u r f 特征描述符匹配2 0 2 2 2 几何一致性验证2 3 2 2 2 1 对极几何约束2 3 2 2 2 2 基础矩阵精确计算2 4 2 3 本章小结2 6 目录 第三章目标场景结构三维重建2 8 3 1 摄像机投影模型2 8 3 2 两视图三维重建2 9 3 3 光束平差法3 0 3 3 1 代价函数3 1 3 3 2l e v e n b e r g m a r q u a r d t 算法3 2 3 3 3 增量模型创建3 2 3 4 虚拟物体位置确定3 3 3 5 本章小结3 4 第四章摄像机姿态精确定位3 5 4 1 利用图像特征估计摄像机姿态3 5 4 2 消抖处理3 6 4 3 提高摄像机姿态跟踪速度3 7 4 4 本章小结3 8 第五章增强现实系统实现3 9 5 1 开发环境简介3 9 5 1 1 硬件环境3 9 5 1 2 软件环境3 9 5 1 2 1a r l o o l k i t 4 0 5 1 2 2o p e n s c e n e g r a p h 4 1 5 1 2 3o s g a r t 4 3 5 2 系统框架及流程4 3 5 3 实验结果分析4 4 5 4 本章小结4 8 第六章总结与展望4 9 6 1 本文工作总结。4 9 6 2 研究工作展望4 9 v 目录 致谢5 1 参考文献5 2 攻读硕士学位期间取得的研究成果5 6 v i 图目录 图目录 图1 1m i l g r a m - sr e a l i t y - v i r t u a l i t y 连续集合”2 图1 2 增强现实用于外科手术导引3 图1 3 增强现实在游戏r f l 的应用4 图1 4 增强现实在维修中的应用5 图1 5 典型的a r 系统“5 图1 6 本文算法基本原理图9 图2 1 使用积分图像计算矩形区域的灰度和1 2 图2 2 方形滤波器1 3 图2 3s i f t 和s u r f 算法尺度的变化“1 4 图2 4 两个连续尺度滤波器示意图1 5 图2 - 5 前三个组的滤波器尺寸分布图16 图2 6s u r f 特征点检测流程图一1 6 图2 7 输入图像在各尺度下h e s s i a n 矩阵行列式求取流程1 7 图2 8 特征点检测结果示意图”1 7 图2 9 石和少方向上的哈尔小波1 8 图2 - 1 0 特征点方向估计示意图”1 9 图2 1 1 特征点描述符创建示意图“1 9 图2 1 2s u r f 特征点检测结果( 确定主方向后) 2 0 图2 1 3 图像特征匹配结果示意图”2 2 图2 1 4 两视图对极几何关系2 3 图2 1 5 图像构造的生成树”2 5 图2 1 6 基础矩阵计算及误匹配点剔除流程图2 6 图3 1 摄像机投影模型2 9 图3 2 三角法求解空间三维坐标3 0 v 图目录 3 3 虚拟场景原点y 在真实场景中坐标确定示意图3 4 5 1 增强现实系统软件架构4 0 5 2 a r t o o l k i t 体系结构4 0 5 3a r t o o l k i t 实现的增强现实效果4 1 5 4o s g 体系结构4 2 图5 5 0 s g 简单场景，包含地形、奶牛和卡车的场景4 2 图5 6 增强现实系统框架4 3 图5 。7 增强现实系统实现流程4 4 图5 8 增强现实系统界面，4 5 图5 9 目标场景4 5 图5 1 0 摄像机方向变化时的跟踪注册结果“4 6 图5 1 1 不同尺度下的跟踪注册结果”4 6 图5 一1 2 当目标被遮挡时的跟踪注册结果一：4 7 图5 1 3 模型部分缺失的跟踪注册结果“4 8 v 缩略词表 缩略词表 英文缩写英文全称中文释义 a r a u g m e n t e dr e a l i t y 增强现实 躁 v i r t u a lr e a l i t y虚拟现实 s i f 叮s c a l ei n v a r i a n tf e a t u r et r a n s f o r m尺度不变特征变换 s u r f s p e e du pr o b u s tf e a t u r e s 一种特征提取算法 d o gd i f f e r e n c eo fg a u s s i a n s高斯差分 b b fb e s t b i n f i r s t一种快速搜索算法 r a n s a cr a n d o ms a m p l ec o n s e n s u s随机采样一致性 b ab u n d l ea d j u s t m e n t光速平差法 u l e v e n b e r gm a r g u a r t d t一种求解线性方程组的最小二 乘方法 o s g o p e n s c e n e g r a p h一款开源的三维图形渲染软件 包 s t ls t a n d a r dt e m p l a t el i b r a r y标准模板库 i x 第一章绪论 1 1 课题的目的和意义 第一章绪论 增强现实技术具有广阔的应用前景，国内外对增强现实技术进行了大量的研 究工作。但目前国内对增强现实技术的研究主要集中在室内环境下，并且大多是 利用h i r o k a z uk a t o 博士开发的增强现实开发工具包a r t 0 0 l t 来进行应用层面的 研究。由于a r t o o l k i t 是基于标志点的三维注册方法，使其应用范围受到了限制， 需要事先放置人工的标志物才能完成三维注册。这使得基于a r t o o l k i t 的系统很 难广泛应用在复杂环境下的增强现实领域。基于此，本文开展的研究工作主要围 绕增强现实系统中基于图像自然特征的三维注册方法，并实现增强现实环境下的 高精度目标跟踪注册，使增强现实技术能够被广泛的应用到复杂环境。 1 2 增强现实简介 增强现实( a u g m e n t e dr e a l i t y ) 是由虚拟现实( v i r t u a lr e a l i t y ) 发展而来的。 我们周围的环境给我们提供了大量的信息以至于我们不可能在虚拟环境下创建一 个完全相同的副本，即使创建较单纯的虚拟环境如沉浸式的游戏或者是飞行模拟 都要付出巨大的代价。一个增强现实系统为用户创建一个合成的场景，它是用户 看到的真实场景与计算机生成的虚拟场景的结合，虚拟场景的加入给用户增加了 额外的信息。增强现实系统的最终目标是让用户不能区分真实场景和它的虚拟增 强信息，即用户就像看见一个单一的真实场景。 1 2 1 增强现实与虚拟现实 虚拟现实( t ) 定义【l 】为“计算机生成的可交互的用户沉浸的三维环境 。 这个定义中有三个关键点：首先，虚拟场景是由计算机生成的，这需要具有高性 能图形处理能力的计算机。第二，虚拟世界是可交互的，系统需要对用户实时响 应来进行实时的交互。最后，用户沉浸在虚拟世界中，用户完全沉浸在虚拟世界 中，与现实世界完全隔绝。 通过上面的介绍我们看出增强现实系统和虚拟现实系统的相似性和不同点。 电子科技大学硕士论文 一个明显的不同是两个系统对于沉浸性的要求。虚拟现实努力营造一个完全沉浸 的环境，视觉、听觉和感觉都受系统的控制。相比之下，增强现实系统增强真实 的场景使用户感觉增强的信息就像本来就在场景中一样，虚拟图像与真实场景相 结合得到合成的增强现实场景。 计算机生成的虚拟物体必须精确地定位( 注册) 到真实世界中的空间位置。 定位的误差会导致虚拟物体和真实场景不能正确融合，而且在用户移动的时候保 证定位的精度。沉浸的虚拟现实系统必须保持定位以保证虚拟场景的变化与用户 的感觉相一致。这里的任何误差都会是虚拟系统与用户感觉相矛盾。但是虚拟现 实系统允许用户接受或者调整视觉的刺激而忽略与感觉系统的差异。相比之下， 增强现实系统中的注册误差来自两个视觉刺激，并且这两个视觉刺激试图合成为 一个场景。所以增强现实系统对误差更敏感。 m i l g r a r n 2 】描述了一个分类来识别增强现实与虚拟现实的联系。如图1 1 为 m i l g r a m 定义的r e a l i t y - v i r t u a l i t y 连续集合。 m i x e d 一 二：= ：= ! ：= ：二二 _ - l 卜 r e a l a u g m e n t e d e n v i r o n m e n t r e a l i t y ( a r ) 一一 v i r t u a lv i r t u a l r e a l i t y ( v r ) e n v i r o n m e n t 图1 1m i l g r a m sr e a l i t y - v i r t u a l i t y 连续集合 由图可以看出，真实世界( r e a le n v i r o n m e n t ) 和虚拟环境( v m u a l e n v i r o n m e n t ) 在连续集合的两端，连续集合的中间区域叫做混合现实( m i x e d r e a l i t y ) 。 1 2 2 增强现实的应用 近年来，实时视频图像处理、计算机图形系统以及新的显示技术得到了迅猛 发展。使得增强现实技术在各个领域都得到了广泛的应用，包括从医疗、娱乐到 军事训练等很多领域。 ( 1 ) 医疗。由于成像技术在医疗领域的应用非常普遍，我们不难想象医疗领 域是增强现实应用的重要领域。增强现实在医疗领域主要用于外科手术的导引。 首先通过计算机断层扫描( c t ) 或者核磁共振成像( m r i ) 对患者相应的部分进 2 第一章绪论 行扫描，并得到多个视角的内部解剖结构。利用增强现实技术把c t 或者m r i 扫 描数据准确的定位到患者身上，这样就可以为外科医生进行手术导引。麻省理工 学院( m i t ) 人工智能实验室的计算机视觉课题组在这方面做了大量的工作【3 】， 他们实现的增强现实系统能够将患者患处的内部解剖结构实时的叠加到患者的手 术视频中，为外科医生提供了一个手术的导引。如图1 2 显示了在患者头部投影 的内部解剖结构。 图1 - 2 增强现实用于外科手术导引 ( 2 ) 娱乐。增强现实在很早之前就应用于新闻业务。当你看电视里面播放天 气预报时，天气预报员站在一幅天气一直在变化的地图前面。在工作室里面预报 员实际上是站在一个蓝色或者绿色的屏幕前面，天气变化的地图为计算机生成的 图像并实时的叠加到视频中而产生的。增强现实还应用在体育直播时候插入的3 d 广告。增强现实还应用于游戏领域，如图1 3 为增强现实在游戏中的应用，图中 p d a 后面是一个已经设置好的场景，p d a 里面显示的视频为增强后的视频，可以 看到视频图像中增加了火车在轨道上运行。 3 电子科技大学硕士论文 图1 3 增强现实在游戏中的应用 ( 3 ) 军事训练。在军事上的一个应用是，在飞行员的驾驶舱的挡风玻璃或者 飞行员的头盔上显示信息。当士兵装备了个人头盔面罩显示器时，其他军事单位 的活动可以在显示器上成像。战时，显示的真实的战争场景通过增强现实技术来 增加额外的信息，如敌人隐藏的位置等。 ( 4 ) 工程设计。假设有一组设计师在为客户设计一种复杂设备的模型，设计 师和客户分隔在两地，但是需要对该模型进行联合审查。我们利用增强现实技术 就可以实现上述功能。首先在设计师和客户的会议室把模型进行三维的模拟，客 户可以在会议室里面随意走动并观看模型的任何部分。 ( 5 ) 制造及维修。当维修技术人员接手处理一个新的或者不熟悉的设备时， 我们可以利用增强现实技术而不是翻开厚厚的维修手册来指导维修工作。技术人 员戴上特定的头盔，就可以看到设备周围增加了指导维修的各种信息。如图l _ 4 显示维修人员在对激光打印机进行维修，红色的虚拟图像表示了打印机的纸匣的 位置，维修人员可以轻松的将其取出。 4 第一章绪论 图1 4 增强现实在维修中的应用 ( 6 ) 其他。增强现实技术在市政建设，教育，旅游展览，机器人及远程遥控 等领域都有广泛的应用。 1 - 2 3 增强现实技术研究现状 1 2 3 1 典型的增强现实系统 一个典型的增强现实系统包括四个子系统【4 】：虚实图像显示系统，跟踪注册 系统，虚拟图像生成系统以及虚实图像融合系统( 如图1 5 所示) 。 图1 5 典型的a r 系统 虚实图像显示系统是将虚拟图像与真实场景融合之后的图像呈现给用户，目 前显示系统主要包括基于c c d 摄像原理的视频透射式头盔显示器、基于光学原 5 电子科技大学硕士论文 理的光学透射式头盔显示器，以及基于电脑显示器或者手持设备显示器的显示系 统。 跟踪注册系统主要作用是跟踪用户头部的位置和方向，然后根据这些信息来 确定虚拟物体在真实场景中的位置，这是增强现实系统的重点和难点，也是本文 研究的主要内容。虚拟图像生成系统为a r 系统提供所需要的虚拟世界图形。虚 实融合系统作用是怎样准确的将虚拟图像与真实场景叠加真实场景的正确位置， 这个虚实融合实际上是基于前面跟踪系统提供的结果实现的。 1 2 3 2 增强现实系统中的跟踪注册技术 根据上一节介绍的a r 系统，我们了解到建立一个a r 系统至少需要两个关 键技术一j ： ( 1 ) 显示技术：实现虚拟信息与真实场景融合后的虚实图像显示的技术。 本论文中使用电脑显示器来完成虚实融合后的图像显示。 ( 2 ) 跟踪注册技术：实时检测用户的头部( 摄像机) 的位置和视线方向，并 根据这些信息实时地确定所要添加的虚拟信息在真实场景空间中的映射位置。这 部分内容是增强现实系统的关键问题，也是本文研究的重点。 由于显示技术不是本文的研究重点，所以下面只介绍增强现实系统中的跟踪 注册技术。在目前的增强现实系统中，跟踪技术可以分为基于传感器的a r 跟踪 技术和基于视觉的a r 跟踪技术。 在增强现实系统中，常用的跟踪传感器技术有四大类【4 】：磁场( m a g n e t i c ) 跟 踪技术，声学( a c o u s t i c ) 跟踪技术，光学( o p 廿c ) 跟踪技术和惯性跟踪技术。基 于上述跟踪传感器所构造的跟踪系统的主要目的是记录真实世界里的a r 系统使 用者的方向和位置，以便保持虚拟空间和真实空间的连续性，实现精确配准与虚 实图像的融合。磁场跟踪技术的优点是不受视线和障碍物( 导电或导磁体除外) 限制、传感设备体积小、结构简单( 只需要一个接收器和一个发射器) 、刷新率高 延迟小等；磁场跟踪技术的缺点是容易失真、跟踪范围小；磁场传感器只适合与 室内无金属性的小范围应用，如医学、教育等。声学跟踪技术具有不易失真、价 格低等优点，声学跟踪技术的缺点是声波发射器和接收器不能有障碍物，声波速 度导致数据刷新率低。光学跟踪技术的优点是信号接收速度快，数据刷新率高， 缺点是光学器件建不能有障碍物，跟踪范围固定以及价格昂贵等。惯性跟踪技术 优点是设备轻便，易携带、原理简单数据量小、适合户外跟踪或动态跟踪，缺点 是跟踪精度不高、价格昂贵。 6 第一章绪论 由于计算机视觉技术的发展，使得基于视觉的跟踪技术在a r 应用中得到了 长足的发展。所谓视觉跟踪，就是指对图像序列中的运动目标进行检测、提取、 识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度等，以及运动轨 迹，从而进行进一步的处理与分析，实现对运动目标的行为理解，以完成更高一 级的任务。在增强现实系统中，基于视觉的跟踪是利用视频当前帧的图像特征来 估计当前摄像机的参数的过程。与基于硬件的跟踪方法相比，基于计算机视觉的 跟踪技术设备简单成本低廉。摄像机采集的真实场景的图像包括了很多信息，如 平行线、占优势的平面物体、角点、垂直线和纹理等。利用这些信息除了能够估 计摄像机的姿态外，还可以同时获取摄像机的内部参数、场景结构模型、光照信 息等。在增强现实系统中，基于视觉的跟踪技术分为基于标志点的跟踪技术和无 标识点的跟踪技术。 1 基于标志点的跟踪技术。 基于标志点的增强现实跟踪技术需要事先在工作场景中放置一些标志点，作 为跟踪的基准。通过在视频流中检测标志点的位置来得到摄像机的姿态。由于标 记的识别方法简单成熟，所以基于标志点的跟踪技术在a r 系统中应用较多，如 由h i r o k a z uk a t o 博士开发华盛顿大学h i tl a b 维护的增强现实开发包 a r t o o l k i t 5 1 ，a r t o o l k i t 提供了从标志点生成到识别和完成最终虚拟图像叠加的 整个流程，开发人员可以基于a r t o o l k i t 开发属于自己的增强现实应用系统。另 外由c h r i s t i a nd o p p l e rl a b o r a t o r y 开发的a r 应用软件开发包s t u d i e r s t u b et r a c k e r ， 这个软件包用来检测和估计2 d 标志的姿态，由于软件包的目标是应用于手持设 备，所以该软件包具有高性能、低内存、高度可移植性等特点。 2 无标识点跟踪技术 无标识点跟踪不用在场景中放置人造标志点，而是通过真实场景中的一些自 然特征，如门、窗、图案、建筑物等，从而得到摄像机的位置与方向信息。在带 标志点的跟踪系统中，由于标志点是经过精心设计与布置的，所以很容易被识别， 且准确度相对较高。无标志点跟踪系统中，特征物的识别相对较难，其位置也不 一定恰到好处，从而增加其计算的难度。但无标志点跟踪对于一些不方便布置标 志点，特别是户外的a r 系统却是一种很有发展潜力的跟踪技术。在无人工标志 点的情况下，根据预先获取的先验知识和摄像机捕捉的实时视频，计算当前摄像 机与真实世界坐标系的变换关系，从而得到虚拟物体与真实世界的坐标变换关系， 最终实现将虚拟物体叠加到真实场景中的目标。由于摆脱了标志的束缚，基于无 标识点的视觉跟踪技术，特别是基于目标场景中的自然纹理特征的摄像机姿态估 7 电子科技大学硕士论文 计方法被人们广泛研究【6 , 7 , 8 , 9 】。蚴l ag o r d o n 提出了一种基于自然特征的三维注册 方法【1 0 】：第一步，离线处理，输入目标场景的参考图像，通常为不同视角下的场 景图，利用三维投影重建方法构造场景的三维模型。第二步，在线处理，追踪参 考图像中的特征点在实时图像中对应的位置，利用非线性优化算法估算出摄像机 的精确姿态。 1 3 本文算法基本框架及主要研究内容 本文受到i r y n ag o r d o n 【1 0 】提出的基于自然特征点的三维注册方法的启发，设 计了增强现实系统，并对原算法进行了改进：利用更快、更稳定的s u r f ( s p e e d e d u pr o b u s tf e a n 璐) 特征提取算法【1 1 1 替换了原始的s i f t ( s c a l ei n v a r i a n tf e a t u r e t r a n s f o r m ) 特征提取算澍1 2 】，大大提高了计算速度，很好的实现了基于自然特征 的三维跟踪注册。 1 3 1 算法基本框架 本文研究的基于视觉的目标跟踪注册方法分为两个阶段：离线预处理和在线 实时姿态估计。 离线预处理阶段，采集场景不同视角的多幅图像作为参考图像，利用这些图 像中特征点进行匹配并形成多视图匹配关系，利用多视图匹配关系恢复图像特征 点对应的三维坐标，即场景结构模型的三维重建。以及每一幅参考图像的摄像机 参数。 在线处理阶段，找到当前图像中特征点与参考图像的对应关系，确定当前图 像特征点的对应的三维空间点坐标，根据非线性优化算法求取摄像机的姿态参数 ( 如图1 - 6 所示) 。 8 第一章绪论 输入图像s u r f 特征 两视图匹配 一厨骂嚏 场景结构模型 i l 匹配验证 0 一i 品寸- j i i 一一篡蓉 圆 摄像机姿态估计 - _ - - 增强后的图像当前帧 图1 6 本文算法基本原理图 1 3 2 主要研究内容 根据图1 - 6 的算法原理，本文的主要工作可以归纳如下： ( 1 ) 实现s u r f 特征提取算法，并根据提取出来的图像特征点完成同一场景 的多幅图像之间的特征点匹配。 ( 2 ) 根据图像匹配结果，重建参考图像中特征点的三维坐标，即场景结构三 维建模。 ( 3 ) 用当前帧特征点与参考图像进行匹配，得到特征点对应的三维坐标，最 后根据这些对应关系估计摄像机的姿态参数并完成三维注册。 ( 4 ) 对本文算法进行仿真，并对仿真结果进行分析。 1 4 论文结构 本文分为六章，内容安排如下： 第一章绪论：介绍论文课题的研究背景及意义，对增强现实进行了简要的介 9 电子科技大学硕士论文 绍，介绍了本文的主要研究内容，并介绍了本文算法的基本框架。 第二章s u r f 特征提取算法及特征匹配技术：首先使用s u r f 特征提取算法 在场景的参考图像中提取图像特征，然后利用特征匹配技术对参考图像进行匹配， 并找到两视图对应关系。这一章内容是本文算法的基础。 第三章目标场景结构三维重建及摄像机参数确定：利用第二章的参考图像匹 配结果，对目标场景进行三维重建，并确定每一幅参考图像对应的摄像机参数。 这一章为第四章在线处理的基础。 第四章摄像机姿态精确定位：在线处理阶段，介绍了确定视频流中每一帧图 像对应的摄像机的姿态的方法，这需要用到第三章的三维重建模型以及参考图像 的摄像机参数作为已知条件。 第五章实验结果分析：对本文提出的方法进行仿真，并对实验结果进行分析。 第六章总结与展望：对本文方法进行总结并对该方法的发展进行展望。 1 5 本章小结 本章为全文的绪论部分，首先介绍了本课题的研究背景及意义，然后对增强 现实的基本概念、应用领域及关键技术进行了介绍，特别的介绍了增强现实系统 中跟踪技术的研究现状，并根据对增强现实系统中跟踪技术的研究现状的分析提 出了本文的算法框架，最后介绍了本文的结构安排。 1 0 第二章s u r f 特征提取算法及特征匹配技术 第二章s u r f 特征提取算法及特征匹配技术 为了实现复杂环境的a r 系统，我们必须选取适合于复杂环境的图像特征作 为我们的跟踪对象。由于复杂环境下a r 系统的灵活性、复杂性，我们选择的图 像特征必须具有如下特性：高度独特性、尺度不变性、旋转不变性等。满足这些 特性的图像特征有d a v i dg l o w e 于2 0 0 4 年总结得出的图像特征s i f t ( s c a l e i n v a r i a n tf e a t u r et r a n s f o r m ) 1 2 】，这种特征不仅满足上面的特性而且还具有光照不 变性，仿射不变性等特点。但这种特征提取算法的计算量非常大，不能满足实时 性的要求。s u r f ( s p e e d u pr o b u s tf e a t u r e s ) 特征提取算法由h e r b e r tb a y 等人于 2 0 0 6 年首次提出【n 】。s u r f 算法的形成受到了s i f t 算法的启发，与s i f t 特征提 取算法相比s u r