（计算机软件与理论专业论文）增强现实中标记设计与识别方法研究.pdf

-r_-1j11j 一 t r a b s t r a c t a u g m e n t e dr e a l i t y ( a u g m e n t e dr e a l i t y , c a l l e da r ) i sa ni m p o r t a n tb r a n c ho f v i r t u a lr e a l i t yt e c h n o l o g y i t st h et e c h n o l o g yw h i c hs u p e r i m p o s e sv i r t u a lm o d e ls u c h a sc o m p u t e r - g e n e r a t e dg r a p h i c sa n di m a g e so nt h er e a ls c e n ei no r d e rt oa c h i e v et h e c o m b i n a t i o no ft h er e a ls c e n ea n dt h ev i r t u a lm o d e l t h ea r s y s t e m sb a s e do nm a r k e r a r et h em o s tp o p u l a ra r s y s t e m sa n da r ew i d e l ya p p l i e di ne d u c a t i o n ，e n t e r t a i n m e n t ， b u s i n e s sa n do t h e rf i e l d s t h ea rs y s t e m sb a s e do nm a r k e rn e e dt ot r a c kt h em a r k e ri no r d e rt or e a l i z et h e c o m b i n a t i o no ft h er e a ls c e n e sa n dt h ev i r t u a lm o d e l s w h e nt h ea rm a r k e ra n dt h e c a m e r am o v e r e l a t i v e l yq u i c k l ya n d a c h i e v et h e s p e e dt h r e s h o l d ，t h e “d r i f t p h e n o m e n o n ( i nt h ev i d e of l a m e ，t h et r a c k i n go fm a r k e ri sla t e rt h a nt h em o v i n go f m a r k e r ) w o u l dh a p p e n ，w h i c hm a k e st h ev i r t u a lm o d e lc o u l d n tb es u p e r i m p o s e do n t h er e a ls c e n e si nt i m ea n dd e s t r o i e st h ec o m b i n a t i o no ft h er e a ls c e n e sa n dt h ev i r t u a l m o d e l s i fan e wk i n do f m a r k e rw h i c hc o u l db er e c o g n i z e dm u c hm o r er a p i d l yc a nb e d e s i g n e d ，t h ed e l a yt i m eo ft h et r a c k i n go fm a r k e rc a nb es h o r t e n e da n dt h es p e e d t h r e s h o l do f “d r i f t ”p h e n o m e n o nc a nb er a i s e d t h e r e f o r e an e wm a r k e rw h i c hi s c a l l e d “d i a g o n a lc o n n e c t e dc o m p o n e n t sm a r k e r ”i sd e s i g n e da n di m p l e m e n t e di nt h i s p a p e r t h i sm a r k e rd o e s n tn e e dt ob eu n w r a p p e da n di tc a nb ei d e n t i f i e da c c o r d i n gt o t h en u m b e ro fw h i t ec o m p o n e n t si nt h et w od i a g o n a l so ft h en e wm a r k e r t h ed i a g o n a l c o n n e c t e dc o m p o n e n t sm a r k e rg r e a t l yi m p r o v e dt h es p e e do fi d e n t i f y i n gm a r k e ri n a u g m e n t e dr e a l i t y a n dt h es p e e dt h r e s h o l d o f d r i f t ”p h e n o m e n o nw a sr a i s e d e f f e c t i v e l y t h em a i nw o r ki nt h i sp a p e ri sa sf o l l o w e d ： 1 r e s e a r c h i n gt h ed e s i g na n di d e n t i f i c a t i o no fp o p u l a ra r m a r k e r s ：c u r r e n t l y , t h e p o p u l a rm a r k e r so f a ra r em o s t l yp l a n a ra n dh a v et h ef o l l o w i n gc h a r a c t e r i s t i c s ：t h e s h a p e so fm a r k e r sa r em o s t l ys q u a r e t h em a r k e r sa r em o s t l yw h i t ea n db l a c k ，a n d f e wc o l o r i z e d t h ei d e n t i f i c a t i o n so fm a r k e r sn e e dt h ep r o c e s so f u n w r a p p i n g 2 t h ed i a g o n a lc o n n e c t e dc o m p o n e n t sm a r k e ra n di t sr e c o g n i t i o na l g o r i t h ma r e d e s i g n e da n di m p l e m e n t e d ：t h ed i a g o n a lc o n n e c t e dc o m p o n e n t sm a r k e rc a nb e r e c o g n i z e dw i t h o u tu n w r a p p i n ga n dt h ei do ft h em a r k e rc a nb eg o ti m m e d i a t e l y m e a n w h i l e ，t h ei do ft h ed i a g o n a lc o n n e c t e dc o m p o n e n t sm a r k e rc a nb eg o tw i t h o u t m a t c h i n gm a n yt i m e sw i t ht h es t a n d a r dt e m p l a t ea n dw i t h o u td e c o d em a t c h i n gm a n y t i m e s s ot h ei d e n t i f y i n gs p e e do ft h ed i a g o n a lc o n n e c t e dc o m p o n e n t sm a r k e ri sm u c h h i g h e rt h a nc u r r e n ta rm a r k e r s 3 e x p e r i m e n t ：d e s i g ns e v e r a le x p e r i m e n t st ov e r i f yt h ev a l i d i t yo ft h ed i a g o n a l c o n n e c t e dc o m p o n e n t sm a r k e ri na p p l i c a t i o n ；d e s i g nt h ee x p e r i m e n tt ov e r i f yt h es p e e d o fi d e n t i f y i n gt h em a r k e r ；d e s i g nt h ee x p e r i m e n tt ov e r i f yt h er a i s i n go ft h e “d r i f t p h e n o m e n o n ss p e e dt h r e s h o l d k e y w o r d s ：a u g m e n t e dr e a l i t y ； m a r k r e c o g n i t i o n ；d i a g o n a lc o n n e c t e d c o m p o n e n t sm a r k e r ；m a r k e ru n w r a p p i n g ；d r i f t i - 一 目录 第一章绪论1 1 1 选题的背景与研究意义1 1 1 1 增强现实技术概述1 1 1 2 基于视觉标记的增强现实技术2 1 2 增强现实技术研究动态分析3 1 2 1 国外研究动态3 1 2 2 国内研究动态7 1 3 研究内容7 1 4 论文结构8 第二章增强现实关键技术概述9 2 1 显示技术一9 2 1 1 头盔显示器显示9 2 1 2 手持设备显示9 2 1 3 虚拟视网膜显示技术1 0 2 1 4 平面显示设备显示1 0 2 1 5 投影设备显示1 1 2 2 跟踪注册技术1 l 2 2 1 基于视觉标记的跟踪注册技术1 2 2 2 1 1 摄像机与真实场景坐标系之间的转换1 3 2 2 1 2 摄像机与2 d 成像平面之间的转换1 3 2 2 1 3 虚拟模型坐标系与真实场景坐标空间的转换1 6 2 2 2 基于自然特征的视频检测技术1 6 2 3 光照一致性技术18 第三章增强现实中的标记设计与识别技术1 9 3 1 增强现实中常用标记综述1 9 3 1 1a 盯o o l k i t 标记1 9 3 1 2a r t a g 标记2 0 3 1 3a r t o o k i t p l u s 标记2 0 3 1 4a r s t u d i o 的标记2 1 3 1 5v i s u a lc o d e 标记21 3 1 6 其他几种增强现实标记2 2 3 2 标记检测技术2 3 3 2 1a r t o o l k i t 的标记检测2 3 3 2 1 1 图像分割2 4 3 2 1 2 标记角点提取2 4 3 2 2a r t a g 的标记检测2 5 3 3 标记识别技术2 5 3 。3 1 标记校正2 6 3 3 1 1 计算单应性矩阵h 2 6 3 3 1 2 根据单映性矩阵进行校正2 7 3 3 2 标记i d 的匹配2 7 3 3 2 1 基于图像模板匹配的方法2 7 3 3 2 2 基于解码匹配的方法2 7 3 4 小结2 8 第四章可快速识别标记的设计与实现2 9 4 1 标记的设计思想2 9 4 2 标记的设计规则3 0 4 3 标记识别算法3l 4 3 1 标记识别算法1 3 1 4 3 2 标记识别算法2 3 3 4 4 实验验证标记使用的有效性3 5 4 4 1 验证对角线连通域标记在不同光照条件下的有效性3 5 4 4 2 验证对角线连通域标记在不同倾角下的标记识别的有效性3 6 4 4 2 1 验证摄像机距离对标记识别的影响3 6 4 4 2 2 验证摄像机偏离标记中心法向量对标记识别的影响3 7 4 4 3 对角线连通域标记加载三维虚拟模型的有效性3 8 4 5 验证对角线连通域标记的识别速度4 0 4 6 针对漂移问题的验证实验4 0 4 7 j 、结4 2 ， 第五章结论4 3 5 1 全文工作总结4 3 5 2 存在的问题及展望4 3 参考文献4 4 攻读学位期间的研究成果_ ：j ：4 7 致谢4 8 学位论文独创性声明4 9 学位论文知识产权权属声明4 9 第一章绪论 第一章绪论 1 1 选题的背景与研究意义 1 1 1 增强现实技术概述 虚拟现实( v i r t u a lr e a l i t y ，简称v r ) 技术是由计算机虚拟出一个三维世界， 这个三维世界能够满足使用者的视觉、听觉、触觉甚至嗅觉、味觉等一切感官需 要，令使用者产生置身于另一个现实世界中的感觉。但是受到技术条件的限制， 真币的虚拟现实技术目前并不能够达到，一个完整的由计算机虚拟的现实世界是 目前无法实现的。于是借助于现实空间，再加上部分的计算机的虚拟，就产生了 增强现实技术。增强现实技术是虚拟现实技术的重要分支。 增强现实( a u g m e n t e dr e a l i t y ，简称a r ) ，也被人称作混合现实，其研究目 的为了方便人们对现实世界的认知，降低人们对客观世界认知的成本和难度，大 大提高了现实世界的信息量。可以说增强现实是现实世界的一种延伸，增强现实 是建立在现实世界基础上并且和现实世界紧密相关的一个知识和信息的世界。 a r 技术的发展始十2 0 世纪6 0 年代，哈佛大学的i v a ns u t h e r l a n d 教授发明了 光学透明头盔显示器用以显示计算机生成的三维图形，但这时的a r 并不是作为 一门独立科学而被应用。a r 发展成熟，并成为一个独立的研究领域是在2 0 世纪 9 0 年代。对于增强现实，并没有什么官方定义，目前为研究者所接受的定义有两 种。1 9 9 7 年，休斯研究实验室的a z u m a 首先对a r 系统的定义进行了解释。他认 为增强现实是虚拟环境( v i r t u a le n v i r o n m e n t s ，简称v e ) ，或者虚拟现实的一个 变种。v e 技术让使用者完全沉浸在一个人造环境里。由于是完全的沉浸，所以使 用者不能看到周围的真实世界，而增强现实允许使用者看到真实世界。因此，a r 是对现实的补充，而不是替代。理想情况下，a r 呈现给使用者的是虚拟和真实在 相同空间的共存，类似于电影“谁陷害了兔子罗杰 所呈现的效果。a z u m a 进一 步定义a r 具有以下三个特点【l 】： 真实和虚拟的结合； 实时交互； 三维注册； 根据m i l g r a m 提出虚拟闭合集的描述【2 1 ，a r 仅仅是混合现实( m r ) 的一部 分，m r 是将真实和虚拟世界共同呈现在同一个显示设备上。虚拟闭合集中将a r 和a v ( a u g m e n t e dv i r t u a l i t y ) 并列。a r 显示的主体是真实世界，仅有有限的虚 青岛人学硕士学位论文 拟物体混合进来；相反，a v 显示的主体则是虚拟世界，在虚拟的环境中 真实的元素。a r 和a v 之间的区别没有严格的定义。如图1 1 所示。 而r _ a u g l 姗t e d e n v i r o n m e n tr e a ii t y ( ar ) 一 a u g m e n t v u m a l v r t u a i i t y ( a e j w i m n m e n t r e a l n y v i r w a h f r c o m m u u m 图1 1m i li g r a m 关于混合显示闭合集的描述( m il g r a m k i s h i n 0 1 9 9 4 ) 1 1 2 基于视觉标记的增强现实技术 增强现实技术按照跟踪注册方式可以分为基于计算机视觉跟踪注册的增强现 实技术和其它跟踪注册方式的增强现实技术。而基于计算机视觉跟踪注册的增强 现实技术又分为基于视觉标记跟踪注册的增强现实技术和基于自然特征跟踪注册 的增强现实技术。如图1 2 所示。 图1 2 增强现实技术路线分支图 基于视觉标记跟踪注册的增强现实技术可以简称为基于视觉标记增强现实技 术或者基于标记增强现实技术。基于标记增强现实技术对硬件设备要求最低：只 需要一台摄像机或者摄像头就可以对虚拟模型进行定位注册。同时，由于事先在 2 第一章绪论 真实世界中设置了标记，所以基于标庀的a r 系统，通过对标记的跟踪定位，能够 将虚拟模型准确定位到真实世界，并最大限度的实现虚实之间的无缝融合。但当 增强现实系统中的摄像机与标记发生相对运动并且速度较快时，就会产生“漂移” 现象( 视频帧中，标记的跟踪注册迟于标记的运动) ，使得虚拟模型无法及时地叠 加到标记上，从而无法准确实现虚实结合。因此，研究并设计一种识别速度更快 的新标记，就可以通过减少标记跟踪注册的延迟时i 日j ，来提高“漂移 现象出现 的速度阈值界限，有着重要的理沦价值和现实意义。 1 2 增强现实技术研究动态分析 1 2 i 国外研究动态 2 0 世纪6 0 年代，哈佛大学的i v a ns u t h e r l a n d 教授发明了光学透明头盔显示 器( s e e t h r o u g hh e a dm o u n t e dd i s p l a y ) 【3 】，该设备能够将将计算机生成的3 d 图 形实时的叠加到现实世界中。 1 9 8 6 年，f u m e s s 研制的v c a s s 系统采用头盔显示器将射程、射击目标等作 战信息显示在飞行员的视野上，指导飞行员战斗训练i4 1 。同年，美国北卡大学( t m c a tc h a p e lh i l l ) 研制出用于实现生物化学和建筑可视化的s t h m d 系统( 4 1 。 1 9 9 2 年，美国北卡大学( u n ca tc h a p e lh i l l ) 利用病人腹部的超声波检测数 据对病人的腹部进行增强，令外科医生能够直接“看到”病人腹腔中的状况。 1 9 9 3 年，美国哥伦比亚大学的f e i n e r 教授【4 6 】等人设计一个基于知识的a r 系 统( k n o w l e d g e b a s e da u g m e n t e dr e a l i t yf o rm a i n t e n a n c ea s s i s t a n c e ，k a e m a ) ，该 系统用于指导对机械的维修，通过将有关维修指导虚拟叠加在激光打印机上，帮 助技术人员完成对打印机维修工作。 2 0 世纪9 0 年代初，美国波音公司的t o mc a u d e l l 和他的同事为了方便工程师 检修飞机的线路设计了一个辅助布线系统。使用者佩戴s - h m d ，可以在l l i i f 看到 由线条组成的线路路径和相应的提示信息【4 1 。 1 9 9 8 年，华盛顿大学的m a r kb i l l i n g h u r s t 等人提出了一种可穿戴式的交流会 议系统。人们通过穿戴头盔显示器，可以进行远程的会话、视频，实现面对面的 远程交流p j 。 2 0 0 2 年，新加坡国立大学、新加坡城市大学和华盛顿大学的a d r i a nd a v i d c h e o k 等人提出来嵌入增强现实技术的交互式剧院体验系统，这种系统因为能够 提供使用者和表演者间的交互，让人有一种身临其境的视昕体验。由于这套系统 青岛人学硕十学位论文 集成了可穿戴计算机统，配备了g p s 定位器、惯性传感器和数字压力系统，可以 让人与物理世界有一定的交互，因而真实感更强 6 】。 2 0 0 2 年，w a n g e r 将a r t o o l k i t 软件包移植到p d a 上，实现了第一个由p d a 独立完成所有a r 处理任务的系统【7 】。w a n g e r 所在的奥地利v i e n n au n i v e r s i t y 和 g r a zu n i v e r s i t yo ft e c h n o l o g y 一直致力于研究手持式a r ，其开发研制的 s t u d i e r s t u b ee s 8 】软件框架是专门针对在各种通用手持设备上进行a r 系统开发的 软件。s t u d i e r s t u b ee s 包括：适用于智能手机和p d a 的基于标记的跟踪库、三维 图形渲染引擎和以分布式a r 为目的的通信框架。 2 0 0 3 年，e r i c 、o d s 【9 】等人设计了一种基于增强现实技术的六自由度鼠标。 使用者可以在二维或者三维的环境下简单移动、旋转拳头即可对鼠标进行操作。 移动和旋转操作可以被摄像头跟踪，并被计算机上的a r t o o l k i t 软件所处理。拳 头上需要戴一个连接着a r t o o l k i t 标记的手套，如图1 3 ( a ) 所示。同年，m o z z i e s g a m ef m o s q u i t oh u n t ) 1 0 】游戏获得当年度最佳游戏奖，通过移动手机来瞄准射击 蚊子。手机内置摄像头捕获现实世界视频流作为游戏背景，生成的虚拟蚊子注册 叠加于背景之上。该游戏只测定旋转的角度，与位置远近无关。如图1 3 ( b ) 所 示。 2 0 0 4 年，a d r i a nc l a r k 2 】设计了一个基于增强现实的军事合作游戏。游戏者们 可以分为两个或者多个竞争阵营。每个阵营都控制着自己的坦克去俘虏敌军或者 攻击敌对阵营的坦克。如图1 3 ( c ) 所示。同年，m b h r i n g 等人研制开发了第一 个由智能手机完成所有a r 任务的应用】。m 6 h r i n g 采用立体彩色标记进行跟踪 注册，显示增强视频流的帧率是可接受的。h e n r y s s o n u 2 1 将a r t o o l k i t 工具包移植 到s y m b i a n 手机上，第一次在s y m b i a no s 的基础上实现了增强现实系统，而且 最初的移植是将a r t o o l k i t 作为一个类添加到s y m b i a n 中【l ”。为了获得实时的显 示帧率，h e n r y s s o n 对a r t o o l k i t 中时间复杂度最高的代码重新进行了编写，使用 定点运算代替浮点遇上你算，大大提高了运算速度，从而能够获得较为较高的帧 率，画面更为流畅【1 2 】。 2 0 0 5 年，s y m b a l l 1 4 】游戏被开发出来。这款游戏是基于s y m b i a n 操作系统的， 是一个多用户的乒乓球游戏。该游戏通过检测视频中特定物体颜色从而计算出手 机的移动方向，手机代表球拍进行移动，多个用户可以通过蓝牙进行交互。 2 0 0 5 年，h i tl a bn z 研制开发出a rt e n n i s 1 2 】游戏，使用者使用标记共享一 块虚拟的网球场地。手机代表球拍，每部手机背后可以贴一张标记，使得对方手 机可以检测到球拍的运动。如图1 3 ( d ) 所示。 4 第一章绪论 2 0 0 6 年世界杯期间，西门子推出的一款a rs o c c e r 1 5 1 罚球游戏，手机屏幕的 上半部分显示的是虚拟的球门和守门员，下半部分则是叠加虚拟足球后的实时捕 获的视频图像。该游戏允许使用者用自己的脚来踢虚拟的足球，将虚拟的球射入 球门，通过跟踪脚的位置确定足球运动的方向。该游戏也使用像素流检测算法， 可以准确地检测到移动的脚的边缘。如图1 3 ( f ) 所示。 2 0 0 7 年，s e i c h t e r h 【l6 】设计，执行和分析了一个运用a r 进行城市设计的实 验。建筑设计活动，在很大程度上，是各方共同努力的结果。建筑设计的支持技 术一直是研究中的热点课题，涉及远程协同工作。例如，在早期设计阶段的合作 中需要集思广益，这意味着，有关各方( 如设计师，客户和顾问) 需要聚集在一 个地方讨论，使他们能够分享信息。而a r 技术可以提供这样一个平台，使得建 筑设计3 d 信息可以有效的被相距遥远的各方所获知。分享信息的各方还可以通 过对这些建筑3 d 图像信息的进行实时地修改，实现实时的交互。 2 0 0 8 年，j t a l b o t 1 。7 j 等人对增强现实在放射性治疗中的应用进行了研究，开 发了一种能帮助定位接受放疗患者病患部位的a r 系统。由于可调强度放射性疗 法( i n t e n s i t y - m o d u l a t e dr a d i a t i o nt h e r a p y ，i m r t ) 的应用，放射治疗中放射剂量的 使用越来越精越精确，这就要求对放射治疗病患部位的定位也要越来越精确。这 种增强现实系统能直接获取c t 检查的三维数据并借助传统的摄像头将三维图像 实时的叠加到患者身上，从而直观的告诉放射治疗师，病人需要接受治疗的部位。 这对放射治疗有着重要的意义。 2 0 1 0 年林肯大学，h i tl a bn z 和坎特伯雷大学【1 8 l 联合将a r 应用于化学处 理厂导航系统。当前的高等教育鼓励学生在实践中发现自己的问题，例如，学化 工专业的学生可以到化工处理厂去实地参观考察。但是在化工厂的某些地方因为 安全问题，是禁止没有实际经验的学生参观的。因此，开发了一个非沉浸的a r 环境，帮助学生们来了解无法参观的危险设施，如图l - 3 ( e ) 所示。中国2 0 1 0 年 上海世界博览会( w o r l de x h i b i t i o no re x p o s i t i o n ，简称w o r l de x p o ) 上，国 家电网上海世博会企业馆主题网站也使用了增强现实技术。用户可以在网站上下 载国家电网馆图像，打印后折叠变成一个实体“魔盒”。当用户手持实体“魔 盒”，将上面的国家电网标志对准摄像头，通过软件识别解码后，就能在电脑屏 幕上看到栩栩如生的3 d 立体隐藏视频。当用户转动或移动实体“魔盒”时，立体 影像将产生相应的实时变化，不同角度展现国家电网馆、中国馆等标志性建筑的 概貌和细节。如图1 3 ( g ) 所示。 5 青岛大学硕士学位论文 ( a ) ( c ) ( b ) ( e ) 图1 3a r 的应用；( a ) a r 六自由度鼠标j a rt e n n i s 游戏；( e ) a r 化工厂导航；( f ) ( d ) ( f )( g ) ( b ) a r 打蚊子游戏；( c ) 。a r 坦克对抗游戏；( d ) a rs o c c e r 游戏( g ) a r 游览虚拟上海世博会 6 第一章绪论 1 。2 2 国内研究动态 增强现实技术的研究与应用在国内起步较晚，主要集中在高等科研院校。当 前中国国内很多的研究机构和组织正致力a r 领域的研究。北京理工大学对基于 光流【1 9 】、投影 2 02 1 1 的跟踪注册技术研究的较深，并且在头盔显示器技术【2 2 】上的研 究具有相当高的水准。北京理工大学研制丌发的基于p d a 的圆明园现场重建项目 是我国第一个基于通用手持设备的a r 系统【2 ”，该系统采用客户端服务器架构， 由远程服务器完成a r 的跟踪注册任务。华中科技大学的在a r 跟踪注册技术上 提出了全局放射变换的方法【2 4 1 ，能够简单而快速的实现注册中的坐标转换。上海 大学与浙江大学合作研究的a r 场景的光源实时检测和真实感绘制框架【2 5 1 。但是 总体来说，国内在a r 领域的研究工作比较片面，还不能形成系统化的整体性研 究。 1 3 研究内容 本文的研究对象是基于视觉标记增强现实系统标记设计和识别技术。目前， 应用最广泛的增强现实系统是基于视觉标记的增强现实系统。因此，研究基于视 觉标记增强现实系统标记设计和识别技术具有广大的前景和深远的应用价值。论 文主要涉及以下几个方面的工作： 1 、研究主流平面增强现实标记的设计和识别：目前主流的增强现实平面标记 都有以下共同的特点：标记形状都是正方形。标记形状都取正方形，是因为标 记在跟踪注册过程中需要计算转换矩阵，而计算转换矩阵就需要标记的四个角点 作为定位条件。当然标记也可以是矩形，但是正方形更符合人的使用习惯；标 记都是黑白色调，很少有彩色的标记。使用黑白标记是因为黑白两种颜色对比最 明显，能突出标记的特征。如果使用彩色标记，能够使得标记包含的信息量更大， 但是当对彩色标记进行图像分割时，容易受到干扰，很可能无法j 下确的提取出标 记的有效信息，造成无法识别标记；标记的识别都需要矫正的过程。由于摄像 机采集场景图像时的视角是随机的，候选标记的外形轮廓发生了一定的变化，比 如，缩放、旋转等，因此需要首先对标记进行校正，之后才能将其与标准标记模 板进行匹配。 2 、设计并实现了对角线连通域标记及其识别算法：对角线连通域标记的识 别可以不经过标记校正而直接得出标记的i d 。同时，对角线连通域标记i d 的得 出是一次完成的，不需要和标准模板进行多次匹配，也不需要进行多次解码匹配。 因而对角线连通域标记的识别速度远高于目前的a r 标记的识别速度。 7 第二章： 一致性技术。 第三章：研究了基于视觉标识增强现实中各种标记的设计和识别，主要对增 强现实中两种主流开发工具a r t o o i k i t 和a r t a g 中标记检测和识别的过程进行了 分析与研究。 第四章：设计了种对角线连通域标记，并提出了相应的识别算法。设计了 三个实验分别验证了标记在多种光照条件下的有效性；摄像机在与标记一定距离 或者与标记中心法向量一定倾角时，标记识别的有效性；标记上叠加三维模型的 有效性。设计实验，检验了标记识别算法的快速性。设计了实验，验证对角线连 通域标记对提高了“漂移 现象出现速度阈值界限的有效性。 结论：对全文进行总结与展望。 第二章增强现实关键技术概述 第二章增强现实关键技术概述 增强现实技术是一门多种技术相交又的技术，它所涉及到的领域非常广泛，包 括计算机图形及图像处理、人机界面、移动计算、分布式计算、计算机通信、信息 获取和处理、信息可视化，以及新型视觉显示和传感器设计等各个领域方面的技术。 增强现实系统的目的是呈现给人们虚拟对现实的增强的情景，这将是一种尽可能无 缝的虚实融合的景象。所以，直接承担虚实融合效果展示的显示技术是增强现实的 关键技术之一。此外，虚拟物体在真实世界中的注册必须是实时的，当摄像机姿态 ( 人的视角) 或者真实场景发生变化时，虚拟模型的姿态也应该发生相应的实时变 化，因此，跟踪注册技术是a r 的关键技术之一。而对于基于视觉标记的增强现实 系统来说，跟踪注册技术的基础是标记系统的检测和识别，所以标记系统的检测和 识别也是增强现实的关键技术。标记系统的检测和识别将放到第三章详细论述。为 了能使虚实融合更加的真实，就要用到光照一致性技术，这也是增强现实的关键技 术。 2 1 显示技术 按照a r 系统中显示输出设备的不同，可以将显示技术分为以下几类： 头盔显示器显示、手持设备显示、普通显示器显示、虚拟视网膜显示、投影式 显示。 2 1 1 头盔显示器显示 因为用于增强显示系统的头盔显示器能够看到周围的真实场景，所以叫做透 视式( s e e 。t h r o u g h ) 头盔显示器。 透视式头盔显示器一般分为视频透视式( v i d e os e e t h r o u g h ) 和光学透视式 ( o p t i c a ls e e t h r o u g h ) 。视频透视式头盔是利用摄像机对真实世界进行同步拍摄， 将同步拍摄到的信号送入虚拟场景工作站，在虚拟场景工作站中将虚拟场景生成器 生成的虚拟物体模型同真实世界中采集的场景信息融合，然后输出到头盔显示器， 令使用者感受到虚实的融合。而光学透视式头盔也配备有摄像头，但是这罩的摄像 头只是用来拍摄真实场景变换从而来确定头盔的位置和方向变化。光学透视式头盔 在使用者眼前设置半透明的光学组合仪器物体直接将虚拟模型同真实世界在人眼 中融合，实现增强【2 6 2 7 2 8 1 。 头盔显示器可以给用户很好的沉浸感，并且可以解放用户的双手，但是其缺点 也是体积比较大、佩戴不方便、长时间佩戴会令人不适。 2 1 2 手持设备显示 手持设备( h a n dh e l dd i s p l a y ) 显示技术使用方便，可以随身携带，随时在各个 9 青岛人学硕士学位论文 地点使用。m a i g i c b o o k 是美国华盛顿大学h i tl a b 研制开发的手持增强现实系统， 用户通过该系统不但可以体验虚实融合的景象，还可以沉浸其中，体验完全虚拟的 场景【2 9 】。 伴随着移动通信技术的快速发展，各种手持设备，如p d a 、智能手机等正在被 迅速的普及应用。这使得手持设备能够成为增强现实系统良好的实现平台而得到广 泛的应用。据美国联邦通信管理委员会r 前公布一项调查结果显示，“增强现实”如 今已成为移动领域最热门的新话题。j u n i p e rr e s e a r c h 最近发表的一篇研究报告预 测，到2 0 1 4 年，移动a r 应用程序的年销售收入将从2 0 0 9 年的不到1 0 0 万美元增 长到7 3 2 亿美元。欧洲的软件开发商s p r xm o b i l e 推出了全球首款手持设备“增强 现实”浏览器l a y a r ，打丌该软件就会自动启动手机摄像头，用户只要将其对准某 个方向，软件就会根据g p s 、电子罗盘的定位、定向信息，给出用户面自 坏境的详 细信息，以及该方向上远处的各种常用功能建筑距离等。用户能够在屏幕上找到哪 些房子j 下在出售，能够找到附近有什么热门的餐厅、酒吧或商店，哪里有诊所或银 行a t m 机，甚至还能够找到哪里有公司招聘，哪里的商品工f 在打折销售等。 目前绝大多数智能手机、p d a 具有内置摄像头和彩色显示屏，符合增强现实系 统的显示要求【3 0 1 。但是由于手持设备的硬件处理能力、电源续航能力等问题，限制 了a r 技术在手持设备上的应用。例如，移动a r 应用程序显示的数据不总是准确 的，因为智能手机中的g p s 传感器不能很好地对准距离使用者所在位置几米远的建 筑物和物体。 2 1 3 虚拟视网膜显示技术 虚拟视网膜显示技术( v i r t u a lr e t i n a ld i s p l a y ，简称v r d ) 3 1 】，是华盛顿大学人 机界面实验室( h i tl a b ) 于1 9 9 1 年提出，并于1 9 9 3 年1 1 月开始开发的虚拟现实技 术。目的是开发出一种技术可以产生全彩色，宽视角，高分辨率，高亮度，低成本 的虚拟显示。通过将已被调节过的低功率的激光束直接照射到人眼视网膜上，使得 使用者观看到虚拟的图像。使用者所感觉到的效果好像是在两英尺远的地方观看1 4 英寸的屏幕。 v r d 的优点是：设备小而轻，可以挂载到眼镜上；可以产生大于1 2 0 。的大视 角；接近于人类视觉的高分辨率；全彩色，比标准显示屏好的彩色分辨率；足以满 足户外使用的高亮度；极低的功耗；真正的可以进行深度调整的立体显示；具有透 视显示模式。 2 1 4 平面显示设备显示 最常用的平面显示设备就是p c 机的桌面显示器，这类设备造价低廉，被广泛 应用到办公室、家庭等各种环境，足以满足普通用户的基本需求。在这种增强现实 1 0 第一：章增强现实关键技术概述 系统中，摄像机获得的真实世界的图像与计算机生成的虚拟三维模型被配准之后在 显示器上输出。 2 1 5 投影设备显示 投影式显示是将虚拟的信息直接投影到要增强的物体上，从而实现虚实融合。 同本c h u o 大学设计出的p a r t n e r 增强现实系统可以用于人员训练，该系统将维 修提示信息直接投射在要进行维护设备的相应位置，则维修人员就可以按照提示信 息对该设备的相应位置进行操作。通过投影信息提示的方式，可以让一个没有受过 专门训练的人员通过系统的提示，成功地拆卸和维护机器设备【2 6 】。 投影设备能将图像投影到大范围的环境中。与h m d ，手持设备等相比，投影 设备体积较大且比较受光照影响很大，适合室内的应用环境。同时，投影设备能够 直接将真实世界的相应位置进行虚拟模型投影，改变真实环境中物体的表面纹理和 真实场景的光照效果【2 62 7 1 。 2 2 跟踪注册技术 a r 系统的目的是要实现虚拟模型和现实场景的融合，需要将虚拟模型与真实 世界在三维空间中进行“配准”，再将“配准 后的合成图像输出，使人们感觉虚 拟物体仿佛是真实存在于真实场景中的。这个“配准”自j 过程常称为注册 ( r e g i s t r a t i o n ) 。要实现虚拟和现实的完美融合，就要求虚拟模型能被精准注册。由 于虚拟模型被注册到的现实场景位置和摄像机的位置是可以相对移动的，所以a r 系统必须实时地检测摄像机的位置和方向，以帮助a r 系统获得摄像机的视角，这 个过程称为跟踪( t r a c k i n g ) 。在a r 系统中，跟踪直接影响到虚拟物体的注册，因 此，跟踪技术是a r 的基本技术。在a r 中经常使用跟踪定位技术可以分为三大类 【2 83 2 】： 1 基于硬件跟踪器的跟踪定位技术：根据信号发射源和感知器获取的数据得到 摄像机相对空间位置和方向。根据信号发射装置不同又可以具体分为以下几种： 1 ) 光学系统：通过使用光学传感器测量各