（模式识别与智能系统专业论文）虚实融合的三维人机交互技术研究.pdf

， 产 一 r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 日期：2 0 l o 年矿月印日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：垒匣哒导师签名：丝砂娶 日期：砂f o 年汐6 月司日 一 一 t 摘要 摘要 虚实融合的三维人机交互技术是随着计算机软硬件的发展而开始拥有应用需 求的一种新型人机交互技术。虚实融合技术能够将计算机生成的虚拟环境融合到 用户周围的真实场景中，从而提供直观和增强的使用体验；而三维人机交互技术 是一种非传统的脱离桌面系统的人机交互技术，用户在三维空间中拥有更高操作 自由度，合适的技术能达到自然的人机交互目的。所以，将虚实融合技术引入到 三维人机交互领域，能够实现直观自然的人机交互，并为人机交互提供了新思路 和新方法。 本文提出了一套三维空间中的一维物体跟踪算法，并对跟踪误差进行了仿真 分析，在实际应用测试中进行了多项改进，在算法上提高了跟踪的稳定性和精确 性，在硬件上增加了与u s b 鼠标按钮事件兼容的触发信号电路，最后完成制作试 验原型交互笔，为三维人机交互系统设计开发出一套基于视觉跟踪的空间指 点式输入设备。 虚实融合技术的一个关键技术是配准技术，而基于视觉的平面跟踪技术被广 泛运用。本文在标识物和无标识物跟踪技术方面都做了大量改进。 标识物跟踪技术方面，本文在研究分析了现有标识物跟踪系统的基础上，设 计开发了一套新的标识物跟踪系统，并实现了多标识物联合跟踪，解决了传统标 识物跟踪系统遮挡失效的问题，并且提高了跟踪精度。 无标识物跟踪技术方面，本文在已有的纹理跟踪算法的基础上引入了分块的 思想，使无标识物跟踪算法可以容忍跟踪平面被部分遮挡的情况并且跟踪精度几 乎不受影响，结合设计于跟踪平面上的虚拟控件，开发出一套基于视觉跟踪的六 自由度输入设备交互板。 本文最终实现的虚实融合的三维人机交互系统将以上的交互笔和交互板结合 起来，同时定义了交互系统底层的基本操作和基本任务、以及三维模型的数据结 构，设计出适合虚实融合的三维人机交互的用户控制和图形反馈，实现了对虚拟 三维模型的建立、选择、平移和旋转，以及对其子层级的编辑，而这些交互操作 都是在虚实融合的三维环境下实现的，能给予用户直观自然的交互体验。 关键词：虚实融合，人机交互，3 d 输入设备，标识物跟踪，无标识物跟踪 ， ， t j 一 ： l i t 、 静 a b s t r a c t ， a bs t r a c t w i t l lt h e d e v e l o p m e n t o f c o m p u t e rs c i e n c e ，3 - d i m e n t i o n a lh u m a n c o m p u t e r i n t e r a c t i v et e c h n o l o g yu s i n gf u s i o nr e a l i t yi s s t a r t i n gb ed e m a n d e di ni n n o v a t e h u m a n c o m p u t e ri n t e r a c t i o n t h ef u s i o nr e a l i t yc o m b i n e sc o m p u t e r - g r a p h i c s 、7 l ，i t h r e a ls c e n et h r o u g hv i d e ot oe n h a n c et h eu s e re x p e r i e n c ed i r e c t l y ；w h i l et h e3 d h u m a n c o m p u t e ri n t e r a c t i o ni sa nu n c o n v e n t i o n a lo f f - d e s ki n t e r a c t i v et e c h n o l o g y , w h e r eu s e r sh a v em o r ed e g r e e so ff r e e d o mi nm a n i p u l a t i o nt oa c h i e v en a t u r a l i n t e r a c t i o n t h e r e f o r e ，i n t r o d u c i n gt h ef u s i o nr e a l i t yi n t o 3 dh u m a n c o m p u t e r i n t e r a c t i v ef i e l dc a l la c h i e v ed 讹c ta n dn a t u r a li n t e r a c t i o na n d p r o v i d en e w c o n c e p t i o n sa n dn e wa p p r o a c h e st oh u m a n c o m p u t e ri n t e r a c t i v et e c h n o l o g y h e r ep r o p o s e da nl i n e a ro b j e c t3 dt r a c k i n ga l g o r i t h m ，t h e ns i m u l a t e da n da n a l y z e d t h et r a c k i n ge r r o r , a n dm a d ei m p r o v e m e n t si ni t sa p p l i c a t i o n ，i n c l u d i n ga l g o r i t h m i c a n dp h y s i c a li n c r e a s i n gt h et r a c k i n gs t a b i l i t ya n da c c u r a c y , a n da d d i n gt r i g g e r st h a t c o m p a t i b l e 、) l ，i 也t h eb u t t o n so fu s bm o u s e ，a n df i n i s h e dap r o t o t y p e ，i n t e r a c t i v ep e n ， w h i c hc a nb eu s e da sa l l3 dp o i n t i n gd e v i c ei n3 di n t e r a c t i o n ac r i t i c a lt e c h n o l o g yi nf u s i o nr e a l i t yi sr e g i s t r a t i o n , a n dv i s i o n - b a s e dp l a n a r t r a c k i n gt e c h n o l o g yi sb e i n gw i d e l ya d o p t e d i nt h ew a yo fm a r k e r - b a s e dt r a c k i n g ， h e r e d e v e l o p e da n di n n o v a t i v em a r k e r - b a s e dt r a c k i n gs y s t e mt h a ts o l v e d t h e t r a d i t i o n a lp r o b l e mb yt r a c k i n gm u l t i p l em a r k s ，a n di n c r e a s e dt h et r a c k i n g p r e c i s i o n o na n o t h e rh a n d ，b a s e do nm a r k e r - l e s st r a c k i n gs y s t e m ，h e r ei n t r o d u c e dab l o c k i n g c o n c e p t i o ni 1 1 t 0t e x t u r em a t c h i n ga l g o r i t h m ，t ot o l e r a t et h ep a r t i a lc o n c e a l m e n to ft h e t a r g e tp l a n ew h i l et r a c k i n g ，a n dc o m b i n e dw i t hv i r t u a lw i d g e t st h a td e s i g n e do nt h e t a r g e tp l a n e ，t h e nf i n a l l yd e v e l o p e da nv i s i o n - b a s e d6 d o f ( d e g r e eo ff r e e d o m ) i n p u t d e v i c e ，i n t e r a c t i v ep a d t h ef i n a l s y s t e mc o m b i n e dt h e i n t e r a c t i v ep e na n di n t e r a c t i v ep a da sj o i n t i n t e r a c t i v ed e v i c e s ，a n dh e r ed e f i n e dt h eb a s i co p e r a t i o n sa n dt a s k s ，t h em o d e ld a t a s t r u c t u r e ，t h e nd e s i g n e du s e r - l e v e lm a n i p u l a t i o n sa n dg r a p h i cf e e d b a c k ，t of u l f i l lt h e o p e r a t i o no fc r e m e ，s e l e c t ，t r a n s l a t ea n dr o t a t e ，a n ds u b l e v e le d i t n ， a b s t r a c t k e y w o r d s ：f u s i o nr e a l i t y , h u m a n - c o m p u t e ri n t e r a c t i o n ，3 di n p u td e v i c e ，m a r k e r t r a c k i n g ，m a r k e r - l e s st r a c k i n g i l l 目录 目录 第一章绪论1 1 1 概述1 1 1 1 虚实融合技术1 1 1 2 三维人机交互技术2 1 2 虚实融合的三维人机交互技术的基本框架和研究现状3 1 2 1 基于视觉的虚实融合的三维人机交互系统框架一3 1 2 2 指点式输入设备及其研究现状4 1 2 3 六自由度输入设备及其研究现状4 1 3 本文的研究目的和内容5 第二章指点式输入设备设计6 2 1 跟踪算法原理6 2 1 1 相关坐标系说明6 2 1 2 共线三点的跟踪算法一7 2 1 3 外参数的解法一8 2 1 4 仿真测试结果以及误差分析1 0 2 2 应用和改进1 4 2 2 1 交互笔的制作1 5 2 2 2 改进的共线四点的算法1 6 2 2 3 后期数据处理1 7 2 2 4 实验效果18 2 3 本章小结1 9 第三章标识物平面跟踪系统设计2 0 3 1 现有标识物系统2 0 3 1 1 标识物系统a r t o o l k i t 。2 0 3 1 2 标识物系统a r s t u d i o 2 1 3 1 3 标识物系统a r t a g 2 1 3 2 标识物的设计。2 1 3 2 1 二维码的设计2 2 3 2 2 二维码的译码方法2 3 3 3 正方形标识物的检测及模板提取2 3 i v 目录 3 3 1 正方形标识物的检测2 4 3 3 2 码区模板的正规化提取2 4 3 4 多标识物系统2 6 3 4 1 改进需求2 7 3 4 2 设计思路2 7 3 4 3 实现方法2 7 3 4 4 实验效果2 9 3 5 本章小结2 9 第四章基于纹理的无标识物平面跟踪3 0 4 1 纹理物体的检测3 0 4 1 1 关键点匹配3 0 4 1 2 位姿估计j 3 1 4 2 纹理物体的跟踪过程3 2 4 2 1 现有跟踪过程3 2 4 2 2 反成分算法介绍及本文的改进3 3 4 3 纹理平面跟踪的交互式应用3 6 4 3 1 视觉虚拟按钮3 6 4 3 2 相对位置姿态的计算3 8 4 3 3 滚球演示3 9 4 4 本章小结4 1 第五章笔板联合的三维交互4 2 5 1 交互界面预览4 2 5 2 联合跟踪定位过程4 3 5 3 三维交互的操作任务4 4 5 3 1 输入信息及其获取4 4 5 3 2 基本操作任务的实现4 5 5 3 - 3 高级操作的实现4 9 5 3 4 操作任务的互锁与使能控制5 1 5 4 虚拟物体的数据结构5 3 5 4 1 系统模型5 4 5 42 导入模型。5 4 5 4 3 层级化5 8 5 5 可视化5 9 5 5 1 虚拟物体的叠加6 0 5 5 2 操作的视觉反馈6 0 5 5 3 物体在不同层级下的外观6 1 v 目录 5 5 4 操作过程中的动画6 2 5 6 本章小结6 3 第六章总结与展望6 4 6 1 总结6 4 6 2 不足与展望6 4 致谢6 6 参考文献6 7 攻硕期间取得的研究成果6 8 v i ， 第一章绪论 1 1 概述 第一章绪论 虚实融合的三维人机交互技术“3 是随着计算机软硬件的发展而开始拥有应用 需求的一种新型人机交互技术。虚实融合技术能够将计算机生成的虚拟环境融合 到用户周围的真实场景中，从而提供直观的使用体验；而三维人机交互技术是一 种非传统的脱离桌面系统的人机交互技术，用户在三维空间中拥有更高操作自由 度，合适的技术能达到自然的人机交互目的。 1 1 1 虚实融合技术 虚实融合技术作为虚拟现实技术的一个重要分支，包括了增强现实，混合现 实，增强虚拟，它们的产生得益于计算机图形学技术的迅速发展和计算机硬件性 能的快速提高。虚实融合技术是国内外众多知名大学和研究机构的一个研究热点。 它将光电显示技术、交互技术、多传感器技术和计算机图形与多媒体技术将计算 机生成的虚拟环境与用户周围的真实场景相融合，使用户从感官效果上确信虚拟 环境是其周围真实场景的组成部分。 由于虚实结合的独特性，虚实融合技术在工业设计、机械制造、建筑、教育、 娱乐、医疗和远程机器人控制等领域具有其显著的优势。 图1 - 1 是一个虚实融合在计算机仿真应用中的例子，用户通过操作交互设备， 间接地控制了虚拟物体的形变，但给人的感官感受是直接与虚拟物体进行交互一 样，从而达到虚实融合的效果。 图1 - 1 虚实融合在计算机仿真中的应用 虚实融合技术的关键子技术是配准技术，就是把虚拟物体准确地叠加到真实 电子科技大学硕士学位论文 场景中，这个现阶段虚实融合技术发展的一个主要挑战，而视觉跟踪技术由于其 高精度，低成本，快速部署和广泛适用性等特点，在虚实融合技术中应用最为广 泛，同时也是本文研究的重点之一。 1 1 2 三维人机交互技术 随着虚拟环境、混合现实、增强现实以及普适计算等“脱离桌面 技术的发 展，三维人机交互技术已经成为重要的研究领域。3 d 交互是指用户直接在三维空 间上下文中执行的人机交互方式。虽然已有的对于2 d 用户界面的有用经验可以为 这种交互方式提供有益的参考，但它是一种全新的交互形式，面临着技术和应用 的挑战。目前的3 d 交互还没有统一的范式或标准，各种交互设备和交互技术以及 它们的组合复杂多样，这一方面使交互技术的设计空间变得更大，另一方面也使 界面设计与特定应用密切相关，没有合适于所有领域的通用设备和技术。另外， 自然、和谐的3 d 交互也是困难的，因为在计算机生成的虚拟仿真世界中，还无法 精确地模拟和再现真实物理世界中的许多规范和约束，因此迫切需要发展新颖的 基于真实交互的3 d 交互技术或其他的交互隐喻。 露盈 b t ；乏；j r ；三；= ：；= ：。芸赢：露叠 陵乏：之黧 眵t ，- j ，_ 。j ，毒 ：；苁：。：、二。o 。7 癌- ：犍 釜二盈 汐1 ：。 ；，m ki 菇 ：m + j 。，- 。、j毪，- ；t 毫 盎琏。；幺盔盏i 0 如；泣。：。：涩 图卜2 任天堂的w i i 的遥控器及其游戏 现在3 d 交互设备还处在探索阶段，还没有一种处于主流地位的3 d 输入设备， 国内的研究也才刚刚起步，相关的科技成果屈指可数。应用于桌面系统的有 l o g i t e c h 公司的m a g e l l a n 三维控制器( 3 dc o n t r o l l e r ) ，既可用做三维控制又可 模拟二维鼠标，可以看成是一种具有模式选择的三维交互设备；日本任天堂公司 的家用游戏主机w ii 的遥控器通过加速度感知和光学定位，可以准确掌握玩家手 持控制器的一举一动从而实现有趣的体感游戏( 图卜2 ) ；国内的永新视博公司正 在研制一种基于图像传感器的脱离桌面的遥控鼠标的技术，以此代替现有的电视 机遥控器。 在对三维交互软件平台设计的研究中，b r o k s h i r ed c o n n e r 等在1 9 9 2 年首 次提出了3 dw i d g e t s 的概念，定义为“一种封装了三维几何形状及行为的实体 。 2 第一章绪论 在此之后，围绕3 dw i d g e t s 展开了一系列的研究，陆续提出了“导轨( t r a c k s ) ， 可用于控制三维物体的形变；“阴影( s h a d o w s ) ，可以清楚地展示三维空间中物体 间的相对位置并可对物体进行直接的定位；后来在w i d g e t s 中增加了时间的维度， 使其可以控制三维物体在空间中的运动。 1 2 虚实融合的三维人机交互技术的基本框架和研究现状 视觉跟踪技术由于其高精度，低成本，快速部署和广泛适用性等特点，在虚 实融合技术中应用最为广泛，本文研究基于视觉跟踪的虚实融合的三维人机交互 技术。 1 2 1 基于视觉的虚实融合的三维人机交互系统框架 基于视觉的虚实融合的三维人机交互系统结构如下图。 视频 图像 与 处理 结果 图卜3 虚实融合的三维人机交互系统框架图 用户在场景中操作实际的特定物体，视频采集与处理模块捕获视频图像并进 行处理，在视频图像中找到感兴趣的特定物体，并根据预先定义好的准则分析真 实物体的特定属性；用户行为分析模块对视频图像的处理结果进行分析、解释用 户动作所表达的交互行为，并传输给三维交互模块；三维交互模块结合用户行为 信息和交互设备上的控制信号，对虚拟信息进行交互处理；最后虚实融合与显示 3 电子科技大学硕士学位论文 模块根据交互结果把虚拟信息叠加到视频帧上，并输出到显示设备，从而用户就 看到虚实融合场景下的交互结果，能持续地进行三维交互。 1 2 2 指点式输入设备及其研究现状 2 d 鼠标和轨迹球是经典的桌面式指点输入设备，而笔记本上的指点杆也是一 种指点设备，它们都是一种手动的持续2 d 定位仪，另外鼠标和轨迹球还具有1 到 3 个按键提供额外的开关信号的输入。这些指点设备结合键盘，被广泛运用于3 d 交互领域，例如，在电脑游戏中实现复杂场景中的漫游功能键盘用于平移， 鼠标用于旋转从而用户可以看到3 d 场景。然而鼠标或轨迹球具有与键盘类似 的问题，即它们并非为3 d 环境而设计，初衷只是在窗口下面定位2 d 位置，同时 鼠标需要放在一个平面比如桌面上来定位，这在3 d 环境下很难使用。 与之前不同，3 d 鼠标最明显的特征是用户在3 d 空间里移动它时可以获取位置 和姿态信息，而不仅仅在一个平面上移动设备。c u b i c 鼠标最初由f r a u n h o f e ri m k 研制，主要用来操作3 d 对象，可以直观地映射到物体坐标，并作为物理代理，该 设备由一个盒子和三根穿过盒子中心且相互正交的小棒、一个内嵌跟踪器和一组 用于输入开关信息的按键组成，不过三个正交的小棒会妨碍用户的手持使用。 1 2 3 六自由度输入设备及其研究现状 专门为3 d 交互开发的输入设备，商业应用领域中的有3 d c o n n e x i o n 公司的 s p a c e b a l l ，s p a c e n a v i g a t o r ，s p a c e e x p l o r e r 等，它们能在x y z 轴上产生平移和 旋转信号即6 个自由度的位姿控制输出量，和一组可供用户自定义键盘宏的按钮。 图1 - 43 d c o n n e x i o n 公司的桌面型6 自由度输入设备 这类设备通常用于桌面3 d 程序来控制虚拟对象( 如图卜4 ) ，其核心技术起源 于机器人和空间探索领域，现在则被3 d 设计者和艺术家们用于三维c a d c a m 和d c c 等软件应用中。这些产品帮助三维软件的用户，在使用鼠标点选菜单命令的同时， 利用另一只手控制三维模型的旋转、放大缩小和平移，并通过产品上的自定义键 4 第一章绪论 盘执行快捷命令。然而在较沉浸式的环境中也很少使用，因为它们也是用于桌面 操作的，另外用户还需经过训练才能熟练使用。 1 3 本文的研究目的和内容 本文的最终目的是探索一种自然和谐的人机交互，而目前的3 d 输入设备在很 大程度上满足不了这种需求，同时先进的设备的成本较高。基于机器视觉的跟踪 配准技术，通过图像处理算法，可达到亚像素精度的定位，且由于设备的低成本、 快速部署和软件系统的可扩展性等特点，研究设计基于视觉的跟踪配准技术的3 d 输入设备及其应用，能够丰富人机交互的输入手段，拓展虚实融合技术的应用领 域，同时提供实现自然和谐人机交互的新思路。 本文在基于视觉的指点式输入设备和六自由度输入设备的跟踪配准算法及其 在虚实融合的三维人机交互的应用上做了大量深入而有效的研究。创新性地提出 一套指点式输入设备的视觉跟踪算法并研制出了相应设备原型，设计出一套标识 物跟踪系统，改进了一套无标识物跟踪系统，并在这些基础上开发出一套虚实融 合的三维人机交互应用程序。对应到各章，具体工作如下： 第二章，提出一套用于指点式输入设备的一维物体在三维空间中的视觉跟踪 配准算法，并对其进行了仿真测试和误差分析，同时设计出相应的设备原型，并 根据实际应用进行了改进，使得该设备可以达到实用的性能，能够真正实现3 d 鼠 标的功能。 第三章，针对已有的标识物系统的鲁棒性较差，模式匹配较复杂的问题，开 发出一套简单实用的标识物系统，结合自定义的一套二维码匹配方案，使得二次 开发者能拥有更大的开发自由度，同时具有更高的运算性能；另外在此基础上， 开发出多标识物跟踪系统，其多标识物联合定标算法很好地解决了单标识物被遮 挡导致跟踪失败的问题。 第四章，改进了已有的基于平面纹理的无标识物跟踪算法，使得当纹理平面 运动模糊或被部分遮挡的情况下，系统仍然具有很高的跟踪精度；并在此基础上 设计了六自由度输入设备的相关应用算法和程序。 第五章，将第二章和第四章中的两种输入设备结合，设计出联合定位算法用 于三维交互；开发出用于展示三维交互的程序，包括定义虚拟物体的基本操作、 定义虚拟物体的数据结构和行为、实现虚拟物体的可视化和与真实场景的融合。 电子科技大学硕士学位论文 第二章指点式输入设备设计 随着非传统计算机技术的发展，在3 d 场景特别是3 d 用户界面里，迫切需要 一种指点式输入设备，就像在2 d 桌面环境下使用的普通鼠标：快捷直观地定位， 但对精确定位要求不是太高。然而现今还没有真正合适或者占主导地位的一种在 三维空间中的指点式输入设备，或者成本昂贵、设备复杂，或者外形不便于手持、 实用性不高。本章提出一套一维物体在三维空间中的跟踪算法，并设计出用于指 点式输入的交互设备，具有成本低廉、设备简单、算法鲁棒、可扩展性好等优点， 最关键的是具有笔形的外观，自然隐喻到真实世界的笔，易于用户操作。 2 1 跟踪算法原理 首先建立空间变换模型，即通过待定的摄象机外部参数，实现空间极坐标系 到摄象机坐标系的变换；然后结合针孔摄象机模型盥1 ，即结合已知的摄象机内部参 数，实现点从三维空间极坐标系到图片坐标系的变换，我们能够通过该变换将空 间中的点与图片上的点对应起来。由于最终所要求的摄像机外部参数，即跟踪线 段在摄像机坐标系下的位姿参数，包括x ，y ，z 轴的相对平移量和两个夹角( 见 图2 - 1 ) 共5 个参数，所以最少要找到3 组对应的点，就能根据以上的变换建立方 程组。因为求解5 个未知数有多于6 个方程，是超定方程组，这里使用奇异值分 解的方法求解方程组，可以得到最优解，从而能够得到摄像机与跟踪线段之间的 外部参数的极坐标表达形式，无须考虑线段绕自身轴的旋转，从而实现5 个自由 度的跟踪。 2 1 1 相关坐标系说明 摄像机坐标系：以摄像机的光心为原点、以摄像机的光轴为z 轴的三维直角 坐标系。 图像坐标系：以捕获的视频图像的左上角为原点、图像水平方向为x 轴、图 像垂直方向为y 轴的二维直角坐标系。 局部坐标系：以交互笔的笔尖为原点，三轴分别与摄像机坐标系的三轴平行 的三维直角坐标系。 6 则点( 妒，0 ，) 到摄像机坐标系的变换为： ( 2 - 3 ) 式的矩阵形式为： x 蝴= l s i n 矽c o s o + 互 】，一= i s i n c s i n o + t y z 潮= t e , o s # + r ： 7 ( 2 - 3 ) 皇至型垫奎堂堡主堂垡鲨窒 y c a m “ i y 蝴l i z 一_ i 7 粥 4 ， ：j 刊酬圜 5 ， s 习= 喜丢辜 著；季 ：| q 一6 ， = 蚝啦 ： = 孙： 其中s 为比例因子，蚝为摄像机的内部参数矩阵，忆为外部参数矩阵，根 一鱼l ，+ c 1 2x = 坚卫 一c 坐3 l l + c c 2 a 2 ： ( 2 7 ) ，一鱼l ，+ c 2 2 i - oo ，1 一砂- ；j c = o ( 2 8 ) c = c 1 。c l ：c 2 。吃巳。c 3 ： r ( 2 9 ) 设线段上的三点极坐标为，对应到图象中的坐标为，则建立如( 2 1 0 ) 式的方 8 9 秒 疵 叩? 卿却 婶婶 1一 双 第二章指点式输入设备设计 程组，其左边的6 x 6 矩阵是不满秩的，所以有非零解。 l o 10 0 一乇j c o 一而 0 0 毛1 一l o y o y o f l 1 0 0 一五 一五 0 0 1 一乃 一m 乞1 0 0 一如j c 2 一屯 0 0 乞1 乞y 2 一y 2 c l i c 1 2 e 2 , c 2 2 巳l c 3 2 =0(2-10) 使用以下解法可以得到优化的解。可以将其化为超定方程组，然后对矩阵使 用奇异值分解，来解该方程组，由于在解方程组的过程中不需要求逆，所以计算 速度很快，可以满足实时性要求。具体如下： 两边同时除以c 3 ：得： 其中 可以化为： 简化表达为 乇1 0 0 一乇而一而 00 l b1 一l o y q y q 1 0 0 - f l 五 一玉 0 0 1 一f l 乃一咒 如1 0 0 - f 2 恐一屯 0 0 1 21 一1 2 y 2 一y 2 毛1 00 1 00 乞1 o0 对以。，进行奇异值分解 则 b y = c 茸c 3 2 00 毛1 0 0 1 00 乞1 以x 5 色。l = 0 6 。l 4 。，= 砜。哌。，嘭， 9 五 y 1 而 y 2 ：0(2-11) ( 2 - 1 2 ) ( 2 - 1 3 ) ( 2 - 1 4 ) ( 2 - 1 5 ) 加址翰坳 电子科技大学硕士学位论文 由m i m 蚝= c 3 。2 得： b 。= 圪。，陈：阮。d 6 。 m 甜= m m t - 1 c 3 。2 ( 2 - 1 6 ) ( 2 - 1 7 ) 8 i s i n n 妒q ，c o s i n s 0 乡重 = m ： 乏i 乏 巳： c218cosq， 5 3 1 ， i弓i = m ：i 包- i c 3 ： ( 2 一) l -z jl ，j 根据三角关系约束得到： 铲 ( 蚓) 2 + ( 睢) 2 + ( m ：) 2 l ，2 于是可以得到： i6 l 。6 l ：i g 。2 。 b 2 l 5 2 2i c 3 2 【6 3 t 1 j ( 2 1 9 ) ( 2 - 2 0 ) 那么由( 2 6 ) 式中的m i i l l m 翻= c 3 。：可得 m 倒= c 3 。2 m ： ( 2 2 1 ) 于是求出( 缈，0 ，瓦，l ，z ) 。 2 1 4 仿真测试结果以及误差分析 在实际情况下会有各种噪声对跟踪结果产生影响，噪声来源：三点的物理误 差，包括空间三点本身不共线、测量不准确；图像采集误差，包括图象中点的定 位算法，c c d 传感器热噪声，镜头的径向畸变，以及运动模糊等等。 这节主要仿真测试该跟踪算法在噪声干扰下的跟踪效果。 2 1 4 1 仿真设计思路 模拟摄像机成像过程，使用已知的变换向量，0 ，l ，乃，正) 将空间共线的3 个 点 l 川i = o ，1 ，2 ；l f = 0 , 7 0 ，1 4 0 投影n - - 维平面得到萨( 工，y ) ii = o ，l ，2 ) ，再通过 该跟踪算法得到在噪声条件下的变换。使用的摄像机内参矩阵为 1 0 0 0 0 3 2 0 m i m21 0 1 0 0 02 4 0( 2 2 2 ) 【_ 0 01 i 】0 第二章指点式输入设备设计 设空间共线的3 个点l ，) 所在直线的参考位置参数为： ( 妒，幺疋，l ，) = ( 6 0 ，3 0 ，0 ，0 ，2 0 0 ) ( 2 2 3 ) 每次只改变参考位置的一个参数，每个参数改变2 0 次，每改变该参数一次就 在将l ，( ) 投影到图象平面得到口哪( ，) ，并将p 哗( ) 加上均值为0 方差为1 的 随机数进行1 0 0 次测试，取这1 0 0 次跟踪误差的绝对值的平均值作为当前参数的 跟踪误差。 2 1 - 4 2 仿真过程 以下坐标图中，横轴单位为毫米，对于长度的纵轴的单位为毫米，对于角度 的纵轴的单位为度。 改变疋，取值为 0 ，8 0 x 跟踪误差 e e y l - - 一0 2 e 邑0 1 昌- - 0 y 5 y 跟踪误差 d 2 0 4 06 08 口 z 跟踪误差 2 0加6 口8 0 1 0 5 0 0 2 0 1 0 伊跟踪误差 2 0加 6 d8 0 目跟踪误差 2 d4 0 6 08 0 图2 - 2 以为变量的误差结果 从上图得出x 坐标的跟踪误差与x 的实际位移量成正相关。 改变乃，取值为( 0 ，6 0 ) 一 电子科技大学硕士学位论文 x 跟踪误差 0 2 0 1 0 0 1 02 0 3 04 05 06 0 5 0 z 跟踪误差 1 02 0 3 04 05 0 6 0 0 0 2 0 1 口 曰跟踪误差 1 02 03 04 0 5 0 印 yp o s i t i o no fo b j e c t ( m m ) 图2 - 3 以乃为变量的误差结果 从上图得出y 坐标的跟踪误差与y 的实际位移量成正相关。 改变t ，取值为( 1 0 0 ，3 0 0 ) 0 2 0 1 0 0 2 0 1 口 x 跟踪误差 5 0 1 5 02 0 02 2 03 0 0 y 跟踪误差 1 5 02 0 02 5 0 3 0 0 z 跟踪误差 1 5 d2 0 02 5 03 0 0 1 0 5 0 0 0 9 跟踪误差 1 5 0 2 0 02 卯如 目跟踪误差 图2 4 以为变量的误差结果 从上图得出与z 轴相关的两个参数的跟踪误差都受影响，z 坐标和p h i 角的跟 1 2 第二章指点式输入设备设计 踪误差与z 的实际位移量都成正相关。 改变9 ，取值为( 0 ，1 8 0 ) 0 2 0 1 0 0 2 0 1 0 5 0 卯1 0 01 5 0 y 跟踪误差 卯1 口d 1 5 0 z 跟踪误差 5 01 d 01 5 0 1 0 5 0 卯1 0 01 5 0 孑跟踪误差 图2 - 5 以缈为变量的误差结果 从上图得出，z 坐标和矽角的跟踪误差受缈角的实际值的影响比较大，特别是 当9 角比较小的时候，z 坐标的跟踪误差相当的大，但随着9 角的增加而显著减小， 而在接近1 8 0 度时又有个小的上扬，说明在9 角取到两个端点时，实际中是3 点所 在直线与摄象机的光轴接近共线时，跟踪不准确。 改变p ，取值为( 0 ，9 0 ) 1 3 电子科技大学硕士学位论文 y 跟踪误差 图2 5 以曰为变量的误差结果 从上图得出各参数的跟踪误差关于秒角的4 5 度对称，在口角在4 5 度之前，z 坐标和矽角的跟踪误差随着p 角的增加而增加，同时秒角本身的跟踪误差减小。 2 1 4 3 仿真结论 在相同的图象误差下，跟踪物体离原点越远，跟踪误差越大，而只考虑单 个坐标轴也具有相同规律。这是因为对于空间到图象平面的映射，相同的图象误 差，对应到空间中，在空间离原点越远，误差将被放大得越厉害。 对于1 个像素范围的图象噪声扰动，在大多数情况下，x ，y ，z 坐标的相对 跟踪误差小于2 ，角的绝对跟踪误差大约在1 度左右，口角的绝对跟踪误差小于 0 5 度。 跟踪的误差主要来源于图象采集的噪声，所以选择好的摄象机，以及制作 良好的3 点共线的一维物体，是提高跟踪精度的方法；同时加入合适的优化算法 也能在一定程度上提高精度。 2 2 应用和改进 完成了一维物体在三维空间中的位姿跟踪，在人机交互方面自然就能将其作 为一种指点式的三维的空间位置信息输入设备，本节介绍其基本外形的设计以及 1 4 第二章指点式输入设备设计 适合于实际应用所进行的改进。 2 2 1 交互笔的制作 下图是设置三点共线等距排列的定位标记点示意图 图2 - 6 定位标记点示意图 标记点设置应满足以下要求： a ) 确保应用过程中摄像机对定位标记点的可见性，即定位标记点在具体应用环境 中尽量不会被遮挡； b ) 定位标记点的间距视具体应用环境而定，需考虑到实际场景中跟踪目标大小与 摄像机的视野。一般目标越大、视野越宽，标记点的间距就越大。通常，对 于手持式笔形物体的跟踪，在距离摄像机约5 0 厘米范围内的定位标志点的间 距，取7 到8 厘米比较合适，从而保证笔的长度不超过1 8 厘米； c ) 标记点能够较容易地从图像中被提取出来，可采用与背景颜色差异较大的l e d 亮点作为标记点，也可采用与背景有较大颜色差异圆形标贴。为方便起见， 标记颜色一般选红、绿、蓝三元色中的一种。 本实例中，将3 个绿色l e d 以7 厘米的距离等间距地安装在一根平直的塑料 棒上。 有了定位功能后，还需要使该交互笔具有指点确认的功能，即需要按键给程 序一些触发信号。这可以通过改装一个普通u s b 鼠标来实现。取其中的u s b 控制 芯片，并提取出其左右键的电路，电路图如图2 - 7 ，将它们安装在笔的适当位置， 如图所示。之前的l e d 也可以用该u s b 接口来供电。 电子科技大学硕士学位论文 右键左键 u s b 接口 图2 - 7u s b 接口的按键电路示意图 2 2 2 改进的共线四点的算法 通过反复试验发现，交互笔的定位精度与两个因素有直接关系： 与其到摄像机的距离密切相关。交互笔离摄像机越近，定位精度越高这 与2 1 4 节的仿真测试结果是相符合的； 与定标标记点的间距有关。在到摄像机距离相同的情况下，定位标记点的间 距越大，定位精度越高。 在实际应用中，交互笔在真实的三维环境下使用，离摄像机的距离有远有近， 当离摄像机较远的时候，定位精度需要较大的定位标记点间距来保证，然而过大 的定位标记点间距，在交互笔离摄像机较近的情况下，定位标记点很可能到摄像 机视野之外，导致跟踪失败。 在实际应用中，这里做如下改进。 硬件上，在原来的交互笔靠近笔头的一端的两个l e d 中间再加一个l e d ，假设 笔的总长度为l ，这样4 个l e d 在笔杆上的排列坐标就为( 0 ，0 2 5 l ，0 5 l ，l ) 。 算法上，思路如下： 标准的坐标关联公式为 i 71o o 一氏一x c - - o ( 2 - 2 4 ) l o oz 1 一t y - y j 当在摄像机中检测到四个点时，用四组点i ( x l y ，z f ) if = o ，1 ，2 ，3 j 建立如下方程组 1 6 第二章指点式输入设备设计 一x 0 。y o x l = 0 ( 2 - 2 5 ) 当在摄像机中检测到三个点时，用三组点妣，y 。，毛) lf = o ，1 ，2 ) 建立方程组 厶1 0 0 一厶而一而 00 t o1 一l o y o y q 1 0 0 一五一五 0 0 1 一乃叫l 乞1 0 0 一乞j c 2 邑 0 0 乞1 一乞款y 2 q 1 c 1 2 c 2 l