（信号与信息处理专业论文）一种笔式三维人机交互系统的研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 人机( 计算机) 交互( h u m a n - c o m p u t e ri n t e r a c t i o n ) 系统包括人、计算 机输入、输出设备及其相应人机界面( h u m a n - c o m p u t e ri n t e r f a c e ) 。随着个人 计算机的普及，人机交互采用更加自然的交流方式，即实现拟人化，这是人 机交互系统的最新发展方向。人的一个手指就能够在三维空间的六个自由度 上运动，但与之对应的输入设备鼠标和键盘，在本质上分别只能采集一 个和二个自由度的信息。显然提高输入设备的自由度是迫切需要的。目前市 场上的各类手写板、游戏操纵杆只是进行了局部的改进，不能实时采集三维 空间的六自由度信息。为此本文针对一种笔式三维人机交互系统进行了研究。 主要的工作有： 第一，分析交互系统所要实现的功能及性能指标，并给出了模型。然后， 建立了一种笔式三维交互设备的概念模型，即笔杆的空间位置姿态通过机械 跟踪转换成六个编码器转角值。给出了根据转角计算笔杆三维坐标的数学模 型，并用c 语言实现算法加以验证。 第二，运用计算机图形学理论，结合o p e n g l 图形库，实现了三维场景 和一只铅笔的几何模型，并且利用纹理映射技术使场景更加丰富。为了增强 虚拟环境的真实感，在场景中加入了光照、阴影以及融合效果。 第三，研究了三维动画生成技术，采用双缓存机制实现动画的显示，从 而达到实时交互的目的。 最后用二自由度机械跟踪器、d s p 数据采集器、蓝牙通信模块、p c 机以 及研制的界面软件，组建了研究试验环境，对所设计的三维人机交互系统进 行了综合性的测试，并进行了改进。最终的结果表明：系统具有良好的实时 性，并且用户界面支持虚拟铅笔在六个自由度方向上的运动。 关键词：人机交互，六自由度，人机界面 西南交通大学硕士研究生学位论文第f i 页 a b s t r a c t h u m a n - c o m p u t e ri n t e r a c t i o n ( h c i ) s y s t e mc o n t e n t st h eh u m a n 、i od e v i c e so f t h ec o m p u t e ra n di t sh u m a n - c o m p u t e ri n t e r f a c e w i t ht h e p o p u l a r i z a t i o no f p e r s o n a lc o m p u t e r s ，h c ia d o p t st h ei n t e r a c t i v ew a yt h a ti sm o r en a t u r a l ，w h i c h m e a n sr e a l i z i n gp e r s o n i f i c a t i o nt h a ti st h en e wo r i e n t a t i o no ft h ed e v e l o p m e n to f t h eh c is y s t e m o n eo f t h ef i n g e rc a l lm o v e si n6d e g r e e so ff r e c d o m ( d o f ) i n3 d s p a c e , b u ti t sc o r r e s p o n d i n gi n p u td e v i c e s m o m e sa n dk e y b o a r d s ，c a ng a t h e rt h e i n f o r m a t i o no fo n l yo n ea n dt w od e 黟e c so ff r e e d o mr e s p e c t i v e l y s oi n c r e a s i n g d 昭脚o ff i - e e d o mo ft h ei n p u td e v i c ei sa r tu r g e n tr e q u i r e m e n t n o w , v a r i o u s w r i t eb o a r d s ，j o ys t i c k sa l ei m p m v e dp a r t i a l l y , w h i c hc a l l tg a t h e rt h ei n f o r m a t i o n o f6 d o fi n3 ds p a c e a st h er e s u l t t h i sp a p e rr e s e a r c h e sa p e n - b a s e d3 d - h c i s y s t e m i tr e s e a r c h e st h ef o l l o w i n gc o n t e n t s ： f i r s t l y , a n a l y z e st h ef u n c t i o n sa n di n d i c e so fp e r f o r m a n c eo f t h es y s t e m ，a n d b u i l d si t sm o d e l t h e n ，t h ep a p e re s t a b l i s h e sac o n c e p tm o d e lo fap e n - b a s e d 3 d h c id e v i c e ，w h i c hc o n v e r t st h ep o s i t i o n a l p o s t u r eo ft h ep e n h o l d e rt ot h e r e v o l v i n g a n g l e s o fs i xe n c o d e r sb yt h em e c h a n i c a lt r a c k e r s h o wt h e m a t h e m a t i c a lm o d e lw h i c hc a l c u l a t e st h e3 dc o o r d i n a t e sa c c o r d i n g 幻v a l u e so f t h ea n g l e sa n dr e a l i z et h ea l g o r i t h mb yc l a n g u a g ef o rv e r i f y i n gt h em o d e l s e c o n d l y , b a s e dt h ec o m p u t e rg r a p h i c sa n do p e n g l , r e a l i z e st h e3 ds c e n ea n d ag e o m e t r i cm o d e lo fap e n c i l m o r e o v e r , m a k et h es c e n em o r ep i c t u r e s q u eb y u s i n gt h em a p p i n gt e x t u r et e c h n o l o g y u s e st h el i g h t i n g ，s h a d o w sa n db l e n de f f e c t t oo n h a u c et h er e a ls e n s e t h i r d l y , r e s e a r c h e st h eg e n e r a t i o no f3 da n i m a t i o na n dd i s p h ya n i m a t i o nb y d o u b l eb u f f e rf o ra c h i e v i n gt h eg o a l ，r e a l t i m ei n t e r a c t i n g a tl a s t , b yb u i l d i n gt h et e s te n v i r o n m e n tw h i c hc o n s i s t so fa2d e g r e 嚣 m e c h a n i c a lt r a c k e r , d s pd e v i c e , b l u e t o o t h ，p ca n dt h ei n t e r f a c es e t h , r a r e , t e s t e s t h e3 d - h c is y s t e ms y n t h e t i c a l l y t h er e s u l ts h o w st h a tt h es y s t e mh a s9 0 0 d r e a l t i m ep e r f o r m a n c ea n dt h eu is u p p o r t st h ep e n c i lt 0m o v ei nt h e6d e g r e e so f f r e e d o m k e y w o r d ：h c l6 d o f , 1 2 1 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 人机交互是研究人、计算机以及它们之间相互影响的技术【l l 。这个问题包 括两个方面；第一，人机交互是一个互动的过程，它包括人向计算机发出执 行命令和计算机向人反馈执行结果。这也就是研究人机交互的两个方向。而 且，在人与计算机之间，可以抽象出一个对话接口的层面，称之为人机界面， 也称为用户界面( u s e ri n t e r f a c e ) 。它是计算机系统的重要组成部分，用户与 计算机通过它进行信息交互。第二，提倡人机界面的人性化设计，满足用户 的需求和期望。在界面的设计中，尽量多使用人们容易理解和记忆的图形( 具 体图形和抽象图形) 与少量文字，以及运用色彩，静止的画面与运动的画面 等，使人在操作计算机和计算机向人显示其工作状态的交互关系中，达到高 效与和谐的可能。 人机交互技术和计算机的硬件、软件密不可分。不仅如此，它还涉及到 了软件工程学、人机工程学、认知心理学、语言学、色彩学等多种学科。当 前互联网、虚拟现实、移动计算等技术飞速发展，对人机交互技术提出了新 的挑战和更高的要求，同时也提供了许多新的机遇。“以人为中心”、自然、 高效将是发展新一代人机交互的主要目标。 1 1 人机交互技术的发展 人机交互技术的发展历史，是从人适应计算机到计算机不断地适应人的发 展史1 2 1 。从时间上来划分，人机交互技术经历了如下几个阶段： ( 1 ) 在计算机出现的早期，科学家们采用手工操作和依赖机器( 二进制机 器代码) 的方法去适应现在看来是十分笨拙的计算机。这个时期，人与计算 机的交互是单向的，需要人去适应机器，这个时期只是人机交互的萌芽阶段。 ( 2 ) 2 0 世纪5 0 年代中期，计算机用户与计算机之间开始借助一种双方都 能理解的语言进行交互式对话。这就是命令语言用户界面。虽然这种界面比 较灵活和高效，但是要求使用者记忆大量的命令语言，容易出错，所以只适 合专业人员使用。命令语言用户界面的主要设备是键盘，单一的敲击输入方 式，很容易使人感到疲劳。 西南交通大学硕士研究生学位论文第2 页 命令语言界面 用 叫 击键卜 白 1单一字符 r 一 二二二爿应用程序i 图1 1 命令语言界面概念模型 ( 3 ) 2 0 世纪7 0 年代，图形用户界面( g r a p h i cu s e ri n t e r f a c e ，简称g u i ) 逐渐成为主流，人机交互技术进入了一个新的阶段。由于g u i 简明易学、减 少了敲击键盘，因而使不懂计算机的普通用户也可以熟练地使用，开拓了用 户人群。当前各类图形用户界面的共同特点是以窗口管理系统为核心，使用 键盘和鼠标器作为输入设备。它的主要缺点是需要占用较多的屏幕空间，并 且难以表达和支持非空间性的抽象信息的交互。虽然鼠标的加入使交互方式 发生了很大变化，但是仍然不能满足人们在三维空问中的操作。 图形用户界面 。 手 击键、指点f 】 忙 眼 夕鲫解 - 窗e l 、图标、l 菜单、文本p 一7 图1 2 图形用户界面概念模型 ( 4 ) 2 0 世纪8 0 年代末，随着多媒体技术的兴起，计算机的输出形式已经 发展成为文本、图形、图像、声音等多种形式的集成。在这个技术背景下， 多媒体人机交互技术孕育而生。多媒体人机交互技术丰富了信息表现形式， 发挥了用户感知信息的效率，但是，它的人机交互形式仍然停留在使用常规 的输入设备( 键盘、鼠标和触摸屏) 。这也成为当今人机交互技术的瓶颈。 ( 5 ) 为了提高人机交互的自然性、高效性，必须打破常规，发展多通道人 机交互技术( m u l t i m o d a li n t e r a c t i o nt e c h n i q u e s ) 。所谓多通道，是指一种使 用多种通道与计算机通信的人机交互方式。通道涵盖了用户表达意图、执行 动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手 动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。 西南交通大学硕士研究生学位论文第3 页 采用这种技术的计算机用户界面称为多通道用户界面，如图1 3 所示。它 的一个主要特点是三维直接操纵，要求输入设备能够在三维空间中运动。这 种方式与人的自然交互方式更为接近。 手 虚拟现实界面 眼 l 与现实世界i 嘴 等 相似的操作f 、 眼 一 _ 虚拟环境 7 7 7 7 手 等 图1 4 虚拟现实界面概念模型 ( 6 ) 在虚拟现实( v h t u a lr e a l i t y ) 等计算机技术的发展推动下，人机交互 技术的研究又将进入新的领域。虚拟现实系统向用户提供临境和多感觉通道 体验，它的三个重要特点，即沉浸性( i m m e r s i o n ) 、交互性( i n t e r a c t i o n ) 、构 想性( i m a g i n a t i o n ) 决定了它与以往人机交互技术的不同特点，反映了人机 关系的演化过程。在传统的人机系统中，人是操作者，机器只是被动的反应； 在多通道的计算机系统中，人是用户，人与计算机之间以一种对话方式工作； 在虚拟现实中，人是主动参与者，复杂系统中可能有许多参与者共同在以计 算机网络系统为基础的虚拟环境中协同工作，采用虚拟现实技术的用户界面 ( 如图1 4 示) 应用十分广泛，几乎可用于支持任何人类活动和任何应用领域。 西南交通大学硕士研究生学位论文第4 页 虚拟现实技术不仅需要交互界面中需要多通道信息的传送，更要让用户 在交互过程中，具有立体沉浸感。那么，三维交互设备在虚拟现实的发展中 便占据着重要的地位。它的发展和进步对后者有着极大的推动作用。近年来， 人们致力于三维人机交互技术的研究，希望其在未来的人机交互中发挥更大 的作用。 1 2 三维人机交互技术及其应用实例 1 2 1 三维人机交互 三维人机交互技术不同于传统的图形交互技术。首先，三维交互技术采 用具有六个自由度( d e g r e e so ff r e e d o m ，简称d o f ) 的输入设备【l 捌。所谓 六自由度，具体是指沿着x ，y ，z 轴平移和围绕x ，y ，z 轴旋转，它是三 维交互技术的基本特点。而现在流行于桌面型图形界面的交互设备，如鼠标、 轨迹球、触摸屏等只有两个自由度( 沿平面x ，y 轴平移) ，使得交互过程 非常不自然。其次，传统的显示设备大都基于平面设计，不能使入产生强烈 的沉浸感。而三维人机交互技术的输出设备能够产生具有立体感的视觉显示、 听觉感受。 目前，三维交互技术还处于探索阶段，三维交互设各也没有一种能像二 维鼠标那样处于主流地位。三维位置跟踪器和传感设备( 传感手套和传感衣 服) 是目前比较流行的三维人机输入设备。跟踪器根据采用的跟踪技术不同， 又可以将其作如下分类： ( 1 ) 机械跟踪器。 机械跟踪器由一个串联或并联的运行机构组成，该运动结构由多个带有 传感器的关节连接在一起的连杆构成。每个连杆的维数是事先知道的，并且 可供储存在计算机中的直接运动学计算机模型使用。这种模型可以根据实时 读取的跟踪器关节传感器的数据，确定机械跟踪器的某个端点相对于其他端 点的位置和方向。通过把一个端点固定在桌子或者地面上，把另一个端点绑 在对象上，计算机就能跟踪到这个对象相对于固定端的三维位置。 机械跟踪器有很多优点。它们简单而且容易使用，在工作范围内，精度 保持相对稳定，基本上取决于关节传感器的分辨率。机械跟踪器最明显的缺 点是工作范围有限。 西南交通大学硕士研究生学位论文第5 页 ( 2 ) 电磁跟踪器 电磁跟踪器是一种非接触式( 即在跟踪的过程中，不妨碍用户的自由运 动) 的位置测量设备，它使用由一个固定发射器产生的电磁场，来确定移动 接收单元的实时位置。发射器由缠绕在一个立方体磁芯上的三个方向相互垂 直的线圈做成的天线组成。这些天线被依次激励，产生三个正交磁场。交流 电磁跟踪器产生的是7 1 4l 娩的交变磁场，直流电磁跟踪器产生的是脉冲 磁场。电磁跟踪器在交互使用上有很大的便利之处，但是容易被磁性物质干 扰，这也是这类跟踪器的最大缺点。 ( 3 ) 超声波跟踪器 超声波跟踪器也是一种非接触式的位置测量设备，使用由固定发射器产 生的超声信号来确定移动接收单元的实时位置。它和电磁跟踪器类似，也是 由发射器、接收器和电子单元三部分组成的，所不同的是它的发射器由三个 超声扬声器组成，安装在一个稳固的三角架上，互相间隔3 0 c m 。类似地，接 收器也是由安装在一个稳固的小三角架上的三个麦克风组成。 ( 4 ) 光学跟踪器 光学跟踪器使用光学感知来确定对象的实时位置和方向，它是一种非接 触式的位置测量设备。光学跟踪器基于三角测量，要求畅通无阻，并且不受 金属物质的干扰。由于光的传播速度远远大于声波的传播速度，因此光学跟 踪器具有较高的更新率和较低的延迟，而且工作范围比较大。 ( 5 ) 惯性跟踪器 惯性跟踪器通过自约束的传感器测量一个对象的方向变化速率。它可以 测量对象平移速度的变化率( 加速度) 。知道了被跟踪对象的方向，减去重力 加速度，就可以计算出世界坐标系中的加速度。被跟踪对象的位置最终可以 通过对时问的二重积分和已知的起始位置( 校准点) 计算得到。惯性跟踪器 具有无源操作的优点，理论上工作范围可以无限大，但是它有一个很明显的 缺点，即快速累积误差( 或偏差) 。 在三维输出方面，主要的设备有：头盔显示器( n 仰) 、三维声音产生 设备、语言合成设备等。 西南交通大学硕士研究生学位论文第6 页 1 2 2 应用实例 虽然三维人机交互现在看来还并不成熟，但是人们一直在努力不懈的研 究，并将其更多的应用到实践中去。 腹腔镜模拟训练系统( l a p a r o s c o p i cs u r g e r yt r a i n i n gs y s t c m ) 是一种用于 外科手术培训的模拟系统，如图1 5 示。它的是由一个具有物理属性( 弹力、 重力、形交等) 的虚拟腹腔环境与一组类似真实手术刀的器械两大部分组成。 这个系统可以为使用者提供一种身桩其境的手术模拟与训练环境来缩短学习 的时间，也可以让有经验的医生预先演练复杂的手术，借以降低手术的失误 率，并能学习新的外科手术技术。 图1 5 腹腔镜模拟训练系统的人机界面 并联机构的六维鼠标是近年来我国在三维人机交互设备研发方面比较突 出的成果。它是一种基于力力矩控制原则的三维输入设备”。这种鼠标操作 简单直观，不易产生疲劳感，操纵被控对象( 三维鼠标指针或3 d 模型等) 的 运动时，只要握住鼠标并向期望运动的方向施加力就可以了。 图1 6 六维鼠标产品 西南交通大学硕士研究生学位论文第7 页 三维人机交互技术的主要目标是“以人为中心”，强调入与计算机之间自 交互。那么，笔和纸就是人最自然的交互方式。随着人机交互技术越来越 人性化、智能化的方向发展，笔式人机交互技术快速发展起来。目前，以 写板为代表的笔式交互设备还是不能摆脱平面运动的方式，虽然采用压力 应技术可以弥补这方面的不足，但还是难于模拟毛笔、排笔的手感。因此， 要一种能够真正跟踪笔在三维空间中具体运动过程的人机交互系统，那么， 维笔式交互系统便成为了人们研究的一个热点。 大不列颠哥伦比亚大学的t i ms a l c u d 锄教授设计的五自由( 5 d o f ) 度触 并联机构，可以进行三个方向的移动和两个方向的转动。虽然不是严格意 上的三维交互设备，但是也能够实现三维空问中的运动。它可以用于工业 图和一些工业控制，也可以模拟笔在三维空间中的自由运动。 图1 75 d o f 触觉并联机构及其人机界面 笔式三维人机交互技术研究比较突出的成果应该是毛笔书法训练器的开 。1 9 9 8 年，日本京都大学的k a z u y u k i h e n m i 和t s u n e o y o s h i k a w a 使用了机 人手臂来进行毛笔训练的虚拟课程【3 6 】。2 0 0 2 年，新加坡国立大学的b u r d e t 用了专业的三维人机交互设备d e r a 触觉交互设备，设计了一种用于毛 书写系统1 3 7 1 ，如图1 8 所示。 图1 8 新加坡国立大学的毛笔书写系统 西南交通大学硕士研究生学位论文第8 页 虽然以上两个系统在人机交互过程中都有不错的效果，但是成本太高， 不适合成为一种大众化的产品。如何研究一种低成本、易操作的三维笔式人 机交互系统，成为人们一个迫切的要求。 1 3 论文研究的意义 三维笔式人机交互系统是一种自然、和谐的交互系统。这是因为，人们 经常采用纸笔的方式记下突发性的事件、想法或进行计划和安排。用纸笔的 方式捕捉和交流信息早已成为一种习惯。三维笔式人机交互系统的设计正是 符合人们几千年来的信息记录和传递的方式。借助计算机对数据高速处理的 优势，能够把用户的书写信息进行分析和对比，然后再返回给用户。 三维笔式人机交互系统不只是用于书写，由于它能够准确收集人手在握 笔时细微的运动信息，比如抖动频率。因此，可以将这些信息作为人体机能 的参数，这对于人体生物学、运动医学( s p o r tm e d i c i n e ) 的研究有很大的帮 助。 目前，市面上的笔式输入设备大都是平面设计，无法获取笔在三维空间 中的所有运动信息。而三维笔式交互系统的研究大多是对其用户界面的设计， 而在交互设备( 主要是指输入设备) 方面的研究不多。国内更是风毛麟角。 在这种背景之下，研究笔式三维人机交互系统显得十分必要。 1 4 论文内容 第一章为绪论，首先阐述了人机交互技术的概念，然后评述了其发展的 几个阶段，并介绍了一些三维交互的实例。最后，论述了课题研究的意义。 第二章是对系统的概念模型作了整体的设计。首先，分析了笔式三维交 互系统的功能及其性能指标，并提出了种笔式三维人机交互设备的概念模 型，它具有六个自由度，并对其运动学过程做了分析。其次，根据需要实现 的系统功能，确定了技术路线。 第三章介绍系统交互界面的开发过程。首先，设计了系统所需要的数据 结构和存储方式，其次，利用o p e n g l 提供的a p i 将三维场景渲染的具有真 实感，增加交互过程中用户的沉浸感。 第四章在一个试验环境中对系统进行评测。该试验环境由二自由度机械 西南交通大学硕士研究生学位论文第9 页 跟踪器、d s p 数据采集器、蓝牙通信模块，p c 机组成。 最后，总结研究工作和全文，并提出系统改进之处。 西南交通大学硕士研究生学位论文第1 0 页 第2 章笔式三维人机交互系统的设计方案 本章首先从概念上设计了一种笔式三维人机交互系统，用于书写信息的 采集和书写训练。然后，给出了一种具有六个自由度的人机交互设备的方案。 最后，确定技术路线，并给出需要解决的关键问题。 2 1 笔式三维交互系统的概念设计 2 1 1 需求与功能 一个交互的计算机系统，要能很好地实现计算机与用户之间的人机交互， 通常必须考虑三个元素：人的因素、交互设备以及实现人机对话的软件( 用 户界面) 。那么，对于论文所要设计的笔式三维人机交互系统，其面向的用户 是进行书写学习的人员。 交互设备要保证用户在进行书写时具有良好的手感，不会有异样的感觉。 那么，它必须具有六个自由度，而且质量要轻，这样才能保证用户持笔时比 较舒适。由于人们一般写字的纸张不是很大，所以设备的工作区间不必太大。 除此之外，低成本也是一个很重要的条件，这样才能扩大用户群体，普及使 用率。 用户界面要具有友好、易用的特点。最好是虚拟现实用户界面，这样， 人在书写或者训练的过程中，就会更自然、更高效。 系统不仅能完成对用户书写过程信息的完整收集，还要能对数据库中已 经存在的书写信息进行复写，实现重现功能。而且，在进行临摹训练时，能 够通过对人手的力感，矫正用户的一些不良习惯，达到指导学习的效果。 2 1 2 输入设备性能参数 交互设备是是人机交互的基础，主要作用是实现人与计算机之间的交互、 把用户命令输入给计算机，同时把模拟过程中的反馈信息提供给用户。它分 西南交通大学硕士研究生学位论文第11 页 为输入和输出两个类。这里着重介绍输入设备的性能参数。 目前，人机交互输入设备有两大类：三维位置跟踪器和传感设备( 传感 手套和传感衣服) ，但是后者延迟大、分辨率低、作用范围小、使用不便。因 此，下面主要讨论三维跟踪器。 三维跟踪器是用于测量三维对象位嚣和方向实时变化的专门硬件设备嗍。 在三维人机交互中，其目的主要是用于收集对象运动时六个自由度方向上的 数据。现在，跟踪技术的种类也很多，包括机械、电磁、超声、光学以及惯 性跟踪技术等等，但是无论采用什么样的技术，都有一些很重要的性能参数。 ( 1 ) 精度。 跟踪器的精度指对象真实的三维位置与跟踪器测量处的三维位置之间的 差值。跟踪器越精确，这个差值就越小，跟踪用户实际动作的效果就越好。 ( 2 ) 抖动。 跟踪器的抖动指当被跟踪对象固定不变时。跟踪器输出结果的变化。抖 动有时也称为传感器噪声，它便跟踪器数据围绕平均值随机变化。应该设法 使跟踪器的抖动尽可能地小，否则它会严重影响图像质量。 ( 3 ) 偏差 跟踪器的偏差指跟踪器随时间推移而累积的误差。正是由于偏差的存在， 随着时间的推移，跟踪器的不精确度越来越大。 ( 4 ) 延迟 延迟是动作与结果之h j 的时间差。对三维跟踪器来说，延迟是对象的位 置方向的变化与跟踪器检测这种变化之间的时间差。一般说来，跟踪器的测 量、通信、绘制和显示周期是不同步的。降低系统延迟的一种有效方法是让 跟踪器和通信的周期与显示周期同步，称为同步锁相( g c a l o c k ) 。它可以降 低系统的延迟，但不能消除。还有一种降低延迟的方法是使用更高更新率( 或 采样率) 的跟踪器。 2 1 ，3 一羊中笔式三维人机交互设备的概念模型 基于上一节的分析比较，结合系统的设计要求，决定采用机械跟踪器作 为系统的人机交互设备。原因有如下两点： 第一，机械跟踪器不像电磁跟踪器，它不受周围环境中的金属物质和磁 场的影响，也不像光学跟踪器，它与被跟踪对象之自j 没有视觉阻挡的问题。 西南交通大学硕士研究生学位论文第12 页 此外，在所有类型的跟踪器中，机械跟踪器的抖动比较小，延迟比较低。 第二，由于本系统设计的是一种笔式三维人机交互机构，那么需要的工 作区间不是很大。因此，机械跟踪器的工作范围小的缺点。对系统的影响很 ，j 、。 根据上述结论，这里提出一种笔式三维人机交互设备的概念模型，它是 一个具有六自由度的并联机械跟踪器。它由1 1 根连杆组成。如图2 1 所示，整 个交互设备大体上分为上下两层机构和一个交互杆( e h q 杆，即笔杆) ，基架 杆a o j 固定在水平桌面上，支撑整个交互设备并且不可旋转。为了方便使用， 还要解决重力作用的问题，使交互杆可以停留在一定范围的任何高度，为此 采用了配重措施，以克服机构重力的大部分影响1 7 j 。 图2 1 三维人机交互设备示意图 以铰节点o 点为原点，建立如图2 1 所表示的直角坐标系。交互设备的上 层机构由六根固定长度的连杆组成，三根连架杆通过平面转动副分别与基架 1， 西南交通大学硕士研究生学位论文第1 3 页 连接于a 点和o 点。连架杆a b ，只能在x o z 平面内绕a 点旋转，相对于x 轴的 转动角度为a o 点距离为a ；连架杆o f 、o g 都只能在x y 平面内绕z 轴转动， 相对于x 轴的转动角度分别为舐口；杆b d 与a b 、f c 、g e 分别用关节铰接， 等效铰节点b 、c 、d 共线。关节f 和g 采用同样的关节，它们都有三个转动自 由度。交互设备的下层机构由四根固定长度的连杆组成，连架杆j k 、j i 的等 效铰接点为j ，且只能过j 点与x o y 平行的平面内转动，并且相对于x 轴的转动 角度分别为6 ，。其中的铰接点b 、c 、d 三点共线，而h 、l 、k 三点共线，e 、 d 、g 也三点共线。 为了能够确立交互杆e h 在空间中的 位姿，必须知道e 点和h 点的空间坐标。 整个机构的五个旋转角度( 舐口、* 6 、e ) ， 可以用编码器进行澳0 量获得。并作为已知 量。为了能够确立交互杆e h 在空间中的位 姿，必须知道e 点和h 点的空阔坐标。通 过上一节对机构的介绍，可以将其分成上 下两层，逐步求出e 点和h 点的空间坐标。 上层机构参数可计算出e 点的空间坐标， 一 再用e 点坐标和下层机构参数计算h 点的 空间坐标【2 6 1 。上层机构的各项参数如图2 2 所示。对它进行分析，建立求解e 点坐标 的方程组。 蹦2 2 上层机构示意图 由于b 、d 、e 三点共线，那么只要知道d 、g 点的坐标就司以获得e 点 坐标。假设d 点的坐标为k ，y 。，z 。) r ，那么我们可以很容易得到g 、b 、f 三 点的坐标： 尼= k ，以，乙) r = ( b c o s p ，b s i n , 8 ( 2 1 ) b = 伉，y b ，2 6 y - = ( a c o s y ，0 ，一a + a s i n y ) 7 ( 2 - 2 ) 耳= b ，以，巧) r = ( b c o s t 2 ，b s i n a ，d y ( 2 3 ) 根据d b 和d g 的长度可得两个相互独立的关于劫、朋、毛的非线性方程； k a c o s y ) 2 + y a 2 + 亿+ 口一a s i n y ) 2 = 0 + ) 2 ( 2 - 4 ) 西南交通大学硕士研究生学位论文第14 页 k - b c o s p y + 幻一6 s i l l ) 2 + 白2 - - - - - c 2 ( 2 5 ) 因为b 、c 、d 三点共线，所以能够通过比例关系得到c 点的坐标： 昂= ( 矗鬲a + 百a h c o s y ，筹毫+ 等铲，一 7 亿6 ， 由连轷c f 的长度。就能够得出和方程( 2 4 ) 、( 2 - 5 ) 线性无关的第三个方 程： 一熹+ 等勘s 口) z + 。( y a a - b s i n v t ) 2 + ( 乃毫+ 等铲 ) 2 ( 2 7 ) 把( 2 - 4 ) ( 2 - 5 ) 和( 2 7 ) 联立成一个关于( 而，朗，乃) 的三元二次方程 组。就可以求出两组d 点坐标。 d ，g 点坐标知道后，便可求得e 点坐标： 乓= ( 而+ 罢向一略l 妇+ 罟饥一l 乃+ 罢也一乙) ) 2 c 2 勘 借助e 点坐标和下层机构参数就可以确定h 点坐标。假设e h 的长度为 e ，h 点坐标为也，m ，z 。) r ，i 点坐标为g ， ，气r ，k 点坐标为k ，儿，& y ，l 点坐标为“，乃，乃) r 。下层机构的参数如图2 3 所示。 图2 3 下层机构示意图 因为o i ，o k 只能在x o y 平动，所以可以直接求出i 点和k 点的空间坐 标，如下： 西南交通大学硕士研究生学位论文第15 页 p l - - ( x , 执。z 苒- - - - ( b c 0 8 6 b s i n 占砖 斥= k ，y k ，z i ) r = ( b c o s 艿，b s i n 8 ，扩 根据e h ，k h 的长度可以得到方程： ( 2 9 ) ( 2 1 0 ) k 一y + 饥一儿r + 包一乙r = 口2 ( 2 一i i ) ( h t ) z + ( y 一几) z + ( 毛一& ) 2 = ( c + ，尸 ( 2 1 2 ) 利用求c 点的方法，我们同样可以根据h 、l 、k 三点共线来求得l 点坐标 兄= 岛( 毛+ 纠，南( 儿十知) 南( 毛+ 纠厂 ( 2 1 3 ) 由u 的长度为c ，可得到第三个方程 ( 而一而) 2 + “一乃r + ( z ，一z ，) 2 - - - - c 2 ( 2 1 4 ) 将l 点坐标带入方程( 3 1 3 ) 并化简得到 ( f - - 。- x k _ c + 。f 而h + 如一半乃) 2 + ( 乙+ 缸一孚刁) 2 书 ( 2 1 5 ) 然后把( 2 i i ) ，( 2 1 2 ) 和( 2 1 5 ) 联立成第二个三元二次方程组。同样也 可证明方程组是有解的。 由于每个方程组都有对应的两组解，所以，我们就要判定哪一组解才符 合人机交互设备的运动特性。以上层机构为例，当眠卢和t 确定后，b 、e 和d 三点也随之确定，三根定长杆的连接只可能有两种情况，f 点在b 、f 、 g 组成平面的左侧或右侧，关于平面b f g 对称，显然在平面左侧的点才是机 构的勰。 经过上面的分析，通过解两个三元二次方程组，可分别求出e 、h 两点 的空间坐标。结合交互杆自身旋转的角度，整个交互杆的空间位姿，就可以 确定下来。 以上是对机构正解分析，主要用于三维人机交互设备的运动检测。如果 要实现对交互设备的运动控制( 系统通过数据处理模块向人机交互设备发送 各个角度旋转的控制信息) ，就需要对机构的反解进行分析。对于本系统而言， 反解是指，已知e 、h 点坐标的条件下，求得讯风竹6 、e 五个角度。由于 正解和反解的对应关系有利于检验算法自身的正确性，实现机构的反解算法 西南交通大学硕士研究生学位论文第1 6 页 也是必要的。但是并联机构的反解算法比较简单，这里不作分析。 为了验证算法的正确性，作以下的数据分析： 首先，定义各个杆长参数的具体数值。我们给图2 2 和图2 3 中的杆长参 数赋值( 单位：毫米) ： a = 1 5 0 ，b = c = 1 2 0 ，d = 乒h = 2 0 ：交互杆e = 1 5 0 然后，选取c 点为( 1 5 0 ，0 ，2 0 ) 时交互杆的位姿坐标，来验证算法的 正确性。我们可以根据a u t o c a d 来确定各个参数角度的数值，如下所示( 单 位；弧度) ： a = 0 8 9 5 6 6 5 ，l i b = 0 8 8 1 3 4 8 6 ，1 = 0 0 为了检验算法的可靠性，计算c 点坐标的误差。 表2 - 1 c 点坐标误差 坐标理论数值算法计算结果 计算误差 x c l s o1 4 9 9 9 9 9 8 2一1 8 一 y co20 9 3 3 2 3 e 2 0 9 3 3 2 3 e - 5 z c2 01 9 9 9 9 9 9 9- 0 1e - s 根据上面表格数据的对比，该算法的误差较小。引起误差的原因有很多， 一方面可能是a u t o c a d 作图时产生的误差，还有一方面，某些数据采用近似 值进行计算，比如圆周率。由于本机构是书写的交互设备，所以，允许这样 的误差存在。 其次，采集三个具有代表性点的坐标，进一步验证算法自身的正确性。 按照图2 1 ，选取z o g d 和l j k l 为参照角。一般来说，当角度为1 5 0 。时， 关节的能够达到张开的最大范围；当角度为3 0 。时，关节能够达到张开的最小 范围。那么根据这一点来取点。验证的方法为用正解计算的结果( 各个角度) ， 作为反解的已知条件，看反解的计算结果与正解的已知条件( 各点的坐标) 是否相同。经过计算，正解的计算结果和反解的计算结果一一对应。坐标和 角度的对应关系如表2 2 所示。 根据上面的分析，这个算法能够完成了对所设计机构的正解计算。当然， 如果要运用的实际中去还应当考虑效率问题，而且在提高算法计算精度方面 也有一定的工作要傲。 西南交通大学硕士研究生学位论文第1 7 页 表2 - 2 坐标与对应的角度 x ey cz ex hy 1 l 动a 口76f备注 0 3 7 ，6 0 2 ，6 2 9 ，0 2 6 ， z o g d = 么j k l = | 5 0 0 d 2 5 1 1 4 ，5 1 8 0 0 0 2 5 1 1 4 , 5 1 8 ，1 5 0 0 0 点在g 轴上6 0 2 0 3 5 ，6 0 0 , 6 2 9 ，0 2 6 ， 么o g d = z j k 仁1 5 0 0 e 2 5 1 1 9 , 0 0 0 , 0 0 02 5 1 1 4 , 5 1 8 ，1 4 9 9 1 6 0 2点在x 轴上 1 2 5 ，4 9 7 。6 3 1 ，1 3 1 ， o g d = z j l o ，3 0 0 d 6 7 2 9 1 9 3 2 。o ，0 06 7 2 9 1 9 3 2 ，1 5 0 0 0 4 9 7 点在x 轴上 i 0 4 ，4 6 9 ，6 3 3 ，i 3 1 ， 么o g d = 么j k l = 3 0 i e 7 0 0 1 0 0 0 , 0 0 06 7 ，2 7 , 1 9 3 2 ，1 4 8 7 3 点在x 轴上4 9 7 o 8 9 ，5 ，加，6 2 8 。0 2 6 ， l j k l = i s 0 。, c 点在x 1 6 2 2 8 ，1 5 4 3 ，2 3 3 32 5 1 o o , 5 1 8 ，1 4 3 8 5 6 0 2 轴 0 8 9 。5 4 0 , 6 2 8 。1 3 l ， 1 6 2 2 8 ，1 5 4 3 ，2 3 ，3 36 5 0 7 1 9 3 2 , 1 3 7 5 1 l j k l = 3 0 。c 点在x 轴 4 9 7 2 2 技术路线 系统的设计主要分为硬件和软件两个部分。硬件方面包括实现交互设备 的功能和数据采集模块的开发：软件方面包括三维图形库的选取和实现用户 界面的编译环境。 2 2 1 硬件系统 首先，从信息由人向计算机发送的过程考虑硬件功能的设计，即采用什 么的方式检测交互设备的运动。本系统使用传感器收集设备的数据。传感器 的种类很多，各有优缺点，而且用途也不一样，红外线传感器和超声波传感 器用来测量距离；电位计、加速计以及编码器用来测定旋转。对于2 1 。3 中提 出的人机交互设备，主要是测得连杆的旋转角度以及笔自身的旋转角度。要 解决这个问题，需要在a 、o 、j 每个点上安置两个角度编码器，e 点安置一 个角度编码器。 角度编码器输出信号的处理，有两种方法。 第一种方法，使用工业控制卡处理编码器发送的信号，比如p c i 8 1 3 6 运 西南交通大学硕士研究生学位论文第1 8 页 动控制卡。该板卡既是高性能电机控制卡，又是通用i o 卡，可以适用于从 模拟、数字伺服到步进、微步进的各种类型电机。它还提供w i n d o w s 和d o s 操作系统下的软件驱动，自带运动函数库，支持w i n d o w sn t 9 5 9 8 2 0 0 0 平台 下v b n c + + 编程，通过这些函数，可以获取编码器当前的计数值( 长整型) 。 第二种方法，采用d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 技术的数据处理模块。 d s p 具有强大的数据处理能力，而且便于携带。用户可以根据系统的具体要 求，有针对性地设计数据处理模块。 两者相比较而言，p c i 8 1 3 6 板卡稳定性好，功能强大，但是，它只能在具 有p c i 插槽的p c 机上使用，而且系统也不可能使用它的所有功能，这就必然 造成一定冗余，产生资源浪费。而d s p 数据采集系统可以设计的比较小巧， 便于携带，并且，可以与蓝牙等无线传输设备相连接，使得所对应的平台多 样化。所以，本系统决定采用后者作为人机交互的数据采集模块。 信息从计算机向人发送的过程中，以触觉的形式传达给用户。对于本系 统而言，交互设备主要反馈力感信息。如果要实现力感，就要在a 、o 、j e 四点上安装控制电机或者步进电机。对于电机控制信号的发送，同样可以通 过d s p 来完成。 2 2 2 软件系统 系统的软件开发主要是三维用户界面的实现。用户界面的主要功能是将 物体的立体图形表示出来，并能够进行实时操作。它的设计要能体现良好的 交互性、实时性以及真实性。 采用什么样的三维图形库主要依据主机的操作系统，如果是在w i n d o w s 操作平台下，可以选用o p e n o l 和d i r e c t x 两种三维图形库；如果是在l i n u x 或者其他操作系统下，那么只有用o p c n g l 。对于大部分移动平台，一般选用 o p c n o l e s ( o p e n g l e m b e d d e ds y s t e m ) ，它是o p c n g l 的一个库，继承了很 多o p e n g l 的特色，适用于嵌入式开发。考虑到系统将要面对的平台有可能 不止是w i n d o w s 操作系统，而且o p e n g l 更面向专业绘图的开发，所以，采 用o p c n g l 作为系统界面开发的三维图形库。 一般说来，三维图形设计的可以通过以下两种方法进行： ( 1 ) 使用3 ds t u d i om a x 三维动画渲染和制作软件，建立起物体的几何模 型