（计算机应用技术专业论文）虚拟场景中手势控制模型研究.pdf

硕士学位论文 m a s t e r st h e s i s 摘要 交互性是虚拟现实的一个重要特性，而近年来人机交互技术成为虚拟现实研究 的热点问题。数据手套是目前常用的一种交互外设，基于数据手套的虚拟手技术可 以提供自然高效的人机交互方式。 本文首先探讨了数据手套和手势的研究现状和发展方向。然后研究了虚拟场景 的建模工具，从而建立了虚拟场景。本文还探讨了数据手套的原理和功能及数据的 读取和校准，研究了手的结构和运动特征，建立了手模型坐标系和运动学方程，在 此基础上建立了虚拟手的模型，实现了从人手到虚拟手的动作映射。 本文在w i i l d o w s 环境下，以v c + + 6 o 和v e g a 作为软件平台，以5 d td a ：t ag l o v e 5u l 的数据手套作为交互设备，设计了一个基于数据手套的手势交互系统。该系统 实现了各种手势控制的漫游方式：基本的线性运动、转动、轨迹的控制、飞行漫游 等。该系统的实现，可为其它的虚拟系统如虚拟景点漫游系统、虚拟旅游系统等的 实现提供重要的技术路线和实现方式。 关键词：数据手套：虚拟手；手势；漫游 硕士学位论文 m a s t e r 。st h e s l s a b s t r a c t i n t e m c t i o ni so i l eo fm em o s tf e a t l l r e si i lv i r t u a lr e a l i 何h u i i m c o m p u t e ri n t e r a c t i o n t e c h i l o l o g yh 觞b e c o m ear e s e a r c hh o t s p o ti 1 1v i r c u a lr e a l i 够d a t ag l o v ei sg e n e r a l l yu s e d a sa 咖eo f 血e r a c t i o nd e v i c e ，a i l dv l l a n dt e c l l i l o l o g yb 雒e do nd a ：t a 甜o v ec 姐 p r o v i d ean a ：t u r a la n de 伍c i e n tw a yo fh l m m - c o m p u t e ri 1 1 t e r a c t i o n f i r s t i y t l l i sp a p e ra i l a l y z e st l l er e s e a r c hg t a t l l sa n dd e v e l o p m e n to r i e n t a t i o no f 讹 g l o v e 觚dg e s t u r e i nc h a p t e ri i ，b a s e do n 廿1 es t i l d y i n go fm o d e l i n gt o o l s ，av i i t u a ls c e n e i sc o i l s 仃u c t e d i i lc h a p t e ri i i ，t l l et l l e o r yo f 协9 1 0 v ei si i l 仃d d u c e da i l dd a t aa c c e s sa 1 1 d c a l i b r a t i o ni sd i s c u s s e d t h e nt i 忙s t m c t i l r a n dm o t i o nf e a t i l r e so fb l 】m a nh a n da r e m l d i e d ，a n d l eh a i l dm o d e lc o o r d 硫es y s t e ma n dl ( i n e m a t i c a le q u a t i o ni sf 0 m i u l a t e d b a s e do n 廿l o s ea b o v e ，t h ev i l t u a lh a n dm o d e li se s t ；a b l i s h e d f i r 谢l y ，t l l et e c h n o l o g yo f m o t i o nm 印p i n gi sd i s c u s s e d 舶mh u m 趾h a i l dt 0v i n l 脚l l a n d i i l 仳sp a p e r ，ag e s t i 鹏i i l t e r a c t i o ns y s t e mb a s e do n 酉o v ei sd e s i 印e d 啪d e r 讹d o w ss y 啦m ，u s 啦v 叶m oa i l dv e g a 邪d e v e l o p m e n tt o o l sa n d5 d td a t ag 1 0 v e5 u l t r a 舔邱md e v i c e ，r e a l i z i n ga l lk i 】咀so fg e s t u r ec o i l n 0 li i lr 0 赳血l g ：b 雒i cl i l l e a r m o t i o n 、r o t a t i o n 、缸a c ec o n 仃o l l e d 、n y 洫g - 啪u 曲1 1 1 er e a l i z a t i o no f 血es y s t e mc a i l p r 0 v i d ei r l l p o r t a n tt e c m c a lr o u t ea i l dr e a l i z i n gw a yf o ro t l l c rv 删s y s t e ms u c h 嬲 v i n l 丑a lm 曲r a ls c e n e d ，s y s t e m ，v 删t o u r i s ms y s t e m k e yw o r d s ：d a t ag l o v e ；巾蛆lh a i l d ；h 龇l dg e s t u r e ；i 沁锄i 1 1 9 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：丰弩；- 拟、 日期：l 绰6 月多日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 作者签名：柏。佩 日期：撕矾年6 月日 导师摊：薪觋彷 导师签名：幻u 尸 日辄胖f 月j 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程 ，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库 中全文发布，并可按“章程中的 规定享受相关权益。回重途塞握童卮进卮! 旦圭生；旦二生；旦三生筮查! 作者签名：构；2 佩 日期：2 0 。暑年6 月日 导师 日期： 硕士学位论文 m a s t e r st h e s i s 第一章绪论 1 1 研究背景和意义 虚拟现实( v i n l 】a lr e a l 时，简称v r ) 是由美国v p l 公司创建人拉尼尔( j a r o n l a n i e r ) 在8 0 年代初提出的，是基于一种新的人机交互( 1 l 哪a n - c o m p u t e rn e r a c t i o n ) 的需求而产生的。虚拟现实是一种高端人机接口，包括通过视觉、听觉、触觉、嗅 觉和味觉等多种感觉通道的实时模拟和实时交互。 虚拟现实技术随着计算机图形仿真技术和智能机器人的深入研究已逐渐发展成 为一项热门的综合技术，主要涉及计算机图形学、计算机仿真技术、人机接口技术、 传感技术、多媒体技术、高度并行的实时计算技术和人的行为学等研究领域【l 】。 通常虚拟现实具有“3 i 【2 j 特性：即交互( n e r a c t i o n ) 、沉浸( i i i m e r s i o n ) 、想象 ( 沛a g i l l a t i o n ) 。这“3 i ”特性反映了虚拟现实系统( 如图1 1 所示) 中用户与计算机 等设备所组成的信息处理系统之间的关系将发生根本转变：人们不再需要强迫自己 去适应那些枯燥机械的计算机系统，相反的虚拟现实可以为人们提供丰富的感官信 息，使人们尽可能的获得与真实世界相同的感受。 t 系统结构 图1 1 虚拟现实系统 在虚拟现实技术发展的早期，由于缺乏必要的人机交互接口，人们只能通过键 盘、鼠标这些外设来控制计算机生成的虚拟物体【3 “】，大大降低了操作者的沉浸感， 限制了操作者的活动能力。近些年，由于虚拟现实技术的飞速发展，向人们展现了 “更加人性化”的人机交互方式。基于不同的功能和目的，当前有很多种虚拟现实接 口，以解决多个感觉通道的交互。例如，身体的运动可以由三维跟踪器或传感衣测 硕士学位论文 m a s t e r st h e s l s 量，视觉反馈可以发送到立体h m d 和大型现实设备中，虚拟声音可以通过三维声 音发生器计算得到，手势可以通过传感手套数字化，等掣5 1 。 在众多的外部交互设备中，人们更喜欢用数据手套，因为在现实生活中，人们 习惯于用手来抓取物体，感知物质世界，表达思想。在用数据手套作为外部设备与 计算机实现交互时，为了尽可能像在日常生活中那样自然灵活地操纵虚拟环境中的 物体，对手势的研究自然是重点，因为用户手部的灵活多变以及用户与虚拟世界交 互的直观性，同时必须使虚拟现实系统识别出手的形态与动作从而理解人通过手势 运动所要表达的意图。比如，人们用手指的指向来表示前进的方向、用挥手来表示 告别。通过对手势控制的研究，能够更进一步的提高交互的可操作性，比如在机器 人模型控制、虚拟装配或加工、虚拟手术方面：还使得人们对系统控制意识表达得 更全面与灵活，并且在场景漫游系统或者在虚拟旅游中能够使得导航更加自然；也 体现了人在人机交互中的主动性，使人能在虚拟场景中自如操作，显著提高了人对 计算机系统的驾驱能力。 1 2 数据手套的研究现状及发展 近年来，数据手套作为主要交互设备之一在虚拟现实技术领域发挥了巨大作用。 在国外，美国宇航局的a m e s 实验室将数据手套工程化，使其成为可用性较高的产 品，在约翰逊空间中心完成空间站操纵的实时仿真。美国b o n e 岖公司制造了一架 虚拟飞机，运用数据手套进行控制，从而观察设计结果，考察性能指标。日本松下 电工利用数据手套研制出虚拟厨房仿真体验系统。n e c 等利用数据手套开发原型 p r o t o p ”e 装置获得良好收效。它为工程师在c a d 基础上对设计的零件原型进行虚 拟装配展现了美好的前景，有利于提高产品的开发和研究水平，n e c 公司开发的 虚拟现实系统，操作者通过使用数据手套可以处理三维c a d 中的形体模型【6 】。运 用数据手套还可以与抽象或虚构的物体交互，进行科学实验，如美国加州大学劳伦 斯伯克实验室关于可视化的化学物质分馏实验设计等。 在国内，早在2 0 0 0 年，曾芬芳等【7 1 通过分析手的结构构造了手的层次模型，并 基于数据手套的静态手势设计了一个简单有效的虚拟环境模拟系统。近几年来，数 据手套先后被应用于装配维修教学训练【引、机器人遥操纵系统中虚拟机器人的驱动 【9 】、中国手语的识别1 1 0 1 、甚至还可以模拟对钢琴等乐器的演型1 1 1 等等。之后，王雷 等人【l2 j 提出用交互状态提高手势识别率，改善了系统性能，使用户可以更加高效地 2 硕士学位论文 m a s t e r st h e s i s 与虚拟环境进行交互。华中科技大学【1 3 】也基于前人的工作提出了虚拟手抓取规则， 并结合虚拟手模型实现了虚拟手对虚拟物体的抓取、移动和释放操作。 目前在数据手套的研究领域中仍存在着许多没有解决的问题以及尚未克服的技 术难点，因此今后人们研究的重点主要有以下几方面【l 川： ( 1 ) 研制开发能够满足数据手套实用性要求的新型传感器 传感器技术是数据手套系统中的核心和关键技术，数据手套的交互能力直接取 决于传感器的性能。目前尽管已经出现了多种数据手套专用传感器，但还不能真正 满足数据手套的实用性要求。因此采用新技术、新材料，研制出精度高、体积小、 成本低、不易损坏、易于更换的高性能传感器，是数据手套能否进一步商品化、实 用化的关键。 ( 2 ) 研制技术成熟、性能可靠的力反馈装置 手指力反馈装置的研究对数据手套的应用意义重大。具有力反馈功能的数据手 套不但可以使用户以较自然的方式将自己的手部动作传递给虚拟环境，实现对虚拟 环境的操作，也可以使用户利用触觉和力反馈信息，得到真实的“沉浸感”，尤其对 机器人技术力反馈是至关重要的。目前这种数据手套不多，技术不够成熟，需进一 步提高性能，降低价格，增强实用性。 ( 3 ) 进一步提高设计工艺要求 在数据手套及其部件的选材、设计组装等方面下功夫，既要佩戴方便舒适，又 要易于组装维护，进一步提高整体性能。 1 3 手势输入研究现状 在虚拟现实系统中，计算机通过解释用户手势来获取动作信息，实现用户希望 的动作效果，这就要求计算机能够读取用户的手势数据并加以分析、识别1 1 4 1 。从手 势输入设备来看，目前手势识别主要有两种：一种是以计算机视觉为基础的自然手 势识别技术，另一种是以数据手套为基础的手势识别。前者是一种很有前途的技术， 目前许多研究者致力于此项工作的研究，但在技术上还存在很多困难，主要存在两 个不足：其一，不能满足实时性要求；其二，无法解决人手各部分间的遮挡问题。 因此，目前计算机视觉技术还难以胜任手势识别，没真正进入实用阶段l l 孓1 6 7 】， 还有一段很长的路要走。而后者则在一定程度上为使用者提供了更加自然、直接的 人机交互方式，本文采用了以数据手套为基础的手势输入方法。 1 3 1 基于视觉的手势输入 硕士学位论文 m a s t e r st h e s i s 基于视觉的手势输入是采用相机捕获手势图像，再利用计算机视觉技术对捕获 的图像进行分析，提取手势图像特征，从而实现手势的输入。这种方法使用户手的 运动受限制较少。同时用户还可以直接看到手的图像。基于视觉的方法，所输入的 原始数据是手的图像，采用重建三维模型来构建手势图像，调节模型参数如手指弯 曲角度的夹角等，以合成手的三维图形。根据手生成的图形和已获得的手图像匹配， 所得到的模型参数就构成了手势。早在1 9 8 1 年，e g e r 采用两个摄像机实现了一个 获取手势的系统，使用户的手在鼠标垫大小的“镜像盒”的三维空间中完成交互动作。 1 9 9 5 年又提出了动态复杂背景中实施目标的捕获与识别方法，还有j i n t a el e e 和 t o s i y 嬲v lk u i l i i 进行了通过立体图像自动分析三维手势的研究工作，它用摄像机拍摄 手的运动图像，使用轮廓提取边界特征的方法，成功地提取2 7 个交互作用的手参数， 实现了三维手势的重构【l 引。 1 3 2 基于数据手套的手势输入 基于数据手套的手势输入是根据戴在手上的数据手套，利用光纤传感器直接测 量手指弯曲来实现手势输入。数据手套能将用户手的手势转化为计算机可读的数 据，从而去执行相应的指令。 1 9 9 1 年，h a i l s 础j p k e 肌a 和m i c h a e lg i r a r o l 研究了用于机器人基于知识的手动作， 它是以经验为基础的观察人类活动，从而获得知识，并将手的动作应用于人工智能 技术较早的研究工作【1 9 1 。1 9 9 3 年b n a m 勰等人做的自由手控制目标的系统就是 凭借数据手套作为输入的媒介，但这需要实验者带上一个专用设备。之后人们又致 力于标记手势的研究，即通过在手上作标记，例如在手腕和手指处贴上或画上特殊 颜色的圆点，用来识别手势。这虽然给识别带来方便，但同样给实验者带来麻烦。 最后人们终于把注意力集中到自然手上，通过专用的加速硬件和脱机训练，一些研 究者成功地研制了手势识别系统，但其识别的手势仅限于几种。例如，f r e e m a n 和 r o t l l 等人提出的基于方向直方图的手势识别系统。1 9 9 4 年，高文等人提出了一种 静态复杂背景手势目标的捕获与识别，同时胁n o nm 嬲s a 璐。和d a l l l l i l1 1 1 l m a u m 研 制了一种综合手动作的控制与抓取系统，它是基于物理约束的手的抓取过程【2 0 】。 1 9 9 9 年常红等人提出了基于计算机视觉技术的手形手位跟踪方法。2 0 0 2 年邹伟提 出了一种基于双信息源的人手空间跟踪方法。 1 4 本文结构安排 本文在华中师范大学虚拟场景中，以5 d t 数据手套作为交互设备，用来完成整 4 硕士学位论文 m a s t e r st h e s i s 个场景的交互控制。其结构组织如下： 第一章绪论。介绍了本课题的研究背景和意义、数据手套的现状和发展趋势： 分析了两种手势输入的方法。 第二章虚拟场景模型构建。介绍了虚拟校园场景的建模工具c r e a t o r 及其数据格 式o p e n f l i g h t ，在此基础上建立了虚拟场景。 第三章虚拟手建模。首先介绍了数据手套的原理与产品种类，分析了本文所使 用的5 d t5u 1 仃a 数据手套的原理和功能及数据的读取和校准；探讨了手的结构和运 动特征，用d h 方法分析了手指各关节的位姿关系，建立了手的模型坐标系和手的 运动学方程，在此基础上用c r e a t o r 建立了虚拟手模型。 第四章虚拟场景中基于手势的控制与应用。开始研究了手势控制模型包括传感 器阈值的设定r 、手势动作映射关系、虚拟手模型的驱动。在此基础上了建立了一个 基于数据手套的虚拟手交互系统，并且引入了左手手势控制。其功能有：基本的运 动控制包括前进、后退、左移、右移：基本运动与左转及右转的组合控制运动，即 轨迹的控制运动；最后介绍了飞行漫游。 第五章总结与展望。对本文工作进行总结，并提出了一些尚未解决的问题。 硕士学位论文 m a s t e r st h e s i s 第二章虚拟场景模型构建 虚拟场景是在计算机上对真实环境的一种模拟，也是用户进行虚拟手交互的工 作环境。虚拟场景构造的好坏直接影响到用户操作的真实感和交互效率。因此，虚 拟场景应该具有较高的逼真度。逼真度就是即和真实环境的相似性，虚拟场景与真 实环境越接近，就越能为用户提供参考，帮助用户正确快速地完成操作，并有助于 用户在交互操作时产生沉浸感。 2 1 场景建模工具 目前虚拟场景建模软件有很多，如3 d sm a ) 【、v r m l 、m u l t i g e nc r e a t o r 等。它们 各有特点，3 d sm a x 建模精度很高，但是数据量很大，会影响到渲染速度：v 蹦l 建模方便，数据量小，但对复杂模型的表现功能不强；c r e a t o r 建模简单，数据量很 小，比较适合虚拟现实系统的建模。c r e a t o r 的最大优势在于大场景地理环境的生 成和浏览。此外，它还具有强大的兼容性和操作性，可以与v e g a 兼容，满足虚拟 校园系统实时性的要求。利用c r e a t o r 建模，细节比较少，并可以采用子面的方法 降低模型的复杂度，缺点是建模过程比较复杂，工具组件没有3 d sm a x 丰富，在 c r e a t o r 中对对象的创建、移动、控制等操作没有3 d sm a x 灵活，构造复杂模型没 有3 d sm a ) 【方便。但c r e a t o r 对场景环境如天空、光照等的处理速度很快。根据以上 的比较，由于虚拟校园整个系统对实时性有较高要求，决定采取c r e a t o r 建模的方 法。个别小的、复杂一点的模型，采用3 d sm a 】【来创建，然后转换到c r e a t o r 中进 行调整，使其与整个场景匹配【2 l j 。 m u l t i g e nc r e a t o r 软件是美国m u l t i g e np 锄a d i 鲫公司专门针对可视化仿真行业应 用特点推出的实时可视化三维建模软件，它提供了分别运行于高端s g i 工作站和低 端p c 平台不同版本，最大限度地满足不同的应用需求。在p c 平台下的m m t i g e n c r e a t o r 同样也集成了多边形建模、矢量建模和地形生成等多种高级功能，所以可以 在满足实时仿真要求的前提下，高效地创建大面积虚拟场景模型数据库田】。 本场景中用c r e a t o r 建立的几个具体实物模型如下。图2 1 为行政楼模型，图2 2 为历史文化学院模型。 6 5 i j 士产j 主沧欠 m 人n ll ：ksi i lj i s is 图2 1 行政楼模型 图2 2 历史文化学院模型 硕士学位论文 m a s t e r st h e s l s 2 2 场景数据管理 m u l t i g e nc r e a t o r 与传统三维建模软件的主要区别并不在于它强大的多边形建模 功能，而在于它用于描述三维虚拟场景的层次化数据结构o p e n f l i g h t 。该数据结构 区别于传统的三维模型数据组织形式，它采用一种节点式的分层结构，可以快速方 便地对场景内的任意元素进行直接的编辑、修改和控制，特别适合图像生成器对其 进行实时渲染操作【2 3 1 。目前，m u l t i 萨nc r e a t o r 所使用的o p e i l f l i g h t 格式事实上已成 为业界的标准数据格式。 o p e i l f l i g h t 是大部分虚拟现实系统的根基，是一种分层结构的景观描述数据库， 是场景数据的组织形式。一个o p e i l f l i g h t 数据文件包含一个或多个三维模型，模型 中对象、面、顶点及其之间的关系按层次结构进行组织。从模型数据库的存储结构 上看，o p e i l f l i g h t 格式是一种树状的层次化结构。采用这种结构不仅可以方便地将 模型按照几何特性进行有效的组织，并将其转化为能够方便地进行编辑和移动的结 点形式( 所谓的结点n o d e 就是建构层次化模型数据库最基本的元素或模块) 。 o p e i l f l i 出中的结点主要包括以下两类： ( 1 ) 常用的基本结点，包括：根结点、组结点、体结点、面结点、点结点等。 ( 2 ) 用于营造特殊效果的特征结点，包括：细节层次结点、自由度结点、光源结点、 声音结点、转换结点等。 此外，o p e i l f l i g h t 数据库还支持光点节点、外部引用节点、实例节点、裁剪节 点、文字节点灯多种类型的节点。 在m u l t i g e nc r e a t o r 中，它表现为一个二维层次的结构图。上述结点的层次结 构表现如图2 3 所示。 从图2 3 可以看出，o p e i l f l i g h t 模型数据库主要包含了三类信剧2 4 】。 ( 1 ) 模型的几何特征 模型的几何特征是构成三维模型的基本要素。在数据库窗口的图形视图中，通 过三维空间一系列有序的坐标点，就可以确定三维场景中模型的几何特征。具体而 言，指的是在图形视图上创建的各种点、线、面。 ( 2 ) 数据库的层次结构 模型数据库层次化的结构一方面可以对数量众多的几何体进行有序的组织和编 辑，另一方面也便于对其进行高效的实时渲染。有些结点描述了模型的几何特征( 如 面结点) ，而有些则用来维护数据库本身的层次性( 如组结点) 。 ( 3 ) 各种结点属性 8 硕士学位论走 m a nji k n i f s i n 用鼠标双击需要编辑调整的结点，就可以查看结点的属性窗口。各种结点属性 为模型提供了大量特征信息，比如模型的多边形的颜色、材质、纹理等。这些特征 信息一方面可以增加模型的真实性，另一方面可以给用户提供更多的附加选项来调 整和控制模型，以期达到预期的效果。 面节点 对应2 1 节中用 o p e n f l i g h t 层次结构， 由 巨蝈 l o d 节点光源节点 声音节点转换节点 图2 - 3o p e n f l - 曲t 节点层次结构 c r e a t o r 建立的两个具体实物模型，图2 4 为行政楼模型的 图2 5 为历史文化学院的层次结构。 巨瑟丑三e 亚囝叵堑回回曰 图2 4 行政楼层次结构图 巨亚丑珀 硕士学位论文 m a nii ? r s1i l l ! 卜i s 口 口 口 图2 5 历史文化学院及层次结构 2 3 虚拟场景的构建 场景实体模型的构建是按照场景层次结构的划分来进行的，各层次实体景观构 建完后需要进行组合集成，最终形成虚拟场景的整体模型1 2 5 1 。 单个物体建立了模型后要逐个添加到整体场景里，主要包括地形地貌、建筑物、 道路、花坛、运动场等。校园地形地貌，存成一个模型文件。环境景观在地形表面， 实现地形、地物等的一体化管理，形成一个总体模型，提供给场景调用实时显示。 然后对每栋实体建筑物进行定位，将实体模型按确定好的位置添加到地平面上。 当然也可以将所有模型复制粘贴到一个模型文件中，组成一个整体模型。但当 场景模型比较复杂、文件很大( 如大规模的地形演示) 时，势必降低导入及实时响应 速度。 在m u l t i g e nc r e a t o r 中，模型的集成可以通过外部参考( 又称外部调用，e x t e m a l r e f e r e n c e ) 来实现。外部参考是指在一个模型中可以设置外部参考结点，在结点下能 够调用另一模型的部分或者全部，并可以重新定义被调用模型的空问位置。外部参 考的好处如下： ( 1 ) 便于场景的组织管理。场景的构建可按照其层次结构先划分若干区块，然后分 别在各区块中进行，各小区中的模型甚至也可以单独进行建模，大到一栋建筑， 小至一棵树木都可以独立建模，然后通过外部调用进行集成。 ( 2 ) 可以节省内存空问，提高建模速度。在m u l t i g e n 中可以通过参数设置，使得默 认情下，外部参考结点不被显示。这既能节省了计算机内存，又减少了模型的显 硕士学位论文 m a s t e r st h e s i s 示和刷新时间，提高了建模速度。 ( 3 ) 便于模型替换。只需将外部调用的路径改变即可实现模型的替换；用外部参考 调用模型而不改变其位置，方便地实现了模型的更新。 ( 4 ) 便于模型的添加。通过外部参考，无需进行剪切和粘贴操作即可将一个场景数 据库文件的整个内容加入到当前场景中。 使用外部参考也有缺点：它是只读的，不能直接被编辑，只能改变位置、方向 和大小比例。如果要对被引用模型部分进行修改必须打开本身的模型文件进行修改 后还需对调用模型进行刷新。 对于复杂场景数据库来说，利用外部参考能够极大地便利对场景模型的集成和 对整个场景的组织管理。鉴于外部参考的优缺点，我们采用了复制和外部参考相结 合的方法。首先将整个场景进行规划分类，每一类形成一个独立的f l t 文件。地形地 貌存于一个n t 文件，道路、栏杆、花草树木用一个n t 文件，每一栋关键建筑物存 成一个独立的n t 文件，非代表性的建筑物共用一个n t 文件。然后创建一个新n t 文 件，将上述所有文件中的模型复制到该总文件中，在总文件中，上述每一个文件中 的内容放到一个独立的子结点中，这样当需要修改时就可以直接在总的n t 文件中进 行修改，然后将修改过的子结点的内容保存为一个独立的文件来覆盖之前的文件。 最后，将上述所有子文件用外部参考的方法全部集成起来，以便渲染和观察效果。 本文中虚拟场景跟据华中师范大学校区布局，且使用上面的方法对场景进行规 划与管理。使用m u l t i g e nc r e a t o r 进行三维建模，其场景结构如图2 6 所示 硕士! 乒位沧乏 m a n ii ：r 。n ij i f s i n u - j l j 巨琏亚亚丑卫臣匝叵 叵e 脚 型堕j 塑i 型堕_ | 鲤! i 型堕l 堕；i 型堕i i 型竺i 型空i 型堕 型堕型堕_ 】塑 = 竺l 竺i 竺i 竺l 竺i 竺i 竺l 竺 图2 6 虚拟场景结构图 如图2 6 所示，d b 代表整个场景数据库；g l 代表整个地形场景模型。下面的一 层中如b d1 、l i b r a r y 等代表场景中的建筑物；s k y n t 为场景中的天空模型，等等。 这样在地形重构时就可以分别对每个地形块进行独立建模，并将其保存为n t 文件， 然后再在一个总的文件中，用外部引用的形式，将这些地形块拼接起来，形成整个 地形场景模型。 硕士学位论文 m a s t e r lst h e s i s 第三章虚拟手建模 在基于虚拟手的人机交互过程中，为了使操作者完全融入到虚拟环境中，从而 用自己熟悉的方式，直接自然与虚拟环境进行交互，我们就需要生成真人手在虚拟 环境中的代理即虚拟手。由于本文是用数据手套作为接口来控制虚拟手的，因此， 本章首先介绍和分析了数据手套的相关内容。 3 1 数据手套 数据手套是虚拟现实系统中输入设备的一种，是一种常用的人机接口，它能够 实时获取人手的动作姿态，以便在虚拟环境中再现人手动作，达到理想人机交互目 的。 3 1 1 数据手套原理 数据手套实现的关键在于手掌、手指及手腕的各个有效部位的弯曲、外展等测 量以及在此基础上姿态的反演。完成反演主要取决于人体手部姿态的建模，最根本 的就是，确定传感器测量数据和手部各关节运动姿态的对应关系。对一个具体的数 据手套应用过程，可设由手部各弯角组成的响亮向量厂= ( 石，正，正) 与对应传感器 获得响应值组成的向量d = ( 码，畋，d 。) 。显然，f 和d 之间存在着强耦合的映射关 系。数据手套的实现即是根据示数向量d ，找出原映射关系的逆映射，从而反演出 手部各部位的姿态【1 3 1 。 3 1 2 5 d t 数据手套 国内外许多研究单位和公司在数据手套的研制开发方面做了大量的工作，并推 出了一些采用不同传感器的数据手套产品，得到较成功的应用。下面分别介绍几个 主要的产品： 1 9 8 7 年v p l 公司生产了第一副传感手套d a t ag l o v e ，当时人和计算机之间的标准 接口是键盘和鼠标。v p l 的d a t ag 1 0 v e 在人机自然交互的道路上迈出了一大步。它 使用的光纤传感器使计算机能测量到手指和拇指的弯曲程度，从而使人机之间通过 手势交互成为可能。v p ld a t ag l o v e 出现没多久，任天堂游戏公司就引进了更便宜 的p o 、e rg l o v e ，它使用超声传感器手腕相对于p c 屏幕的位置，使用导电油墨传感 器测量手指的弯曲程度。它具有专利传感器技术、结构紧凑、佩戴舒适、轻便的优 点；同时采用桌面控制模块，能同时支持系4 副手套；但是，它没有触觉反馈，也 硕士学位论文 m a s t e r st h e s l s 难以适合不同大小的手，应用过程中需要重新校正，以防止手套与手指之间滑动带 来的误差。另外光纤疲劳的问题也值得注意l l 引。 1 9 9 1 年v i m l a lt e c l l n 0 1 0 9 i e s 公司推出c y b e r g l 0 v e 。它使用的是线形弯曲传感器， 这种手套是由j i m k r a m e r 发明的，最初是为了给有语言障碍的人提供手势识别接口， 但它同样的适用于v r j 妾口。c y b e r g l o v e 集成了很薄的电子张力变形测量器，安装在 弹性尼龙弯曲材料上。为了透气，同时也为了用户方便做打字、书写等动作，该手 套去掉了手掌区域和指尖部分。它具有质地轻、佩戴舒适、手掌处成网状易于通风、 指尖露出、便于用户抓取、写字等特点。其利用的专利“压电传感器 具有良好的 线性和强健性，体型细小、柔软，对弯曲基本无阻力，受安装位置和手指的弯曲曲 率半径影响很小，保证传感器准确、重复地测量手部运动，并对所有用户校正标准 一致【1 4 】。可用于虚拟现实、遥控机器人、医学、c a d 、手语识别、视频游戏等方面。 p i l l c hg 1 0 v e 是f a k e s p a c el a b s 公司生产的。该手套在指尖、手指的背面和手掌中 增加了传导纤维之类的电极。p i l l c hg l o v e 有许多优点，包括简单性、不需要校准、 通过手的触觉感知确认手势以及在交互中可以使用两只手等。但是，该手套只能探 测出是否发生了接触，不能测量出中间状态下的手指外形。并且p i n c hg l o v e 控制的 虚拟手无法跟随用户手指的真实位置，对仿真的真实感有一定的负面影响。 本文所采用的是由f i f h ld i r n e n s i o nt e c l l l l o l o g i e s 公司所研制的5 d td a _ t ag l o v e5 u 1 衄，该数据手套于1 9 9 5 年推出。该系列数据手套采用光电弯曲传感器，每个手 指上有一个传感器，用于测量手指的平均屈伸度( 即手指中部关节的屈伸度) 。在 手腕部位还有两个传感器，分别测量手掌的俯仰角和倾斜角。其测量精度为8 位 a d 采样，漂移扰动小；其最大采样频率可达2 0 0 h z 。主要特征有：采用弹性纤维 材料制作，佩戴舒适，适合于不同大小的手；光纤传感器信号精确敏锐，减少了对 额外滤波的需要；提供诊断程序，能直接记录获取的传感器数据，便于调试；提供 给用户二次开发的s d k 接口程序，能直接访问获取手套的功能和即时获取数据； 数据流遵循i 峪2 3 2 协议，提供u s b 连接方式，并可选配无线连接套件，适合不同 平台和不同场合的应用需求1 2 6 j 。 5 d t d a t a g l o v e5 有7 个传感器，其分布如图3 1 所示。 1 4 硕士学位论文 m a s t e r st h e s i s 不。 图3 1 5 d t5 数据手套传感器的位置 5 d td a t ag l o v e5 数据手套的7 个传感器与人手各关节的对应关系如表3 。1 所 表3 15 d t5 数据手套传感器的对应关系 d r i v e rs e n s o r s e n s o r d e s 嘶p t i o n i n d e x a 0 ，1 宰 t b l 】m bn e x u l - e b 3 ，4 幸 i n d e xf m g e rn e x u r e c 6 ，7 宰m i d d l ef m g e rn e x u r e d 9 ，1 0 唪砌n gf i n g e rn e x u r e e 1 2 ，1 3 木 l i t t l ef i n g e rn e x u e f 1 6 + p i t c ha n g l eo ft i l ts e n s o r g 1 7 +r d ua j l g l eo ft i l ts e n s o r 表中，“秽表示当使用5 d td a t ag l o v e5 时，这些传感器的索引返回相同的值； “+ ”表示传感器不可用当使用5 d td a t ag l o v e5u l 的。 5 d td a t ag l o v e5u l 舰软件驱动程序把来自数据手套的输入数据解释为手势。 当前的手势库中对除拇指以外的所有手指使用二元开关配置，这样就可以得到1 6 种不同的手势【9 】，如图3 2 所示。这种手势识别的功能非常简单，但可以满足我们 大部分情况下的需求；在少数情况下，我们还可以通过精确界定各关节的弯曲数据来 支持更多的复杂手势的识别和判定。 m 硕士学位论乏 m nr ij ：rnl i | i ：s i n ( 0 ) 弯曲 ( 1 ) 食指伸直( 2 ) 中指伸直( 3 ) 食指、中指伸直 ( 4 ) 无名指 伸直 ( 8 ) 小指伸直 ( 5 ) 食指、无名指( 6 ) 中指、无名指( 7 ) 小指弯曲 伸直 伸直 ( 9 ) 食指、小指 伸直 ( 1 0 ) 中指、小指 ( 儿) 无名指弯曲 伸直 ( 1 2 ) 食指、中指( 1 3 ) 中指弯曲( 1 4 ) 食指弯曲( 1 5 ) 垒部伸展 弯曲 图3 2 5d t 数据手套内置可识别手势 3 2 数据读取与校验 3 2 1 数据读取 5 d td a t ag l o v e5u l t r a 通过u s b 与计算机相连，从数据手套采样得到的数据串 共9 个字节，格式如下： 1 6 硕士学位论文 m a s t e r st h e s i s 其中胁砒，表示新数据串的开始；刀筘表示对应手指的屈展度，对于右手依 次是拇指、食指、中指、无名指、小指( 若是左手则顺序相反) 。每个屈伸度的变化 范围是0 - 4 0 9 5 ，即最小屈伸度为o ( 手指伸直的时候) ，最大屈伸度为4 0 9 5 ( 手指最弯 屈的时候) ；p 肭为手上下摆动的倾斜角度：，d 刀为手掌转动的倾斜角度，这两个值 的范围同样是o - 4 0 9 5 ；c 加c 砖绷为校验和。 本文漫游系统建立在v e g a 、v c h 平台之上，利用数据手套s d k 中的 脚跏圳伽口函数读取传感器信息，相关描述如下： s p r i n t 坟s z p o 们d o p e n ，“u s b i ，n c h o s e n ) ； f d g l o v e 宰 p g l o v e ； i 坟n u l l = = p g l o v e ) m e s s a g e b o x ( “f a i l e dt 0o p e n 舀o v e ，) ； e l s e ( f d ( 衙s e i l s o r r a 州p g l o v e ，g 1 0 v e d a 哟； 3 2 2 数据校准 由于不同的人，手的大小不尽相同，因此为了达到数据手套的最大灵敏度，保 证输出数据的精度，在使用数据手套前必须对手套进行数据校准。 通过5d t 提供的s d k 可以获取数据手套各传感器的信息。在每次更新期间，传 感器读出的原始值与设置的最大最小值( 一m 似和加) 进行比较，如果超出了设 定值的范围，就将最大和最小值刷新。用手连续快速地做弯曲运动，不断地更新当 前值，也就完成了对数据手套的标定。传感器标准输出计算如式3 1 所示。定义传 感器动态输出范围d ”产7 1 如下： 。讲一兰丝罴警，蕾 ( 3 - 1 ) 圪n 锄烈朋加 ” 其中一m 烈为手指的绝对最大屈展度；彻，为手指当前屈展度，当船， 一再甜 时朋似= m ，一m i n 为手指的绝对最小屈展度，取值为0 ；刎又称为手指的相 对屈展度，取值范围 d 一朐锄甜 。 3 3 手结构与运动分析 1 7 硕士学位论文 m a s t e r st h e s i s 要将数据手套测得的人手数据映射到虚拟场景中，必须建立与之对应的虚拟手 模型。本节深入分析人手的结构和运动特点，作为建立虚拟手模型的基础。 3 3 1 手结构 就人体的生理结构来说，手部同人体的其它部位一样，均有骨骼及软组织( 忽略 神经及血液系统) 组成。但由于骨骼在组成结构中发挥支撑乃至姿态的主导作用，因 而对于手部的运动研究应以其骨骼的构造为主要对象，手部骨骼结构如图3 3 所示。 c m c a r p a lm e t a c a r p a lj 。i n t ( 腕骨与掌骨结合处) m c p m e t a c a r p o p h a l a n g e a lj o i n t ( 掌骨与近指骨结合处) p 工p 一一p r o x i m a li n e t e r p h a l a n g e a 工j 。i n t ( 近指骨与中指骨结合处) d 工p d i s t a li n 乞e r p h a l a n g e a lj o i n t ( 中指骨与远指骨结合处) 图3 3 右手骨骼解剖图 以生理解剖学为标准，可将人手分为手指、手掌和手腕三个部分【2 8 1 。 手指一拇指有一节掌骨和两节指骨组成；食指、中指、无名指和小指均由一节 掌骨和三节指骨组成，骨节间有关节相连。 手掌一连接于腕骨的掌骨形成一道横弓。掌骨横弓可以由手指屈伸改变高低。 但由于掌骨间肌肉组织的相互牵连，因而其运动相对较为平缓。 手腕一腕部共由八块腕骨组成，排列为弧形横弓。这一部位相对固定，活动范 围更为狭窄。 上述的手部各部位结构由关节将其有机地组成为一个整体。其中关节的形状， 以及手部肌肉等软组织的存在，都将不同的程度上约束手部的运动。我们主要关心 的是指骨的构造和运动。 1 8 硕士学位论文 m a s t e r st h e s i s 3 3 2 运动分析 本文根据上面手的解剖特征来分析手的运动特性。人手是由手掌、4 根相邻的手 指和1 个大拇指构成的。它们由关节相互连接，并随着关节的运动，人手的形状也 同时发生变化，使之可以进行日常操作。手指的关节运动有两种运动形式【1 2 】： ( 1 ) 屈和伸。组成关节的两骨互相靠拢，其夹角逐渐变小的运动为屈；相反，两骨 之间的夹角逐渐变大的运动为伸。 ( 2 ) 内收和外展。手指的内收和外展是以通过中指中轴的假想线为准，肢体向中指 中轴靠拢的运动为内收，而离开中指中轴的运动为外展。