（机械电子工程专业论文）基于virtools的虚拟装配系统关键技术研究.pdf

中文摘要 摘要 虚拟装配技术作为- - 1 7 新兴学科正在蓬勃发展，近年来在工程、航空航天、 军事、建筑等领域得到越来越广泛的应用。虚拟装配技术被认为是二十一世纪最 具有发展潜力的技术之一。 本课题从虚拟装配的背景出发，分析了国内外研究现状。从虚拟装配系统组 成出发，将虚拟装配系统分为虚拟装配环境、虚拟装配硬件和虚拟装配软件三部 分。根据实际情况搭建了虚拟装配环境和虚拟装配硬件，通过对现有软件进行对 比分析，决定采用m i c r o s o f tv i s u a ls t u d i o n e t2 0 0 3 作为软件开发平台，结合 v i r t o o l s 软件开发虚拟装配软件。 本课题从对人手的骨骼模型进行分析，提出人手骨骼二叉树模型的建立，在 此基础上利用3 d sm a x 软件进行骨髂模型和表皮模型的建立，然后通过蒙皮技术 将骨骼模型和表皮模型合成虚拟手模型，以便以后对虚拟手进行控制。 本课题的研究重点是人机交互设备与虚拟装配软件之间的接口开发，人机交 互设备主要从三维鼠标、数据手套和位置跟踪器出发。首先对各个设备的特点进 行分析，对其开发流程进行总结，最终形成人机交互设备的开发流程框架。其次 完成在v i r t o o l s 中的控制程序搭建，实现v i r t o o l s 与人机交互设备之间的交互控制。 最后实现数据手套和位置跟踪器对虚拟手的控制，以及三维鼠标操作视角和物体 移动。 本课题是对虚拟装配的交互技术进行探索性研究，为配合力反馈数据手套对 虚拟手进行操作积累经验，为以后采用力反馈数据手套进行虚拟装配打下基础。 关键词：虚拟装配；v ir t o o ls ；人机交互设备；虚拟手 英文摘要 a b s t r a c t v i r t u a la s s e m b l yt e c h n o l o g yi sb o o m i n ga san e ws u b j e c ti nr e c e n ty e a r s ，w h i c hi s w i d e l yu s e di ne n g i n e e r i n g ，a e r o s p a c e ，m i l i t a r y ，c o n s t r u c t i o na n do t h e rf i e l d s v i r t u a l a s s e m b l yt e c h n o l o g yi sc o n s i d e r e do n eo ft h em o s tp o t e n t i a lt e c h n o l o g i e s i nt h i sp a p e r ，i ta n a l y z e sr e s e a r c hs t a t u sa th o m ea n da b r o a do nt h eb a c k g r o u n do f v i r t u a la s s e m b l y t h ev i r t u a la s s e m b l ys y s t e mi sd i v i d e di n t ot h r e ep a r t s ，w h i c ha r e v i r t u a la s s e m b l ye n v i r o n m e n t ，t h ev i r t u a la s s e m b l yo fh a r d w a r ea n ds o f t w a r e ，o nt h e b a s eo ft h ec o m p o s i t i o no ft h ev i r t u a la s s e m b l ys y s t e m i tb u i l d sv i r t u a la s s e m b l ya n d v i r t u a la s s e m b l yh a r d w a r ea c c o r d i n gt ot h ea c t u a ls i t u a t i o n , s oa st od e c i d et ou s e m i c r o s o f tv i s u a ls t u d i o n e t2 0 0 3a sas o f t w a r ed e v e l o p m e n tp l a t f o r m 、衍吐1v i r t o o l sa s t h ev i r t u a la s s e m b l ys o f t w a r e ，v i ac o m p a r a t i v ea n a l y s i so fe x i s t i n gs o f t w a r e t h ep a p e rs t u d i e st h em e t h o do fe s t a b l i s h m e n to ns t a f fs k e l e t a lb i n a r yt r e em o d e l v i aa n a l y s i so i ls k e l e t o nm o d e lo ft h es t a f f , t h e ni tg a i n ss k e l e t o nm o d e la n ds k i nm o d e l b yu s i n g3 d sm a x ，f i n a l l yi tg a i n st h ev i r t u a lh a n dm o d e lt h r o u g hs k i n n i n gt e c h n i q u e s t oc o n t r o la tf u r t h e rt i m e t h ef o c u so ft h i si s s u ei st o s t u d yt h ei n t e r f a c eb e t w e e nh u m a n - c o m p u t e r i n t e r a c t i o nd e v i c e sa n dv i r t u a l a s s e m b l ys o f t w a r e ，w h i c ha r em a i n l yf r o m t h e t h r e e d i m e n s i o n a lm o u s e ，d a t ag l o v ea n dp o s i t i o nt r a c k e rs t a r t f i r s t l y ，i ta n a l y z e st h e c h a r a c t e r i s t i c so fe a c hd e v i c ea n dm a k e st h es u m m a r yo fd e v e l o p m e n tp r o c e s s ，t og e t h c id e v i c ed e v e l o p m e n tp r o c e s sf r a m e w o r kf i n a l l y s e c o n d l y ，t h ec o n t r o lp r o g r a mi s c o m p l e t e di nv i r t o o l s ，s oa st oc o n t r o li n t e r a c t i o nb e t w e e nv i r t o o l sa n dt h er e a l i z a t i o n o fh u m a n - c o m p u t e ri n t e r a c t i o nd e v i c e s f i n a l l y ，t h ev i r t u a lh a n di sc o n t r o l l e db yd a t a g l o v ea n dp o s i t i o nt r a c k e rs t a r t , w i t l lt h em o v e m e n to fv i s u a la n g l ea n do b j e c t s c o n t r o l l e db yt h et h r e e d i m e n s i o n a lm o u s e t h ei s s u e sk e yp o i n ti st h ei n t e r a c t i v et e c h n o l o g yo fv i r t u a la s s e m b l ye x p l o r a t o r y s t u d yt oa c c u m u l a t ee x p e r i e n c ea b o u tv i r t u a lh a n do p e r a t i o n , s o a st og e tag r e a t f o u n d a t i o nf o rf u t u r eu s i n gf o r c ef e e d b a c kd a t ag l o v e si nv i r t u a la s s e m b l ys y s t e m k e yw o r d s ：v i r t u a la s s e m b l y ；v ir t o ois ：h u m a n c o m p u t e rin t e r a c tio nd e vic e ； v jr t u a ih a n d 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博硕士学位论文：基王y 遮q q ! 墨数虐型装配丕统羞毽拉苤巫究= = 。除论 文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均己在 文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经 公开发表或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名： 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论 文全文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式 出版发行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密口( 请在以上方框内打“4 ) 论文作者签名：导师签名： 日期：勿，。年7 月2 日 基于v i r t o o l s 的虚拟装配系统关键技术研究 第1 章绪论 1 1 课题研究的背景和意义 虚拟现实技术，又称“灵境技术”、“虚拟环境 、“赛伯空间”等，这项技术原 来是美国军方开发研究出来的一项用于军事仿真的计算机技术，一直到2 0 世纪8 0 年代 末，虚拟现实技术才开始作为一个较完整的体系而受到人们的极大关注【1 】。 虚拟装配技术作为虚拟现实技术的一个分支，是近年来发展起来的一项多学科交叉 的新技术，它涉及到计算机、数字图像、生物医学、机械原理等多门学科。国外早在上 世纪9 0 年代初就开始了用计算机辅助进行虚拟装配的研究工作，尤其是近2 0 年以来， 随着计算机硬件的不断发展，计算机价格不断降低，而其性能飞速的提高，虚拟装配技 术也得到了迅猛的发展。在国内虚拟装配技术也引起了很多人的关注，究其原因包括以 下几个方面：一方面计算机技术已经渗透到各行各业，这不仅是因为计算机的价格越来 越便宜，最重要的计算机技术的应用带给了人们更多的便利。另一方面，中国加入了世 界贸易组织，必然引起激烈的市场竞争，许多企业都希望提高市场竞争力，因此必须缩 短产品的开发周期。通过对某研究所的调查研究显示，从图纸到生产再到装配，在这个 过程中需要进行反复修改，而其装配过程占用了整个样机开发的三分之二的时间，究其原 因主要因为设计的前期没能检查出设计的缺陷，从而影响到了后期的实际装配，这就严 重影响了产品的开发效率。虽然他们也通过c a d 软件进行参数化建模，但是原始的建 模方式不能提供给设计者一种直观的设计环境，也就不能提供给设计者更多后续设计必 要的信息。如果在设计前期就通过虚拟装配软件对其进行验证，那么后期就可以节省大 量不必要的时间。另一个实际调查表明，自从我国加入世贸组织后，许多企业都在不断 的提高自己的竞争力，而且也有明显的成效，但中国企业的竞争力还远不如外企，原因 有很多，其中一个主要原因就是装配所用的时间远比外企长，这是一个很严峻的问题， 如何使企业适应不断变化的市场，以最快的速度和最优的产品投放到市场，不断提高企 业的竞争力，这是目前许多企业都在讨论的问题。在产品进行装配过程中，主要可能出 现以下两种问题，一种是产品的早期设计不正确或不合理使装配无法进行，这样将导致 产品重新设计，这就大大降低了产品的竞争力。第二种情况是装配的过程不合理，在装 绪论 配过程中自然条件或物理因素的影响使得装配无法进行，需要对装配过程进行重新调 整。因此在产品进行批量生产之前，需要通过制造样机模型来检验产品设计是否合格， 装配过程是否合理等问题。反复的加工样机不仅增加了开发成本，更主要的问题是延长 了产品投放市场的时间，使企业在激烈的竞争中处于劣势。企业都意识到要想提高市场 竞争力就必须采用先进的技术，寻求更加先进的设计方法，而且根据边际效益必须将生 产成本控制在最小范围。因此企业必须在产品的设计阶段就要尽量减少产品装配时可能 遇到的问题，虚拟装配技术正是在这种情况下应运而生的。 虚拟装配技术具有虚拟现实的基本特征：多感知性、沉浸感、交互性、构想性。多 感知性是操作者在进行虚拟装配是不在是只通过眼来观察，还包括触觉、嗅觉、听觉等 多方面的感觉。沉浸感是虚拟装配的优越性，与普通的交互方式不同，它可以使操作者 仿佛置身于真实的装配空间中。交互性是虚拟装配的关键，操作者可以通过人机交互设 备与虚拟场景中物体进行交互。构想性使操作者在虚拟场景中通过客观事实获得真实的 想象。虚拟装配技术采用的输入输出设备不再像以前的计算机辅助装配系统那样采用传 统的鼠标、键盘、显示器等二维输入输出设备，而是借助与更加自然的人机交互设备( 三 维鼠标、数据手头、位置跟踪器等) 。通过虚拟装配系统，模仿真实产品的装配过程， 这样不仅可以检测到设计的缺陷，而且可以检验产品的物理特性，对产品的可装配性做 出评价，并且可以及时得到修改，这样就极大的提高了产品投放市场的周期，因此虚拟 装配技术为解决产品的快速装配提供了一个有效的解决办法。 人机交互设备能够提供给操作者接近真实的感觉，使操作者能够体验到“真实的 虚拟场景。自然的人机交互设备应用的真实感，对于操作者对虚拟装配的真实性感受发 挥着至关重要的作用。由此可见，人机交互操作在虚拟装配技术应用中具有及其重要的 作用，在虚拟装配系统中处于关键和核心的地位，人机交互设备的研究对于虚拟装配技 术的应用和发展意义重大。因此本课题主要对人机交互设备的接口开发进行研究，最终 将完成部分人机交互设备与虚拟装配软件的结合，为以后虚拟装配系统打下基础。 基于v i r t o o l s 的虚拟装配系统关键技术研究 1 2 国内外研究现状 关于虚拟装配技术，目前一般有几种不同的定义，主要分为狭义和广义两种。狭义 的虚拟装配就是在虚拟场景中快速把单个的零件或部件组装形成产品的方法 2 1 。广义的 虚拟装配是指在虚拟环境中，无需产品或支撑过程的物理实现，只需通过分析、先验模 型、可视化数据表达等手段，利用计算机工具来安排或辅助与装配有关的工程决策【3 】。 美国华盛顿州立大学和国家标准技术研究所n i s t 联合开发的虚拟装配设计环境 v a d e 系统。该系统以s g io n y x 2 为平台，以f l o c ko fb i r d s 、c e r g l o v e 和 v r 4 头盔为虚拟现实交互设备。利用这个系统，设计人员在设计工作的初期便可考虑有 关装配和拆卸的问题以避免这些方面的设计缺陷。在进行虚拟装配时，设计人员首先将 在c a d 系统中建立的零件模型导入虚拟装配系统，然后在虚拟装配系统中设计人员直 接操作虚拟零件进行装配，有关产品可装配性的问题得到了验证，同时设计人员可以获 得许多有关产品的设计和制造工艺信息【4 】。下图1 1 所示为v a d e 虚拟装配系统组成。 图1 1v a d e 虚拟装配系统 f i g 1 1v a d e v i r t u a la s s e m b l ys y s t e m 美国通用汽车公司在开发新型汽车时，采用洞穴式沉浸虚拟现实系统和墙壁式投影 系统，从设计到装配都广泛应用了先进的虚拟装配技术。设计人员通过虚拟装配系统不 绪论 仅可以检验设计汽车初期存在的装配干涉等问题，而且可以优化汽车的装配顺序，编写 合理的装配工艺。由于采用了虚拟装配技术，新车的开发周期相比以前有了很大的提高。 美国国防部在开发一种新型军舰上采用了虚拟装配技术大约节约了6 0 万美元的开 发成本，而且节省了材料，船体重量减轻1 0 0 多吨，这种新型军艇的开发周期也从以前 的1 4 年缩短到了7 年。 美国波音公司设计的一架v s x 虚拟飞机通过头盔显示器) 和数据手套( d a t a g l o v e ) 进行观察和控制，使飞机设计人员可以身临其境地观察飞机设计的结果，并对其 外观、内部结构及使用性能进行观察检验，方便对虚拟飞机进行改进【5 】。 日本m a t s u s h i t a 公司开发的虚拟厨房设备制造系统，允许消费者在购买商品前，在 虚拟的厨房环境中体验不同设备的功能，按自己的喜好评价、选择和重组这些设备，他 们的选择将被存储，并通过网络送至生产部门进行生产【6 】。 国外对于虚拟装配技术的研究始于2 0 世纪9 0 年代中前期，由于虚拟装配技术优越 的应用前景，政府和企业对其支持力度比较大，加之装配制造业和科技水平的基础条件 比较优越，因此发展势头相当迅猛，目前国外许多国家的虚拟装配技术已经进入更深入 的研究和应用。国内对于虚拟装配技术的研究起步于2 0 世纪9 0 年代后期，发展速度也 非常迅猛，目前已经提出了许多有价值的理论，并取得了许多研究成果。但目前还处于 实验室阶段，大多没有应用到实际生产装配中。许多高校和企业联合开发，朝着实际应 用发展，相信不久虚拟装配技术将在神州大地开花结果。 国内浙江大学c a d & c g 国家重点实验室在四面投影虚拟环境c a v e 中开发了完全 沉浸式虚拟装配原形系统i v a s 。在此系统中，装配规划人员可以通过直接操作备选的 零、部件并对其进行拆卸规划，系统通过实时碰撞检测机制保证零部件拆卸过程的有效 性 7 】o 上海交通大学在p o w e rw a l l 环境下开发了面向大型复杂零件的虚拟装配系统。在该 环境中用户可以接近自然的方式来建立产品的装配序列和零部件装配路径，可视化、可感 知地分析装配工艺的优劣，得到合理实用的产品装配工艺。此外，虚拟装配系统还为复杂 产品的装配操作训练提供了有效手段。 基于v i r t o o l s 的虚拟装配系统关键技术研究 哈尔滨工业大学开发了基于虚拟现实的卫星虚拟装配工艺设计方法。其系统主要功 能包括工序工步规划、工艺文档生成、现场示教等【8 1 。其虚拟装配系统主要体现在装配 工艺的编排上。 虽然国内外研究人员在虚拟装配技术方面作了大量研究，但依然存在着许多尚需解 决的理论问题和技术障碍。主要是因为虚拟装配技术涉及到多学科技术的交叉运用，其 应用领域也是比较专业的。软、硬件技术也是制约虚拟装配发展的重要因素，还需要进 一步完善和提高。同时产品装配是一个非常复杂的过程，产品的应用领域也很广泛，因 此很难形成比较完善和适合于所有产品的虚拟装配系统。 1 3 本课题所做工作 本课题的研究目的主要是利用人机交互设备实现与虚拟装配场景进行产品虚拟装 配的基础性研究，以此推动人机交互设备在虚拟装配领域的应用。基于v i r t o o l s 平台 的虚拟装配系统涉及计算机图形学、人机交互技术、传感技术、人工智能等许多领域的 技术。在综合分析了目前虚拟装配存在的问题基础上，以v i r t o o l s 软件为平台开发了 进行虚拟装配的人机交互设备的接口，利用3 d sm a x 对虚拟手模型进行了真实建模，通 过人机交互设备操作虚拟手在虚拟场景中进行虚拟装配。主要完成以下工作： ( 1 ) 虚拟装配场景的建立。装配场景是虚拟装配真实性的基础，操作者是在虚拟 场景中进行虚拟装配的，因此首先需要建立的是虚拟装配场景，本文采用3 d sm a x 软件 建立虚拟装配场景，旨在提高虚拟装配的沉浸感。 ( 2 ) 模型、装配体和工装工具的建立。在p r o e 建模软件中建立进行简单装配的 装配模型和工装工具等。 ( 3 ) 虚拟手模型建立。分析人手模型特征以及运动特性，在3 d sm a x 中建立手模 型，最终将手模型导入到v i r t o o l s 中。 ( 4 ) 研究v i r t o o l s 与人机交互设备( 三维鼠标、数据手套、力反馈器) 的接口， 实现人机交互设备在虚拟装配系统中的应用。 ( 5 ) 从人手的简化模型入手，在v i r t o o l s 中实现虚拟手的仿真，最终实现人手与 模型手的实时交互动作。 绪论 1 4 论文结构安排 本文各章节的主要研究内容如下： 第一章绪论：介绍了虚拟现实技术的基本概念，通过调查研究分析了虚拟装配优 势以及不足之处。阐述了国内外研究现状及以后发展方向。对本课题所做工作简单介绍。 第二章虚拟装配系统组成：主要从虚拟装配环境、虚拟装配软件、虚拟装配人机 交互三方面介绍了虚拟装配的系统组成。 第三章虚拟手建模研究：从分析人手模型出发，根据人手的骨骼模型建立了人手 的二叉树模型，在此基础上通过3 d sm a x 建立了人手的骨骼模型和表皮模型，通过蒙 皮技术将骨骼模型和表皮模型合成一个整体。 第四章v i r t o o l s 中虚拟手控制：从v i r t o o l s 接口开发过程入手，介绍人机交互设备 接口的开发过程，主要包括数据手套操作虚拟手，位置跟踪器控制虚拟手的空间移动。 根据虚拟手运动特性，利用数据手套和位置跟踪器建立对虚拟手的控制程序。 第五章三维鼠标接口开发：开发三维鼠标与v i r t o o l s 之间的接口程序。在v i r t o o l s 中完成三维鼠标控制视角移动以及控制物体移动的程序。 第六章总结：对本论文的研究成果进行总结。 基于v i r t o o l s 的虚拟装配系统关键技术研究 第2 章虚拟装配系统 2 1 引言 虚拟装配是近几年兴起的一种通过计算机模拟实际装配的技术，虽然现在这种技术 还不是很成熟，但是其应用前景是被人们所看好的。虚拟装配对优化产品设计、避免或 减少物理模型制作、缩短装配周期、降低装配成本、提高装配操作人员的培训速度、提 高装配质量和效率具有重要意义【8 9 1 。 本章首先介绍了虚拟装配的系统组成，明确了虚拟装配的作用以及实现的目标，其 次对虚拟装配的人机交互设备进行分析，在此基础上，选择了合适的人机交互设备，最 后分析了虚拟装配软件，从虚拟装配的完备性、集成性、实时性等方面进行考虑，选择 了合适的软件进行虚拟装配系统的构建。 2 2 虚拟装配系统组成 虚拟装配系统包括虚拟装配环境、虚拟装配硬件和虚拟装配软件。一个好的虚拟装 配环境能给人带来强烈的真实，使人仿佛置身于真实的客观环境，因此虚拟装配环境是 研究虚拟装配的基础。虚拟装配中的硬件包括计算机，人机交互设备等，人机交互设备 能增加虚拟装配过程的真实感，虚拟装配硬件是进行虚拟装配操作的关键。虚拟装配软 件是连接虚拟环境和硬件的平台，虚拟装配软件是完成虚拟装配的最终表现，如图2 1 所示为虚拟装配系统的组成。 图2 1 虚拟装配系统 f i g 2 1v i r t u a la s s e m b l ys y s t e m 虚拟装配系统 23 虚拟装配环境 一咖 幽2 2 虚拟装配环境 f i g2 2v i r t u a la s s e m b l ye n v i r o n m e n t 要想使操作者有身临其境的装配感觉，虚拟装配环境是其中主要的一个因素，虚拟 装配环境由视觉环境、声音环境和触觉环境共同组成，如图2 2 所示。视觉是感知外界 事物的主要方式，同时在进行虚拟装配时，也是感知虚拟环境的主要方式。通过人的视 觉观察方式不同可以把虚拟装配环境分为以下几类：基于显示器的桌面式虚拟装配环 境，基于立体头盔的头盔式虚拟装配环境，基于大屏幕的大屏幕虚拟装配环境基于球 幕的球幕虚拟装配环境。桌面式虚拟装配环境采用个人计算机和低级工作站进行仿真， 通过三维软件建立模型以及简单的场景，可以实现模型的虚拟装配，碰撞检测等，它要 求参与者使用输入设备通过计算机屏幕观察3 6 0 度范围内的虚拟场景，并通过外围设 备操纵环境中的物体，但这时操作者缺少完全的沉浸感，因为受到周围环境的干扰，无 法将人的视觉范围完全控制在虚拟场景中。桌面式虚拟装配最大的缺点是缺乏真实的现 实装配，但这种系统的优点是价格比较便宜、组成结构简单、产品易于推广，因此受到 人们的青睐。头盔式虚拟装配环境是通过数据头盔来感受虚拟环境，数据头盔由两个交 替开关的l c d 镜片，同步信号红外发射器组成。正常工作时需要投影机的输出刷新频 率范围为9 6 1 4 4 h z ，其主要特点是产生的沉浸感比较强，但因为需要不断刷新频率，长 基于v i r t o o l s 的虚拟装配系统关键技术研究 时间佩戴容易引起眼睛疲劳、头部眩晕等感觉。大屏幕式虚拟装配环境是由类似于影院 屏幕的立体投影幕组成，可以让多人沉浸其中，操作人员通过佩戴立体眼镜便可感受到 周围的虚拟场景，使操作者仿佛置身于真实的客观世界中，因此可以产生很强的沉浸感， 但其成本相对较高，而且需要配备性能较高的图形工作站，因此它适合企业或高校使用。 球幕虚拟装配环境需要几个投影幕拼接成一个球体，多台投影机成像，真实感最强，但 是这就决定了其缺点：成本太高，技术难度大，边缘融合、曲面校正、图像拼接等关键 问题需要解决。 根据目前实际情况我们实验室组建了一套大屏幕虚拟装配环境，由一台h p 的高性 能图形工作站、两台b a r c o 公司的投影机、一张吸光屏幕和带偏振片的立体眼镜组成。 其工作原理是：由高性能图形工作站产生两幅图像，通过双通道的显视卡连接到两台投 影机上，投影机前分别放有一片互相垂直的偏振片，利用光的波粒二项性，将光分成水 平光和垂直光投影到吸光屏幕上，吸光屏幕可以减少投影机投出的画面光的折射，使画 面更加清晰，在通过立体眼镜( 左右眼互相垂直的偏振片) 将图像传给人眼，人们就可 以观察到立体图像。如图2 3 所示为立体成像系统。 i 带偏振片的 i 立体眼镜 8 图2 3 立体成像系统 f i g 2 3t h r e e - d i m e n s i o n a li m a g i n gs y s t e m 虚拟装配系统 24 虚拟装配系统的人机交互设备的应用及研究 虚拟装配系统同其他的计算机应用系统一样，虚拟装配系统的首要目标是建立一个 虚拟装配的场景，处于虚拟场景中的操作者与虚拟装配系统之间是相互作用，相互影响 的。当操作者完全沉浸在通过计算机生成的虚拟场景之中时，我们目前使用的交互设备 例如键盘，鼠标等就不能提供给操作者一个完全真实的感觉，因此必须采用其它更加有 效的方法和交互设备来与虚拟场景进行交互，即人对虚拟场景采用自然的输入方式，虚 拟场景要根据输入进行实时场景输出。这样才能让操作者感觉到一个接近实际的装配过 程。 虚拟装配与人进行自然交互的实现方法有很多，有语言模式识别、有通过获耻手的 信息的识别等多种形式。目前常用的人机交互设备包括三维鼠标、数据手套、位置跟踪 器、力反馈器、数据衣等。这些交互设备都是将人体信息传给计算机，从而与虚拟场景 进行交互，给人以身临其境的感觉。 2 41 三维鼠标 普通鼠标只能感受到二维的平面运动，而三维鼠标则能让操作者感受到在三维空间 中的运动，三维鼠标可以实现在虚拟场景中6 个自由度的操作，包括沿x 、y 、z 三个 方向的平移运动和绕x 、y 、z 三个轴的旋转运动。在三维空间中三维鼠标就比二维鼠 标方便适用，操作灵活。 图2 4 三维鼠标 f i g 2 4t h r e e s e t t y p e ( c k d l l _ b e h a v i o r p r o t o t y p e ) ； o d 一 s e t v e r s i o n ( 0 x 0 0 0 0 0 0 10 ) ； o d - s e t c r e a t i o n f u n c t i o n ( c r e a t e m y b u i l d i n g b l o c k p r o t o ) ； o d - s e t d e s c r i p t i o n ( ”e n t e ry o u rd e s c r i p t i o nh e r e ”) ； o d s e t c a t e g o r y ( ”m y ”) ； o d - s e t g u i d ( c k g u i d ( 0 x 9 3 b c 6 2 3 b ，0 x 7 e 9 5 d f d 8 ) ) ； o d 一 s e t a u t h o r g u i d ( c k g u i d ( 0 x 5 6 4 9 5 2 5 4 ，0 x 4 f 4 f 4 c 5 3 ) ) ； o d - s e t a u t h o r n a m e ( ”w c l ”) ； o d - s e t c o m p a t i b l e c l a s s l d ( c k c i db e o b j e c t ) ； 4 ) b u i l d i n gb l o c k 创建函数 创建函数主要是设置b u i l d i n gb l o c k 的参数，包括输入输出的个数如图4 3 一a 所示， 输入输出参数的个数和类型如图4 3 b 类型包括f l o a t 、v e r t e x 、硫等数据类型。 p r o t o - d e c l a r e l n p u t ( ”i n ”) ； 3 5 - v i r t o o l s 中虚菇【科2 1 9 j p r o t o - d e c l a r e o u t p u t ( “o u t ”) ； p r o t e - d e c l a r e o u t p a r a m e t e r ( ”t h u m b f a r c k p g u i d _ f l o a t ，”0 ”) ； p t o t o - s c t b e h a v i o r c , m l b a c k f c t ( t h m n b f a r c a l i b a c k , c k c bb e h a v i o r a t t a c h ， n u u j ) ， p r o t o - s e t f u n c t i o n ( t r t u m b f a r ) ； a ) 输人输出b ) 参数输 箱 图4 3 b u i l d i n g b l o c k 参数 f i g4 3b u i l d i n g b l c o k p a m m e k r 5 ) b u i l d i n gb l o c k 执行函数 b u i l d i n gb l o c k 的功能是通过执行函数来定义的，其中包括算法，返回类型等。例 如三维鼠标、数据手套、位景跟踪器的函数功能就是在执行函数中定义的。 43 数据手套操作接口开发 5 d t 数据手套提供了用户二次开发的s d k 。v i n o o l s 本身也提供一套支持外部插件 接口通过m i c r o s o f tv i s u a ls t u d i o n e t2 0 0 3 将v m o o l s 与数据手套结合起来开发控制 虚拟手的b u i l d i n gb l o c k 。通过g l o v ec o n t r o l 来传递数据手套传感器的值控制虚拟手。 以下是开发g l o v ec o n t r o l 的过程。 4 3 数据手套b u i f d i n gb i o c k 开发 在进行开发之前首先需要进行如下设置： ( 1 ) 包含v i r t o o l s 的头文件c k a l l 和数据手套的头文件r g l o v e h 。 ( 2 ) 添加v i a o o l s 的库文件c k 2l i b 、v x m a t hl i b 和数据手套库文件f g l o v e 1 i b 在连接数据手套之前需要确定连接方式，数据手套的连接方式有两种。一种是通过 c o m 口进行连接，另一种是通过u s b 进行连接。连接方式确定后就可以进行数据的采 集丁。数据手套共提供3 8 个函数，其中包括数据手套的开启、关闭以及手姿信息的获 基于v i r t o o l s 的虚拟装配系统关键技术研究 取等，通过这些函数可以得到各个传感器的值，以便对虚拟手进行控制。如图4 4 为获 取数据手套参数的流程图。 图4 4 数据手套开发流程图 f i g4 4 d a t a g l o v e d e v e l o p m e n t f l o wc | l a n 为保证数据手套模块的可移植性和扩展性将从数据手套获取的手的位娄信息进行 管理和封装到g l o v e d n 中。其中数据手套的1 4 个传感器都对应一个b u i l d i n gb l o c k 。 如图45 所示。 当u s b 端口检测到数据手套时，利用数据手套s d k 中提供的相关函数从各个传感 器中获得初始值并获取各传感器的最大、晟小初始值，利用以上信息获得虚拟手的实 际运动信息。 - _ 峒删h 凡 - 一_ 单删- 口 d - 一 一_ o l 忡_ 一_ 舭o _ 一 口1 4 。一忡忡- 0 ； - - “o h 一峰- n - mn ， - _ 0 一m k 口1m - _ _ 呻- 口瞩 目4 5 数据手套的b u i 阳i n g b l o c k f i g4 5 b u i l d i n g b l o c ko f d a t a g l o v e v i a o o s 中虚拟手控制 4 32v ir t o o ls 中控制虚拟手 根据手骨的二叉树模型在v i n o o l s 中确定手骨每个关节对象的关系，在v i r t o o l s 中各 关节也成二叉树状。腕骨作为根节点如图4 6 所示。 图4 6v i n o o l s 中手关节的二叉树图 r i g4 6 v i r c o o l s b i n a r y t r e e d i a g r a m i n t h e h a n d j o i n t s 下面通过食指远端关节来介绍控制虚拟手的运动方式。将开发好的食指远端关节接 口i n d e xf a r 拖到i n d e x 脚本中并进行连接，i n d e xf a r 将输出传感器的弯曲参数，每个传 感器输出参数时都需要进行校正，校正公式如下： e ：旦( 4 1 ) s 其中，e 。h ，s ，a 分别为校正值，手指实际活动范围，传感器采样范围，手指最 大弯曲角度。 传感器值范围已经定义为o 1 0 ，v m a x v m i n 表示手指实际活动范围手指最大活 动角度如表( 41 ) 所示因此各手指校正值如下： o t h u m = ( v m a x v m i n ) 01 4 o t h u l | l b h = ( v m a x v m i n ) 01 5 7 基于v i r t o o l s 的虚拟装配系统关键技术研究 o 廿i u m b i i i d e x = ( v m a x - v m i n ) 0 0 7 o i n d e x n e a r = ( v m a x - v r n i n ) 0 1 5 7 o i i l d 幽 = ( v m a x v m i n ) 0 18 8 o 硫l 锄i d d l c = ( v r n a x - v m i n ) x0 0 5 2 o m i d d l e n e m = ( v m a x - v m i n ) 0 1 5 7 o m i d d l c f a r = ( v m a x - v m i n ) 0 18 8 o m i d d l e r i n g = ( v m a x - v m i n ) 0 0 5 2 o 血印哪 = ( v m a x v m i n 0 1 5 7 o n n 咖 = ( v m a x v m i n ) 0 18 8 o 删i m e = ( v m a x v m i n ) 0 0 5 2 o n t t l e n e a f= ( v m a x - v m i n ) x0 1 5 7 o l i t t l e f a r = ( v m a x v m i n ) 0 18 8 表4 1 手指活动角厦 t a b 4 1f i n g e rm o v e m e n ta n g l e 食指 9 0 01 0 8 09 0 04 0 0 中指 9 0 01 0 8 09 0 03 0 0 无名指 9 0 01 0 8 09 0 0 3 0 0 小指 9 0 0 1 0 8 0 9 0 03 0 0 手指的近端指骨与中间指骨之间关节的弯曲角度p 和中间指骨与远端指骨之间的 弯曲角度o r , 存在着如公式4 2 所示的近似关系： 0 【= 必p ( 4 2 ) 由于从数据手套中只能采集到近端指骨与中间指骨的弯曲角度的值，无法得到中间 指骨与远端指骨之间的弯曲角度的值，所以可通过公式3 1 近似得出。 v i r e 0 0 h 中虚拟手控制 下图为通过b u i l d i n gb l o c k 搭建的控制中间指骨与远端指骨之间弯曲角度的程序控 制图，图4 7 中区域1 为掌骨与近端指骨直接弯曲角度的设定程序，其中包括数据校正， 位置的设定和角度的设定，区域2 为食指与中指之间角度的控制。如图4 7 中区域1 为 近端指骨与中间指骨之间完全角度的控制，区域2 为中间指骨和远端指骨之间夹角的控 制。 图47 食指弯曲控制 f i g 4 7 i n d e x f i n g e r b e n d i n g c o n t r o l 图4 8 食指夹角控制 f i g4 8 n 翻ec o n 口o lo f t h e i n d e x f i n g e r 43 3 虚拟手交互实验 通过数据手套控制虚拟手位姿，当人手摆出不同的手姿，数据手套通过传感器将这 些位姿信息传给计算机，在通过v i r t o o l s 中的控制程序控制虚拟手的位姿。5 d t 数据手 套本身有1 6 种默认位姿，但对与人手的变化还是不够的，在这里通过v i r t o o l s 控制的虚 拟手可以根据人手摆出任意位姿，虚拟手不仅有弯曲变化还有角度变化，增加了虚拟手 基于v i r t a o l s 的虚拟装配系统关键技术研究 的灵活性。下图4 9 - a 为握拳状，可看出每个手指的最大弯曲程度，图4 9 - b 为五指全部 伸直，反映的是每个手指的最大伸直程度。 图49 虚拟手的手姿 f i g4 9 p o s s eo f v i r t u a l h a n d 44 位置跟踪器开发 数据手套可以对虚拟手的位姿进行控制，但是却无法控制虚拟手在三维空间运动， 这时我们就需要利用位置跟踪器来操作虚拟手的运动。使虚拟手可以在三维空间进行移 动和旋转。我们所采用的位置跟踪器是a s c e n s i o n 公司提供的鸟群跟踪器( f l o c ko f b 1 r d ) ，以下简称f o b 。 v i r t o o l s 中虚拟手控制 4 4 1f o b 开发包特点 a s c e n s i o n 公司提供的f o b 开发包提供了一系列a p i 函数供用户使用。在这些提供 的a p i 函数中，对硬件的驱动与关闭、对串口的操作等进行了封装，使用简单方便，适 合于根据用于需要随时对f o b 硬件进行启动与停止的应用场合，且稳定性好。 4 4 2f o b 开发包的使用 f o b 提供头文件b i r d h 和静态链接库文件b i r d 1 i b 以便用户开发使用。在程序运行 之前，需要将开发包之中的b i r d d n 文件拷贝到c ：w i n d o w s s y s t e m 3 2 目录下。 4 4 3f o b 开发步骤 ( 1 ) 初始化：需要指明b i r d 数目、组i d 、波特率等参数。 ( 2 ) 系统设置：可以改变b i r d 数目、波特率等参数。 ( 3 ) 设备设置：可以设置b i r d 所在半球、获取数据类型等。 ( 4 ) 启动设备数据获取：只有启动数据获取后，才能接收到数据。 ( 5 ) 获取数据：若有数据，则可以获取数据。 ( 6