（机械电子工程专业论文）基于vega的虚拟装配系统关键技术研究.pdf

摘要 本文介绍了虚拟装配的基本原理和现阶段国内外研究现状，以及虚拟装配在 汽车、飞机、电子设备等工业中的应用；将d i g u ys c e n 撕。与v e g a 进行整合建立 了虚拟装配系统；给d i g u y 软件提供的人体模型加入创建的人手模型并为人手关 节变量进行了定义，实现了在虚拟手套和位置跟踪器的控制下进行运动控制，并 可以对整个人体关节变量进行访问控制；对普遍运用的碰撞检测方法和v e g a 下的 碰撞检测方法进行了研究，并对v e g a 下的碰撞检测方法进行了改进使系统下碰撞 检测速度加快并且精确，实现了基于该方法基础上的手模型抓取操作。 借助机器入原理的研究，对人手模型抓取过程中的抓取力进行了研究，抓取 条件及抓取稳定条件进行了研究；实现了三维环境中对零件进行点选，并可以使 得零件可以随鼠标在三维环境中进行移动，同时记录移动过程的坐标位置，如此 我们可以实现对装配路径进行记录，以后对装配路径进行回放以检查装配中出现 的问题，为实现装配打下基础。 研究了基于装配特征和装配力引导的虚拟装配方法，提出了具体的实施措施， 为实现虚拟装配奠定了基础。 关键词：虚拟手几何建模和骨骼建模虚拟手运动控制碰撞检测抓取力 装配特征和装配力 a b s t r a c t v i r t u a lh a n dm a l l i p u l a t i o ni sa 嘶t i c a lt e d m q u e i nv i n u a l 嬲s e i 】胁l ya n dv i n u a l o p e r a t i o n 1 1 1t h i sp 印e r ，w eh a v e 仃e a t e dw i m t h ef o l l o w i n gp r o b l e m s ：av i r t u a l a s s e 蜘【b l ve n “r 0 1 m e n ti sc o n s t m c t e db a s e d o nd i g u ya 1 1 dv e g as o r w a r e am a i lm o d e l i sb u i l tb ya d d i n gh a n dm o d e l sw ec r e a t et oa m a i lm o d e lt h a td i g u ys o 脚a r ep r o d e s a tm es 锄et i m ew ed e f i n et h em o t i o nv a r i a b l e so f t h eh 锄【dm o d e l s a n db yc o n n e c t l n g d e v i c e ss u c ha s5 d td a t a 西o v e sa n df o bt r a c k i n gs y s t e m ，t h em a n m o d e lc a 苴lb e c o n t r o l l e da n dd om a n yg e s t u r e sa sw em o v eo u r b o d i e s a n dt oa v o i dc r o s s m gw h e n t w om o d e l sc o n t a c t ，w ei m p r o v em ec o l l i s i o nd e t e c t i o na l g o r i t i nv e g ac n v l r o 姗e n t t oc o l l i d em o r ee m c i e n t l ya n da c c u r a t e l y a r e rr e s e a r c h i n gt h er o b o tp f i n c i p l e ，伊a b b i n gf o r c e s 吼d 莎a b b i n g s t a t ea r c a 1 1 a l y z e dw h e np i c k i n gp a i t m o d e l s p i d d n gm o d e l s w i mm o u s ei n3 ds p a c e e n v i r o n m e n ti sa c h i e v e da i l dp a t hp o i n t sc a nb er e c o r d e dw h 肌m o v i n g m em o d e l s a n d t 1 1 r o u 幽t h e s ep o i n t sw ec a nd r a w 孤a s s e n l b l yp a m a n dr e p l a yw h e nw en e e dt oc h e c k p r o b l e m si nm ea s s e n m l yp r o c e s s a na s s 锄b l ym e m o db a s e do np a n sf e a t u r e sa n da s s e n l b l yf 酐c ei sp r o p o s e d k e y w o r d ： g e o m e t r i c a la n d s k e i e t a lm o d e i i n go fv i r t u a lh a n d m a n i p u l a t i o no f v i r t u a lh a n dm o d e l c o l l i s i o nd e t e c t i o n g r a s p i n gf b r c e a s s e m b l y f e a t u r e sa n da s s e m b l yf o r c e 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人 在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢中所罗列的内容以外，论文中不包含其他入已经发表或撰写过的研究 成果：也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的 说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：苤企遣日期塑翌2 。五p 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名：箍鸳 导师签名：豇堕至 日期! ! ：! ! ! 三 第一章绪论 第一章绪论 1 1 虚拟装配技术的概念及其发展 1 1 1 虚拟装配概念 虚拟现实( v i n u a lr e a l i t 、，v r ) 将是继多媒体、计算机网络之后，最具有应用 前景的一种技术。它可应用于建模与仿真、科学计算可视化、设计与规划、教育 与训练、医学、艺术与娱乐等方面。虚拟现实技术是一项综合的技术，涉及计算 机科学、电子学、心理学、计算机图形学、人机接口技术、传感技术及人工智能 技术等。这种技术的特点在于，运用计算机对现实世界进行全面仿真，创建与现 实社会类似的环境，通过多种传感设备使用户“投入”到该环境中，使用户与该环境 直接进行自然交互，具有多感知，沉浸，交互的特征。 虚拟装配技术是近年来计算机辅助设计领域的研究热点之一【2 5 1 。“虚拟装配” ( v i 咖a la s s e m b l y ) 是产品数字化定义中的一个重要环节，在虚拟技术领域和仿 真领域得到了广泛的应用研究。虚拟装配是一种零件模型按约束关系进行重新定 位的过程，是有效分析产品设计合理性的一种手段；是根据产品设计的形状特性、 精度特性，真实地模拟产品三维装配过程，并允许用户以交互方式控制产品的三 维真实模拟装配过程，以检验产品的可装配性。 1 1 2 虚拟装配的现状与发展 虚拟装配技术自诞生以来经过了长足的发展，各国对虚拟装配技术的研究已 经比较深入，其理论也比较完善。 1 ) 国外虚拟装配技术的研究现状 国外虚拟装配技术的代表是美国华盛顿州立大学与美国国家标准技术研究所 n i s t 合作开发的虚拟装配设计环境w 国e 【1 4 】，v a d e 是一个具有代表性的虚拟装 配系统。j a y a r a m 等开发v a d e 的目的是通过生成一个用于装配规划和评价的虚拟 环境来探索产品设计制造中运用虚拟现实技术的可能性。 加拿大y u a i l 等提出了一个虚拟环境中交互式装配序列规划算法。首先，设计 者在虚拟环境中交互定义初始装配序列，然后，算法根据初始装配序列与零件间 的约束关系进行约束推导，并根据约束推导结果产生所有可行的装配序列，最后， 设计者交互地进行装配序列评估。 德国b i e l e f e l d 大学j u n g 等致力与将虚拟现实交互技术与人工智能技术结合， 开发了基于知识的虚拟装配系统c o d y 。c o d y 的一个重要特色在于，支持用户 以自然语言的形式表达简单的命令。 希腊p a t r a s 大学c l 珂s s 0 1 0 耐s 等开发了虚拟装配工作单元( 们n u a la s s 踟1 b l y w o r kc e l l ) ，并以快艇的螺旋桨装配为例，对装配过程中的人机因素进行定性评价 基于v e g a 的虚拟装配系统关键技术研究 与定量评估。 英国伯明翰大学b o u d 等对基于传动地装配任务培训( 通过图纸) 、基于虚拟现 实的装配任务培训( 包括桌面型v r 与沉浸式v r ) 、基于增强现实( a r ) 的装配任务 培训进行了对比实验，分别采用上述方式对3 组实验对象进行装配培训，并让实 验对象进行由8 个零件组成的水泵的装配。实验表明，与传统方式中的装配任务 培训相比，基于虚拟现实与增强现实的装配任务培训能显著地提高用户进行实际 产品装配的效率与质量。 2 ) 国内虚拟装配技术的研究现状 浙江大学c a d c g 国家重点实验室万华根、高曙明、彭群生在基于虚拟现 实的c a d 方法研究中，提出通过“用户引导的拆卸”进行拆卸过程仿真，得到零、 部件的拆卸顺序和拆卸路径，从而确定产品的装配序列。 中国科学院软件研究所程成、陈由迪、戴国忠从人机交互的角度，提出了一 个基于场景的虚拟环境用户界面模型，以虚拟装配为应用实例进行了验证与实现， 并给出了装配车间场景的五个情节：零件进入装配车间、零件匹配、装配特征匹 配、约束识别与装配。 北京航空航天大学吴威、隋爱娜等采用力位置混合控制的方法，将力和位置 的控制模型分别转换为约束模型和自由移动模型，并通过具有力反馈的数据手套 使操作者在虚拟装配过程中感受到力反馈，从而实现虚拟装配过程中力觉临场感。 1 2 论文的背景与主要工作 1 2 1 论文的背景 目前对于虚拟装配系统的研究时间还不长，各种理论和方法还不成熟，虚拟 装配环境中的细节技术还有很多不足之处， 主要集中表现在以下几个方面： ( 1 ) 虚拟装配系统中虚拟手的建模缺乏真实性 虚拟装配环境中对虚拟手的操作十分重要，目前虚拟环境研究中的虚拟 手模型大部分是作者自己重新建立简单的模型，看起来比较粗糙，缺乏一定 地真实性。而虚拟手的建模是虚拟环境中实现抓握技术的基础；所以对虚拟 手进行真实建模是实现虚拟装配的前提和重要奠基。 ( 2 ) 虚拟装配环境中的碰撞检测技术还不够实时精确 碰撞检测是虚拟环境中的关键技术，没有碰撞检测技术，物体间运动将会 出现穿透现象。实时精确的碰撞检测对提高虚拟环境的真实性、增强虚拟环 境的沉浸感有着至关重要的作用。目前的碰撞检测算法已有很多，但往往不 能满足特定的虚拟环境需求。如果采取精确的碰撞检测算法，往往很费时间 和内存，不能达到实时的要求；但如果采取粗糙的碰撞检测算法，则不能达 第一章绪论 3 到精确检测的目的。 ( 3 ) 对实现真实抓取的研究不够 虽然碰撞检测能够实现手模型与物体的接触而不穿透物体，但接触并不 表明已经将物体抓住。现实中人手的抓取是需要施加力的作用的，因此为了 真实模拟人手的抓取，我们需要在虚拟环境中引入手模型力学系统的分析。 目前已有许多这方面的研究，如梅继红【l 】等在抓取稳定性分析中考虑了力的平 衡分析，并对虚拟接触力进行了简单建模研究，同时对虚拟物体进行了运动 解算；但该文章只是大体提出了力分析的初步框架而没有进行具体分析，如 没有将手的运动学分析与力的分析结合起来，没有对手的可操作抓取进行进 一步研究；杨文珍【l l 】【1 2 】等虽然具体提出了抓持时的通用力学模型，但也没有 对手的可操作抓取进行分析。 ( 4 ) 装配过程演示不够真实 目前大部分虚拟装配过程是基于装配语义及装配特征，并没有对装配前 的装配力进行分析，本文对现实中装配过程进行了分析，对装配前的装配力 进行了考虑，提出了基于装配特征和装配力引导的虚拟装配方法。 本文针对目前虚拟装配环境中存在的以上不足，有必要对虚拟装配环境中 的细节关键技术进行研究。在虚拟手建模、碰撞检测、抓取力分析、装配特 征、装配力、装配路径规划等关键技术进行研究的基础上，提出了一种基于 装配特征和装配力引导的虚拟装配方法，实现了沉浸式虚拟抓取的原型系统， 并借助鼠标实现了虚拟装配路径的回放。本论文研究的意义如下： 1 ) 对虚拟手模型进行了真实建模。虚拟手建模是虚拟操作的基础，手模 型的真实性直接影响到虚拟操作的真实性，因此有必要对虚拟手建模的真实 性进行一定地研究。至于这种真实性地实现，目前已经有很多人体建模软件， 如p o s e r 软件，专门针对人体结构分析建成了逼真的模型体；d i g u y 人体仿真软 件不仅提供了人体模型，还提供一系列根据人体动力学研究出的人体动作， 比如行走，停止，跑步，舞蹈等等。因此人体模型我们可以直接借用d i g u y 提 供的人体模型，但d i g u y 软件提供的人手模型骨骼结构过于简单，不能满足我 们在虚拟环境中进行人手抓握的需求，因此有必要对其改进，引入我们自己 创建的虚拟手真实感模型。 2 ) 能够实现实时精确的碰撞检测。在对v e g a 环境提供的碰撞检测方法 进行研究的基础上引入基于物体几何层次线的包络体，并在此基础上进行碰 撞检测，有效地提高了碰撞检测的速度及精度测试。 3 ) 研究了虚拟抓取力，为实现真实抓握奠定了基础。在现实中实现对零 件体的抓握需要对零件施加力的作用，为此在虚拟环境中需要我们将这种抓 取力的作用模拟出来，因此有必要对虚拟抓取力进行分析。 4 基于v e g a 的虚拟装配系统关键技术研究 4 ) 提取零件的装配特征，对装配力进行计算，提出了基于装配特征和装 配力引导的虚拟装配方法。装配特征的提取是实现虚拟装配的前提和基础， 因为现实中大部分装配最终归结为基于轴线贴齐及面面贴合的装配，因此可 以通过装配特征的提取对零件装配进行识别，通过碰撞检测技术进行预定位， 最后施加装配力完成装配过程。 l 。2 2 论文的主要工作 在综合分析了目前虚拟装配环境存在的问题基础上，作者以v e g a 软件 为平台设计了虚拟装配环境，对虚拟手模型进行了真实建模，提出了基于线 包络体的碰撞检测算法，研究了虚拟抓取力及在虚拟环境中如何实现装配。 本文研究内容有以下几个方面： 1 ) 对虚拟手进行了真实建模，并对虚拟手配置了层次结构，最后运用关 节技术对虚拟手关节进行了骨骼建模，同时与人体模型进行了整合，并配合 数据手套和位置跟踪器实现了对虚拟手臂的运动控制。 2 ) 研究了碰撞检测技术，提出了基于线包络体的碰撞体生成算法，实现 了基于碰撞检测的虚拟手抓取技术。 3 ) 对虚拟手抓取零件时的抓取力进行了研究，研究了抓取过程中的抓取 特性，摩擦锥，抓取力大小及力矩动力学平衡方程和抓取约束，为实现基于 力的抓取奠定了基础。 4 ) 研究了基于装配特征和装配力引导的虚拟装配方法，提出了具体的实 施措施，为实现虚拟装配奠定了基础。 5 ) 根据本文的研究内容，开发了虚拟装配原型系统，实现了虚拟手对零 件的抓取，并借用鼠标实现了三维环境中零件的拾取和移动，同时可以对零 件的移动坐标进行记录，生成装配路径，有助于进行动画演示，发现装配缺 陷。 1 3 章节安排 本文各章节的主要研究内容如下： 第一章绪论：综述了虚拟装配技术的概念、研究及应用现状，分析了目前 虚拟装配系统的优点与不足，最后阐述了虚拟装配系统中的关键技术虚 拟手建模，碰撞检测，虚拟抓取力及基于装配特征和装配力引导的虚拟装配。 第二章虚拟装配系统总体方案设计：主要从总体论述了我们建立的系统 设计目标，设计思想，总体结构以及工作流程方案。 第一章绪论 第三章虚拟手建模研究：主要实现了虚拟手的层次结构建模和骨骼建模，对 虚拟手模型配置了关节变量并与人体模型进行了整合，配合数据手套和位置跟踪 器实现了对虚拟手臂的运动控制。 第四章虚拟装配环境中碰撞检测算法研究：本章在碰撞检测算法进行分析的 基础上，提取物体表面点坐标，建立碰撞检测的线包络体积，实现了以线包络体 为基础的碰撞检测算法，提高了碰撞检测的速度和精度。 第五章虚拟手抓取力研究：本章对抓取特性进行了研究，并在此基础上对虚 拟手抓物体时的抓取力方向、大小及实现可操作抓取的抓取约束条件进行了分析， 为实现基于力的抓取奠定了基础。 第六章基于装配特征和装配力引导的虚拟装配方法：介绍了零件的装配特征 和装配力计算，提出了基于装配特征和装配力引导的虚拟装配方法，并叙述了其 基本思想和流程。 第七章虚拟装配原型系统的实现和应用：本文以v e g a 软件为平台，开发了 虚拟装配环境。实现了对虚拟手臂的建模和运动控制；基于碰撞检测的抓取；并 以鼠标为依托实现了对三维零件的拾取、移动，同时对移动路径进行了记录，可 以进行装配路径动画回放，以检查装配中出现的问题。 第二章虚拟装配系统总体方案设计 第二章虚拟装配系统总体方案设计 介绍了我们设计的软件系统设计目标，设计思想以及系统的总体框架结构和 工作流程。 2 1 系统设计目标 虚拟装配技术具有广泛的应用前景，但其理论和方法尚不成熟，大多数虚拟 装配场景并不能做到真正的“虚拟现实 。本文以提高虚拟装配场景的真实性为目 的，开发了以v e g a 软 件为平台，对人体进行 控制的虚拟装配原型 系统。 系统装配场景模 块实现如下：首先我们 需要建构整体虚拟装 配场景，然后向场景中 加入操作者，并将建好 的零件模型导入到场 景中准备实现装配。提 取零件的装配特征以 便对装配零件进行识 别，接着操作者在建好 的虚拟装配场景中链 接数据设备，同时运用 碰撞检测技术并施加一 建立虚拟装配场 景 到碰撞 、 是 在场景中加入人 并将零件模型导 入到场景中 对导入的零件 进行装配特征 提取 li 虚拟人通过碰 手模型带动il 撞检测及施加 零件移动h 抓取力拾取零 一了一一一一1 件 图2 1 系统装配流程图 定大小的抓取力拾取零件后移动零件逐渐靠近待装配体；系统检测到碰撞检测后 判断零件是否满足配合关系，若满足则调整零件位姿到精确定位位置，对待装配 零件施加装配力进行装配，最后通过特征匹配检查是否满足装配约束关系。系统 的装配流程图如上2 1 所示。 2 2 系统设计思想 2 2 1 装配场景建模的真实性 目前大部分装配系统存在很多问题，其中装配场景建模缺乏真实性列入其中， 我们知道用p r o e ，c a t i a 等基于特征的建模软件建立的场景如厂房会非常复杂，并 且也缺少真实性；而c r e a t o r 软件建构场景的功能很强，它可以批量建构厂房、道 路等而且模型面片数也不会很复杂，结合v e g a 软件可以对建构的场景进行浏览， 基于v e g a 的虚拟装配系统关键技术研究 因此借助这些软件我们可以顺利建构漂亮而面片数又不是很多的场景，由此我们 选定这两个软件进行装配场景构建简单真实漂亮。 2 2 2 操作者操作的真实性 2 2 2 1 手模型创建的真实性 目前对于装配系统尚处于研究阶段，因此对于操作者模型的建立不是很复杂 就是特别粗糙；另一个问题是就算建立的模型符合要求，对于人体关节的操作也 很费神，因为人体有很多关节需要平衡操作，如果操作不真实，将直接影响到装 配的真实性。 我们进行研究后发现，d i g u y 软件中有现成的人体模型，并且已经为各个人 体模型提供了骨骼框架即关节控制，如此我们可以以此为基础进行研究，并且该 软件支持我们自己建立人体模型。但该软件主要是针对军队集训等进行设计的， 因此对于细节的建立并不细致，比如说虚拟装配系统的基础手模型的创建该软件 提供的人体模型并没有进行细致创建，也没有对手模型关节变量进行定义。本文 对虚拟手模型进行了细致建模，并对手模型各段设置了关节变量，如此通过接入 设备我们可以自如的对我们建立的手模型进行控制，为装配打下基础。 2 2 2 2 基于碰撞检测的抓取技术 我们知道在虚拟装配环境中一个关键的技术为碰撞检测，没有碰撞检测技术， 零件间会出现穿透，同样手模型操作过程中也会出现穿插现象。同时虚拟环境的 碰撞检测技术必须满足快速、精确的特点，针对这一问题我们对建立的虚拟装配 环境中的碰撞检测技术进行了研究，通过对v e g a 软件中提供的碰撞检测方法进行 研究，提出通过访问模型点的底层信息即点信息建立完全包络模型的包络体，通 过以线为基础的包络体代替以面为基础建立的包络体进行碰撞检测提高了碰撞检 测的速度和精度，并且手模型进行抓取零件时实时精确也不会出现穿透现象。 2 2 2 3 基于力的抓取技术 我们知道现实中拾取零件是通过克服零件的重力以及与零件间的摩擦力实现 抓取的，因此我们通过联系机器人理论中的知识对手模型拾取零件过程进行了动 力学分析，通过对零件施加力的作用使其更接近现实中的操作过程。本文对手模 型进行抓取过程中的抓取力方向、大小及运动过程中的约束进行了研究分析。 2 2 3 基于装配特征和装配力引导的虚拟装配方法 目前大部分三维零件设计软件均是基于特征进行建模，并且也是通过识别零 第二章虚拟装配系统总体方案设计 9 件间的特征进行装配的；现实当中用装配工具对零件进行装配时需要施加一定作 用的装配力才能完成对零件的准确定位。因此我们结合软件的特性及现实中的装 配过程提出了基于装配特征和装配力引导的虚拟装配方法，该方法的运用将对虚 拟装配仿真过程做出贡献。 2 2 4 装配路径动画演示 v e g a 环境中提供了模型运动路径和导航处理，我们可以对零件运动过程中的 路径进行记录实现装配路径回放功能，形象地展示零件的装配过程，发现装配过 程中出现的问题。由于设备的限制，作者实现了用鼠标在建立的三维环境中分别 点选各个零件进行移动，对装配顺序进行记录，同时记录各个零件的运动路径并 进行回放观察的功能。 2 3 系统总体结构 结合目前的虚拟装配系统，作者以v e g a 软件和d i g u y 软件为平台，以 c + + b u i l d e r 为开发工具，开发了虚拟装配原型系统。该系统的总体结构如图2 2 所示。 该系统有五个模块组成，分别是用户界面模块、数据输入模块、虚拟操作模 块、虚拟装配模块和数据输出模块，下面详细介绍各模块功能。 数据输入 虚拟操作虚拟装配 数据输出 图2 2 系统总体结构 1 ) 用户界面设计模块 用户界面模块包括各种虚拟现实外围设备，操作者利用这些虚拟外设直接与 虚拟装配系统进行交互，虚拟外设包括位置跟踪器( f l o c ko f b i r d s ) 两个、数据手套 ( 5 d td a t ag l o v e5 ) 、头盔式显示器、立体眼镜等。 1 0 基于g a 的虚拟装配系统关键技术研究 2 ) 数据输入模块 这个模块的任务是将零件的几何模型实体、零件的几何参数信息( 包括零件 的几何尺寸、加工精度等) 、零件物理参数信息( 如：零件的重量、转动惯量、表 面摩擦系数等) 和零件的装配特征信息( 主要是参与装配的一些几何元素，如轴 线、端面等) 输入到虚拟装配系统，生成虚拟装配系统需要的装配零件模型。 3 ) 虚拟操作模块 虚拟操作模块是虚拟装配的基础。该模块包括向装配场景中加入操作者模型、 碰撞检测算法及抓取中动力学分析等。操作者模型的添加是通过对虚拟手模型进 行建模并定义关节变量与人体模型进行整合生成可操作的人体模型；碰撞检测算 法是进行操作的基础，实时精确的碰撞检测对提高操作演示的真实性至关重要； 抓取动力学分析是在抓取过程中对虚拟手模型进行动力学分析，实现真实抓取。 4 ) 虚拟装配模块 虚拟装配模块是系统各个模块的核心，其它功能模块都是为它服务的。该模 块包括装配特征信息提取、虚拟装配环境软件配置、虚拟装配环境硬件配置和硬 件驱动、碰撞检测算法及装配力施加等。虚拟装配环境软件配置包括对装配环境 中各种环境因素进行配置，如坐标系的设定、光线的设定、立体视觉的生成、阴 影的设置等。装配约束添加是在建立的环境中将零件的装配信息导入并加以标记； 虚拟环境硬件配置是对装配环境中的虚拟外设进行配置，包括位置跟踪设备、立 体显示设备、数据手套等。虚拟环境硬件驱动包含了各种虚拟外设的驱动程序， 驱动虚拟外设完成特定的功能；碰撞检测算法是在已提供的方法基础上通过改进 使其更符合装配环境的要求，避免零件间出现穿透现象；装配力施加是在装配过 程中对零件施加装配力进行装配，以接近真实装配过程。 5 ) 数据输出模块 数据输出模块输出装配零件的装配顺序记录、零件的装配路径、装配过程的 动画记录、装配零件的碰撞检测报告。装配顺序文件指导装配工艺的制定；对零 件装配路径信息的分析是用来找出最短的装配路径；装配过程动画可以用于展示 合理高效的装配过程；碰撞检测报告为产品设计更改提供参考，产品设计更改包 括零件尺寸形状的修改和产品结构的修改等。 2 4 系统工作流程 真实的产品装配是在装配车间进行的，装配工人使用各种装配工具对零件进 行装配，直到形成最终的产品。在c a d 系统中，产品装配是通过设计人员依次将 设计的零件调入计算机，然后依靠零件上的几何元素建立零件间的约束关系，将 零件旋转或平移到目标位置，最终在计算机中形成产品的装配模型。在虚拟装配 操作系统中，操作人员置身虚拟环境中，借助虚拟外设对零件进行操作【3 9 1 。 第二章虚拟装配系统总体方案设计 我们建立的基于v e g a 软件平台的虚拟装配系统工作流程分为四个部分：数据 输入过程，虚拟操作过程，虚拟装配过程及数据输出过程。基本工作流程图如图 2 3 所示。 1 ) 数据输入过程：虚拟装配系统 操作的对象是各种虚拟物体，首先根据 需求分析完成对装配零件的设计，然后 根据设计信息构建装配零件的虚拟模 型，同时将零件的几何参数信息、物理 属性信息和零件包含的各种工程设计 信息指定给它，将这些信息输入数据 库。零件的几何模型描述了零件的几何 形状和外观，由p r o e 软件系统生成， 也可以由其它c a d 系统生成的零件几 何模型转换得到。目前的c a d 系统还 无法做到智能化，因而零件的装配特征 信息的提取主要是由人工完成。将这些 信息附加到零件上是为了保证零件在 虚拟装配环境下能按照设计者的设计 意图实现零件间的定位和约束。 l圈 ； l 露运一i l 剜竺竺弧三鲎瑟 l匪 i ：降矸骊稿瓢网l ：i 提取 i !一一一一一一：=i：f一一一一一一一一一一一i i一+。一。商一一一一一一一一一i 零件模型导入l； l 匿圈毒杀惺； l 匾群 嚯| 望毫巨= 熙 | 圈圉圈l l 耐：! ：! 兰! 耋竺悃| l 幽x 二二 兰u 数 据 输 入 过 程 2 ) 虚拟操作过程：在零件进行装i - 一南一卉一1 配之前，需要操作者对零件进行抓取操ll 篓ll 蠢|i 蓁 作，如此我们需要加入操作者人体模型il 器|l 曩li 誓 尤其是手模型需要真实建模和关节定i | 璺il 篓i 义，同时对虚拟装配系统的整体环境、 i斟 u ! 虚拟现实外围数据设备进行连接驱动和设置。图2 3 系统工作流程 在这一过程中我们在d i g u y 软件提供的人体模型的基础上需要用p o s e r 软件( 当然 3 d m a x 自己建立也可以，但没有p o s e r 软件建立的模型真实) 建立手模型后进行 关节变量定义，这样我们便可以通过数据手套对定义的手模型关节进行控制。同 时我们需要对抓取过程中的动力学进行分析使其更接近真实操作。 3 ) 虚拟装配过程：在对零件进行装配之前，需要对虚拟环境中的装配力、零 件间碰撞检测、零件装配特征等进行设置。我们将提取零件的装配特征信息在我 们建构的系统下进行零件装配特征标记【3 9 1 ，在上述设置完成后，在装配力施加的 情况下借助虚拟现实外围数据设备在虚拟装配环境中完成对零件的装配工作。详 细的装配流程我们在本章开始已经介绍过了，流程图见图2 1 。 4 ) 数据输出过程：虚拟装配的最终结果是得到零件的虚拟装配模型以及系统 虚拟操作过程 虚拟装配过程 基于v e g a 的虚拟装配系统关键技术研究 对装配过程中的重要记录。这些记录包括：零件装配路径、零件扫掠轨迹、零件 碰撞检测报告、零件装配顺序和装配过程动画等，这些记录可以与其他系统进行 数据交换。 2 5 小结 本章主要总体描述了一下我们所建立的以v e g a 为平台的虚拟装配系统的设计 目标，设计思想以及其总体结构和工作流程。接下来几章我们将针对该系统涉及 的各项技术分别从虚拟手建模、碰撞检测技术、抓取力分析、基于装配特征和装 配力引导的虚拟装配方法以及实例展示等分别进行探讨。 第三章虚拟手建模研究 第三章虚拟手建模研究 该章我们对虚拟环境中虚拟手进行了层次建模和运动建模，并与人体模型进 行了整合，借助虚拟手套和位置跟踪器设备实现了对虚拟手臂的运动控制。 3 1 虚拟手建模综述 3 1 1 虚拟手建模研究现状 国内外学者对虚拟手控制进行了大量研究，主要集中在两方面：一是虚拟手 模型的建立，曾芬芳等n 町建立了基于约束的、以关节为节点的虚拟手模型，李志 华等乜3 采用层次结构建模方法建立了虚拟手模型，王天柱等乜7 1 提出了一种基于组件 技术构建虚拟手的层次包围体树方法，王文涛等嘲采用面向对象的方法建立了一 个虚拟手模型；二是虚拟手手指姿态的控制，李琪等啪1 实现了一个虚拟手原型系 统，刘林等n 1 基于v e g a 建立了虚拟手的节点层次几何模型和运动模型。 虚拟手模型的创建是虚拟环境中实现抓握技术的基础，虚拟手模型模拟现实 中人手的特点需要满足以下两方面要素： 1 )视觉效应：虚拟手的真实性建模，虚拟手建模的真实性直接影响到虚拟 手操作的真实性： 2 )运动效应：虚拟手不能随意运动，要受到手腕关节的约束，虚拟手指也 不能随意运动，每一个手指都要受到两手指间关联关节的约束，并且均 要随上一关节( 其父关节) 进行运动： 针对以上虚拟手模型应具有视觉效应及运动效应特点，已经有许多人进行了 这方面的研究，在分析了手的解剖结构和运动特点后建立了手模型的层次树状结 构如李志华等乜1 ，刘林等口1 ：。这些建模方法虽然在一定程度上满足了真实性要求 及约束运动关系，但仍然存在许多不足，主要表现在： 1 )大部分是自己重新建立手模型，建模比较粗糙，也没有达到真实建模 的目的： 2 )这些方法均是单独建立手模型进行研究，并没有与人体模型进行整 合，从整体上进行分析； 3 )d i g u y 软件中建立的人体模型中手模型过于简化也没有相应关节设置， 不能满足抓取要求。 虚拟手建模是虚拟操作的基础，手模型的真实性直接影响到虚拟操作的真实 性，因此有必要对虚拟手建模的真实性进行一定地研究。至于这种真实性地实现， 目前已经有很多人体建模软件，如p o s e r 软件，专门针对人体结构分析建成了逼真 的模型库；d i g u y 人体仿真软件不仅提供了人体模型，还提供一系列根据人体动力 学研究出的人体动作，比如行走，停止，跑步，舞蹈等等。因此人体模型我们可 1 4 基于v e g a 的虚拟装配系统关键技术研究 以直接借用d i g i l y 提供的人体模型，但d i g u y 软件提供的人手模型关节结构过于 简单，不能满足我们对虚拟环境中进行人手抓握的研究，因此有必要对其改进， 引入我们自己创建的人手模型。 3 1 2 虚拟手建模总体流程 虚拟手模型创建分为三个阶 段： 虚拟手几何模型创建、虚拟手骨骼 模型创建及运动控制阶段。 1 ) 虚拟手几何建模阶段： 我们采用p o s e r 软件初步输出面片 型手模型，该软件建模比较真实， 但面片数比较多，为此我们需要对 得到的虚拟手模型进行处理。我们 首先需要将手模型进行面片简化， 然后加入关节小球模型，避免运动 时出现裂缝，最后我们需要将各段 手指按关节处位置移动到手腕关 节位置处，因为在加入关节变量定 义后会将手指各段进行组装生成 虚拟手模型。 2 ) 虚拟手骨骼建模阶段： 在上一阶段得到的虚拟手几何图3 1 虚拟手模型创建流程图 模型的基础之上需要对建好的几何模型建立层次结构约束，即建立父子关节链接 约束，比如说大拇指第二关节需要随大拇指第一关节进行运动，同时我们需要对 手模型各关节处定义关节变量，定义关节变量后便可以使关节在一定方向上进行 旋转运动并且手指段会根据两个关节间的距离进行手模型装配，即骨骼的生成， 以下几节会具体阐述。 3 ) 在建好虚拟手运动模型后我们便可以接入数据手套和位置跟踪器等设 备，一个位置跟踪器对手臂肘部进行控制，另一个位置跟踪器对肩部关节进行控 制，建好的虚拟手臂模型便可以随我们人手臂的运动而进行一定地手势运动。虚 拟手模型创建流程图如图3 - 1 所示。以下几节将对虚拟手创建各个阶段进行介绍。 虚拟手几何模型创建 虚拟乎骨骼模型创建 一遥动拄铡 第三章虚拟手建模研究 32 几何建模 32l 获取虚拟手而片模型 虚拟手几何模型的创建是虚拟装配系统中进行操作的基础，虚拟于模型建立 的真实性直接影响到虚拟系统中操作的真实性。目前已有许多建模软件能够真实 地对虚拟手模型进行建构，如p o s e rp r o 软件、3 d m a x 软件及犀牛等建模软件。 在此我们首先用p o s e rp r 0 软件预先得到虚拟手模型，然后用3 d m a x 软件对其进 行一定地处理。 p o s e rp r o 是一款人体三维动l 哺制作软件，俗称“人物造型大师”吼它提供了丰 富多彩的人体三维模型，使用这些模型可轻松快捷地设计人体造型和动作，免去 了人体建模的繁琐工作。 p o s e rp r o 提供了专业级别的应用集成，例如6 4 位渲染引擎，并支持网络渲染。 如果配合p h o t o s h o 口还可以制作出精美绝伦的静帧效果。很多影视广告和特效中 的角色模型都可以在p o s e r 中直接调用。p o s e r 强大的人体造型设计功能也是该软 件的成功之处，利用其特殊的工具，可以很迅速地完成人物地姿态塑造工作。 如此我们不用费时费力按照人体解剖学及动力学的知识，去建立人手模型， 我们自己创建的人手模型，如果没有专业知识，不仅很糊糙不真实，也不能达到 我们的需求。p o s e r 的模型材质和动画还可以导出到其它大型的三维软件中，如3 d s m a x 和m a y a 等，凼此我们完全可以运用已经建好的模型库。如图3 2 所示为将手 模型从p o s e r 软什中输出得到。需要注意的是我们需要将手模型各关节归于平展 的状态，这样便于以后对手模型进行处理。 圃 图3 - 2 用廿0 s e r 软件将人手模硝输出 3 2 2 虚拟手模型简化 将p o s e r 软件得到的人手模型输出到3 d m a x 中后得到的是散乱的面片，因 此需要我们对这些面片进行合成等处理得到可以进行操作的实体：并且得到的手 模型虽然非常真实，但面片数非常之多，需要我们对其进行简化。 摹丁v e g af n 虚拟般配系统戈键技术研究 目前有许多简化算法如顶点聚类法、顶点删除法、区域合并法、小波分解法、 及边折叠方法等，这些算法可以实现在不同的情况下保持模型显示效果逼真的情 况下硝辟量少的面片数表示，这样小仅可以减少整个虚拟系统中模型的面片数， 更新刷新的速度，还能逼真地对模型进行显示。其中边折叠方法是目前运用较广 的方法，尤其是h o p p e 等提出的渐进网格”算法，把多边形模型表示成一个最粗 糙的网格和一系列顶点分裂( 边折叠的逆操作) 操作能够实现用最少的面片逼真 地显示模型。如图3 3 所示为边折叠方法的基础步骤。 q 霉q 图3 3 点对( v l ，w ) 收缩为新顶点计其中阴影部分的三角形由r 进化也一井被删除【4 0 简化结果( 如图3 4 所示) ，我们t 口以看到面片数在简化7 5 之后仍然能保持 很好的视觉效果。 幽3 4 简化时( 左目) 总j # 8 3 2 4 个面j ；简化厉( 右吲) 2 0 7 8 个面“ 32 3 关口小球建模 我们得到的手模型是基于面片的模型，手模型在运动时很容易出现裂缝，因 此需要对裂缝进行处理，否则手模型运动时将会失去真实性。我们采取的措施是 在手模型关节的位置加入关节小球，即球模型。如图3 5 所示为没有建构关节小球 模型时的手指模型，该手指在弯曲时会出现裂缝现象而如图3 6 所示为加入球模型 后的手模型，这样在运动时裂缝问题消失，实现了手指的真实运动。当然我们在 加入球模型时也应该加入精度低的球模型，使得面片数尽可能地少，以免影响刷 新速度。 第二章虚拟手建模研究 闰图 削3 5 无戈节小球时的弯曲l 芏i3 6 加入关口小球后的弯曲 至此，我们设计并得到了虚拟装配环境中的虚拟手如图3 - 8 所示的几何模型 该几何模型满足了视觉效应，为进行虚拟手模型运动控制打下了基础。 3 3 骨骼建模 3 3 2 口前控制人手模型的两种方式总结 我们对人体模型进行运动控制的两种研究方式进行了总结：一种是直接建立 人体的二二维模型，对人体各关节设置自由度，通过控制人体关节自由度对人体模 型进行控制及目骼和皮肤一体化；另一种方式即所谓的蒙皮技术( 经常3 d m a x 等动耐软件- p 会用到，对人体模型进行动画制作) 。 所谓第一利，方式，存在的问题在于模型进行运动时会出现破皮的现象，即模 型间出现裂缝，如此对于人体的运动控制很不真实，并且显示效果明显不如蒙皮 技术束得真实。图3 8 建立的虚拟手模型便是为这种方式进行控制做好的准备。 第二种方式为蒙皮技术。蒙皮即是将骨骼和皮肤进行装配控制的技术，比如 你建好了一个人的模型但是它没有骨骼，你就要i f ；搭建骨骼来适配你的人体模型。 骨骼是可以通过j 下向动力学和反向动力学柬控制的，把你的人体模型和骨骼装配 在起就叫蒙皮，蒙皮后人体而片模型就会随骨骼的运动而运动。如图3 - 7 所示， 在3 d m a x 中对人物加上蒙皮技术后可以通过对人体甘骼进行运动控制人体。但 蒙皮技术若朋于虚拟现实中则存在一定的缺点：动画是通过关键帧进行控制，并 且是通过渲染输出图片进行处理后连成动画，因此模型应尽可能的逼真，这就必 然使得模型的面片数非常之多：而虚拟世界中要求刷新速度特别挟，也就必然要 求用尽可能少的面片数表示尽可能多的细节，凼此用蒙皮技术进行控制模型，必 然会使环境刷新速度降低。 基于v e g a 的虚拟装配系统关键技术研究 幽3 73 d m a x 中对人物进行蒙皮控制 本| 仑文介绍的是用d i g u y 软件进行人体控制，该软件是通过人体关节对人体 进行控制，目前还没有支持蒙皮技术，因此我采取的是第一种方式对虚拟手模型 进行控制。 333 骨髂形成 3 33 l 加入骨骼前处理 我们通过研究发现d i g u y 软件中进行显示的模型支持n t 文件格式，为此我 们需要将建好的虚拟手模型转换为n t 格式( 用3 d m a x 自带的插件即可) ：不仅 如此，我们发现在d i g u y 软件中自带的配置文件巾并没有针对手模型月骼模型进 行定义，只提供了手腕关节变量定义，这就需要我们在手腕关节的基础上对手模 型各段关竹进行派生得到虚拟千模型的骨骼模型。同时我们发现骨骼的关节模型 与实体模型是固连到一起的，也就是| 兑在建立野骼结构之前我们需要将所有指段 模型包括手学模型关节位置j j = f 于手腕的关节位置( 以下会讲到1 ，然后再通过层次结 构分别相对其父关节做以下记录的偏移量即日骼的生成过程卅能显示j f 确的带骨 骼的实体模型，因此我们可以先将手指段各关节与手腕关节对齐，并记录这些关 节间的偏穆如表3 1 所示，这些偏移最将构成以后建构的骨骼长度量 农3 1 得到的手指段芙节处与手腕处芙1 y 偏移茸( 单位为米) 右手手指关竹 x 方向y 方向z 方向左手手指关节x 方y 方z 方 与其父关h 的与其父芙m 杓偏 向向向 偏移鼙移龋 人拇指第一戈人拇指第一荚竹 00 0 2m0 2 5山0 2 2 节与手腕关竹与手腕黄肖 大拇指第_ _ = 芙 0 0 0 9m 0 2 l 加0 1 8人拇指第二关肯 0 0 0 9加0 1 8 节与第一关节与第一关节 第三章虚拟手建模研究 1 9 大拇指第三关 - o 0 0 1一o 0 0 7o 0 1 5 大拇指第三关节 - 0 0 0 10 0 0 70 0 1 5 节与第二关节 与第二关节 食指第一关节0 0 1 0 0 3 5- o 0 6 5 食指第一关节与 - 0 o l- o 0 3 50 0 6 5 与手腕关节手腕关节 食指第二关节o0 0 0 6- 0 0 2 0食指第二关节与 00 0 0 6 o 0 2 0 与第一关节第一关节 食指第三关节o- o 0 0 40 0 1 3食指第三关节与00 0 0 4o 0 1 3 与第二关节第二关节 中指第一关节 0 0 0 80