虚拟环境下产品装配技术的研究与实现

1、虚拟环境下产品装配技术的研究与实现    核心提示：中文摘要：为实现装配过程在虚拟环境中的映射 ,开发了一套虚拟装配系统 ,提出了虚拟装配系统的体系结构 ,对虚拟装配关键技术?虚拟手的建模、手势的定义和切换、虚拟手和零件的运动控制、实时碰撞检测算法、精确定位算法、图形用户界面以及虚拟装配过程的记录、编辑与反演等进行了研究 ,并给出了解决方案。在包.中文摘要：为实现装配过程在虚拟环境中的映射 ,开发了一套虚拟装配系统 ,提出了虚拟装配系统的体系结构 ,对虚拟装配关键技术?虚拟手的建模、手势的定义和切换、虚拟手和零件的运动控制、实时碰撞检测算法、精确定位算法

2、、图形用户界面以及虚拟装配过程的记录、编辑与反演等进行了研究 ,并给出了解决方案。在包围盒和凸包分解相结合碰撞检测算法的基础上 ,提出了基于“近似约束”和“碰撞定位”相结合的零件精确定位算法 ,大大减少了运算时间 ,提高了算法的效率。提出的理论和算法已经在某型号汽车空调器的虚拟装配上获得成功应用        2 0 0 4年 1O月 计算机集成制造系统 Vo110 No100ct2 O O 4虚拟环境下产品装配技术的研究与实现杨润党，武殿梁，邓华林 ，范秀敏，严隽琪 (上海交通大学 CIM 研究所 ，上海 200

3、030) 摘 要 ：为实现装配过程在虚拟环境中的映射，开发 了一套虚拟装配系统 ，提 了虚拟装配系统的体系结构 ， 对虚拟装配关键技术? 虚拟手的建模 、手势 的定义和切换 、虚拟手 和零件 的运动控制、实时碰撞检测算法 、精确定位算法、图形用户界面 以及虚拟装配过程的记录、编辑与反演等进行 了研究 ，并给 了解决方案。在包围盒和凸包分解相结合碰撞检测算法的基础上 ，提 出了基于“近似约束”和“碰撞定位”相结合的零件精确定位算法，大大减少了运算时间 ，提高了算法的效率。提 的理论和算法已经在某型号汽车空调器 的虚拟装配上获得成功应用 。 关键词 ：虚拟现实 ；虚拟装配 ；手势导航 ；碰撞检测

4、中图分类号 ：TP391 文献标识码 ：A 0 引言 虚拟现实 (Virtual Reality，VR)技术与产品装配技术相结合 ，在虚拟环境(Virtual Environment， VE)中进行产品装配，进一步拓宽和发展 了计算机在产品装配等工业领域的应用范围。目前 ，国内外学者从 不 同角度 和应用 领域对虚拟装 配 (Virtual进展，研究成果已经在飞机、汽车、造船等行业获得成功的应用。利用虚拟现实技术提供的沉浸感、交互性和想象性，可使用户在 VE中更接近实际装配操作 的方式来建立产品的序列和路径 ，根据可视化和可感知的分析装配工艺，得到合理、适用的产品装配工艺。此外，VA系统还为复

5、杂产品的装配操作训练提供了有效的手段。利用 VE可以避免开发昂贵的物理原型 ，同时可以与其他计算机辅助设计技术兼容，使用户能在更丰富、更直观的环境下运用 VE的硬软件来设计和规划装配l。构造 VE需要多项技术，一个 VE主要由硬件设备和软件系统组成。硬件设备包括跟踪系统(如三维空间传感器 、跟踪球 、三维鼠标 、数据手套等)、触觉系统(力反馈 、触觉传感器)、音频系统 (立体声音响系统)、图像生成和显示系统(如高性能 图形卡、头盔显示器 、投影仪等)和高性能计算处理 系统。 l 系统的结构和功能 11 系统的组织结构 一 个 VA系统应该包含虚拟现实技术设备管理模块 、输入模块 、操作处理模块

6、和输出模块 四个部 分。设备管理模块主要是建立虚拟环境所需的位置 跟踪 、力反馈 、三维 鼠标 、数据手套以及三维显示等设备的初始化、数据的传输和更新等。输入模块主 要是 VA所需的所有初始信息，包括装配模型、虚拟 手(Virtual Hand，VH)模型以及用户界面。一个详细的装配模型通常由几何信息、组件信息、零部件的初始位置和装配的最终位置信息、装配的公差信息以及这些信息在系统中的组织结构和存储方式等组成。操作处理模块是虚拟装配系统的主要部分 ，包基金项 目：上海市科委重大资助项 目。作者简介：杨润党(1978一)，陕西人，上海交通大学 CIM研究所博士生，主要从事 CADCAE以及虚拟装

7、配技术等方面的研究。转载第 10期 杨润党 等 ：虚拟环境下产品装配技术的研究与实现括碰撞检测算法、VH抓取和释放零部件的准则 、各种硬件设备反馈数据的处理与存储方式 、装配序列和路径规划的表达方法等。输出模块主要是根据所记录的装配操作，对装配过程回放以及对装配路径进行修改和优化的装配路径和序列文件。VH对零部件的操作处理模块是本系统的核心部分 ，它的主 要流程算法如图 1所示(WP表示零件，2 是虚拟手 与零件碰撞的对数)。 vH移动 1?1?-上Y _ Y切换手势 I VI 控制wP运动基他wl 、 茄 足装配条件=>切换手势，WP自动定位改变路径圈1 操作处理模块算泫流 12 系统

8、具有的功能 本文开发的 VA系统具有如下功能 ：通过与型；支持多通道的输入与输出，包括语音、手势等多种交互方式；立体显示方式；创建虚拟装配工作环境 ；虚拟装配环境中的漫游；交互式虚拟装配操作；静态干涉检查和碰撞检测；装配过程中零部件位姿和视点变化矩阵的记录以及装配过程的反演；装配路径和装配序列的生成和编辑。 关于 VH模型的建立在国内外 已经得到了广 泛的研究，文献2用摄像机获得手的运动图像数据来自动分析三维手势，使用轮廓提取边界特征进行 识别的方法，成功地提取 27个交互手参数 ，实现三 维手势模型重构。文献3给出了 VE下机器人装配中VH的静态和动态模型接口。文献E4应用图像识别、特征提取

9、和曲面拟合的方法进行手势的实时建模。从 目前的研究状况来看 ，VH 手势建模 的方法基本上可以归纳为表观的建模5 和三维建模。本系统采用的虚拟手模型是由高级曲面技术进行拟合得到的三维实体模型，为了显示将其转化为三角面片，此方法建立的 VH模型有利于加快模型的更新速度并实时地改变三角面片的拟合精度来提高碰撞检测的效率。模型的复杂程度直接影响到碰撞检测的精度 、运算的速度以及 VA 的真实性 和沉浸感。在 VA 过程 中，为了加快速度和提高效率 ，手势的状态可以看作 一 个离散的过程，控制信号和触发命令，以致于在实时装配的过程中，手势状态变化的某一瞬间令虚拟手势发生切换 ，在 VA过程中，不同的阶

10、段对应不同的虚拟手模型。在 VA每一帧的循环中，数据手套(DataGlove)采集到用户手指的接触情况 ，然后根据手套上传感器的原始数据与预先定义的手势数据进行匹配，根据定义的对应关系向系统发出命令进行手势切换或其他操作 。系统中定义的基本手势如图 2所示。 (1)拾取手势 在虚拟装配环境中对待装配件 操作所用的手势(如图 2a)。 (2)漫游手势 在虚拟装配环境中视点漫游时 所用的手势，此时视点与虚拟手绑定(如图 2b)。 (3)运动手势 为了抓取零件，虚拟手在虚拟空 间中运动时的手势(如图 2c)。 (4)释放手势 当待装配件定位到已装配件上 且零件与虚拟手解除固结关系时的手势(如图 2d

11、)。 图2 虚拟装配 中的手势模型 场景漫游的关键技术。笔者采用碰撞检测的方法拾取零件，高亮显示可选域 Q 中的零件，从视角上提示用户当前可选的操作对象，从而提高拾取效率。操作者戴上数据手套，根据手套上绑定的方位跟踪计算机集成制造系统 第 10卷器(FOB)在每一个主循环中跟踪手的位姿数据，并将 FOB的数据转化为虚拟场景中手的变换矩阵 ，系统的应用程序模块在每一帧都要获得操作者手的变换矩阵，根据这个变换矩阵来控制虚拟场景中 VH的运动，并在每一个主循环中更新。在 VA环境下确定的，即虚拟手的位姿和操作者手的位姿是一一对应的。FOB信号的获取代码为：式中，posData为 4×4矩阵

12、。虚拟手运动控制算法如图 3所示 ，零件运动与虚拟手运动算法相同，就是将待装配件固结在虚拟手上一起运动。当视点绑定在虚拟手上时，虚拟手的移动和旋转就是视点 的运动 ，即为虚拟装配环境 中的漫游。在装配过程中，一些零件的装配必须要 求改变视点才能看到，因此笔者提供 了视点是否与配操作还是虚拟环境中的漫游 。下面是系统中手势切换对 FOB信号的启用代码 ：?即左手大拇指和食指接触时为漫游状态 。：j 虚拟 运动控 制算法近几年 ，碰撞检测算法的研究取得了不少成果 。 文献6提出了一种精确碰撞检测算法，该算法能较 为有效地处理任意形状多面体间的碰撞问题 。该算法采用了一种称 为 BoxTree的层次

13、式 自适应 空间剖分机制来争取处理时间。但是，这种算法对场景 中所有 的模型均进行两两计算检测，对于复杂 VA 场景的效率较低、运算速度较慢。本文所述的系统主要采用了基于包围盒和凸包分解相结合的碰撞检测算法，首先用包围盒进行粗略的碰撞检测 ，然后将检测到的碰撞部分再分别用凸包分解进行精确碰撞检测，再采用后面提到的三个约定，以减少虚拟环境 中静止的模型之间的碰撞检测 ，大大减少了检测 的 数据量，提高了算法的效率。“装配场景”是虚拟环境中所有与装配相关的模型的总和，主要负责 VE 中的动态显示。“碰撞场景”(三角和四边形面片)与 “装配场景”是对应 的，只在后台负责实时碰撞检测而不显示在虚拟环境

14、中，并将碰撞检测计算 的结果传给“装配场景”，由“装配场景”根据碰撞计算结果对装配模型进行实时更新 ，这些工作是在 同一帧中实现的。步骤 1 将“碰撞场景”加入到装配场景中，“碰撞场景”是从装配场景 中转化的，为了提高效率 ，精度误差可以适当放大，并与装配场景保持同步运动。步骤 2 每个零件、子装配和虚拟手对应一个包围盒。进行碰撞检测时，首先对包 围盒模型进行快速判断，仅对与包围盒重叠的模型才调用凸包分解算法进行面片模型间的关系判断。输入参数：A、步骤 3 面片模型间位置关系的计算，先采用凸包分解，然后计算凸包位置关系。为了减少不必要的工作，加快运算速度 ，提出以下三条约定来提高算法的效率 ：

15、约定 1 零部件是通过碰撞检测算法检测 VH与它们的碰撞来拾取的，在拾取过程中为了提高效率，只检测 VH与零部件的碰撞。约定 2 零部件被拾取标志是 VH与零部件的碰撞对数 一1和模型树(由系统维护 ，每一个零件导入时作 为一个对象节点)的对象指针 m?pPick!一NUI L。当零部件被拾取时，取消 VH 与被拾取零部件的碰撞检测。约定 3 在装配过程中，为了提高效率，只检测虚拟手和拾取零部件与其他零部件的碰撞 ，虚拟手和零部件碰撞则立即停止运动，不能穿过零部件。浙江大学开发 的虚拟装配系统 VIRDAS的定位是基于语义的装配关系识别和运动导航 。本系统采用了基于“近似约束”和“碰撞定位”相

16、结合的方法实现虚拟装配 中零件的精确定位。基于这种方法，首先假设虚拟环境中每一零件 的最终装配位置第 1O期 杨润党 等 ：虚拟环境下产品装配技术的研究与实现是已知的，即在 CAD环境 中预先装配好的。在虚拟装配环境中，当待装配件和与它有约束关系的已装配件发生碰撞，且待装配件、虚拟手和其他已装配件没有发生碰撞(碰撞约束)，以及虚拟手抓取的待装配件运动到装配定位点附近，且当误差达到规定的装配误差(近似定位)时(零件位置记为 P。)，系统自动解除虚拟手和被抓取零件的固结约束关系，并将待装 配零件放置到预先定义 的装配位置 (记 为运算速度快 ；缺点是忽略了 P。到 P 的中间装配过程 。如图4所示

17、，约束元素是两个平面的定位求解。 图中 C 是全局坐标系；C 和 C。(待装配零件)是约 束元素所属零件的坐标 系；C 和 C 是约束平面的坐标系； 和 是约束平面的法 向量。具体方法如下 ：步骤 1 根据 u 和 求解两平面夹角 angle；步骤 2 由 。和 叉乘计算旋转轴方向向量步骤 3 通过绕轴 z旋转 angle 计算旋转变换矩阵 MR；步骤 4 计算旋转后两个平面的距离 d，并计算步骤 5 构造平移变换矩阵 M ；步骤 6 构造变换矩阵 M?MR×M 。上面的 angle 和 d 根据约束类型、参数和系统给出的旋转和平移误差获得。对于约束对象是其他几何元素的方法与上面近似

18、。最后用求解获得的矩阵 M 及约束对象所属零件和主动体 中其他零件与虚拟手的固定变换，对主动体进行装配定位。一 个具有交互功能的应用系统能否得到很好的应用和推广，关键在于人机接 口设计的好坏。因此 ，系统界面设计在交互式系统中占有很重要的地位 。本系统是基于 SGI的 Unix操作系统开发的，Win具和 Unix平 台是不兼容 的，笔者采用了 Motif的对话框、文本框、编辑框、滚动条和单选框等来实现模型的载入和编辑、虚拟环境的设置、装配过程的操作以及简单特征的创建等。主菜单如图5所示。 图5 虚拟装配系统 的菜 单系统 根据模块化设计的思想 ，系统的应用模块与界面模块相互独立。因此本系统采用

19、多进程技术 ，即由 Motif开发的 GUI与 Performer的场景窗口是分开的，当系统启动时同时启动 Motif和 Performer两个进程 ，用指针变量 g? pShared所指向的共享数据或全局变量来实现用 Motif的菜单与 Performer的场景之间的通讯。当用户使用系统时，每执行一项操作，则利用 Motif和 X?Window事件回调相应的函数模块 ，用户在对话框 中输入参数传递给调用函数，执行相应功能，同时改变共享内存和全局变量的值来控制虚拟装配系统的应用模块。虚拟装配过程的记录、编辑与反演是优化装配序列和装配路径、提高装配速度的重要方法。操作者在虚拟环境中进行装配操作的

20、同时，系统 自动记 录整个装配过程，包括虚拟手的操作与移动过程、视 点的变换过程和每个零件的装配路径。装配路径的编辑和装配序列的优化 是虚拟装配的主要输 出部 分 ，也是虚拟装配的难点，这一方面已经做了大量的 研究 l9_。本文采用如下流程：步骤 1 通过手势的变量值，确定并记录当前任务的类型(路径装配、视点变换等)。步骤 2 根据 当前任务类 型和虚拟手的状态 (装配、漫游)确定记录的可操作对象。 步骤 3 若是视点变换 ，则记录每一帧的变换矩阵 ；如果是装配操作 ，则记录被装配件的名称和每一 帧的变换矩阵。步骤4 通过修改记录的相关对应值可以对装配序列和装配路径进行编辑。步骤 5 将记录的

21、矩阵值赋给对应的装配顺序指针链表 m指针链表 m?步骤 6 根据上面的指针链表值对零件的装配过程进行反演 ，包括视点的变换。本系统所用 的硬件是大型弧形 PowerWal虚拟现实平 台。该 系统 包括 一 套 PowerWal系统 (SGI ONYX 3200工作站、BARCO 808带边缘柔化 的高 级 投 影 系 统 )、立 体 眼 镜、Fakespace Pinch+编译器等。基于 对 VA 关 键 技 术 的研 究 ，开 发 了一 套空调器装配生产线 ，如图 6所示 。图 6a所示的空调器由 13个零件组成，这些零件在 ProE中完成零件的建模并进行 了产品的装配。通过 ProToolkit开发的数据接 口将零件几何信息和装配信息转换到者通过虚拟现实硬件控制的虚拟手逐步将零件装配起来 。图 6a-6d为装配过程 ；图 6e为装配好 的空调器产品。圈通过虚拟环境下应用本系统对空调器的装配过程仿真 ，检查了零部件之间的相互干涉，改进了设