（计算机应用技术专业论文）具有力觉反馈的柔性管虚拟装配.pdf

浙江大学硕士学位论文摘要 摘要 虚拟装配是数字化设计与制造领域的关键技术，对于提高产品可装配性检查 与装配规划的质量和效率，提前进行人员培训具有重要作用。本文对柔性管虚拟 装配操作中真实感的力觉生成与反馈进行研究。 第一章介绍本文的研究背景以及相关技术，包括虚拟装配技术、柔性管仿真 建模、力觉生成与反馈的研究现状，并提出本文的研究目标与主要研究内容。 第二章针对虚拟装配操作中力觉反馈的需要，提出基于物理的柔性管形变力 觉生成方法。首先，对柔性管进行基于动态样条的物理建模，并在此基础上，提 出基于物理形变的柔性管力觉生成算法，计算出虚拟装配操作中柔性管产生形变 所需的作用力。 第三章提出基于灵巧手具有力觉反馈的柔性管虚拟操作方法。首先，对灵巧 手进行几何和运动建模，并给出基于碰撞检测的柔性管抓持判别方法。之后，提 出将柔性管形变所需的作用力转化为灵巧手抓持力的方法，并对虚拟装配操作中 灵巧手运动与柔性管形变之间的不同步问题加以解决。 第四章设计并实现了一个柔性管虚拟装配原型系统。给出了原型系统的实现 细节和应用实例。 最后，总结全文，并给出未来的研究方向。 关键词：虚拟装配，人机交互，柔性管形变，力觉反馈 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t v i r t u a la s s e m b l yi sac r i t i c a lt e c h n o l o g yi nt h ef i e l do fm a n u f a c t u r ea n dd i g i t a l d e s i g n i tp l a y sa l li m p o r t a n tr o l e i nt h ea p p l i c a t i o no fi m p r o v i n gt h eq u a l i t ya n d e f f i c i e n c y o fa s s e m b l ec h e c k i n ga n da s s e m b l ys e q u e n c ep l a n n i n go fm e c h a n i c a l p r o d u c t i o n ，a n dt r a i n i n gs t a f ft oa s s e m b l eo p e r a t i o ni na d v a n c e i nt h i st h e s i s ，w ed o r e s e a r c ho i lh a p t i cr e n d e r i n ga n df e e d b a c ko f1df l e x i b l ep a r t sv i r t u a la s s e m b l y i nt h ef i r s tc h a p t e r w ei n t r o d u c et h eb a c k g r o u n do fo u ri s s u e s ，i n c l u d i n gv i r t u a l a s s e m b l y , m o d e l i n go ff l e x i b l ep a r t s ，h a p t i cr e n d e r i n ga n df e e d b a c k t h e n ，w ep r o p o s e o u rr e s e a r c ha i ma n dp r o v i d eas h o r ts u m m a r yo ft h et h e s i s i nt h es e c o n dc h a p t e r , w ep r o p o s ea na p p r o a c ho fh a p t i cr e n d e r i n gb a s e do i l p h y s i c a ld e f o r m a t i o no f1 d f l e x i b l ep a r t ，a i m i n ga tt h er e q u i r e m e n to fh a p t i cf e e d b a c k u n d e rv i r t u a la s s e m b l yo p e r a t i o n f i r s t l y , w ei n t r o d u c eaf l e x i b l ep h y s i c a ld e f o r m a t i o n m o d e lb a s e do nd y n a m i cs p l i n e t h e na c c o r d i n gt ot h em o d e l ，w eb u i l da na l g o r i t h m o fh a p t i er e n d e r i n g ，a n da c q u i r et h ef o r c e so ff l e x i b l ep a r t sd e f o r m a t i o nn e e d e d i nt h e “r dc h a p t e r , p r o p o s et h eo p e r a t i o nm e t h o d so fd e x t e r o u sh a n db a s e dv i r t u a l a s s e m b l yw i t l lh a p t i cf e e d b a c k f i r s t l y , w eb u i l dt h eg e o m e t r i ca n dm e c h a n i cm o d e lo f d e x t e r o u sh a n d ，a n d1df l e x i b l ep a r tg r a s pi d e n t i f i c a t i o nm e t h o db a s e do nc o l l i s i o n d e t e c t i o n t h e n ，c o n v e r tt h ef o r c eo f1d f l e x i b l ep a r t sd e f o r m a t i o nn e e d e dt og e n e r a l g r a s pf o r c eo fd e x t e r o u sh a n d a tl a s t ，w es o l v et h ei n c o n s i s t e n c yb e t w e e nd e x t e r o u s h a n dm o v e m e n ta n d1df l e x i b l ep a r t sd e f o r m a t i o nu n d e rv i r t u a la s s e m b l yo p e r a t i o n b a s e do nt h e s em e t h o d sa b o v em e n t i o n e d ，ao n e - d i m e n s i o nf l e x i b l ep a r tv i r t u a l a s s e m b l yp r o t o t y p es y s t e mi sd e v e l o p e d a n dw ep r e s e n tt h ed e t a i lo fi m p l e m e n ta n d a p p l i c a t i o nc a s e s a tl a s t , t h ec o n c l u s i o na n df u t u r ew o r ka r ep r o p o s e d k e y w o r d s ：v i r t u a la s s e m b l y , h c i ，f l e x i b l ep a r t sd e f o r m a t i o n ，h a p t i cf e e d b a c k 浙江大学硕士学位论文图目录 图目录 图1 1v a d e 虚拟装配系统6 图1 2i v a s ：沉浸式虚拟装配系统7 图1 3 柔性管的三维体几何表示1 0 图1 4 柔性管的一维体几何表示1 0 图1 5 柔性管的d u a lm e c h a n i c a l 模型。1 1 图1 6p h a n t o m t m 力反馈设备1 3 图1 7c y b e r g r a s p t m 力反馈设备1 4 图2 1c a t m u l l r o m 曲线l7 图2 2 柔性管中间处受力形变一2 0 图2 3 柔性管完全拉起的形变2 0 图2 4 柔性管端点处受力形变2 0 图2 5 柔性管两处同时受力时形变2 1 图2 6 柔性管抓持提拉过程中受力分析图2 2 图2 7 两种不同初始提拉力下的形变比较2 3 图2 8 力觉生成算法流程图2 4 图2 8 力觉生成实验( 一) 2 6 图2 9 力觉生成实验( 二) 2 6 图2 1 0 力觉生成实验( 三) 。2 7 图2 1 l 力觉生成实验( 四) 2 7 图2 1 1 力觉生成实验( 五) 2 8 图3 1 灵巧手的几何模型和纹理模型3 1 图3 2o b b 二叉树的建构图一3 3 图3 3 灵巧手的各个状态之间转化图3 4 图3 4 柔性管与灵巧手的抓取关系3 7 图3 5 灵巧手抓持柔性管运动图3 8 图3 6 灵巧手的抓持流程3 9 图3 7 力觉交互反馈过程4 0 图3 8 三个手指抓持力变化曲线图4 1 图3 9 灵巧手抓持柔性管的姿势图4 2 图4 1 原型系统的硬件配置图4 4 图4 2m u l t i p r o 系统框架图4 5 图4 3f a s t s c a nc o b r a 手持激光扫描系统4 6 图4 45 d t 数据手套4 6 图4 5 原型系统框架图4 8 图4 6 系统管理层工作流程图4 9 图4 7 物理求解器主要数据结构5 1 v 浙江大学硕士学位论文图目录 图4 8 数据手套与跟踪器设备的数据结构与操作界面5 2 图4 9 柔性管虚拟装配场景5 3 图4 1 0 灵巧手抓取柔性管动作5 4 图4 1 1 灵巧手提拉柔性管的姿势5 4 图4 1 2 柔性管增加定点约束5 5 图4 1 3 柔性管在定点约束下的形变5 5 图4 1 4 柔性管粗略位置5 6 图4 1 5 柔性管微调位置5 6 图4 1 6 柔性管虚拟装配图5 7 v i 浙江大学硕士学位论文表目录 表目录 表2 1 柔性管材料参数2 5 表2 2 柔性管形变所需作用力2 5 表3 1 柔性管形变和灵巧手运动的空间位置y 轴值3 6 表3 2 特殊位置抓持力与球体提拉所需作用力比例4 l 表3 3 灵巧手提拉过程中的抓持力4 2 v l i 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得逝姿盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位敝储躲鲍姒签字魄矽雪年月厂日 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙婆盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：鲍欺a 、 签字日期沙。3 年莎月7 日 一名：喜缉臂 签字日期：。孑年么月尸日 浙江大学硕士学位论文第l 章绪论 第l 章绪论 当今世界，企业的竞争归根结底是新产品的竞争，也就是企业创新设计开发 能力的竞争。为了有效提高企业的核心竞争力，现代企业纷纷开始应用虚拟样机 技术提高企业产品创新设计开发能力。 虚拟样机技术是指在虚拟环境中建立能够替代物理样机的产品数字化模型 ( 即虚拟样机) ，并基于虚拟样机对产品进行功能测试、性能评价、人员训练等 系列活动的一种崭新的产品开发技术。虚拟样机技术通过将虚拟现实与c a 加f x 相结合，使设计人员能够以直观、自然、习惯的方式构造虚拟样机，使其具有与 实际产品相同或相近的物理属性、功能属性、行为属性、行为响应；并使工程人 员能够基于视觉、声觉和触觉以直观自然的方式操作、测试、维护产品的虚拟样 机，真实感知其存在；从而可以在新产品开发过程中以虚拟样机部分甚至完全替 代物理样机对产品进行功能测试、性能分析、人员培训等活动。实践证明，采用 虚拟样机技术能够有效缩减产品的开发周期和开发成本，提高企业的产品创新设 计开发能力。 由于虚拟样机技术的重要性，该技术自2 0 世纪9 0 年代出现以来，一直受到 学术界和企业界的高度重视，研究工作随着虚拟现实技术的日益成熟不断深入， 其中，虚拟装配一直是人们的研究热点之一。 1 1 虚拟装配概述 在现代制造业中，产品装配是设计、开发与生产过程中一项极为重要的活动， 是产品功能实现的主要过程，约为整个产品生产制造总工时的4 0 6 0 【，因此 提高产品装配效率所带来的效益是显著的。如果在产品设计阶段，就能够利用计 算机对产品的装配过程进行仿真模拟，使设计人员可以象操作真实产品一样对虚 拟零件进行装配操作，建立产品装配模型，进行装配规划，检查装配过程中的干 涉情况，无疑为尽早解决产品设计中存在的可装配性问题，有效地进行装配过程 浙江大学硕士学位论文第l 章绪论 规划和装配操作训练提供了一个有效手段。虚拟装配技术正是在这种需求的推动 下产生和不断发展的。 虚拟装配一般被定义为：无需产品物理原型的支持下，利用计算机工具做出 或辅助做出与装配有关的工程决策【2 】。虚拟装配实际上是多门学科与技术的结合： 如c a d 技术、可视化技术、虚拟现实技术、仿真技术、决策技术、系统工程、 产品设计制造和装配技术等。随着研究与应用的深入，以及这些技术不断地交叉 融合，虚拟装配技术一步一步地走向成熟。 1 1 1 虚拟装配中的关键技术 虚拟装配理论研究的内容主要集中在虚拟装配的体系结构、装配模型建模、 装配序列规划和装配分析与评估四个方面，它所涉及到的关键性技术包括：碰撞 检测、零部件建模以及数据交换与集成、装配模型建模、基于约束的运动导航与 精确定位、线缆管路等柔性体零件装配、知识提取与应用等。下面将对虚拟装配 中的关键技术进行阐述。 1 ) 碰撞检测。在虚拟装配过程中，虚拟化身与虚拟零部件以及虚拟零部件之 间都需要进行交互，因此为了提高虚拟装配过程的真实感、沉浸感，碰撞检测技 术起着至关重要的作用。国内外学者对碰撞检测进行了广泛深入的研究，提出了 空间分解法和层次包围盒法两类主流碰撞检测算法【3 】。国内学者提出了面向虚拟 装配的碰撞检测算法，张建民等在层次包围盒的碰撞检测基础上引入多感知机制 和组件技术，采用层次检测思想，实现快速碰撞检测，刘检华【4 】等提出了面向虚 拟装配的分层精确碰撞检测算法。 碰撞检测算法的效率对实现逼真交互的虚拟装配至关重要。对于复杂的虚拟 装配场景，需要更加鲁棒和高效的碰撞检测算法。 2 ) 数据交换与集成。在虚拟装配系统中，为了提高实时性，一般采用三角面 片模型表达零件信息。目前通用的方法是采用c a d 软件进行产品建模，然后对 c a d 模型数据进行转化，再将信息文件导入到虚拟装配系统中，完成虚拟装配环 境下，模拟物理原型装配过程。国内外学者分别研究了多种c a d 软件与虚拟装 2 浙江大学硕士学位论文第l 章绪论 配环境之间相互转化的信息模型和处理方式【5 , 6 1 。 虽然可以将c a d 系统到v r 系统进行数据转化，但这种转化往往是单向的， 虚拟装配系统到c a d 软件的逆向数据交换仍是十分困难的问题。而且在v r 应 用中，工程人员在通过操作产品模型生成辅助装配的重要信息时，或者改变产品 模型时，c a d 系统与虚拟现实系统中产品模型的一致性难以保证【4 1 。 3 ) 装配模型建模。为了对产品装配模型进行深入研究，研究人员提出了描述 装配体静态结构的图结构模型【8 , 9 , 1 0 、树表达的层次结构模型1 1 1 和基于虚链结构的 混合模型【j 2 1 。图结构模型的特点是关系表达比较直观，但不能表达零件间的层次 关系。层次模型以树的形式表达装配并组织产品，如刘振宇【l l 】等提出的面向虚拟 装配产品层次信息模型。虚拟链模型结合了图结构和层次模型的优点，来表达各 子装配的零件间装配关系，但这种表示结构的缺点是一致性维护比较困难。 4 ) 装配规划。装配序列与路径规划是装配规划的重要内容。从几何推理方面 出发，将物理接触关系定义为装配约束【1 3 1 ，通过一定的推理算法和简化规则的支 持获得所有可行的装配序列。具有代表性的系统有自动化装配规划软件 a r c h i m e d e s2 【1 4 1 ，该软件包含了两个装配规划器几何引擎( g e o m e t r ye n g i n e ) 和状态空间规划器( s t a t e s p a c ep l a n n e r ) 。 自动推理装配规划仍面临很多问题，其中比较显著的有：随着零件数的增加， 可行的装配序列会爆炸式的增长；实际装配过程很大程度依赖予经验，难以使用 公式化语言表达，难以在可行性装配序列中自动选择最优装配序列。现在有学者 从人工智能技术出发，利用装配知识，在装配过程中为用户提供与装配序列相关 的指导【15 1 ，或逐步分解装配体，最终获得所有可行性装配序列【1 6 1 。 5 ) 运动导航与精确定位。在虚拟装配的过程中，由于缺乏完善的力觉反馈设 备，不能像现实世界中一样使设计者能够自然、精确的进行装配定位，这就要求 系统提供能识别设计人员的装配意图的装配导航与精确定位功能。很多系统通过 自动约束识别进行用户交互意图的捕捉来实现零件的精确定位。但当装配体变得 复杂时，约束识别算法难以满足虚拟现实实时性的要求。高瞻等【l8 】提出了自由度 归约方法进行约束分析的方法，在理解与识别设计者的装配操作与意图基础上， 3 浙江大学硕士学位论文第l 章绪论 通过空间几何的分析，根据装配关系建立装配约束关系树，实现了虚拟现实环境 下的产品装配的定位导航。与几何体素层次的约束识别相比，装配任务层次的语 义识别更能有效的捕捉用户交互的意图。 6 ) 线缆等柔性体零件装配。线缆等柔性体零件的装配是个复杂的问题，在线 缆模型、装配规划、交互手段上都没有很好的解决方法。l o o c k 等人【1 9 】提出了线 缆弹簧模型，对不同刚度的线缆在重力环境下进行仿真。r i t c h i e 等人【2 0 】开发的线 缆虚拟布线的系统，通过三维鼠标等设备与系统交互，并实现了线缆静态干涉检 测验证线缆布局设计的可行性。他们的研究都集中在管路布局设计算法以及线缆 布线的人机工效分析等方面，而没有考虑装配动态过程及交叉装配等影响装配质 量与可靠性的因素。 线缆的装配布线是产品制造过程中非常重要的环节，但在虚拟环境中，进行 虚拟布线应用，其中的关键技术相当复杂，需要进一步的研究。 7 ) 装配知识的提取与应用。在设计人员完成虚拟装配操作之后，希望把装配 知识提取出来并用作后续的指导。英国h e r i o t w a t t 大学机械与化学过程系虚拟制 造研究组开发的虚拟装配规划系统u v a v u ( u n b e l i e v a b l ev e h i c l ef o ra s s e m b l i n g v i r t u a lu n i t s ) 1 2 1 】能够记录熟练装配者进行虚拟装配的活动，从而获取装配意图并 提取装配知识。浙江大学的范箐等人开发的k v a s 系统( k n o w l e d g e - b a s e d v i r t u a l a s s e m b l ys y s t e m ) 【”】，该系统构建了一个知识库的信息中心，把形式化后的专家 知识存放入该知识库中，在虚拟装配过程中，再利用其中的知识指导用户进行装 配，同时对装配规划过程进行学习，可以不断更新知识库。 8 ) 装配评估与验证。装配评估涉及到的主要内容有：可装配拆卸性评价、装 配结果评价以及装配相关的人机工程学等。现有的虚拟装配系统都具备装配过程 仿真，可以让装配者对零件进行抓取、移动，并记录装配体拆卸顺序与各零件的 拆卸路径。v r c i m 实验室的v a d e 系统在虚拟装配的过程中进行人机工程的分 析，在虚拟环境中集成参数化的人体模型，然后仿真人体不同姿势装配过程，以 分析最佳工作环境布局【2 2 1 。 总的来说，虚拟装配技术的发展在很大程度上受限于虚拟现实技术的发展。 4 浙江大学硕士学位论文第l 章绪论 目前，数字化模型的虚拟装配尚不能完全取代物理样机的装配，有待进一步提高。 特另l j 是虚拟装配中的真实感力觉反馈、装配交互等技术都需要深入研究和发展。 1 1 2 代表性虚拟装配系统 虚拟装配研究已取得一定的进展，可以分为两个大的方向幽】：一是基于虚拟 现实技术构建虚拟产品装配环境的虚拟装配研究，二是基于计算几何方法的计算 及辅助装配工艺规划研究。前者使操作人员在虚拟环境中直观的感知装配过程， 后者通过相关工具展现装配过程中零部件的状态，并分析装配规划的性能和结 果。这两类不同的研究方向都有自己的理论和技术特点，也有一些需要共同解决 的关键技术。前者比较具有代表性的研究有华盛顿州立大学的v a d e 系统【2 4 】和浙 江大学的v d v a s 系统2 5 1 ，后者比较代表性的研究有清华大学的v a s s 以及西 北工大的d m a s 姗系统。 上世纪9 0 年代中期，华盛顿州立大学v r c i m 实验室与美国国家标准技术研 究所合作所开发了虚拟装配设计环境v a d e 系统 2 6 1 ( v i r t u a la s s e m b l yd e s i g n e n v i r o n m e n t ) ，这是一个具有代表性的虚拟装配系统，如图1 1 所示。该系统的 主要目的是通过构建用于装配规划和评价的虚拟环境来探索产品制造中运用虚 拟现实技术的可行性。该系统使得设计人员可以在早期考虑装配问题、建立产品 和工艺信息，并具有实时干涉检测、与c a d 系统进行信息转化、装配约束捕捉、 基于物理的动态仿真等功能。它是将c a d 系统与沉浸式的虚拟环境结合在一起， 让c a d 系统在后台支持v a d e 系统，以保证设计人员沉浸于虚拟环境中进行装 配操作。该系统在s g ic r i m s o n t m 工作站实现，使用h m d 产生立体视觉效果， 由a s c e n s i o n 公司的f l o c k o f b i r d t m 跟踪器和c y b e r g l o v e t m 数据手套来跟踪手位 和手势、手指和手腕的动作，并使用t a c t o o l s t m 反馈设备用于指尖的力反馈。v a d e 的特点是能让用户与虚拟环境进行逼真交互、并能与c a d 系统实现一定的双向 传输；在虚拟环境中利用设计人员的装配设计意图实现产品的装配顺序规划等。 5 浙江大学硕士学位论文 第1 章绪论 图1 1v a d e 虚拟装配系统 浙江大学c a d & c g 国家重点实验室万华根等人，为了减少c a d 系统与虚拟 环境之间的复杂数据交换，开发了一个基于多通道的、集成虚拟设计与虚拟装配 的系统v d v a s ( v i r t u a ld e s i g na n dv i r t u a la s s e m b l ys y s t e m ) 1 2 8 j 。设计者可以直 接三维操作和语言命令建立零件和其装配模型，并能在虚拟环境中修改零件参 数。并在具有四面投影的c a v e 中，开发了完全沉浸式的虚拟装配原型系统i v a s ( i m m e r s i v ev i r t u a la s s e m b l ys y s t e m ) ，如图1 2 所示。能在“用户引导的拆卸” 下进行拆卸过程仿真与规划，并通过实时检测机制自动保证拆卸过程的有效性。 图1 2i v a s ：沉浸式虚拟装配系统 6 浙江大学硕士学位论文第l 章绪论 清华大学自动化系c i m s 中心增理等结合“虚拟产品开发( v p d ) ”项目研究， 开发了虚拟支持系统v a s s ( v i r t u a la s s e m b l ys u p p o r t e ds y s t e m ) 。该系统能让用 户在设计阶段基于三维数字化实体模型实施数字化预装配，直观的进行装配规划 与验证装配工艺过程和可装配性。 1 1 3 虚拟装配的发展趋势 虚拟装配技术在设计与制造领域已得到应用，但还存在着一些不足和待发展 之处：如对物理装配过程模拟的逼真程度不高、与c a d 系统之间的信息相互转 化不够便利，以及复杂的柔性体装配技术和力反馈等人机交互手段的精确度都有 待进一步提高等。对于虚拟装配系统的研究，在结合新技术的基础上，可以在以 下几个方面进一步的探讨【2 3 】。 1 ) 提高物理虚拟装配的真实性。对于虚拟装配拟实化而言，基于物理的建模 方法与装配过程这两个方面需要极大的发展。基于物理的仿真技术已经得到了广 泛的应用，但对虚拟装配过程中的物理仿真技术和方法，特别是能够达到交互实 时性的柔性体物理建模问题仍未有突破性进展。对于虚拟装配操作过程中的具有 物理的交互技术，特别是带有力觉反馈的人机交互需要要更进一步研究。随着工 业需求的提高，基于物理仿真的技术和人机交互技术的发展，虚拟装配技术有望 能在各种模型上进一步的取代物理装配过程。 2 ) 提高虚拟装配的智能化。由于装配知识难以形式化，依靠计算机实现自动 装配规划还有很多困难，随着人工智能技术的发展，通过工具化与智能化的装配 环境中充分利用人的创造力和形式化的专家知识以及计算机能力，实现人机协同 工作，大大提高装配效率。 3 ) 提高装配评估、验证的功能。目前大多数虚拟装配系统只提供初步的装配 评估与验证功能，它们与真实物理模型仍有差距，一些影响装配质量的因素如公 差、装配精度和装配变形等未能得到很好的评估与验证。如何提供与装配相关的 评估、验证功能，促进产品质量的提高，仍是虚拟装配中待解决的问题。 4 ) 建立基于网络的协同工作环境。基于因特网的分布式的协同工作加快了制 7 浙江大学硕士学位论文第l 章绪论 造业的发展进程，同时人们希望能够建立多模式、多用户界面的协同进行产品装 配设计。建立基于i n t e r n e t 的协同虚拟装配环境是虚拟装配发展的趋势之一。 1 2 柔性管虚拟装配概述 前述的虚拟装配系统主要针对虚拟环境下刚性零部件装配规划与交互手段进 行研究。而实际的产品设计时，柔性零部件应用更加广泛。在汽车、飞机等产品 的布线设计中，线缆、管道等柔性管的虚拟装配是个重要应用。但因其建模、装 配规划、交互手段的特殊性，在装配过程存在着的管道形状的动态变化以及交叉 装配影响装配质量等问题，这使得柔性管虚拟装配变得棘手。l e o n 等人旧对柔性 体虚拟装配过程的建模需求进行了总结，这些建模需求同样适用于柔性管的装 配： 1 ) 需建立有效融入于显示环境的柔性体显示表示模型。 2 ) 建立用户交互下柔性体产生形变的物理模型。 3 ) 需要考虑柔性体形变行为与周围刚性体之间的相互关系。 4 ) 结合柔性体建模与力觉交互设备，对用户的操作活动进行建模。 在此需求下，我们首先分析虚拟环境下柔性管装配存在的特点，之后从柔性 管的物理建模、虚拟装配规划以及交互手段的角度论述柔性管虚拟装配的现状。 1 2 1 柔性管的虚拟装配特点 在虚拟装配系统中，柔性管装配仿真与刚性零件相比，其建模和装配规划过 程，有如下几个特点： 1 ) 在装配仿真中，柔性管的形状和位姿是动态变化的，而且柔性管的形变与 它物理属性和周围环境紧密相关，因此柔性管的几何模型与物理形变模型不易直 接在c a d 系统进行建模 2 9 t ，最好在虚拟环境中建模。当然，在虚拟装配中，柔 性管物理形变模型精确性与实时性始终是一个难以解决的矛盾。 2 ) 在装配过程中，冈i j 性零件在装配过程发生整体的位置变换，而柔性管在虚 拟装配过程既有整体的移动也有局部的形变。这增加了柔性管与周围刚性部件碰 8 浙江大学硕士学位论文第l 章绪论 撞检测的复杂度。 3 ) 在虚拟装配交互中，需要考虑柔性管形变对用户交互操作的影响和制约。 目前的虚拟装配交互的接口缺乏从物理的观点考虑用户操作与柔性管行为之间 的关系1 3 0 l ，这增加了柔性管虚拟交互的难度。 1 2 2 柔性管建模方法 对柔性管的建模需要从两个方面着手：一个方面是柔性管几何表示的构建， 另一个方面是从物理仿真角度构建其形变模型。柔性管建模的这两个方面相互影 响又相互制约。对于柔性管的几何表示，一般有这两种思路： 第一种思路是将柔性管作为三维体处理，形变的过程看成体形变的过程，如 d u a lm e c h n i c a l 模型3 2 】等。这种方法的柔性管的几何表示是通过曲面来构建柔性 管的表面，在柔性管发生形变的情况下，能够较好的表现表面细节，如图1 3 所 示。 第二种思路是将柔性管作为一维体处理，形变的过程表现在中心线上，再通 过扫略或者圆柱拼接方法构建柔性管表面。该模型的形变过程忽略柔性管的表面 细节的变化，更注重柔性管总体形变行为。它们是基于k i r e h h o f f 假设：横截面是 刚性的，在形变的过程中保持形状，而且横截面与此处的中心轴的切线方向垂直， 如图1 4 所示。 9 浙江大学硕士学位论文 第l 章绪论 图1 3 柔性管的三维体儿何表示 图1 4 柔性管的一维体几何表示 对于柔性管的物理仿真模型，一般使用能量的方法表达柔性管形变的物理性 质，再通过能量最小化原理得到柔性管形变的运动方程。由于有限元1 3 l j 等经典的 物理仿真手段在虚拟装配仿真应用中很难达到实时性的要求，对于虚拟装配中的 柔性管的物理形变模型，目前典型模型有：点线模型【3 3 】、质量弹簧模型【3 4 1 、d u a l m e c h a n i c a l 3 2 j 模型等，这些模型更注重实时交互性，一般通过几何的方法作为构 建模型形变的基础，通过与材料属性相关的能量原理的应用，得到有物理意义的 柔性管几何运动方程。下面对两个典型的虚拟装配仿真的柔性管模型进行分析。 1 0 浙江大学硕士学位论文第1 苹绪论 l e o n 等人提出了d u a lm e c h a i l i c a l 【3 2 】的梁管模型( d u a lm e c h a n i c a lb e a m t y p e m o d e l ) ，该模型是基于有物理属性的刚性网格( r i g i db a rn e t w o r k ) ，再由自由曲 面造型的方法构建柔性管模型，如图1 5 所示。经过实际实验和有限元分析的方 法，拟合模型的几何变形能量函数。在外力作用于柔性管的时候，外围网格根据 能量最小化原理产生形变，再由网格形变带动了柔性管表面的形变，这种形变能 够表示柔性管发生形变时的一定表面信息。 翁出”。j 渔 变囊一 图1 5 柔性管的d u a lm e c h a n i c a l 模型 在c a d 应用与动画物理仿真领域，样条是设计一维体的经典工具，n u r b s 已成为表示一维体的工业标准。q i n 等人【3 5 j 为了改进样条的设计过程，引入了动 态样条( d y n a m i cs p l i n e ，d - n u r b s ) ，他们将样条几何与基于物理的约束方程相 结合，将质量分布、内部形变能、形变力和其他物理量加入到n u r b s 几何性质中。 通过求解非线性微分方程所得的数值解，使得样条产生有物理意义的形变行为。 后来的研究人员扩展了该模型的理论框架，如n o c e n t 和r e m i o n l 3 6 】定义了一种基 于拉格朗日的动态材料样条( d y n a m i cm a t e r i a ls p l i n e s ) ，这是一种完全基于拉格 朗日方程的动态样条物理模型。t h e e t t e n 等人【3 8 】提出了一个动态样条物理模型 g e d s ( g e o m e t r i c a l l ye x a c td y n a m i cs p l i n e s ) ：它能提供几何精确的能量方程， 同时具有样条的解析能力。 根据不同场合的建模需求，应采用不同的几何物理模型组合，得出柔性管建 模方法。对于d u a lm e c h n i c a l 模型，在虚拟装配仿真中，从形变行为到表面细节 能够很好的表示出来，但其物理建模需要从实验中得到，没有统一的方法和理论 支持，难以估计其复杂度。对于动态样条方法，其理论形式比较统一，可以方便 浙江大学硕士学位论文第l 章绪论 地对各种材质的柔性管进行建模，而且在满足一定精确性的要求下保证其实时 性，因此可以较好地满足柔性管虚拟装配的需要。 1 3 力觉生成与反馈 虚拟装配中，操作人员通过多通道的虚拟操作接口将物理动作传输到虚拟现 实系统中与虚拟物体进行交互。输入物理动作包括：手部和头部移动、对物体的 提拉和拾取等；然后，v r 接口如2 d 3 d 鼠标、操纵杆、力觉设备、跟踪器等捕 捉这些动作，传递给v r 系统；接着，v r 系统实时产生虚拟事件：如虚拟物体 移动、碰撞检测处理、力觉生成等；最后，将这些输出数据进行输出控制和分析。 力觉通道指用户通过力觉反馈的硬件设备来感知虚拟环境，这可以极大的增 强在虚拟环境中操作的沉浸感。由于柔性体形变的过程中需要考虑作用力与形变 位移之间的复杂关系，所以为增强柔性管虚拟装配的真实感，引入力觉生成与反 馈是非常必要的。 1 3 1 力觉生成算法 从b a r a f l f 3 9 1 提出了如何快速计算接触力以及r u s p i i l i 【4 0 1 发表的复杂图形的力觉 显示论文等，力觉生成与反馈逐渐成为人机交互领域研究的热点，随后许多研究 人员提出并改进了多种力觉算法，目前大部分是基于点接触的生成算法。 最常见的力觉生成算法是利用p h a n t o n t m 设备，使用弹簧线性力学模型， 根据虚拟物体的刺穿深度，运用胡克定律计算接触力】，并反馈到用户的真实手 指上。p o p e s c u 等人1 4 2 j 改进了弹簧线性模型，使用f = k x + 城+ “作为通用力学模 型，求解与虚拟物体接触之间的作用力。但此方法的力学模型过于简单，力觉的 真实感不尽人意。后续的研究学者为使得作用力更真实，在模型中加入了其他物 理属性，如阻尼、摩擦等。l u c i a n o 等学者1 4 3 】提出计算虚拟物体在多个接触点处 的接触力、阻尼力与摩擦力，然后取多个接触点所有力的算术平均表示虚拟物体 受到的合力作为力觉生成。m a c k a w a 等学者】提出了一种基于虚拟物体抓取操作 姿势的力觉生成算法，该方法只适用于两指交互的力觉生成。m e l d e r 等学者1 4 5 】 实现了多指虚拟物体的平移和旋转操作的力觉生成，该方法基于点的接触力生成 1 2 浙江大学硕士学位论文 第1 章绪论 算法，结合摩擦锥原理生成摩擦力，增强力觉真实感，但力觉生成算法不是完全 基于物理的。a n d e r s o n 等人1 4 6 】对多指虚拟手操作柔性物体力觉生成进行了研究， 使用弹性力学原理模拟柔性物体的变形，并用胡克定律计算接触力，是用户感知 物体的弹性，但当用户不看虚拟物体的时候，很难区别物体的软硬感，尚不能达 到交互操作时预测虚拟物体物理行为的作用。杨文珍等人1 48 】运用最小力螺旋模型 计算虚拟环境中灵巧手静力抓此虚拟物体的各相关手指的受力。 力觉生成算法比较复杂，还没有统一的思路。目前的整体趋势是，从点接触 模型向更大接触面积方向发展；从辅助视觉真实性到直接感知虚拟物体的物理属 性方向发展。 1 3 2 力觉反馈设备 力觉生成离不开力觉反馈设备，此二者联系紧密，相互影响强烈。随着计算 机硬件设备的发展，力反馈硬件设备也层出不穷，具有代表性的是由美国s e n s a b l e t e c h n o l o g y 公司生产的p h a n t o m l m 力反馈设备( p e r s o n a lh a p t i ci n t e r f a c e m e c h a n i s m ) 应用比较广泛，通过将手指套在p h a n t o m 的指环上与虚拟物体进行 接触，有三个直流电机牵引线为指环提供x 、y 、z 三个方向的作力。如图1 6 所 示，它为某种型号的p h a n t o m t m 力反馈设备。美国i m m e r s i o n 公司研发的背置 式多指力反馈设备c y b e r g r a s p t m ，如图1 7 所示。通过套在c y b e r g l o v e t m 手套并 给每个手指施加近似与指尖垂直的抓握力。该设备广泛的应用在医疗、计算机辅 助设计和危险品的遥控中。 图1 6p h a n t o m t m 力反馈设备 浙江大学硕上学位论文第1 章绪论 图1 7c y b e r g r a s p t mj 3 r 随着应用需求的提高和科技的发展，每年出现的力觉反馈设备也层出不穷， 它们最新资讯可从塾亚；丛必巡廷堑盘墨墨y 娶! 卫q 堑坠堕：q 型i 堡盘莶：塾垒卫网站获取。 与力觉生成算法相辅相成，力觉反馈设备向着具有更多自由度的方向发展， 给用户提供更为完善的物理力觉感知。 1 4 本文研究目标与内容 目前，对于交互式柔性管虚拟装配的研究尚处在探索阶段，其中存在着很多 交互自然性方面待解决的问题：如柔性管交互过程中的力觉生成尚未有很好的方 法、灵巧手抓持柔性管出现视觉不连续等。 本文的研究目标是：针对上述问题，提出一种基于物理的柔性管形变力觉生 成和反馈方法，以提高虚拟装配中用户交互的自然性。并实现具有灵巧手自然抓 取的柔性管虚拟装配原型系统。 本文的主要研究内容与组织结构如下： 第一章：绪论。介绍本文的研究背景以及相关技术，如虚拟装配技术、柔性 管仿真建模、力觉生成与反馈的研究现状，并提出本文的研究目标与主要研究内 容。 第二章：基于物理的柔性管力觉生成。本章针对虚拟交互中柔性管操作真实 感问题，提出基于物理的柔性管形变力觉生成算法，增强了柔性管交互的自然性。 第三章：基于灵巧手的带力反馈的柔性管装配操作。本章针对目前灵巧手运 1 4 浙江大学硕士学位论文第l 章绪论 动与柔性管形变之间的不同步，提出基于柔性管形变的灵巧手抓持方法，改进柔 性管交互的视觉连续性。 第四章：具有力觉反馈的柔性管装配原型系统。以本文提出的方法为核心， 设计并开发了具有基于灵巧手交互的柔性管虚拟装配原型系统。 第五章：总结与展望。总结本文提出的方法，同时，针对本文方法目前尚存 在的不足，提出未来工作的重点和方向。 浙江大学硕士学位论文 第2 章柔性管装配过程操作中的力觉生成 第2 章基于物理的柔性管力觉生成 2 1 引言 在虚拟装配的人机交互中，力觉是一种重要的感观信息反馈渠道，它能反应 虚拟世界中物理行为的信息。因此，对具有物理形变的柔性管进行虚拟装配操作 时，引入力觉交互，将极大的增强用户交互的自然性。然而，目前对于柔性管虚 拟装配操作的研究，还不能得到完全具有物理真实感的力觉。这是因为柔性管形 变过程中符合物理的力觉生成比较困难。 针对上述问题，本章提出基于物理的柔性管动态形变力觉生成算法，该算法 将有效改进柔性管交互操作的自然性。本章结构安排如下：首先，对柔性管进行 基于动态样条的物理建模，并在此基础上，构建基于物理形变的柔性管力