（计算机应用技术专业论文）基于虚拟现实的多机器人协同控制技术的研究.pdf

上海大学硕士学位论文 摘要 本文的主要研究目的是实现基于网络及o p e ni n v e n t o r 的虚拟多机器人协同 的仿真控制系统。该系统包括基于虚拟现实的多机器人可视化协同搬运子系统和 立体视频传输子模块，能够完成虚拟多机器人的协同搬运仿真、碰撞检测仿真和 三维交互功能，并且提供了实时立体视频传输显示的功能。 首先，本文对o p e ni n v e n t o r 体系结构、机器人几何建模和场景优化方法进 行了研究，说明了如何利用三维场景数据库技术完成场景绘制、以v r m l 作为 外部机器人模型表示、以l o d 方法优化仿真场景所实现的虚拟机器人场景绘制 模块的开发技术与方法。并以此为基础，分析了虚拟多机器人协同仿真的过程， 提出了从搬运物体出发，根据搬运物体运动路径反求多机器人手臂运动路径的协 同方法的设计和实现方案，它能够避免虚拟多机器人操纵人员了解额外的各种机 器人的结构组成等方面的知识，而用直观、便捷的方法针对作业对象实现虚拟多 机器人的协同搬运等仿真方案。此外，我们还实现了虚拟多机器人协同仿真控制 系统中其它功能模块的一系列关键技术，如实时碰撞检测技术、基于三维鼠标的 人机交互技术、远程立体视频传输技术。通过对现有碰撞检测程序库的整合与改 进，我们设计并实现图形仿真子系统的碰撞检测模块。 参照上海大学机器人中心的p t 5 0 0 及上海二号机器人系统，我们在p c 平台 上实现了虚拟多机器人协同控制。并且通过采用网络编程的w i n d o w ss o c k e t 接 口开发的网络通信模块将立体摄像头监控的实时视频数据经捕捉，压缩，输送， 提供给虚拟多机器人协同图形仿真控制系统的立体视频监控模块，从而实现远程 多机器人视频监控。 最后，本文对下一步如何继续开展研究工作，增强系统功能作了必要的说明。 关键字：虚拟现实，多机器人仿真，碰撞检测，三维鼠标，立体视频 v 墨塑查兰婴主兰垡望墨 一 一 a b s t r a c t t h eg o a lo f m i sr e s e a r c hi st or e a l i z eav i r t u a ls y s t e mo f m u l t i - r o b o tc o o p e r a t i v e c o n t r o lb a s e do no p e ni n v e n t o ra n dn e t w o r k ，w h i c hi n c l u d eg r a p h i cs i m u l a t i o n s u b s y s t e mo fm u l t i - r o b o tc o o p e r a t i v ec o n t r o la n dr e m o t es t e r e ov i d e ot r a n s f e r r i n g s u p e r v i s i n gs u b s y s t e m t h ea b i l i t y o fm u l t i r o b o tc o o p e r a t i v ec o n t r o lm e t h o d ， c o l l i s i o nd e t e c t i o n ，a n d3 du s e ri n t e r a c t i o ni n t e r f a c ei sp r o v i d e di nt h es y s t e m ，a n d t h ef u n c t i o n so f r e m o t es t e r e o - v i d e oi m a g et r a n s f e r r i n ga r ea l s oa c h i e v e d f i r s t ，t h i sp a p e rs t u d i e st h es t r u c t u r eo fo p e ni n v e n t o r , m a c h i n eg e o m e t r y m o d e l i n ga n ds c e n eo p t i m i z i n g ，a n de x p l a i n sh o w t ou s et h et e c h n i q u ea n dm e t h o do f v i r t u a lm u l t i r o b o ts c e n er e n d e r i n gm o d u l eb a s e do nt h e3 dd a t a b a s et e c h n i q u e ，a n d u s el o df o ro p t i m i z i n go fs c e n ew i t hv r m lf o re x t e r n a lr o b o tr e p r e s e n t a t i o ni n d e t 越 ，b a s e d0 nt h i sm o d u l e ，t h ep r o c e s so fs i m u l a t i o no fm u l d r o b o tc o o p e r a t i v e c o n t r o li sa n a l y z e d d e p e n d i n go i lt h em o v i n gp a t ha n dt h es h a p eo ft h eo b j e c th e l db y m u l t i r o b o t t h es y s t e mc a nd e d u c tt h em o v i n gp a t ho fe a c hr o b o ta r m t h ed e s i g n i n g a n dr e a l i z a t i o no ft h i sm u l t i r o b o tc o o p e r a t i v ec o n t r o lm e t h o di n t r o d u c e di nt h ep a p e r s o l v e st h es i t u a t i o nt h a tr e s e a r c h e r s ，w h od on o th a v er o b o ts p e c i f i ck n o w l e d g e ，h a v e t op r o g r a ma n ds u p e r v i s et h er o b o t st oe x e c u t ee x p e r i m e n t s w i t ht h eh e l po ft h e d e v e l o p e dv rm u l t i r o b o tc o o p e r a t i v ec o n t r o ls y s t e m ，t h e s er e s e a r c h e r sc a nn o w p e r 南r mt h e i re x p e r i m e n t sd i r e c t l ya n de x p e d i e n t l yi nag r a p h i c a l l ys i m u l a t e dv i r t u a l e n v i r o n m e n t f u r t h e rm o r e ，s o m ek e yt e c h n i c a lp o i n t sa b o u tt h eo t h e rm o d u l e so f g r a p h i cs i m u l a t i o ns y s t e mo fv i r t u a l m u l t i r o b o t c o o p e r a t i v ec o n t r o l ，s u c ha s s i m u l a t i o no fc o l l i s i o nd e t e c t i o n ，3 di n t e r a c t i v eu s e ri n t e r f a c eb a s e do ns p a c eb a l l t e c h n i q u e ，a n dr e m o t es t e r e ov i d e ot r a n s f e 蕊n g ，e t c h a v eb e e nd e s c r i b e di nd e t a i l ， t k r o u 。g hi m p r o v i n gt h ec u r r e n to p e ni n v e n t o rs o f t w a r ep a c k a g e s ，v e ed e s i g na n d c o m p l e t et h ec o l l i s i o nd e t e c t i o nm o d u l eo f g r a p h i cs i m u l a t i o ns u b s y s t e m ， i m i t a t i n gt h ep t 5 0 0a n ds h a n g h a in o 2r o b o ts y s t e m ，t h ev i r t u a lm u l t i r o b o t c o o p e r a t i v ec o n t r o ls y s t e mi sr e a l i z e do np cp l a t l b r r n t h r o u g hc o n n e c t i n gb e t w e e n c a p t u r i n g ，c o m p r e s s i o nm o d u l ea n dd e c o m p r e s s i o n ，d i s p l a y i n gm o d u l ev i an e t w o r k ， w h i c hd e v e l o p e du s i n gw i n d o w ss o c k e ta n dt h eu n i v e r s a ln e t w o r kp r o g r m n m i n g f n t e r f a c e ，t h ec o n t r o ls y s t e mp r o v i d e st h ef u n c t i o no f r e m o t es t e r e ov i d e os u p e r v i s i o n o f m u l t i r o b o tc o o p e r a t i v ec o n t r 0 1 b e s i d e s ，t h es t e p s ，w h i c hc a nb et a k e nt oi m p r o v et h ep e r f o r m a n c eo ft h es y s t e m i nf u g h e rs t u d ya r ea l s oc o n c e r n e da n de x p l a i n e di nt h i sp a p e r k e y w o r d s ：v i r t u a lr e a l i t y ，m u l t i r o b o ts i m u l a t i o n ，c o l l i s i o nd e t e c t i o n ，s p a c eb a l l ， s t e r e ov i d e o v f 上海大学褒士学键论文 原创性声明 本人声羁：赝呈交豹论文是本人在导绛指导下进行的吾开究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 绒撰写过的研究成果。参与溺一工作魄其键弱志对本研究所傲的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 攀年蝴率慷 | 本论文使用授权说明 本入宠企了瓣上海大学眷荧稼瞽、便弼擎往论文静黼定，郢：学校谢较保留论文及送 交论文复印件，允许论文被查阅驰借阅；学校可以公，奄论文的垒部或部分内褰。 ( 保密的论文在解密后应遵守此规定) 签名： 导师签名：0 焦：盎弱期： 导师签名：乇二班弱期： 1 一n 步。j 。 上海大学磺士学靛论文 第一章前言 1 1 课题来源与骈究背景 规器人是先进制造技术期自动化装备的典型代表。机器人技术涉及到机械、 电子、自动控制、计鳞机、人工智能、传感器、通讯与网络等多个学科和领域， 是多种离新技术发展成果的综合集成，因此它的发展与众多学科发展密切相关。 机器人在制造业戍用的范围越来越广阔，其标准化、模块化、网络化和智能化的 程度也越来越高，功能越来越强，并向着成套技术和装备的方向发展。 机器人应用可划分为两大类，一粪是厢于生产，另一黉是提供服务。目前用 的最多的视器入楚第一类，郎用于加工翻造韭等室离生产领域。机器久在翩遗韭 中，可以用于毛琏裁造( 浠箍、蘧铸、锻逡等，、辊槭加工、浑接、热处理、袭瑟 涂覆、装配及仓簿堆垛等俸盟中。泞压壤器人可爱予汽车、龟钒、家蠲瞧爨等工 业中，与冲压设务构成单枫自动冲压机积多机冲压囊动线，如美国克莱款勒公司 汽车车f 1 的加工就是利用1 0 台d a n l y 上、下料机器人和5 台压力机组成的自动 线进行的；我国济南第二机床厂自行开发的全自动落板冲压生产线，也已在生产 中得到了应用。 工业机器人的一个重要应用领域是机床加工工件的装卸，特别是自动化机床 工件的装卸，在法国卡特比拉工厂，用一台机器人可对两台车床的工件进行同步 装卸，这种机器人只有两只抓手，操作灵活自如，整套生产设备只需一个管理人 员就可以了。利糟机器人避行机械装配作监也将在不久成为现实。工厂鼙许多材 料、工件的搬运帮贮敲工佟，为税器装辩载、李孝靼 运输、码臻及料籍取稠等，往 往要糕费大量的久力，蒋澍是那些本忠、蠢溢铙 睾，蹦a 工作还具有缓大熬危险 性。如果崮孝趸器大去承担，于起来裁变缮缓蜜屏。如祝床爆土、下料枧器大，铸 造和锻造用的高湛装卸枧器人，取卸冲压机上塑牲电视机壳的枫器人，髑于堆料 码垛的毒l 器人等。剥用机器人进行搬运和贮放工作，可有效减轻工人劳动强度， 保障生产安全，降低劳动成本，提高生产率。 虚拟现实i i 2 j 技术是2 0 世纪末发展起来的由应用驱动的涉及众多学科的筒新 实用技术，是集人工智能、传感技术、仿真技术、人机接口技术及高度并行的实 l 海大学硕士学位论文 时计算披术等为体的综合集成技术。它翻罔计算机和电子技术来产譬三逼真的 视、昕、触、力等三维感觉环境，形成一个虚拟憋界，人们可以邋过专门设备“黧 身”于该虚拟环境中，利用人类自然技能对虚拟环境中的实体谶行交互考察和控 雾。该震撼环境篾可以楚菜秘特定现实瞧界憝真实薅现，也可以是纯蛰秘想中熬 世界。通过视、听、触觉作用于操作者，使之产生“身临其境”的感觉的交互式 巍景。 近年来，v r 技术与机器人技术的有机结合成为极县发展潜力和应用前景的 毒拜究方向之一。机械产黼的开发过程模式是“设计一实验一再设计”，黼要想通 过人为取得一个成功的设计，结果势必耗费大爨的人力、物力和财力，特别是机 器人的制造和运动都十分复杂。如能将虚拟现实技术弓l 入机器人的研究当中，就 可在机器人产翕的设计秘分橱：i 窭程中借粒计算机抟三终实接造型技术，彳嚣到虚拟 现实的制造效聚。用计算机的虑拟实验代替部分真实的实验，就可以节省大量的 经费霸眩霜。 在各类工业技术中的应用研究，尤其在机器人领域，制造业的整体变化趋势， 对橇器入静工佟方式产生着重大影l 鸯。在基于编程可重缝静柔瞧生产孳元中，传 统机械的机器人化以及新一代机器人化的机器将是工业机器人的两个主要发展 方向。_ = l = 监用机器人将改变过去的“部件发展方式”，向“系统发展方式”发展， 由单机的简单任务执行，囱多机复杂任务的协调执行发展。传统驰局限于枧器人 单机控制的编糨方式，将无法邋应这种系统化的要求。所以需餮提供一种面向机 器人 乍业单元的多辊协调豹系统纯 壬务绽程、仿真露篷控靛手段，搜祝器人融入 整个生产设备的统一工作框架。 为藏，漂瑟缱彝露科委孛潺并确立了“基予i n t e r n e t 斡餐能视器控锈器静磷 究与开发”这一科研项目，针对目前机嚣人仅仅实现了简单的网络通讯和控制的 琥状，对如何通过网络亿提高枫器人的智能性，满足实时性和可靠性等爱求做遵 一步研究的基础上，借阕虚拟现实技术的手段，建立t - - + n 向搬运 乍业单元的 多机器人的虚拟仿真平台，为研究工业多机器人任务语言编程方式和协同机制提 供基狴。 t ：海大学硕士学位论文 1 2 园内外研究情况 1 虚拟现实在机器人中静应用 国外对于虚拟现实技术在多机协调中的应用的研究起步较早，并已取得了 些比较成功的经验。 醒1 。1d o r t m u n d 大学i r f j q ：发兹基于 虚拟现实的机器人命令与监视系统 其中具有投 表性的成果有： 1 ) 国美国纛 加州大学( u s c ) 和德鬻机器入 研究组织( i r f ) 于1 9 9 7 年联合 开发了使焉投 射式虚拟现实 按术寒实理入 机接口控制管 理静c i r o s ( 黧 削智能机器人 控制) 多祧器人实验平台，同时也开发了多机器人控制系统i r c s 。i r c s 是一个 基于投甜式虚拟现实的开发平螽f 3 】 4 】，已成功土也应用在临场感帆器人虚拟现实应 用项目v i t a l i i i 中娜6 1 。如图1 1 所示。 2 ) i r f 剥鼹其开发黪c o s i m i r v r ( 嚣超单元豹工敛枫器人仿真，虚拟凌实) 系 统，实现了很多实际应用。它借助投射式虚拟现实的方法，不仅实现了诸如喷漆 祝器入、激壳锈潮橇器入耦遥幸奉枫器久簿豹仿真模板试验调练、“幸突速舔灌开发”、 数据库的可视化等一系列交互式仿真任务，还能对大多数复杂的工业过程进行可 视化或动画穰藏，如德国空闻项蘑g e t e x 中的日本卫星e t s v i i 上就应用了这 技术【靴。i r f 在1 9 9 8 年又开发了基于c o s t m i r v r 的投射式虚拟现实系统的 多用户版本，允许多个操作者通过i n t e m e t 或i s d n 在间一个康拟世界中协同工 作。 3 ) 由德国空间局d a r a d l r 和日本空间局n a s d a 于1 9 9 8 年合作开发了 l 海大学硕士学位论文 e r a 机器人，这是采用投射式虚拟现实开发并通过“直觉式”命令操作的世界 上第一台依附于外太空卫星上的机器人。 4 ) 摩托罗拉公司利用s u p e r s c a p e 公司基于个人计算机的虚拟现实开发系统， 研制出了寻呼机机器人装配生产线仿真系统。该仿真系统包括三个装配机器人工 作单元、传送系统、用于检查产品功能的机器视觉检查系统以及激光标识打印系 统。虚拟装配线的环境和操作方式，与真实的装配线相符合。分散在世界各地的 该公司成员只需三天即可学会整条机器人装配生产线的操作步骤。 5 ) 英国n o t t i n g h a m 大学与d e n f o r d m a c h i n e t o o l s 公司合作，开发了用于教 学目的的模块化可重构柔性制造单元仿真系统，实现了机器人、数控机床和传送 设备的布局设置、构件流程的规划设计以及整个制造过程的监控和仿真。 目前国内对基于虚拟现实的多机器人控制方面的研究尚处于起步阶段，相应 的研究成果还比较少。戴炬等人将投射式虚拟现实与虚拟监控技术相结合，设计 建造了一个基于水下机器人的投射式虚拟监控系统p v s u r ，可以通过计算机监 控系统来监测和控制水下机器人的动作【7 0 此外，我国一些研究机构对虚拟制造中的多机器人作业仿真平台和遥操作机 器人技术等方面的研究正在积极的展开。哈尔滨工业大学机器人研究所的乔桂 秀，董玉春等以多机器人装配作业为背景构建的多机器人虚拟生产平台，在系统 控制中提出了一个突发故障的处理策略【8 】。国防科技大学机电工程与自动化学院 的李焱、吴涛、贺汉根用虚拟现实的遥操作机器人实验系统，在地面仿真环境中， 成功完成了插方孔等遥操作任务【9 】。哈尔滨工业大学一l 海交通大学等高校在“多 机器人协同控制”方面也进行了研究。现阶段有待解决的重点技术问题包括数字 化多机器人模型的建模技术；多机器人虚拟搬运的协同算法的研究；以交互方式 控制多机器人三维真实模拟搬运过程；机器人工作场景的立体视频远程监控等 等。 1 3 研究目的 在未来的工业制造环境中，友好的人机操控接口对于机器人应用必不可少 4 j 二海大学珂j 士学位论文 虚拟现宴技术具有“友好接口”方面的优势。 本文豹研究目的就是针对现有两种挺号的机器人建立一个多机器人虚拟现 实平台，并在其上实现多机器人协同作业与碰摭检测的仿真，为实现多机器人协 捧魏囊熬远程交互控裁，裁建镑囊溃环境。疑辩运弱立体显示款技零，在诗冀瓿 上实现了现场机器人的双目视频数据的传输与立体显示，便于用户就现场机器人 与虚瓠瑷实多撬器入傍襄结莱避行魄较。 l 。4 本文瑟徽的工作 1 瓿嚣入三维建摸与运凌学、遂运动学分援，建立受援凌实静仿真试验平台， 实现多机器人作业的三维可视化。 2 。实琉对各萃牵秘体酶协阉搬运算法，觚示教主梳器入的运动路径，禳疆不同几 何模型的物体，得出协从机器人的运动路径的算法模式，发展到以几何模型 物体为主要控制对象，根据搬运物的运动参数分别樽到各个机器人的运动参 量。 3 在协问搬运时，将多机器人手臂与搬运物体作为统一的整体进行考虑，确寇 工 誊落圈，剃溺磋攘捡测搜它与爨骥物髂不发生磁攘。 4 在w i n d o w s 平台实现立体视频远程传输显示，与虚拟现实多机器人仿真结果 进行院较。 在熬于o p e ni n v e n t o r 1 3 】的虚拟现实实验平台上，我们模拟制造环境的加工 单元，究成这样个实例：用多机器人( 双机器入) 实现协同搬运：在虚拟现实 环境中出技术员裁上立体眼镜，通过三缝鼠标示教搬运甥体的孰逐，针对不同类 型的搬邂物体的几何模挺，多机器人运算得出自己手臂的运动轨迹。搬运中，用 户可以任意溆爨多极器入场豢，选择最毽兹我察受度。 圭塑奎堂雯主羔竺堕墨 一一 一 虚拟现实技术具有“友好接口”方面的优势。 本文的研究目的就是针对现有两种型号的机器人建立一个多机器人虚拟现 实平台，并在其上实现多机器人协同作业与碰撞检测的仿真，为实现多机器人协 作的虚拟远程交互控制，创建仿真端环境。同时运用立体显示的技术，在计算机 上实现了现场机器人的双目视频数据的传输与立体显示，便于用户就现场机器人 与虚拟现实多机器人仿真结果进行比较。 1 4 本文所做的工作 1 机器人三维建模与运动学、逆运动学分析，建立虚拟现实的仿真试验平台， 实现多机器人作业的三维可视化。 2 实现对各种物体的协同搬运算法，从示教主机器人的运动路径，根据不同几 何模型的物体，得出协从机器人的运动路径的算法模式，发展到以几何模型 物体为主要控制对象，根据搬运物的运动参数分别得到各个机器人的运动参 量。 3 在协同搬运时，将多机器人手臂与搬运物体作为统一的整体进行考虑，确定 工作范围，利用碰撞检测使它与周围物体不发生碰撞。 4 在w i n d o w s 平台实现立体视频远程传输显示，与虚拟现实多机器人仿真结果 进行比较。 在基于o p e ni n v e n t o r 1 3 1 的虚拟现实实验平台上，我们模拟制造环境的加工 单元完成这样一个实例：用多机器人( 取机器人) 实现协同搬运：在虚拟现实 环境中由技术员戴上立体眼镜，通过三维鼠标示教搬运物体的轨迹，针对不同类 型的搬运物体的几何模型，多机器人运算得出自己手臂的运动轨迹。搬运中，用 户可以任意浏览多机器人场景，选择最佳的观察角度。 户可以任意浏览多机器人场景，选择最佳的观察角度。 上海大学硕士学位论文 第二章多机器人协同仿真系统结构和原理 2 - 1 总体方案的确定 2 1 1 系统的硬件方案 虚拟图形仿真系统可使用的硬件平台有微机和工作站两种。工作站具有运算 速度快和图形能力较强的特点，早期的商品化仿真软件多在u n i x 工作站平台上 运行，但是价格十分昂贵，而且往往自成体系，难以与其他软件共享数据，因而 限制了它们的推广应用。另外，从开发的角度来看，工作站随机附带的开发工具 功能较弱，开发资料较少，使得开发工作的复杂度加大。而专用的商业化开发工 具价格昂贵，难以承受，而且也不利于进一步的推广应用。在近年来随着计算机 技术的迅速发展，特别是微机三维图形加速卡的出现和3 2 位操作系统的使用， 使微机的总体功能大大提高，性能上已达到或超过早期工作站的水平，具备了和 低端工作站产品抗衡的能力，而且，许多著名的三维开发软件，如t g s 的o p e n i n v e n t o r 、e a i 公司的w t k ，c a d 软件如e d s 公司的u g 、p t c 公司的p r o e 等都推出了各自的针对微机平台的产品，这些都大大提高了使用微机作为开发平 台的可行性。 我们采用基于w i n d o w s 2 0 0 0 操作系统的多c p u 微机和专业级图形加速卡， 以此为开发平台，采用v i s u a l c + + 6 0 作为软件开发环境，它是一种技术成熟、 功能强大、使用广泛的开发环境，能够较好的符合实际需求。此外，还使用了三 维鼠标和立体眼镜作为人机交互设备。在虚拟图形仿真系统的输出方面，除了一 般的电脑显示器外，我们还使用了v rx 1 2 0 0 l 大型投影仪和利用液晶快门技术 的立体眼镜进行测试，并取得了很好的效果。 2 1 2 系统的软件方案 在图形核心方面，可供选择的方案包括使用国际通用的图形库o p e n g l 或其 它高端的图形软件开发包。我们选用的是t g s 公司开发的o p e ni n v e n t o r 三维开 发包，如图2 1 ，这是一种建筑在o p e n g l 三维图形接口之上的通用的商业化三 r 海大学硕士学位论文 维开发包，囊一个完整浆用e + + 缠霹鼹大型类蓐组成。它支撩颟肉对象的设计 方法，可以实现对象的造墅、属褴摇述、动画寝蜣等系列功麓。并可以在多令 平台运行，被誉为楚交互式3 d 开发工具的“事实标嘏”。w i n d o w s 平台下的o p e n i n v e n t o r 能够与v i s u a lc + + 6 0 紧密结合，诺韵这个技术成熟、功熊强大、壤 用广泛的软件开发工其，自g 够高效地开发和调试基于o p e ni n v e n t o r 的三维软件。 与0 p e n g l 糨比较，o p e n i n v e n t o r 邋过它毽势我场袋数据溥溺爱o p e n g l 实 现三缎图形对象的显示。o p e ng l 直接把显示的对象送入到帧缓冲嚣中，而o p e n i n v e n t o r 则把需荽显示熬对象先存入o p e ni n v e n t o r 凑帮靛数据库中，并恕对象 和操作封装在起，当o p e ni n v e n t o r 数据库的显示操作被激活时，o p e ni n v e m o r 才把餮显示豹对象送入到椟缓 串搽中遂行显示；在o p e ng l 中，对象豹显示郭 对对象的操作怒分开的，而o r ，e ni n v e n t o r 把对象及其操作封装在一起 用o p e n o l 要示对象，鼹户必绥掌握缀多编程缀节，诸热对象豹选取、旋转、平移等操 作，髑户必颡掰一系捌躺g l 编程语句来实联，而0 p e ni n v e n t o r 预兔瓷侯了一 系列的标准组髅敷操作，用户只满把这些缎传组合越来即可，冕嚣了然太多豹鳃 节。当然，o p e ni n v e n t o r 瓷傈持了很多o p e no l 酌灵活之处，使蹭户可以构造 基己蹶嚣耍敬，颢o p e ni n v e n t o r 来提供的对象、缌传及其操作。好比制造台 梳器，嗣户既可懿自己翻造每一个零件( o p e ng l 懿方式) ，键可先买一些标准 件再翻融制造必特殊零i 牛( o p e ni n v e n t o r 的方式) 。总之，我们可以根据虚拟 多机器入协闯作妲图形仿真系统开发中的具体需求来决定慧样组合使用o p e n g l 与o p e ni n v e n t o r ，把o p e ni n v e n t o r 提供的对象组件翻o p e no l 挝供的舆体 函数缀合在逛使餍。 上海丈学硪士学挺论文 图2 1o p e ni n v e n t o r 与o p e n g l 及w i n d o w s 环境酶关系 在网络通信方面，由m i c r o s o f t 等公司开发的w i n d o w ss o c k e t sa p i ( 下面 简称w i n s o c k ) 提供了w i n d o w s 环境与网络之间的编程接口，台有b s d 风格函数 3 0 个左右和专门为w i n d o w s 系统扩展的函数近2 0 个。w i n s o c k 以动态链接库的 形式提供，通过w i n d o w s 系统中的消息机制予以驱动。实际上提供w i n s o c k 功能 实现的公司由很多家，它们的产晶功能类似，但略有蓑剐。由于m i c r o s o f t 公司提 供的操作系统中已内鬣了w i n s o c k 支待，因而m i c r o s o f t 公司的w i n s o c k 也被采 用得比较多。 根据所传输的数据类型不同，w i n s o c k 的通信方式可分为流式( s t r e a m ) 和数 据报( d a t a g r a m ) 两种方式，分别对应t c p 和u d p 两种协议。s t r e a m 方式提供面 向连接的、无差错的、先后顺序一致的网络信息传输服务，包的长度不隈。 d a t a g r a m 方式则用于提供无连接服务，它以独立的信息包进行网络传输，信息 包的最大长度为3 2 k b ，传输不傈证顺序住、可靠佼和无重复性，通常糟于传输 荦个撮文或辔可靠往瑟求不高憩是实行要求较离的场合。 用w i n s o c k 编程有两种方法：采用通用s o c k e t 函数和m f c 类摩方式。m f c 提 供了两个类，c s o c k e t 和c a s y n c s o c k e t 。其中c a s y s o c k e t s 类封裴了w i n s o c ka p i ， 并将w i n d o w s 消息转换为回调函数，从本质上说，两者的实现机制是相同的。 上海大学硕士学位论文 c s o c k e t s 类是c a s y n s o c k e t s 类的导出类，通过m f c 中的c a r c h i v e 类的对象提 供更高层次的抽象，它封装了s o c k e t 实现中的许多细节，并且s o c k e t s 与 a r c h i v e 相结合的方法提供了与m f c 中文档串行化方法相接近，因而在处理文件 数据操作时使用十分方便。同时也正因为封装了s o c k e t 实现的一些细节，也使 得编程的灵活性受到一些限制。针对传输的图像数据需要实时f 生的特点，我们选 择了数据报s o c k e t 方式，编程直接采用通用s o c k e t 的方案。 本文所做主要工作之一是对多机器人网络控制系统中基于虚拟现实的多机 器人可视化协同搬运子系统以及远程视频传输子模块的构建，包括虚拟现实机器 人作业可视化、协同算法模块、多通道交互模块以及视频传输模块中的硬件和软 件系统的建立等工作。硬件子系统主要介绍实验场景中的硬件设备和机器人本体 等情况，软件子系统将介绍基于虚拟现实的多机器人协同仿真系统中的软件结 构。 二海大学硕士学位论文 2 2 多机器人协同仿真系统的硬件结构 塑2 。2 多极器人协嗣搬运与拯冠穆她在盎掇现实场景中魏蕊囊系统熬嫒搏维季奄 基于多机器人协同搬运与协同作业虚拟现实仿真系统硬件部分由虚拟现实 仿真控翻漾，梳器入控制系统和立体毒雯频传输予系统等三个部分组成。出于对系 o 上海大学矮士攀控论交 统安全往和稳定往的考虑，我们将丰凡箍人虚撅现实仿真控翻湍和梳器入控箭系统 分为两个独立的子系统，这两个予系统通过高速以太网相连。而立体视频传输予 系统一般远离梳器人工作现场，邋蓬菇域网与极器人叠：作现场楣连。课题掰采用 的硬馋缀构如鞠2 2 ，裰应的软件结构如图2 ，3 。 i 椒器入控铷系统 机器入撩制系统运行子台p e n t i u m4 工监控制徽枫( i p o 上。在该 p c 上安装了位燮控裁卡，其输如巍接与枧嚣人镧服电机驱动器鹅连，幽葵文接驱动 机器人本体上的伺服电梳来完成相应的动作。翔图2 2 中的“辛几器入控稍系统” 模块腰示。 2 虚拟现实仿真控制端 虚拟现实傣真控制端中缀纛要的郏分是多极器人的虚拟现实协同仿真，豳 于肇实时显示三维机器入动画，需要有很疆的图形处理能力和较快的运算速度， 我们采用了带蠢凰形嬲速功能姻a g p 显示卡姻p e n t i u m4 微机 乍为硬件乎台。另 矫湃配合三维鬣标与立体礁镜，实现仿真端餍户的三维交互。如图2 2 “虚叛璇 实仿真控划蠛”历示。 3 立体褫= | 黉传输子系统 立体视频传输子系统中的立体视频传输服务器上安装有两块视频捕提卡，外 接二个摄像头，它恕撼键遴宋鹣立体橇频数据避行处璞，粒立体褪频羧控终端邋 过局城网进行连接，传输视频数据。通过立体眼镜，立体视频监控终端实现机器 入耀场工 乍瓣三维篮控；躲图2 + 2 中懿“立体程频传输予系统”模决所示。 。t 海大学硎士学位论文 2 3 多机器人协同仿真系统的软件结构 闰2 3 系统软件结构图 奉系统所实蜣的多梳器人羧制子系统是参照上海大学丰几器人中心静p t 一5 0 0 与上海二号机器入控制系统设计丽成的。它实现了p c 平台上的虚拟多机器人协 间作业控制，以及远程立体视频的监控。根据用户的交互操作，系统调用各个功 能模块实现多极摆a 运动显示、多极爨人手饕窝闯位爨参数款竣定、空闽关节 坐标的转换、多机器人作业的碱撞检测等功能。多机器人实际的作业场景也可以 遂过立俸视频终羧模块将双嚣摄橡头实时臻获瓣匿豫数据输送劐立体凝蒙显示 端，实现对多机器人实际工作场景监控。 多机器人控制子系统包括了仿真场景绘制模块、多机器人3 d 模型库、多机 器人耱礴控裁模块、多缀器大撩撞检测模块、入枫交互模块等蠹令穰袋。 圭塑查兰堡主兰垡堡苎 1 仿真场景绘制模块是多机器人控制子系统的核心，负责对虚拟多机器人 场景的实时渲染，包括几何图形绘制、纹理渲染、光照渲染、物体运动 和精确计时等等。多机器人控制子系统的其它模块都是在它的基础上实 现的。 2 多机器人3 d 模型库包括各种型号的虚拟机器人模型及有关的机器人作 业对象的模型。根据多机器人控制子系统对机器人本体与操作对象的不 同要求，将相应的虚拟模型调入虚拟系统，实现虚拟多机器人的控制。 3 多机器人协同控制模块根据人机交互模块的实时输入，和多机器人种类、 位置、数量及作业对象的参数的不同，实现多机器人手臂端点位置的运 算，与空间关节坐标的转换a 并将结果传递给多机器人碰撞检测模块或 直接传递给仿真场景绘制模块显示仿真结果。 4多机器人碰撞检测模块通过从多机器人协同控制模块或直接从人机交互 模块获得的数据计算场景中多机器人及操作物体是否与周围环境发生碰 撞，实现多机器人作业过程中的实时碰撞检测； 5 人机交互模块则使操作者可以通过三维鼠标与立体眼镜等交互设备对虚 拟机器人场景进行视点控制。 远程立体监控子系统包括了立体视频的捕获，传输与显示等三个主要模块。 1 立体视频的捕获模块实时捕获实际场景中多机器人的工作情况，将左右 双目的视频信息及时地传送给传输模块。 2 立体视频传输模块实时地接受捕获模块送出的双目视频数据，进行有关 的视频压缩处理，并选择有关的网络协议进行传输。 3 立体视频显示模块实时侦听视频数据接收端口，对获得的视频数据进行 解压，并将双目图像信息叠加显示，完成远程立体视频监控的一次流程。 上海大学硕士学位论文 第三章基于虚拟现实的多机器人仿真控制 子系统的设计与实现 基于虚拟现实的多机器人仿真控制子系统的核心部分是多机器人仿真场景 绘制模块，以此为基础，再针对多机器人协作仿真的特点，实现了多机器人协 同控制模块、多机器人碰撞检测模块、多机器人3 d 模型库、人机交互模块等 子模块。 3 。1 多机器人仿真场景绘制 我们在o p e ni n v e n t o r 平台上用三维场景图技术实现了机器人仿真场景的 绘制，并且探讨了机器人几何建模和对大数据量的场景进行优化的技术。 3 1 1o p e ni n v e n t o r 的场景图技术 o p e ni n v e n t o r 的体系结构如图3 1 所示 匦匦叵 图3 1o p e ni n v e n t o r 体系结构图 上：海大学酾士学位论文 o p e ni n v e n t o r 工其箱是o p e ni n v e n t o r 的核心，它不但为用户撬供强大 的编程应用接秘，还管理o p e ni n v e n t o r 创建的每个对象。它包括三个部分： 三维场景数据库、交互操作和节点库。三维场景数据库包含了一系列用来构成 三维场荣基豹节点露鞠应款功越对象；节点瘁媸提袋了许多o p e ni n v e n t o r 颧 先规定的节点组件和捞配的机制，用户也可以根据自已l 的需要加入自己的对魏 搭配橇鞭来扩充苇点瘁；交互操佟主要是曩 # 鬻壹蕊并显哥以编辑匏方式来# 蠢 应用户对场景网的交互操作事件。 节点是三维场景数据库中最基本静组成对象，由节点组成的层次结构称为 场景图，场景图不是节点的简单堆砌，它定义了节点的次序，在场景中较早出 现的节点对后筒的节点产生影响，它也提供了种机制来限制这种影响，使场 景中的禁一部分，g 够在规能上与其媳部分分溅歼。 节点大致w 以分为3 类：形状节点，属性节点，分组节点。形状节点定义 场景中物体豹足 霉形 零，趣话疆大类：基本咒嚣澎体，懿强镶，长方 零，球傣 和圆柱体等：簸杂几何形体，如面片集合、四方形网格、线段集合、n u r b s 曲 瑟等等。属性节点记录应用予凡何对象盼属径，包括材鹱、绞瑗、灯光、褫点等 等，几何变换节点也属于属性节点。分组节点将一个以上的节点组合在一起， 使它们能够像个单独对象那样被处理。常用的分组节点包括g r o u p 节点， s e p a r a t o r 节点和s w i t c h 节点。后两个节点都是从g r o u p 节点中派生出来的， 除了像g r o u p 节点那样包含几何形体、属性和分组节点外，s e p a r a t o r 节点能 握缓蠹节点懿影旗限裁予分组波聱，瑟s w i t c h 苇点笺投攥序号蕈独显示鳃蠢豹 某个子节点。 每耱节点帮有对应靛僮域秘方法，遂过调精方法，可以设定或修改裙应酶 值域。比如材质节点中，可以设制几何彤体的反射光颜色，透射光颜色，透明 凄等等：而分缀节点中，可以添船子节点，删除子节点，改变子节点的顺序等 等。 除节点外，三维场景数据库的组成部分还包括操作、引擎和传感器。操作 对象定义了对场景霆或场景嚣申莱一部分麴各攥捧，常斌款掇 玺包括o p e n g l 滚 染操作：利用菜种指定的o p e n g l 方法对场景进行渲染；写操作：将部分场景写 戚三缎交互文转；查拨菜特囊节点的潆俸以及矩阵计簿漂佟等等。黧形弓l 擎 上海丈学壤士学佼论文 用来驱动场荣，或在场景的两个部分之间建立联系，包括秒表时钟弓l 擎、计数 器等等。传感器掰来对场景数据库中豹数据改嶷 乍豳确巍，它盆渊场景中备类 事件，警事件发爱蘸就艋发传感器，以调用稻关静蠲户搡 乍帮实璇嚣溺进程管 理。 3 。1 。2 多机器人在o p e ni n v e n t o r 中的场景图结构 背景，全局 节点光照 7 t 一“ 一一 光照光照 方襞l 隽案2 视点 多机 器a 本体 机器 人1 交换机释 节点人 机器 a 2 搬运 转 变换部件 节点体 部件1 一 土 赣繁螂件2 节点。体 “” j jj 蒌警，部件3 ， 节点搏 ”。4 r 一 圈3 2 多杌稚人协闻作妲场景图 避碰 镕 变换部件 节点。1 馋 多机器人系统是由少到几十个多到上百个基本零部件组成的，为了实现它 们本体不同的联动功能以及相互间的位鬣关系，我们需要将其按定的规则把 1 6 转丁一一一 上海大学硕士学位论文 各种零部件组合起来并设置不同的位置变换。为此根据三维场景数据规则，我 们构造出多机器人协同作业的场景图，结构如图3 2 所示。 在场景图的最上层，是虚拟场景的根节点，所有的多机器人仿真图形场景 都是从这个节点中衍生出来的。场景图第二层的最左端是背景场景节点，包括 厂房的地板、墙壁及其纹理。其次是全局光照节点，定义了对整个场景的光照 方案。接下来视点节点，它定义了多机器人的全局视点，通过对视点节点属性 的设置，用户可以从不同视角对多机器人作业进行观察。然后，就是多机器人 本体节点。由于机器人是由各部件构成并且各部件问存在联动关系，所以利用 分组节点构成层次结构的多机器人协作系统：机器人本体由变换节点、部件、 下层部件直到最底层的部件体层层嵌套而成。每一个部件、下层部件都是 一个分组节点。部件体是虚拟机器人的最基础的组成部分，在部件组节点中包 括部件体的几何位姿变换节点和零件的几何形体，我们还可以根据需要添加更 多的节点，如部件体的材质节点、部件体的基本信息节点( 记录部件体名、部 件模型文件名等信息) 。 搬运体也单独地构成一个分组节点，包括搬运体的几何位姿变换，搬运体 的几何形体，我们还可以添加其他的必要信息，如搬运体信息( 长度、直径和 质地) ，搬运体材质，由于与多机器人系统互动紧密，所以也把它作为多机器人 本体节点的一个子节点。 最后是避碰体节