（机械电子工程专业论文）基于internet多机器人遥操作系统虚拟环境研究.pdf

哈尔滨丁业大学工学硕卜学位论文 摘要 近年来，i n t e r n e t 技术的飞速发展，为传统的遥操作技术注入新的生机 与活力。作为i n t e r n e t 与虚拟现实技术相结合的新生事物，基于分布式虚拟 环境的遥操作系统与传统的遥操作系统相比有着明显优势：一方面，它能够 有效地弥补仅依靠视频图像作为主要反馈信息的遥操作系统的不足；另一方 面，作为信息传输的媒介资源，i n t e r n e t 赋予遥操作系统新的内涵，它允许 分布在不同地理位置的多个操作者协同操作，共享昂贵的设备资源，在空间 作业、深海探测、远程医疗等领域显示出巨大的应用潜力。 基于i n t e r n e t 的遥操作系统具有分布性、升i 确定性的特点，采用p e t r i 网理论建立遥操作机器人系统中虚拟环境与远端机器人的交互模型，为分布 式虚拟环境的设计提供系统框架。对虚拟环境的设计与建模方法，包括基本 类的定义、虚拟环境的模型、虚拟场景的动态更新等问题进行讨论，并在 j a v a j a v a 3 d 平台予以实现。 针对遥操作系统效率和安全性较低的问题，提出自动、半自动及手动模 式的适应性虚拟向导辅助操作者引导手爪运动。自动模式中，采用手爪导向 球引导机器人沿规划后的无障碍路径运动；半自动模式中，在建立路径点导 向向导的基础上，与操作者的智能相结合完成路径的规划；手动模式中，建 立同步影像向导及体型虚拟向导辅助机器人的控制。 采用遗传算法完成机器人手爪末端的路径规划。针对常规遗传算法中过 早收敛的缺点，提出自适应遗传算法的解决方案；采用变长度的染色体串克 服定长度染色体串隐含步长过大而忽略障碍的问题。实验证明，改进后的遗 传算法在分布式虚拟环境应用中能够取得较好的效果。 最后，在基于i n t e r n e t 的多机器人遥操作系统平台上进行实验研究。两 个操作者通过网络分别控制远端的r x 6 0 、r x 9 0 机器人完成移动积木及移取 试管的操作任务。实验结果表明，适应性虚拟向导的引入能够有效的提高多 机器人遥操作系统的作业效率，克服网络时延影响。 关键词多机器人；遥操作；虚拟环境；i n t e r n e t 堕尘堡三些查兰三兰竺：! 耋篁鎏兰 a b s t r a c t w i t ht h eb l o o m i n go fi n t e r n e tr e c e n t l y ，t h et r a d i t i o n a l t e l e o p e r a t i o nh a s a n e ws o u r c eo f v i t a l i t y a sar e s u l to fc o m b i n a t i o no fi n t e r n e ta n dv i r t u a lr e a l i t y ， d i s t r i b u t e dv i r t u a le n v i r o n m e n tb a s e dt e l e r o b o t i c sh a so b v i o u s a d v a n t a g e s c o m p a r i n gw i t ht r a d i t i o n a lo n e s o nt h eo n eh a n d ，i tc a na v o i dt h ed e f e c t si nt h e o p e r a t i o nm o d e s w h i c hd e p e n dm a i n l yo nv i d e oi n f o r m a t i o na sf e e d b a c k o nt h e o t h e r h a n d ，a s am e d i ao fi n f o r m a t i o n t r a n s m i s s i o n ，i n t e r n e te x t e n d st h e a p p l i c a t i o no fc o n v e n t i o n a lt e l e r o b o t i c st od i f f e r e n tp l a c e s ，m a k e si tp o s s i b l ef o r m u l t i o p e r a t o rs h a r i n gd e v i c er e s o u r c e s ，a n de m b o d i e si t sv a l u e si nt h ef i e l d so f s p a c eo p e r a t i o n s ，u n d e r s e ae x p l o r a t i o n s r e m o t es u r g e r i e se t c a si n t e r n e tb a s e dt e l e r o b o t i e sh a st h ec h a r a c t e r i s t i c so fd i s t r i b u t i o na n dn o n d e t e r m i n i s m ，p e t r in e ti sa d o p t e dt od e s c r i b et h ei n t e r a c t i o nb e t w e e nd v ea n d r e m o t er o b o t s ，t op r o v i d ea r c h i t e c t u r ef o rt h ed v e t h em e t h o do f d e s i g n i n ga n d m o d e l i n gd v e ，i n c l u d i n gd e f i n i t i o no fb a s i cc l a s s e s ，v i r t u a le n v i r o n m e n tm o d e l a n dd y n a m i cu p d a t eo fv i r t u a ls c e n e ，a r ed i s c u s s e da n dr e a l i z e di nj a v a j a v a 3 d p l a t f o r m a d a p t i v ev i r t u a lg u i d e so fa u t o m a t i c ，s e m i a u t o m a t i ca n dm a n u a lo p e r a t i o n m o d e sa r ep r e s e n t e da g a i n s tc o m p a r a t i v e l yl o w e r e f f i c i e n c ya n dl o w e rs e c u r i t yo f t h es y s t e m ，t oa s s i s to p e r a t o r si ng u i d i n gt h em o t i o no ft h eg r i p p e r i na u t o m a t i c m o d e ，g r i p p e rg u i d es p h e r e s a r ei n t r o d u c e dt o g u i d e r o b o t so nt h ep l a n n e d o b s t a c l e f r e ep a t h s i ns e m i a u t om o d e ，p a t hp o i n tg u i d e sa r eb u i l t p a t hp l a n n i n g i sa c c o m p l i s h e db yc o m b i n i n gt h ei n t e l l i g e n c eo ft h er o b o ta n dt h eo p e r a t o r i n m a n u a lm o d e ，s y n c h r o n o u si m a g e g u i d e sa n ds o l i dv i r t u a lg u i d e sa r ed e s i g n e dt o a s s i s ti nc o n t r o l l i n gt h er o b o t s g e n e t i ca l g o r i t h m ( g a ) i sp r o p o s e dt op l a nt h er o b o tp a t h a d a p t i v eg ai s p r e s e n t e d a sas o l u t i o nt o p r e m a t u r ec o n v e r g e n t o fg e n e r a lg a v a r i a b l e c h r o m o s o m el e n g t hi sa d o p t e dt oo v e r c o m et h eo v e r s i z es t e pi m p l i e di nc o n s t a n t c h r o m o s o m e l e n g t h p o s i t i v e r e s u l t sh a v eb e e ns h o w ni nt h e a p p l i c a t i o n o f i m p r o v e d g ai nd v e a t l a s t ，t w oe x p e r i m e n t s a r e p e r f o r m e d o na ni n t e r n e tb a s e dr o b o t i c s p l a t f o r m o p e r a t o r s c o n t r o lr x 6 0a n dr x 9 0r o b o t s t h r o u g h t h en e t w o r kt o - i i 竺竺堡三些查耋三兰垒；二兰堡兰兰 a c c o m p l i s ht h et a s k so fm o v i n gb u i l d i n gb l o c k sa n dt e s tt u b e s t h er e s u l t ss h o w t h ei n t r o d u c t i o no fc o n t r o lm o d e sa n d a d a p t i v e v i r t u a l g u i d e si m p r o v e t h e e f f i c i e n c yo fm u l t i r o b o tt e l e o p e r a t i o ns y s t e ma n do v e r c o m et h ei n f l u e n c eo f t i m e d e l a ye f f e c t i v e l y k e y w o r d sm u l t i r o b o t ，t e l e o p e r a t i o n ，v i r t u a le n v i r o m n e n t ，i n t e m e t 1 l i | 舟尔滨t 业人学l 学顺卜学位论文 第1 章绪论 1 1 课题背景 自从2 0 世纪4 0 年代世界上第一套主从遥操作机械手诞生以来【i l ，经过几 十年的发展，主从遥操作机器人已经广泛应用于空间、深海以及危险环境作业 等领域，并发挥着越来越重要的作用。美国、俄罗斯、德国与h 本等图纷纷丌 展遥操作技术的研究与实践，并创造了巨大的经济效益。例如德国的r o t e x 计划、美国的火星探路者、同本的e t s v i i 等在空间站的对接、组装与维护、 空问探险等空问技术中起到了关键性的作用；水下机器人在海洋开发、打捞与 军事领域都担任重要角色；核电站中利用主从操作手进行放劓性物质的搬运大 大提高了安全性并减轻了劳动强度p ”。我国于2 0 世纪8 0 年代术开始遥操作 机器人的研究，并在空间、深海等应用领域取得了阶段性进展p j 。中科院、航 天部、清华大学、北京航空航天大学、哈尔滨工业大学等一些科研机构与院校 都正在进行遥操作机器人技术的研究。 在遥操作过程中，操作者需要对远端环境的任务执行情况有很好地了解， 然而在远距离遥操作领域，信号的传输延时带来了致命的问题。基于视频反馈 的遥操作系统由于图像传输的速度受到现有网络条件的限制，很难实现系统的 实时控制j 。虚拟现实技术的引入为解决这一问题提供了有效的途径，同时， 它的发展也为传统的遥操作技术注入了新的生机。 虚拟现实技术是提供视觉临场感的重要手段之一1 ，它不仅可以提供视觉上 逼真的计算机三维图形，而且可以提供对虚拟环境中物体进行操纵过程中的虚 拟力感觉。虚拟现实技术应用于遥操作领域无论是从人机交互、易于使用的角 度，还是从丰富的信息反馈的角度都将极大地提高遥操作系统的工作效率。同 时，作为信息传输的媒介资源，i n t e m e t 赋予遥操作系统新的内涵并具有更为 广泛的意义，它允许分布在不同地理位置的多个操作者协同操作，共享昂贵的 设备资源，在远程医疗、远程制造等领域显示出巨大的应用潜力。 本课题是国家“8 6 3 ”计划自动化领域“基丁二i n t e r n e t 多机器人遥操作系统的 研究”项目的组成部分。本文希望通过对基于i n t e r n e t 的多机器人遥操作系统中 虚拟环境及控制策略的研究，为有效提高系统的操作性能及操作效率问题提供 基本的实验平台与理论基础。 呛尔滨工业人学t 学硕士学位论文 1 2 基于i n t e r n e t 的遥操作机器人系统概述 2 0 世纪9 0 年代，i n t e r n e t 的迅速普及把人类向信息时代又推进了一大步， 计算机网络极大地增强了人们获取信息的手段。一些学者已经注意到，i n t e r n e t 不仅仅是文本、图像、声音等信息资源的载体与交换手段，更应当是人类手、 脚等器官的延伸。通过i n t e r n e t 进行远端硬件设备的控制与感知外部世界的尝 试应运而生。基于i n t e r n e t 的机器人遥操作就是通过i n t e m e t 远程访问和控制机 器人，是从操作机器人的基础上发展而来的。根据t a n i e l 9 j 等人提出的分类方 法，按照遥操作系统中操作者和机器人的数目关系可以分为单操作者单机器人 遥操作( s o s r l 、单操作者多机器人遥操作( s o m r ) 、多操作者单机器人遥操作 ( m o s r ) 、多操作者多机器人遥操作( m o m r ) 。 1 2 1s o s r 遥操作系统的发展 1 9 9 3 年8 月，由k e ng o l d b e r g 等连接到i n t e m e t 上的m e r c u r yp r o j e c t 是第 一个基于w e b 浏览器的遥操作机器人系统。操作者通过w 曲浏览器登录到加 州大学的m e r c u r yp r o j e c t 主页，然后使用鼠标与键盘控制一台s c a r a 机器人 在半圆形的沙堆中进行物品挖掘，m e r c u r yp r o j e c t 很快引起了。泛注意。此 后，k e ng o l d b e r g 等又开发了t e l e g a r d e n 等多个基于w e b 浏览器的遥操作机器 人系统 8 , 1 0 】。1 9 9 4 年9 月，西澳大利亚大学的k e nt a y l o r 等把一台a b b 工业 机器人连接到i n t e r n e t 上，经过多次改进，该系统允许操作者通过w e b 浏览器 控制机器人对工作台上的物体进行抓取和搬运【l “，该系统是迄今为止最为完备 且运行时间最长的网上机器人。 1 9 9 5 年，g e o r g eb e k e y 与s t e v eg o l d b e r g 等使用六自由度机器人、回转平 台及立体摄像机开发了d r i n k i n gm a i d e n ，世界各地的学者可以通过浏览器观察 与欣赏博物馆中的艺术珍品。1 9 9 8 年6 月，p u m a p a i n t 被连接到i n t e m e t 匕， 使用者可以通过w e b 浏览器控制一台p t u n a 7 6 0 机器人在画布上作画f 】“。2 0 0 1 年，b e l o u s o v 等人建立了基于w 曲浏览器的p u m a 5 6 2 机器人遥操作系统，通 过j a v a 3 d 对远端的环境虚拟建模，操作者可以方便地进行操作f i3 | 。 1 2 2s o m r 遥操作系统的发展 1 9 9 6 年，k h e d d a r l l 4 , 1 5 等人建立的s o m r 遥操作系统是最早的多机器人遥 操作系统，如图1 1 所示。该系统提出“隐藏机器人”的概念，建立虚拟环境机 哈尔滨t 业人学t 学硕士学位论文 器人与实际机器人的映射关系，用以实现单个操作者远距离并行操作多个分布 在不同地区的机器人。同年，s u z u k 等人提出了一种基于w w w 的s o m r 遥操 作系统人机交互结构，实现睢个操作者基于浏览器控制多个移动机器人的遥操 作，并对操作者如何操作和网络问题进行了讨论【1 6 】。 图l - 1k h e d d a r 等人建立的单操作者多机器人遥操作系统 f i g1 - 1e x p e r i m e n ts e t u po f s o m rt e l e o p e r a t i o ns y s t e mb u i l tb yk h e d d a re ta l 1 2 3m o s r 遥操作系统的发展 1 9 9 7 年，m c d o n a l d 等人提出了“虚拟合作控制”的概念，建立了位于不同 物理地点的多个操作者协作操作一个机器人的遥操作系统，是较早的m o s r 遥操作系统【l ”。图1 2 为2 0 0 0 年南加州大学的k e no o l d b e r g 等人建立的多操 作者协调系统p l a n c h e t t e ，最多可以允许3 0 个操作者控制一个机器人，机器人 根据网络上所有操作者提出的要求进行决策确定最后的移动位置【l0 1 。2 0 0 1 年 k e ng o l d b e r g 等人进一步发展了此系统，利用“空间动态投票”( s p a t i a l d y n a m i cv o t i n g ) 的方法解决多个操作者之间的意见冲突，实现基于w e b 的多 个操作者在线参与、控制远端个携带摄像机的移动机器人运动。 图1 - 2p l a n c h e t t e 多操作者单机器人遥操作系统 f i g 1 2p l a n c h e t t es y s t e mo f m o s rt e l e o p e r a t i o n 喻尔滨丁业人学丁学倾卜学位论文 1 2 4m o m r 遥操作系统的发展 2 0 世纪9 0 年代术期，m o m r 遥操作系统的研究开始出现。1 9 9 9 年，n a k y o u n gc h o n g 等人提出多种协调控制方法并通过仿真实验验证这些方法的有效 性【1 8 l 。并且在2 0 0 1 年建立了目前比较典型的m o m r 遥操作机器人系统。如 图l 一3 所示，两个操作者分别处于r 本的机械工程实验室( m e l ) 同东芝机械 系统实验室( t m s l ) 两个实验室内，通过网络控制m e l 实验室内的两个p a 一 1 0 机器人m 作完成法兰装配。 美国密歇根州立大学的n i n gx i 等人采用基于事件智能控制方法对于网络 上n o m a d i c 和p u m a 5 6 0 之间的协调进行了理论和实验性的研究，建立了基于 超媒体的m o m r 遥操作系统，并且提出基于p e t r i 网遥操作系统建模分析方 法，为解决i n t e m e t 多机器人协调遥操作建模的同步性和复杂性提供了。个有 效途径，同时也为研究系统的稳定性、透明度和同步性提供了一个有效的分析 工具【19 1 。 图1 - 3n a k y o u n g c h o n g 等人建立的多操作者多机器人遥操作系统 f i g 1 3m o m rt e l e o p e r a t i o ns y s t e mb u i l tb yn a ky o u n g c h o n g 1 3 虚拟现实技术及其在遥操作领域中的应用 虚拟现实技术( v i r t u a lr e a l i t y ) ，就是借助于计算机技术及硬件设备，实现 一种人们可以通过视、昕、触、嗅等手段所感受到的虚拟幻境，又称为灵境技 术。b u r d e a 总结了虚拟现实应该具有的三个特征 2 0 l ：沉浸( i m m e r s i o n l 一交互 ( i n t e r a c t i o n ) - - 构想( i m a g i n a t i o n ) ，这三个特征强调了人在虚拟现实系统中的主 导作用，从过去只能被动地观看计算机系统的处理的结果，到能够沉浸到计算 喻尔滨t 业夫学丁学坝i 学位论文 机系统所创建的环境中；从过去只能通过键盘、鼠标与计算机环境中的单维数 字化信息发生交互作用，到能用多种传感器与多维化信息的环境发生交互作用 1 2 “。虚拟现实技术的应用，改进了人们利用计算机进行多工程数据处理的方 式；同时，它在许多不同领域的应用可以带来巨大的经济效益。 自1 9 6 2 年m o r o nh e i l i g 研制的第一个具有多种感觉信息的仿真系统一 s e n s o r a m a 仿真器以来，虚拟现实技术不断的发展进步。进入2 0 世纪9 0 年代以后，一些优秀的虚拟环境开发平台相继出现。1 9 9 3 年德国宇航中心的空 间机器人实验r o t e x ( s p a e er o b o tt e c h n o l o g ye x p e r i m e n t ) 计划在哥伦比亚号航 天飞机上的空间实验室内顺利完成。地面控制中心的控制人员通过6 自由度空 间球对空问实验室中的机器人进行了遥控操作，借助于立体图形仿真预测机器 人的运动从而解决地面与空问之削信号传输时延的影响。r o t e x 计划成功的 验证了预测显示、遥传感编程等遥操作模式的可行性，为大时延下的遥操作奠 定了实验基础“j 。1 9 9 7 年同本发射了工程实验卫星e t s v i i ( e n g i n e e r i n gt e s t s a t e l l i t e # 7 ) ，用以进行自动交会对接以及空间机器人技术的实验研究【2 4 2 “。操 作者可以在地面控制中心以遥编程和遥操作两种方式控制卫星上的六自由度的 机器人进行物体抓取、元件更换以及销孔装配等在轨实验。1 9 9 9 年f r e u n d 和 r o b m a n n 提出了“p r o j e c t i v ev i r t u a lr e a l i t y ”的概念，如图l 一4 所示，其实质是构 造虚拟环境机器人与实际不同配置机器人间的双向变换映射模型，从而排除实 际机器人结构对操作者操作意图的影响，该方法成功的应用于g e t e x ( g e r m a n t e c h n o l o g ye x p e r i m e n t ) 计划中对e t s v i i 上机器人的控带j j 2 7 ，2 8 。 图1 - 4f r e u n d 等建立的喷漆和装配的虚拟环境 f i g1 4s p r a ya n da s s e m b l yv re n v i r o n m e n tf o u n d e db yf r e u n de t c l i n 基于水下工作现场的c a d 模型建立了包括水下机器人在内的虚拟环 境，水f 机器人在虚拟环境中的位置和姿态信息通过实际的声纳系统获得，借 助于虚拟环境操作者可以方便的了解机器人在工作现场的状态，更为有效的对 哈尔滨t 业人学l 学硕i 掣位论文 其进行遥操作 2 9 1 。r i d a o 开发了一套用于虚拟和实际水下机器人的分布式系 统，如图1 5 该系统的一个特点是其人机界面既可以控制实际水下机器人完成 实际任务，又可以控制虚拟环境中的虚拟水下机器人完成虚拟任务，而不需要 做任何改动，这样可以在对实际的机器人进行实验之前，先采用虚拟环境进行 j 下确性验证 3 0 1 。f l e t h e r 开发了基于虚拟环境的水下机器人培训系统，该系统不 仅建立了水f 环境的虚拟模型，同时对水下机器人和缆绳的动力学进行了仿 真，最后对仿真的水下机器人和实际机器人的性能进行了定性和定量的比较 【3 1 1 。 a ) 2 d 和3 d 信息的图形表达b 1 人机交：虹界面 图1 5r i d a o 开发的虚拟现实系统 f i g1 - 5v rs y s t e md e v e l o p e db yr i d a o 近年来，国内的一些重点院校及科研部门也投入到了虚拟现实技术的研究 工作中。北京航空航天大学计算机系着重研究了虚拟环境中物体物理特性的表 示与处理；实现了分布式虚拟环境网络设计。浙江大学c a d & c g 国家重点实 验室开发出了一套桌面型虚拟建筑环境实时漫游系统，该系统采用了层面迭加 的绘制技术和预消隐技术，实现了立体视觉。另外，清华大学、哈尔滨工业大 学、西安交通大学、西北工业大学c a d c a m 研究中心、e 海交通大学等单位 也进行了一些研究工作。 1 4 遥操作系统中存在的主要问题 ( 1 ) 网络时延基于i n t e r n e t 的网络传输存在不确定的变化时延，它影响到 系统的操作性和稳定性。多数基于i n t e r n e t 的系统被迫采用1 种相对简单的控制 界面，实现以视频图像作为反馈信息的遥操作系统。研究表明，只有当视频图 哈尔滨j 。业大学工学颂t 擘位论文 像的传输速度高于5 6 f r a m e s 时，遥操作才有可能正常实现j ，然而视频图像 在i n t e r n e t 上的传输速度通常不高于0 5 1 f r a m e s 。为此，多数操作者不得不采 取“移动一等待”的工作模式，系统操作效率低下，且容易出现异常。 作为解决方案，主要有两种有代表性的研究趋势。种是提高远端机器人 的自主能力，保证操作者能够从较高的层次上控制机器人的操作【3 “。但是由于 大部分遥操作任务并非事先定义而是临时决策的结果，因此提高机器人的自主 能力具有较大的难度。另一种是减小网络信息传输量，通过引入虚拟环境并结 合视频信息的局部刷新技术，降低系统对网络带宽的依赖程度。采用虚拟现实 技术的遥操作系统只需传输虚拟环境中发生变化的状态信息，即使在网络带宽 严重恶化的情况下( o 1 o 5 k b s ) ，仍然能够保证系统的实时性操作要求1 3 3 1 ”j 。 ( 2 ) 建模问题实时遥操作系统设计与实现的主要难点之一是缺少一种简单 而有效的建模工具，用来分析基于i n t e r n e t 遥操作系统并发性、不确定性等逻 辑行为，具体需要满足以下要求：f 1 ) 能够体现遥操作系统并发性、分布性、不 确定性和逻辑关系：( 2 ) 相对于目前的一些建模方法，能够容易地分析系统潜在 的性能，例如：稳定性、同步性：( 3 1 根据这种建模能够设计出确保系统品质的 控制方法。 n ix i n g 等人提出采用p e t r i 网的方法分析系统的性能 1 9 1 p e t r i 网作为一种建 模 ：具，具有独到的优越之处，能够描述系统的分布、不确定随机等特点， 是研究基于i n t e r n e t 的遥操作系统合适、有效的工具。 邸) 系统的可靠性及安全性可靠性和安全性主要包括两方面的内容，即操 作者可以安全可靠地规划任务和遥操作机器人系统可以安全可靠地完成任务。 由于操作者经常要使用各种力觉接口设备来操纵远端机器人，而这些有源装置 的使用对操作者的安全造成了威胁，因此对于这些设备的使用，应该进行慢速 的运动，这也符合大多数遥操作任务的需要。工作在远端的机器人由于缺乏操 作者的直接参预，也需要对远端的意外情况有一个自主的应变行为，一般情况 下，远端机器人需要配备一些传感器。根据传感器输出判断系统当d u 是否处于 危险状态，譬如腕力传感器的力值超限等，从而采取相应的紧急停车或者自动 柔顺等措施来避免机器人本体及环境的损坏。同时，可以将虚拟环境引入遥操 作系统，通过碰撞检测等技术进一步提高安全性。 ( 4 ) 友好的人机交互界面由于遥操作机器人系统自身的性质，操作者需要 通过人机交互界面同远端机器人交互，一个友好的人机界面可以在很大程度上 增强操作者的作业性能，提高作业效率。因此，以操作者为中。t j , ( u s e rc e n t e r e d ) 的人机界面设训应该得到重视。具体实现匕，一个友好的基于分布式虚拟环境 哈尔滨工业大学工学坝上学位论文 的遥操作系统的人机交互界面应该尽可能满足如下要求：1 ) 适应不同层次的 用户；2 ) 适应不同系列的网络平台及软件平台；3 ) 适应不同类型的输入、输 出设备，包括常规的鼠标、键盘和显示器等输入输出设备，也包括非常规的空 间鼠标、游戏操纵杆、主操作手、数据手套及立体头盔等输入输出设备；4 ) 支持远端操作环境信息的采集和处理，并以操作者容易接受的自然表达方式进 行输出；5 ) 具有较高的错误及异常处理能力；6 ) 具有较强的系统扩展功能。 1 5 本文的主要研究内容 1 利用离散事件系统建模工具一p e t d 网来描述遥操作机器人系统中操作 者通过虚拟环境与远端机器人的交互过程，建立基于p e t r i 网的虚拟环境模 型。并对基于j a v a 3 d 的虚拟环境建模的关键问题进行研究。 2 根据机器人执行任务时自由空间及障碍物的不同，提出并设计自动、 半自动及手动控制三种模式的适应性虚拟向导，辅助操作者引导手爪运动。自 动模式中，针对手爪末端与移动目标之间有无障碍两种情况，分别采用不同方 法加以解决；半自动模式中，研究的重点为利用人与系统智能的配合完成机器 人的路径规划；手动模式中，通过建立同步影像向导等提高系统的可操作性。 3 ，基于遗传算法对机器人的路径规划问题进行研究。针对常规遗传算法 中过早收敛等问题，采用自适应遗传算法及变长度染色体串的解决方案，并在 分布式虚拟环境平台上予以实现。 4 利用基于i n t e m e t 的多机器人遥操作系统平台，进行多机器人移动积木 及移取试管的实验，从而验汪提出的适应性虚拟向导对于提高系统操作性能的 作用。 喻尔滨丁业人学t 学硕十学位论文 2 1 引言 第2 章虚拟环境的设计与实现 分布式虚拟环境( d i s t r i b u t e dv i r t u a le n v i r o n m e n t ，d v e ) 系统是个支持多人 实时通过网络进行交互的图形系统，在陔系统中，操作者只与本地的虚拟环境 发生交互，从而实时的获得机器人的状态信息。如果虚拟环境能够完全模拟实 际的操作环境，那么操作者与虚拟环境之问的交互作用就完全等效于操作者与 实际环境的交互。因此，虚拟环境模型建立的质量直接影响到遥操作系统的整 体性能。 本章针对面向遥操作机器人系统的d v e 进行分析和研究。首先，采用 p e t r i 网理论对虚拟环境的工作过程进行建模和分析；其次，设计基于j a v a 3 d 的虚拟环境系统框架；最后，针对d v e 系统应耳| l 的关键问题虚拟场景的动 态更新进行讨论。 2 2 基于p e t r i 网的虚拟环境建模 2 2 1p e t r i 网的基本概念 p e t r i 网是一种系统描述和分析的工具。近年来已广泛应用于离散事件系统 分析、设计和实施过程中，p e t r i 网具有以下优点： 采用图形建模方法，使模型直观、易于理解。 可以清楚的描述系统内部的相互作用，如并发冲突等，特别适用于异 步并发离散事件系统的建模。 采用自顶向下的方法束建立系统模型，使得模型层次分明。 有良好的形式化描述方法，用p e t r i 网建立的模型具有成熟的数学分析 方法，如可达性及死锁分析等。对p e t r i 网的仿真也较简单，可以直接 从p e t r i 网的模型产生仿真模型。 用p e t r i 网建立的模型，在一定条件下，可以翻译为系统的控制代码。 p e t n 网的定义州： 一个五元组= 妒，t , z “是一个p e t r i 网当且仅当： 竺垒堡：些奎耋三兰塑：兰堡篁塞 1 ) p f l t = 西； 2 ) p u t ： 3 ) ，量( p r ) ，o ( t p ) ： 式中， j d = p l , p 2 ，, p m ) 为有限状态库所集； 丁= ( t b t 2 ，“) 为有限变迁集： ，为变迁的输入弧集。当融0 ，时，p 称为变迁，的一个输入库所，称为 p 的一个输出变迁。 0 为变迁的输出弧集。当仁圳0 时，称p 为变迁，的一个输出库所， 为，的一个输入变迁。 u o 是的初始标识。蛳为。个向量，其元为非负整数， 在p e t r i 网图中，我们用圆圈表示库所，实心的矩形表示变迁，带箭头的 曲线表示连接库所和变迁的有向弧，实心的小圆圈表示托肯。一个变迁的多重 输入，由它的库所指向它的多重弧来表示，多重输出由变迁指向库所的多重弧 来表示。一个p e t r i 网图是一个多重有向图。 p e t r i 网的一个标识“是标识( 托肯) 在中各个库所的分布情况。标识分 布或者说驻留于p e t r i 网的库所内。当p e t r i 网运行时，标识的数目和所在位胃 都在发生变化。标识是用来规定p e t r i 网的运行的。p e t r i 网的标识“是库所 集p 到非负整数集的个映射函数，“jp 一。标识“也可以用一个 维向 量“= 似，1 1 2 , “来表示，其中n = l p i ，“。e n ，i = l ，z ，n 。向量给出了p e t r i 网 的每个库所罩的标识的个数。 p e t r i 网的运行由网中的标识的数目和分布情况来控制。标识留驻在库所罩 面控制着变迁的运行。p e t r i 网是由变迁的激发来运行的。一个变迁的激发，即 从它的各个输入位置移走标识，而将新产生的标识分配到它的各个输出位置 中。 一个变迁只有当它是使能时才能激发。在p e t r i 网中，如果对于每一个 p , e p 都有“囟控# 慨，俐，则称变迁0 是使能的。 在p c t r i 网j v 中，当变迁0 使能时，它可阱激发产生一个新的标识“， h j p 0 。u i p 0 一# i p | j 1 0 0 ) ( p l j o l t ) 2 2 2 虚拟环境的p e t r i 网模型 图2 - 1 为虚拟环境的p e t r i 网模型，模型中符号的含义如表2 一l 所示。出f 哈尔滨 业大学 学硕十学位论文 篇幅的限制，这里只给出r x 6 0 客户端的工作模型，r x 9 0 客户端与此模型原理 相同，自动、半自动及手动模式的 作过程仅以变迁t 2 、，9 、，6 表示，详细的 叙述将在第3 章进行。模型按照功能小同可以划分为七个子网，分别是：虚拟 环境工作子网、时延机器人更新子网、环境模型更新子网、r x 9 0 时延机器人 更新予网、i l x 9 0 虚拟机器人更新子网、网络传输子网和机器人工作子网。 图2 1 虚拟环境p e t r i 网模型 f i g 2 - 1 p e t r in e tm o d e lo f t h ev re n v i r o n m e n t 当库所p ，用户准备和p ，7 系统准备中都包含托肯时，系统丌始 ：作，苗先 操作者需要根据环境选择操作模式。以使用自动模式为例，当变迁t 3 输入操作 指令后需要经过变迁t 一的异常检奄。这罩的异常包括机器人运动奇异、碰撞、 哈尔滨工业大学工学硕士学位论文 机器人已到达指定位置等。如果发现异常，则根据具体的异常情况重新输入操 作指令或重新选择操作模式；如果无异常，则将操作指令经p ，j 和p ，8 分别发送 至虚拟环境及i n t e r n e t 上。虚拟环境中的机器人接收指令并动作，根据任务的 执行情况选择返回当前的操作模式或重新选择其它操作模式。 如果遇到网络传输超时，则由变迁伽重新发送指令，否则指令经机器人 协调控制器同时发送至机器人及r x 9 0 客户端驱动r x 6 0 的虚拟机器人动作。 机器人动作结束后，由变迁返回机器人的状态信息，并同时更新r x 6 0 及r x 9 0 客户端虚拟环境中的r x 6 0 时延机器人( 时延机器人定义见2 3 3 节) 。每 隔一定采样周期，机器人端还要返回由各类传感器检测到的操作环境信息，经 环境模型更新子网返回至虚拟环境以更新模型。同时，r x 6 0 客户端接收r x 9 0 客户端与) 2 j ，p 3 4 对应的库所返回的信息以更新r x 9 0 时延机器人及虚拟机器 人。 表2 1 虚拟环境p e t r i 网模型的符号含义 7 a b l e2 - 1s y m b o lm e a n i n g so f t h ev re n v i r o n m e n tp e t r in e tm o d e 库所的含义变迁的含义 p ，_ _ f j 户准备i i = 允许请求 卢广选择操作模式屯= 启用自动模式 p ，= 准备输入指令b = 输入指令 p 。= 输入指令结束 n = 检查异常 p ，= 检查结果如= 判断异常情况 p 产判断结果“= 重新发送指令 p f 准备输入指令f 1 = 重新选择模式 p 萨输入指令结束f f 发送指令 p 尹检查结果f 。= 启用半自动模式 p 旷判断结果t w = 输入指令 p ，严准备输入指令i l l = 检查异常 p ，? = 输入指令结束t t e = 判断异常情况 p ，产检商结果l 3 = 重新发送指令 p ，= 判断结果 r ，产重新选择模式 p ，f 至虚拟环境t 5 = 发送指令 p ，一= 虚拟机器人动作完毕1 1 6 = 启用手动模式 p ，f 系统准备t 产输入指令 p ，月= 网络通道准备 t 1 8 = 检查异常 p ，= 传输状态指示t 1 9 = 判断异常情况 p 。一= 准备重新传输t 2 ”= 重新发送指令 p ，严协凋控制器准备 t 2 产重新选择模式 p 2 尸准备发送至控制器 1 2 2 = 发送指令 p ? j = 发送至r x 9 0 客户端更新r x 6 0扔= 虚拟机器人动作 虚拟机器人 t 2 。= 返回自动模式 船严操作信息队列 t 2 5 ：返同半自动模式 p 。产机器人准备f ? f 返同手动模式 p 2 f 命令执行完毕 如7 ：重新选挥模式 助产准备发送状态信息 t 2 一= 指令传输 胁f 机器人信息发送完毕t 2 9 = 传输超时 p 。广时延机器人准备 j 尹重新发送指令 p 3 n = 时延机器人动作完毕抽= 发送至协调控制器 p s t = 环境信息发送完毕t 3 2 = 协调控制器执行 p ，户准备更新模型 t 3 f 发送至机器人控制器 p ，= 模型更新完毕0 产机器人动作 p 3 。= 发送至r x 9 0 客户端更新r x 6 0t j 5 = 构造状态信息 时延机器人b 产发送机器人信息 p j 严r x 9 0 时延机器人准备t 3 ：r = 发送环境信息 p j 6 = r x 9 0 时延机器人动作完毕 f j d = 时延机器人动作 内7 ：i l x 9 0 虚拟机器人准备如p = 释放服务 p 3 萨r x 9 0 虚拟机器人动作完毕t 4 0 = 环境模掣更新 t 4 尸释放服务 t 4 2 = r x 9 0 时延机器人动作 t 4 3 ：释放服务 t 4 4 = r x 9 0 虚拟机器人动作 t s , z = 释放服务 2 3 基于j a v a 3 d 的虚拟环境设计 2 3 1 虚拟环境的基本框架 2 3 1 1 基于面向对象技术的系统建模在实际工作之前，为保证系统操作的有 效性，一般应当对系统的任务执行情况进行仿真。随着系统操作任务的复杂性 和多样性的增加，系统研制人员不得不在系统的软件开发和系统集成方面花费 大量的精力，而不能全身心地投入到诸如系统任务规划与分解、新的1 力、调控制 方案的实验与评价、仿真计算及系统通讯技术等关键问题的研究上。因此，如 哈尔滨工业大学工学坝i 学位论文 何构造通用且具有可重用性和可扩展性的系统仿真模型成为一个重要研究内 容。该问题的本质可归结为如何以简明准确的模型描述复杂的系统，使设计人 员能够从全局上把握系统的全貌及其相关部件之间的联系，而不陷入各个模块 的细节之中。 面向对象方法提供了一种封装、继承、多态的建模机制，它支持自底向上 的系统没计，从而保证了系统体系结构的模块化，并且具有良好的重用性和扩 展性。文献3 7 3 9 分别针对机器人本体、单机器人系统及多机器人系统提出了 相应的面向对象仿真模型，它们的共同点是着重于组成系统的物理实体对象的 划分和定义，而忽略了其它类型实体及对象问的相互作用关系，同时所提出的 模型只是针对具体应用而言，因此上述模型不具有普遍意义。本文以基于 i n t e m e t 的多机器人遥操作系统( i n t e r n e tb a s e dm u l t i o p