（控制理论与控制工程专业论文）多机器人协作的学习与进化方法.pdf

摘要 近年来，多机器人系统是机器入学研究中最令人感兴趣且富有挑战性的研究领域。 多机器人的研究内容和应用范围十分广泛，如多机器人协作搬运，多机器人协作探索和 地图构建，以及机器人足球赛等。多机器人系统能够完成单个机器人难以完成的工作任 务。一队机器人通过协作可以用更可靠、更快速、更廉价的方法完成给定的任务。因此， 关于多机器人协作的研究越来越受到研究者的重视。为了使机器人系统具有适应未知环 境的能力，让机器人在与环境和其它机器人的相互作用中，学习和进化协作行为，是多 机器人协作研究中最有潜力的方法之一。 本论文以多机器人协作搬运为研究背景，主要研究基于强化学习和合作协进化的多 个机器人协作行为的获得方法。论文的主要研究成果如下： ( 1 ) 综述了多机器人协作的研究现状；全面地分析讨论了多机器人系统的分类、多 机器人协作的主要研究内容、多机器人协作的主要研究方法和所取得的研究进展；系统 地总结了进化和协进化方法研究机器人个体和群体行为的主要研究方式、研究结果和存 在的主要问题：讨论了强化学习方法在多机器人行为学习中的应用及面临的困难。 f 2 ) 设计开发了一个多机器人协作搬运多个物体的仿真环境，为基于学习和进化方 法研究多机器人 办作行为提供了一个良好的试验平台。 ( 3 ) 提出了一种获得多机器人协作行为的分布式两层强化学习方法，并以三个机器 人通过强化学习，协作抬起一个园盘形物体的行为学习过程的仿真，验证了所提出的方 法的有效性。 f 4 1 构建了一种基于状态预测的强化学习方法，讨论了算法的模型和实现方法；把 所设计的算法应用于三个机器人通过学习，协作抬起一个物体的协作任务，给出了仿真 结果。 ( 5 1 以多个机器人合作完成多个物体的搬运为应用对象，提出了一种形成多机器人 协作行为的多种群合作协进化方法。该方法由搬运任务的平衡分配和搬运序列的多种群 合作协进化两个过程组成。实验结果表明所提出的方法具有更好的性能e r 6 ) 提出了一种机器人局部导航的改进势能场方法。通过采用圆形活动窗口、考虑 机器人身体大小的斥力场设计方法和自适应的目标引力场设计方法，以及强化掌舵控制 信号，增强了势能场方法障碍回避和局部导航的能力，并且改进后的算法仍保持原来势 能场方法算法简单的优点。物理机器人实验证实了改进方法的有效性。 关键词：多机器人协作，强化学习，合作协进化，行为预测，局部导航 u a b s t r a c t t h em u l t i r o b o ts y s t e mh a sb e e no n eo ft h em o s t i n t e r e s t i n ga n dc h a l l e n g i n gp r o b l e m s o fr o b o t i c sr e s e a r c hi nt h er e c e n ty e a r s i ti n c l u d e saw i d er a n g eo fr e s e a r c ht o p i c sa n d a p p l i c a t i o n s ，s u c ha sm u l t i r o b o tc o o p e r a t i v et r a n s p o r t a t i o n ，e x p l o r a t i o na n dm a p p i n g ，r o b o t s o c c e r ，e t c m u l t i r o b o ts y s t e mc a nd e a lw i t ht a s k st h a ta r ed i f f i c u l tt ob ea c c o m p l i s h e db ya n i n d i v i d u a lr o b o t at e a mo fr o b o t sm a y p e r f o r m t h ea s s i g n e dt a s ki nam o r er e l i a b l e ，f a s t e r ，o r c h e a p e rw a yt h r o u 【g hc o o p e r a t i o n t h e r e f o r e ，a ni n c r e a s i n ga m o u n to fr o b o t i c sr e s e a r c h f o c u s e so nm u l t i r o b o t c o o p e r a t i o n i no r d e rt od e v e l o pa b i l i t y t o c o p ew i t hu n e x p e c t e d s i t u a t i o n s ，o n ep o s s i b l es o l u t i o nt og e n e r a t ec o o p e r a t i v eb e h a v i o ri nt h em u l t i r o b o ts y s t e mi s t ol e tt h er o b o tl e a r na n de v o l v et h r o u g ht h ei n t e r a c t i o nw i t ht h ee n v i r o n m e n ta n do t h e r r o b o t s i nt h i sd i s s e r t a t i o n ，c o o p e r a t i v et r a n s p o r t a t i o ni sc o n s i d e r e da sat a s ko fam u l t i - r o b o t s y s t e m ，r e s e a r c h e sm a i n l y a d d r e s s e do n c o o p e r a t i v e b e h a v i o r a c q u i s i t i o n b a s e do u r e i n f o r c e m e n t l e a r n i n g a n d c o o p e r m i v e c o e v o l u t i o n t h e m a j o r c o n t r i b u t i o n so ft h i s d i s s e r t a t i o na r ea sf o l l o w s ： 1 ac o m p r e h e n s i v er e v i e wi sg i v e no nt h ec l a s s i f i c a t i o n ，m a i nr e s e a r c hf i e l d s ，r e s e a r c h a p p r o a c h e sa n d r e s e a r c hr e s u l t so fm u l t i r o b o ts y s t e m i n v e s t i g a t i o nm e t h o d s ，p r i m a r yr e s u l t s ， r e s e a r c ht r e n d s ，a n dm a i np r o b l e m so fe v o l u t i o n a r yr o b o t i c sa p p l i e de v o l u t i o n a r ya l g o r i t h m s t o e v o l v i n gr o b o ta n dm u l t i r o b o t b e h a v i o r sa r es u m m a r i z e d t h eu n s o l v e dp r o b l e m so f r e i n f o r c e m e n tl e a r n i n ga p p l i e dt om u l t i r o b o ts y s t e m sa r ed i s c u s s e d 2 as i m u l a t i o ne n v i r o n m e n tf o rm u l t i r o b o tc o o p e r a t i v et r a n s p o r t a t i o ni sd e s i g n e da n d i m p l e m e n t e d i t p r o v i d e s at e s t b e df o rm u l t i r o b o t c o o p e r a t i o n r e a e a r c hb a s e do n r e i n f o r c e m e n tl e a r n i n ga n de v o l u t i o n a r ya l g o r i t h m s 3 ad i s t r i b u t e dt w o l a y e r e dr e i n f o r c e m e n tl e a r n i n ga p p r o a c hi sp r e s e n t e df o ra c q u i r i n g m u l t i r o b o tc o o p e r a t i v eb e h a v i o r s i m u l a t i o ne x p e r i m e n tt h a tt h r e er o b o t su p l i f tad i s k l i k e o b j e c tt h r o u g hc o o p e r a t i o ni s c o n d u c t e d t h ee f f e c t i v e n e s so ft h ep r e s e n t e da p p r o a c h i s v a l i d a t e d 4 ac o o p e r a t i v es t r a t e g yb a s e do na c t i o np r e d i c t i n ga n dr e i n f o r c e m e n tl e a r n i n g i s c o n s t r u c t e da p r e d i c t o ri si n t r o d u c e d t op r e d i c tt h ea c t i o n so fo t h e rr o b o t s ，r o b o td e t e r m i n e s a p p r o p r i a t ea c t i o nb a s e do np r e d i c t i n g r e s u l t s s i m u l a t i o ne x p e r i m e n t r e s u l t st h a tt h r e e r o b o t s u p l i f t ad i s k l i k e o b j e c ts h o wt h mt h es t r a t e g yi ss u c c e s s f u lf o rm u l t i ，r o b o tc o o d e r a t i v e b e h a v i o ra c q u i s i t i o n 5 as c h e m et oe v o l v em u l t i r o b o t c o o p e r a t i v e b e h a v i o rb a s e do f c o o p e r a t i v e c o e v o l u t i o n a r ya l g o r i t h m i s i n v e s t i g a t e d f o rm u l t i - r o b o t t r a n s p o r t i n gm u l t i p l eo b j e c t s i t c o m b i n e st a s ka l l o c a t i o nw i t hm u l t i s p e c i e sc o e v o l u t i o n s i m u l a t i o nr e s u l t ss h o w nt h a tt h e p e r f o r m a n c ei ss u p e r i o rt oe x i s t i n gm e t h o d s 6 am o d i f i e dp o t e n t i a lf i e l dm e t h o df o rl o c a lo b s t a c l ea v o i d a n c ea n dn a v i g a t i o ni s p r e s e n t e d i t a d o p t s ac i r c u l a ra c t i v ew i n d o w ，a l la d a p t i v eg o a la t t r a c t i v e p o t e n t i a l f i e l d f u n c t i o n ，a n d a ne n h a n c e d s t e e r i n g d i r e c t i o n s i g n a l t h ep r o p o s e da p p r o a c h h a sb e e n i m p l e m e n t e da n dt e s t e do nam o b i l er o b o t r e s u l t sh a v es h o w nt h a tt h er o b o ti s a b l et o s u c c e s s f u l l yp e r f o r ml o c a ln a v i g a t i o nw i t hs t r o n g e ro b s t a c l ea v o i d a n c ep o w e ra n ds i m p l e a l g o r i t h m k e y w o r d s ：m u l t i - r o b o tc o o p e r a t i o n ，r e i n f o r c e m e n tl e a r n i n g ，c o o p e r a t i v ec o e v o l u t i o n ，a c t i o n p r e d i c t i o n ，l o c a ln a v i g a t i o n 第1 章序蛊 1 1 研究背景 第1 章序言 随着机器人技术的发展，机器人的能力不断增强、性能不断提高，机器人的应用领 域不断扩大。在机器人的许多新的应用领域中，例如工业领域中大型复杂产品的生产( 如 飞机的装配) ，危险环境下有害废物的清理，海底和太空的探测以及服务机器人等应用 领域，多机器人系统可以完成单个机器人难于完成甚至不能完成的任务；多机器人系统 可以通过协作比单个机器人更可靠、更快速、更廉价地完成指定的任务【l 】。因此多机 器人系统的研究受到了极大的重视，取得了积极的进展。 关于多机器人协作的研究内容和进展，国内外已经发表了多篇综述文献i i , 2 , 3 1 。机 器人协作的主要研究内容包括：生物灵感及在多机器人系统中的应用，机器人间的通信 机制，多机器人系统的结构，多机器人系统中任务的分配和控制，多机器人协作定位、 地图构建和探索，多机器人协作物体搬运和操作，多机器人运动协调，结构( 模块) 可 重构机器人，机器人学习机制等。多机器人协作系统的技术范围十分广泛，并且在各个 技术领域都取得了可喜的研究成果，但由于多机器人协作是机器入学中一个新的研究领 域，到现在，还没有一个领域可以说是成熟的领域。 多机器人系统可以分为协作多机器人系统和竞争多机器人系统。在协作多机器人系 统中，各个机器人都有( 或在一段时间内有) 共同的目标，如协作搬运大型的物体。在 竞争多机器人系统中，各机器人之间或各机器人群体之间是对抗关系，如捕食者与猎物， 机器人足球赛等。本论文以多机器人协作搬运物体为设定的应用领域。多机器人协作搬 运物体是多机器人协作研究中一个重要的方向，吸引了机器入学界同行的极大兴趣h ”。 多机器人协作搬运物体的潜在应用领域包括灾害救援作业时的协作搬运、大型物体的协 作搬运，柔软的易变形的物体或材料的协作搬运和场所建造与清理时的协作搬运等。在 搬运大型或易变形物体时，多机器人系统中的每个机器人可以自由地、适当地分布到物 体的周边，保证搬运工作的顺利完成。初步研究结果表明：多机器人在协作完成多个物 体的搬运时，有效的协作动作可以实现最优的搬运效率。因此，多机器人协作搬运的研 究具有重要的实际意义。 浙江大学博士学位论文 1 2 研究目的和方法 多机器人协作搬运中涉及的技术问题十分广泛，本文主要研究协作搬运中的两个关 键技术：多机器人协作抬起一个物体和多机器人协作完成多个物体的搬运。 1 2 1 研究目的 在多机器人协作搬运的研究中，关于多个机器人协作搬运过程中的运动协调的研究 比较多，而关于多机器人如何协作抬起一个物体、在多机器人协作搬运多个物体时，如 何以以最优耗费完成搬运任务等关键问题的研究不多。本文研究的主要目的是： 1 多机器人协作搬运物体行为的实现。 在多机器人协作搬运物体的任务中，各机器人首先要站到物体周边适当的位置才能 抬起物体。当物体的重心位置未知时，各机器人如果具有类似人类的学习能力，则可以 通过“试抬一学习试抬”的反复试验与学习，最终实现多机器人协作抬起物体的任务。 对多机器人系统中的每一个机器人来说，其所处的环境不是马尔可夫过程，不能直接应 用强化学习算法。所以，本论文研究的第一个目标是提出适当的方案，使多机器人系统 中的各机器人通过学习实现协作行为。 2 多机器人搬运多个物体时最优搬运序列的形成。 主要研究在多个同构( h o m o g e n e o u s ) 机器人协作搬运分布在给定场地内不同位置、 不同重量的多个静止物体时，多机器人系统以最优的耗费完成全部物体搬运的方法。 3 多机器人协作搬运仿真环境的设计开发与实验。 构建一个多机器人协作搬运物体的仿真环境，动态演示协作搬运过程，验证和比较 各种协作方法的性能和特点。通过真实机器人实验，验证协作搬运中的一些关键技术。 1 2 2 研究方法 多机器人系统和计算机科学研究的多智能体系统具有许多相似性，因此，许多研究 多机器人协作的方法借鉴了研究多智能体协作的方法。这类方法一般都把机器人个体进 行高度的抽象，以研究多机器人系统的形式化建模方法、多机器人群体拓扑结构、机器 人问的通信机制和协商策略为主。另一类方法是针对具体多机器人系统的应用领域，构 建尽可能接近应用实际的物理的或仿真的多机器人系统，通过对多机器人系统进行反复 的实验研究，探索所需的主要技术。一般，把前一类研究方法称为理论机器人学的研究 方法，后一类研究方法称为实验机器人学的研究方法。 第1 章序苦 由于多机器人协作搬运的过程涉及广泛的技术内容，要把协作搬运过程抽象为理论 模型是非常困难的。另一方面，如果从真实具体的物理机器人出发，也会有许多现实的 困难，例如机器人抓住物体是刚性连接还是柔性连接，机器人是车轮形的还是多足形的。 这些细节问题会使研究工作难以展开。因此，在本文中，采用面向任务的方法建立机器 入个体的模型，主要体现机器人的动作行为，忽略机器人抓住物体的方法和个体的物理 细节。在多机器人协作行为的研究上，主要是采用实验机器人学的方法，对所提出的方 案进行仿真实验和真实机器人运行实验。实验机器人学的方法是本文的主要方法。 1 3 主要研究结果 ( 1 ) 提出了多机器人分布式两层强化学习方法 行为可以通过学习的方法来获得； ( 2 ) 提出了一种基于状态预测的强化学习方法 为同时学习的问题； 使多机器人系统中各机器人的协作 解决了多机器人系统中各机器人行 ( 3 ) 提出了一种形成多机器人协作搬运行为的多种群合作协进化方法，多机器人协 作搬运多个物体时，基于合作协进化方法，形成优化的物体搬运序列； ( 4 ) 设计开发了一个多机器人协作搬运多个物体的仿真环境平台； ( 5 ) 提出了一种机器人局部导航的改进势能场方法，并以物理机器人进行了实验。 1 4 论文结构 从第2 章开始，本论文的内容安排如下： 第2 章综述了多机器人协作技术的研究现状，包括多机器人协作与协调的定义、协 作与协调的区别、多机器人系统的分类、多机器人协作的主要研究内容、所取得的研究 进展和多机器人协作的主要研究方法等。 第3 章全面地总结了应用进化方法获取机器人行为的主要技术；讨论了进化和协进 化方法研究机器人个体和群体行为的主要研究方式；总结了进化机器入学所取得的研究 结果：讨论了存在的主要问题。 第4 章主要讨论了强化学习的原理、主要算法，强化学习在机器人行为学习中的应 用及面临的困难，目前解决这些困难的一些研究方法a 为了给基于学习和进化方法研究多机器人协作行为提供一个良好的试验平台，在本 浙江大学博士学位论文 论文的研究过程中，设计开发了一个多机器人协作搬运仿真环境。本论文的第5 章简要 介绍了所开发的仿真环境的功能、结构和界面。 第6 章讨论了多机器人系统的结构，提出了一种分布式两层强化学习方法，以三个 机器人通过两层强化学习，协作抬起一个园盘形物体的协作行为的仿真，验证了所提出 的方法的有效性。 第7 章给出了一种基于状态预测的强化学习方法，讨论了算法的模型和实现方法； 把所设计的算法应用于三个机器人通过状态预测和学习协作抬起一个物体的协作任务， 给出了仿真结果：简要比较了基于状态预测的强化学习与两层强化学习方法的性能。 第8 章以多个机器人合作完成多个物体的搬运为应用对象，提出了一种采用合作协 进化方法的多机器人协作行为的形成方法。该方法由搬运任务的平衡分配和搬运序列的 多种群合作协进化两个过程组成。仿真实验结果验证了所提出的方法的有效性。 第九章针对机器人在学习抬起物体的过程中和协作搬运的过程，都涉及的局部导航 阀题，提出了一种改进的势能场方法。通过采用圆形活动窗口、考虑机器人身体大小的 斥力场设计方法和自适应的目标引力场设计方法，以及强化掌舵控制信号，增强了势能 场方法障碍回避和局部导航的能力，并且改进后的算法仍保持原来势能场方法算法简单 的优点。实际机器人实验证实了改进方法的有效性。 第1 0 章对本论文所完成的研究工程进行了简要总结，对存在的问题和进一步研究 的方向进行了讨论。 参考文献 1 t a r a i ，e p a g e l l o ，& l e p a r k e r e d i t o r i a l ：a d v a n c e si nm u l t i r o b o ts y s t e m s 1 e e e t r a n s a c t i o n so nr o b o t i c sa n d a u t o m a t i o n ，1 8 ( 5 ) ：6 5 5 6 6 1 ，2 0 0 2 【2 yc a o ，a f u k u n a ，& a k a h n g c o o p e r a t i v e m o b i l er o b o t i c s ：a n t e c e d e n t sa n dd i r e c t i o n s a u t o n o m o u sr o b o t s ，4 ：7 - 2 7 ，19 9 7 f 3 1 王越超，谈大龙协作机器人学的研究现状与发展机器人，2 0 ( 1 ) ：6 9 - 7 5 ，1 9 9 8 4 n m i y a t a ，j o t a ，y a i y a m a , h a s a m a ，& ta r a i c o o p e r a t i v et r a n s p o r ti nu n k n o w n e n v i r o n m e n t a p p l i c a t i o n o fr e a l - t i m e t a s k a s s i g n m e n t i c r a 2 0 0 0 ：3 1 7 6 3 1 8 2 5 m h a r a ，t ，i k k i ，ya i y a m a ，j o t a ，& ta r a i s y s t e mo f c o o p e r a t i v et r a n s p o r t a t i o nb y t w ol e g g e dr o b o t s0 1 1i r r e g u l a rt e r r a i n ? p r o c e e d i n g so ft h e 4 t hj a p a n f r a n c e 2 n d a s i a e u r o p ec o n g r e s s o nm e c h a t r o n i c s ( j f c m 9 8 ) ，p p 3 0 4 3 0 9 ，1 9 9 8 4 ! ! 三皇兰! ! 堂塑。堡塑! ! 塑堕查兰查鲨 第2 章多机器人协作的研究内容与方法 2 1 引言 多机器人协作盼研究始于2 0 世纪8 0 年代末。f u k u d a 等对可重构机器人的研究【1 1 ， b e n i 提出的细胞机器人的概念【2 j ，y u t a 等对多机器人协调通过交叉路口时多机器入运动 规划的研究【3 l 和a s a m a 等对多机器人协作结构的研究及设计的a c t r e s s 系统【4 】等研究 工作，标志着多机器人协作研究领域的形成。紧随这些开创性的研究工作，多机器人协 作的研究迅速发展成为机器人学研究的最主要研究领域之，并取得了丰富的成果。从 1 9 9 2 年丌始，举办两年一次的分布自治机器人系统国际学术讨论会5 ，6 ，7 1 ，多种重要的 国际刊物发表了多机器人协作研究成果的多期专辑m q “】。随着多机器人协作研究的发 展，发表了关于多机器人协作的多篇综述性论文【l i 1 2 , 1 3 1 。但是，多机器人协作新的技术 研究和应用领域不断出现，多机器人协作仍然是一个刚刚起步的研究领域，在这一领域 中，可以说没有一个方面的研究已经达到成熟的程度j 。 本章将对与本论文研究相关的主要技术进行综述，内容包括多机器人协作的定义、 分类、主要研究内容、研究方法、所取得的成果与存在的问题等。 2 2 多机器人协作与协调 2 2 1 多机器人协作 在研究多机器人协作的过程中，对什么是多机器入协作，提出了多种描述。n o r e i l s 最早提出了多机器人协作的定义【1 4 1 ：几个机器人一起工作，完成单个机器人无法完成的 任务，或者用多个机器人可以改善工作过程，从而获得更高的性能。在多机器人协作的 综述论文中，c a o 给多机器人协作作了如下定义i 2 1 ：针对给定的任务，如果多机器入系 统能基于某些协作机制，使系统的功能和效率得到增强，则多机器人系统表现出协作行 为。这些定义表明：多机器人协作的关键是要使机器人系统的性能得到提高；协作机制 可以存在于机器人的控制结构、通信机制和相互作用当中；而多机器人协作的形式难以 明确描述。 2 2 2 多机器人协调 多机器人协调是指在个多机器人系统中，每一个机器人要采取行动时，要考虑系 统中其它机器人的行动，以达到机器人间协调一致地高性能地完成任务h j 。也就是醢， 多机器人协调是指针对某事件，各机器人采取的响应行动的同步化。关于多机器人系 统早期的研究主要是针对多机器人的协调和控制，如载荷分配、运动分解、避碰轨迹规 划、操作柔性体或大型物体等i1 6 o 根据协调机制的工作原理，协调可以分为集中协调和分布协调、个体行为协调和群 体行为协调、显性的协调和黪性的协调。在集中协调的多机器人群体中，存在一个负责 群体全部协调工作的个体，该个体具备系统目标和各机器人能力的全局知识。在分布协 调的多机器人群体中，各机器人共同参与协调过程，共享协调过程中的各种参数，同步 地工作，共同实现协调目标。多机器人协调过程中的参数，通过显性的通信方法或隐性 的通信方法实现。 个体行为协调是指通过协调，帮助某个个体完成它的工作任务；而群体行为或联合 动作的协调目标是要完成群体的共同任务f 1 7 】。 共享目标和环境参数是多机器人协调的基本要素。隐性协调方法需要具备对协调任 务完成情况的反馈机制。例如在多机器人推箱行为的协调中，参与推箱的机器人削没有 相互通信机制，各机器人需要根据诲调行动的反馕信息，确定下一步的动作【l “。 显性协调中，除了共享目标和环境参数外，各机器人间还需要通信，如在协调地图 构建中1 9 】，需要获得帮助的机器人要知道其它机器人能提供什么样的帮助。机器人间通 过通信可以提高协调的可靠性，但过分依靠通信的协调，当通信系统发生故障时会造成 严重的问题。例外的情况是，如果分配角色也是协调行为的一部分，并且每个机器人运 行相同的角色选择算法时，那么通信的故障可以得到补偿。 2 2 3 多机器人协作与协调的关系 多机器人协作和多机器人协调是多机器人系统研究中的两个不同而又有联系的概 念。当给定多机器入系统的工作任务时，如何缓织多个机器人去完成任务，是多机器人 协作的主要研究问题。当多机器人系统根据某种协作机制，把共同的任务分解为各个机 器人的任务及相互协调关系后，协作问题转化为保持多机器人工作的协调致性，即多 机器人的协调问题。多机器人协作主要研究高层的组织与运行机制问题，多机器人协调 6 第2 章多机器人协作的研究内容与方法 研究的重点是机器人之间合作关系确定后具体的运动控n f = q 题。协调机1 i t t t 选择也影响 多机器人协作规则的确定，这一点在机器人足球中表现得特别明显。 本论文的研究主要侧重于多机器人协作问题，基本上不涉及多机器人协调的具体细 节。 2 3 多机器人协作的分类 2 3 1 根据多机器人群体的特征分类 多机器人系统的设计是多机器人群体研究中最困难的问题之一。为了探索多机器人 群体特征与群体功能、协作行为间的关系，为多机器人系统的设计提供参考依据，许多 研究者进行了多机器人系统分类的研究。最早，y u t a 等把多机器人群体分为两种形式： 一种是群体中的各机器人为完成一个共同的任务而工作；另一种是当完成任务分解后， 群体中的各机器人分别独立地执行自己的任务2 0 1 。d u d e k 等根据多机器人智能体的通信 能力、计算能力和群体重组态等能力，对多机器人智能体系统进行了分类忙“a 在此基础 上，2 0 0 2 年d u d e k 等根据多机器人系统作为一个整体所具有的特征，而不是单个机器 人的结构特征，提出了更加全面的分类方法【2 2 1 ，分类特征及相应描述如表2 1 所示。 表2 1 多机器人系统的分类 分类特征特征描述 群体大小群体中机器人的个数 通信范围群体中两个个体间可以通信的最大距离 通信拓扑在可通信的范围内，各机器人通信的方法 通信带宽群体中的个体可以通信的信息量 群体重构性改变群体组织的速率 处理能力群体中各个体采用的计算模型 群体的构成群体由同构机器人还是异构机器人组成 2 3 2 根据多机器人群体的协作能力分类 根据多机器人系统的协作能力，l o c c h i 等提出了在协作层、知识层、协调层和组织 层四个层次上进行多机器人系统分类的方法【2 3 1 如图2 1 所示。 在协作层上，根据多机器人系统完成特定任务时的协作能力，把多机器人系统划分 为协作系统和非协作系统。在多机器人协作系统中，根据各机器入拥有所在环境中其它 浙江火学博十学位论文 机器人的信息的多少，即一个机器人个体掌握其它机器人个体知识的多少，把多机器人 系统划分为有意识的系统和无意识的系统。在有意识的多机器人系统中，机器人具备环 境中存在的其它机器人的知识；无意识的多机器人系统中，各个机器人在完成工作任务 时，各自独立地工作，就如工作环境中只有自身单独工作一样。无意识机器人间的协作 是多机器人协作中最弱形式的协作。在有意识的多机器人系统中，一般应确定协调机制， 实现各机器人间的协作。无意识的机器人因不知道环境中存在其它机器人，因此无法进 行协调。 协作层 知识层 协调层 组织层 幽2i基于协作能力的多机器人系统的分类 有意识的机器人间的协调，根据协调过程是否依靠协调协议，有强协调和弱协调两 种。强协调是依靠协调协议的协调方法。协调协议是预先定义的或在线学习的机器人间 相互作用的规则。弱协调系统不依靠协调协议【2 “。弱协调系统对通信故障的鲁棒性更强， 但缺少协调协议提供的组织能力。环境和任务目标越复杂，强协调多机器人系统越能有 效地完成任务。无协调多机器人系统的优点是设计简单，缺点是执行过程中冲突情况多， 资源浪费大。 在组织层上，根据协调决策系统在多机器入系统中的实现方法的不同，可把多机器 人系统划分为集中方式和分布方式。集中方式是指多机器人系统中有一个机器人充当领 导者，负责组织其它机器人的行动。领导者负责整个群体的决策过程，其它机器人则在 领导者的指挥下工作。分布方式是指群体出完全自治的机器人组成，群体的决策过程是 第2 章多机器人卧作的研究内容与方法 完全自治的，不存在领导者。 集中方式中的强集中是指决策由一个领导者完成，并且在完成任务的过程中，领导 者保持不变。弱集中是指在完成任务的过程中，领导者可以更替。例如，当环境发生改 变或当前的领导者出现故障时，领导角色可以动态转换到其它机器人个体上。 在上述分类过程，需要指出两点： 1 多机器人协调不是协作多机器人系统特有的特点。有些多机器人系统中，各机器 人成员间需要进行协调，但各机器人具有不同的互不相关的工作目标。例如，工业机器 人常常共享一组工具，当多个机器人请求使用同一工具时，为避免资源冲突，需要协调。 这样的多机器人系统不是协作多机器人学的研究内容。 2 多机器人协调不是协作的前提。如果多机器人系统组织结构足够灵活、可以充分 利用资源，有些任务可以由多机器人系统不需要协调而有效地完成，如b a l c b 等讨论的 多机器人队形维持任到2 5 j 。 2 4 多机器人协作的主要研究内容与进展 2 4 1 多机器人研究的五个方向 多机器人协作的研究内容十分广泛，c a o 等把多机器人协作的研究内容划分为以下 五个领埘坦j ：多机器人群体的体系结构、资源冲突、协作的根源、学习和几何问题。以 下只就与本研究相关的内容作简要说明。 群体体系结构是指组成多机器人群体的各机器人间的拓扑结构关系，即是集中的结 构还是分散的结构。在集中结构中，由一个机器人负责整个系统的规划和协调。分散结 构有两种具体结构，即分布结构和分层结构。分布结构中，各个机器人的作用是平等的： 分层结构则是局部集中的结构。 集中式系统协作效率比较高，但实时性、动态特性差；分散式系统中，个体高度自 治，容错能力、可靠性和可扩展性好，但协作较困难。根据单个机器人结构的划分是否 服从笛卡尔方法，分为基于行为和基于功能的体系结构。基于行为的结构有灵活的反应 能力，有利于完成实时任务，但几乎没有智能【2 6 】；基于功能的结构对外界反应不够灵敏， 反应速度慢，但规划和推理能力强。 体系结构研究的第二类问题是组成多机器人群体的个体的差异性，即各个体是同构 的还是异构的。如果所有机器人的能力完全一样，则称为同构，否则就是异构的。 9 浙江大学博一卜学位论文 多机器人系统的群体体系结构是研究多机器人协作行为的基础，它决定了多机器人 系统的整体性能，决定了一个机器人识别和建模其它机器人的能力，决定了机器人间相 互通信的结构。 第三类问题是协作的通信结构。通信结构决定了群体内各机器人问相互作用的方 式。最简单的通信方式是环境本身作为通信媒体，在各机器人间没有明显的通信。第二 种方式是通过一个机器人对其它机器人动作结果的感受实现通信，这种方式也没有明显 的通信机制。第三种是在机器人个体间建立通信机制，如直接通信或广播通信等。 多机器人群体中机器人间的通信联系是实现多机器人群体协作行为的必要条件。智 能体机器人间相互作用的通信结构主要有无明显通信机制模式( i m p l i c i tc o m m u n i c a t i o n ) 和有明显通信机制模式( e x p l i c i tc o m m u n i c a t i o n ) 忙“。 实现多机器人协作的另一个重要问题是学习机制。对于由多个自主机器人组成的群 体，如果需要由设计者提供合适的控制参数，使群体形成期望的协作行为，则分析设计 工作非常困难。因此，整个机器人群体及群体中的每个机器人都必须具有学习能力，从 而优化系统性能，适应环境变化。强化学( r e i n f o r c e m e n tl e a r n i n g ) 为多机器人群体行 为的研究提供了一条重要途径【2 8 , 2 9 。 2 4 2 多机器人研究的八个领域 关于多机器人协作研究内容的划分，p a r k e 和a r a i 等把多机器人协作的主要方法与 技术的研究领域和多机器人应用的主要领域结合在一起，提出了生物灵感、机器人通信、 多机器人体系结构与任务分配、定位和地图构建与探索、物体搬运与操作、运动协调、 可重构机器人和机器人学习等8 个领域【l ”。 1 生物灵感 协作多机器人的研究大多数采用基于行为的方法 3 0 o 基于行为的方法是对生物社会 行为的模拟。通过对昆虫和动物的社会特性的考察，并把结果应用于多机器人系统的研 究，已经取得了有意义的研究结果。基于生态系统的动力学模型的多机器人系统，具有 协作状态的涌现性3 ”。模仿高级动物行为的捕食者一猎物系统在仿真研究和真实机器人 实现方面都获得成功 3 2 , 3 3 , 3 4 。模拟高级动物和人类行为的多机器人足球赛f 吸引大批多 机器人研究者，并取得了可喜的成果【3 5 3 6 1 。 l o 第2 章多机 人坍作的 口f 究内容与方法 2 多机器人通信技术 如前所述，从丌展多机器人的研究以来，多机器人通信技术己经得到了广泛的研究。 最近，研究工作的重点之一是通信信息的语言表示以及这种表示的物理世界背景【3 7 】。此 外，在多杌器人系统通信的容错性、建立能确保可靠通信的分布式通信网络等方面都取 得了研究成果1 3 8 ，3 9 , 4 0 , 4 ”。 3 体系结构、任务分配和控制 多机器人系统的体系结构的重要性在前面已经介绍，体系结构的设计仍然是一个有 待进一步研究的挑战性闯题，多机器人体系结构研究的主要结果有：n a k a m u r a 等设计 的人类操作者和一队机器人一起工作的体系结构4 2 】：m u r p h y 等提出的采用情感计算模 型的协商一反应式混合模型【4 ”。多机器人系统的任务分配和控制一直是研究的主要内容 之一。在二十多年来的研究中，提出了多种多机器人任务分配的方法和系统结构【4 4 4 5 4 6 1 。 多机器人控制结构也是得到广泛研究的领域，发表了大量的关于多机器人控制和协调的 文献【4 7 】，形成了两个基本的控制方法，即自项向下的协商方法h 研和自底向上的反应式 方法阢4 9 1 。个多机器人系统要实时地适应环境的变化，必须具备对环境的反应能力； 为了实现预定的共同目标，机器人间需要进行协商；因此提出了多种具有协商和反应相 结合的混合结构1 5 0 ，5 1 , 5 2 1 。 4 定位、地图构建和探索 在多机器人的研究过程中，大量的研究集中在多机器人协作定位、协作构建地图和 协作探索作业等应用目标上。早期的研究主要针对二维环境【5 3 l ，把单个机器人定位、构 建地图和探索的算法扩展到多机器人系统中。近年来，提出了新的分布式算法【5 4 】。多机 器人协作定位可以取得单个机器人无法达到的定位精度。机器人构建地图是采用机器人 获取物理环境的空间信息。近二十年来，基于概率的方法是构建地图的主导方法f 5 ”。建 立静态的、结构化的、小范围的地图已经有一系列的方法，但构建动态的、非结构化的、 大范围的地图还是一个有待研究的问题。同时进行定位和地图构建是当前研究的重点， t h n m 提出了多机器人群体协作构建所处环境的地图，同时调节机器人定位误差的在线 定位和地图构建方法，并推广到建立室内三维环境图形上【5 5 1 。 多机器人协作探索是使群体中的各个机器人同时探索各自不同的环境范围，以达到 加快探索未知环境的速度，缩短探索时间的目的。多机器人协作探索是一个具有很强实 际应用背景的研究领域，已经进行了大量的研究工作5 7 , 5 引。 塑垩查兰堡主兰竺堡皇 5 物体搬运和操作 多机器人协作运送、推移或操作一个共同的物体，是多机器人协作典型的应用领域 之一。该领域早期的研究主要是多机器人协作推箱和搬运家具等6 0 1 。近年来的研究则 更侧重于多机器人协作运送材料、搬运大型物品等6 1 ，6 2 1 。多机器人协作搬运物体是本论 文的研究内容，将在后续章节中详细地分析讨论。 6 运动协调 运动协调是多机器人群体协作行为研究的重要领域。其主要研究内容包括：路径规 划限川，交通控制【3 ，形成编队和保持编队【6 5 】。该领域近期的研究活动更加关注目标跟 踪【6 6 1 、目标搜索和多机器人入船坞等行为的研究。 7 可重构多机器人 重构多机器人系统的研究目的是使机器人个体或模块以各种方式连接或重新连接， 形成期望的形状，满足完成特定操作的功能需要。尽管在研究多机器人系统的最初时期 就提出了可重构机器人系统的概念【“，但在近年才取得真正的研究进展【6 9 7 。这一领 域的大多数研究是采用同构的功能模块，采用手工或自动的互连接机制，使各模块可以 方便地相互组合。可重构多机器人系统已经在组成蛇形爬行运动行为，模仿蜘蛛和六脚 动物的运动行为等方面获得了成功7 1 1 。 8 多机器人学习