基于多机器人协调的搜集与围捕问题的研究.doc

中国科学院自动化研究所硕士学位论文基于多机器人协调的搜集与围捕问题的研究姓名：王姝莉申请学位级别：硕士专业：控制理论与控制工程指导教师：谭民20030601主里型兰堕鱼垫些里堡主兰翌堡苎，（），、，；，；，中国科学院自动化所硕十学习论文，；，：，独创性声明本人声明所成交的沦文是我个人在导师指导下进行的研究丁作及取得的研究成果。尽我所知，除了文巾特别加以标注和致测的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确地说明并表示了谢恩。签名鱼丛萄日蛾一。“关于论文使用授权的说明小人完全了解中固科学院自动化研究所有关保留、使用学位论文的规定，即：中国科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅；可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：土导师签名一同期：。后勺，堵第一章引言二十世纪年代，出现了第一代遥操作执行器；年代，第一台工业机器人诞生。半个世纪以来，机器人技术从理论研究到实际应用都有了长足的发展，其应用领域含盖了航空，军事，农业，建筑业，制造业，娱乐业等各个方面。特别是在所谓的“”环境中（，），机器人已经发挥了很大作用。然而，伴随着机器人技术本身的快速发展，人们期望机器人完成的任务日益复杂，其应用领域也在不断延伸。在很多场合中，特别当遇到是空间上分布，时间上要求并行执行的任务时，单机器人在应用中的局限性也就日益凸显出来。这种情况下多机器入理论的研究应运而生，与单机器人相比，多机器人系统有以下几个优势：效率高；容错能力强；适应性强；成本相对较低。客观上，分布式人工智能研究的深入开展也为多机器人研究提供了理论基础。多机器人系统的研究状况机器人的研究包含了机构学、控制工程、计算机科学、人工智能、微电子学、光学、传感技术、材料科学、仿生学等多学科的理论和技术“。在本论文中，我们将集中探讨多机器人系统以及协调协作理论。与之最为密切相关的研究领域包括控制理论、社会科学、系统科学、分布式人工智能等。其中，作为人工智能理论的一个重要分支，分布式人工智能（），与多机器人系统、多机器人协调协作研究的发展联系非常密切。主要专注于分布式系统的研究，通过人工智能技术和多问题求解器（）来解决各种问题【。而分布式人工智能研究方向之一：多智能体系统（）则通常被认为是多机器人系统研究的理论基础，它的很多研究成果可以直接应用于多机器人系统；另一方面，多机器人系统也为多智能体研究提供了理论验证的实验平台。多智能体系统的研究对象是多个处于特定环境中的相对独立的智能体，这些个体之间通过直接或训接的通讯方式交换信息，而且，智能体相互之间以及它们与环境之问也存在不同形式的相互作用关系。每个个体实现自己的局部目基于多规器人协调的搜集与围捕问题的研究标的同时，整个多智能体系统表现出某种群体行为。这些智能体可能为同一目标共同工作，也可能为存在潜在冲突的各自不同的目标工作。正如前面提到的，多机器人系统的研究是从单个机器人系统的研究扩展开来的，但区别于单个机器人系统，多机器人系统的特点可以概括为以下几点：空阳：上分布：多个机器人可以同时工作在工作空间的各个位置。这个特点是完成许多任务的关键。比如，完成大型工件的焊接，由多个机器人分别完成局部任务比用一个机器人同时焊接所有的点要现实的多。时间上并行：某些任务可以进一步分解成若干子任务，并且这些子任务是相互独立的，可以同时处理的。具有并行结构的多机器人系统在完成此类任务时，比单个机器人要有优势。系统的容错能力强：多机器人系统中的机器人个体的功能可以存在冗余，所以当某一机器人出现故障时，很容易通过任务的重新分配来弥补由该故障引起的系统性能下降。资源的高效利用：系统中各机器人可以充分利用、共享各种资源（信息、知识、物理装置等）弥补个体能力的不足，扩大了机器人应用领域。开发成本低：开发出灵活性很高的单机器人不仅困难而且很昂贵。而多机器人系统中各个机器人的功能可以互不相同，通过不同功能的机器人的组合。不仅使多机器人系统具有更强的适应性，而且往往会大幅度降低整个系统的成本。除此之外，对于多机器人系统的研究还可以增进研究人员对组织行为学，认知科学和生命科学中的一些基本问题的认识。虽然多机器人系统在功能、结构及应对复杂环境、任务等方面相比于单个机器人优势明显，但它也存在以下一些问题：。分布式的结构使多机器人系统在进行全局优化时存在一定困难或无法找到最优解：多机器人系统中各机器入之间诖于资源的分配和使用不合理可能发生冲突或死锁现象：随着多机器人系统中机器人数量的增加，多个机器人之间进行组织、进行相引言互协调协作的困难也随之以指数倍数增长。多机器人系统中功能、信息和资源的分布，在增强机器人系统灵活性、适应性的同时，也增加了机器人对可用功能、信息、资源进行搜索的时阃，信息交换的时间。多机器人系统由此而产生的大量通讯为系统快速响应外界环境的变化造成了一定的困难。多机器人系统的研究始于世纪年代，并于年代中后期，迎来了第一个发展高潮。迄今为止，国外许多高校和科研机构以对多机器人系统进行了广泛的研究，并取得了一系列理论及应用上的突破。欧盟在年设立了专门进行多机器人系统研究的项目一【，即“用于搬运的多自主机器人系统（）”。美国海军研究部和能源部也对多机器人系统的研究进行了资助”。而美国国防部所属的在（）项目中也对多移动机器人的研究给予了大量的支持。日本的许多研究机构也对多机器人系统进行了大量的研究。目前已经建立的一系列有代表性的多机器人仿真和实验系统，包括【，硝【，”】，等系统。在国内，许多科研院所也在多机器人理论和实践上已经取得了较大进展，并取得了一些成果。比较有代表性的有：中科院沈阳自动化所研究的系统就是针对装配作业建立的分布协作式多机器人系统。上海交通大学以多台美国公司的型智能机器人为硬件平台对队形控制、垃圾收集【】等任务开展研究。中国科学院自动化研究所在多机器人系统协调协作方面开展了许多研究工作，在体系结构、数据融合及处理、运动控制燕略、协调协作机制、学习机制等方面取得了一些理论成果。并且，在对多机器人系统理论研究的基础上，开发完成了一套多自主移动机器人计算机仿真平台软件一胁。其友好的图形用户界面和成功的结构化设计使用户可以方便的进行新理论以及新算法的仿真。与此同时，正在开展的多微小型仿生机器鱼群体协作与控制的研究也是一个较为成功的探索。此外，清华大学、中国科技大学、哈尔滨工业大学、东北大学等院校也开展了许多有益的研究工作，并取得了些成果。经过二卜多年的发展，多机器人技术的研究已在理论和实践方面取得了大量卓有成效的研究成果，并建立了一些多机器人的实验系统。下面，我们将重点基于多机器人协调的搜集与围捕问题的研究介绍几个比较有代表性的多机器人系统：一（）这是一个由个机器人和个工作站组成的异构系统删，其中的工作站分别作为人机界面、图形处理器以及环境管理设备它们共同协作完成环境中物体的移动工作在该系统中，可以采用不同的通讯结构进行通讯二（）系统是由日本大学的教授领导的研究小组开发的一个典型的自重构机器人系统（）”儿”。自重构机器人系统以一些具有简单功能、同样形状（或种类）的标准模块为组件，根据目标任务的需要，对这些模块进行相应的组合，进而形成具有不同复杂功能的系统。系统研究是受生物细胞结构的启发，将系统中众多的具有相同或不同功能的机器人视为细胞元，这些细胞元机器人可以移动、寻找和组合。根据任务或环境的变化，细胞元机器人可以自组织成器官化机器人，多个器官化机器人可以进一步自组织，形成功能更加复杂的机器人系统（如图）。细胞结构机器入系统强调是单元体的组合如何根据任务和环境的要求动态重构。因此，系统具有多变的构型。具有学习和适应的组智能（）和分布式的体系结构。从而使系统能够有效地进行知识的自动分配蝴”。图一系统三机器人系统系统，即群智能机器入系统，是由多个自主机器人组成的分布式同构系统，主要研究如何使没有智能的个体机器人通过交互产生群体智能。它是在以为代表的自重构系统上发展起来的，该系统的特点在于使大量，非引言智能机器人”协同工作，从而表现出”智能行为”。这种系统结构的研究最早是受自然界蚂蚁、蜜蜂等社会性昆虫群体的启发，这些个体的能力有限的昆虫，通过交互呈现出了整体的智能行为，通过人工模拟昆虫社会，多机器人系统也在不同程度上呈现出类似的智能行为。在基于系统的研究中，分布式系统的自组织研究是一个重点。由于它在动态环境中完成复杂任务时所表现出的灵活性，系统逐渐成为多机器人系统研究的主流之一。下面就介绍几个典型的群智能机器人系统。）系统图实验系统是由加拿大大学开发了一个实验系统钏该系统是对昆虫社会的一种人工模拟。目的是将许多简单的机器人组织成一个团体来完成一些有意义的工作。为实现这一目标，研究针对集体任务（）机器人的控制体系结构和算法以及传感信息的分析等。具体来说，在机器人之间没有建立显式通讯的条件下，如何利用分布式控制方式实现多机器人系统的协作。这种分布式无通讯系统易于机器人的添加、去除。多个机器人协作推箱（）的实验结果表明，在不存在显式通讯和集中规划器的条件下，尽管运行的结果不是一个最优解，但可以得到一个可行解。图是实验系统。（）最初是由等人建立的，是一个由一些相对独立的异拘中、小机器人构成的系统删。其中，每个机器人都具有一定的感知以及行为能力、对其他机器人的了解则是通过感觉和显式通讯来实现的具体来说，每个机器人都出一个基于行为的控制器来控制，通过激活某个行为集，来完成一个任务而墨王至塑堡叁塑塑堕望叁皇里塑塑垦盟！里。则是的一个超集，它通过增强学习来调整控制器的参数图系统结构（实验系统美国国家实验室的博士在做博士期间就在多协作、自主体系结构、多通讯等方面做了许多工作【埘”】。在国家实验室又带领一研究小组在协作机器入学方面做了许多工作，如人机协作、移动机器人协作、多协作、智能体系等。他们研究的协作机器人是集成了感知、推理、动作的智能系统，着重研究在环境未知且在任务执行过程中环境动态变化的情况下，机器人如何协作完成任务。为了将各种协作算法应用于系统，他们开发了协作机器人的实验系统（见图）。一种是适用于户外的实验系统，（图），包括一个运输车，四个微机器人，且在机器人上安装激光扫描仪、摄像头、声纳传感器以及无线以太网等。另外，还有一种适用于室内应用的系统，（图一），包括四个机器人，机器人上安装有各种传感器，包括测距仪、接触传感器、声纳、红外、视觉、罗盘以及基于激光的定位系统，机器人还装有无线引言以太网以实现机器人之间的通讯以及机器人和工作站之间的通讯。（）（）图实验系统（）；口实验系统美国大学的学者如等在基于行为的多机器人协作方面做了许多工作”“”】”。他们采用自下面上的路线，基于行为的方式研究分析、设计机器人群行为的突现，在多机器人学习、群体行为、协调与协作等方面开展工作。他们针对多机器人协调、协作建立的实验系统有和，如图所示。（）（）图和实验系统系统由个移动机器人组成，机器人由两个电机驱动，且装有一个二指抓手，机器人上安装多种传感器，包括碰撞传感器、红外传感器、色觉传感器（）、和用于通讯及数据收集的无线发送，接收装置，另外，基于多机器人协调的搜集与围捕问题的研究还有用于定位的超声系统。机器人采用包容式结构（）。系统主要用于群体行为、多机器人学习等各种实验，为多机器人系统的分析、建模提供有效的数据。系统是由个机器人组成，机器人上装有用于抓取、堆放物品的抓手，抓手上装有和接触传感器。机器人本体上装有碰撞传感器、无线声纳定位系统以及通讯系统。是第一个用于大规模机器人群体行为实验的系统，且可以广泛用于其它多机器人控制和协调实验。四（）中国科学院沈阳自动化所以制造环境应用多机器人装配为背景，建立了一个多机器人协作装配实验系统”。实验系统采用集中与分散相结合的分层体系结构，分为合作组织级和协调作业级。合作组织级的协作控制智能体由一台计算机构成，协调作业级则由、和全方位移动车组成。硬件平台采用一台宏基机，在机的总线上安装一块四串口板，分别与、和车通讯。图系统体系结构系统的体系结构采用集中与分布相结合的分层异构式结构，同时多的概念被应用于系统中。该系统具有自动任务建模分解、友好人机界面，展示了多机器人系统的柔性、快速重组的能力。该系统为多机器人协作理论与方法的深入研究提供了一个良好的实验平台。多机器人系统研究的主要问题如上所述，多机器人系统具有良好的应用前景。但是对于一个多机器人系统引言而言，简单的将多个机器人堆砌到一起并不能产生预期的效果，反而会造成机器人之删的冲突与对抗，导致系统性能的下降。因此，必须有机的组织多个机器人构成的群体，通过它们之间的交互，力求提高系统的整体性能。随着多机器人系统应用愈来愈广泛，采用单一主控机器人规划其它机器人的运动已经无法满足要求，越来越复杂的任务、环境对机器人研究人员提出了新的挑战，产生了一系列的问题，其中包括：系统结构：如何根据需要以及机器人的能力，确定合适的系统结构，从而最大限度发挥多机器人系统的优势。这也是这一领域内，其他问题研究的前提和基础。任务分配：如何在多机器人系统中描述、分解及分配任务，实现子结果的有效集成。通讯方式：如何选择适合的通讯结构，采用何种通讯协议，何时通讯，通讯的内容是什么。这些问题的解决直接影响着系统的成本，灵活性，鲁棒性。协作策略：怎样实现机器人之间的协调协作；如何保证机器人决策致，避免危险动作的发生。机器人的认知能力：个体机器人如何描述、理解环境、其它机器人以及自身状态，的动作、计划、知识等，以确保与其它机器人协调一致。资源分配：在机器人独立执行任务过程中，机器人之间如何共享有限的资源并解决可能的冲突。传感信息处理：如何处理不同机器人上传感器提供的关于同一环境描述中的冲突问题。避免死锁：如何处理、解决死锁以确保系统的正常运行。目前在多机器人系统、多机器人协调协作方面的许多研究是围绕着这些问题展开的。为了充分发挥多机器人系统的优势，优质、高效、快速、灵活的完成给定任务，必须对系统中存在的问题进行研究并予以解决。机器人系统结构多机器人系统的群体体系结构是多机器人系统研究的一个重要问题。多机嚣基于多机器人协调的搜集与围捕问题的研究人系统依靠几个机器人的简单组合并不能充分发挥其优势，只有通过某种形式的合作才能实现其对复杂任务的处理。多机器人系统的体系结构可分为集中式（），分层式（）和分布式（）。在集中式结构中，通常有个主控机器人掌握全部环境信息以及各受控机器人信息，并运用规划算法、优化算法，完成对任务进行分解和分配。由于在实际环境中所有信息对于主控机器人并不是完全已知，所以主控机器人在复杂多变的环境中无法保证各受控机器人快速响应外界的变化、作出适当的决策。分层式体系结构是按功能划分系统模块，模块之间以分层递阶方式联接。这种结构相对于集中式，有更好的可靠性，并行开发的可伸缩性，但是由于上下层之间需要进行大量的信息交换，对外部事件的反应时间较长是这种结构的不足之处。为此，提出了基于行为（）的体系结构，这种思想来源于生物学中的“刺激一反应”的反射现象。基于行为的控制思想往往是同分布式系统结构联系在起的。在分布式的结构中则没有主控机器人存在，各机器人之间的关系是平等的，各机器人均能够通过通讯等手段与其它机器人进行信息交流，自主地进行决策。由于分布式结构的多机器人系统中。各机器人具有一定的自主性，所以整个系统应对外界环境变化、完成复杂任务的能力较强，且容错性、可靠性、并行性、可扩展性均优予集中式结构的多机器人系统。提出了的结构是一种完全分布式的、基于行为方法的机器人控制体系结构【”【”【”【”，其中加入了数学模型化的动机模型来帮助机器人自适应选择动作、行为。由于多机器人系统经常工作于动态未知的环境下，此种结构可以使系统在环境发生变化、个别机器人出现机械故障、进行新技能学习、在人为干预下机器人个体加入或退出多机器人系统等情况下鲁棒地、灵活地、可靠地、连贯地进行响应。为了保证大规模复杂控制系统所需的模块性、容错性、完整性和可扩展性，等采用分布式的控制机制来代替中央控制结构，提出了（结构来处理通讯、各子系统之间的协调协作、任务分配、优化和避免死锁等问题”。等针对由一个中心站和一组自治移动机器人组成的系统研究了如何组织协调一群机器人共同进行工作的问题，并提出了计划合并机制来实现多机器人之问的合作（”。系统为分层式结构：中心站负责规划机器人的任务和运行路线并将其发送给机器人；机器人从中心站接受命令，进行路线规划，轨迹生成，并针对此规划同其它机器人进行协调，在执行规划时监控紧急情况、向中心站报告无法恢复的失败动作。以上这些研究针对不同的任务类型和目标提出了多种不同的体系结构以便于多机器人系统快速、高效、可靠地完成任务。除此之外，多机器人系统的规模、个体结构、个体能力及目标任务性质等也是决定系统结构的重要因素。如何选择系统结构是多机器人研究的一个首要的问题，一切相关工作都是建立在此基础之上的。机器人系统任务分配多机器人任务分配属于多机器人协作问题的一部分，由于其重要性，这里我们把它提出来进行专门介绍。广义的任务分配包括两个部分：任务的分解和分配。由于任务分解涉及很多先验知识以及对任务本身的抽象描述，所以到目前为止，还没有一种通用的任务分解策略可以使机器人系统实现自动任务分解，这项工作通常由人工完成。通常我们研究的都是狭义的任务分配问题，即如何把已经分解好的子任务分配给适合于完成此任务的智能体。多机器人任务分配方案的设定往往要基于某一种系统结构。根据不同的系统结构，任务分配方案包括集中式和分布式，其中，集中式分配又分为有一个监控机器人进行统一分配，和由中介机器人完成任务分配两种；分布式分配也包括两种：一种是依据每个单体对其它机器人的能力的了解进行任务分配，另一种是通过招标，将各个待完成的子任务分配给适合的机器人。另外，还有一种在反应式系统中常常出现的实时分配机制，它在任务进行过程中，依据获得的外部和内部信息，对任务进行实时分配。在任务分配中的一个关键问题是如何将个子任务分配给某个最适合完成该任务的机器人，由于完成子任务的最佳智能体并不容易发现，所以系统必须在一群符合要求的智能体中决定由那一个智能体来完成这项子任务，这通常是个非常耗时的搜索过程。在任务分配问题的研究中，晟为人熟知的解决方法是合同网协议，它被成功地应用于和项目的研究工作中。运用采用多智能体模型”、合同网、熟人模型、搜索算法等方法进行任务的实时分配和最优分配。矗等采用了对任务区域进行分区的方法，使各机器人分别负责一个区域的清扫与收集工作而获得相互问的协作”。将任务规划的顺序描述成一个没有冗余路径的树状拓扑基于多机器人协调的搜集与围捕问题的研究结构，并给出拓扑中不屙任务分配的成本，通过应用算法和启发式规则对树状拓扑结构进行搜索，找到成本最小的最优任务分配方案咿。综上所述，任务的分配是由多机器人系统本身特性带来的一个问题，它直接决定全局任务能否完成，以及完成的质量。目前已经有很多学者在这个领域内做了大量的工作，但要很好的解决这一问题，仍存在很多困难：机器人单体的认知能力，行为能力，通讯能力，任务本身的特性，机器人群的社会结构等一系列多机器人系统的特征参数，都会影响到任务分配的效果。在第二章中，我们将对这个问题进行进一步讨论。通讯结构通讯是多机器人系统中机器人之间迸行交互和协作的基础，对于个体机器人来说，通讯也是获得外部信息的重要手段之一。通过通讯，机器人可以更好的了解其它机器人的意图、动机，并获取到更多的环境信息，有利于做出正确的决策。通讯按照信息交互的方式来分，可分为隐式通讯（）和显式通讯（）两种【】。使用隐式通讯的多机器人系统通过外界环境、自身传感器来获取所需的信息并实现相互之间的协作，机器人之间没有显式的数据转移或消息交换。隐式通讯又分为被动隐式通讯和主动隐式通讯两类。被动隐式通讯是指在所谓的无通讯情况下。多机器人系统使用基于传感器信息被动地感知环境的变化，并依据机器人内部一定的推理、理解模型来进行相应的决策和协作。而使用主动隐式通讯的多机器人系统中，各机器人可以通过某种方式在环境中留下某些特定信息进行信息传递。一个典型的主动隐式通讯例子口“，等在研究如何为个体设计行为的自适应规则以保证获得期望的群体行为的同时减少通讯成本和硬件复杂性时，依据蚂蚁等昆虫利用化学物质进行相互之间的通讯和协调的原理，给出了一种多机器人在未知地图的环境中协作执行清扫任务的方法。机器人在所经之处留下可随时间逐渐消失的气味；各机器人根据当前位置气味的大小来进行行为决策，从而实现协作清扫任务。提出了一种应用于体积小、相对便宜的多机器人系统的基于广播的隐式通讯机制【】。在使用隐式通讯的多机器人系统中，由于各机器人不存在相互之间数据、信息的显式交换，所以多机器人系统无法使用一些高级的协调协作策略，从而影响了其完成某些复杂任务的能力。相反，引言显式通讯存在明确的信息传递。从而可以有效地通过定的通信机制完成各机器人之间的数据转移及信息交换，实现许多在隐式通讯下无法完成的高级协调协作策略。其研究可分为通讯规范（选择何种方式）、通信内容和通信协议（保证发送和接收信息的一致性）三部分。有效的协作需要将信息准确、快速的传递给合适的机器人，在具体设计过程中还应当考虑到通讯中可能存在的诸如传输误差、等待时问等因素的影响。通讯机制的研究是多机器人系统通信的一个重要方面。这方面的研究主要包括通讯协议、网络拓扑结构、通讯效率、通讯内容和语言等。等提出一种媒体按入协议，（），来支持分布式机器人系统的点到点通讯和广播式通讯”。等从通信容量和成本的角度对多机器人系统的局部通讯进行了研究，提出了在许多机器人随机发送消息的环境中对多机器人系统局部通汛效率进行优化的方法【”。对于多机器人系统通讯的内容和语言的研究，理论和理论具有重要作用。必须说明的是，并不是通讯规模越大，多机器人系统的性能就越好。过多的信息交换可能造成通讯瓶颈，加重系统负担，影响到系统的动态性能。因此，应当提高机器人基于传感的推理判断能力，降低系统对通讯的依赖性，必要的时候相互间传递所需信息，只有这样才能使整个系统的效率得到提高。感知感知是机器人与环境进行交互、获取信息的一种重要途径，它包括感觉和臻！解两方面问题。不同功能的传感器可以使机器人能够“感觉”到外部环境的变化，获取不同性质的局部环境信息。通过对获取的信息进行有效地融合、处理及解释，机器人可以“理解”这些信息的意义，并将其与机器人的决策、控制紧密地结合起来。对于多机器人系统来说，出于各机器人分散于环境当中，整个系统获取的息更加丰富。这又衍生出另一个问题：各机器人如何将其它机器人的传感信，国与自身传感信息进行融合，即信息融和问题。信息融合对于多机器人系统的仃务执行是有帮助的特别是环境地图的构建。在地图构建过程巾，随着机器，、应用领域的不断扩展，机器人的工作坏境可能部分未知或者完仝未知。蚍仃务需要机器人对运行环境进行有效地探测，构建出环境的地图，从而有利！基于多机器人协调的搜集与围捕问题的研究好的完成。目前，许多研究工作采用单个机器人进行环境的探测，其不足是探测速度较慢，感知环境信息也欠准确。而采用多个机器人在相互协作、共享信息的基础上进行地形探测则提高了效率与准确度。比较典型的融合方法有如下几种：加权平均、卡尔曼滤波、贝叶斯估计、统计决策理论、基于证据理论的证据推理、基于模糊集理论的模糊推理、产生式规则及神经网络等。提出了种基于视觉信息的意图推理方法进行行为决策以方便多移动机器人之间的协作髀。通过对机器人群体行为的分析，给出了一种基于观察的协作（）的框架结构】。，等提出了一种两个移动机器人如何共享环境知识的方法烨。研究了多机器人系统协作定位问题儿“。由于这些方法各有各的适用范围，因此比较理想的解决方案是多种方法的综合运用。根据具体情况选择合适的一种或者多种融合方法是一个值得研究的问题”。学习在多机器人系统的设计过程中，设计者往往要解决以下一些问题：如何完成系统控制参数值的设定调整；如何帮助多机器人系统实现任务和资源的合理分配；如何合理分解给定任务、确定子任务的合理执行顺序等。而系统所处的环境通常是动态多变的，多机器人系统本身又是高维复杂系统，加之其执行的任务中也存在着很多不确定性。所以在这种情况下，要通过人为的设计和优化为多机器人系统预先解决所有问题往往是得不偿失的，有时候甚至是不可能的。这样，如何依据实际情况选择适当决策、自动修正控制参数的就变成系统面临的一个关键问题。学习是使多机器人系统具有这种机制的一种有效手段。机器学习的研究是人工智能研究的一个重要方向，其研究成果在多机器人系统研究中亦有广泛应用。多机器人系统通过学习可以获得较强的适应性和灵活性等智能特性。对于个体机器人而言，学习可以改善扩展个体机器人的技巧和能力；对于多机器人系统这个整体而言，学习的目的往往是改善个体之间的一致性和协调性，提高系统的整体性能。机器学习包括以下四种学习机制：诱导式学习（、，如（），（）等方法：分析式学（），如基于案例的学（）等方法；引言遗传算法（）：联结主义的学习算法（），如神经元网络等。以下按学习机制的不同特点进行分类，对多机器人系统学习可采用的各种方法加以说明。按学习的过程划分，学习可以分为两种形式：独立学习（）和交互学习（）。独立学习指单个机器人独立进行的学习过程，不依赖于其它机器人。交互学习指多个机器人共同进行的学习过程，其特指的意义是多个机器人学习如何完成一个共同的目标的情况；其非特指的意义还包括单个机器人在追求其自身学习目标的过程中受到其它机器人的影响。按学习的反馈类型来划分，学习可以分为：监督式学习，增强式学习。在监督式学习（），反馈指学习者所期望的行为，学习的目标是尽可能与所期望的行为相匹配。而在增强式学习（），反馈是学习者实际行为所获得的收益，学习的目标就是使学习者的收益最大化。增强学习与监督式学习最本质的区别之一就是前者不需要对系统输入输出间的对应关系进行明确的描述，此外，较之监督式学习，在增强式学习中，系统的评估往往是发生在学习过程中的。，等学者分别从不同角度将增强式学习方法应用于多机器人系统，并通过一系列的算法及仿真实验证实了增强学习在多机器人系统中的实用性“脚。本文后砸所提到和使用的也将主要是增强学习中的典型算法。在将学习算法应用于多机器人系统时，应注意以下几个方面：由于环境、任务的复杂多变，多机器人系统的学习过程也不是一个永恒的稳定的过程。多机器人系统需要通过学习以适应外部或内部的变化。在这一动态过程中，多机器人系统除了需要选取适当的学习算法外，还需要在恰当的时候决定是否开始学习、加速学习或停止学习。所有这些多机器人系统学习算法及其相关知识的研究对于多机器人系统都是重要并具有现实意义的。多机器人系统的主要参数及性能评价指标多机器人系统具有单机器人无可比拟的优势。但由于多机器人系统本身是个高维系统，加之系统要完成的任务的要求、目标的不同，对同一多机器人系统性能的评价也不一致。如何来确立多机器人系统性能评价的标准是个有基于多机器人协调的搜集与围捕问题的研究意义的问题。要确立多机器人系统性能评价的标准，我们首先必须对系统本身进行清楚的界定和描述，这就要求了解它的一些主要参数。进而，才能考察这些参数和系统性能之间的关系。在年代初将参数分类理论引入了多机器人系统（。该理论在界定多机器人系统时主要参考了以下参数：机器人群体的个数，有无通讯，通讯拓扑结构，机器人单体控制器的结构，机器人群中各单体间结构上的异同程度等。例如：按队伍中机器人的个数划分，机器人系统可分为：单机器人，双机器人，有限数目以及无限数目机器人系统。按通讯范围分可分为：无通讯，近距离通讯和无限远通讯。按通讯结构分可分为：广播式通讯，点到点通讯，树形结构和图形结构通讯。此外，多机器人群体还可以按个体之间的差异性分成同构系统和异构系统。通过以上介绍，我们对多机器人系统的主要参数有了个基本的了解，随之，一系列有趣的问题出现了：这些参数与系统性能之间有没有种确定的关联？如果有，那又应该如何描述这种关联昵？事实上，针对这个问题，已经展开了大量的工作。等人论证过通讯规模对多机器人系统性能的影响【。集中研究过系统多样性对性能的影响，并得出了一些定性的结论删。这里所说的多样性是一个被用来描述系统中的机器人间的差异程度的重要参数，它使我们可以把系统差异看成一个连续的变化量，而不是简单的把系统分成同构和异构两种。通过这类闯题的研究，我们可以确定在不同的条件下，在不同的任务需求下，应采用何种系统结构、何种协调协作算法构成的多机器人系统比较合适。现在，对于多机器人系统的性能评价主要集中于系统的模块化、可扩展性、并行性、可维护性、灵活性、实时性、可靠性以及系统的效率等某一方面或某几方面问题的定性研究、定量分析。例如在智能系统中，确定评价系统性能的般准则很困难，提出使用灵活性作为系统鲁棒性的个评价标准，并通过此评价标准分析不同智能系统的性能“。通常来说，多机器人系统的定量分析较定性分析更难一些。另外，对多机器人系统性能的评价往往与该系统要执行的任务有关。目前，在多机器人研究中经常出现的任务包括：环境探索，地图构建，静态物体搜集，围捕，队形保持，机器人足球等。在本文中，将选取其中两项任务：静态物体搜引言集和围捕任务，结合机器人在执行这些任务时的表现，来对多机器人系统任务分配，系统多样性研究，以及增强学习等问题进行探讨。研究内容和结构安排本文以多机器人系统为背景，结合国家高技术研究发展计划（计划）机器人技术主题“多机器人协作系统的理论、方法与技术研究”课题和国家自然科学基金课题“机器人群体协调与控制机理的研究”，开展了多机器人搜集任务及结构化环境中多机器人围捕任务的研究。内容涉及多机器人任务分配，系统多样性研究以及增强学习在多机器人系统中的应用等问题。论文主要内容概述如下：第一章综述了基于行为的多机器人系统的研究背景及研究现状，提出了多机器人系统主要的研究问题、系统参数及性能评价指标，最后介绍本文的选题背景和研究内容。第二章针对于动态环境中的搜集任务，介绍了一种基于异构分布式多机器人系统结构的任务分配思想。提出了基于有限状态自动机的三个搜集算法，并进行了一组仿真实验。通过对仿真结果的比较分析，验证搜集算法的有效性，同时也证明了提出的任务分配方案的合理性。第三章在前面提出的搜集算法及系统结构的基础上，研究了系统多样性等参数对系统效率的影响。与上一章不同，这里采用机构上同构的多机器人系统，系统多样性是由算法导致的。通过比较不同多样性的系统在仿真实验中的表现，发现并描述了系统多样性与系统效率间的相关性。此外，还讨论了系统中机器人的数目，环境中被搜集物的密度等参数对多机器人系统性能的影响。第四章熏点研究增强学习在多机器人系统围捕任务中的应用，介绍了基于和两种学习方法的围捕算法，并在此基础上，提出了一种基于的改进算法。最后通过一系列仿真实验，