（计算机应用技术专业论文）robocup中多智能体系统协作的研究与实现.pdf

摘要 多智能体系统足分布式人工智能的个前沿学科，它研究的核心 问题是寻求建立一种有效的l 办作机制使功能独立的智能体通过f ! ! j j 、作 完成复杂的控制任务或解决复杂的问题。 本文以r o b o c u p 仿真比赛为检验平台，以多智能体系统为研究对 缘，选择智能体m i j 【j j 、作为目标任务，在对已有的仂、作策略进行研究的 基础上，分别从防守和进攻的角度出发，提出了基于亲密度模型和基 于合作意愿矩阵的阱作策略。本文提出亲密度的概念来表示智能体协 作完成仟务的依赖性i 。綦于亲密度模型的胁作策略将智能体的亲密度 作为眺竹：f l j 依拟i ，要求鹤能体完成自己任务的同时还要协助与其亲密 度大| ，f 勺智能体焚同完成任务，实现了分：c 与合作的统一，很好地解决 了m1 二料能休之m j 人盯人防i ) 二和区域 。人防守中的盯人失败导致防 线窬易被突破的问题。针对r o b o c u p 仿真比赛无法依赖通信实现合作 的情况，本文提了通过合作意愿矩阵来建立智能体之问的协作关 系，为控球 j i i | 体选择传球目标、非控球智能体接应判断和l 动作选择 提供了依j ：l i 。丛j 二合作意愿矩阵的协作策| | l 成功地实现了多智能体系 统中 j 阳体m j 默契配合，可以满足r o b o c u p 仿真比赛的实时性和灵 活性要求，为多智能体系统提供了一种不依赖通信的显式合作。 本文捉l 向多智能体胁作策略已成功应用到中南大学的r o b o c u p 仿真球队c s uy u n l u 中，实际比赛中对抗的结果，证实了以上协作策 略是可行、有效的。 关键词多科能体系统，阱作，亲密度模型，合作意愿矩阵 a b s t r a c t m u l t i a g e n ts y s t e m ( m a s ) i sf o r e h e a do fd i s t r i b u t e da r t i f i c i a l i n t e l l i g e n c ei nw h i c ht h ec o r ec o n t e n tf o rr e s e a r c hi st oc o n s t r u c tak i n d o fe f i e c t i v ec o o p m + a t i o nm e c h a n i s mw h i c he n a b l e sf u n c t i o nd e p e n d e n t a g e n tt oa c h i e v eac o m p l e xc o n t r o l l i n gt a s ko rs o l v eac o m p l e xp r o b l e m t h i sd i s s e r t a t i o nc h o o s e sc o o p e r a t i o ni nm a sa s t a r g e tt a s kb a s e d o nt h et e s t b e d o t r o b o c u ps i m u l a t i o nl e a g u e a f t e rs t u d y i n gt h e e x i s t i n gc o o p e r a t i o ns t r a t e g i e s i n m a s ，t h i sp a p e rp u tf o r w a r dt h e 。 c o o p e r a t i o ns t r a t e g i e sb a s e do nt h ea f f i l i a t e dd e g r e em o d e la n do nt h e1 c o o p e r a t i o nd e s i r em a t r i x ( c d m ) r e s p e c t i v e l yf r o md e f e n da n da t t a c k i a s p e c t s t h i sp a p m 。p r o p o s e st h ec o n c e p to fa f f i l i a t e dd e g r e et od e s c r i b e t h ed e g l e eo f c l o s er e l a t i o nb e t w e e na g e n t s t h ec o o p e r a t i o ns t r a t e g y b a s e do nt h ea f f i l i a t e dd e g r e em o d e lr e q u i r e sa g e n tt oa s s i s ta n o t h e r a g e n t w h oh a st h eh i g ha f f i l i a t e dd e g r e ew i t hh i mw h i l eh ei st a k i n go nh i so w n t a s k ，i nt h i sw a yw er e a l i z et h ei m p o r t a n c eo fu n i t yo fd i s t r i b u t i o na n d c o o p e r a t i o n ，w h i c ha l s op e r f e c t l ys o l v e st h ep r o b l e mo fd e f e n c el i n e b e i n ge a s i l y b l o k e n t h t o u g hw h e nm a n t o m a nd e f e n c eo ra r e a b a s e d m a r k i n g d e f e n c ef a i l s a i m i n gt ot h ef a c tt h a tc o l l a b o r a t i o n t h r o u g h c o m n m n i c a t i o ni s u n c e r t a i n t y i nt h es i m u l a t i o ng a m e ，a ni n n o v a t i v e c o o p e r a t i o nd e s i l em a t r i xi sb r o u g h tf o r w a r di nt h i sp a p e x t oi n d i c a t e s y m b i o s i so t m u l t i p l ea g e n t s ，b yu s eo fw h i c h ，t h ea g e n th a v i n gb a l l w i l l c h o o s et h ea p p r o pz i a t er e c e i v e rw h i l et h e a g e n tw i t h o u tb a l lj u d g e sh o w t oc o o p e r a t ee f f e c t i v e l yw i t ht h ef o r m e r b yt h ea d o p t i o no fc o o p e r a t i o n s tn a t e g yb a s e do nc d m ，t h ep r i v i t i e sa m o n g s tt h ea g e n t sc a nb er e a l i z e d s u c c e s s f u l l y ，a n dr e q u i r e m e n t so ft h er e a l t i m ea n df l e x i b i l i t yc a nb em e e t e x c e l l e n t l y t h ec o o p e r a t i o ns t r a t e g yb a s e do nc d mp r o v i d e da ne x p l i c i t c o o p e r a t i o nw h i c hd o e sn o td e p e n do nc o m m u n i c a t i o ni nm u l t i a g e n t s y s t e m t h et w o c o o p e r a t i o ns t r a t e g yp r o p o s e s i nt h i sa r t i c l eh a sb e e n s u c c e s s f u l l ya d o p t e di nc s u y u n l us i m u l a t i o nt e a m ，t h er e s u l to fa c t u a l a n t a g o n i s mt e s t i n gs h o w st h a t t h ec o o p e x a t i o n s t r a t e g yi sf e a s i b l ea n d e f f e c t i v e k e yw o r d s m a s ，c o o p e r a t i o n ，a f f i l i a t e dd e g r e em o d e l ，c d m i o b o c u p a 世c n 【 m a s d a i c d p n b d l a d m c d m 符号说明 t h er o b o ts o c c mw o tl dc u p m t l i t i a r e n ts y s t c m 1 ) i s t ii l ) t i l e ( ia 九i f i c i a li n t e l t i g e n c e c o , p o ln i j v e1 ) i s t t i b u l e c l i i o b l c n ls 0 1 v m 2 b c l l l ld c s i l _ ci n t c n t i o n a i i i i i a t e ( 1d e g l _ c cm a t r i x c o , p o t a 【i v ed e s j l _ em a t r i x 机器人足球毗界杯 例能体 多锚能体系统 分砷扛人j 1 ：纠能 合作分川行题求解 ，。一信念、愿身! 、意图的慎思结构 亲密皮矩阵 合作意愿矩阵 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进7 7 i , 7 研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：迅塑同期：生年二翻卫f f 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：缝蚴导师签名：耋乏錾二r 期：丝年月旦同 嘶! i 学位论义笫一章绪论 第一章绪论 本文以r o b o c u p 仿真比赛为研究平台，以多智能体系统为研究对象，选择 智能体问协作为目标任务，分别从防守和进攻的角度出发，来研究r o b o c u p 仿 真比赛中多智能体系统的协作问题。 本章首先简单介绍多智能体系统和机器人足球世界杯，接着说明课题来源和 目的，最后介绍本沦文的主要内容安排。 1 1 1多智能体系统 人：l ! 智能作为一门独立的研究学科，始于二十世纪五十年代。过去五十年中 人工智能的主要问题是“多主体动态不可预测环境中的问题求解”，其标准问题 是足球的机机剥+ 抗赛和人机对抗赛。自七十年代后期以来，随着计算机 网络、计算机通信和并行程序设计技术的发展，分布式人工智能d a i ( d i s t r i b u t e d a r t i f i c i a li n t e l l i g e n c e ) 的研究逐渐成为一个热点，早期的研究主要是分布式问题 求解，其目标是创建大粒皮的协作群体，个体之问共同工作以对某一问题进行求 解：，l - 时，多智能体系统m a s ( m u l t i a g e n ts y s t e m ) 【2 】【3 1 的研究成为分研j 式人工智能的热点，实际系统的分川r 陛、复杂性和动态性有望通过对单个个体能 力的有效分：i ：、协渊和组织而达到系统整体优化的目的。 1 1 1 智能体的概念 多智能体主要研究自主的智能体( a g e n t ) 5 舶1 之问智能行为的协调，为了 一个兆同的全局l | 标，也可能是关于各自的不同目标，共享有关问题和求解方法 的知i 以、胁作进行问题求解。 a g e n t ，i _ 【| j 智能体，已成为分巾式人： 智能( d a i ) 研究中的主要角色。从 2 0t u ： g7 0 年代出现至今，a g e n t 的设计与应用成为越来越多研究人员的兴趣。 对于“什么是a g e n t ? ”这个问题，学术界至今没有统一的答案。在人工智 能研究领域l _ i = t i ，由w o o l d r i d g e 和j e n n i n g s 所给出的a g e n t 定义 7 1 1 8 1 被大多数研究 者所接受，f ；! | a g e n t 是一个具有自主性、社会能力和反映特征的计算机软、硬件 系统，它具有自治性、社会性、反应性和能动性。 基于智能体的概念，人们提出了一种新的人工智能定义：“人工智能是计算 机利学的一个分支，它的目标是构造能表现出一定智能行为的智能体”。所以， 智能体的研究应该是人工智能的核心问题。 坝i ：学位论文 第一章绪论 1 1 2 智能体的体系结构 每个智能体接收从环境中感知的输入，并产生输出动作作用于环境，所以智 能体也可以定义为从感知序列到智能体动作的映射，体系结构的任务就是将感 知1 、规划、决策、行动等各种模块有机结合起来，从而形成具有一定特色的智能 系统。根据人类思维的层次模型，多智能体系统中主要有以下三种典型的a g e n t 体系结构。 1 反应式体系结构 反应式体系结构( 9 】的提出者是r o d n e yb r o o k s ，反应式智能体只是简单地对 外部环境发生反应，它不断地获取感知的输入并将其映射成一个要执行的动作， 而不使用复杂的符号推理。反应结构的设计源自这样的假设：智能体行为的复杂 性是智能体所处环境复杂性的反映，而不是智能体内部设计复杂性的反映。 2 慎思式体系结构 基于s i m o n 和n e w e l l 的物理符号系统假设川，智能体维持着对世界的内 部表示，具有能用一定形式的符号推理加以修正的精神状态。根据大多数通用的 慎思方法，认知构件基本由两部分组成：世界模型和规划器。这种方法中有一个 基本的假没：对认知功能进行模块化是可能的，即可以分开来研究不同的认知功 能( 如感知、学习、规划和动作) ，然后把它们组装在一起构成自治智能体。 3 混合型体系结构 分析上两种体系结构，慎思型结构强调规划、搜索，反应式结构强调交互、 反馈。将两种结构互相渗透，相互补充，提出一种混合结构【坦】。这种结构既能体 现舰划推理，又能实时交互反馈。它包含两个予系统：慎思予系统包含问题的抽 象符号模型，川于脱划、决策：反应予系统响应环境变化“t 吖内紧急时刚，无需复 杂推理。所以混合型体系结构既能实现面向目标的长期规划，又具有实时性的特 点，是多智能体系统中最常用的a g e n t 体系结构。 1 1 3 多智能体系统及应用 多智能体系统足山多个智能体组成的集合，是一种分斫i 式自主系统。与单个 智能体相比，多智能体系统具有以下特点： ( 1 ) 每个成员智能体仅拥有不完全的信息和问题求解能力( 故其观点是局部 有限的) ； ( 2 ) 不存在全局控制，数据是分散或分布的，计算过程是异步、并发或并行 的： ( 3 ) 同一多智能体系统中的智能体可以异构。 因此多智能体技术对于复杂系统具有更大的表达力，可以为各种实际系统提 、 顺 学位沦文鲋一市绪论 供统一的模型，从而为各种实际系统的研究提供统一的框架。 图l 一1 描述了一个标准的多智能体系统。系统包含一些a g e n t ，他们可以 通过通信互相交互j 这些a g e n t 可以在环境中动作，7 l o i na g e n t 有不同的“作用 范围”，表示它们可以控制、至少是影响环境的不同部分。在有些情况下，影i i q 的范围可能会重叠，而影响重叠的事实会产生a g e n t 之问的依赖关系f 1 3 1 。 图1 1 多智能体系统的标准结构 多智能体技术是人工智能技术的一次质的飞跃：首先，通过智能体之问的通 汛，可以丌发新的规划或求解方法，用以处理不完全、不确定的知识：其次，通 过智能体之问的协作，不仅改善了每个智能体的基本能力，而且可从智能体的交 互中进一步理解社会行为；最后，可以用模块化风格来组织系统。如果说模拟人 是单智能体的目标，那么模拟人类社会则是多智能体系统的最终目标。多智能体 技术具有自主性、分斫i 性、协调性，并具有自组织能力、学习能力和推理能力。 采用多智能体系统解决实际应用问题，具有很强的鲁棒性和可靠性，并具有较高 的问题求解效率。多智能体技术打破了目前知识工程领域的一个限制，即仅使用 一个专家，因而可完成大的复杂系统的作业任务。多智能体技术在表达实际系统 时，通过各智能体问的通讯、合作、协调、调度、管理及控制来表达系统的结构、 功能及行为特性。由于在同一个多智能体系统中各智能体可以异构，因此多智能 体技术对于复杂系统具有无可比拟的表达力，它为各种实际系统提供了一种统一 的模型，从而为各种实际系统的研究提供了一种统一的框架，其应用领域十分广 阔。多智能体系统理论的一个具体应用就是机器人足球世界杯比赛，从1 9 9 6 年 开始的机器人足球比赛能够十分典型的体现多智能体系统的许多特点，如动态、 实时、多机器人协调、感知信息不完全等，并具有对抗性及较强的观赏性。 坝i ：学位论义第一章绪论 1 2机器人足球世界杯 r o b o c u p 1 6 i ( t h er o b o ts o c c e r w o r l dc u p ) ，即机器人足球世界杯赛。是 一个通过提供足球比赛这样一个标准问题来促进人工智能、智能机器人以 及相关领域的研究而建立的国际性的研究和教育组织。 1 2 1 r o b o c u p 简介 1 9 9 2 年，机器人足球的最初想法山加垒大不列颠哥伦比亚大学的a l a n m a c k w o r t h 教授于正式提出。同本学者立即对这一想法进行了系统的调研和可行 性分析。1 9 9 3 年。m i n o r u a s a d a ( 浅f h 埝) 、h i m a k i k i t a n o ( 北野宏明) 和y a s u o k t m i y o s h i 等著名学者创办了r o b o c u p 机器人足球世界杯赛。 ， 与此同时，一些研究人员丌始将机器人足球作为研究课题。隶属于f i 本政府 的电子技术实验室( e t l ) 的i t s u k in o d a ( 松原仁) 以机器人足球为背景展丌多 主体系统的研究，| _ f 本大坂大学的浅用埝、美国卡内基一梅隆大学的v e l o s o 等 也，1 ：展了同类： 作。 1 9 9 7 年，在囡际上最权威的人工智能系列学术大会第1 5 届国际人工智 能联合大会( t h e15 t hi n t e r n a t i o n a lj o i n tc o n f e r e n c eo na r t i f i c i a li n t e l l i g e n c e ，简称 i j c a i 9 7 ) 上，机器人足球被正式列为人工智能的一项挑战。至此，机器人足球 成为人工智能和机器人学新的标准问题。 r o b o c u p 的最终目标是到2 1 1 盐纪中叶，一支完全自治的人形机器人足球队 应该能在遵循固际足联正式规则的比赛中，战胜最近的人类世界杯冠军队【l ”。就 近期来泌，r o b o c u p 为人工智能和机器人学提供了一个标准的测试平台，检验信 息自动化l 谢沿研究，特别是多智能体系统研究的最新成果，包括动态不确定的对 抗环境下的多智能体合作、实时推理、机器学习和策略获取等当前人工智能的热 点问题以及自动控制、机器人学、传感与感知融合、无线通讯、精密机械和仿生 材料等众多学科的前沿研究与综合集成。并且和影响范围最广的足球运动结合， 受到了公众的关注，促进了基础研究和实际应用的联系和转化。 - r o b o c u p 机器人足球世界杯赛及学术研讨会是国际上级别最高、规模最大、 影响最广泛的机器人足球赛事和学术会议。从1 9 9 7 年在同本名古屋丌始举行第 一届比赛后，以后每年举办一次，最近一次是在2 0 0 4 年葡萄牙里斯本举行的第 八届r o b o c u p 机器人足球世界杯赛及研讨会。 现在r o b o c u p 共包括四大项活动，分别是足球比赛、紧急救灾比赛、青少 年组比赛和研讨会。足球比赛是整个比赛的主要部分，包括小型组、中型组、四 腿组、类人组和仿真组，除了仿真组比赛是全部通过电脑模拟外，其余的比赛都 是以实物机器人形式比赛。 ! i ：学位论义 撼一帝绪论 1 2 2 r o b o c u p 中多智能体协作 在r o b o c u p 中，每个参赛的球队是由多个队员( a g e n t ) 组建，每个a g e n t 必须具有如下能力： f 1 ) 个人技术，对应于人类足球队员的个人能力。 f 2 ) 决策r i p - f ；，根据比赛的实际情况，进行实时决策，以决定下一步的动作。 ( 3 ) 合作能力，可以和j ：e 它a g e n t 合作完成一定的子目标。 ( 4 ) 学习能力，包括在线学习和离线学习。 ( 5 ) 通讯能力，与本队的其它队员实现信息交换并不被对方破解。 机器人足球赛则是两支参赛队伍或团队的对抗活动，每个团队都包含若干智 能体，共享相同的目标：多进球，赢得比赛。为了实现这个团队目标，每个智能 体必须进行灵活的配合，尽快将足球推进到对方半场进而形成射门机会。也就是 况尽管每个智能体都是自治的，但它们必须在共同目标的指引下进行团队协作。 上| 于比赛是双方的，对其中一支队伍来况，另外一支队伍为了相同目标进行的各 种对抗性活动也进一步造成了环境的不可预知的动态变化，这样，我们就需要研 究列抗环境下的合作问题。另外比赛环境只能提供低带宽不可靠的通信信道，存 在噪声干扰的感知器和执行器，要求每个智能体具有实时推理功能。这些都表明， 利用机器人足球比赛来研究多智能体系统的理论是非常适合的。 r o b o c u p 仿真比赛平台通过模拟类似的特性，成为完全分稚式的既有合作又 有划抗的多智能体系统理论的测试平台。 本文主要从防。、) ：和进攻的角度出发来研究r o b o c u p 仿真比赛中多智能体系 统的协作问题。防守中的协作难题主要是盯人的任务分配和如何协作进行抢断； 进攻中的协作难题是如何实现一种不依赖于通信的传球配合。f 1 前国内外各仿真 球队在防守方而的研究：l 二作主要集中在单个智能体的截球和刖人能力上，对多智 能体作防守的研究： 作十i ! i x , 1 较少，其中已应用的防守协作策略主要有根据智能 体问距离进行朗作和通过制定固定协作关系进行防守两种。在进攻方面广泛采用 的传球策略主要有亩日搜索传球法、基于区域传球策略和固定球员配合传球法。 以上的协作策略都存在不足和局限，这就需要对已有的写作策略进行改进或提出 更合理的阱作策略来满足r o b o c u p 仿真比赛的需要。 1 3 课题来源和研究目的 本课题来源于国家“8 6 3 ”计划基金资助项目( 2 0 0 1 a a 4 4 2 2 2 0 0 ) 和中南大 学信息科学与工程学院“青年骨干教师科技基金”项目“多智能体系统的学 习、合作与协调”。 课题的研究工作是在机器人足球仿真比赛的平台下进行。在机器人足球仿真 在噪声干扰的感知器和执行器，要求每个智能体具有实时推理功能。这些都表明， 利用机器人足球比赛来研究多智能体系统的理论是非常适合的。 r o b o c u p 仿真比赛平台通过模拟类似的特性，成为完全分斫i 式的既有合作又 有对抗的多智能体系统理沦的测试平台。 本文主要从防：) ：和进攻的角度出发来研究r o b o c u p 仿真比赛中多智能体系 统的协作问题。防守中的协作难题主要是盯人的任务分配和如何协作进行抢断； 进攻中的协作难题是如何实现一种不依赖于通信的传球配合。目前国内外各仿真 球队在防守方而的研究工作主要集中在单个智能体的截球和印人能力上，对多智 能体协作防守的研究工作相对较少，其中已应用的防守协作策略主要有根据智能 体间距离进行阱作和通过制定固定协作关系进行防守两种。在进攻方面广泛采用 的传球策略主要有盲目搜索传球法、基于区域传球策略和固定球员配合传球法。 以上的协作策略都存在不足和局限，这就需要对已有的写作策略进行改进或提出 更合理的协作策略来满足r o b o c u p 仿真比赛的需要。 1 3 课题来源和研究目的 本课题来源于国家“8 6 3 ”计划基金资助项目( 2 0 0 1 a a 4 4 2 2 2 0 0 ) 和中南大 学信息科学与工程学院“青年骨干教师科技基金”项目“多智能体系统的学 习、合作与协调”。 课题的研究工作是在机器人足球仿真比赛的平台下进行。在机器人足球仿真 f * ! i + 学位论文 笫二二章r o b o c u 【p 仿真比赛 第二章r o b o c u p 仿真比赛 r o b o c u p 仿真比赛在标准的计算机环境下进行，比赛模拟了人类足球实际比 赛的情况，比赛队员的仿真模型与人类足球队员接近，比赛规则也基本上与国际 足球联合会的比赛规则一致，主要区别在于仿真平台模拟的是二维平面，没有高 度概念。仿真比赛环境避丌了诸如列象识别、通讯和硬件殴计等机器人底层问 题使研究人员能够集中柑力研究多智能体之问的协作和学习等商层次问题。另 外建立仿真比赛的研究平台只需少量资金投入。因此，仿真比赛成为所有 r o b o c u p 比赛项e 川：，参赛队伍最多的一利一。本章对r o b o c u p 仿真比赛环境、仿 真球队的建立j ：! | ! 行了系统论述，是后续章= 仃多智能体系统队作策略研究的基础。 2 1 r o b o c u p 仿真比赛服务器介绍 r o b o c u p 委员会为仿真比赛提供了一个完全分祈j 式控制、实时异步、有噪声 的多智能体环境，用这个平台测试各种理论、算法和a g e n t 体系结构，和研究多 智能体m 的合作与列抗问题。仿真比赛是在一个标准的计算机系统中进行的，这 个系统就是r o b o c u p 模拟系统【2 0 】【2 1 1 1 2 2 r c s o c c e r s i m ( r o b o c u ps o c c e rs i m u l a t o r ) 。 r c s o c c e r s i m 包含两个程序：s o c c e rs e r v e r 和s o c c e rm o n i t o r ”j 。s o c c e rs e r v e r 提供了一个虚拟场地，模拟球和所有球员的动作，负责服务器和客户端之问通讯 和根据规则控制比赛过程。s o c c e rm o n i t o r 是一个用来将比赛的虚拟场地显示在 计算机屏幕上的一个程序。 r o b o c u p 仿真比赛采用c l i e n t s e r v e r 方式运行：服务端运行s o c c e rs e r v e r 程 序为比赛提供平台。客户端运行各参赛队伍编写的球员程序，每个球员就是一个 自治智能体。 2 1 1 服务器、客户端和监视器 服务器( s o c c e rs e r v e r ) 是一个能使不同队伍进行足球比赛的系统。由于比 赛以c l i e n t s e r v e r 方式运行，在服务器和每个客户端程序之间的所有通讯都是通 过一个u d ps o c k e t 来进行的，所以参赛队伍可以使用任何支持u d p i p 的操作系 统平台和编程语言米没计自己的客户端程序。每个客户端程序是一个独立的进 程，通过特定的端i _ 也址连接到s o c c e rs e r v e r 上。每个队伍能启动1 1 个客户端 ( 或球员) 和一个在线教练( o n l i n ec o a c h ) 。客户端程序根据自己想要执行的动 作向服务器发送命令请求( 比如k i c k 、t u r n 或r u n 等) ，服务器收到这些命令后 2 0 0 4 年底仿真比凑引入新的了项，即3 d 仿真比赛，木义仍然集中神：2 d 、卜台i ：进行讨论 7 坝i 学位论义第二市r o b o c u p 仿真比赛 处理这些请求- j j u 4 ；, j 应王l ! 新比赛的环境。除此之外，服务器还向每个球员提供感知i 信息( 比如球、球门和其他队员的位箭信息) 。客户端程序就像是球员的大脑： 从服务器接收视觉和听觉信息，根据这些信息做出决策，然后发送控制命令到服 务器。 服务器通过将时问分割成离散的时间段( 周期) 来实现一个实时系统，每个 周期有特定的长度，任何需要在给定周期内完成的动作必须在相应的周期内到达 服务器。因此，低效率引起的丢失动作执行机会对整个队伍的比赛成绩有很大的 影响。 每个客户端( c l i e n t 或p l a y e r ) 程序只能控制一名球员，所以每个参赛队伍 的球员数和客，o 端程序数目相同。不同客户端程序之m j 的通信必须通过s o c c e r s e r v e r 执行s a y 和h e a r 协议来实现。r c s o c c e r s i m 系统的一个目的就是用来评价多 智能体系统的，在这个系统中多智能体之问的通讯效率也是一个评价的标准。参 赛队伍必须使川这种受限的通讯能力来实现多智能体的控制。 图2 - 1 r o b o c u p 仿真比赛的整体结构图 山_ - j 二r c s o c c e r s i m 提供的是一个对抗性环境，在比赛时就需要裁判对队员的 某些行为做出判断。在当f m 的r c s o c c e r s i m 已经实现了部分的人工裁判能对一些 简单的情况进行检测，比如射门。然而在正式比赛中仍然有许多情况( 比如程序 死锁) 需要一名人：i ：裁判做出处理。 监视器( s o c c e rm o n i t o r ) 作为一个特殊的客户端程序连接到s o c c e rs e r v e r 坝i ：学位论义 第二市r o b o c u p 仿真比赛 上，是一个可视化工具，用米动态实时显示比赛过程中的服务器信息。这些信息 包括：当时比分、参赛双方队伍名称、足球场地、球员和球的位簧等。同时s o c c e r m o n i t o r 程序也提供了控制服务器的一些简单接口，比如参赛双方的客户t 端连接 到服务器后，可以按s o c c e rm o n i t o r 的“k i c k o f f ”按钮来丁i ：始比赛。对于一场 比赛的进行，s o c c e rm o n i t o r 不是必须的，然而如果需要的话，多个s o c c c rm o n i t o r 可以同时连接到服务器上，比如想在不同的终端上显示比赛的话。 r o b o c u p 仿真比赛的整体结构图如图2 1 。 21 2 球员感知模型 r o b o c u p 中的每个a g e n t 具有- - k f 不同的感知信息，分别是：听觉信息、视 觉信息和身体信息，这些信息山s o c c e rs e r v e r 按规定的周期发送给球员。感知信 息剥球员：哪苦重要，它们决定了球员的世界模型，对这些信息处理的优劣将直接 影响球员的性能，i 玉lj l e 作为仿真比赛的研究者，熟悉这些信息是非常重要的。 1 听觉信息 智能体的消息来自三方而，一是队员之间的通讯交流，二是教练的指示，三 是裁判的裁决消息。 a g e n t 之问的通讯能力2 4 是非常有限的，只能听到一定距离( 5 0 0 米) 之内 的声音。而且每个队员在一个仿真周期内只能i 听到分别来自每个队伍的最多一条 消息，也就是说只能听到两条消息( 一条本方的和一条敌方的) 。如果本方有多 名球员在同一个仿真周期内讲活，对符合距离限制的球员来说，它只能接收到其 1 = | = j 一条消息( - i 前的服务器实现选择最先到达的那条消息) ，其他消息将丢失。 而且，每个队员u h 舌内容最多足l o 个字符( 只能是0 9 a z a z ( ) + * ? 共7 4 个 字符的组合) 。因此队员刚的通讯能力被做了极大限制，r c s o c c e r s i m 系统模拟了 低带宽双通道的声音传递。 教练给队员的指示内容长度可以达到1 2 8 个字节，但是每场比赛允许教练发 出指示的次数是非常有限的。 裁判的裁决消息包括进球、丌球、犯规等内容，具有最高的优先级，可以即 刻被全部队员准确无误接收到。 2 视觉信息 服务器的视觉模型每隔s e n s es t e p 时问会自动将每个球员当时看到的视觉信 息发送给他们。视觉信息的形式为： ( s e eo b j n a m ed i s t a n c ed i r e c t i o nd i s t c h n gd i r c h n gb o d y d i rh e a d d i r ) 其中：o b j n a m e ：= ( p “t e a m n a m e ”u n i f o r m n u m b e rg o a l i e ) i ( g 1 lr ) 1 ( b ) 视觉消息中的数据是以相对坐标的形式给出的，所以智能体自己定位的精度 、 坝i 。学位论文 笫二章r o b o c u p 仿真比赛 将影响看到目标的定位精度。 视觉消息的内容山视觉精度和视野范围决定。视觉精度分高、低两种，默认 为高精度模式。如果i j ： 置为低精度模式，那么服务器传来的视觉信息中只有相对 o b j n a m e 的距离d i s t a n c e 。视野范围包括视野角度范围汞i 视野的长度范围，角度 范田有三种模式：宽模式 一9 0 。，9 0 。 、正常模式 4 5 。，4 5 。 和窄模式 一2 2 5 。， 2 2 5 。 。假设智能体选择默认的正常模式，他能够看到头部朝向( 代表视线) 左 右各4 5 。珀度范内的区域。对于近距离队员，智能体既能看到被观察对象所 属的球队同时可以看到它的球员号码。然而，随着距离的增加，队员号码将首先 消失，随后球员队伍名称也将看不清。 为了更好地模拟真实的足球比赛，s o c c e rs e r v e r 在发送给球员的视觉信息中 加入了干扰因素，因此场上每个球员看到的信息并不是精确的。 3身体信息 身体信息拙述了球员当前的状态，服务器每隔s e n s e _ b o d y _ s t e p 毫秒自动将 这个信息发送给场上的每个球员。身体信息的形式为： ( s e n s e _ b o d y t i m e ( v i e w m o d ev i e w q u a l i t yv i e w w i t h ) ( s t a m i n as t a m i n ae f f o r t ) ( s p e e da m o u n t o f s p e e dd i r e c t i o n o f s p e e d ) ( h e a d a n g l eh e a d d i r e c t i o i n ) ( k i c kk i c k c o u n t ) ( d a s hd a s h c o u n t ) ( t u r nt u m c o u n t ) ( s a ys a y c o u n t ) ( t u r n n e c kt u m n e c k c o u n t ) ( c a t c hc a t c h c o u n t ) ( m o v em o v e c o u n t ) ( c h a n g e v i e wc h a n g e v i e w c o u n t ) ) 其中，v i e w m o d e 、s t a m i n a 、s p e e d 和h e a d a n g l e 分别表示此项为视觉模式、 体力、速度和头角的信息，后面是相应耿值。另外，k i c k 、d a s h 、t u r n 等项表示 球员的动作，带c o u n t 的变量表示相应动作被球员执行的次数。 21 3 球员运动模型和动作模型 | = i = i 于仿真比赛全部在计算机上模拟，因此仿真比赛和实物机器人比赛的一个 不同点就是仿真比赛是离散的。仿真平台以1 0 0 毫秒为一个仿真周期，比赛分上 颇l ：学位论义 第一帝r o b o c u p 仿真比赛 下两个半场，共3 0 0 0 个周期( 共计l o 分钟) 。比赛过程被离散化后，队员对象 羽促球的位! 一t i l l 和速度状态只在每个周期末更新一次。 在仿真比赛中的每个周期内，对象的运动模型计算如下。 ( “? 。，“：? 1 ) = ( v ：，v t ，) + ( ：，d ：) ：加速 ( 2 1 ) ( p ? ，：? 1 ) = ( p ：，p t ，) + ( “? ，“，1 ) ：运动( 2 - - 2 ) ( v ? 1 ，v ：。) = d e c a y x ( “? 1 ，“：1 ) ：速度衰减( 2 - - 3 ) ( “_ ，“：? 1 ) = ( 0 , 0 ) ：重置加速度 ( 2 - - 4 ) 其中，( p ：，p t ，) 和( v t v t ) 分别表示f 周期内对象的位置和速度。( “二1 ，z f ) 表示t + l 周期内物体的速度，( v v ，) 表示c + 1 周期术的速度，它山( “t 。“，“? 1 ) 乘以变量d e c a y 得到，d e c a y 是一个参数，分别山b a l l _ d e c a y ( 运动对级为足球) 和p l a y e r _ d e c a y ( 运动对象为球员) 的取值指定。( “：，“：) 表示对象的加速度， 。 可以通过公式( 2 5 ) 计算得到。在公式( 2 5 ) 中p o w e r 山d a s h 命令( 针对 球员) 和k i c k 命令( 针剥足球) 中的体力参数决定，有关d a s h 和k i c k 请参见 2 2 3 节：p o w e ir a t e 则服务器参数d a s h 和 控制：p o w e r _ r a t e k i c kf l o w e rr a t e 另外，0 表示在t 周期内对象的前进方向，当列象为球员时，0 即为他的面部朝 i ：若是足球，则0 用公式( 2 - - 6 ) 中的“。表示，其中。和p 0 。分别表示 球和踢球队员当前的方向，而d i r e c t i o n 是k i c k 命令中第二个参数，即球员踢球 n 喃度。 ( “：，“j ) = p o w e r xp o w e r _ r a t e x ( c o s ( 0 ，) s i n ( 0 ) ) 8 = o ：i c h r + d i r e c t i o n ( 2 5 ) ( 2 6 ) 为了使物体运动模型能够反映出现实世界中球及球员运动的不确定性， s o c c e rs e r v e r 在剥+ 象的运动和有关命令参数中加入了一定的二二扰因素。公式( 2 7 ) 是对速度的二f 扰模型，耳。为离散区问 - r m a x ，r m a x g ，的随机数。而r m a x 是依赖于对织速度( ，i 。，v ) 的参数，山公式( 2 - - 8 ) 计算得到，其中r a n d | = l = | 参数 p l a ) ，e r 和决定。对命令参数的干扰主要针对和中体力_rand b a l lr a n dd a s hk i c k p o w e r 及t u r n 中转身角度m o m e n t ，如公式( 2 9 ) 所示，其中a r g u m e n t 代表 p o w e r 或m o m e n t 。 ( “? 1 ，“) = ( v ：，v ：，) + ( “：，“，t ) + ( 茸m a x 焉。) ，- - 7 ) n 缸2r a n d 怫，。川 r 2 8 、 8 。g u m e n t = ( 1 + 焉a 。g “m e n t ( 2 9 ) 在运动模型中还要注意碰撞问题，碰撞指在一个仿真周期结束时两个运动对 缘“ 现了重叠。发生这类情况时，两个碰撞对象的速度矢量被乘以一o 1 ，它们 将向与原来相反的方向运动。 在r o b o c u p 仿真比赛中，每个c l i e n t 可以根据服务器的规定执行各种动作， 、 皇型兰丝兰2 生一丝= 里! ! ! ! ! ! ! 堕塞些至 每种动作有个服务器命令与其对应，球员只需向s o c c e rs e r v e ，发