（计算机应用技术专业论文）robocup仿真足球赛中若干问题的研究.pdf

摘要 摘要 通过提供一个标准的实验测试平台，促进多智能体系统在实时对抗环境下 的决策与合作问题的研究，机器人足球比赛成为现今机器人领域和人工智能领 域的一个研究热点。 r o b o c u p 仿真足球赛提供了一个有噪声环境下，合作与对抗并存的实时决 策环境，本文在对r o b o c u p 仿真足球赛和多智能体技术研究的基础上，总结了 我们自己开发r o b o c u p 足球仿真球队的过程中进行的几个关键问题的研究工 作，主要工作包括： 分析了r o b o c u p 仿真球赛的特点及其关键技术，并对其国内外发展现 状作了比较深入的研究和分析。 通过对a g e n t 体系结构的分析，结合r o b o c u p 仿真比赛的特点，研究 并建立了一种混合式a g e n t 体系结构，在体系结构的设计过程中采用 了分层结构，使我们的体系结构既能进行中长期规划同时又能满足实 时性的要求。 采用柔性外部窗方法实现了r o b o c u p 中a g e n t 和s e r v e r 端的同步通信， 为世界模型的建立和实时决策建立了良好的底层通信平台。 基于r o b o c u p 仿真环境，建立了一个完整的a g e n t 世界模型，并研究 了各种更新和预测算法保证了世界模型的准确性和实时性。 按照智能程度从高到低的顺序，结合印i 模型，研究了从全局规划层 到基本运动层的实现方法，并在此基础上实现了一种可扩展的团队策 略。在团队策略的开发过程中，应用了基于情势的策略站位方法，异 构球员的选择算法和基于优先级的行为选择方法，并对守门员的防守 算法作了深入的研究。 最后，通过实验证明了系统的可行性和优越性。 关键字：r o b o c u p 、a j 髀t 体系结构、同步通信、世界模型、团队策略 a bs trac t t h em a t c ho fr o b o ts o c c e rh a sb e c o m eo n eo ft h eh o t s d o t si nt h ef i e l d o fr o b o t i c sa n da r t i f i c i a li n t e l l i g e n c eb yp r o v i d i n gas t a n d a r d e x p e r i m e n te n v i r o n m e n t i ta c c e l e r a t e st h er e s e a r c ho fd e c i s i o n m a k i n g a n dc o o r d i n a t i o no fm u l t i a g e n t si nr e a l t i m ec o m p e t i n ge n v i r o n m e n t t h i st h e s i sd i s c u s s e st h er e s e a r c hw o r ko naf e wi m p o r t a n tp o i n t s i no u rd e v e l o p m e n to fr o b o c u ps i m u l a t i o nf o o t b a l lt e 锄，w h i c ha r e1 i s t e d b e l o w ： w ea n a l y z e dt h ec h a r a c t e r i s t i c sa n dt h ek e yt e c h n o l o g i e so fr o b o c u p s 1 m u a a b r o a d a f 1 0 e r nm a t c h ，a n ds u m m a r i z e dt h ed e v e l o p m e n td o m e s t i c a l l ya n d a n a l y z i n gt h ea r c h i t e c t u r eo fa g e n ta n dc o n s i d e r i n gt h e c h a r a c t e r i s t i c so fl o b o c u ps i m u l a t i o nm a t c h ，w eb r o u g h tf o n v a r dam i x e d a g e n ta r c h i t e c t u r e l a y e r e da r c h i t e c t u r ei sa d o p t e dw h i c hi sa p p l i c a b l e f o r1 0 n g t i m ep l a n n i n ga n dc a ns a t i s f yt h er e a l t i m er e q u i r e m e n t w ec o m p l e t e dt h es y n c h r o n i z i n gc o m 珊u n i c a t i o nb e t w e e nt h ea g e n ta n d s e r v e rb yf l e x i b l ee x t e r i o rw i n d o w i n gm e t h o d ，w h i c hp r o v i d e dt h eb o t t o m 1 e v e lc o m u n i c a t i o ne n v i r o n m e n tf o rw o r l d m o d e lb u i l d i n ga n dr e a lt i m e d e c i s i o n m a k i n g w ec o m p l e t e da ne n t i r ea g e n tw o r l d m o d e li nr o b o c u pa n dr e s e a r c h e d t h eu p d a t i n ga n df o r e c a s t i n ga r i t h m e t i ct oe n s u r et h ec o r r e c t n e s sa n d r e a l t i m ep r o p e r t yo fw o r l d m o d e l b yc o m b i n i n gt h eb d im o d e l ，w er e s e a r c h e dt h ei m p l e m e n t a t i o nm e t h o d f t o mt h et o pp l a n n i n gl a y e rt ob o t t o ma c t u a t i n gl a y e ri nt h eo r d e ro f i n t e l l i g e n c ea n dr e a l i z e da ne x t e n s i b l et e 硼s t r a t e g y i nt h e d e v e l o p m e n to ft e 锄s t r a t e g y ， w ei m p l e m e n t e ds b s pp o s i t i o n o c c u p y i n g m e t h o d ，c h o i c e m a k i n gm e t h o do fh e t e r o g e n e o u sp l a y e ra n d b e h a v i o r c h o o s i n gm e t h o db a s e do np r i o r it ya n di m p r o v e dt h ed e f e n s i v e m e t h o do fg o a l i e i i a bs trac t f i n a l l y ，t h ef e a s i b i l i t ya n ds u p e r i o r i t yo fo u rs y s t e mi sv a l i d a t e d b ye x p e r i m e n t a t i o n k e yw o r d s ： r o b o c u p ，a g e n ta r c h i t e c t u r e ，s y n c h r o n o u sc o 唧u n i c a t i o n ， w o r l dm o d e l ，t e 绷s t r a t e g y i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定 i j 意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供h 录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论义的部分或全部内容用于学术活动。 学位论文作者签名 强籽、 1 厣彩年广月谚日 经指导教师同意，本学位论文属于保密，在年解密后适帽 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年 月h 各密级的摄长保密年限及书写格式规定如下 i 蕊；磊磊莨蕃i 磊荔! 孽嗵镪o ，箨? 箨适囊年? 诃多于1 0 簸 l i i _ 羔猢j 赫 * 舞i 舞j。舞i一! 冀萋鍪囊冀= 攀霎笺燮二囊i i 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：巷瓤 刮年，月方日 第一章引言 第一章引言 近年来，分布式人工智能( d i s t r i b u t e da r t i f i c i a li n t e l l i g e n c e ，d a i ) 已经成为人工智能领域的重要研究方向之一，多智能体系统( m u l t i a g e n t s y s t e m ，m a s ) 是分布式人工智能的一个主要领域。通过提供一个标准的试验测 试平台，促进多智能体系统在实时对抗环境下的决策与合作问题的研究，机器 人足球比赛成为多智能体领域的一个研究热点。 本章首先介绍了r o b o c u p 仿真比赛的发展和研究现状，而后结合多智能体 技术提出r 0 b o c u p 仿真比赛的几个关键问题，最后简单介绍了本文的内容组织。 第一节r o b o c u p 仿真比赛的研究背景 1 1 1r o b o c u p 的起源和发展 机器人足球世界杯( r o b o c u p ) 是一项国际性的机器人大赛，它通过提供一 个标准的问题机器人足球对抗赛来促进分布式人工智能和机器人学领域的 研究，其最终目标是计划经过5 0 年左右时间的研究使机器人足球队能战胜人类 足球冠军队。 1 9 9 2 年，加拿大不列颠哥伦比亚大学的艾伦马克沃斯教授提出了关于进 行机器人足球赛的最初设想和具体方案，日本学者对这个设想和方案很感兴趣， 1 9 9 3 年6 月，日本的北野宏明等学者发起创办了日本机器人足球赛，命名为 r o b o c u p j 联赛，由于这一赛事受到很多国家的科研机构，高校和人工智能学研 究者的关注，在国际上引起巨大的反响。后来扩大为国际性的比赛，改名为机 器人世界杯足球赛，简称r o b o c u p ，并于1 9 9 7 年在日本举办第一届r o b o c u p 大 赛。 1 9 9 7 年6 月，另一个国际性的机器人足球组织f i r a 在韩国成立，它全称 为国际机器人足球联合会( f e d e r a t i o no fi n t e r n a t i o n a lr o b o t s o c c e r a s s o c i a t i o n 。f i r a ) ，总部设在韩国科学院( i ( a i s t ) 。 1 9 9 7 年8 月，在国际最权威的人工智能系列学术大会第1 5 届人工智 自联合大会( t h e1 5 t hi n t e r n a t i o n a lj o i n tc o n f e r e n c eo na r t i f i c i a l 第一章弓i 言 i n t e l1 i g e n c e ，简称i j c a i9 7 ) 上，机器人足球被正式列为人工智能的一项挑 战，成为继计算机象棋之后人工智能领域新的标准问题。 1 9 9 9 年以后，一些世界著名的一流大学、科研机构和公司都参与了这项赛 事的相关活动，如美国卡内基一梅隆大学( c 州) ，康奈尔大学( c o r n e l l u n i v e r s i t y ) ，美国国立研究机构( n a s a ) 和日本索尼公司等。到2 0 0 5 年底， 世界上已有3 0 多个国家的3 3 0 多支队伍参加到机器人足球运动中来。众多高校 和科研机构的参与进一步扩大了机器人足球比赛的国际影响并吸引了更多专家 和学者以机器人足球为平台进行机器视觉，多智能体等领域的科研和开发工作。 目前，世界上，机器人足球运动发展较好的国家有美国、德国、日本、韩 国、澳大利亚等；在国内，自1 9 9 7 年机器人足球运动走进中国至今，己有数十 所高校和科研单位加入到r o b o c u p 和f i r a 的行列中来，对机器人足球的研究投 入了大量的人力，物力和财力。现在，部分机器人足球队伍已经走出国门，并 且在国际比赛上取得了骄人的成绩，表1 1 详细描述了中国机器人足球研究领 域的发展历程。我国开展机器人足球赛，有力的推动了人工智能领域的研究与 实践，通过对机器人足球的研究，在国际人工智能研究领域取得了许多新的突 破，同时也加速了我国多智能体机器人的商品化和产业化进程。 表1 1 国内机器人足球的发展 1 9 9 7 年 9 月，东北大学仿真中心正式成立机器人研究室，开始研制足球机器人。东北大学、哈 尔滨工业大学等少数几所学校的师生进行了相关软硬件的研发。 1 9 9 8 年 中国科技大学组建了国内第一支r o b o c u p 仿真足球队。中国科技大学和清华大学将 r o b o c u p 仿真比赛引入中国。 1 9 9 9 年 东北大学的牛牛( n e w n e u ) 队，用自行开发的硬软件系统在巴西举行的第四届机器人 足球世界杯赛( f 1 r a l 9 9 9 ) 上夺得标准动作比赛冠军，实现了中国在机器人足球国际赛 场上金牌零的突破。 2 0 0 0 年 中国科技大学代表队参加r o b o c u p 2 0 0 0 世界杯仿真组比赛，获得第九名。 2 0 0 1 年 6 月，中国自动化学会机器人竞赛工作委员会在北京正式成立，国家8 6 3 计划提供了专 项基金予以资助。 8 月，第五届r o b o c u p 世界杯赛在美国西雅图举行。清华风神队获得仿真组冠军。中国 科技大学蓝鹰队进入仿真组和四腿组八强。 2 0 0 2 年 1 月，中国8 6 3 机器人主题专家组正式将足球机器人系统的研究开发列为8 6 3 项目。 6 月，日本福冈第六届r o b o c u p 世界杯赛，清华大学蝉联仿真组冠军，北京理工大学获 得亚军，中国科技大学进入仿真组和小型组前8 名。 2 0 0 3 年 1 月，中科大蓝鹰队参加了首届澳大利亚机器人足球仿真公开赛( 悉尼) 并获得冠军。 7 月，第七届r o b o c u p 世界杯在意大里帕多瓦结束。在仿真组比赛中，清华大学、北京 第一章0 f 言 理工大学和中国科技大学进入八强，分获二、四、六名。 2 0 0 4 年 6 月，葡萄牙里斯本第八届r o b o c u p 世界杯赛上，清华大学和浙江大学分获仿真组第四 名和第八名。 2 0 0 5 年 在日本大阪举办的第九届r o b o c u p 世界杯赛仿真组比赛中中国科技大学获亚军。 1 1 2r o b o c u p 仿真比赛及其设计难点 r o b o c u p 比赛主要由三个部分组成：机器人足球，机器人搜索与机器人救 援比赛。其中，最重要的赛事为机器人足球赛，它分为实物组和仿真组。实物 组是由真正的机器人上场比赛，包括小型组、中型组和有腿组比赛。而仿真组 是在计算机模拟的仿真比赛环境( s o c c e r s e r v e r ) 下，由程序( c l i e n t ) 控制球员 ( a g e n t ) 比赛。二者的区别在于，仿真比赛屏蔽了硬件机器人在机电，机器视觉 性能等方面的差异，将研究方向集中在多智能体系统的构建和决策方面。下文 将以机器人仿真足球比赛为开发环境展开叙述。 r o b o c u p 仿真比赛提供了一个完全分布式控制，实时异步的多智能体环境， 每个球员都是一个独立的a g e n t 。对于r o b o c u p 球队的研发者而言，根本问题 是设计一个多智能体系统，能够进行实时的反应，表现出目标指导的理性行为。 其开发难点主要体现在以下几个方面： ( 1 ) 动态快速的实时系统。在r o b o c u p 仿真比赛环境中，球员和球的运动 都是实时的，动态变化的。这意味着在下一时刻，环境可能发生不确定的重大 变化，导致原有的决策基础发生变化。仿真比赛的每个仿真周期为1 0 0 m s ，每 个a g e n t 必须在此时间内完成全部计算并将要执行的动作命令发送给仿真服务 器，否则将失去本次动作执行的机会。 ( 2 ) 环境干扰。为了使仿真比赛更加真实，r o b o c u p 仿真服务器在环境中 生成一定的环境噪声，对每个a g e n t 的感知和动作进行干扰。在这种环境下， 一方面a g e n t 不能准确地感知环境，其获的信息往往是不准确的，有的甚至是 错误的；同时，由于其他a g e n t 决策的不可预料性，使得a g e n t 难以对环境的 变化做出精确的预估和计算。另一方面，环境噪声的存在使a g e n t 难以精确地 改变环境。 ( 3 ) 多a g e n t 的合作与协调。一支球队中的存在1 1 个独立的球员a g e n t ， 他们拥有共同的最终目标赢得比赛。因此，需要采用有效的方法控制a g e n t 之间的合作，解决局部目标与全局目标，个体目标与共同目标之间冲突问题。 第一章引言 ( 4 ) 低带宽不可靠的的通信环境。仿真环境下，a g e n t 之间的信息交换是通 过s e r v e r 实现的。每个仿真周期内，只有有限的信息得到传递。在一个仿真周 期内，每个球员( a g e n t ) 必须完成规划、计算和传送信息等任务，否则将失去该 周期的运动机会。由于传感信息的局部性，运动能力的有限性，传感和动作的 噪声干扰，以及球员问通信的不可靠性，使得r o b o c u p 仿真比赛成为一项复杂 而困难的任务，为d a i 和m a s 的研究提供了平台。 以上的介绍都是基于二维平面仿真环境提出的，随着仿真技术的发展，机 器人足球必将走向三维空间的研究。目前，r o b o c u p 联合会已经提供了3 d 空问 的仿真平台并增设了r o b o c u p3 d 仿真比赛项目。这位今后机器人足球的研究提 供了更大的挑战和更广的研究空间。 1 1 3r o b o c u p 仿真组参赛队的技术特点 针对以上开发难点，我们总结并分析国内外r o b o c u p 仿真组中一些优秀球 队的技术特点，从中把握当前r o b o c u p 研究领域的发展动态和发展趋势。 ( 1 ) c m u n i t e d c m u n i t e d 是美国卡内基梅隆大学的球队，它是r 0 b o c u p 9 8 和r o b o c u p 9 9 仿 真组的世界冠军。该队主要使用分层结构和层学习算法。1 设计智能体的顶层决 策和基本动作。1 ，使智能体学会为了共同的目标而合作。 ( 2 )f cp o r t u g a l f cp o r t u g a l 是葡萄牙波尔图大学的球队，它是r o b o c u p 2 0 0 0 仿真组的世 界冠军。该队的主要进行球队技术细节的研究“1 。它采用了柔性的球队策略， 包括实时变换的战术阵型和异构球员的使用，动态站位和角色变换( d p r e ) ：基 于队友模型和世界状态的智能通信交流( a d v c o m ) 等。 ( 3 )t s i n g h u a e o l u s t s i n 曲u a e o l u s 是我国清华大学的球队，它是r o b o c u p2 0 0 1 和r o b o c u p2 0 0 2 仿真组的世界冠军。球队注重球员学习算法的研究。底层运用多层前馈神经元 网络学习a g e n t 个人技术。高层用优先级方法设计的顶层决策算法，实现了多 智能体的合作与对抗。利用离线学习和对抗性规划相结合的q 学习规划算法“1 ， 使k i c k 的学习效果极佳，并解决了防守中的对抗性问题。 ( 4 )k a r 】s r u h eb r a jn s t o r m e r s 4 第一章引言 k a r l s r u h eb r a i n s t o r m e r s 是德国奥斯纳布吕克大学的球队，它是r 0 b o c u p 2 0 0 4 仿真组亚军，r o b o c u p2 0 0 5 仿真组的世界冠军。该队在复杂领域中开发和 应用了增强学习技术“1 ，用实时动态编程的方法实现了基本命令序列的增强学 习，以减少智能体必需的动作和决策的数目。其研发目标为：开发出一套学习 系统，该系统在给出目标后能通过学习产生合适的行为。 ( 5 ) w r i g h t e a g l e 2 0 0 5 w r i 曲t e a 9 1 e 2 0 0 5 是中国科技大学蓝鹰队，它是r o b o c u p2 0 0 5 仿真组的世 界亚军。该队注重对手建模和战术开发方面的研究，利用a g e n t 团队的强化学 习算法实现整个团队的学习”。 1 1 4 机器人足球赛的研究意义和发展前景 机器人足球赛的研究价值主要体现在以下两方面： 首先，它是一个多智能体系统的典型问题，被誉为是“发展人工智能的第 二个里程碑。 在人工智能的发展道路上曾出现过计算机象棋，并作为博弈的典型问题， 计算机象棋发展了搜索与产生式理论，成为发展人工智能的第一个里程碑。5 0 多年后，i b m 公司的“深蓝”计算机终于打败了国际象棋冠军卡斯帕罗夫。但 是，计算机象棋是单智能体在静态环境下，以非实时方式进行的知识处理问题。 现实应用中，更需要的是分散存在的多智能体在复杂动态环境下，通过相互通 信和协调，以实时方式进行的知识处理问题，即多智能体系统。机器人足球比 赛将研究对象从单智能体发展到分布式多智能体，将研究环境从静态环境发展 到动态环境，将非实时知识处理发展到实时处理。可以说，机器人足球比赛是 继计算机象棋后出现的发展人工智能的第二个里程碑，将人工智能技术发展到 新的境界”1 。 其次，机器人足球系统集成了机器视觉、传感器融合、智能控制技术、仿 真技术、计算机软硬件集成技术、人工生命学技术、人一机接口技术等关键技 术。这些技术对我国产业的现代化建设及对传统产业的技术改造具有非常重要 的实际意义。在军事上，可以应用于各种智能化武器( 如地面机器人部队、智 能化坦克部队等) 和分布作战指挥决策系统( 如携带式作战决策系统、分布式 虚拟战场等) ：在民用上应用于各种企业决策系统( 如分布式集团生产决策支援 第一章引言 系统等) 和分布式智能通信网络系统( 如通信网络的设计、维护、经营决策系 统等) 。 第三节r o b o c u p 仿真比赛与多智能体系统 1 2 1 多智能体系统的关键技术 r o b o c u p 仿真赛是多智能体技术的标准开发和应用平台，对于r o b o c u p 球 队的研发者而言，根本问题是设计一个多智能体系统，能够进行实时的反应， 表现出目标指导的理性行为。因此，我们有必要对多智能体技术的发展做一个 的概述。 根据西蒙的有限理性( b o u n dr a t i o n a t y ) 理论：个体的知识、能力是有 限的，通过适当的体系结构将个体组织成群体，不仅能弥补个体的不足，而且 能使群体的能力超过单个个体能力的总和。这样的群体称为多智能体系统 ( m u l t i - a g e n ts y s t e m ，简称m a s ) 。m a s 是多个具有一定程度自主性的a g e n t 的有机组合，多个a g e n t 通过合作、协调、实时方式在复杂的动态环境下处理 问题，完成共同的任务，达到预期的目标。理论上，m a s 具有四个主要的特性： ( 1 ) 环境的动态不确定性； ( 2 ) 决策和行为的实时性； ( 3 ) 决策的全局最优性； ( 4 ) 既定目标的多重制约性 因此，研究m a s 要解决以下几个关键技术： ( 1 ) 构造一个a g e n t ，使之具有独立自治的能力，成功的执行我们交给 它的任务，即a g e n t 的设计问题； ( 2 ) 建立合适的m a s 体系结构，实现多a g e n t 的协调和合作： ( 3 ) 为a g e n t 所在环境建立并维护一个实时的世界模型； ( 4 ) 为a g e n t 建立一种可靠的实时通信机制，包括a g e n t 与环境的通信 和a g e n t 之问的通信； ( 5 ) 在动态环境中各a g e n t 知识库系统结构和学习机制。 1 2 2 多智能体系统的研究和应用 6 第一章引言 多智能体系统的特点和关键技术代表了一种分析、设计和实现大型、复杂 系统的方法和途径，提供了很好的机会来处理由于工业和商业正在向更加模块 化、分布和开放系统的发展趋势而引起的一系列的新类型应用。因此，多智能 体系统的研究和开发有重要的理论和现实价值。 目前，多智能体技术正在蓬勃发展之中，其主要应用领域有：制造业、过 程控制、远程通讯系统、交通控制和运输管理、电子商务、商业过程管理、娱 乐业和医疗看护等。其中，在工业中的应用是首先被开发的，并已经获得良好 的经济和社会效益。在国际上，代表性的研究工作有“： ( 1 ) p a r u n a k 在1 9 8 7 年提出应用合同网协议的制造系统： ( 2 ) f p e r r i o l a t 等在1 9 9 6 年将建立多智能体系统的软件平台a r c h o n 应用到过程控制系统中； ( 3 ) l i u n b e r g 和l u c a s 在1 9 9 2 年开发了一种复杂的多智能体实现的空中 交通控制系统； ( 4 ) b ，b u r m e i s t e r 等于1 9 9 7 年开发了基于多智能体的交通和运输管理系 统： ( 5 ) r ，w e i h m a y e r 等在1 9 9 8 年概括了远程通讯中多智能体技术的应用； ( 6 ) 德国k a r l s r u h e 卡尔斯鲁厄大学i p r 研究所开发了自主移动机器人 ( k a m r 0 ) 的多智能体机器人系统体系结构k a 姒r a ： ( 7 ) 从1 9 9 6 年开始的机器人世界杯足球赛典型地应用了多智能体技术来 构造多机器人系统。代表球队有：美国c 删大学的c m u n i t e d 球队、德国汉堡 大学队、及日本、韩国、荷兰等国的球队。 1 2 3 基于多智麓体技术的r o b o c u p 仿真系统的开发 上文介绍了多智能体系统的关键技术及其广泛应用，在r o b o c u p 仿真比赛 中，m a s 技术的应用主要体现在以下几个方面： ( 1 ) a g e n t 的体系结构的设计 a g e n t 的体系结构是m a s 理论的一个重要组成部分。从微观角度考虑，a g e n t 体系结构是研究船e n t 内部构成模块的结构问题。从宏观角度考虑，a g e n t 体 系结构就是要建立m a s 相关工作的行为层次，各层次相互协调以控制a g e n t 的 行为。典型的a g e n t 体系结构有三种：从微观角度提出的慎思式结构( 也称为 第一章引言 认知式结构) ，从宏观角度提出的反应式结构，以及二者的结合体混合式结 构。 在机器人足球领域，a g e n t 是具有理解力( p e r c e p t i o n s ) ，目标( g o a l ) ， 认知能力( c o g n i t i o n ) ，动作( a c t i o n ) ，领域知识( d o m a i nk n o w l e d g e ) ，情 景性( s i t u a t e d n e s s ) 的实体。1 。因此，我们要为球员选择一种合适的a g 鲫t 体系结构框架，使a g e n t 能具备以上能力。 ( 2 ) a g e n t 的行为与m a s 的合作 h i a s 是由多个a g e n t 组成的，这要求a g e n t 既要具备个体行为能力，还要 有团队合作意识。合作能力是a g e n t 社会性的体现。如何采用高效智能的协调 合作方式使1 1 个球员真正成为一个团队，表现为一个统一和谐的整体，是 r o b o c u p 领域的一个关键性问题。因此，m a s 的协调与合作成为研究的重点。研 究m a s 的协调与合作包括两个方面的问题： 姒s 的合作。表现为多个a g e n t 共同努力完成一个目标。例如，在足球 赛中，要实现传球射门的动作，就需要两个或两个以上球员的配合。 m a s 的协调。表现为多个a g e n t 之间的竞争。由于每个a g e n t 是独立的， 其认知是局部的，因此，每个a g e n t 对于环境的认知和情势的判断是 有差异的，在同一环境中，往往会产生互斥的竞争性行为。如何协调 多个a g e n t 之间的关系，使他们能从团队的角度思考，化竞争为合作， 这就是m a s 的协调问题，即通过一定的机制让a g e n t 实现全局最优， 放弃局部最优。 ( 3 ) m a s 的学习 学习能力是a g e n t 的自主性和智能性的体现。因此，对于m a s 学习算法的 研究成为近年来r o b o c u p 领域研究的热点。众多学者和研究人员尝试将神经网 络，强化学习，决策树等智能控制算法应用到r o b o c u p 环境中。同时，在r o b o c u p 中学习算法的研究也推动了m a s 领域中a g e n t 智能学习算法的进步和发展。 第三节本文的主要工作 机器人足球决策系统代表了一类具有实时智能的，动态分布式的决策系统。 本文研究并解决了基于m a s 的机器人足球系统的几个关键问题。在设计和程序 开发过程中，我们着重于系统框架的构建和底层平台的实现，包括智能体体系 第一章引言 结构的构建，多智能体通信模型的建立，智能体世界模型的建立和维护，底层 动作的实现和改进以及一个可扩展的高层决策系统。 本文的内容组织如下： 第一章概述了r o b o c u p 的起源和发展，结合m a s 技术提出了开发r o b o c u p 仿真足球队需要解决的关键问题。 第二章概要介绍了r 0 b o c u p 仿真平台比赛环境，为后续章节中具体模型的 设计和算法实现提供了平台基础。 第三章设计并实现了r o b o c u p 仿真环境下一种混合式的a g e n t 的体系结构。 在结构设计中，我们兼顾设计的实用性和开发的简易性，将体系结构分成三个 层次，五个模块。并在后续章节详细描述了各个层次各个模块的开发方法。 第四章基于r o b o c u p 仿真比赛的特点分模块实现了上一章设计的a g e n t 体 系结构，在体系结构的开发过程中，我们采用了柔性外部窗方法实现了a g e n t 与s e r v e r 的同步通信，最大范围应用可得传感信息建立并维护了一个完整的世 界模型，并在此基础上进行决策系统的开发。为了检验决策系统的可用性，我 们实现了一种可扩展的团队策略，在团队策略中，成功的应用了s b s p 策略站位 机制并完成了异构球员的分配。在实现底层动作时，着重介绍了一种改进的守 门员防守算法。最后通过试验和对抗赛的形式证明了我们的设计和决策系统的 可行性和优异性。 第六章对全文的工作做了全面的总结，并对今后的研究工作提出了建议。 9 第二章r o b 0 c u p 仿真比赛环境 第二章r o b o c u p 仿真比赛环境 第一节r o b o c u p 仿真平台控制结构 r o b o c u p 仿真比赛是在一个标准的计算机环境内，以c l ie n t s e r v e r 方式 进行的，其比赛规则与国际足球联合会的比赛规则基本一致。 仿真服务器( s e r v e r ) 提供了一个虚拟场地，并对比赛双方的全部球员和 足球的运动进行二维平面上的仿真。客户端( c l i e n t ) ，相当于球员的大脑，指 挥球员的运动。s e r v e r 和c l i e n t 间通过u d p i p 协议进行通信。r o b o c u p 国际 委员会提供标准的s o c c e r s e r v e r 系统，各参赛队编写各自的c l i e n t 程序，模 拟实际足球球员参加比赛。 s e r v e r 端仿真环境由两部分组成：仿真比赛监视器r c s s m o n i t o r 和仿真比 赛服务器r c s s s e r v e r 。其中，r c s s m o n i t o r 负责利用w i n d o w s 系统显示虚拟场 地；而r c s s s e r v e r 负责仿真足球和球员的状态、与c l j e n t 进行通信、按照一 定的规则控制比赛的进程( 包括自动裁判功能) 等，如图2 1 所示。 图2 1 仿真服务器( s e r v e r ) 结构图 c l i e n t 与s e r v e r 间通过u d p i p 协议进行信息交互。c l i e n t 发送命令控制 相应的球员运动，同时从s e r v e r 端接收球员的传感信息。每个c l i e n t 模块只 1 0 第二章r o b o c u d 仿真比赛环境 允许控制一名球员，故每支队伍必须同时运行1 1 个c l i e n t 程序。c 1 i e n t 之间 的通讯必须通过s o c c e r s e r v e r 来进行，每个仿真周期，s e r v e r 会从全部c l i e n t 读取下个周期要执行的命令，同时，在一定的周期内向每个球员发送感知信息。 第二节仿真平台运行机制 在r o b o c u p 二维仿真环境中，比赛场地大小为1 0 5 ( m ) 6 8 ( m ) ( 单位是 没有意义的) ，球门宽度为1 4 6 4 ( m ) ，是人类足球场中球门宽度的两倍。球员 和球都使用圆圈来表示。 仿真平台通过离散的动作模型模拟连续实时的比赛环境，离散模型中，以 1 0 0 m s 为一个仿真周期。比赛分上下半场，每半场比赛时间为3 0 0 0 个仿真周期 ( 5 分钟) ，中场休息5 分钟。在每个仿真周期结束前，r c s s s e r v e r 接收所有 c l i e n t 的命令并执行，同时结合当前场上对象( 球员和球) 的位置和速度信息更 新全部对象新的位置和速度信息。 2 2 1 对象的运动模型 每个仿真周期，对象的移动按如下公式进行计算“： ( “? ，“，。) = ( v ：，v ：) + ( 口：，口：) ：爿c c e 伽 p ( 2 1 ) ( p ? 1 ，p ) = ( p ：，p ：) + ( 甜，1 ，“) ：肋y 日 ( 2 2 ) ( v 二+ 1 ，v 1 ) = d o c c 吵( “二+ ，“，1 ) ：口e c a j ，s p e e d ( 2 3 ) ( 口，口：_ ) = ( 0 ，0 ) ： 胎s e 招c c p e 馏j d 门( 2 4 ) 其中，( ，p ：) 和( t ，v ：) 分别表示t 时刻物体的位置和速度。仍c 缈是 一个衰减参数，分别由球的衰减参数( 6 a ，诎c ) 和球员的衰减参数 ( 缈盯幽c 缈) 控制。( 口：，口：) 表示对象的加速度，可以通过球员奔跑命令 ( 出曲) 和踢球命令( 盯础) 的能量参数( 尸d 孵r ) 计算得到： ( 口：，口：) = 砌肥r ( c o s ) ，s i n ) ) ( 2 5 ) 其中口7 表示对象在f 时刻的前进方向。如果对象为球员，他的方向通过由 下式计算： 口= 目+ 如f 口耐( 2 6 ) 肋m t 是t 啪命令的参数。对于足球，其方向的计算方法是： 第二章r o b o c u p 仿真比赛环境 8 0 i = 8 ：。b + d i r e c t i o n t 2 1 ) 其中铹“和毹m 。表示球和踢球球员当前的方向，而历僧c f ，伽是盯幽命 令中第二个参数。 为了反映出实际比赛中球以及球员运动的不确定性，r c s s s e r v e r 在球与球 员的移动及命令的参数中加入了干扰。干扰是以如下方式加入的： ( ? 1 ，“罗1 ) 2 ( t ，v ；) + ( a ：，口：) + ( 巧。，i 。) ( 2 8 ) 茸一为属于 一m a ) 【，m a ) 【】的随机数。 t 啪命令中肋w 盯参数的干扰加入方式为： 坳m 册，= ( 1 + 耳“) 胁m p 耐 ( 2 9 ) 2 2 2 球员的动作命令 r o b o c u p 仿真平台为球员提供了若干基本动作( 基本动作指的是能够被仿 真平台直接执行的命令) ，这些基本动作可以被分成两类：一类是球员运动命令； 另一类是球员通信感知命令。 球员运动命令包括：移动命令( m o v e ) ，转身命令( t u r n ) ，转颈命令 ( t u r n n e c k ) ，加速奔跑命令( d a s h ) ，踢球命令( k i c k ) 和抓球命令( c a t c h ) 。 这些命令控制了球员的运动，它们是互斥的，即在一个仿真周期内，球员只能 选择其中一条动作命令执行。其中，c a t c h 是守门员的特有行为。 球员通信感知命令包括：改变视觉范围命令( c h a n g e v i e w ) ，说命令( s a y ) 和获得自身感知信息命令( s e n s e b o d y ) 。这些命令主要用于球员对环境( 包括 自身) 的感知及球员问的通信交流。 在执行基本动作时，每个球员都有自己的体力值( s a 耐胎) 。球员的运动 强度不同，体力消耗不同。r c s s s e r v e r 通过限制球员的体力来阻止球员始终以 最大速度跑动。命令函数的定义和参数设置可参见附表1 。 2 2 3 球员的感知信息 球员可以从s e r v e r 接收三种不同的感知信息：听觉、视觉和身体状态信息。 本节描述感知信息的特征。 2 2 3 1 听觉信息 第二章r o b o c u p 仿真比赛环境 球员的听觉信息来自三方面，一是来自裁判的信息，具有最高的优先级， 可以立即被全部球员无误接收；二是来自教练的指示：三是球员之间的通讯交 流。 当某人“说”信息( s 每，舱s 跚p ) 时，附近的其他球员包括对方球员可以 立即听到信息，没有延迟。他们以( 五e 丑r “腮历僧c j 册舱s s a 伊) 的形式听 到信息。 球员的通讯能力受限，他只能听到一定距离( 5 0 m ) 之内的声音，且每个仿 真周期内只能听到分别来自两支个队伍的最多一条信息。也就是说，当一个球 员身边有多个本方和对方球员发出“信息”时，他只能随机的接收到来自本方 和对方的各一条信息，而丢失了其他的信息。因此，球员之间的通讯能力被作 了极大的限制，模拟了低带宽双通道的信息传递方式。 2 2 3 2 视觉信息 1 视觉信息格式 从s e r v e r 得到的视觉信息按如下格式： ts e et j m e0 b j h f 0o b j i n f o ) 死册指示当前仿真周期。 蚴，d 表示了可视对象的信息。需要注意的是：可视对象的位置和速度 值都是相对观察者当前仿真周期的位置和速度的， 2 视觉范围 球员的视力范围是受限的，球员可以看见下列范围内的目标： 视野宽度：正常模式为 一4 5 ，4 5 ，宽模式为 一9 0 ，9 0 ，窄模式为 一2 2 5 ， 2 2 5 。 邻域：距离自己3 米之内。当某个对象在球员的邻域内但在视野外时，球 员只能知道对象的类型( 球，其他球员，球门或标志) ，不知道对象的准确名字。 因此，在观察远处目标时，其视觉信息具有不确定性。不确定性的引入是通过 量化公式实现的，参见s e r v e rm a n u a l “。 3 观察模式和观察频率 第二章r o b o c u p 仿真比赛环境 观察模式决定了观察频率和从s e r v e r 所接受视觉信息的细节。观察模式的 包含两令参数：a l t i d 列和q 凇l 1 7 y 。a l t w j d 删为们d e ( = 1 鼬) 、订o r m a i ( = 9 0 ) 和月a r ，o ( 4 5 ) 之一。删”为舡动或d 。当0 蜊，设置为妇j 的 时，s e r v e r 为观察者发送详细的目标位置信息。当删，懒置为o 时，s e r v e r 为观察者发送简化的目标信息( 只有目标的方向) 。 另一方面，s e r v e r 为球员发送视觉信息的频率随着月眦t 脚硝和伽 而变化。缺省时间间隔为1 5 0 毫秒(