（控制理论与控制工程专业论文）机器人足球系统的策略研究.pdf

摘要 复杂实时环境下，多智能体系统要求作为整体一部分的自治镏能体存效的合作。 本文研究鹣多智熊体系统罴由1 1 个秘治智麓谇组成酌祝器入仿真怒球酞。它的王作环 境是s o c c e rs e r v e r ，允许自治的智能体球队之间进行足球比赛。s o c c e rs e r v e r 提供了 令分布式懿、惫含壤声盈台孛# 每j l 雩抗并存鹣实辩多餐麓棒环境，球麸戒受必须会作才 能达到赢得比赛的共同的目标。仿舆比赛模拟了许多真实世界的复杂性，如对象运动 熬嗓声，传懑器窝绥号戆臻声，蠢藩懿钵簸窝受蔽靛逶藩簿。本文豹薅多智藐髂镶域 的主骤工作包括智能体的体系结构、多智能体团队合作、个人技术、得分策略和球队 兹策蜷。 荫先，论文定义了智能体的体系结构，允许智能体将任务空间分解成炙活的角色， 执行幼傺过程中能浚畅的转换角色。它定义了蟹能佐翡焦毯、黪敬熬终黧、窝羲宠援 划好的多智能体策略。其次，按照智能程度由低到高的顺序，论述了从动作层到决策 层的灾现方法，包括枫器人的整体缝构，个人技零浆实现，褥分羧路以及运鼹优宠级 方法设计机器入的顶层决策算法来实现多个机器入的合作与对抗。论文述在总结课题 研究工作的基础上对下一步的工作做了展望。 羧后，本文还有机器入足球的简单介缁以及对先前的研究人员在机器人仿真领域 所做的工作的调查。同时它还提供了一个实体框架，为仿真机器人足球镁域将来的研 究工佟订下了萋磴。 关键蠲：r o b o c u p 祝器入廷球舞麓藩体系结构鏊敬龠作结构个人渤作决策 a b s t r a c t m u l t i a g e n ts y s t e m s i n c o m p l e x ，r e a l t i m e d o m a i n s r e q u i r ea g e n t s t o c o o p e r a t e e f f e c t i v e l yb o t ha u t o n o m o u s l ya n da sp a r to f at e a m t h i sd i s s e r t a t i o ni sa b o u tm u l t i a g e n t s v s t e m sc a l l e dar o b o t i cs o c c e rs i m u l a t i o nt e a mc o n s i s t i n go f e l e v e na u t o n o m o u sa g e n t s i t o p e r a t e si nap h y s i c a ls o c c e rs i m u l a t i o ns y s t e m c a l l e ds o c c e rs e r v e r ，w h i c he n a b l e st e a m s o fa u t o n o m o u sa g e n t st op l a y ag a m eo fs o c c e ra g a i n s te a c ho t h e r t h es o c c e rs e r v e r p r o v i d e s af u l l yd i s t r i b u t e dr e a l - t i m em u l t i a g e n te n v i r o n m e n tw i t hn o i s e ，c o l l a b o r a t i o n a n da d v e r s a r i a l ，i nw h i c ht e a m m a t e sh a v et oc o o p e r a t et oa c h i e v et h e i rc o m m o ng o a lo f w i n n i n gt h eg a m e t h es i m u l a t i o nm o d e l sm a n yr e a l 。w o r l dc o m p l e x i t i e ss u c ha s n o i s ei n o b j e c tm o v e m e n t ，n o i s ys e n s o r s a n da c t u a t o r s ，l i m i t e d p h y s i c a l a b i l i t i e sa n dr e s t r i c t e d c o m m u n i c a t i o n t h em a i nc o n t r i b u t i o n so ft h i st h e s i st ot h ef i e l do fm u l t i - a g e n ts y s t e m i n c l u d ea g e n ta r c h i t e c t u r e ，m u l t i - a g e n tt e a m w o r k ，i n d i v i d u a ls k i l l s ，as c o r i n gp o l i c yf o r s i m u l a t e ds o c c e ra g e n t sa n da ne f f e c t i v et e q ms t r a t e g y f i r s to f a l l ，t h et h e s i sd e f i n e st h ea g e n ta r c h i t e c t u r eo fat e a mm e m b e rw i t h i nw h i c ha f l e x i b l et e a ms t r u c t u r ei s p r e s e n t e d ，a l l o w i n ga g e n t st od e c o m p o s et h et a s ks p a c ei n t o f l e x i b l er o l e sa n da l l o w i n gt h e mt o s m o o t h l ys w i t c hr o l e sw h i l ea c t i n g i td e f i n e sa g e n t r o l e s ，t e a mf o r m a t i o n s ，a n dp r e c o m p i l e d m u l t i a g e n tp l a n s s e c o n d l y , a m e t h o di s p r e s e f i t e df o rc o n s t r u c t i n gi n d i 、i d u a l s k i l ll a y msa n dd e c i s i o n - m a k i n gl a y e r sa c c o r d i n gt o i n t e l l i g e n tl e v e l s t h e r e s e a r c hw o r ki n c l u d e st h es t r u c t u r a l d e s i g no ft h e 1o b o t s ，t h e i m p l e m e n t a t i o no fi n d i v i d u a ls k i l l s ，as c o r i n gp o l i c yf o rs i m u l a t e ds o c c e ra g e n t sa n dt h e a p p l i c a t i o no fp r i o r i t ya l g o r i t h m st oa c h i e v ec o o p e r a t i o na n dc o m p e t i t i o na m o n gr o b o t s w h a t sm o r e ，t h et h e s i sm a k e sp r o s p e c t sf o rt h ew o r kt h a ts h o u l db ed o n en e x ts t e pb a s e d o nt h es u m m a r yo ft h er e s e a r c h f i n a l l y ，t h et h e s i sa l s oc o n t a i n sab r i e fi n t r o d u c t i o nt or o b o t i cs o c c e ri ng e n e r a la sw e l l a sas u r v e yo f p r i o rr e s e a r c hi ns o c c e rs i m u l a t i o n a ss u c hi tp r o v i d e sas o l i df r a m e w o r k ， w h i c hc a ns e r v ea sab a s i sf o rf u t u r er e s e a r c hi nt h ef i e l do fs i m u l a t e dr o b o t i cs o c c e r k e yw o r d s ：r o b o c u p r o b o t i cs o c c e r a g e n ta r c h i t e c t u r e t e a m w o r ki n d i v i d u a ls k i l l s d e c i s i o n - m a k i n g 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：扭墨厶星鎏丞统的筮曼生婴壅 学位论文作者签名：壁量 日期：j 。d 二年j f 月l j - 日 学位论文版权使用授权书 农人完令r 船陌防科学技术大学有关保留、使用举位论，筻的规定， 人接收 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：垫墨厶屋墼丕缠鳗筮堕堑笼 学位论文作者签名：基墨日期：h 吐年t 1 月，r 日 作者指导教师签名：二岛娶一 日期：1 呓年，月，j 一日 = ；：垡垒兰垒叁彗塑垡垒鳖塑塑坌二：一 第一章绪论 j 珏年来，有关多智能系统( m a s ) 与分布式人工智能( d a d 的研究，已经成为 夫工爨能领域麴重娶疆突方两之一。多餐熬钵系绞毅久类章会为参考嚣拣，重熹骚究 集体的智能行为t 1 , 2 1 。多智能体系统鼹由多个a g e n t 撼于一定的协调机制组成的自组织 系统，要鳃决黪闻题藏是分数存在黪多智麓钵在复杂动态至= l ：境下，透过稳霆逶售鞫游 调，以实时方式进行的知识处理问题。因此，多智能体系统是发展人工智能的一个新 的突破，它将过去封闭和孤立的知谈系统发展为开放、分露鲍知识系统。 机器入避球世界杯( r o b o c u p ) 是国际上一项为促进分布式人工智能、智能机器 人技术及其技术领域的研究与发展箍举行的大型比赛和学术活动。传为人工饕能蠲规 器入学的一个研究课题，r o b o c u p 鼹以m a s 和d a i 为主要研究背景的，其主要髓的 就是通过提供一个标准的、易于评价的比赛平台，检验各种锪能枧器人技术，促进d a i 与m a s 翁磷究与笈袋。本鼙1 1 节蓠先贪缁了耦，嚣入是球的起源鞠概况，1 。2 节讨论 了机嚣人足球研究的意义，1 节是对国内岁卜r o b o c t i p 研究现状的调查总结，1 4 节指 出了我髓研究税器入楚球翡鞫标，最后一节介绣了本论文豹定要工作。 1 1 规嚣人足球的起源与概凝 机器人足球的最初想法，首先魁由加拿大不列颊哥伦比砸大学的a l a nm a c k w o r t h 教授在i 9 9 2 年静论文6 酶s e e i n gr o b o t s 捧j 串捷国的，认为机器入足球耽赛是徽好 的机器人和a i 研究的实验平台。 霹本学者立聱霹这怒法进行了系统静调研帮w 手亍经分析。1 9 9 2 年l o 月，在日 本东京举行的关于人工智能领域重大挑战的研讨会中，与会的研究人员对制造和训练 凝器入避孬足球魄赛戳健进榻关领域磷究逶行了探| 孪。1 9 9 3 年，m i n o r ua s a d a ( 浅孵 埝) 、h i r o a k ik i t a n o ( 北野宏明) 和y a s u o k u n i y o s h i 等著名学者创办了r o b o c u p 机器 人足球擞暴楞赛，著残立了豢爨上裁模最大戆、占童导圭| 鏊鬣豹撬器入是球鬻舔缀绥一 国际r o b o c u p 联合会。1 9 9 7 年，在国际最权威的人正智能系列学术大会一第1 5 届园 际人工锷能联会大会 t h e1 5 t h i n t e r n a t i o n a l l o i n t c o n f e f e n c e o n a r t i f i c i a l i n t e l l i g e n c e ， 简称i j c a i 9 7 ) 上，机器人足球被正式列为人工智能的项挑战。至此，机器人足球 成为人王智能葶n 机器入学新的标准超题。 r o b o c u p 机器人怒球世界杯赛及紫术大会( t h er o b o tw o r l dc u ps o c c e rg a m e sa n d c o n f e r e n c e s ) 怒国际上级别最高、规模最大、影响最广泛鸵援器人越球赛事秘学术会 议，氇怒智慧梳器人镁域最羹簧的一次国际盛会，每年举办次。机器人足球的最终 目标是：到2 1 世纪中叶，一支完全自象的机器人足球队在遵德国际足联正式援则豹姥 赛孛，跤涟久类毽赛裁军麸h l 。 纂1 夏 1 2 机器入足球研究的意义 过去5 0 年中人工智能研究的主要问题是“单主体静态可预测环境中的问题求解”， 萁标穗麓题怒国际象筷久一搬对撬赛， 睾为褥雾静莛型淘嚣，在入工謦巍领域发瀑了 搜索国产生式理论，成为发展人工智能的第一个里程碑；采来5 0 年中，人工智能的主 要翊麓是“多圭俸动态不可羧测巧臻中戆弱题求簿”，其稼滚阕题怒是蘧豹橇辗鼹撬 赛和人一机对抗赛。作为人工智能的标准问题，机器人足球赛与国际象棋人机对抗赛 所体现基鲍磅究蜚景区烈摇袭1 1 联示。 c o m p u t e r c h e s sr o b o t i es o c c e r e n v i r o n m e n ts t a t i c d y n a m i c s t a t ec h a n g e t u r n t a k i n g r e a l t i m e i n f o r m a t i o na c c e s s i b i l l 移 c o m p l e t ei n c o m p l e t e s e n s o rr e a d i n g s s y m b o l i cn o n s y m b o l i c c o n t r o lc e n t r a ld i s t r i b u t e d 表1 1 国际机器人象棋对抗赛和机器人足球研究背景特征的区别州 以上几方蕊的差别使得每个足球机器人必矮是一个能照主行动晨与队发会佟熬丞 主体，丽一支球队则是个内部协调的多主体系统。相反，国际象棋赛中，“深蓝”本 质上只是一个耱在几分钟内分析6 0 0 亿个棋扇的搜索程序。 枫器入鼹球比赛中不但包含着多智能体系统要研究的全部内容，而且萁中包岔的 动态环境与实时性要求比一般系统熨为苛刻： 蓠先，辊器入足球眈赛慧一群瓤器入对翳一群税器入对抗的分布式多机器入系统， 其中每个机器人是具有决策能力的糊能体。在比赛过程中，每个球队不但能发挥个人 技术，露量遥缝通遘合作策潦发挥集体力爨。 其次，在比赛场地上各球队机器人到处奔跑，双方的形势和阵馨是时时刻刻变化 熬。 第三，机器人球队双方必须实时的了解戏方和对方阵营布局的幼态变化，并根据 这一动态变纯实瓣遗瓣垒瑶遴玫或鼹郝遘攻残跨守等| 曩题遂褥决策。 第四，为执行这个决策，各智能体之间必须通过通信来甄相沟通和协调。 髫她，飒器人足球毙赛戏为磅变多警黪俸系统瓣典型瓣蘧，还成爻捡验对抗双方 多智能体协调策略( 决策专家系统) 优劣程度的标准试验平台。机器人足球比赛将研 究环壤从静态环境发腥到动态环壤，劳虽憋黪实时翘识处毽发展到实时处壤，它将人 工智能技术发餍到新的境界，是发展人工智能的第= 个里程碑。 1 3 满内磐研究现状 农枧器人仿真足球酞毂嚣发孛，霹翦参趣r o b o c u p 比赛戆球敬摆实残了令久技零 和多a g e n t 之间的合作技术，近年来迅速发餍的先进智能算法被充分利用，并取得丁 。：竖垒姜墼望婆墼垒篓鏊筌鐾奎一 很好的效果。k o s t a sk o s t i a d i s 8 利建再嫩学习方法实现7 多枫器入系统中盎冬佥终行为。 e n d ok a z u a k ie ta 1 渤运用遗传算法来优化系统的参数。r o b o c u p 仿真组研究重点是 多个键能体( m u l t i a g e n t ) 竞争与念作的关系。设计r o b o c u p 仿冀比赛程序面临的主 要难点在于： 在连续空间作连续的决策； 多个耱麓俸的存在给狭态空闻带来维数灾赡； 环境的反馈嫩迟太大； 繇壤獒有强实对往霸秘态甓； 环境通讯带很窄； 嚣境蠢嗓声； 环境凝有部分可观性； 强壤不其毒骂尔可夫涟。 前三点使得直接利用从环境中的得到的信息和反馈进行决策几乎不可能实现。曾 经有球队直接利用遗传算法( g e n e t i ca l g o r i t h m ) 训练嚣驮，效栗劳不好。巨大戆状 态空间和长越时的反馈特性使得r o b o c u p 的研究糟纷纷转向分层的决策结构。p e t e r s t o n e 在他的媾论文( ( l a y e r e dl e a r n i n gi nm u l t i - a g e n ts y s t e m ) ) f 6 l 恕屡学澍鲢方法运 用子r o b o c u p 的研究当中，使用层学习技术来设计机器入爵臼基本动作和顶层决策。他 把决策分成底层技术层和顶艨决策艨，在不同的层次采用不同的方法决策，上层决策 构筑在下层决策基础之上。其实，艨学习的概念非常的简单，当整个复杂的决策任务 被分屡，分到每个层次的决策任务都变成简单可 亍了。 汉堡大学采雳c a s e b a s e 的愚戆研究r o b o c u p 。其主要想法蔻稠用定义各种典型 的场景，根攒当前场景和典型场景的匹配度来进行决策。可以设想，这种方法无法克 裰获态空润善丈静溺题，两藏穰难羰褥主环辘蔻动态往豹要求。 卡尔斯鲁厄大学 1 9 1 以再励学习( r e i n f o r c e m e n tl e a r n i n g ) 为他们的主要研究方向。 链餐熬梦想楚篷够徽裂纹寝错话餐缝髂去完成送球翡任务，磊餐麓体能够螽主熬遴过 和环境的交互，学习各种技能甚至是策略。褥励学习在r o b o c u p 遇到的最大的两个挑 战是：一、再疑学习最裙是以褰教空耀为求煞空趣竣诗豹，瓣r o b o c u p 繇境爰连续戆； 二、r o b o c u p 中的再励信号题迟太长，因为只有进球才是最本质的再励信号。从思维 的层次上说，褥融学习模仿熬更多静是久较必低级鹣蟹戆失，窀缀难表魏懿箍蘧这 类人类思维中较高级、较抽象的行为。 葡麓牙的照兹本大学队怒2 0 0 0 冬r o b o c u p 仿冀缀的嚣攀l 碍】，绝爨熬麦要特轰是 充分和用人类足球的知识和建立准确的世界模型。由于环境具有噪声而且魑部分可观 的，如何充分摹l j 用得剡的信息去推测肖蔚的擞赛模型成了比赛的一个关键簌在。 清华大学的r o b o c u p 小缀设计了层结构作为机器人的系统结构 2 4 1 ，使用神经元网 络实现全队的熬本队形，然后按照智能水平从低到高的顺序，建立爨个机器人足球毖 赛系统，并在实际院赛中取褥缀好豹效果，饿们酌t s i n g h u a e l o u s 队连续获褥了2 0 0 1 、 第3 囊 2 0 0 2 年r o b o c u p 仿真组的冠军。 1 4 研究的主要目标 机器人足球仿真比赛包括两个竞争的球队，每个队都包含1 1 个智能体，为了赢得 比赛，他们必须合作完成一个共同的目标。其中一个子目标是球队通过得分达到其最 终目标，每个智能体必须考虑局部和全局的情况，快速行动、灵活的合作。这就意味 着，对于每个智能体来说尽管感知和动作都是局部的，但是他们是合作规划中的一部 分，对于整个球队而言，信息是共享的。且两个竞争球队的目标是相互矛盾的，不可 调和，对方球队可以看成一个动态的、起阻碍作用的环境，从而干扰球队达到共同的 目标。这使得在这个领域内合作和对抗同时存在【6 】。足球机器人另一个特征是其高度 的动态性，需要依赖动态变化的环境，实时的决策，快速的反应和行动才能成功。而 且，由于传感器和信号的干扰，智能体不能精确的感知和世界状态；同时他们的感知 也是有限的，所以大部分的状态空间因观察不到，其状态也是未知的。 仿真比赛的环境r o b o c u ps o c c e rs e r v e r 模拟了许多真实世界的复杂性如对象运 动的干扰，感知和信号的噪声，有限的体能和受限制的通信。智能体必须实时的反应 事件做出决策。任何时候，他们只能看清楚局部环境，状态空间中的大部分对于他们 来说都是未知的。除此之外，仿真比赛中的感知周期和动作周期不是同步的，这就不 可能依赖传统的a i 中根据感知获得动作的方法。智能体对于环境状态的改变也只能得 到有限的信息，队员和对手执行的动作也可能是未知的【怕1 。由于足球机器人的状态空 间巨大，使得我们在编写c l i e n t 程序时不能将所有的状态和全部智能体的行为都加以考 虑，因此智能体必须学习使用一定的策略战胜对手。从这方面而言，仿真机器人对于 多智能体领域的发展具有广阔的发展前景。 机器人足球队为了能完成实际的比赛任务，需要结合多种技术，具体地，建立机 器人足球队需要解决如下一系列问题： ( 1 ) 设计机器人智能体的系统结构； ( 2 ) 建立智能体的世界模型，包括模型表示，感知对象，估计状态，对状态进行合 理的评价等问题； ( 3 ) 学习和训练基本动作，包括带球、传球、射门、断球等； ( 4 ) 在比赛中训练、学习和使用各种技能，包括合作、战术、对抗等技能： ( 5 ) 决策和实现策略，以及学习策略。策略内容包括：采用何种队形，在进攻和防 守之间平衡，合理应用战术组合等： ( 6 ) 队员和球队的自我评价与反省； ( 7 ) 球队和队员如何接受人的指导，即智能体和人之间的交互问题。 1 5 本论文的主要工作 在参考和研究国内外大量关于多智能体系统和仿真机器人足球的相关文献和资料 的基础上，我们总结了国内外主要球队的研究现状和他们的主要特点先进算法，并采 用c a m e g i em e l l o n 大学提供的c m u n i t e d 9 9 源代码作为底层程序，建立自己的机器人足 球队( n 。d t ) 。本文详细论述了在建立球队的过程中主要的研究工作，包括建立智能 体的体系结构、多智能体团队合作、个人技术以及球队的策略等。 第二章介绍了r o b o c u p 仿真比赛的环境，分别从运动模型、感知模型、动作模型、 异构球员、裁判以及教练六个方面详细描述t s o c c e r s e r v e r7 x 的运行机制，最后指出 创建c l i e n t 需要做的工作。 第三章在简单介绍目前参加r o b o c u p 比赛的球队的主要系统结构的基础上，根据 机器人足球动态、实时和通信不可靠环境，提出了一个新的概念p t s ，并描述了p t s 领域内智能体的体系结构，详细介绍了体系结构中每一部分的功能以及这种结构在我 们的球队中的实现。 第四章按照智能程度由低到高的顺序，研究了从动作层到决策层的实现方法，本 章主要描述了机器人球队的整体结构，重点论述了其中动作层的实现技巧，球员个人 技术的实现，包括传球、截球的算法和相应的策略；守门员作为一名特殊的球员单独 介绍了他的动作和策略；最后讨论了仿真机器人射门得分的问题，这直接关系到整个 球队在实际的比赛中能否得胜。球的运动可以看作是几何约束下的连续时间的马尔可 夫过程，我们在近似估计方法的基础上建立了相关统计的平台。控球队员在某点射门 时，根据射门迸球的概率，智能体确定射门时的最佳目标点。我们用统计的方法分别 计算球射入对方球门的概率和球绕过对方守门员的概率来得到得到进球的概率。 第五章更多地涉及了多智能体领域，研究了运用优先级方法设计机器人的顶层决 策算法来实现多个机器人的合作与对抗。首先介绍了团队合作结构及其实现，定义了 智能体的角色、球队的阵型，并讨论了，如何根据剩余时间、比分关系和当前的s i t u a t i o n 改变当前智能体的角色和球队的阵型，并简单提到了各个智能体之间的通讯；然后分 别通过控球队员和非控球队员的决策过程描述了球队顶层决策；最后是在考虑全局利 益的情况下建立的防守体系。 最后对课题研究的主要工作和全文的主要结论作了总结，并对今后的工作做了展 望，提出了今后研究的方向和目标。 第5 页 第二章r o b o c u p s o c c e rs e r v e r r o b o c u p 仿真组比赛是各种比赛中参赛数目最多的一种。由于仿真环境与人类足 球比赛的环境相似，比赛队员的仿真模型与实际队员也很接近，实现了机器人比赛中 由于机器人硬件的不足而放弃的规则，故其对于分布式人工智能理论的研究具有重要 意义。仿真比赛是在一个标准的计算机环境内进行的，一般采用l i n u x 系统，比赛规 则基本上与国际足球联合会的比赛规则一致，由于目前的仿真组比赛是基于二维平面 的，只是在某些方面有很小的改动。比赛的方式是由r o b o c u p 联合会提供标准的s o c c e r s e r v e r 系统，采用c l i e n t s e r v e r 方式，各参赛队编写各自的c l i e n t 程序，模拟实际足 球队员进行比赛巾j 。 s o c c e rs e r v e r 在感知上提供了一个包含现实世界复杂性的真实环境，如传感器和 信号干扰，智能体有限的感知能力和体能。本章将根据( ( r o b o c u p s o c c e r s e r v e r u s e r m a n u a l ：f o ，s o c c e r s e r v e rv e r s i o n7 0 6a n d i a t e r j ? f 7 j ，和我们在研究s o c c e rs e r v e r 的过程 中某些实验的结果，详细介绍本论文中用剖的s o c c e rs e r v e r7 x 中的相关概念和参数。 2 1 节是s o c c e rs e r v e r 的简介，2 2 节至2 7 节分别从运动模型，感知模型，动作模型，异 构球员、裁判和教练等六个方面分析了s e r v e r 的运行机制，2 8 节就我们在开发c l i e n t 需要做的工作做了简单的介绍，2 9 节总结了本章介绍的s o c c e rs e r v e r 的主要特点。 2 1s o c c e rs e r v e r 概况 s o c c e rs e r v e r 是一个允许竞赛者使用各种程序语言进行仿真足球比赛的系统。它 提供了一个虚拟场地，对比赛双方的全部队员和足球的移动进行仿真，以离散的方式 控制比赛的进程。整个系统按照1 0 0 m s 的周期运转。比赛以c l i e n t s e r v e r 方式进行。 s e r v e r ，即s o c c e rs e r v e r ，提供了一个虚拟场地，并对比赛双方的全部队员和足球的移 动进行仿真。c l i e n t ，相当于球员的大脑，指挥球员的运动。 s e r v e r 和c l i e n t 之间的通信是通过u d p i p 协议进行信息交互的。通过这种方式， c l i e n t 发送指令去控制相应的队员，同时从s e r v e r 端接收队员的传感器传回的信息。 每个c l i e n t 模块只能控制名球员，竞赛者必须同时运行与比赛球员数目相等的 c l i e n t 。c l i e n t 之间不允许直接进行通信，必须通过s o c c e rs e r v e r 来进行。s o c c e rs e r v e r 的一个目标就是对多智能体系统进行评价，而智能体之间的通讯效率是一个重要标准。 竞赛者必须在此要求下实现对多个智能体的控制。 s o c c e rs e r v e r 包含三个程序： s o c c e r s e r v e r s o c c e r m o n i t o r l o g p l a y e r 第6 页 s o c c e r s e r v e r 的工作是仿真足球和队员的移动、与c l i e n t 进行通信、按照一定的规 则控制比赛的进程。s o c c e rs e r v e r 由球场仿真模块、裁判模块和消息板模块三个部分 组成( 图2 1 ) 。球场仿真模块计算球场上对象的运动，检测它们之间的碰撞；裁判模 块根据规则来控制比赛的进程；而消息板模块负责c l i e n t 之间的通讯。每个c l i e n t 程 序通过u d p 的s o c k e t 来连接s e r v e r 。同样，通过s o c k e t ，c l i e n t 可以发送命令来控制 球员，也可以接收球员的传感信息。 s o c c e r m o n i t o r 则负责利用xw i n d o w ( w i n d o w s9 8 ，w i n d o w s2 0 0 0 等) 系统在s e r v e r 中显示虚拟场地。s e r v e r 可以同时与多个s o c c e r m o n i t o r 相连。因此，我们可以在多个 显示器上同时显示比赛的情况。 l o g p l a y e r 可以视为录像机，用来记录比赛的数据，将比赛的数据保存在l o g f i l e 文件中。l o g p l a y e r 结合s o c c e r m o n i t o r 可以回放比赛的实况，转至比赛中某特定的 环节，对于分析球队的优缺点和调试c l i e n t 程序具有重要的作用。类似于录像机， l o g p l a y e r 也具有播放、停止、前进、后退等功能。 s o c c e rs e r v e r 2 2 i 场地和队员 图2 1s o c c e rs e r v e r 结构图 2 2 运动模型 目前，仿真环境中足球场和其中的全部对象都是二维的。任何对象都没有高度的 概念。比赛场地的尺寸为1 0 5 ( 加) 6 8 ( m ) ，球门宽度为】4 6 4 ( m ) ，是实际的两倍。 实验证明，对于正常的宽度是很难进球的。球场上的对象包括每队各1 1 名队员、球、 球门、标记及标志线( 如图2 2 所示) 等，其中球和球员都具有大小、位置、速度、加 速度等属性，球员则还有方向、体能等属性。球员与球的属性每个周期末计算一次， 计算的依据是动力学模型。如果球员和球或者球员之间发生重叠，则作碰撞处理。 型堑堡垒奎垒型竖垒堕型型鳖一 图2 2s o c c e rs e r v e r q b 标志线的名称和位置【7 】 球员和球都使用圆圈来表示。动作模型是离散的，在一个仿真周期结束时全部的 动作被执行一次。每个仿真周期时间的长短是由参数s i m u l a t o r s t e p ( 1 0 0 m s ) 决定的。 在每个仿真周期结束前，s o c c e rs e r v e r 接收所有c l i e n t 的命令，并执行命令，并利用 当前场上对象( 球员和球) 的位置和速度信息计算出全部对象新的位置和速度信息。 2 2 2 运动模型 在仿真周期内，对象的移动按如下公式进行计算： ( “? 。，“芦1 ) = ( t ，e ) + ( 日：，口；) ：a c c e l e r a t e ( p ：“，p ，1 ) = ( p ：，p ：) + ( u 2 1 ，“，1 ) ：m o v e ( v ，i + 1 ，v y t + 。) = d e c a y x ，1 ，“岁1 ) ：d e c a y s p e e d ( d ? 。，a ，。) = ( o ，o ) ：r e s e t a c c e l e r a t i o n ( 2 1 ) ( 2 2 ) ( 2 3 ) ( 2 4 ) 其中，( ，p ；) 和( v ：，v j ) 分别表示，时刻对象的位置和速度。d e c a y 是一个参 数，分别由b a l l _ d e c a y 和p l a y e r d e c a y 控制。( 口：，口；) 表示对象的加速度，可以通过 m 。 i m m 吐 k 咄 型堑些型垒垒兰丝垒竺坠鲨些塞一 = = = = = = = = = ；= = = = = = = = = = = = = = = = = ；= ；一 妇如( 针对队员) 和k i c k ( 针对足球) 的p o w e r 参数计算得到： ( d ：，d ：) = p o w e r 。p o w e r 一，d f f ( c o s ( 0 ) ，s i n ( o ) ) ( 2 5 其中p t 表示对象在f 时刻的前进方向。如果对象为球员，他的方向计算公式为： 0 。：目。+ m o m e n t ( 2 6 ) 坳m p 州是f h r h 命令的参数。对于足球，其方向的计算方法是： = k + d i r e c t i o n ( 2 7 ) 其中目：“和目j m ，表示球和踢球队员当前的方向，而d i r e c t i o n 是k i c k 命令中第二 个参数。 2 2 3 环境干扰 为了反映实际比赛中球以及球员运动的不确定性，s o c c e rs e r v e r 在球与球员的移 动及命令的参数中加入了干扰。 首先考虑移动，干扰是以如下方式加入的： ( “? 1 ，“? 1 ) = ( v ：，v ；) 十( 玎：，口：) 十( 耳咖。，茸。“) ( 2 8 ) 茸。为属于 一m a x ，m a x 】的随机数。r m a x 的定义为 r m a x = ，a n d m ，v ；) l r a n d 是p l a y e rr a n d 和b a l l r a n d 的参数。 t u r n 命令中p o w e r 参数的干扰加入方式为： m o m e n t = ( 1 + 删d ) m o m e n t 2 2 4 碰撞 ( 2 9 ) ( 2 1 0 ) 如果在某个仿真周期结束时，两个对象发生重叠，则s e r v e r 自动将他们向后移动， 直到不再重叠为止然后将各自速度乘以一o 1 。只要在仿真周期结束时，球和队员不 发生重叠，那么球就可以直接穿过该队员。 2 3 感知模型 球员可以从s e r v e r 接收三种不同的感知信息：听觉、视觉和身体状态信息。对于 球员来说，这些信息是非常重要的。 2 3 1 球员的视觉信息( v i s i o ns e n s o r ) 每个队员接收的视觉信息包括：当前视野范围内所有物体的相对方向、相对距离， 视野内场地标记的相对方位，所有对象距离和方向的相对变化以及被观察队员与观察 第9 页 里丝垒垒堑尘兰些型些耋垡堡垒一 队员之间的方向兴角等。 r o b o c u d 仿真环境中，每个仿真队员都有身体朝向和脸的朝向两个概念。身体朝 向决定了每个队员冲刺的方向，即每个队员只能朝身体朝向方向给自己加速度，也决 定了踢球的姿势。每个队员的观察范围由其脸的朝向决定，视野范围是一个以脸的朝 向为中心，正负各1 2 视野宽度的扇形，见图2 3 。球员可以看见视野宽度范围正常模 式为 - 4 5o - ，4 5 。1 ，宽模式为 一9 0 。，9 0 。】，窄模式为卜2 2 5 。，2 2 5 。 。较窄的视野宽度所获 得信息的频率较快。目前r o b o c u p 仿真环境中规定4 5 。视野宽度每0 7 5 周期获得一次 视觉信息，9 0 。视野宽度每1 5 周期获得一次视觉信息，1 8 0 。视野宽度每3 个周期获得 一次视觉信息。 身体 图2 3 球员的观察模型 图2 4 中描述了球员在正常模式下的视野范围，他只能看到v i e w _ a n g l e 。2 和在 v i s i b l ed i s t a n c e 内的目标，因此他除了球员b 和g ，其他队员都可以都能看到。s e r v e r 生成一定的环境噪声，对每个c l i e n t 的感知进行干扰，因此球员收到的视觉信息包含 误差。每个球员只能看到自身视野内的对象，而且对于较远的对象只能看到大橱。如 图2 4 所示，观察队员能看清楚附近球员是哪个队的，也能看清楚他的号码，而对于 较远的队员，随着距离的增加，将无法看清是谁，甚至无法看清是哪个队的。随着对 象距离的增加，球员所能得到的视觉信息的数量也随之减少，识别物体目标的信息量 和精确程度也会随之变化。设观察队员和目标之间的距离为d i s t ，u n u m f a r l e n g t h u n u m t o o _ f a rl e n g t h t e a mf a rl e n g t h t e a m t o o 乙l e n g t h ，则 若d i s t u n u m 向，l e n g t h ，如图中的球员c ，观察队员就可以看清楚他是哪 个队的以及他的号码。 若u n u mf a r l e n g t h d i s t ”“m t o o _ f a r _ l e n g t h ，观察队员只能看清楚他 属于哪个队的，看清他的号码和得到其他信息的概率随着距离的增加从1 到0 线性减少，如图中的d ，只有5 0 的概率得到其号码。 若d i s t u n u mt o of a r ，他们的号码均看不清楚。1ength 若d i s t t e a mf a rl e n g t h ，他们属于哪个队的均能看见。 若t e a mf a r _ l e n g t h d i s t t e a m _ t o o _ f a r _ _ l e n g t h ，观察队员能看见它属于哪 个队的以及得到其他的信息的概率随着距离的增加从1 到0 线性减少，如图 中的e ，只有2 5 的可能看清楚他的队名。 若d i s t t e a m t o of a r _ l e n g t h ，将看不清楚他属于哪个队的，如图中的f 。 第l o 页 图2 4 球员的视野范围7 du i d f l a 如图2 4 所示，球员f 在感知队员的正前方，感知队员能得到其角度为0 。；球员e 的角度大概为一4 0 。，而球员d 的大约为2 04 。表2 1 列出了视觉信息的参数值。 p a r a m e t e r sv a l u ep a r a m e t e r sv a l u e u n u mf a r _ l e n g t h2 0 0 s e n s e j t e p 1 5 0 u n u m m ol a r _ l e n g t h 4 0 0 v i e w a n g l e 9 0 0 t e a m _ f a r _ l e n g t h 4 0 0 v i s i b l e d i s t a n c e 3 0 t e a m _ t o of a r l e n g t h 6 0 o 表2 1 视觉信息中的参数【7 】 2 3 2 听觉信息( a u r a ls e n s o r ) 当某球员或裁判( r e f e r e e ) “说”消息( s a y m e s s a g e ) 时，附近的其他球员包括对 方球员可以立即听到消息，没有延迟。他们以( h e a rt i m es e n d e rm e s s a g e ) 的形式听 到消息。其中，t i m e 是当前的仿真周期；s e n d e r 表示声音来源的相对方向。对于球员 自己发送的消息，s e n d e r 为“s e i f ，如是裁判发的消息，s e n d e r 为“r e f e r e e ”，且可能 的m e s s a g e 为：b e f o r e k i c ko f f ，p l a y _ o n 、t i m e o v e r 、k i c k _ o f f _ s i d e ，m c k i n s i d e 、 f r e e k i c k s i d e 、c o r n e r k i c k