（模式识别与智能系统专业论文）RoboCup仿真机器人足球多代理系统的机器学习研究与应用（英）.pdf

，r 7 咋o iiy j 一3 - ，7 岁厂 r 。l ! ! ) 。c f ) 彳方复争l 压人匙希多伙圣坚爹、线 私烙彳弘可占石f 刁( 萋) 孑向宅 孝麦对国务知毫每 世代。多伙罐 亳、仨以瓦及7 苫研乍弛尹j彳趴餍学习斥k 了加7 阁彳留移7 ；彳，五听。元，彳争；丕彳芝r 学习怎司互如矽。c “尸彳易囊幸c 乙 娑u 欠匙薯、彳，孑复毛，知t 巧每西于一、戳t 禾、迂亡为 湖f 4 乞力，蔷 过彳弓毫雾管龟毒筝。2 s p 唉， 关庭皮j 司： 锯自韧 j 一 出书 h 时 一畚 辛 鼍一 吒，p4 咝 f = 吖一坚绫一燮 a b s 丁j r a c 丁 h ! - u l t i a g e n ts y s t e m si nc o m p l e x ，r e a l 。t i m ed o m a i n sr e q m r ea g e n t st o a c t _ v l e f f e c t i v e l yb o t ha u t o n o m o u s l ya n da sp a r to f at e a m t h i sd i s s e r t a t i o n a d d r e s s e sm u l t i a g e n ts y s t e m sc o n s i s t i n go ft e a m so fa u t o n o m o u sa g e n t sa c t i n gi n r e a l t i m e ，n o i s y ，c o i l a b o r a t i v e ，a n da d v e r s a r i a le n v i r o n m e n t s b e c a u s eo f t h ei n h e r e n t c o m p l e x i t yo ft h i st y p eo fm u l t i a g e n ts y s t e m ，t h i st h e s i si n v e s t i g a t e st h eu s eo f m a c h i n e l e a r n i n gw i t h i nm u l t i a g e n ts y s t e m s r e i n f o r c e m e n t l e a r n i n gm e t h o d sh a v i n g t h ea b i l i t yt ol e a r nf r o m “e v a l u a t i v e ” f e e d b a c kf o r r n sav i a b l ea l t e m a t i v et o s u p e r v i s e dl e a r n i n g e s p e c i a l l ys o ，w h e n “s t a t e o p t i m a la c t i o np a i r s ”a r ec o s t l yo ri m p o s s i b l et og e n e r a t e ( b e c a u s eo fl a c ko f d o m a i nk n o w l e d g eo rt h e r e q u i r e m e n to fo n l i n e ( p e r f o r m a n c e ) ，a l g o r i t h m sw i t h p r o v e dc o n v e r 。g e n e et oo p t i m a l i t ye x i s t sf o rd i s c r e t es t a t es p a c em o d e l si e w i t ht a b l e l o o ku pa r c h i t e c t u r e s a p p l i c a t i o no fr e i n f o r c e m e n tl e a m i n gt ol a r g eo rc o n t i n u o u s v a l u e ds t a t es p a c e s ，h o w e v e r , n e c e s s i t a t e st h el l s eo ff u n c t i o na p p r o x i m a t i o nl i k e r a d i a lb a s i sn e t w o r k sa n dn e u r a ln e t w o r k s ，a l b e i ta tt h ec o s to fl o s so fp r o o fo f o p t i m a l i t y t h et h e s i sd e f i n e sat e a mm e m b e ra g e n ta r c h i t e c t u r ew i t h i nw h i c haf l e x i b l e t e a ms t r u c t u r ei sp r e s e n t e d a l l o w i n ga g e n t st od e c o m p o s et h et a s ks p a c ei n t of l e x i b l e r o l e sa n d a l l o w i n gt h e m t os m o o t h l ys w i t c hr o l e sw h i l ea c t i n g i td e f i n e sa g e n tr o l e s ， t e a mf o r m a t i o n s ，a n dp r o - c o m p i l e dm u l t i a g e n tp l a n s t 陆s s t u d yi n v e s t i g a t e s t h e a p p l i c a b i l i t y o fr a d i a lb a s i sf u n c t i o nb a s e d r e i n f o r c e m e n tl e a r n i n gm e t h o d si nad y n a m i cm u l t i a g e n ts c e n a r i oo fr o b o ts o c c e r r a d i a ib a s i sf u n c t i o nn e t w o r k s p o s e s a sa na t t r a c t i v em e t h o do ff u n c t i o n a p p r o x i m a t i o n f o rt h e s et a s k s t h e a d v a n t a g e s o v e rm o r ep o p u l a rf e e df o r w a r d s i g m o i dn e u r a ln e t w o r k sb e i n gt h a tt h e yc a r lb ei n t e r p r e t e da sf u z z ym l eb a s e d s y s t e m st h e r e b yo f f e r i n gc o m p r e h e n s i b l ea so p p o s e d t ob l a c k b o xa n n m o d e l s t h e y a r em u c hf a s t e rt ot r a i n ，a r ea n a l y t i c a l l yi n e r e m e n t a la n d b e i n g l o c a li nt h e i rr e s p o n s e a r em o r es u i t e df o rr e i n f o r c e m e n tl e a r n i n gt a s k st h a na n n o p p o n e n t m o d e l i n g a f a c t o rs of a rn e g l e c t e di nt h i sp a r t i c u l a rd o m a i nh a sb e e ni n c o r p o r a t e dt h r o u g ht h e p r e s e n c eo fo p p o n e n t sa s s u m e dt oa c to p t i m a l l y t h ea p p l i c a t i o no fr b fh a sb e e n f a c i l i t a t e d b ye x p e d i t i n gt h e r e c a l lt i m et h r o u g ht h e d e v e l o p m e n to fan e wt r e e s t r u c t u r e di m p l e m e n t a t i o nn a m e dr b f e m p i r i c a lr e s u l t sv a l i d a t eo u rc o n t r i b u t i o n sw i t h i nt h es i m u l a t e dr o b o t i cs o c c e r d o m a i n u l t i m a t e l y ，t h i sd i s s e r t a t i o nd e m o n s t r a t e st h a tb yl e a r n i n gp o r t i o n so ft h e i r c o g n i t i v ep r o c e s s e s ，s e l e c t i v e l yc o m m u n i c a t i n g ，a n dc o o r d i n a t i n gt h e i rb e h a v i o r sv i a c o m m o n k n o w l e d g e ，ag r o u po fi n d e p e n d e n ta g e n t sc a nw o r kt o w a r d sac o m l n o n g o a l i na c o m p l e x ，r e a l t i m e ，n o i s y ，c o l l a b o r a t i v e ，a n da d v e r s a r i a ie n v i r o n m e n t k e y w o r d s ：m u l t i a g e n ts y s t e m s ，a u t o n o m o u sa g e n t s ，m a c h i n el e a r n i n g ，m u l t i a g e n t l e a r n i n g ，r e i n f o r c e m e n tl e a r n i n g ，r a d i a lb a s i sf u n c t i o n ，f u z z ys e tr u l e s ，r o b o t i cs o c c e r , s o c c e rs e v e r ， 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 从舭2 日期：矿1 年，3 月z 犯目 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“”) 靴鬻签瓤 版o i 岛m2 舶以 日期：1 年口暑月1 u 日 指导教师签名： 盼计 日期：o 文年占删日 a b b r e v i a t i o n s a ia r t i f i c i a li n t e l l i g e n c e a n na r t i f i c i a ln c u r a ln e t c vc r o s sv a l i d a t i o n d a id i s t r i b u t e da r t i f i c i a li n t e l l i g e n c e d p sd i s t r i b u t e dp r o b l e ms o l v i n g e oe n v i r o n m e n t a la g e n t f s r f u z z y s e tr u l e s g b 匝g e n e t i c s - b a s e dr o a c h i n e1 e a r n i n g h p t h y b r i dp l a y e rt e a m l o ol e a v eo n eo u t l p tl o w e r p l a y e rt e a m m a lm u l t ia g e n t l e a r n i n g m a sm u l t ia g e n ts y s t e m s m d pm a r k o vd e c i s i o np r o c e s s mm a c h i n e l e a r n i n g n nn e u r a ln e t w o r k s 0 0 o b j e c t0 r i e n t e d o o p o b j e c to r i e n t e dp r o g r a m m i n g r b fr a d i a lb a s i sf u n c t i o n s r b n qr a d i “b a s i sf u n c t i o nn e t w o r k s r b f tr a d i a lb a s i sf u n c t i o nt r e e r lr e i n f o r c e m e n tl e a m i n g s d c s t e e p e s td e c e n tc l u s t e r i n g u p t u p p e rp l a y e rt e a m c h a p t e r o n e i n t r o d u c t i o n 7 r 、l l i s w o r kc o n s i d e r s a m u l t i - a g e n t ，d y n a m i cg a m es c e n a r i o ，w h e r e 1a u t o n o m o u sa g e n t sh a v et oa c ti nr e a lt i m e ，i naf a s tc h a n g i n g ，n o i s y e n v i r o n m e n t m o r e o v e ri nd o m a i n si i k et h e s ee g r o b o ts o c c e r , t h er e s u l t o fa na g e n t sa c t i o nm a yb ee x p l i c i to n l ya taf u t u r et i m e l e a r n i n ga l g o r i t h m sh a v e e n a b l e dr e s e a r e h e r st oh a n d l et h e s ec o m p l e xd o m a i n s ，w i t h o u tt h en e e df o rm o d e l i n g t h eo p t i m a lp o l i c ye x p l i c i t l y l e a r n i n ga l g o r i t h m sc a nb ed i v i d e di n t o t w ob r o a d c a t e g o r i e ss u p e r v i s e d l e a r n i n ga n dr e i n f o r c e m e n tl e a r n i n g s u p e r v i s e dl e a r n i n gi sam e t h o d o l o g yb yw h i c h a na g e n tc a nl e a r nf r o m e x a m p l e s ”a so p p o s e dt op e r f o r m i n go nt h eb a s i so fp r e f o r m u l a t e d e x p l i c i tp o l i c i e s s u p e r v i s e dl e a r n i n gr e q u i r e s a l l e x p e r rt og e n e r a t e t r a l n i n gs e ti nt h ef o r mo f ”( s t a t e a c t i o n ) ”p a i r st h a ta r eo p t i m a l t h u ss u p e r v i s e d 1 e a r n i n gc a n n o tb eu s e dt ol e a r nd i r e c t l yf r o m t h ee n v i r o n m e n t a na l t e r u a t i v ew o u i db et ou s et h ef e e d b a c kf r o mt h ee n v i r o n m e n tf o rt h e l e a r n i n gt a s k e n v i r o n m e n t sh o w e v e rs e l d o mp r o v i d e “i n s t r u c t i o n s o f 血eo p t i m a l a c t i o n s am o r er e a l i s t i cs c e n a r i ow o u l db ew e r et h ee n v i r o n m e n tp r o v i d e sa l l e v a l u a t i o no ft h ea p p l i e da c t i o ni nt h ef o r mo fr e w a r d sa n dp e n a l t i e ss u c hl e a r n i n g t a s k sc a nb ea d d r e s s e db yt h em e t h o do fr e i n f o r c e m e n tl e a r n i n g ，w h i c hc a nl e a r l 2 f r o m e x p e r i e n c e ” m a n yo ft h er e i n f o r c e m e n tl e a r n i n ga l g o r i t h m sa r eb a s e do nl o o ku pt a b l e r e p r e s e n t a t i o no f t h es t a t e r e a l1 i r ep r o b l e m so f t e ni n v o l v eh u g es t a t es p a c e s w h i c h m a k e st a b l eb a s e ds t a t e r e p r e s e n t a t i o ni m p o s s i b l e s o m ec o m p a c t i o nm i g h tb e o b t a i n e d b yr e p l a c i n g t a b u l a r 1 0 0 k u pb yf u n c t i o na p p r o x i m a t e s ，b u te v e nt h e n c o m p u t a t i o n a lr e q u i r e m e n t sf a re x c e e da v a i l a n er e s o u r c e s ap o s s i b l ew o r ka r o u n d a si n t r o d u c e db yb r o o k s b r o o k s8 6a n d 9 1 ，i st oc o n s i d e rt h et a s kt ob ec o m p o s e do f ah i e r a r c h yo fs i m p l e rb e h a v i o u r s ，s u c ha r t i f i c i a l ，h i e r a r c h i c a l s e g m e n t a t i o n i s e x p e c t e dt oi n t r o d u c es u b o p t i m a l l t y ，b u t i t s a d v a n t a g e l i e si n m a k i n gi m p o s s i b l e p r o b l e m s t r a c t a b l e 1 o b j e c t i v e t h e p r i n c i p a lq u e s t i o na d d r e s s e di nt h i st h e s i si s c a n a g e n 时l e a r nt ob e c o m ei n d i v i d u a l l ys k i l l e da n dt ow o r kt o g e t h e r 加t h e p r e s e n c eo f b o t ht e a m m a t e sa n d a d v e r s a r i e si na r e a l - t i m e ，n o i s y e n v i r o n m e n tw i t hl i m i t e dc o m m u n i c a t i o n ? m o r e s p e c i f i c a l l y ，t h et h e s i sc o n t r i b u t e sa l la g e n ts t r u c t u r ee n a b l i n gt h eu s e 。f m lt e c h n i q u e st o i m p r o v ea na g e n t s b e h a v i o ri nd o m a i n sw i t ht h e f o l l o w i n g c h a r a c t e r l s h c s ： a n e e df o rr e a l - t i m ed e c i s i o n - m a k i n g ； s e v e r a l i n d e p e n d e ma g e n t s w i t ht h es a m ew e l l d e f i n e d h i g h 1 e v e l g o a l t e a r n m a t e s s e v e r a la g e n t sw i t ha c o n f l i c t i n gw e t l d e f i n e dh i g h l e v e lg o a l ：a d v e r s a r i e s i nt h i sw o r k r a d i a lb a s i sf u n c t i o nn e t w o r k sw e r eu s e d a sf u n c t i o n a p p r o x i m a t i o n f o rl e a r n i n go f t w ol o w - l e v e ls k i l l sa n d o n eh i g hl e v e ls k i l l ，d e v e l o p e d o nt h e a s s u m p t i o no f o p t i m a l l ya c t i n go p p o n e n t ： a d v e r s a r i a l s h o o t i n gt og o a l 、 a d v e r s a r i a li n t e r c e p t i o n a d v e r s a r i a ld r i b b l i n g ( p o s s e s s i o no f b a l lo r p a s s ) 2 l e a r n i n gi ns o c c e rd o m a i n 2 墨觚 一一 瓣藏麟剃 a m o n gt h ed i f f e r e n tt a s k sl e a r n ti n t h i sd o m a i ni n c l u d es i m p l ek i c k i n gt o e m p t y2 0 ml s t o n e4 n d 、，e b s o9 9 b u s i n gf e e d f o r w a r dn e u r a in e t w o r k s t h en e t w o r k w a su s e dt ol c a mw h e nt os t a r ta c c e l e r a t i n gt oh i ta l la p p r o a c h i n gb a l l i n t ot h eg o a l t h 0 1 2 【g ht h ep a p e rt o u c h e so nt h en e e df o ra d v e r s a r i a ll e a r n i n g ，w h e r e ak e e p e r d e f e n d st h eg o a l ，t h ea u t h o r sd i dn o tt r a i nan e u r a ln e t w o r ko nt h i st a s k i n s t o n ea n d v e l o s o9 5 1s t o n ea n dv e l o s oc o n s i d e r e dt h ep r o b l e mo fb e a t i n gan o n - r e a c t i v e d e f e n d e rc i r c l i n gi nf r o n to ft h eg o a li naf i x e dt r a j e c t o r y ，b yu s i n gm e m o r yb a s e d 1 e a r n i n gt e c h n i q u e s t h el e a r n i n gc o n s i s t e do fc h o o s i n gb e t w e e nt w oo p t i o n ss h o o t i n g d i r e c t l yt ot h ec e n t e ro f t h eg o a lo rp a s s i n gt oat e a m m a t ea taf i x e dp o s i t i o nw h ot o o k t b eg o a ls h o t d e c i s i o nt r e ei n d u c t i o nw a su s e db yt h es a r n ea u t h o r sf s t o n ea n dv e l o s o9 8 1 t op r e d i c tw h e t h e rat e a m m a t ec o u l dr e c e i v eap a s sf r o maf i x e dl o c a t i o n t h et a s ko f u n c h a l l e n g e di n t e r c e p t i o n ( w i t h o u ta l lo p p o n e n t ) w a si e a r n tb yt h eh e l po ff e e d f o r w a r dn e u r a ln e t w o r k si n s t o n ea n dv e l o s o9 8 a t h es a l n cd e c i s i o nt r e ei n d u c i n g s o f t w a r ew a su s e db yt a m b ea n dh i sc or e s e a r c h e r t a m b ee ta 1 9 9 1t ol e a r nt h e o p t i m u m s h o o t i n ga n g l ef r o md a t ag e n e r a t e db yh u m a ne x p e r t s u pt o3k i c k i n g s o l u t i o n sw e r ec o n s i d e r e dn a m e l ya tt h es i d e sa n dt h ec e n t e r s i ti so n l yv e r yr e c e n t l yt h a to n l i n et r a i n i n gh a sb e e ne x e c u t e di np r a c t i c e t a m b ee ta 1 9 9 ，b a l c h9 8 am i x e do f f i i n e o n l i n es t r a t e g yw a su s e dt ot r a i na n i n t e r c e p t i o nr o u t i n e t h eo p p o n e n t sw e r en o tc o n s i d e r e de x p l i c i t l y h o w e v e r ，b e c a u s e t h et r a i n i n gw a so n l i n e ，t h ei n d i v i d u a la g e n t sc o u l di m p l i c i t l ya d a p tt ot h eb e h a v i o u r s o f n e a r b yo p p o n e n t s 3 a p p r o a c h i t i sa ni m p o r t a n tp r o b l e mh o wa na g e n tc o l l a b o r a t e sw i t ho t h e r st o a c c o m p l i s ha g o a lm ad y n a m i ce n v i r o n m e n t f o re x a m p l e ，as o c c e rp l a y e rc o l l a b o r a t e sw i t ho t h e r t e a m m a t e st ow i nag a m e i nt h i sp a p e r , w ep a ys p e c i a la t t e n t i o nt os u c hk i n d so f o b j e c t sl i k es o c c e rp l a y e r s t h e yh a v et h ef o l l o w i n gf e a t u r e s ： a ) t h eo b j e c th a sd i f f e r e n ta s p e c t s ( r o l e s ) i nd i f f e r e n tt i m e ，p l a c e s ，a n dc a s e s ，w ec a l l s u c ha s p e c t sa s m u l t i p l ea s p e c t s o fa no b j e c t 、f o re x a m p l e as o c c e rp l a y e rh a s s e v e r a lp o s s i b l er o l e sl i k ep a s s e r ，s h o o t e r ，o rd r i b b l e b ) t h eo b j e c tc a r ld e c i d eo n eo fi t sm u l t i p l ea s p e c t sb yi t s e l fa c c o r d i n gt ot i m e ，口l a c e s a n dc a s e s w ec a l lt h i sf e a t u r ea s a u t o n o m y f o re x a m p l e ，as o c c e rp l a y e rp a s s e s t h eb a l li fh ek e e p st h eb a l ln e a ra t e a m m a t e h o w e v e r ，h es h o o t st h eb a l li fh ei s n e a re n o u g ht ot h eo p p o n e n tg o a l c ) t h eo b j e c to a ni n i t i a t es o m eb e h a v i o r sb yi t s e l fi nad y n a m i ce n v i r o n m e n t w ec a l l t h i sf e a t u r ea s p r o - a c t i v e n e s s f o re x a m p l e ，as o c c e rp l a y e rc a nc h a n g eh i s s t r a t e g i e sa c c o r d i n gt ot i m el e f t y e c a l lt h eo b j e c t sw i t ht h ea b o v et h r e ef e a t u r e s m u l t i p l eo b j e c t s i nt h i sd i s s e r t a t i o n i n f o m a n l y m u l t i p l eo b j e c t 。m u l t i p l ea s p e c t s + a u t o n o m y + p r o a c t i v e n e s s t or e p r e s e n tm u l t i p l ea s p e c t so fa no b j e c t ，m a n yc o n c e p t sl i k ev i e w s s h i l l i n g 9 9 ，a s p e c t s r i c h a r d s o na n ds c h w a r z9 1 1 ，r o l e s a l b a n o9 3 】，d e p u t yf k 茹b a y a s h 。i 3 a n dp e n g9 5 ，a r ep r o p o s e di ne x i s t i n go b j e c t - o r i e n t e dm o d e l s h o w e v e r ，t h e s e m o d e l sc a n n o tr e p r e s e n tt h ea u t o n o m o u sa n dp r o a c t i v ef e a t u r e so fm u l t i p l eo b j e c t s o nt h eo t h e rh a n d ，e x i s t i n ga g e n tm o d e l s s h o h a m9 2 ，m c c a b ee ta i 9 5 ， w o o l d r i d g e ，a n dj e n n i n g s9 5 ，j a n s o n a n dh a r i d i9 1 c a r lr e p r e s e n ta u t o n o m ya n dp r o a c t i v e n e s s ，a p p r o p r i a t e l y h o w e v e r ，t h e yo m i tt h en e e d so fm u l t i p l ea s p e c t so f m u l t i p l eo b j e c t s o u rp r o p o s e da g e n tm o d e l ，a ne n v i r o n m e n t a la g e n tm o d e l 7 f o rm u l t i p l eo b j e c t s ，t o r e p r e s e n ta l lf e a t u r e so fm u l t i p l eo b j e c t s ，i sc o n s i s to f t h r e et y p e so fa g e n t s ，a nu p p e r a g e n t , al o w e r - a g e n t , a n da ne n v i r o n m e n t a l a g e n t a nu p p e r - a g e n td e s c r i b e sa na u t o n o m o u so b j e c tw i t hm u l t i p l ea s p e c t s i th a sa s t a t u sp r o c e s s o rt od e c i d ei t sn e x ts t a t e ，a n da na c t i o np r o c e s s o rt od e c i d e a c t u a l l yi t so p e r a t i o n al o w e r - a g e n td e s c r i b e sar e a c t i v eo b j e c t ，a n dh a so n l yo n ea c t i o np r o c e s s o r m a ti su s e dt or e a l i z er e a c t i v eb e h a v i o r s a ne n v i r o n m e n t a l - a g e n td e s c r i b e sa l la u t o n o m o u sa n dp r o a c t i v eo b j e c t i t m a n a g e st h ee n v 证o m e n ti n f b r m a t i o n ，w h j c ha 虢c t sa na g e n t si n 也es a 工1 1 e e n v i r o n m e n t w ea l s oi m p l e m e n ta i li n t e r p r e t e rf o rt h ed e s c r i p t i o nl a n g u a g eo fo u ra g e n tt o c o n f i r mt h ee f f e c t i v e n e s so fo b rm e d e l f u r t h e r m o r e w ed e s c r i b es o c c e rp l a y e r si n t h el a n g u a g ea n dw i t ht h er i s eo fs o c c e rs e r v e rw es i m u l a t et h es o c c e rg a m e f r o m e x p e r i m e n t s w ef o u n dt h a t 也es o c c e rp l a y e r sc a r tc o r p o r a t ei n am o r ec o m p l e x s t r