（模式识别与智能系统专业论文）基于强化学习的移动机器人自主学习及导航控制.pdf

摘要摘要移动机器人是一种能够在工作环境中自主移动并完成预定任务的智能系统，是机器入学和智能控制的一个重要研究领域，在工业、农业、民用以及军事等领域具有广泛的应用前景。在移动机器人的各项研究和应用中，导航是最基本和最重要的问题，移动机器人在其工作环境中必须具有可靠而灵活的自主移动能力，而基于学习的控制方法是实现机器人自主导航的关键技术。在各种学习方法中，强化学习具有较强的在线自适应性和对复杂系统的自学习能力，且能较好地符合人们解决问题的心理习惯，在机器人导航研究中受到了广泛的关注。然而随着移动机器人应用领域的扩展，对机器人学习与导航控制技术也不断提出了新的挑战，尤其是针对实际工程应用的环境感知、强化学习在连续状态和动作空间的泛化、局部环境的反应式控制、基于混合式控制的大范围空间定性导航等都存在着亟待解决的问题。因此结合人工智能、自动控制、机器人学等领域的研究成果，通过自主学习实现未知环境下的导航控制，是一个关键的研究课题，在移动机器人理论研究和工程应用等方面均具有重要的意义。本文在分析总结已有工作的基础上，以移动机器人自主学习和导航控制为主要研究内容，深入研究了基于强化学习及其改进方法的移动机器人反应式控制和分层式导航控制，针对不同的导航任务和环境感知信息特点，提出了相应的信息融合方法、知识表示方法、学习算法和控制结构，并从仿真和实际移动机器人硬件平台( a t u i i ) 两个方面对所提出的方法进行了实验验证。主要的研究工作和贡献如下：( 1 ) 研究了基于多超声波传感器系统的数据融合及知识表示方法设计了适用于移动机器人的多超声波传感器系统，并提出了一种基于多超声波传感器的目标识别方法。利用数据融合技术，根据多超声波传感器的t o f ( t i m e o f - f l i g h t ) 信息，提出了基于目标原型的目标识别和对感兴趣目标的主动探测方法，实现了移动机器人对室内特征环境较为准确的识别，为复杂任务的自动分解提供了一种合适的子目标来源。基于灰色系统理论，提出了灰色测量系统与灰色传感器的概念，给出了感知信息的灰色表示与运算，并以多超声波传感器系统为例做了相应的说明。对环境状态的灰色表示与处理为导航问题中的混合地图创建、基于灰色控制规则的学习算法等奠定了基础。( 2 ) 研究了基于强化学习的反应式控制方法给出了一种基于强化学习和模糊逻辑的反应式控制方法，结合模糊逻辑实现了对感知信息的模糊化，有效处理了连续状态和动作空间问题；在实际控制中分别设计了避障和寻找e l标点两种反应式行为分别进行学习训练，并根据行为融合输出最终控制命令，完成感知信息到移动机器人动作的映射。同时针对未知环境下机器人导航中存在的感知信息不完备、推理过程具有不确定性的特点，对基于灰色系统理论的知识表示和灰色强化函数进行了初步探中国科学技术大学博士学位论文讨，提出了灰色强化学习方法，给出了简单的算法描述和分析，说明了此方法的可行性并指出了尚需进一步研究的问题。提出了量子强化学习方法，结合量子理论给出了基于态叠加原理和量子并行计算的值更新算法框架。使用量子态进行了状态动作的表示，根据量子测量的塌缩假设观测量子态以获取状态动作值，并通过回报值更新相应的概率幅。理论分析论证了利用经典计算机模拟实现时，该算法相对于传统强化学习算法的优越性，同时简单讨论了使用实际量子系统进行物理实现的可能性，并通过大量仿真实验验证了量子强化学习算法解决复杂问题和机器人行为决策的有效性。( 3 ) 研究了大范围环境下基于分层式强化学习的定性导航给出了分层式强化学习的定性空间表示，并利用强化学习对不同控制层次的抽象能力建立了一种基于混合代数的分层式强化学习算法框架；提出了一种基于分层式强化学习的大范围空间定性导航方法，在动态创建栅格拓扑混合地图的基础上，依据基于混合代数的分层式强化学习算法框架，设计了移动机器人混合式导航控制结构，实现了对移动机器人不同层次的控制，从算法结构上融合了局部环境反应式控制和基于拓扑信息的定性控制，实现了基于分层式强化学习的定性导航。( 4 ) 进行了针对a t u i i 移动机器人导航控制的实验研究构建并完善了移动机器人通用平台删一i i ，提出了适用于实际移动机器人在线学习的二阶段学习模式；利用a t u i i 移动机器人平台进行了多种导航控制实验，给出了实验结果及其分析，部分地验证了本文中提出的各种适用于移动机器人的环境感知方法、学习算法和控制方法。关键词：移动机器人导航，强化学习，多超声波传感器系统，反应式控制，定性导航，a 1 u i ii it r a c ta b sa b s t r a c tm o b i l er o b o t sa r eak i n do fi n t e l l i g e n ts y s t e m st h a tc a nm o v ea n dw o r ka u t o n o m o u s l yi nc e r t a i ne n v i r o n m e n t ，a n dh a v eb e e nw i d e l yu s e di nt h ea r e ao fi n d u s t r y , a g r i c u l t u r e ，d a i l yl i f ea n dm i l i t a r ya f f a i r s n a v i g a t i o ni st h em o s tf u n d a m e n t a la n di m p o r t a n tp r o b l e mf o rm o b i l er o b o ta n di ti sn e c e s s a r yf o rm o b i l er o b o tt oh a v et h ea b i l i t yo fm o v i n ga r o u n da u t o n o m o u s l ya n ds a f e l y w h i l et h ec o n t r o lm e t h o d sb a s e do nr o b o tl e a m i n gi st h ek e yt oa c h i e v ea u t o n o m o u sn a v i g a t i o n a m o n gt h el e a r n i n gm e t h o d s ，r e i n f o r c e m e n tl e a r n i n g ( r l ) h a sa t t r a c t e dm o s tr e s e a r c h e r si nt h ea r e ao fr o b o t i c s i tn o to n l yh a ss t r o n go n - l i n ea d a p t a b i l i t ya n ds e l f - l e a r n i n ga b i l i t yf o rc o m p l e xs y s t e m ，b u ta l s oh a st h em e r i t so fh u m a n l i k et h i n k i n gm o d e b u tw i t ht h ed e v e l o p m e n to fm o b i l er o b o t ，m o r ec h a l l e n g e sc o m eu p ，s u c ha se n v i r o n m e n tp e r c e p t i o n ，g e n e r a l i z a t i o no fr l ，r e a c t i v ec o n t r o li nl o c a le n v i r o n m e n t ，q u a l i t a t i v en a v i g a t i o nb a s e do nh y b r i dc o n t r o l ，e t c h e n c ei ti sap i v o t a lr e s e a r c hs u b j e c tt or e s e a r c ho nr o b o tl e a r n i n ga n dn a v i g a t i o nw i t ht h eh e l po ft h ed e v e l o p m e n ti na r t i f i c i a li n t e l l i g e n c e ，a u t o m a t i cc o n t r o la n dr o b o t i c s a f t e rt h es u r v e ya n da n a l y s i so ft h ec u r r e n tr e s e a r c hw o r k ，w ep r e s e n ti nt h i st h e s i so u rr e s e a r c ho nt h ep r o b l e m so fm o b i l er o b o tl e a r ? n , i n ga n dn a v i g a t i o nc o n t r o l ，w h i c hf o c u s e so nr e a c t i v ec o n t r o la n dh i e r a r c h i c a ln a v i g a t i o nb a s e do nr la n dt h ed e r i v e dm e t h o d s r e l a t e dt e c h n i q u e so fi n f o r m a t i o nf u s i o n ，k n o w l e d g er e p r e s e n t a t i o n ，l e a m i n ga n dc o n t r o la l g o r i t h m sa r ep r o p o s e da c c o r d i n gt od i f f e r e n tn a v i g a t i o nm i s s i o n sa n de n v i r o n m e n t s m o r e o v e rt h ep r o p o s e dl e a r n i n ga n dc o n t r o la l g o r i t h m sa r ev e r i f i e dt h r o u g hs i m u l a t e de x p e r i m e n t sa n dr e a lm o b i l er o b o t t h em a i nc o n t r i b u t i o n so f t h i st h e s i sa r e ( 1 ) d a t af u s i o na n dk n o w l e d g er e p r e s e n t a t i o nm e t h o d sb a s e do nm u l t i u l t r a s o n i cs e n s o rs y s t e ma r ep r e s e n t e d am u l t i 。u l t r a s o n i cs e n s o rs y s t e mi sd e s i g n e df o rm o b i l er o b o t s t h r o u g hs e n s i n gt h ee n v i r o n m e n t sw i t hm u l t i - u l t r a s o n i cs e n s o rd e t e c t i n gs y s t e m ，t h em e t h o do ft a r g e ti d e n t i f i c a t i o na n df u r t h e ra c t i v ed e t e c t i n gf o ri n t e r e s t i n gt a r g e t si sp r o p o s e d ，w h i c ha c h i e v e se x a c ti d e n t i f i c a t i o no ft h ei n d o o re n v i r o n m e n t sw i t hs p e c i a lf e a t u r e s i nt h i sm e t h o d ，d i f f e r e n te n v i r o n m e n tf e a t u r e sa r ec l a s s i f i e da n dam u l t i u l t r a s o n i cs e n s o rs y s t e mi su s e dt op r o v i d er e l a t e dt o f ( t i m e o f - f l i g h t )i n f o r m a t i o n a c c o r d i n gt ot h et o fi n f o r m a t i o n ，d i f f e r e n td e c i s i o n sa r em a d et h r o u g hd e m p s t e r - s h a f e re v i d e n t i a lr e a s o n i n ga n df u r t h e ra c t i v ed e t e c t i n g b a s e do nt h eg r e ys y s t e mt h e o r y , t h ec o n c e p t so fg r e ym e a s u r e m e n ts y s t e ma n dg r e ys e n s o r sa r ed i s c u s s e df r o mt h ep o i n to f v i e wo fi n c o m p l e t ei n f o r m a t i o np r o c e s s i n gc o m p a r e dw i t hn u m e r i c a la n ds y m b o l i z e dm e a s u r e m e n ts y s t e m t h em e t h o d so fg r e yr e p r e s e n t a t i o na n di n f o r m a t i o np r o c e s s i n ga r ep r o p o s e df o rd a t ac o l l e c t i o na n dr e a s o n i n g ，w h i c he s t a b l i s h e st h ef o u n d a t i o no fh y b r i dm a p b u i l d i n gi nq u a l i t a t i v en a v i g a t i o na n dg r e yc o n t r o lr u l e s b a s e dl e a m i n g、i i ia l g o r i t h m s a sac a s es t u d y , m u l t i u l t r a s o n i cs e n s o rs y s t e m sa r ed e m o n s t r a t e d ( 2 ) r e a c t i v ec o n t r o lm e t h o d sb a s e do nr e i n f o r c e m e n tl e a r n i n ga r es t u d i e d t h er e a c t i v ec o n t r o lm e t h o db a s e do nr la n df u z z yl o g i ci sp r e s e n t e d f i r s t l y ，w eu s ef u z z yl o g i ct os o l v et h ec o n t i n u o u ss t a t e a c t i o np r o b l e m se f f e c t i v e l y s e c o n d l y ，w ed e s i g nt w or e a c t i v eb e h a v i o r s ：o b s t a c l ea v o i d a n c ea n dg o a l s e e k i n g ，a n dh a v et h e mt r a i n e dr e s p e c t i v e l y f i n a l l y ，t h el e a m i n gs y s t e mo u t p u t st h ec o n t r o lp o l i c ya c c o r d i n gt ob e h a v i o rf u s i o na n dm a p st h es e n s o r yi n f b n n a t i o nt or o b o ta c t i o n o nt h eo t h e rh a n d ，t od e a lw i t hi n c o m p l e t ei n f o r m a t i o np r o c e s s i n ga n dt h eu n c e r t a i n t yi nr e a s o n i n gu n d e ru n k n o w ne n v i r o n m e n t ，t r a d i t i o n a lr lm e t h o d sa r ec o m b i n e dw i t hg r e yt h e o r ya n dag r e yr e i n f o r c e m e n tl e a r n i n gf r a m e w o r ki sp r o p o s e d g r e yr e p r e s e n t a t i o na n dg r e yr e i n f o r c e m e n tf u n c t i o na r es t u d i e da n dr e l a t e di s s u e sa r eb r i e f l yd i s c u s s e d an o v e lq u a n t u mr e i n f o r c e m e n tl e a r n i n g ( q r l ) m e t h o di sp r o p o s e dt h r o u g hc o m b i n i n gq u a n t u mt h e o r ya n dr lt h e o r y i n s p i r e db ys t a t es u p e r p o s i t i o np r i n c i p l ea n dq u a n t u mp a r a l l e lc o m p u t a t i o n af r a m e w o r ko fv a l u eu p d a t ea l g o r i t h mi si n t r o d u c e d t h es t a t e a c t i o ni sr e p r e s e n t e dw i t hq u a n t u ms u p e r p o s i t i o ns t a t ea n dc a nb eo b t a i n e db yr a n d o m l yo b s e r v i n gq u a n t u ms t a t ea c c o r d i n gt oc o l l a p s ep o s t u l a t e t h ep r o b a b i l i t yo fa c t i o ns e l e c t i o ni sd e t e r m i n e db yp r o b a b i l i t ya m p l i t u d e ，w h i c hi su p d a t e da c c o r d i n gt or e w a r d s t h ec h a r a c t e r i s t i c so fq r la r ea n a l y z e da n ds e v e r a ls i m u l a t e de x p e r i m e n t sa r eg i v e no u tt ov e r i f yt h ee f f e c t i v e n e s so fq r l ( 3 ) q u a l i t a t i v en a v i g a t i o nb a s e do nh i e r a r c h i c a lr li sp r e s e n t e d t a k i n gt h ea d v a n t a g eo fa b s t r a c t i o na b i l i t yo fr lf o rd i f f e r e n tc o n t r o ll a y e r s ，w ep r o p o s e dam e t h o do fq u a l i t a t i v es p a c er e p r e s e n t a t i o nf o rh i e r a r c h i c a lr la n df o r m a l i z eaf r a m e w o r kf o rh i e r a r c h i c a lr lb a s e do nh y b r i da l g e b r a t h e na c c o r d i n gt ot h i sf r a m e w o r k ，t h em e t h o do fa u a l i t a t i v en a v i g a t i o ni sp r o p o s e dt oc o m b i n et h er e a c t i v ec o n t r o li nl o c a le n v i r o n m e n ta n dq u a l i t a t i v ec o n t r o lw i t ht o p o l o g i c a li n f o r m a t i o n ，i nw h i c hg r i d t o p o l o g i c a lm a pi sc r e a t e dd y n a m i c a l l ya n dt h ec o n t r o lo f m o b i l er o b o ti si m p l e m e n t e dt h r o u g hah y b r i dc o n t r o ls t r u c t u r e ( 4 ) t h ee x p e r i m e n t a ls t u d yi sc a r r i e do u to nr e a lm o b i l er o b o ta t u - - i i ar e a lm o b i l er o b o ta t u i ii sc o n s t r u c t e da n di m p r o v e d t h et w o p h a s el e a r n i n gm o d ef o rt h eo n 1 i n el e a m i n go fr e a lm o b i l er o b o ti sp r o p o s e d s e v e r a ln a v i g a t i o ne x p e r i m e n t sa r ec a r r i e do u to na t u i ia n dt h er e s u l t sa r es h o w e da n da n a l y z e d ，w h i c hp a r t i a l l yv e r i f i e dt h ed a t af u s i o nm e t h o d s ，l e a m i n ga n dc o n t r o la l g o r i t h m sp r o p o s e di nt h i st h e s i s k e y w o r d s ：m o b i l er o b o tn a v i g a t i o n ，r e i n f o r c e m e n tl e a m i n g ，m u l t i u l t r a s o n i cs e n s o rs y s t e m ，r e a c t i v ec o n t r o l ，q u a l i t a t i v en a v i g a t i o n ，a t u i ii v插图目录插图目录图1 1 工业机器人2图1 2 智能机器人。3图1 3 移动机器人s h a k e y 4图1 4 移动机器人c a i 玎4图1 5 先行者仿人型机器人5图i 6a s i m o 仿人型机器人5图1 7 “汇童”仿人型机器人5图1 8 索杰纳火星漫游者5图1 9 “勇气号”与“机遇号”火星探测器5图1 10 商用移动机器人6图2 1 强化学习模型2 3图2 2 强化学习系统四个基本元素2 4图2 3 值函数计算方法2 7图2 4o p t i o n s 与m d p 、s m d p 关系3 2图3 1 多超声波传感器配置示意图( 1 ) 3 8图3 2 多超声波传感器循环发射时序图3 9图3 3 超声波传感器距离信息的隶属函数4 l图3 4 机器人室内运动环境示意图4 2图3 5 多超声波传感器配置示意图( 2 ) 4 3图3 6 目标原型及其t o f 特征曲线示意图4 4图3 7 目标识别的模糊集合4 6图3 8 主动探测示意图4 8图3 9 目标识别决策准确率5 0图3 1 0 测量结果的区间值表示5 1图3 1l 符号测量系统5 2图3 1 2 灰色测量系统5 2图3 1 3 灰色测量系统中不同表示之间的映射关系5 3图3 1 4 灰色传感器的一般结构框图5 4图3 1 5 区间灰数的典型白化函数5 5图3 1 6 测度为l 一口的概率灰数。，6 1 5 6图3 1 7 概率灰数g s t 和g s 2 之间的相似性定义5 7图3 1 8 多超声波传感器配置示意图( 3 ) 5 9图3 1 9 距离空间 x i ，x 2 ，以) 的白化函数6 0v i i中国科学技术大学博士学位论文图4 1 使用包容结构制造的v e t e r a n 机器人6 6图4 2 包容结构6 6图4 3 多超声波传感器系统分组示意图6 8图4 4 坐标系和控制变量6 8图4 5 避碰行为中测距距离的隶属函数6 9图4 6 寻找目标行为中输入变量的隶属函数7 0图4 7 避碰及寻找目标点仿真结果7 l图4 8 机器人反应式导航仿真结果7 2图4 9 灰色强化学习模型7 3图4 1 0 基于灰色强化学习的导航控制仿真实验结果7 5图4 1 1 单步g r o v e r 迭代示意图。8 l图4 1 2 机器人导航栅格环境示意图8 6图4 1 3t d 及q r l 算法仿真实验结果8 7图4 1 4q r l 在量子计算机上运行性能的理论估计8 7图4 1 5 不同学习速率( a l p h a ) 下q r l 的性能分析8 8图4 1 5 不同学习速率( a l p h a ) 下q r l 的性能分析( 续) 8 9图5 1 基于声纳的栅格地图9 6图5 2 拓扑地图构建：9 7图5 3 状态间的动作是功能上确定的9 9图5 4m d p 到s m d p 的定性抽取示意图一1 0 2图5 5 混合式导航控制体系结构1 0 6图5 6 分层式强化学习控制算法示意图1 0 7图5 7 定性导航仿真结果1 1 0图6 1a t u - - i i 型移动机器人平台1 1 3图6 2 基于多智能体的混合式体系结构1 1 5图6 3 慎思式a g e n t s 结构1 1 5图6 4 移动机器人平台整体结构图1 1 6图6 5c a n 节点原理图1 1 7图6 6a 1 u i i 底盘结构示意图1 1 8图6 7 机械平台支架示意图1 1 9图6 8 运动控制系统原理图1 1 9图6 9 多超声波系统硬件结构示意图1 2 0图6 1 0 远程主机端控制软件( 1 ) 1 2 3图6 1 l 远程主机端控制软件( 2 ) 1 2 4图6 1 2 二阶段学习模式示意图1 2 5图6 1 3 静态环境下漫游1 2 6图6 1 4 动态环境下漫游1 2 6图6 1 5 趋向目标点1 2 7图6 1 6 基于简单特征环境识别的导航1 2 8v i i i算法目录算法目录算法2 1t d ( 0 ) 算法。2 7算法2 2t d ( k ) 算法2 8算法2 3q 学习算法2 9算法3 1 基于主动探测的目标识别算法4 8算法4 1 灰色q 学习算法7 5算法4 2q r l 算法一：8 2算法5 1 拓扑地图构建算法9 8算法5 2 基于混合m d p 的分层式强化学习j 1 0 5声明本人郑重声明：所呈变的学位论文，是本人在导师指导下，独立进行研究工作所取得的研究成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均己在文中以明确的方式标明。论文作者：陈春林2 0 0 6 年4 月第一章绪论第一章绪论机器人学( r o b o t i c s ) 是- - 1 7 由多学科交叉而形成的系统科学。随着控制理论、人工智能、计算机理论、超大规模集成电路、传感器技术等学科的迅速发展，机器人学的研究也进入了一个崭新的发展阶段。移动机器人( m o b i l er o b o t ) 以其较高的自主性、智能性和对外界环境的自适应性，具有广泛的应用前景和理论研究意义。本文以移动机器人自主学习和导航控制为主要研究内容，结合智能计算及合适的知识表示方法，对基于强化学习的机器人学习方法和控制结构进行了较深入的研究。本章首先给出了课题研究的意义，然后深入分析了相关研究现状和存在问题，最后给出了所做的主要工作和全文的内容安排。1 1 选题的背景和意义移动机器人是一种集环境感知、动态决策与规划、行为控制与执行等多种功能于一体的综合系统，在机器人学领域中占有重要的地位。目前，关于移动机器人的研究，引起了越来越多的专家学者和工程技术人员的兴趣，且相关研究成果在星球探测、军事侦察、医疗服务、危险及恶劣环境作业等方面得到了广泛应用：同时，更多的应用需求也对移动机器人的研究提出了新的挑战。作为一个多学科交叉的高科技领域，移动机器人的研究内容涉及到人工智能、自动控制、机械电子等多个方面，因此开展对移动机器人技术的研究不仅对加快我国的国防、工业、农业现代化建设和提高人民的生活水平具有重要意义，而且对相关领域研究的发展具有积极的推动作用。，在移动机器人的各项研究和应用中，导航( n a v i g a t i o n ) 是最基本和最重要的问题，移动机器人在其工作环境中必须具有可靠而灵活的自主移动能力。而在实际应用中由于对外界环境信息的缺乏以及外界环境自身所存在的不可预知性，移动机器人自主学习( a u t o n o m o u sl e a m i n g ) 及相应的智能控制( i n t e l l i g e n tc o n t r 0 1 ) 成为其能否在未知环境下顺利实现导航任务的关键技术。长期以来，大量的研究工作者已经在这一领域做出了很大的努力，经历了从传统人工智能和控制理论到智能控制的探索过程，取得了一系列的阶段性成果，但是仍远远达不到所要求的目标较实用的自主学习和智能控制。存在的主要困难是：( 1 ) 不可能为工作于未知环境下的机器人预测一切可能的事件，即用直接的人工编程方法来实现机器人的智能控制是不可行的或至少是不充分的；( 2 ) 当机器人不知道应执行什么动作时，它应该能通过自主学习来解决，这一点传统的控制方法是很难实现的，尤其是在复杂未知环境中；( 3 )| 1 国科学技术大学博士学位论文没有较好的机制将先验知识提供给机器人，导致学习和决策的难度较大。固此针对复杂未知环境下的辞航任务，移动机器人必须其有较强的自学捌能力，咀保证对动态环境的适应性和对复杂任务的可扩展性。强化学习( r e i a f o r c c m e n t l e a r n i n g , r l ) ，又称增强学习或再励学习，作为一种机器学习方法，为我们提供了种重要的智能控制方式。它的决筻者能够在与环境的交互过程中，通过试探式盼学习收敛到最优的控剽策路；这一方法曾较多地应用于机器人路径规划彝遁动控制等领域，效果较好。更主要的是由于强化学习方法的本质特性：试错学习( t r i a l - a n d e r r o r ) 、延迟回报( d e l a y e dr e w a r d ) 和目标导向( g o a l - d i r e c t e d ) 等等，使其成为实现机器人自主学习和智能拄巷4 鹩一个较优的选择。然两由于各种系统不同的特性h 及机器a 实际性能的限制，强化学习在应用中还存在着亟待解决的问题。如何结合相关的知识表示、计算智能以及人 = 智能技术针对不同的鬟际问题，设计合适的学习算法和控制结构，是实现基于学习的移动机器人智熊控制鲍关键。本文以机器人自主学习及导航控制为主要内容的研究工作，在移动机器人理论研究和工程应用等方面部具有煎要意义，同时对人工智能、控制论，机器人学及其交叉领域也都具有积极豹促进俸耀。1 2 移动机器人研究现状机器人是= 十世纪人类最伟大的成就之一，在近半个世纪的发展过程中，大致已经历了可编程示教再现型机器人、只有一定感知能力及适应能力的离线编程型机器人和智能型机器a 三个阶段。丽对根据机器人应用领域的不同。早在葵发展的韶鹈就产生了不同扮分支。分支之一就是制造业中所使_ | 1 的工业机器人( i n d u s t r i a lr o b o t * ) ，大量机器臂成功地应用于各种生产线上，从事着高重复性和高控制精度的工作( 如图1 i 所乖) 。工业机械臂的设计特点是能对它们逝符编程，使它们能够以高精度、高速度重复执行任务。目前工业机器人技术倾i 镑于探索新的高强度轻质材料，进一步提高负载鹰重比，同时机构也向着模块此、可重构方向发展，2图l ，1 工业机器第一章绪论分支之二是利用人工智能方法的智能机器人( i n t e l l 证e n tr o b o t s ) ，主要是应用于非制造业领域，而由于这类机器人工作环境的非结构化和不确定性，一般要求机器人具有移动功能以及对外界环境的感知和自主决策能力等，目前已逐渐成为机器人技术的主要研究方向。图12 给出了一些典型的智能机器人，如空间探测机器人、人形机器人( h u m a n o i dr o b o t s ) 、特种机器人、军用机器人、娱乐机器人等。在智能机器人领域中自主式移动机器人( a u t o n o m o u sm o b i l er o b o t s ) 是一个重要的研究方向，在工业、民用咀及军事等领域具有广泛的应用前景。相对于工业机器人和其它智能机器人，移动机器人的工作环境范围较大，存在着较高的不确定性，使得移动机器人必然是一个集感知、决策、规划、控制与执行等多种功能于一体的综合系统，在其研究领域中存在着如知识表示、信息融合、机器人学习、行为决策、导航控制等非常有挑战性的理论和工程研究课题，内容涉及到自动控制、人工智能、电子电气、机械设计等多个学科。开展自主式移动机器人技术的研究不仅是我国的国防、工业与农业现代化与提高人民的生活水平的必然需求，同时对推动人工智能、自动控制、电子电气、机械设计等相关领域的发展也具有重要意义。囤1 2 智能机器人在移动机器人研究中，导航控制( n a v i g a t i o n ) 和机器人学习( r o b o t l e a r n i n g ) 是最为3中国科学技术大学博士学位论文基率的重荽课题，牵涉到移动机器人的各项技术，决定了整体机器人系统的鲁棒性、智能性和适应性，咀及在未知环境下的工作能力。本小节其余部分将在介绍移动机器人发展盼茎础上，藿重介缨导航及机器人学习薛播关研究现状和存档的问题。1 2 1 移动机器入研究的发展移动机器人的研究开始于6 0 年代末期。1 9 6 9 年斯坦福研究院( s t a n f o r dr e s e a r c hi n s l i t u t e ) 的n i l s n i l s s e n 等人研制_ 取名为s h a k e y ( 图t3 ) 的自主移动机器人( 1 一。s h a k e y是一台能在结构化环装串执行避障、移动目标物体等侄务，其有感知、环境建横、路径规划等功能。七十年代末期，同样是在斯坦福，h a n s m o r a v e c 研制丁移动机器人c 墟一1 1 ( 圈l 4 ) ，c a r t 可以利用它所配备的摄像头传感器建立环境的二维模型实现避障行为。圈13 移动机器 s h a k e y图l4 移动机器 c a r t同时期，步行移动机器人也取得了一定前进展，1 9 6 8 年g e n e r a l e l e c t r i c 研制了名为g eq u a d r u p e d t r a l l s p o r t e r 静步哥亍机器人，它具有依靠液压传动的霾条巨大的腿，相比较手轮式移动机器人，可以克h 陡在不平整地域中的运动问题。自八十年代以来，随着计算机和传感器技术的发展，大批科研机构和公司加入到移动机器人平爵的研制中来。面近十年来，随着环境感知、信息处理，智能控制等技术雏发震。备类具有高智能性和适应性的移动机器人研制成功，并应用到了国防、生产、生活各个领域中，国防科技大学于2 0 0 0 年成功研制的我国第一台仿人型机器凡_ l 先行者”( 图1 5 ) ，日本本嘲公司予2 0 0 0 年推出的仿人查帆器人a s h n o 4 1 ( 匿l 西) 以及2 0 0 5 年北京理工大学、中科院扰阳自动化所等多家研究机构共同联合研制出的“忙童”仿人型机器人 s l ( 图i 7 ) 等等，代表了步行移动机器人的最新研究成果。4第一章绪论图1 5 先行者仿人型机器人图1 6 a s i m o 仿人型机器人圈i7 “汇童”仿人型机器人在空间探测方面，具有代表性的移动机器人主要是主要体现在星球探测器上，如火星探测器、月球车等等。1 9 9 7 年在火星上执行探测任务的索杰纳( s o j o u m e r ) 机器人( 图18 )是第一个真正降落在火星上的火星车。2 0 0 4 年美国国家航空航天局的“勇气号”和“机遇号”火星车( 图1 9 ) 先后成功登陆火星进行探测，并发回了火星岩石、土壤和大气的信息和大量图片。图l 8 索杰纳火星漫游者图1 9 “勇气号”与“机遇号”火星探铡器在以研究复杂环境下机器人学习、推理、规划、控制以及应用人工智能技术等为目的的科研中各研究机构研制的大都是配备多种传感器的具有室内导航( i n d o o rn a v i g a t i o n ) 功能的移动机器人。目前大部分常见的商用移动机器人( 图i1 0 ) 忙唧与此类移动机器人在功能及结构上非常相似，本文所研究的也是此类移动机器人。中国科学技术大学博士学位论文图11 0 商用移动机器人( i r o b o t 公司的b 1 4 r ，a c t i v m e d i a 公司的p i o n e e r - 2 d x 和a m i g o b o t ，n o m a d i c sr c h n o l o g i e s 公司的s c o u t i i 和s u p e r s c o u t l i )近年来不同类型和功用的移动机器人平台层出不穷，性能得到了极大的提高，同时也促进了移动机器人相关理论和技术研究的迅速发展。移动机器人系统主要由机器人的机械结构、感知系统、信息处理和控制系统等部分组成，自主式移动机器人领域的研究内容涉及到从感知到执行、从硬件平台到算法软件的许多方面，主要包括体系结构设计、运动学与动力学建模、多传感器信息融台、机器人学习、地图创建、导航与探测等。而在诸多的研究方向中，导航问题是移动机器人最重要的基本问题。1 2 2 移动机器人导航研究现状自主导航是移动机器人的一项最重要的基本能力m “1 ，早在移动机器人研究初期，导航问题就已经出现了所研究的内容也从早期的已知环境下的导航发展到现在的针对未知环境或部分已知环境下的导航。移动机器人导航主要是解决三个一般性问题【l 副：( i ) “现在何处? ”，( 2 ) “要往何处去? ”，( 3 ) “如何到该处去? ”，也即移动机器人的地图创建、定位、规划和运动控制问题：本小节在介绍移动机器人的体系结构之后，将逐一简单讨论导航问题的几个方面。1 2 2 1 体系结构( a r c h i t e c t u r e )自主移动机器人是一种高智能、多系统的复杂工程系统，它的实现需要有多个功能特性各异的功能模块，如：感知、任务分析、规划、推理、决策和动作执行等，并且各种功能模块以不同方式在不同层次协调工作。体系结构作为机器人的设计框架，从整体上联系着自主移动机器人的各功能模块；并在软硬件的实现上起着统一调配和决定性作用。目前，移动机器人的体系结构主要有三种邶- 1 3 , ”i ：慎思式体系结构，即按“感知一建模一规划一行动”的模6第一章绪论式实现自移动机器人自主决策和控制：基于行为的反应式体系结构，如b r o o k s 的包容式体系结构【1 t1 3 】；混合式体系结构，即上述两种结构的结合。慎思式体系结构下，机器人系统首先通过各种传感器系统感知外界环境信息；然后更新机器人的知识库，如环境地图信息等，并由中心控制器对己知的环境进行推理，用以进行长期的规划和决策；最后将规划后的命令送到末端执行器。这种机构有两个主要的缺点：( 1 )要求环境已知或部分已知，